Fine-tuning LLMs
LLM을 파인튜닝하면서 공부한 내용들, 고려해야 할 사항들을 적어본다.
Categories
- llm 15
- woowacourse 10
- hci 10
- dl4coders 7
- oop 3
- datascience 3
- deeplearning 2
- etc 1
- designpattern 1
- isd 1
llm
[GenAI] L3-P1-2. Reinforcement Learning from Human Feedback(2)
Proximal Policy Optimization (PPO)
[GenAI] L2-P2-2. Parameter Efficient Fine-Tuning(2)
Prompt Tuning
[GenAI] L2-P2-1. Parameter Efficient Fine-Tuning(1)
Parameter efficient fine-tuning (PEFT)
[GenAI] L2-P1-2. Fine-tuning LLMs with instruction(2)
Multi-task Instruction Fine Tuning
[GenAI] L2-P1-1. Fine-tuning LLMs with instruction(1)
Instruction Fine Tuning
[GenAI] L1-P2-4. Recap, Study resources
Week 1 resources
[GenAI] L1-P2-2. Computational Challenges, How to overcome by FSDP
Approximate GPU RAM needed
[GenAI] L1-P2-1. Pretrainig LLM, 3 types of Model Arhcitecture
Part 2. LLM pre-training and scaling laws
[GenAI] L1-P1-3. Prompt Engineering, LLM Project Lifecycle
Prompting and prompt engineering
[GenAI] L1-P1-2. Transformer Architecture 원리, 3가지 변형 구조 알아보기
Overal prediction process (end to end)
[GenAI] L1-P1-1. LLM에 대해 알아보기, Transformer 이해하기
Part 1. Introduction to LLMs and the generative AI project lifecycle
woowacourse
[우테코] 최종 코딩테스트 및 프리코스 마무리 후기
12/17(토) 최종 코딩테스트를 기점으로 프리코스 과정이 종료되었다.
[우테코] 최종 코딩테스트 대비 정리 자료
greeng00se님의 다음 글에 감명받아, 최종 코딩테스트를 위한 나만의 기준을 정리해본다. [BE] 자신만의 기준 정립하여 생각 시간 단축하기
[우테코] 3주차 회고록 + 코드 리뷰 스터디 피드백 정리
스터디원 코드에서 배울 점
[우테코] 2주차 회고록 + 과제 피드백 정리
2주차 피드백 정리 시작!
[우테코] 1주차 과제 피드백 정리
코드 리뷰 스터디에 참여하고 있다.
[Java] Enum 클래스
프리코스 3주차 미션 진행을 위해 enum 클래스 공부를 심화해서 해보았다.
[우테코] 숫자 야구 with 자바 기초_강의 내용 정리
2주차 공통 피드백 문서에서 시청을 권고한 Jason 리더님의 강의를 듣고,
[우테코] 우테코 프리코스 미션 규칙
여는 글
[Java] JUnit5
우테코 2주차 미션에서 단위 테스트를 짜야하는 요구조건이 나왔다.
[우테코] 프리코스1_온보딩 미션 진행 과정 기록
공부하기 시작한 기본서 우테코 설명회에서 포비님의 조언을 듣고 Java 기본서를 한 권 구입했다. 책도 스스로 골라봐야 안목이 생긴다고 말씀하셨으니 일단 쉽고 가독성 좋은 것으로 한권… 공부 방법 계획 (기본) 앞에서 부터 차근차근 읽기 ...
hci
[HCI] L2-6. Mental Models and Representations
Mental Model
[HCI] L2-4. Human Abilities
If you want to learn more Psychology
[HCI] L2-3. Direct Manipulation & Invisible Interfaces
2 Applications of effective feedback cycles
[HCI] L2-2. Feedback Cycles
Ubiquity of feedback cycles
[HCI] L2-1. Introduction to Design Principles
Focusing on the task
[HCI] L1-3. Exploring HCI
1. Technology
[HCI] L1-2. Introduction to CS6750
Learning Goals
[HCI] L1-1. Introduction to HCI
이 포스팅과 앞으로 이어질 내용은 Udacity의 ‘Human-Computer Interaction’ 강의를 정리한 것입니다.
dl4coders
[DL4C] Ch11. NLP Deep Dive
#hide ! [ -e /content ] && pip install -Uqq fastbook import fastbook fastbook.setup_book()
[DL4C] Ch6. Multi Categorical Classification
#hide ! [ -e /content ] && pip install -Uqq fastbook import fastbook fastbook.setup_book()
[DL4C] Ch4. Under the Hood, Training a Digit Classifier(1)
Pixels: The Foundations of Computer Vision
[DL4C] Ch1. Your Deep Learning Journey(3)
Deep Learning Is Not Just for Image Classification
[DL4C] Ch1. Your Deep Learning Journey(2)
Your First Model
[DL4C] Ch1. Your Deep Learning Journey(1)
Preview(여는 글)
oop
[객체지향의 사실과 오해] Ch7. 함께 모으기
객체 지향 설계 속 세 가지 상호 연관된 관점
[객체지향의 사실과 오해] Ch3. 타입과 추상화
현상은 복잡하다. 법칙은 단순하다. 버릴 게 무엇인지 알아내라.
[객체지향의 사실과 오해] Ch1. 협력하는 객체들의 공동체
1-1. 객체와 현실세계의 차이
datascience
맨 위로 이동 ↑deeplearning
경사하강법(Gradient Descent) 파헤치기
경사하강법? 확률적 경사 하강법? 미니 배치?
etc
첫 포스팅 입니다. 설레네요.
오늘 처음 블로그를 만들었어요
designpattern
MVC 패턴
MVC 패턴은 소프트웨어 개발 Architecture의 대표적인 방법론 중 하나이다.
isd
Problem Analysis
This content is based on ‘Foundations of Instructional Design’ book by Seels and Glasgow.