Royfactory

TL;DR LoRA(Low-Rank Adaptation)는 사전 훈련된 대규모 머신러닝 모델의 모든 가중치를 재훈련하는 대신, 일부 가중치 행렬에 작은 규모의 '어댑터' 행렬을 추가하여 학습시키는 파라미터 효율적 파인튜닝(PEFT) 기법입니다. 이 방식은 기존 모델의 가중치는 동결(freeze)시킨 채, 주입된 저차원(low-rank) 행렬만을 학습 대상으로 삼습니다. 결과적으로, 훈련에 필요한 파라미터 수를 획기적으로 줄여 GPU 메모리 사용량을 최소화하고, 훈련 시간을 단축하며, 파인튜닝된 모델의 저장 공간을 크게 절약할 수 있습니다.LoRA란 무엇인가: 거대 모델을 효율적으로 길들이는 법대규모 언어 모델(LLM)이나 이미지 생성 모델은 수십억 개에서 수천억 개의 파라미터를 가집니다. 특정 도메인이나..

1. 파인튜닝이란?파인튜닝(fine-tuning)은 사전학습(pretrained)된 Transformer 모델을 내 데이터에 맞게 미세 조정하는 과정입니다.처음부터 학습하는 것보다 적은 데이터와 자원으로 원하는 작업 성능을 얻을 수 있습니다2. 전체 워크플로우 요약데이터셋 로드 및 전처리모델 로드 및 분류 헤드 구성TrainingArguments 설정Trainer 인스턴스 생성trainer.train() 실행(선택) Hub에 모델 업로드3. 실습: IMDB 영화 리뷰 감정 분석3‑1) 라이브러리 설치pip install transformers datasets evaluate3‑2) 데이터 로드 및 토크나이징from datasets import load_datasetfrom transformers impo..

LoRA에서 target_modules란 무엇인가요?LoRA를 사용할 때 핵심 설정 중 하나가 target_modules입니다.이는 어떤 레이어에만 LoRA를 적용할지를 지정하는 항목으로, 모델 내부의 Linear Layer 중 일부에만 저차원 행렬을 삽입해 학습하도록 설정합니다.Transformer 구조에서의 주요 Linear LayerTransformer 기반 모델에는 다음과 같은 주요 Linear Layer가 존재합니다.용어설명q (Query)입력 토큰으로부터 "무엇을 찾을지"를 계산하는 벡터k (Key)입력 토큰의 "특징(열쇠)"을 나타내는 벡터v (Value)입력 토큰의 실제 정보 내용o (Output)Self-Attention 결과를 통합하여 출력값으로 변환up (MLP Up Projectio..

LoRA란?대형 언어모델을 가볍게 fine-tuning 할 수 있는 효율적인 기법최근 들어 LLM(대형 언어 모델)을 개인화하거나 특정 도메인에 맞게 조정하는 수요가 많아졌습니다. 그러나 기존 방식은 많은 GPU 메모리와 계산량이 요구되어 일반 사용자나 소규모 프로젝트에 부담이 되었습니다.이런 문제를 해결하기 위해 등장한 것이 바로 LoRA (Low-Rank Adaptation) 입니다.왜 LoRA가 필요한가요?기존의 Fine-Tuning 방식은 모델의 모든 파라미터를 업데이트합니다. 하지만:수억 개의 파라미터를 매번 학습하기엔 너무 무겁고저장 공간도 많이 필요하며전이 학습(transfer learning)의 효율도 떨어집니다.LoRA는 이 문제를 해결하면서도 성능은 유지할 수 있는 놀라운 아이디어를 제..