TL;DR LoRA(Low-Rank Adaptation)는 사전 훈련된 대규모 머신러닝 모델의 모든 가중치를 재훈련하는 대신, 일부 가중치 행렬에 작은 규모의 '어댑터' 행렬을 추가하여 학습시키는 파라미터 효율적 파인튜닝(PEFT) 기법입니다. 이 방식은 기존 모델의 가중치는 동결(freeze)시킨 채, 주입된 저차원(low-rank) 행렬만을 학습 대상으로 삼습니다. 결과적으로, 훈련에 필요한 파라미터 수를 획기적으로 줄여 GPU 메모리 사용량을 최소화하고, 훈련 시간을 단축하며, 파인튜닝된 모델의 저장 공간을 크게 절약할 수 있습니다.LoRA란 무엇인가: 거대 모델을 효율적으로 길들이는 법대규모 언어 모델(LLM)이나 이미지 생성 모델은 수십억 개에서 수천억 개의 파라미터를 가집니다. 특정 도메인이나..
