로이팩토리

LoRA에서 target_modules란 무엇인가요?LoRA를 사용할 때 핵심 설정 중 하나가 target_modules입니다.이는 어떤 레이어에만 LoRA를 적용할지를 지정하는 항목으로, 모델 내부의 Linear Layer 중 일부에만 저차원 행렬을 삽입해 학습하도록 설정합니다.Transformer 구조에서의 주요 Linear LayerTransformer 기반 모델에는 다음과 같은 주요 Linear Layer가 존재합니다.용어설명q (Query)입력 토큰으로부터 "무엇을 찾을지"를 계산하는 벡터k (Key)입력 토큰의 "특징(열쇠)"을 나타내는 벡터v (Value)입력 토큰의 실제 정보 내용o (Output)Self-Attention 결과를 통합하여 출력값으로 변환up (MLP Up Projectio..

LoRA란?대형 언어모델을 가볍게 fine-tuning 할 수 있는 효율적인 기법최근 들어 LLM(대형 언어 모델)을 개인화하거나 특정 도메인에 맞게 조정하는 수요가 많아졌습니다. 그러나 기존 방식은 많은 GPU 메모리와 계산량이 요구되어 일반 사용자나 소규모 프로젝트에 부담이 되었습니다.이런 문제를 해결하기 위해 등장한 것이 바로 LoRA (Low-Rank Adaptation) 입니다.왜 LoRA가 필요한가요?기존의 Fine-Tuning 방식은 모델의 모든 파라미터를 업데이트합니다. 하지만:수억 개의 파라미터를 매번 학습하기엔 너무 무겁고저장 공간도 많이 필요하며전이 학습(transfer learning)의 효율도 떨어집니다.LoRA는 이 문제를 해결하면서도 성능은 유지할 수 있는 놀라운 아이디어를 제..