LoRA에서 target_modules란 무엇인가요?LoRA를 사용할 때 핵심 설정 중 하나가 target_modules입니다.이는 어떤 레이어에만 LoRA를 적용할지를 지정하는 항목으로, 모델 내부의 Linear Layer 중 일부에만 저차원 행렬을 삽입해 학습하도록 설정합니다.Transformer 구조에서의 주요 Linear LayerTransformer 기반 모델에는 다음과 같은 주요 Linear Layer가 존재합니다.용어설명q (Query)입력 토큰으로부터 "무엇을 찾을지"를 계산하는 벡터k (Key)입력 토큰의 "특징(열쇠)"을 나타내는 벡터v (Value)입력 토큰의 실제 정보 내용o (Output)Self-Attention 결과를 통합하여 출력값으로 변환up (MLP Up Projectio..
