로이팩토리

LoRA란?대형 언어모델을 가볍게 fine-tuning 할 수 있는 효율적인 기법최근 들어 LLM(대형 언어 모델)을 개인화하거나 특정 도메인에 맞게 조정하는 수요가 많아졌습니다. 그러나 기존 방식은 많은 GPU 메모리와 계산량이 요구되어 일반 사용자나 소규모 프로젝트에 부담이 되었습니다.이런 문제를 해결하기 위해 등장한 것이 바로 LoRA (Low-Rank Adaptation) 입니다.왜 LoRA가 필요한가요?기존의 Fine-Tuning 방식은 모델의 모든 파라미터를 업데이트합니다. 하지만:수억 개의 파라미터를 매번 학습하기엔 너무 무겁고저장 공간도 많이 필요하며전이 학습(transfer learning)의 효율도 떨어집니다.LoRA는 이 문제를 해결하면서도 성능은 유지할 수 있는 놀라운 아이디어를 제..

SFTTrainer란?Hugging Face trl 라이브러리를 활용한 LLM(대형 언어 모델) 미세 조정 방법최근 들어 ChatGPT나 LLaMA처럼 사전 학습된 언어 모델을 우리의 데이터에 맞게 미세 조정(fine-tuning) 하고자 하는 수요가 증가하고 있습니다.이때 활용할 수 있는 것이 바로 Hugging Face의 trl 라이브러리에서 제공하는 SFTTrainer입니다.SFT(Supervised Fine-Tuning)란?SFT는 정답(label) 이 있는 데이터를 가지고 모델을 학습시키는 방식입니다. 예를 들어, 다음과 같은 데이터가 있다고 가정해보겠습니다.{ "prompt": "고양이는 왜 낮잠을 자나요?", "response": "고양이는 야행성 동물이기 때문에 낮에 에너지를 충전하기 ..