SFTTrainer란?Hugging Face trl 라이브러리를 활용한 LLM(대형 언어 모델) 미세 조정 방법최근 들어 ChatGPT나 LLaMA처럼 사전 학습된 언어 모델을 우리의 데이터에 맞게 미세 조정(fine-tuning) 하고자 하는 수요가 증가하고 있습니다.이때 활용할 수 있는 것이 바로 Hugging Face의 trl 라이브러리에서 제공하는 SFTTrainer입니다.SFT(Supervised Fine-Tuning)란?SFT는 정답(label) 이 있는 데이터를 가지고 모델을 학습시키는 방식입니다. 예를 들어, 다음과 같은 데이터가 있다고 가정해보겠습니다.{ "prompt": "고양이는 왜 낮잠을 자나요?", "response": "고양이는 야행성 동물이기 때문에 낮에 에너지를 충전하기 ..
