Royfactory

TL;DRMeta는 2025-04-05에 Llama 4 Scout(17B 활성/109B 총, 10M 컨텍스트)와 Llama 4 Maverick(17B 활성/400B 총, 1M 컨텍스트)을 공개했다.두 모델은 MoE 기반의 "네이티브 멀티모달(텍스트+이미지 입력)" 구조를 전면에 내세우며, 멀티링구얼(12개 언어 지원)과 긴 컨텍스트를 강점으로 한다.성능은 Hugging Face가 공개한 평가표 기준으로 MMLU Pro, GPQA Diamond 등에서 Llama 3.1/3.3 계열 대비 큰 폭의 개선 수치를 제시했다.다만 "오픈소스"라는 표현은 라이선스가 OSI(Open Source Initiative) 정의의 '오픈 소스'와는 다를 수 있어, 상용 사용 전 Llama 4 Community License의..

1. 파인튜닝이란?파인튜닝(fine-tuning)은 사전학습(pretrained)된 Transformer 모델을 내 데이터에 맞게 미세 조정하는 과정입니다.처음부터 학습하는 것보다 적은 데이터와 자원으로 원하는 작업 성능을 얻을 수 있습니다2. 전체 워크플로우 요약데이터셋 로드 및 전처리모델 로드 및 분류 헤드 구성TrainingArguments 설정Trainer 인스턴스 생성trainer.train() 실행(선택) Hub에 모델 업로드3. 실습: IMDB 영화 리뷰 감정 분석3‑1) 라이브러리 설치pip install transformers datasets evaluate3‑2) 데이터 로드 및 토크나이징from datasets import load_datasetfrom transformers impo..

1. Hugging Face란?Hugging Face는 모델 허브(Model Hub), Transformers 라이브러리, Datasets, Spaces(앱 공유 플랫폼) 등을 제공하는 오픈소스 AI 플랫폼입니다.즉, 모델 탐색 → 코드에서 불러오기 → 커스터마이징 → 웹으로 배포까지 가능한 AI 개발자 효자 도구입니다2. 주요 기능 & 장점• Model Hub170만 개 이상의 모델과 40만 개 이상의 데이터셋이 공개되어 있습니다.필요한 모델을 코드 몇 줄로 바로 가져올 수 있습니다.• Transformers 라이브러리NLP는 물론, 이미지·오디오·멀티모달 모델까지 지원.pipeline, Trainer 같은 고수준 API로 몇 줄 코드로 추론이나 학습 가능.• Datasets다양한 도메인의 데이터셋을 ..