Royfactory

TL;DRDeepCogito의 Cogito v2(프리뷰)는 70B/109B(MoE)/405B/671B(MoE) 4개 하이브리드 추론 모델을 공개했고, 표준 응답 모드와 "생각(extended thinking)" 모드를 함께 제공합니다.핵심 메시지는 "추론 토큰(검색)을 길게 쓰는 대신, 추론 과정을 모델 파라미터로 증류해 '직관'을 강화한다"는 접근입니다(IDA/iterative policy improvement).공식 자료는 671B MoE가 DeepSeek R1 계열 대비 더 짧은(약 60% shorter) 추론 체인을 사용하면서 경쟁 성능을 보였다고 주장합니다.2025-11경 공개된 Cogito v2.1(671B MoE)는 128k 컨텍스트, 툴콜 지원, 상용 이용 가능한 "오픈 라이선스"로 배포되..

TL;DRMeta는 2025-04-05에 Llama 4 Scout(17B 활성/109B 총, 10M 컨텍스트)와 Llama 4 Maverick(17B 활성/400B 총, 1M 컨텍스트)을 공개했다.두 모델은 MoE 기반의 "네이티브 멀티모달(텍스트+이미지 입력)" 구조를 전면에 내세우며, 멀티링구얼(12개 언어 지원)과 긴 컨텍스트를 강점으로 한다.성능은 Hugging Face가 공개한 평가표 기준으로 MMLU Pro, GPQA Diamond 등에서 Llama 3.1/3.3 계열 대비 큰 폭의 개선 수치를 제시했다.다만 "오픈소스"라는 표현은 라이선스가 OSI(Open Source Initiative) 정의의 '오픈 소스'와는 다를 수 있어, 상용 사용 전 Llama 4 Community License의..

TL;DRIBM은 2025년 10월 Granite 4.0 Nano 시리즈를 공개했다.최소 350M~1.5B 파라미터의 하이브리드 SSM·트랜스포머 모델로, 메모리 절감과 비용 효율성을 동시에 추구한다.모든 모델은 Apache 2.0 오픈소스로 배포되며, ISO 42001 책임 있는 AI 인증을 취득했다.Hugging Face, Docker Hub 등 다양한 경로로 접근 가능해 기업·개발자 모두에게 적합하다.오프라인·로컬 실행이 가능한 진정한 “소형 AI”로 시장의 트렌드를 바꿀 전망이다.Granite 4.0 Nano: 소형 모델의 정의와 주요 특성IBM Granite 4.0 Nano는 수억~15억 파라미터 수준의 초소형 대규모 언어모델(LLM) 시리즈다.이 시리즈는 Mamba-2 기반 Hybrid-SSM..

TL;DRIBM은 2025년 10월 Granite 4.0 Nano 시리즈를 공개했다.최소 350M~1.5B 파라미터의 하이브리드 SSM·트랜스포머 모델로, 메모리 절감과 비용 효율성을 동시에 추구한다.모든 모델은 Apache 2.0 오픈소스로 배포되며, ISO 42001 책임 있는 AI 인증을 취득했다.Hugging Face, Docker Hub 등 다양한 경로로 접근 가능해 기업·개발자 모두에게 적합하다.오프라인·로컬 실행이 가능한 진정한 “소형 AI”로 시장의 트렌드를 바꿀 전망이다.Granite 4.0 Nano: 소형 모델의 정의와 주요 특성IBM Granite 4.0 Nano는 수억~15억 파라미터 수준의 초소형 대규모 언어모델(LLM) 시리즈다.이 시리즈는 Mamba-2 기반 Hybrid-SSM..

TL;DRKrea Realtime 14B는 140억 파라미터를 가진 오픈소스 실시간 text-to-video 모델이다.단일 B200 GPU로 초당 11fps의 장편 비디오 생성이 가능하다.Self-Forcing 기법을 이용해 Wan 2.1 14B로부터 증류(distillation)되었다.기존 오픈소스 모델보다 10배 이상 크며, 실시간 편집·프롬프트 변경이 지원된다.Apache 2.0 라이선스로 HuggingFace에서 제공된다.Krea Realtime 14B란 무엇인가Krea AI는 2025년 10월 14일, Krea Realtime 14B를 공식 공개했다. 이 모델은 140억 파라미터 규모의 자동회귀(Auto-regressive) Text-to-video 생성기이며, Self-Forcing이라는 변환..

TL;DR LoRA(Low-Rank Adaptation)는 사전 훈련된 대규모 머신러닝 모델의 모든 가중치를 재훈련하는 대신, 일부 가중치 행렬에 작은 규모의 '어댑터' 행렬을 추가하여 학습시키는 파라미터 효율적 파인튜닝(PEFT) 기법입니다. 이 방식은 기존 모델의 가중치는 동결(freeze)시킨 채, 주입된 저차원(low-rank) 행렬만을 학습 대상으로 삼습니다. 결과적으로, 훈련에 필요한 파라미터 수를 획기적으로 줄여 GPU 메모리 사용량을 최소화하고, 훈련 시간을 단축하며, 파인튜닝된 모델의 저장 공간을 크게 절약할 수 있습니다.LoRA란 무엇인가: 거대 모델을 효율적으로 길들이는 법대규모 언어 모델(LLM)이나 이미지 생성 모델은 수십억 개에서 수천억 개의 파라미터를 가집니다. 특정 도메인이나..

트랜스포머 응용 – 텍스트 요약과 번역1. 들어가며앞서 우리는 BERT, GPT 등 트랜스포머 기반 모델의 구조를 살펴봤습니다.이번 강의에서는 트랜스포머의 대표적인 실제 응용인 **텍스트 요약(Summarization)**과 **번역(Translation)**을 다룹니다.트랜스포머는 단순히 언어 이해나 생성만이 아니라, 긴 문장을 간결하게 요약하거나 한 언어를 다른 언어로 번역하는 데 뛰어난 성능을 발휘합니다.2. 텍스트 요약(Text Summarization)텍스트 요약에는 크게 두 가지 방식이 있습니다.추출적 요약(Extractive Summarization)원문에서 중요한 문장을 골라내는 방식예: 뉴스 기사에서 핵심 문장만 뽑기생성적 요약(Abstractive Summarization)원문의 의미를..

BERT 구조와 사전학습(Pretraining) 이해하기1. 들어가며이제부터는 트랜스포머 기반의 대표 모델을 본격적으로 다룹니다.그 첫 번째가 바로 **BERT(Bidirectional Encoder Representations from Transformers)**입니다.BERT는 2018년 구글에서 발표한 모델로, 기존 자연어 처리 모델들의 성능을 크게 뛰어넘으며 다양한 벤치마크에서 새로운 기준을 세웠습니다.2. BERT의 핵심 아이디어양방향성(Bidirectional)기존의 언어 모델은 왼쪽 → 오른쪽, 혹은 오른쪽 → 왼쪽으로만 문맥을 이해했습니다.BERT는 양방향으로 동시에 문맥을 파악합니다.사전학습(Pretraining)대규모 말뭉치(Corpus)에서 먼저 언어 구조를 학습이후 특정 작업(분류,..

1. 둘 다 무엇을 위한 도구인가?Streamlit: 데이터 대시보드, 인터랙티브 분석, 사용자 지정 웹 앱을 빠르게 생성Gradio: 머신러닝 모델 감상과 데모에 최적화, 이미지·오디오·LLM 챗봇 등에 특화2. 주요 기능 & 비교항목StreamlitGradio개발 용도대시보드, 데이터 분석 앱, BI 툴 등ML 모델 데모, 이미지/음성/텍스트 인터랙션사용 코드 예시st.title(), st.line_chart(), st.sidebar() 등gr.Interface(fn, inputs="image", outputs="label")커스터마이징레이아웃·테마·컴포넌트 다양, 라우팅 가능입력/출력 컴포넌트 미리 제공, 커스터마이징은 제한적시각화 지원Matplotlib, Plotly, Altair 등과 자연스러운..

1. 파인튜닝이란?파인튜닝(fine-tuning)은 사전학습(pretrained)된 Transformer 모델을 내 데이터에 맞게 미세 조정하는 과정입니다.처음부터 학습하는 것보다 적은 데이터와 자원으로 원하는 작업 성능을 얻을 수 있습니다2. 전체 워크플로우 요약데이터셋 로드 및 전처리모델 로드 및 분류 헤드 구성TrainingArguments 설정Trainer 인스턴스 생성trainer.train() 실행(선택) Hub에 모델 업로드3. 실습: IMDB 영화 리뷰 감정 분석3‑1) 라이브러리 설치pip install transformers datasets evaluate3‑2) 데이터 로드 및 토크나이징from datasets import load_datasetfrom transformers impo..