Royfactory

TL;DRIBM은 2025년 10월 Granite 4.0 Nano 시리즈를 공개했다.최소 350M~1.5B 파라미터의 하이브리드 SSM·트랜스포머 모델로, 메모리 절감과 비용 효율성을 동시에 추구한다.모든 모델은 Apache 2.0 오픈소스로 배포되며, ISO 42001 책임 있는 AI 인증을 취득했다.Hugging Face, Docker Hub 등 다양한 경로로 접근 가능해 기업·개발자 모두에게 적합하다.오프라인·로컬 실행이 가능한 진정한 “소형 AI”로 시장의 트렌드를 바꿀 전망이다.Granite 4.0 Nano: 소형 모델의 정의와 주요 특성IBM Granite 4.0 Nano는 수억~15억 파라미터 수준의 초소형 대규모 언어모델(LLM) 시리즈다.이 시리즈는 Mamba-2 기반 Hybrid-SSM..

TL;DRIBM은 2025년 10월 Granite 4.0 Nano 시리즈를 공개했다.최소 350M~1.5B 파라미터의 하이브리드 SSM·트랜스포머 모델로, 메모리 절감과 비용 효율성을 동시에 추구한다.모든 모델은 Apache 2.0 오픈소스로 배포되며, ISO 42001 책임 있는 AI 인증을 취득했다.Hugging Face, Docker Hub 등 다양한 경로로 접근 가능해 기업·개발자 모두에게 적합하다.오프라인·로컬 실행이 가능한 진정한 “소형 AI”로 시장의 트렌드를 바꿀 전망이다.Granite 4.0 Nano: 소형 모델의 정의와 주요 특성IBM Granite 4.0 Nano는 수억~15억 파라미터 수준의 초소형 대규모 언어모델(LLM) 시리즈다.이 시리즈는 Mamba-2 기반 Hybrid-SSM..

TL;DRAttention Mechanism은 모델이 입력 시퀀스의 모든 부분을 동일하게 처리하는 대신, 현재 작업에 가장 관련성 높은 부분에 가중치를 부여하여 집중하게 하는 딥러닝 기법입니다. 이는 인간의 선택적 집중 능력을 모방한 것으로, 2014년 Bahdanau 등이 기계 번역 모델의 고정 크기 인코딩 벡터 문제(병목 현상)를 해결하기 위해 처음 도입했습니다. 이후 2017년 논문 "Attention Is All You Need"에서 Transformer 아키텍처가 소개되며 RNN/CNN 같은 순환/합성곱 구조 없이 오직 Self-Attention만으로 구성되어 NLP 분야의 패러다임을 전환했습니다. Attention은 Query(Q), Key(K), Value(V) 세 벡터의 상호작용을 통해 가..

TL;DRMixture of Experts (MoE)는 딥러닝 모델의 연산 효율성을 높이기 위해 개발된 아키텍처 패턴입니다. 이는 단일 모델이 아닌 여러 개의 '전문가(Expert)' 서브 네트워크를 구성하고, '게이팅 네트워크(Gating Network)' 또는 '라우터(Router)'를 이용해 입력 토큰별로 가장 적합한 소수(Top-K)의 전문가만 활성화하는 희소성(Sparsity) 기반 조건부 연산을 특징으로 합니다. 이 방식을 통해 전체 파라미터 수는 대규모로 확장하면서도, 실제로 추론 및 학습 시 활성화되는 파라미터는 적어 계산 비용(FLOPs)을 절감하고 속도를 향상시킵니다. 최근 Mistral의 Mixtral 8x7B 같은 대규모 언어 모델(LLM)에 성공적으로 적용되어 효율적인 모델 확장의..

1. 들어가며앞 강의에서 BERT를 다뤘습니다. BERT가 문맥 이해(인코더 기반)에 강하다면, **GPT(Generative Pretrained Transformer)**는 **텍스트 생성(디코더 기반)**에 특화된 모델입니다.GPT는 2018년 OpenAI에서 처음 제안된 이후, 현재의 ChatGPT, GPT-4까지 이어지는 계열의 시작점입니다.GPT의 강점은 자연스러운 문장 생성과 다양한 작업에 대한 범용성입니다.2. GPT의 핵심 아이디어사전학습(Pretraining)대규모 텍스트 데이터로 다음 단어 예측 학습 (Language Modeling)예:"오늘은 날씨가" → 모델은 "맑다", "좋다" 등 확률적으로 다음 단어 예측파인튜닝(Fine-tuning)특정 작업(요약, 번역, QA 등)에 맞춰 ..

BERT 구조와 사전학습(Pretraining) 이해하기1. 들어가며이제부터는 트랜스포머 기반의 대표 모델을 본격적으로 다룹니다.그 첫 번째가 바로 **BERT(Bidirectional Encoder Representations from Transformers)**입니다.BERT는 2018년 구글에서 발표한 모델로, 기존 자연어 처리 모델들의 성능을 크게 뛰어넘으며 다양한 벤치마크에서 새로운 기준을 세웠습니다.2. BERT의 핵심 아이디어양방향성(Bidirectional)기존의 언어 모델은 왼쪽 → 오른쪽, 혹은 오른쪽 → 왼쪽으로만 문맥을 이해했습니다.BERT는 양방향으로 동시에 문맥을 파악합니다.사전학습(Pretraining)대규모 말뭉치(Corpus)에서 먼저 언어 구조를 학습이후 특정 작업(분류,..

트랜스포머(Transformer) 구조 이해하기1. 들어가며앞 강의에서 어텐션 메커니즘을 배웠습니다.트랜스포머(Transformer)는 이 어텐션 개념을 기반으로 만들어진 모델로, 현재의 GPT, BERT, LLaMA와 같은 최신 언어 모델의 뼈대가 됩니다.트랜스포머는 RNN이나 LSTM처럼 순차적으로 데이터를 처리하지 않고, 병렬적으로 문장을 한 번에 학습할 수 있어 속도와 성능 면에서 혁신을 가져왔습니다.2. 트랜스포머의 기본 아이디어트랜스포머는 크게 두 가지 블록으로 구성됩니다.인코더(Encoder) – 입력 문장의 의미를 추출디코더(Decoder) – 의미를 바탕으로 출력 문장을 생성하지만 번역과 같은 작업이 아니고 분류, 문서 임베딩 같은 경우에는 인코더만 사용하기도 합니다.3. 트랜스포머의 핵..

어텐션 메커니즘 기초 – 딥러닝에서 ‘집중하기’ 배우기이번 강의에서는 자연어 처리(NLP)와 딥러닝에서 혁신을 일으킨 어텐션 메커니즘(Attention Mechanism)을 다룹니다."모든 단어를 똑같이 다루는 것이 아니라, 중요한 단어에 더 집중한다"는 개념을 이해하는 것이 핵심입니다.1. 왜 어텐션이 필요한가?전통적인 RNN, LSTM, GRU 같은 순환 신경망은 문장이 길어질수록 앞부분의 정보를 잊어버리는 한계가 있습니다.예를 들어, 다음 문장을 생각해봅시다."나는 어제 친구와 영화를 보고, 집에 와서 저녁을 먹고, 책을 읽었다. 그 영화는 정말 재미있었다."마지막에 나오는 "그 영화"라는 단어를 이해하려면 앞부분에 나온 "영화" 정보와 연결해야 합니다.RNN은 이런 긴 문맥을 다 기억하기 어렵지만..

LoRA란?대형 언어모델을 가볍게 fine-tuning 할 수 있는 효율적인 기법최근 들어 LLM(대형 언어 모델)을 개인화하거나 특정 도메인에 맞게 조정하는 수요가 많아졌습니다. 그러나 기존 방식은 많은 GPU 메모리와 계산량이 요구되어 일반 사용자나 소규모 프로젝트에 부담이 되었습니다.이런 문제를 해결하기 위해 등장한 것이 바로 LoRA (Low-Rank Adaptation) 입니다.왜 LoRA가 필요한가요?기존의 Fine-Tuning 방식은 모델의 모든 파라미터를 업데이트합니다. 하지만:수억 개의 파라미터를 매번 학습하기엔 너무 무겁고저장 공간도 많이 필요하며전이 학습(transfer learning)의 효율도 떨어집니다.LoRA는 이 문제를 해결하면서도 성능은 유지할 수 있는 놀라운 아이디어를 제..