Royfactory

TL;DRJEPA는 얀 르쿤이 LLM의 한계를 극복하고 자율 AI를 실현하기 위해 제시한 비생성적(Non-generative) 아키텍처입니다. 이는 입력 데이터의 모든 세부 사항이 아닌, 미래 상태의 추상적인 표현(Abstract Representation) 만을 예측함으로써, 확률적이고 복잡한 현실 세계의 핵심 역학 을 효율적으로 학습합니다. 메타 AI는 2025년 6월 V-JEPA2 를 공개하며, 비디오와 같은 감각 데이터를 통해 세계 모델을 구축하는 데 JEPA가 핵심임을 입증하고 있습니다.1. JEPA란 무엇인가: '미래의 추상적 표현'을 예측하는 아키텍처JEPA (Joint Embedding Predictive Architecture) 는 얀 르쿤이 주창한 자기 지도 학습(Self-Supervi..

TL;DRMixture of Experts (MoE)는 딥러닝 모델의 연산 효율성을 높이기 위해 개발된 아키텍처 패턴입니다. 이는 단일 모델이 아닌 여러 개의 '전문가(Expert)' 서브 네트워크를 구성하고, '게이팅 네트워크(Gating Network)' 또는 '라우터(Router)'를 이용해 입력 토큰별로 가장 적합한 소수(Top-K)의 전문가만 활성화하는 희소성(Sparsity) 기반 조건부 연산을 특징으로 합니다. 이 방식을 통해 전체 파라미터 수는 대규모로 확장하면서도, 실제로 추론 및 학습 시 활성화되는 파라미터는 적어 계산 비용(FLOPs)을 절감하고 속도를 향상시킵니다. 최근 Mistral의 Mixtral 8x7B 같은 대규모 언어 모델(LLM)에 성공적으로 적용되어 효율적인 모델 확장의..