심층 분석: JEPA (Joint Embedding Predictive Architecture) - 얀 르쿤의 세계 모델 핵심 아키텍처

TL;DR

JEPA는 얀 르쿤이 LLM의 한계를 극복하고 자율 AI를 실현하기 위해 제시한 비생성적(Non-generative) 아키텍처입니다. 이는 입력 데이터의 모든 세부 사항이 아닌, 미래 상태의 추상적인 표현(Abstract Representation) 만을 예측함으로써, 확률적이고 복잡한 현실 세계의 핵심 역학 을 효율적으로 학습합니다. 메타 AI는 2025년 6월 V-JEPA2 를 공개하며, 비디오와 같은 감각 데이터를 통해 세계 모델을 구축하는 데 JEPA가 핵심임을 입증하고 있습니다.

---

1. JEPA란 무엇인가: '미래의 추상적 표현'을 예측하는 아키텍처

JEPA (Joint Embedding Predictive Architecture) 는 얀 르쿤이 주창한 자기 지도 학습(Self-Supervised Learning, SSL) 의 핵심 아키텍처입니다. 이는 AI가 현실 세계의 역학(dynamics)과 상식(common sense)을 습득하는 세계 모델(World Model) 을 구현하기 위해 고안되었습니다.

JEPA의 이름은 두 가지 핵심 개념을 포함합니다.

1. Joint Embedding (공동 임베딩): 입력 데이터(예: 이미지, 비디오 프레임)의 서로 다른 두 부분(과거 상태 $x$와 미래 상태 $y$)을 동일한 표현 공간(Embedding Space)으로 압축하여 매핑합니다.
2. Predictive Architecture (예측 아키텍처): 과거 상태 $x$의 표현을 기반으로, 미래 상태 $y$의 추상적인 표현($S_y$) 을 예측하도록 모델을 훈련합니다.

1.1. 예측의 대상: 데이터가 아닌 '표현(Representation)'

JEPA의 가장 중요한 특징은 예측의 대상을 데이터(Data) 자체가 아닌 추상적인 표현(Abstract Representation)으로 삼는다는 점입니다.

구분	생성 모델 (Generative Models, 예: VAE, MAE)	JEPA (Joint Embedding Predictive Architecture)
예측 목표	미래 상태 $y$의 모든 세부 정보 (픽셀, 토큰 등)	미래 상태 $y$의 압축된 추상적 표현 $S_y$
목적	입력을 완벽하게 재구성하거나 생성	세계 역학을 이해하는 효율적인 표현 학습
장점	세부적인 이미지/텍스트 생성	불확실성을 무시하고 효율적으로 상식 학습, 장기 계획에 유리

JEPA의 핵심: 현실 세계의 복잡한 불확실성 속에서, 예측하기 어려운 세부 정보는 무시하고 행동의 결과와 관련된 **핵심 개념(Concept)**만 예측하여 효율적인 '세계 모델'을 만듭니다.

---

2. LLM과 생성 모델의 한계를 극복하는 JEPA

얀 르쿤은 2025년 10월 27일 서울 강연을 포함한 최근 포럼에서 JEPA가 LLM의 근본적인 한계를 극복하는 유일한 대안임을 강조했습니다.

2.1. AR-LLM의 오류 확장 문제 해결 및 추론 능력 강화

LLM은 이전 토큰에 의존하여 다음 토큰을 생성하므로, 토큰 오류가 지수적으로 확장($P(\text{correct})=(1-\epsilon)^n$)되는 구조적 결함을 가집니다 (출처: 2023-03-24 PDF). JEPA는 이를 근본적으로 해결합니다.

• 추론 방식의 전환: 르쿤은 추론(Reasoning)을 "시뮬레이션/예측 + 목표 최적화"와 동일시하며, 이는 LLM의 자동 회귀 생성보다 계산적으로 더 강력한 능력이라고 주장합니다.
• 계획 가능성: JEPA는 예측된 추상적 표현($S_y$)을 기반으로 장기적인 행동 시퀀스를 시뮬레이션하고 최적화하는 계획(Planning) 을 수행할 수 있습니다.

2.2. "대조 학습은 파국": 비대조적 훈련의 중요성

JEPA 훈련은 효율성과 안정성을 위해 특정 유형의 자기 지도 학습 방법을 지향합니다.

• 지양(Doomed) 대상: 확률적 생성 모델과 대조 학습(Contrastive methods) (르쿤의 주장).
• 권장 방법: 비대조적 정규화 방법(Non-Contrastive Regularized methods), 예: VICReg (Variance, Invariance, Covariance Regularization). 이 방법은 명시적인 '부정 쌍' 없이도 표현의 붕괴(collapse)를 막고 정보량이 풍부한 임베딩을 학습하게 합니다.

---

3. JEPA의 확장: V-JEPA2와 자율 AI 시대의 개막

JEPA는 단순히 이론적 아키텍처가 아니라, 메타 AI의 자율 인공지능(Autonomous AI) 구현을 위한 핵심 엔진으로 발전하고 있습니다.

3.1. JEPA와 세계 모델의 역할 분담

르쿤이 제시한 모듈형 자율 AI 아키텍처에서 JEPA는 World Model의 역할을 맡아 AI에게 상식과 예측 능력을 부여합니다.

• World Model 기능: 현재 상태와 행위를 기반으로 미래의 상태 변화를 예측하는 시뮬레이터 역할을 수행합니다.
• 통제 가능성: 예측 모듈이 잘 작동하면, AI는 행동의 결과를 예측하고 위험(Cost) 을 최소화하도록 행동을 계획하여 통제 가능하고 안전한 시스템을 구축할 수 있습니다.

3.2. V-JEPA2: 비디오를 통한 물리 세계 학습의 완성

2025년 6월, 메타 AI는 JEPA를 비디오 데이터로 확장한 V-JEPA2를 공개하며, LLM이 놓치고 있는 물리적 세계에 대한 접지(Sensory Grounding) 문제를 해결하고 있습니다.

• V-JEPA2는 대규모 비디오 데이터에서 스스로 학습하여, 객체 상호작용, 역학 관계 등 복잡한 물리 세계의 작동 방식을 이해합니다.
• 르쿤은 이러한 다중 모달리티 기반의 JEPA 아키텍처가 "현재의 채팅 중심 AI를 대체할 것"이라고 강조했습니다 (출처: 조선비즈, 2025-10-27).

---

결론: JEPA가 제시하는 AI의 미래

JEPA는 현재 AI 연구의 주류인 LLM 패러다임을 넘어, 인간 수준의 지능에 도달하기 위한 근본적인 아키텍처 혁신을 상징합니다.

• 핵심 가치: 효율적인 추상적 표현 예측을 통해 상식을 학습하고, 장기 계획을 가능하게 합니다.
• 시대적 의미: 2025년 이후, LLM의 한계를 뛰어넘어 자율 에이전트와 로봇 공학을 위한 통제 가능하고 안전한 AI 시스템을 구축하는 핵심 기반이 될 것입니다.

References:

1. Yann LeCun predicts LLMs will become useless within five years, urges shift to world models - CHOSUNBIZ | Yun Ye-won | 2025-10-27 | https://biz.chosun.com/en/en-it/2025/10/27/LXPLQ7XMK5CELFBS74STVZR73A/
2. 'World Models,' an Old Idea in AI, Mount a Comeback | Quanta Magazine | John Pavlus | 2025-09-02 | https://www.quantamagazine.org/world-models-an-old-idea-in-ai-mount-a-comeback-20250902/
3. Philosophy of Deep Learning, NYU | Yann LeCun (NYU/Meta AI) | 2023-03-24 | https://www.reddit.com/r/MachineLearning/comments/1274w45/d_yan_lecuns_recent_recommendations/