Royfactory

Llama 4 오픈소스 릴리스 정리: Scout/Maverick 스펙·벤치마크·라이선스 체크리스트

TL;DRMeta는 2025-04-05에 Llama 4 Scout(17B 활성/109B 총, 10M 컨텍스트)와 Llama 4 Maverick(17B 활성/400B 총, 1M 컨텍스트)을 공개했다.두 모델은 MoE 기반의 "네이티브 멀티모달(텍스트+이미지 입력)" 구조를 전면에 내세우며, 멀티링구얼(12개 언어 지원)과 긴 컨텍스트를 강점으로 한다.성능은 Hugging Face가 공개한 평가표 기준으로 MMLU Pro, GPQA Diamond 등에서 Llama 3.1/3.3 계열 대비 큰 폭의 개선 수치를 제시했다.다만 "오픈소스"라는 표현은 라이선스가 OSI(Open Source Initiative) 정의의 '오픈 소스'와는 다를 수 있어, 상용 사용 전 Llama 4 Community License의..

TL;DRYann LeCun은 LLM의 한계를 지적하며, 현재 AI는 진정한 지능과는 거리가 멀다고 비판함.레쿤은 인간 수준의 인공지능 달성을 위해 더 깊은 세계 모델과 새로운 아키텍처가 필요하다고 주장.Meta의 수석과학자로서 그는 AI 분야의 방향성 재고를 강하게 촉구함.LLM의 한계와 AI 연구의 변곡점Yann LeCun은 최근 인터뷰와 공식 보고서에서 대형 언어 모델(LLM)이 단어 예측 방식을 기반으로 작동하기 때문에 진정한 ‘추론’이나 ‘계획’ 능력을 갖추기 어렵다고 밝혔다. 그는 이러한 모델이 인간의 직관적 사고(카너먼의 System 1)에 머물러 있고, 숙고적이고 복잡한 사고(System 2)에 도달할 수 없다고 설명한다. 레쿤은 "단순히 텍스트에 의존해 인간 수준의 AI를 만드는 건 불가..

TL;DR2025년 발표된 Tsinghua Univ. 중심의 논문은, 강화학습(RL)이 LLM의 표면적 추론 성능엔 일시적 효과가 있지만, 실제 새로운 추론 경로(Reasoning Path)를 추가하지 않음을 실험적으로 보였다.pass@k(샘플 k개 중 적어도 1개 정답) 대규모 측정 결과, RL 모델은 낮은 k에서만 강점을 보이나, 높은 k에선 베이스 모델이 더 넓은 문제를 풀 수 있다.강화학습은 기존 분포 내 해결책을 더 집중해 출력할 수 있게 도와줄 뿐, 완전히 새로운 추론 능력을 창출하지 못했다.시사점: 실제로 LLM 추론능력 한계를 넘기려면 RL 기반 외의 새로운 패러다임이 필요하다.1. 논문 주요 요약Tsinghua Univ. 연구팀(2025)의 “Does Reinforcement Learni..

TL;DR2025년 10월 27일 서울에서 얀 르쿤은 자동 회귀 거대 언어 모델(AR-LLM) 이 5년 내 쓸모 없어질 것이라는 충격적인 예측을 내놓으며, 세계 모델(World Model) 패러다임으로의 즉각적인 전환을 촉구했습니다. LLM은 텍스트 패턴 학습에 의존해 추론, 계획, 물리적 세계 이해 능력이 근본적으로 결여되어 있습니다 (배경 지식: 2023-03-24 강연). 이 문제를 해결하기 위해 메타 AI는 영상(Video) 및 상호작용을 통해 학습하는 비생성적(Non-generative) 모델인 JEPA(Joint Embedding Predictive Architecture) 를 발전시키고 있으며, 2025년 6월에는 최신 버전인 V-JEPA2를 공개하며 관련 연구를 선도하고 있습니다.1. 20..