Royfactory

TL;DRMoE(Mixture of Experts)는 토큰마다 일부 Expert만 선택해 계산하는 "희소(조건부) 계산" 구조다.트랜스포머에서는 주로 Dense FFN(MLP)을 MoE FFN(Experts+Router)으로 교체하는 형태가 표준이다.라우팅은 운영 친화적인 Top-1(Switch)과, 표현력 여지가 있지만 비용이 커지는 Top-2(Mixtral)가 대표 선택지다.실제 병목은 라우팅 쏠림·capacity overflow(드롭)·all-to-all 통신·메모리 대역폭에서 자주 발생하므로 "서빙 엔진 + 관측(모니터링) + K8s 토폴로지 튜닝"을 함께 봐야 한다.본문1) MoE를 한 문장으로: "전문가들 + 배분자(라우터)"MoE는 이름 그대로 여러 전문가(Experts)가 있고, 입력(토큰..

TL;DRApple은 2025년 7월 WWDC 이후 새로운 기술 보고서를 발표했으며, 여기서 Apple Intelligence를 구동하는 온디바이스 및 클라우드 기반 재단 모델의 훈련, 최적화, 평가 과정을 상세히 공개했습니다. 약 30억 개 파라미터의 온디바이스 모델과 Parallel-Track Mixture-of-Experts 아키텍처를 사용하는 서버 모델로 구성되며, 공개 웹 데이터, 라이선스된 출판사 콘텐츠, 합성 데이터를 결합하여 훈련되었습니다. 다국어 지원을 275% 확대했으며, 사용자 개인 데이터는 훈련 데이터에 포함되지 않았습니다.Apple Intelligence의 기술 혁신: 하이브리드 AI 아키텍처Apple이 발표한 "Apple Intelligence Foundation Language..

TL;DRArcee AI가 2025년 12월 1일 Trinity Mini(26B, 3B 활성)와 Trinity Nano Preview(6B, 1B 활성) 모델을 출시했습니다. 두 모델은 미국 내 완전히 훈련된 오픈 웨이트 Mixture-of-Experts(MoE) 아키텍처로, Apache 2.0 라이선스 하에 기업과 개발자가 자유롭게 다운로드하고 수정할 수 있습니다. 이는 DeepSeek, Qwen 등 중국 기업들이 주도하는 오픈소스 AI 경쟁에서 미국이 전략적으로 대응하는 사례로 평가됩니다. 향후 2026년 1월에 420억 매개변수 규모의 Trinity Large 모델이 출시될 예정입니다.왜 이것이 중요한가: 미중 오픈소스 AI 경쟁의 새 장최근 수년 동안 AI 생태계의 지형이 급격히 변화했습니다. 2..

TL;DRMixture of Experts (MoE)는 딥러닝 모델의 연산 효율성을 높이기 위해 개발된 아키텍처 패턴입니다. 이는 단일 모델이 아닌 여러 개의 '전문가(Expert)' 서브 네트워크를 구성하고, '게이팅 네트워크(Gating Network)' 또는 '라우터(Router)'를 이용해 입력 토큰별로 가장 적합한 소수(Top-K)의 전문가만 활성화하는 희소성(Sparsity) 기반 조건부 연산을 특징으로 합니다. 이 방식을 통해 전체 파라미터 수는 대규모로 확장하면서도, 실제로 추론 및 학습 시 활성화되는 파라미터는 적어 계산 비용(FLOPs)을 절감하고 속도를 향상시킵니다. 최근 Mistral의 Mixtral 8x7B 같은 대규모 언어 모델(LLM)에 성공적으로 적용되어 효율적인 모델 확장의..

MoE(Mixture of Experts)란 무엇인가?딥러닝 모델의 성능을 높이는 방법 중 하나는 모델의 크기를 키우는 것입니다. 하지만 모든 파라미터를 매번 사용하는 것은 계산 자원이 비효율적일 수 있습니다. 이럴 때 주목할 만한 기술이 바로 Mixture of Experts (MoE)입니다.MoE는 아주 간단히 말하면, 전체 모델 중 일부만 골라 사용하는 구조입니다. 마치 회의를 할 때 모든 전문가가 동시에 말하는 것이 아니라, 필요한 전문가 몇 명만 발언하는 것과 비슷합니다.1. MoE의 개념Mixture of Experts(MoE)는 여러 개의 **전문가 모델(Experts)**을 두고, 입력에 따라 그중 일부만 활성화하여 학습과 추론에 사용하는 방식입니다.각 전문가(Expert)는 동일한 구조를..