Royfactory

TL;DRMoE(Mixture of Experts)는 토큰마다 일부 Expert만 선택해 계산하는 "희소(조건부) 계산" 구조다.트랜스포머에서는 주로 Dense FFN(MLP)을 MoE FFN(Experts+Router)으로 교체하는 형태가 표준이다.라우팅은 운영 친화적인 Top-1(Switch)과, 표현력 여지가 있지만 비용이 커지는 Top-2(Mixtral)가 대표 선택지다.실제 병목은 라우팅 쏠림·capacity overflow(드롭)·all-to-all 통신·메모리 대역폭에서 자주 발생하므로 "서빙 엔진 + 관측(모니터링) + K8s 토폴로지 튜닝"을 함께 봐야 한다.본문1) MoE를 한 문장으로: "전문가들 + 배분자(라우터)"MoE는 이름 그대로 여러 전문가(Experts)가 있고, 입력(토큰..

MoE(Mixture of Experts)란 무엇인가?딥러닝 모델의 성능을 높이는 방법 중 하나는 모델의 크기를 키우는 것입니다. 하지만 모든 파라미터를 매번 사용하는 것은 계산 자원이 비효율적일 수 있습니다. 이럴 때 주목할 만한 기술이 바로 Mixture of Experts (MoE)입니다.MoE는 아주 간단히 말하면, 전체 모델 중 일부만 골라 사용하는 구조입니다. 마치 회의를 할 때 모든 전문가가 동시에 말하는 것이 아니라, 필요한 전문가 몇 명만 발언하는 것과 비슷합니다.1. MoE의 개념Mixture of Experts(MoE)는 여러 개의 **전문가 모델(Experts)**을 두고, 입력에 따라 그중 일부만 활성화하여 학습과 추론에 사용하는 방식입니다.각 전문가(Expert)는 동일한 구조를..