MoE(Mixture of Experts)란 무엇인가?딥러닝 모델의 성능을 높이는 방법 중 하나는 모델의 크기를 키우는 것입니다. 하지만 모든 파라미터를 매번 사용하는 것은 계산 자원이 비효율적일 수 있습니다. 이럴 때 주목할 만한 기술이 바로 Mixture of Experts (MoE)입니다.MoE는 아주 간단히 말하면, 전체 모델 중 일부만 골라 사용하는 구조입니다. 마치 회의를 할 때 모든 전문가가 동시에 말하는 것이 아니라, 필요한 전문가 몇 명만 발언하는 것과 비슷합니다.1. MoE의 개념Mixture of Experts(MoE)는 여러 개의 **전문가 모델(Experts)**을 두고, 입력에 따라 그중 일부만 활성화하여 학습과 추론에 사용하는 방식입니다.각 전문가(Expert)는 동일한 구조를..
