Apple의 AI 모델 훈련 보고서: 투명성과 책임감으로 구축된 Intelligence

AI/Trend

Apple의 AI 모델 훈련 보고서: 투명성과 책임감으로 구축된 Intelligence

Royzero 2025. 12. 5. 07:19

TL;DR

Apple은 2025년 7월 WWDC 이후 새로운 기술 보고서를 발표했으며, 여기서 Apple Intelligence를 구동하는 온디바이스 및 클라우드 기반 재단 모델의 훈련, 최적화, 평가 과정을 상세히 공개했습니다. 약 30억 개 파라미터의 온디바이스 모델과 Parallel-Track Mixture-of-Experts 아키텍처를 사용하는 서버 모델로 구성되며, 공개 웹 데이터, 라이선스된 출판사 콘텐츠, 합성 데이터를 결합하여 훈련되었습니다. 다국어 지원을 275% 확대했으며, 사용자 개인 데이터는 훈련 데이터에 포함되지 않았습니다.

Apple Intelligence의 기술 혁신: 하이브리드 AI 아키텍처

Apple이 발표한 "Apple Intelligence Foundation Language Models – Tech Report 2025" 보고서는 기술 투명성에 대한 산업의 새로운 기준을 제시합니다. 이 보고서는 온디바이스와 클라우드 기반 모델 모두에 대한 아키텍처, 데이터 소스, 훈련 방법, 최적화 기법, 성능 평가를 포괄적으로 다룹니다.

온디바이스 모델의 혁신적 설계

Apple의 온디바이스 모델은 약 3억 개 파라미터로 설계되었으며, Apple 실리콘에 최적화되어 있습니다. 가장 주목할 만한 아키텍처 개선은 모델을 두 개의 블록으로 분할하는 것입니다. 첫 번째 블록이 총 트랜스포머 레이어의 62.5%를 차지하고, 두 번째 블록이 나머지 37.5%를 담당합니다.

이러한 설계는 Key-Value(KV) 캐시 메모리 사용을 37.5% 감소시키고, 첫 번째 토큰 생성 시간도 37.5% 단축시켰습니다. 두 번째 블록의 KV 캐시가 첫 번째 블록의 최종 레이어로부터 직접 공유되기 때문입니다.

서버 모델은 더욱 혁신적인 Parallel-Track Mixture-of-Experts(PT-MoE) 아키텍처를 채택합니다. 이 설계에서 여러 개의 작은 트랜스포머(각각을 "트랙"이라 부름)가 독립적으로 토큰을 처리하며, 입력과 출력 경계에서만 동기화됩니다. 각 트랙 블록은 자신의 MoE 레이어 세트를 보유하므로, 전체 시스템 간의 처리 병목 현상을 피할 수 있습니다. 또한 각 트랙은 정규 트랜스포머 레이어와 MoE 레이어를 교대로 배치하여 계산 효율성을 극대화합니다.

왜 이것이 중요한가

이러한 아키텍처 혁신은 Apple이 모델 성능을 유지하면서도 기기의 전력 소비와 메모리 압박을 대폭 줄였음을 의미합니다. 이는 사용자가 사적인 환경에서 강력한 AI 기능을 즉각적으로 사용할 수 있게 해줍니다.

데이터 수집 및 처리: 투명한 책임감 있는 접근

Apple이 공개한 보고서에서 가장 중요한 측면은 데이터 소싱 방식의 투명성입니다. 회사는 훈련 데이터가 세 가지 주요 출처로 구성되어 있다고 명시했습니다.

다원화된 데이터 소스

공개 웹 데이터: Apple의 웹 크롤러 Applebot이 수집한 공개 웹 데이터가 가장 큰 비중을 차지합니다. Apple은 저품질, 위험한 또는 무관한 콘텐츠를 제거하기 위해 여러 계층의 필터링을 적용했으며, 스팸 페이지, 피상적이거나 템플릿화된 텍스트, 손상된 형식을 걸러냈습니다.

라이선스된 데이터: Apple은 2023년 말 NBC, Condé Nast, IAC 등 여러 출판사와 접촉하여 최소 5천만 달러 규모의 다년 계약을 체결했습니다. 이는 출판사의 뉴스 아카이브를 사용하여 모델을 훈련할 권리를 확보한 것입니다.

오픈소스 코드: GitHub에서 호스팅되는 Swift, Python, C, Objective-C, C++, JavaScript, Java, Go 코드를 포함했습니다.

합성 데이터: Apple은 수학, 코드, 명령 튜닝, 비전-언어 작업을 위해 더 작은 모델과 커스텀 파이프라인을 사용하여 합성 데이터를 생성했습니다.

왜 이것이 중요한가

Apple의 투명한 데이터 소싱 방식은 AI 윤리에서 중요한 진전입니다. 회사가 훈련 데이터에 사용자의 개인 데이터를 포함하지 않았음을 명시적으로 선언함으로써, 개인정보 보호를 우선시하는 AI 개발 모델을 제시합니다.

다국어 지원 확대: 글로벌 포용성

Apple의 초기 Apple Intelligence 출시가 직면했던 가장 큰 비판 중 하나는 영어 외 언어 지원의 부족이었습니다. 새로운 보고서는 회사가 이 문제를 어떻게 해결했는지 상세히 설명합니다.

다국어 데이터 확대의 구체적 수치

Apple은 훈련 중 사용되는 다국어 데이터의 비율을 기존 8%에서 30%로 증가시켰습니다. 이는 약 275% 증가를 의미합니다. 데이터는 유기적 콘텐츠와 합성 콘텐츠를 모두 포함합니다.

또한 모델의 토크나이저(토큰 어휘) 크기를 50% 확대했습니다. 이전의 100K 토큰에서 150K 토큰으로 증가함으로써, 모델이 더 다양한 언어의 단어와 문자를 효율적으로 인식할 수 있게 되었습니다.

성능 개선 결과

이러한 변경으로 인해 Apple은 특히 강화 학습 미세 조정 이후 비영어 벤치마크에서 "상당한 성능 향상"을 달성했습니다. 이는 전 세계 사용자들이 자신의 언어로 더 높은 품질의 AI 경험을 받을 수 있음을 의미합니다.

왜 이것이 중요한가

다국어 지원의 확대는 Apple Intelligence가 진정한 글로벌 서비스로 발전하고 있음을 보여줍니다. 비영어권 사용자들도 온디바이스 AI의 이점을 누릴 수 있게 된 것입니다.

모델 최적화: 성능과 효율성의 균형

Apple의 기술 보고서는 방대한 파라미터를 가진 모델을 모바일 기기에서 실행 가능하게 만든 최적화 기법들을 상세히 설명합니다.

양자화 기술의 진화

Apple은 온디바이스 모델을 혼합 2비트 및 4비트 구성으로 압축하여, 평균 3.7 비트-퍼-웨이트의 정밀도를 달성했습니다. 이는 비압축 모델과 동일한 정확도를 유지하면서도 메모리 및 전력 소비를 획기적으로 줄였습니다. 더 공격적인 압축의 경우 3.5 비트-퍼-웨이트까지 가능하며, 품질 손실이 미미합니다.

또한 임베딩 테이블을 4비트로 양자화했고, KV 캐시는 8비트로 양자화했습니다. 온디바이스 모델의 경우 양자화-인식 훈련(QAT)을 사용하고, 서버 모델은 훈련 후 양자화를 적용했습니다.

LoRA 어댑터 시스템

Apple은 새로운 LoRA 어댑터 프레임워크를 개발하여 특정 작업에 맞게 모델을 동적으로 적응시킬 수 있게 했습니다. 기본 사전 훈련된 모델의 원래 파라미터는 변경되지 않으며, 어댑터 레이어만 미세 조정됩니다. 약 3억 파라미터 모델의 경우, 랭크 16 어댑터 파라미터는 약 10~50MB 정도의 용량만 필요하며, 동적으로 로드하고 캐시에 보관하며 스왑할 수 있습니다.

Talaria 분석 도구

Apple은 각 작업의 비트율 선택을 더 잘 안내하기 위해 Talaria라는 대화형 모델 지연 시간 및 전력 분석 도구를 개발했습니다.

왜 이것이 중요한가

이러한 최적화 기법들은 강력한 AI 모델을 기기의 배터리와 메모리 제약 내에서 실행하는 것을 가능하게 합니다. 사용자는 클라우드 연결 없이도 개인정보 보호를 받으면서 고급 AI 기능을 사용할 수 있습니다.

책임감 있는 AI 원칙: 개발의 모든 단계에서

Apple이 발표한 보고서는 단순한 기술 문서를 넘어, 윤리적 AI 개발에 대한 회사의 명확한 입장을 보여줍니다.

개인정보 보호 우선

Apple은 명시적으로 "개인정보 보호에 대한 초점을 감안할 때, Apple의 사용자 개인 데이터는 데이터 혼합에 포함되지 않음"을 밝혔습니다. 이는 단순한 마케팅 주장이 아니라 기술 보고서의 공식 기록입니다.

편향 방지 및 안전 대책

Apple은 다양한 언어, 인구통계, 문화 환경에서 모델을 평가하여 불공정하거나 해로운 결과로 이어질 수 있는 편향을 식별하고 완화했습니다. 또한 자동화된 테스트와 인간 검토를 혼합한 "레드팀" 활동을 통해 출시 전 약점을 파악했습니다.

투명한 서버 검증

Private Cloud Compute를 사용할 때, 모든 프로덕션 PCC 서버 빌드는 암호화 서명된 증명 로그를 포함하여 공개적으로 검사할 수 있습니다. 또한 PCC는 Apple의 버그 바운티 프로그램에 포함되어 있어, 보안 연구원들이 취약점을 발견했을 때 보상을 받을 수 있습니다.

왜 이것이 중요한가

Apple의 책임감 있는 AI 접근 방식은 기술 기업이 수익성과 윤리를 동시에 추구할 수 있음을 보여줍니다. 다른 AI 개발사들도 유사한 수준의 투명성과 책임성을 기대받게 될 가능성이 높습니다.

개발자 접근: Foundation Models Framework

2025년 6월 WWDC에서 Apple은 개발자들이 Apple Intelligence의 핵심인 온디바이스 기반 모델에 직접 접근할 수 있게 하는 Foundation Models Framework를 발표했습니다.

프레임워크의 주요 특징

개발자는 단 3줄의 Swift 코드로 Apple Intelligence 모델에 접근할 수 있습니다. 이 프레임워크는 기본적으로 오프라인에서 작동하므로, 사용자의 개인 데이터가 Apple 기기를 떠나지 않습니다.

Automattic의 Day One 일기 앱과 AllTrails 지도 앱이 이미 이 프레임워크를 활용하고 있습니다. 이는 오프라인 환경에서도 자연어 처리 능력을 필요로 하는 다양한 응용 프로그램을 가능하게 합니다.

왜 이것이 중요한가

개발자에게 Apple Intelligence 모델의 직접 접근을 제공함으로써, Apple은 프라이빗한 AI 애플리케이션의 생태계를 구축하고 있습니다. 이는 AI 기술의 민주화와 동시에 개인정보 보호를 실현하는 새로운 모델입니다.

결론

Apple이 발표한 기술 보고서는 AI 개발의 투명성과 책임성에 새로운 기준을 설정합니다. 온디바이스와 클라우드 하이브리드 아키텍처, 혁신적인 모델 최적화 기법, 다국어 지원 확대, 그리고 명확한 윤리적 원칙이 모두 하나로 통합되어 있습니다.

Apple Intelligence의 핵심 장점은 강력한 AI 기능을 개인정보 보호와 함께 제공한다는 것입니다. 개발자들이 이제 이 모델에 직접 접근할 수 있게 됨으로써, 프라이빗한 AI의 새로운 애플리케이션 생태계가 형성될 것으로 예상됩니다.

References

저작자표시 비영리 변경금지 (새창열림)