Royfactory

MiniMind: PyTorch 기반 GPT 스타일 LLM 훈련 파이프라인

TL;DRMiniMind는 최신 GPT 스타일의 언어 모델(LLM)을 순수 PyTorch로 훈련할 수 있는 경량화된 오픈소스 파이프라인입니다. 해당 프로젝트는 단순한 설계와 높은 모듈성을 통해 모델 아키텍처의 실험 및 커스터마이징을 용이하게 합니다. PyTorch 기반의 AI 연구자와 개발자에게 적합하며, 최신 언어 모델 기술을 효율적으로 탐구할 수 있는 강력한 도구입니다.MiniMind란 무엇인가?MiniMind는 순수 PyTorch로 구축된 엔드투엔드 GPT 스타일의 언어 모델(LLM) 훈련 파이프라인입니다. 주요 목적은 경량화된 코드 기반을 제공함으로써 LLM 모델 훈련 및 실험의 접근성을 높이는 것입니다. 포함 범위: GPT 스타일의 언어 모델 훈련, 모듈형 설계, PyTorch 활용제외 범위: ..

TL;DR소비자용 GPU를 활용한 Private LLM Inference는 비용 효율성과 데이터 보안 문제를 동시에 해결하는 매력적인 대안으로 떠오르고 있습니다. 이 글에서는 소비자 GPU에서 LLM을 실행하기 위한 기술적 배경, 주요 이점, 한계점 및 관련 실무 팁을 다룹니다. 또한, 이를 구현하기 위한 주요 도구와 프레임워크를 비교합니다.목차Private LLM Inference란 무엇인가?소비자용 GPU에서 LLM Inference를 실행하는 이유주요 프레임워크 비교Private LLM Inference 구현 시 고려사항자주 묻는 질문(FAQ)트러블슈팅: 주요 문제와 해결책결론Private LLM Inference란 무엇인가?Private LLM Inference는 로컬 환경에서 대규모 언어 모델(..

PANDA: 비조영 CT에서 AI로 췌장암 조기 발견한 중국 사례중국 병원에서 비조영 CT를 분석하는 AI(PANDA)가 췌장암을 조기에 찾아낸 사례가 주목받고 있다. Nature Medicine 근거, 임상 적용, FDA Breakthrough 지정과 한계까지 정리한다.TL;DR중국 병원에서 비조영(non-contrast) CT를 대상으로 AI 모델(PANDA)을 임상 흐름에 붙여, 사람 눈에 잘 안 보이는 췌장암 병변을 조기에 포착했다는 보도가 나왔다.PANDA는 2023-11-20 공개된 Nature Medicine 논문에서 대규모 검증(다기관/실사용 시나리오) 성능을 제시했고, "비조영 CT 기반 기회적(opportunistic) 스크리닝" 가능성을 강조한다.다만 췌장암은 유병률이 낮아 일반 인구..

TL;DR얀 르쿤이 메타 AI 수석 과학자직을 사임하고 새로운 벤처 설립을 선언했습니다.신생 벤처는 물리 세계 이해, 기억, 추론, 계획 능력을 지닌 첨단 머신 인텔리전스를 목표로 합니다.최근 메타 AI 연구 방향의 변화, 조직 개편, 오픈소스 정책 등과 독립 연구 추구가 배경입니다.벤처와 메타는 일부 협력하며, AI 연구 생태계에 새로운 혁신이 기대됩니다.얀 르쿤의 메타 AI 사임: 산업적 의미얀 르쿤은 2013년 메타(구 페이스북)에 합류하여 FAIR(Facebook AI Research) 연구소를 설립했고, 이후 AI 수석 과학자로서 딥러닝 및 컴퓨터 비전 혁신을 이끌었습니다. 그의 CNN(합성곱 신경망) 연구는 이미지 인식과 기계학습 분야의 표준으로 자리잡았으며, 메타의 AI 오픈소스 정책(LLA..

PyTorch는 Meta(구 Facebook) 가 개발한 딥러닝 프레임워크로, Define-by-Run(동적 계산 그래프) 방식을 채택하여 모델을 직관적으로 개발하고 디버깅하기 쉽습니다. 핵심은 Tensor 객체를 중심으로 한 GPU 가속 지원과 Autograd를 통한 자동 미분 기능입니다. 2025년 10월 현재 최신 안정 버전은 PyTorch 2.9.0이며, 지속적인 성능 최적화와 TorchScript, ONNX 등 프로덕션 환경을 위한 배포 도구를 제공하여 연구부터 실무 배포까지 전 과정을 지원하는 Python 중심의 강력한 생태계를 구축하고 있습니다.PyTorch의 핵심 아키텍처 및 특징PyTorch는 유연성과 속도를 위해 설계된 오픈소스 머신러닝 라이브러리입니다. 특히 연구 커뮤니티에서 가장 선..

TL;DRDeepSeek AI가 2025년 10월 공개한 DeepSeek-OCR은 기존 OCR을 넘어 텍스트-이미지 변환 기반 압축 알고리즘으로 주목받고 있다.이 모델은 텍스트를 시각화하여 최대 10배(최대 20배) 압축 효율을 달성하며, A100 GPU 한 개만으로 하루 200,000페이지 이상을 처리한다.정확도는 97%, 오픈소스로 공개되어 HuggingFace와 GitHub에서 즉시 활용 가능하다.이 기술은 LLM의 컨텍스트 윈도 확장과 메모리 효율 최적화 측면에서 획기적인 변화를 제공한다.본문DeepSeek-OCR의 기술 개요DeepSeek-OCR은 중국 항저우 기반 스타트업 DeepSeek AI가 개발한 오픈소스 OCR 모델로, “Contexts Optical Compression”이라는 개념을..

TL;DRAttention Mechanism은 모델이 입력 시퀀스의 모든 부분을 동일하게 처리하는 대신, 현재 작업에 가장 관련성 높은 부분에 가중치를 부여하여 집중하게 하는 딥러닝 기법입니다. 이는 인간의 선택적 집중 능력을 모방한 것으로, 2014년 Bahdanau 등이 기계 번역 모델의 고정 크기 인코딩 벡터 문제(병목 현상)를 해결하기 위해 처음 도입했습니다. 이후 2017년 논문 "Attention Is All You Need"에서 Transformer 아키텍처가 소개되며 RNN/CNN 같은 순환/합성곱 구조 없이 오직 Self-Attention만으로 구성되어 NLP 분야의 패러다임을 전환했습니다. Attention은 Query(Q), Key(K), Value(V) 세 벡터의 상호작용을 통해 가..

TL;DRMixture of Experts (MoE)는 딥러닝 모델의 연산 효율성을 높이기 위해 개발된 아키텍처 패턴입니다. 이는 단일 모델이 아닌 여러 개의 '전문가(Expert)' 서브 네트워크를 구성하고, '게이팅 네트워크(Gating Network)' 또는 '라우터(Router)'를 이용해 입력 토큰별로 가장 적합한 소수(Top-K)의 전문가만 활성화하는 희소성(Sparsity) 기반 조건부 연산을 특징으로 합니다. 이 방식을 통해 전체 파라미터 수는 대규모로 확장하면서도, 실제로 추론 및 학습 시 활성화되는 파라미터는 적어 계산 비용(FLOPs)을 절감하고 속도를 향상시킵니다. 최근 Mistral의 Mixtral 8x7B 같은 대규모 언어 모델(LLM)에 성공적으로 적용되어 효율적인 모델 확장의..

Ubuntu에서 nvidia-smi 설치 및 CUDA 테스트 가이드설명: Ubuntu에서 NVIDIA 드라이버 설치로 nvidia-smi를 사용 가능하게 만들고, CUDA Toolkit 설치 후 nvcc와 간단한 커널 및 deviceQuery로 테스트하는 방법을 단계별로 정리합니다. Jammy(22.04), Noble(24.04) 기준으로 동작하며, 20.04도 유사합니다.개요 (Introduction)이 글은 “ubuntu에서 nvidia-smi 설치 및 cuda 테스트” 방법을 처음부터 끝까지 안내합니다. 기본 흐름은 다음과 같습니다.GPU 인식 확인 → 2) 권장 NVIDIA 드라이버 설치(nvidia-smi 포함) → 3) CUDA Toolkit 설치 → 4) 환경변수 설정(필요 시) → 5) 샘..

1. 신경망(Neural Network) 복습신경망은 여러 개의 뉴런(Neuron) 이 층(Layer) 형태로 연결된 구조입니다.데이터가 입력층(Input Layer) → 은닉층(Hidden Layer) → 출력층(Output Layer) 을 거치며 점차 복잡한 패턴을 학습합니다.1.1 신경망의 주요 요소가중치(Weight): 입력 데이터의 중요도를 조절활성화 함수(Activation Function): 뉴런이 출력을 낼지 결정 (ReLU, Sigmoid 등)손실 함수(Loss Function): 예측값과 실제값 차이를 측정옵티마이저(Optimizer): 가중치를 조정해 손실을 최소화 (SGD, Adam 등)2. 왜 신경망을 쓰는가?머신러닝 전통 기법은 사람이 특징을 직접 뽑아야 했습니다.반면 신경망은 ..