Royfactory

TL;DR얀 르쿤이 메타 AI 수석 과학자직을 사임하고 새로운 벤처 설립을 선언했습니다.신생 벤처는 물리 세계 이해, 기억, 추론, 계획 능력을 지닌 첨단 머신 인텔리전스를 목표로 합니다.최근 메타 AI 연구 방향의 변화, 조직 개편, 오픈소스 정책 등과 독립 연구 추구가 배경입니다.벤처와 메타는 일부 협력하며, AI 연구 생태계에 새로운 혁신이 기대됩니다.얀 르쿤의 메타 AI 사임: 산업적 의미얀 르쿤은 2013년 메타(구 페이스북)에 합류하여 FAIR(Facebook AI Research) 연구소를 설립했고, 이후 AI 수석 과학자로서 딥러닝 및 컴퓨터 비전 혁신을 이끌었습니다. 그의 CNN(합성곱 신경망) 연구는 이미지 인식과 기계학습 분야의 표준으로 자리잡았으며, 메타의 AI 오픈소스 정책(LLA..

PyTorch는 Meta(구 Facebook) 가 개발한 딥러닝 프레임워크로, Define-by-Run(동적 계산 그래프) 방식을 채택하여 모델을 직관적으로 개발하고 디버깅하기 쉽습니다. 핵심은 Tensor 객체를 중심으로 한 GPU 가속 지원과 Autograd를 통한 자동 미분 기능입니다. 2025년 10월 현재 최신 안정 버전은 PyTorch 2.9.0이며, 지속적인 성능 최적화와 TorchScript, ONNX 등 프로덕션 환경을 위한 배포 도구를 제공하여 연구부터 실무 배포까지 전 과정을 지원하는 Python 중심의 강력한 생태계를 구축하고 있습니다.PyTorch의 핵심 아키텍처 및 특징PyTorch는 유연성과 속도를 위해 설계된 오픈소스 머신러닝 라이브러리입니다. 특히 연구 커뮤니티에서 가장 선..

TL;DRDeepSeek AI가 2025년 10월 공개한 DeepSeek-OCR은 기존 OCR을 넘어 텍스트-이미지 변환 기반 압축 알고리즘으로 주목받고 있다.이 모델은 텍스트를 시각화하여 최대 10배(최대 20배) 압축 효율을 달성하며, A100 GPU 한 개만으로 하루 200,000페이지 이상을 처리한다.정확도는 97%, 오픈소스로 공개되어 HuggingFace와 GitHub에서 즉시 활용 가능하다.이 기술은 LLM의 컨텍스트 윈도 확장과 메모리 효율 최적화 측면에서 획기적인 변화를 제공한다.본문DeepSeek-OCR의 기술 개요DeepSeek-OCR은 중국 항저우 기반 스타트업 DeepSeek AI가 개발한 오픈소스 OCR 모델로, “Contexts Optical Compression”이라는 개념을..

TL;DRAttention Mechanism은 모델이 입력 시퀀스의 모든 부분을 동일하게 처리하는 대신, 현재 작업에 가장 관련성 높은 부분에 가중치를 부여하여 집중하게 하는 딥러닝 기법입니다. 이는 인간의 선택적 집중 능력을 모방한 것으로, 2014년 Bahdanau 등이 기계 번역 모델의 고정 크기 인코딩 벡터 문제(병목 현상)를 해결하기 위해 처음 도입했습니다. 이후 2017년 논문 "Attention Is All You Need"에서 Transformer 아키텍처가 소개되며 RNN/CNN 같은 순환/합성곱 구조 없이 오직 Self-Attention만으로 구성되어 NLP 분야의 패러다임을 전환했습니다. Attention은 Query(Q), Key(K), Value(V) 세 벡터의 상호작용을 통해 가..

TL;DRMixture of Experts (MoE)는 딥러닝 모델의 연산 효율성을 높이기 위해 개발된 아키텍처 패턴입니다. 이는 단일 모델이 아닌 여러 개의 '전문가(Expert)' 서브 네트워크를 구성하고, '게이팅 네트워크(Gating Network)' 또는 '라우터(Router)'를 이용해 입력 토큰별로 가장 적합한 소수(Top-K)의 전문가만 활성화하는 희소성(Sparsity) 기반 조건부 연산을 특징으로 합니다. 이 방식을 통해 전체 파라미터 수는 대규모로 확장하면서도, 실제로 추론 및 학습 시 활성화되는 파라미터는 적어 계산 비용(FLOPs)을 절감하고 속도를 향상시킵니다. 최근 Mistral의 Mixtral 8x7B 같은 대규모 언어 모델(LLM)에 성공적으로 적용되어 효율적인 모델 확장의..

Ubuntu에서 nvidia-smi 설치 및 CUDA 테스트 가이드설명: Ubuntu에서 NVIDIA 드라이버 설치로 nvidia-smi를 사용 가능하게 만들고, CUDA Toolkit 설치 후 nvcc와 간단한 커널 및 deviceQuery로 테스트하는 방법을 단계별로 정리합니다. Jammy(22.04), Noble(24.04) 기준으로 동작하며, 20.04도 유사합니다.개요 (Introduction)이 글은 “ubuntu에서 nvidia-smi 설치 및 cuda 테스트” 방법을 처음부터 끝까지 안내합니다. 기본 흐름은 다음과 같습니다.GPU 인식 확인 → 2) 권장 NVIDIA 드라이버 설치(nvidia-smi 포함) → 3) CUDA Toolkit 설치 → 4) 환경변수 설정(필요 시) → 5) 샘..

1. 신경망(Neural Network) 복습신경망은 여러 개의 뉴런(Neuron) 이 층(Layer) 형태로 연결된 구조입니다.데이터가 입력층(Input Layer) → 은닉층(Hidden Layer) → 출력층(Output Layer) 을 거치며 점차 복잡한 패턴을 학습합니다.1.1 신경망의 주요 요소가중치(Weight): 입력 데이터의 중요도를 조절활성화 함수(Activation Function): 뉴런이 출력을 낼지 결정 (ReLU, Sigmoid 등)손실 함수(Loss Function): 예측값과 실제값 차이를 측정옵티마이저(Optimizer): 가중치를 조정해 손실을 최소화 (SGD, Adam 등)2. 왜 신경망을 쓰는가?머신러닝 전통 기법은 사람이 특징을 직접 뽑아야 했습니다.반면 신경망은 ..

1. 딥러닝이란 무엇인가?딥러닝(Deep Learning)은 다층 인공신경망(Artificial Neural Network) 을 기반으로 한 머신러닝 기법입니다.머신러닝의 한 분야이지만, 복잡한 데이터(이미지·음성·텍스트 등) 를 처리하는 데 특히 강력합니다.1.1 인공신경망의 기본 구조인공신경망은 사람의 뇌 구조에서 영감을 받아 뉴런(Neuron) 과 층(Layer) 으로 구성됩니다.입력층(Input Layer): 데이터가 들어오는 부분은닉층(Hidden Layer): 뉴런들이 데이터를 가공·변환출력층(Output Layer): 최종 예측값 산출예시: 사진(입력) → 여러 층을 거쳐 특징 추출 → ‘고양이’ 예측(출력)2. 딥러닝과 머신러닝의 차이구분머신러닝딥러닝특징 추출사람이 직접 정의모델이 자동으로..

1. 인공지능(AI)이란 무엇인가?인공지능(Artificial Intelligence, AI)은 사람의 지능적 활동을 컴퓨터가 흉내 내도록 만드는 기술입니다.쉽게 말해, “사람처럼 생각하고, 배우고, 판단할 수 있는 컴퓨터”를 만드는 것이 목표입니다.일상적인 예시네이버·구글에서 검색어를 입력했을 때 자동으로 추천 키워드가 나오는 기능카메라가 자동으로 사람 얼굴을 인식하고 초점을 맞추는 기능스마트 스피커(예: Google Home, 네이버 Clova)가 음성 명령을 이해하고 대답하는 기능AI를 이해할 때는 약인공지능(Narrow AI) 과 강인공지능(AGI) 의 차이를 먼저 알아두면 좋습니다.구분특징예시약인공지능특정 분야에만 특화된 AI번역기, 추천 시스템, 얼굴 인식강인공지능인간 수준의 모든 지적 활동 ..

RNN이란? – 순서를 기억하는 인공지능 모델RNN(Recurrent Neural Network)은 시간 순서가 중요한 데이터(시퀀스 데이터)를 처리하는 데 특화된 인공지능 모델입니다.예를 들어, 문장, 음성, 주가, 센서 데이터처럼 이전 정보가 다음 결과에 영향을 주는 문제에서 사용됩니다.쉽게 말하면, 이전 입력을 기억해두고 다음 입력을 이해하는 구조를 가진 신경망입니다.왜 필요한가요?기존의 딥러닝 모델(CNN, MLP 등)은 각 입력을 독립적으로 처리합니다. 하지만 문장처럼 순서가 중요한 데이터는 앞의 정보가 뒤에 큰 영향을 줍니다.이럴 때 RNN이 필요합니다. RNN은 이전 입력을 내부 상태로 기억하면서 다음 입력을 처리합니다.예를 들어:문장의 뜻을 이해하려면 앞 단어를 기억해야 한다.음성 인식에서..