Royfactory

트랜스포머(Transformer) 구조 이해하기

트랜스포머(Transformer) 구조 이해하기1. 들어가며앞 강의에서 어텐션 메커니즘을 배웠습니다.트랜스포머(Transformer)는 이 어텐션 개념을 기반으로 만들어진 모델로, 현재의 GPT, BERT, LLaMA와 같은 최신 언어 모델의 뼈대가 됩니다.트랜스포머는 RNN이나 LSTM처럼 순차적으로 데이터를 처리하지 않고, 병렬적으로 문장을 한 번에 학습할 수 있어 속도와 성능 면에서 혁신을 가져왔습니다.2. 트랜스포머의 기본 아이디어트랜스포머는 크게 두 가지 블록으로 구성됩니다.인코더(Encoder) – 입력 문장의 의미를 추출디코더(Decoder) – 의미를 바탕으로 출력 문장을 생성하지만 번역과 같은 작업이 아니고 분류, 문서 임베딩 같은 경우에는 인코더만 사용하기도 합니다.3. 트랜스포머의 핵..

어텐션 메커니즘 기초 – 딥러닝에서 ‘집중하기’ 배우기

어텐션 메커니즘 기초 – 딥러닝에서 ‘집중하기’ 배우기이번 강의에서는 자연어 처리(NLP)와 딥러닝에서 혁신을 일으킨 어텐션 메커니즘(Attention Mechanism)을 다룹니다."모든 단어를 똑같이 다루는 것이 아니라, 중요한 단어에 더 집중한다"는 개념을 이해하는 것이 핵심입니다.1. 왜 어텐션이 필요한가?전통적인 RNN, LSTM, GRU 같은 순환 신경망은 문장이 길어질수록 앞부분의 정보를 잊어버리는 한계가 있습니다.예를 들어, 다음 문장을 생각해봅시다."나는 어제 친구와 영화를 보고, 집에 와서 저녁을 먹고, 책을 읽었다. 그 영화는 정말 재미있었다."마지막에 나오는 "그 영화"라는 단어를 이해하려면 앞부분에 나온 "영화" 정보와 연결해야 합니다.RNN은 이런 긴 문맥을 다 기억하기 어렵지만..

GRU(Gated Recurrent Unit) 네트워크 기초

GRU(Gated Recurrent Unit) 네트워크 기초이번 강의에서는 GRU(Gated Recurrent Unit)를 학습합니다. GRU는 LSTM과 마찬가지로 RNN의 장기 의존성(Long-Term Dependency) 문제를 해결하기 위해 고안된 구조지만, 조금 더 단순하고 계산 효율적인 모델입니다. 따라서 텍스트 분석, 시계열 데이터 예측 등 다양한 분야에서 많이 사용됩니다.1) 왜 GRU인가?기존의 RNN은 입력이 길어질수록 앞부분의 정보를 잊어버리는 문제(기울기 소실, vanishing gradient)가 발생합니다.이를 해결하기 위해 LSTM이 등장했지만, 구조가 복잡하고 계산 비용이 크다는 단점이 있습니다.GRU는 LSTM에서 셀 상태(Cell State)를 없애고, 은닉 상태(Hidd..

1. 들어가며앞선 강의에서 순환 신경망(RNN)의 개념을 배웠습니다. 하지만 RNN에는 장기 의존성 문제(long-term dependency) 라는 한계가 있습니다.즉, 문장이 길어지거나 시퀀스 데이터가 길어질수록 앞쪽 정보를 뒤쪽에서 잘 기억하지 못한다는 것이죠.이를 해결하기 위해 고안된 것이 바로 LSTM(Long Short-Term Memory) 네트워크입니다. LSTM은 정보를 오랫동안 기억할 수 있도록 특별한 구조를 가지고 있어, 텍스트, 음성, 시계열 데이터 분석 등에서 널리 활용됩니다.2. LSTM의 핵심 아이디어LSTM은 RNN 구조에 **게이트(gate)**라는 장치를 추가한 모델입니다.게이트는 마치 “필터”처럼 어떤 정보를 기억할지, 잊을지를 결정합니다.Forget Gate (망각 게..

1) RNN이란 무엇인가?기존의 **Feedforward Neural Network(순전파 신경망)**는 입력을 독립적으로 처리합니다. 하지만 언어, 시계열 데이터처럼 **순서(순차성)**가 중요한 데이터는 이런 구조로 충분히 학습할 수 없습니다.RNN은 과거의 출력을 현재 입력과 함께 고려하여 **“기억”**을 반영할 수 있습니다.즉, **이전 단계(hidden state)**를 다음 단계로 전달하는 구조로, 순차적인 맥락을 이해하는 데 강점을 가집니다.2) RNN의 핵심 구조RNN의 기본 수식은 다음과 같습니다.Hidden state 갱신h_t = tanh(W_hh * h_(t-1) + W_xh * x_t + b_h)출력 계산y_t = W_hy * h_t + b_y여기서x_t: 시점 t의 입력h_t:..

1) 자연어 처리(NLP)란?자연어 처리(NLP, Natural Language Processing)는 사람이 사용하는 언어(한국어, 영어, 중국어 등)를 컴퓨터가 이해하고 처리할 수 있도록 만드는 기술입니다.쉽게 말해, 컴퓨터가 “문자열”로만 보던 텍스트를 의미 단위로 인식해 분석하는 과정입니다.활용 예시챗봇 (예: 고객센터 자동 응답)번역기 (예: Google Translate)감정 분석 (긍정/부정 리뷰 판별)텍스트 요약 (기사 핵심 요약)2) 왜 중요한가?데이터의 80% 이상이 비정형 데이터(텍스트, 이미지 등)입니다.그중 텍스트는 이메일, 고객 리뷰, SNS, 문서 등에서 가장 많이 발생하는 데이터로, 비즈니스 인사이트와 의사결정에 큰 역할을 합니다.3) NLP 처리 단계토큰화(Tokenizat..

1. 신경망(Neural Network) 복습신경망은 여러 개의 뉴런(Neuron) 이 층(Layer) 형태로 연결된 구조입니다.데이터가 입력층(Input Layer) → 은닉층(Hidden Layer) → 출력층(Output Layer) 을 거치며 점차 복잡한 패턴을 학습합니다.1.1 신경망의 주요 요소가중치(Weight): 입력 데이터의 중요도를 조절활성화 함수(Activation Function): 뉴런이 출력을 낼지 결정 (ReLU, Sigmoid 등)손실 함수(Loss Function): 예측값과 실제값 차이를 측정옵티마이저(Optimizer): 가중치를 조정해 손실을 최소화 (SGD, Adam 등)2. 왜 신경망을 쓰는가?머신러닝 전통 기법은 사람이 특징을 직접 뽑아야 했습니다.반면 신경망은 ..

1. 비지도학습(Unsupervised Learning)이란?비지도학습은 정답(Label)이 없는 데이터에서 패턴, 구조, 관계를 찾아내는 학습 방식입니다.지도학습처럼 ‘정답지’가 없기 때문에, 모델은 스스로 데이터의 숨은 규칙을 발견합니다.1.1 주요 활용 사례고객 세분화: 구매 이력 기반 고객 그룹 나누기이상치 탐지: 금융 사기, 시스템 장애 조기 감지데이터 시각화: 고차원 데이터를 2D/3D로 축소해 이해도 향상2. 군집(Clustering)군집은 유사한 데이터끼리 묶는 작업입니다.대표적인 알고리즘은 다음과 같습니다.알고리즘특징K-Means간단하고 빠르지만, 군집 개수를 사전에 지정해야 함계층적 군집(Hierarchical)데이터 계층 구조를 시각화 가능DBSCAN군집 개수를 지정하지 않아도 되며 ..

1. 지도학습이란?지도학습(Supervised Learning)은 입력 데이터(Input) 와 정답(Label) 이 함께 주어져,모델이 이를 학습한 뒤 새로운 입력에 대한 정답을 예측하는 학습 방식입니다.1.1 분류 vs 회귀구분 설명 출력값 예시 활용 사례분류데이터가 속할 범주(Category)를 예측스팸/정상, 품종명, 등급스팸메일 탐지, 질병 진단회귀연속적인 숫자 값을 예측가격, 온도, 확률주가 예측, 판매량 예측2. 분류(Classification)2.1 개념데이터를 여러 범주(Class) 중 하나로 분류예: ‘이 메일은 스팸인가, 아닌가?’2.2 주요 알고리즘로지스틱 회귀(Logistic Regression)의사결정나무(Decision Tree)서포트 벡터 머신(SVM)랜덤 포레스트(Random..

1. 데이터 전처리가 중요한 이유AI 모델의 성능은 데이터 품질에 크게 좌우됩니다.데이터가 깨끗하지 않으면, 아무리 좋은 모델이라도 결과가 나빠집니다.따라서 학습 전에 전처리(Preprocessing) 단계가 꼭 필요합니다.1.1 전처리의 목표결측치(Missing Value) 처리이상치(Outlier) 제거스케일 조정(Normalization/Standardization)범주형 데이터 인코딩데이터 시각화로 이해도 향상2. 결측치 처리2.1 결측치 확인import pandas as pddf = pd.read_csv("data.csv")print(df.isnull().sum())2.2 결측치 처리 방법삭제(Drop): 결측치가 있는 행/열 제거df = df.dropna()대체(Fill): 평균, 중앙값, 최..