어텐션 메커니즘 기초 – 딥러닝에서 ‘집중하기’ 배우기

어텐션 메커니즘 기초 – 딥러닝에서 ‘집중하기’ 배우기

이번 강의에서는 자연어 처리(NLP)와 딥러닝에서 혁신을 일으킨 어텐션 메커니즘(Attention Mechanism)을 다룹니다.
"모든 단어를 똑같이 다루는 것이 아니라, 중요한 단어에 더 집중한다"는 개념을 이해하는 것이 핵심입니다.

---

1. 왜 어텐션이 필요한가?

전통적인 RNN, LSTM, GRU 같은 순환 신경망은 문장이 길어질수록 앞부분의 정보를 잊어버리는 한계가 있습니다.
예를 들어, 다음 문장을 생각해봅시다.

"나는 어제 친구와 영화를 보고, 집에 와서 저녁을 먹고, 책을 읽었다. 그 영화는 정말 재미있었다."

마지막에 나오는 "그 영화"라는 단어를 이해하려면 앞부분에 나온 "영화" 정보와 연결해야 합니다.
RNN은 이런 긴 문맥을 다 기억하기 어렵지만, 어텐션은 필요한 부분에 가중치를 줘서 집중할 수 있습니다.

---

2. 어텐션의 기본 아이디어

어텐션은 입력 시퀀스의 모든 단어를 "동등하게" 보는 것이 아니라, 중요한 단어에 높은 점수를 주고 집중하는 방식입니다.

핵심은 다음 세 가지 벡터입니다.

• Query (Q): 현재 단어가 "어떤 정보"를 찾고 싶은지
• Key (K): 각 단어가 가진 "정보의 성격"
• Value (V): 실제로 전달할 내용

어텐션 수식

Attention(Q, K, V) = softmax(QKᵀ / √d_k) V

여기서 QKᵀ는 유사도를 계산하는 부분, softmax는 중요도를 확률로 변환하는 부분입니다.
즉, "내가 필요한 단어와 관련 있는 단어에 더 집중하겠다"는 원리입니다.

---

3. 직관적인 예시

문장: "The cat sat on the mat because it was tired."

여기서 "it"이 무엇을 가리키는지 해석할 때, 어텐션은 "cat"에 높은 점수를 줍니다.
즉, 기계 번역이나 문맥 이해에서 핵심 단어와 관계를 스스로 찾아낼 수 있습니다.

---

4. 실습: 간단한 어텐션 구현 (TensorFlow)

아래는 TensorFlow로 작성한 단일 어텐션 레이어 예제입니다.

import tensorflow as tf

# 예제 입력 (배치=1, 단어수=5, 임베딩 차원=8)
x = tf.random.normal(shape=(1, 5, 8))

# Query, Key, Value 가중치 정의
Wq = tf.keras.layers.Dense(8)
Wk = tf.keras.layers.Dense(8)
Wv = tf.keras.layers.Dense(8)

Q = Wq(x)
K = Wk(x)
V = Wv(x)

# 어텐션 스코어 계산
scores = tf.matmul(Q, K, transpose_b=True) / tf.math.sqrt(tf.cast(8, tf.float32))
weights = tf.nn.softmax(scores, axis=-1)

# 출력 벡터
output = tf.matmul(weights, V)

print("어텐션 가중치:", weights.numpy())
print("출력 크기:", output.shape)

실행 결과 예시:

어텐션 가중치: [[0.21 0.18 0.25 0.19 0.17], ...]
출력 크기: (1, 5, 8)

여기서 각 단어가 다른 단어를 얼마나 참고하는지를 확인할 수 있습니다.

---

5. 어텐션의 장점

1. 긴 문맥 처리 → 멀리 떨어진 단어도 잘 연결
2. 병렬 처리 가능 → RNN보다 학습 속도 빠름
3. 해석 가능성 → 어떤 단어에 집중했는지 시각화 가능

---

6. 정리

• 어텐션은 "집중"의 개념을 딥러닝에 도입한 아이디어
• Query, Key, Value를 통해 단어 간 관계를 동적으로 계산
• 실습 예제에서 확인했듯, 각 단어가 어디에 집중하는지 가중치로 해석 가능

---