셀프 어텐션

A(q, k, v)

\begin{matrix} \text{Jane} & \text{visits} & \text{l'Afrique} & \text{en} & \text{Septembre} \\ \uparrow & \uparrow & \uparrow & \uparrow & \uparrow \\ A^{<1>} & A^{<2>} & A^{<3>} & A^{<4>} & A^{<5>} \end{matrix}

\text{Attention}(q, K, V) = \sum_i\frac{\exp(q \cdot k^{<i>})}{\sum_j \exp(q \cdot k^{<j>})} v^{<i>}

q^{<3>} = W^Q \cdot x^{<3>} \\ k^{<3>} = W^K \cdot x^{<3>} \\ v^{<3>} = W^V \cdot x^{<3>}

$A^{<3>}$ 을 구하기 위해서는 모든 입력에 대한 쿼리, 키, 값 벡터를 계산해야 하고, 각 값은 입력과 특정 가중치 행렬을 곱한 결과이다.
이 가중치는 학습의 대상 (파라미터) 이다.

계산 과정에서, $q^{3}\cdot k^{<2>}$ $q^{3} \cdot k^{< 2 >}$ 이 소프트맥스에서 제일 큰 값이 되게 된다.
- 이는 $\text{visite}=x^{<2>}$ 의 목적이 $\text{l'Afrique}=x^{<3>}$ 이기 때문에 높은 어텐션 값을 가진다고 할 수 있다. (서로의 관계성이 높다)