어테션메커니즘(AttentionMechanism)

어텐션 아이디어

- 입력 시퀀스를 한 번에 입력하고, 디코더에서 출력 단어를 예측하는 데 매 시점마다 전체 입력 문장을 다시 참고한다. 

-  전체 문장을 동일하게 참고하는 것이 아니라 예측해야 하는 단어와 연관이 있는 단어 부분에 조금 더 집중하다 

 

어텐션 모델

- 어텐션 값계산을 한 모델 

- 어텐션 모델에서 중요한 것은 어텐션 값을 어떻게 구하는가?

ex) 

 

 

 

 

여러가지의 어텐션 종류들

- 닷 프로덕트 어텐션

 

- 바다나우 어텐션

 

텍스트 분류에서 어텐션 메커니즘을 사용하는 이유는?

 

 RNN의 마지막 은닉 상태는 예측을 위해 사용됩니다. 그런데 이 RNN의 마지막 은닉 상태는 몇 가지 유용한 정보들을 손실한 상태입니다. 그래서 RNN이 time step을 지나며 손실했던 정보들을 다시 참고

 

 

# 문제점