RNN // LSTM 공부한 내용

제가 공부한것을 끄적인 내용입니다.

자세한 내용은 아래 링크를 참조하는게 더욱 좋습니다.

 

 

1. RNN Recurrent Neural Network 순환신경망

• 히든 노드가 directed cycle 형성
• 인공신경망의 종류
• 음성 / 문자등 순차적인 데이터에 적합

 

1.2 내부 구조

내부에 루프를 가진 네트워크 == 정보의 지속성

 

 

상황에 맞게 RNN을 붙여서 사용한다.

 

1.3 RNN의 내부 구조식

• ht (히든 노드)= tanh ( 이전 히든 노드 + 현재 input + bh)
• yt (출력값) = ht(히든노드) + by

 

1.4. RNN의 장기 의존성 문제 (the problem of long term dependencies)

적절한 정보와 그 정보가 필요한 곳과의 차이(Gap)가 적을 경우 RNN은 과거 정보를 이용하여 학습이 가능하다. 하지만 단어와 단어 사이의 gap이 넓을 경우엔 잘 동작하지 못한다.

이를 극복하기 위 LSTM이 나오게 된다.

 

 

2. LSTM - Long Short term Memeroy network

장기 의존성을 학습하는 RNN의 종류

오랫동안 정보를 기억하는 기능을 가지고 있다.

2.1 LSTM 특징

Cell state

• 컨베이어 벨트
• 장기 정보를 가져가는 역활

 

2.2 LSTM의 동작

1) Forget Gate Layer

cell state에 어떤 정보를 버릴지, 유지할지 결정

sigmoid를 통해 f_t = [0, 1]로 완전 제거, 완전 유지를 결정

 

2) input

1. input gate layer (sigmode) : 어떤 값을 갱신할지 결정
2. tanh layer : cell state에 더해질수 있는 새로운 후보값 생성
3. 1번과 2번을 합쳐 최종 cell state를 갱신할 값을 만듬

3) 새로운 cell state로 갱신

forget gate와 input의 값으로 cell state 값 갱신

 

4) 무엇을 출력할지 결정