Colab으로 하루에 하나씩 딥러닝

GRU(Gated Recurrent Unit) LSTM의 장점을 유지하면서 게이트 구조를 단순하게 만든 순환 신경망 LSTM에서 사용하는 망각 게이트와 입력 게이트를 하나로 합친 것, 별도의 업데이트 게이트로 구성됨 GRU 구조 1. 망각 게이트(Reset gate) 과거 정보를 적당히 초기화시키려는 목적으로 시그모이드 함수를 출력으로 이용하여 (0,1) 값을 이전 은닉층에 곱함 2. 업데이트 게이트(Update gate) 과거와 현재 정보의 최신화 비율을 결정하는 역할 시그모이드로 출력한 결과는 현시점의 정보량으로 결정하고 1에서 뺀 값은 직전 시점의 은닉층 정보와 곱함 3. 후보군(Candidate) 현시점의 정보에 대한 후보군을 계산 과거 은닉층의 정보를 그대로 이용하지 않고 망각 게이트의 결과를 ..

LSTM(Long short-term memory) RNN의 최적화하기 어렵도 성능적인 한계를 해결하기 위하여 사용 기울기 소실문제: RNN는 가중치가 업데이트되는 과정에서 1보다 작은 값이 계속 곱해지기 때문에 기울기 소실문제가 발생함 장기의존성: 순차열 길어질수록 오래전에 입력된 데이터의 정보가 사라지기 때문에 예측이 어려움 셀 상태와 은닉 상태로 장기 기억과 단기 기억을 모델링 LSTM 구조 1. 순전파 셀: 각 단계에 대한 은닉노드, 총합을 사용하여 기울기 소멸 문제를 해결 망각 게이트: 과거 정보를 어느 정도 기억할지 결정, 과거 정보를 시그모이드로 취하고 0이면 버리고, 1이면 온전하게 보전 입력 게이트: 현재 정보를 기억하기 위해 만듦, 시그모이드와 하이퍼볼릭 탄젠트 함수를 기반으로 현재 정..