Colab으로 하루에 하나씩 딥러닝

배치정규화(Batch Normalization) 데이터 분포가 안정되어 학습 속도를 높일 수 있음 기울기 소멸(gradient vanishing)이나 기울기 폭발(gradient exploding)의 문제를 내부 공변량 변화 조절을 통해 해결할 수 있음 기울기 소멸: 오차 정보를 역전파 시키는 과정에서 기울기가 급격히 0에 가까워져 학습이 되지 않는 현상 기울기 폭발: 학습 과정에서 기울기가 급격히 커지는 현상 해결 방법: 분산된 분포를 정규 분포로 만들기 위해 표준화와 유사한 방식을 미니 배치에 적용하여 평균은 0으로, 표준편차는 1로 유지하도록 함 활성화 함수보다 배치정규화를 통해 최적화를 하는 이유 배치 크기가 작을 때 활성화 함수를 거치면 정규화 값이 기존 값과 다른 방향으로 훈련됨 RNN은 네트..

임베딩(Embedding) 사람이 사용하는 언어(자연어)를 컴퓨터가 이해할 수 있는 언어(숫자) 형태인 벡터(vector)로 변환한 결과 혹은 일련의 과정 단어 및 문장 간 관련성 계산 의미적 혹은 문법적 정보의 함축 임베딩 방법에 따라 희소 표현 기반 임베딩, 횟수 기반 임베딩, 예측 기반 임베딩, 횟수/예측 기반 임베딩이 존재 희소 표현 기반 임베딩(sparse representation embedding) 대부분의 값이 0으로 채워져 있음 대표적으로 원-핫 인코딩이 있음 원-핫 인코딩(one - hot encoding) 주어진 단어 N개를 각각 N차원의 벡터로 표현하는 방식 단어가 포함되어 있는 위치에 1을 넣고 나머지에는 0 값을 채움 딕셔너리에 [apple, banana, cherry]의 값이 ..