Colab으로 하루에 하나씩 딥러닝

조기 종료(Early Stopping) 뉴럴 네트워크가 과적합을 회피하는 규제 기법 매 에포크마다 테스트 데이터셋에 대한 오차가 증가하는 시점에서 훈련을 멈추도록 조정 종료 시점을 확인하기 위해 콜백(callback) 함수를 무조건 함께 사용 조기 종료 실습 ### 라이브러리 호출 from tensorflow.keras.preprocessing import sequence from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout, Activation from tensorflow.keras.layers import Embedding from tensorflow.keras.layers imp..

드롭아웃(Dropout) 훈련할 때 일정 비율의 뉴런만 사용하고, 나머지 뉴런에 해당하는 가중치는 업데이트하지 않는 방법 노드를 임의로 끄면서 학습하는 방법으로, 은닉층에 배치된 노드 중 일부를 임의로 끄면서 학습 훈련 시간이 길어지는 단점이 있지만, 모델 성능을 향상하기 위해 자주 사용됨 드롭아웃 실습 ### 라이브러리 호출 import tensorflow_datasets as tfds import tensorflow as tf ### 데이터셋 내려받기 (train_data, test_data), info = tfds.load( 'imdb_reviews/subwords8k', split=(tfds.Split.TRAIN, tfds.Split.TEST), with_info=True, as_supervise..

배치정규화(Batch Normalization) 데이터 분포가 안정되어 학습 속도를 높일 수 있음 기울기 소멸(gradient vanishing)이나 기울기 폭발(gradient exploding)의 문제를 내부 공변량 변화 조절을 통해 해결할 수 있음 기울기 소멸: 오차 정보를 역전파 시키는 과정에서 기울기가 급격히 0에 가까워져 학습이 되지 않는 현상 기울기 폭발: 학습 과정에서 기울기가 급격히 커지는 현상 해결 방법: 분산된 분포를 정규 분포로 만들기 위해 표준화와 유사한 방식을 미니 배치에 적용하여 평균은 0으로, 표준편차는 1로 유지하도록 함 활성화 함수보다 배치정규화를 통해 최적화를 하는 이유 배치 크기가 작을 때 활성화 함수를 거치면 정규화 값이 기존 값과 다른 방향으로 훈련됨 RNN은 네트..