Colab으로 하루에 하나씩 딥러닝

드롭아웃(Dropout) 훈련할 때 일정 비율의 뉴런만 사용하고, 나머지 뉴런에 해당하는 가중치는 업데이트하지 않는 방법 노드를 임의로 끄면서 학습하는 방법으로, 은닉층에 배치된 노드 중 일부를 임의로 끄면서 학습 훈련 시간이 길어지는 단점이 있지만, 모델 성능을 향상하기 위해 자주 사용됨 드롭아웃 실습 ### 라이브러리 호출 import tensorflow_datasets as tfds import tensorflow as tf ### 데이터셋 내려받기 (train_data, test_data), info = tfds.load( 'imdb_reviews/subwords8k', split=(tfds.Split.TRAIN, tfds.Split.TEST), with_info=True, as_supervise..

배치정규화(Batch Normalization) 데이터 분포가 안정되어 학습 속도를 높일 수 있음 기울기 소멸(gradient vanishing)이나 기울기 폭발(gradient exploding)의 문제를 내부 공변량 변화 조절을 통해 해결할 수 있음 기울기 소멸: 오차 정보를 역전파 시키는 과정에서 기울기가 급격히 0에 가까워져 학습이 되지 않는 현상 기울기 폭발: 학습 과정에서 기울기가 급격히 커지는 현상 해결 방법: 분산된 분포를 정규 분포로 만들기 위해 표준화와 유사한 방식을 미니 배치에 적용하여 평균은 0으로, 표준편차는 1로 유지하도록 함 활성화 함수보다 배치정규화를 통해 최적화를 하는 이유 배치 크기가 작을 때 활성화 함수를 거치면 정규화 값이 기존 값과 다른 방향으로 훈련됨 RNN은 네트..

양방향 RNN(Bidirectional RNN) RNN이전 시점의 데이터들을 참고해서 정답을 예측하지만, 실제 문제에서는 과거 시점이 아닌 미래 시점의 데이터에 힌트가 있는 경우도 있음 이후 시점의 데이터도 함께 활용하여 출력 값을 예측하고자 하는 것 양방향 RNN 구조 1. 메모리 셀 2개 첫 번째 메모리 셀은 이전 시점의 은닉 상태를 전달받아 현재의 은닉 상태를 계산 두 번째 메모리 셀은 다음 시점의 은닉 상태를 전달바아 현재의 은닉 상태를 계산 양방향 RNN 실습 ### IMDB 데이터셋 활용, 모델 생성 후 훈련 import numpy as np from tensorflow.keras.preprocessing import sequence from tensorflow.keras.models impo..

https://school.programmers.co.kr/learn/courses/30/lessons/136798 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 숫자나라 기사단의 각 기사에게는 1번부터 number까지 번호가 지정되어 있습니다. 기사들은 무기점에서 무기를 구매하려고 합니다. 각 기사는 자신의 기사 번호의 약수 개수에 해당하는 공격력을 가진 무기를 구매하려 합니다. 단, 이웃나라와의 협약에 의해 공격력의 제한수치를 정하고, 제한수치보다 큰 공격력을 가진 무기를 구매해야 하는 기사는 협약기관에서 정한 공격력을 가지는 무기를 구매해..

https://school.programmers.co.kr/learn/courses/30/lessons/138477 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 "명예의 전당"이라는 TV 프로그램에서는 매일 1명의 가수가 노래를 부르고, 시청자들의 문자 투표수로 가수에게 점수를 부여합니다. 매일 출연한 가수의 점수가 지금까지 출연 가수들의 점수 중 상위 k번째 이내이면 해당 가수의 점수를 명예의 전당이라는 목록에 올려 기념합니다. 즉 프로그램 시작 이후 초기에 k일까지는 모든 출연 가수의 점수가 명예의 전당에 오르게 됩니다. k일 다음부터는 ..

https://school.programmers.co.kr/learn/courses/30/lessons/140108 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 문자열 s가 입력되었을 때 다음 규칙을 따라서 이 문자열을 여러 문자열로 분해하려고 합니다. 먼저 첫 글자를 읽습니다. 이 글자를 x라고 합시다. 이제 이 문자열을 왼쪽에서 오른쪽으로 읽어나가면서, x와 x가 아닌 다른 글자들이 나온 횟수를 각각 셉니다. 처음으로 두 횟수가 같아지는 순간 멈추고, 지금까지 읽은 문자열을 분리합니다. s에서 분리한 문자열을 빼고 남은 부분에 대해서 이 ..

GRU(Gated Recurrent Unit) LSTM의 장점을 유지하면서 게이트 구조를 단순하게 만든 순환 신경망 LSTM에서 사용하는 망각 게이트와 입력 게이트를 하나로 합친 것, 별도의 업데이트 게이트로 구성됨 GRU 구조 1. 망각 게이트(Reset gate) 과거 정보를 적당히 초기화시키려는 목적으로 시그모이드 함수를 출력으로 이용하여 (0,1) 값을 이전 은닉층에 곱함 2. 업데이트 게이트(Update gate) 과거와 현재 정보의 최신화 비율을 결정하는 역할 시그모이드로 출력한 결과는 현시점의 정보량으로 결정하고 1에서 뺀 값은 직전 시점의 은닉층 정보와 곱함 3. 후보군(Candidate) 현시점의 정보에 대한 후보군을 계산 과거 은닉층의 정보를 그대로 이용하지 않고 망각 게이트의 결과를 ..

LSTM(Long short-term memory) RNN의 최적화하기 어렵도 성능적인 한계를 해결하기 위하여 사용 기울기 소실문제: RNN는 가중치가 업데이트되는 과정에서 1보다 작은 값이 계속 곱해지기 때문에 기울기 소실문제가 발생함 장기의존성: 순차열 길어질수록 오래전에 입력된 데이터의 정보가 사라지기 때문에 예측이 어려움 셀 상태와 은닉 상태로 장기 기억과 단기 기억을 모델링 LSTM 구조 1. 순전파 셀: 각 단계에 대한 은닉노드, 총합을 사용하여 기울기 소멸 문제를 해결 망각 게이트: 과거 정보를 어느 정도 기억할지 결정, 과거 정보를 시그모이드로 취하고 0이면 버리고, 1이면 온전하게 보전 입력 게이트: 현재 정보를 기억하기 위해 만듦, 시그모이드와 하이퍼볼릭 탄젠트 함수를 기반으로 현재 정..