Colab으로 하루에 하나씩 딥러닝

트랜스포머(Transformer) 순환을 모두 없애고 셀프 어텐션 방식을 사용(신경망의 같은 층에 있는 모든 상태에 대해서 어텐션을 작동) 인코더와 디코더 각각에 셀프 어텐션이 있으며, 출력은 포워드 신경망에 주입됨 전이 학습을 통해서 트랜스포머가 정교화되며 발전됨 허깅페이스 트랜스포머 다양한 트랜스포머 모델과 표준화된 인터페이스를 제공 작업에 맞는 헤드를 제공하여 미세튜닝이 용이함 여러 모델을 훈련하고 테스트하는 시간을 단축함 허깅페이스 트랜스포머 실습 ### 라이브러리 설치 !pip install transformers !pip install sentencepiece ### 데이터 설정 text = """Dear Amazon, last week I ordered an Optimus Prime acti..

적대적 생성 신경망(Generative Adversarial Network) 판별자를 먼저 학습시킨 후 생성자를 학습시키는 과정을 반복하여 서로 적대적인 경쟁자로 인식하여 모두 발전함 생성자는 진짜 이미지에 완벽하게 가까운 이미지를 만들고, 판별자는 실제와 구분할 수 없음 판별자와 생성자의 파라미터를 번갈아 가며 업데이트하여 학습시킴 GAN 구성요소 1. 생성자(Generator) 판별자가 구별할 수 없을 만큼 진짜와 같은 모조 이미지를 노이즈 데이터를 사용하여 만듦 경찰과 위조지폐범 사이에서 '위조지폐범' 역할 2. 판별자(Discriminator) 주어진 입력 이미지가 진짜 이미지인지 가짜 이미지인지 구별 경찰과 위조지폐범 사이에서 '경찰' 역할 GAN 실습 ### 라이브러리 호출 import ten..

변형 오토인코더(Variational Autoencoder) 표준편차와 평균을 이용하여 확률 분포를 만듦 해당 확률 분포에서 샘플링하여 디코더를 통과시킨 후 새로운 데이터를 만들어 냄 z(잠재 백터(latent vector)라는 가우시안 분포를 이용하여 입력 데이터와 조금 다른 출력 데이터를 만듦 변형 오토인코더 구성요소 1. 인코더 x를 입력받아 잠재 벡터 z와 대응되는 평균과 분산을 구하는 네트워크 2. 디코더 z를 입력받아 x와 대응되는 평균과 분산을 구하는 네트워크 오토인코더 실습 ### 필요한 라이브러리 호출 import tensorflow as tf import numpy as np import matplotlib.pyplot as plt from tqdm.autonotebook import ..

오토인코더(Autoencoder) 단순히 입력을 출력으로 복사하는 신경망 은닉층의 노드 개수가 입력 값보다 적음 병목층은 입력과 출력의 뉴런보다 훨씬 적음 오토인코더 구성요소 1. 인코더 인지 네트워크(recognition network) 특성에 대한 학습을 수행하는 부분 2. 병목층(은닉층) 모델의 뉴런 개수가 최소인 계층 이 계층에서는 차원이 가장 낮은 입력 데이터의 압축 표현이 포함됨 3. 디코더 생성 네트워크(generative network) 병목층에서 압축된 데이터를 원래대로 재구성(reconstruction)하는 역할 최대한 입력에 가까운 출력을 생성 4. 손실 재구성 오토인코더는 압축된 입력을 출력층에서 재구성 손실 함수는 입력과 출력의 차이를 가지고 계산 오토인코더 중요한 특징 1. 데이..

자기 조직화 지도(Self-Organizing Map, SOM) 신경 생리학적 시스템을 모델링 입력 패턴에 대해 정확한 정답을 주지 않고 스스로 학습함 자기 조직화 지도 진행 과정 1. 초기화(Initialization) 모든 연결 가중치는 작은 임의의 값으로 초기화 2. 경쟁(Competition) 경쟁 학습을 이용하여 입력층과 경쟁층을 연결 '승자 독점' 방식 사용: 연결 강도 벡터가 입력 벡터와 얼마나 가까운지 계산하여 가까운 뉴런이 승리 연결 강도 벡터와 입력 벡터가 가장 가까운 뉴런으로 계산되면 그 뉴런의 이웃 뉴런들도 학습을 하게 되는데, 이때 모든 뉴런이 아닌 제한된 이웃 뉴런들만 학습함 3. 협력(Cooperation) 승자 뉴런은 네트워크에서 가장 좋은 공간 위치를 차지하게 되며, 승자와..

가우시안 혼합 모델(Gaussian Mixture Model, GMM) 가우시안 분포가 여러 개 혼합된 클러스터링 알고리즘 가우시안 분포: 평균을 중심으로 대칭적인 종 모양의 사건의 발생할 확률을 나타냄 현실에 있는 복잡한 형태의 확률 분포를 K개를 혼합하여 표현하자는 것(K=하이퍼파라미터) 클러스터링에서는 주어진 데이터에 대해 이 데이터가 어떤 가우시안 분포에 속하는지 찾는 것 가우시안 혼합 모델 실습 ### 라이브러리 호출 import numpy as np import matplotlib.pyplot as plt from sklearn.mixture import GaussianMixture ### git 클론을 통한 필요 데이터셋 로드 !git clone https://github.com/gilbut..

K-평균 군집화(K-Means) 데이터를 입력받아 소수의 그룹으로 묶는 알고리즘 레이블이 없는 데이터를 입력받아 각 데이터에 레이블을 할당해서 군집화를 수행 데이터가 비선형일 때, 군집 크기가 다를 때, 군집마다 밀집도와 거리가 다를 때 사용할 경우 데이터 분류가 원하는 결과와 다르게 발생할 수 있음 K-Means 원리 1. 중심점 선택 클러스터 중심인 중심점을 구하기 위해 임의의 점 K를 선택 2. 클러스터 할당 각 중심에 대한 거리를 계산하여 각 데이터를 가장 가까운 클러스터에 할당 3. 새로운 중심점 선택 할당된 데이터 평균을 계산하여 새로운 클러스터 중심을 결정 4. 범위 확인 클러스터 할당이 변경되지 않을 때까지 2~3을 반복 K-Means 실습 ### 라이브러리 호출 import numpy a..

조기 종료(Early Stopping) 뉴럴 네트워크가 과적합을 회피하는 규제 기법 매 에포크마다 테스트 데이터셋에 대한 오차가 증가하는 시점에서 훈련을 멈추도록 조정 종료 시점을 확인하기 위해 콜백(callback) 함수를 무조건 함께 사용 조기 종료 실습 ### 라이브러리 호출 from tensorflow.keras.preprocessing import sequence from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout, Activation from tensorflow.keras.layers import Embedding from tensorflow.keras.layers imp..