Colab으로 하루에 하나씩 딥러닝

GoogLeNet(구글넷) 깊고 넓은 신경망을 위해 인셉션(Inception) 모듈 추가 CNN의 한 층을 기존의 컨볼루션층 대신에 네트워크 모듈을 쌓는 방식의 네트워크 속 네트워크 구조(NIN) 설계 파라미터 수는 감소시키면서 성능을 향상함 설계 사상 밀집 연결(Dense Connectivity): 합성곱, 풀링, 완전연결층들이 빽빽하게 연결된 성질을 가짐 대부분의 구성 요소 사이에 상호작용이 일어남 ex) CNN 희소 연결(Sparse Connectivity): GoogLeNet에서 사용되는 방법으로 관련성이 높은 노드끼리만 연결하는 방법 연산량이 적어지며 과적합 해결 ResNet(레즈넷) 깊어진 신경망을 효과적으로 학습하기 위해 residual 개념을 사용 구글넷과 마찬가지로 네트워크 속 네트워크(..

VGGNet(브이지지넷) 작은 필터를 사용하는 대신 깊은 신경망을 만들자! 신경망이 깊어질수록 수용 영역이 넓어지는 원리를 이용 필터를 작게 만들어서 파라미터 수를 줄이고 대신 신경망을 깊게 하여 수용 영역이 충분하도록 설계 모델 구조(11 계층 ~ 13 계층, 16 계층, 19 계층) VGG16: 16 계층 모델이 가장 많이 사용되며, VGG19보다 파라미터 수는 적지만 성능 차가 크지 않음 VGG16 모델 구조: 5개의 그룹 Conv1-Conv2-Conv3-Conv4-Conv5이 완전 연결 계층으로 연결되는 구조 FC7: 출력 직전의 계층으로, 이미지 표현이 가장 추상화된 상태로 이미지를 설명하는 콘텍스트 벡터로 쓰임 VGGNet(브이지지넷) 실습(VGG19) ### 라이브러리 호출 %load_ext..

AlexNet(알렉스넷) 2개의 GPU에서 실행되는 병렬처리 구조로 설계됨 GPU-1: 주로 컬러와 상관없는 정보를 추출하기 위한 커널이 학습 GPU-2: 주로 컬러와 관련된 정보를 추출하기 위한 커널이 학습 모델 구조 8 계층: 콘벌루션 5 계층 + 완전 연결 3 계층과 연결된 구조 파라미터가 완전연결층에 집중되어 있음 맨 마지막 완전연결층은 카테고리 1000개로 분류하기 위해 소프트맥스 활성화 함수 사용 AlexNet(알렉스넷) 실습 ### 라이브러리 호출 %load_ext tensorboard import numpy as np import tensorflow as tf import matplotlib.pyplot as plt from tensorflow.keras import Model from t..

LeNet-5(르넷-5) 얀 르쿤(Yann LeCun)이 7 계층 모델 구조를 가진 신경망을 통해 필기체로 쓰인 숫자를 인식하게 함 7 계층 : 'CONV - POOL - CONV - POOL - FC - FC - FC' 콘벌루션 계층(CONV)과 풀링 계층(POOL)을 2번씩 반복한 뒤 완전 연결 3 계층(FC)으로 연결 콘벌루션 계층과 풀링 계층은 신경망의 시각 영역, 완전 연결 계층은 연관 영역을 모델링 함 LeNet-5(르넷-5) 실습 ### 라이브러리 호출 %load_ext tensorboard import numpy as np import tensorflow as tf import matplotlib.pyplot as plt from tensorflow.keras import Model fro..

특성 맵 시각화(Feature map) 입력 이미지 또는 다른 특성 맵처럼 필터를 입력에 적용한 결과 특정 입력 이미지에 대한 특성 맵을 시각화 입력 특성을 감지하는 방법을 이해할 수 있도록 함 특성 맵 시각화 실습 ### 라이브러리 호출 import tensorflow as tf from tensorflow import keras# 설명 1 import numpy as np import matplotlib.pyplot as plt import cv2 from tensorflow.keras.models import Model from sklearn.model_selection import train_test_split from tensorflow.keras.utils import to_categorica..

미세 조정 기법(Fine-tuning) 특성 추출 기법에서 더 나아가 사전 훈련된 모델과 합성곱층, 데이터 분류기의 가중치를 업데이트하여 훈련시키는 방식 특성이 잘못 추출되었다면 미세 조정 기법으로 새로운 이미지 데이터를 사용하여 네트워크의 가중치를 업데이트해서 특성을 다시 추출 사전 학습된 모델을 못적에 재학습시키거나 학습된 가중치의 일부를 재학습시키는 것 미세 조정 기법 전략 데이터셋이 크고 사전 훈련된 모델과 유사성이 작을 경우 모델 전체를 재학습 데이터셋이 크고 사전 훈련된 모델과 유사성이 클 경우 합성곱층의 뒷부분과 데이터 분류기를 학습 데이터셋이 유사하기 때문에 전체보다는 강한 특징을 가진 합성곱층의 뒷부분과 데이터 분류기를 학습하는 게 효과적 데이터셋이 작고 사전 훈련된 모델과 유사성이 작을..

전이학습 (Transfer learning) 아주 큰 데이터셋을 써서 훈련된 모델의 가중치를 가져와 해결하려는 과제에 맞게 보정 훈련을 시키기 위한 많은 양의 데이터, 돈과 시간을 절약함 전이학습 방법으로는 특성 추출과 미세 조정 기법이 있음 특성 추출 기법(Feature extractor) 학습할 때는 마지막 완전연결층 부분만 학습하고 나머지 계층들은 학습되지 않도록 함 이미지 분류를 위해 두 부분으로 나뉨 합성곱층: 합성곱층과 풀링층으로 구성 데이터 분류기(완전연결층): 추출된 특성을 입력받아 최종적으로 이미지에 대한 클래스를 분류하는 부분 사전 훈련된 네트워크의 합성곱층(가중치 고정)에 새로운 데이터를 통과시키고, 그 출력을 데이터 분류기에서 훈련시킴 특성 추출 기법 실습 ### 라이브러리 호출 i..

합성곱 신경망 맛보기 ### 라이브러리 호출 import tensorflow as tf import matplotlib.pyplot as plt import numpy as np ### fashion_mnist 데이터셋 내려받기 fashion_mnist = tf.keras.datasets.fashion_mnist (x_train, y_train), (x_test, y_test) = fashion_mnist.load_data() ### 분류에 사용될 클래스 정의 class_names = ['T-shirt', 'Trouser', 'Pullover', 'Dress', 'Coat', 'Sandal','Shirt','Sneaker','Bag','Ankle Boot'] for i in range(25): plt.s..