합성곱 신경망_5.이미지 분류를 위한 신경망_5)GoogLeNet & ResNet

GoogLeNet(구글넷)

•  깊고 넓은 신경망을 위해 인셉션(Inception) 모듈 추가
  • CNN의 한 층을 기존의 컨볼루션층 대신에 네트워크 모듈을 쌓는 방식의 네트워크 속 네트워크 구조(NIN) 설계
  • 파라미터 수는 감소시키면서 성능을 향상함
• 설계 사상
  • 밀집 연결(Dense Connectivity):
    • 합성곱, 풀링, 완전연결층들이 빽빽하게 연결된 성질을 가짐
    • 대부분의 구성 요소 사이에 상호작용이 일어남 ex) CNN
  • 희소 연결(Sparse Connectivity):
    • GoogLeNet에서 사용되는 방법으로 관련성이 높은 노드끼리만 연결하는 방법
    • 연산량이 적어지며 과적합 해결 

---

ResNet(레즈넷)

•  깊어진 신경망을 효과적으로 학습하기 위해 residual 개념을 사용
  • 구글넷과 마찬가지로 네트워크 속 네트워크(NIN) 구조로 설계
  • 신경망은 깊이가 깊어질수록 성능이 좋아지다가 일정한 단계에 이르면 오히려 성능이 나빠짐
• 설계 사상
  • 항등 매핑(Identify mapping)
    
    • 모델을 깊게 하더라도 최소한 얕은 모델 이상의 성능이 나오게 함
    • 항등 매핑 계층은 입력을 그대로 출력하고 그레이디언트도 그대로 전달하기 때문에 성능을 떨어뜨리지 않음
  • 레지듀얼 블록(Residual block)
    
    • 콘벌루션 계층이 포함된 학습 경로와 항등 함수로 정의된 항등 매핑 경로로 구성
    • 레지듀얼 블록의 항등 매핑을 잔차 연결이라하며, 학습이 필요 없을 때 입력을 그대로 전달하여 기울기 소멸 문제를 해결
    • 레지듀얼 블록은 기울기가 잘 전파될 수 있도록 숏컷(Shortcut, Skip connection)을 만듦

참고: 서지영, 『딥러닝 텐서플로 교과서』, 길벗(2022)
참고: 윤성진,『딥러닝 교과서』, 이지스퍼블리싱(2022)