합성곱 신경망_3.전이학습_2) 미세 조정 기법

미세 조정 기법(Fine-tuning)

• 특성 추출 기법에서 더 나아가 사전 훈련된 모델과 합성곱층, 데이터 분류기의 가중치를 업데이트하여 훈련시키는 방식
• 특성이 잘못 추출되었다면 미세 조정 기법으로 새로운 이미지 데이터를 사용하여 네트워크의 가중치를 업데이트해서 특성을 다시 추출
• 사전 학습된 모델을 못적에 재학습시키거나 학습된 가중치의 일부를 재학습시키는 것

---

미세 조정 기법 전략

• 데이터셋이 크고 사전 훈련된 모델과 유사성이 작을 경우
  • 모델 전체를 재학습
• 데이터셋이 크고 사전 훈련된 모델과 유사성이 클 경우
  • 합성곱층의 뒷부분과 데이터 분류기를 학습
  • 데이터셋이 유사하기 때문에 전체보다는 강한 특징을 가진 합성곱층의 뒷부분과 데이터  분류기를 학습하는 게 효과적 
• 데이터셋이 작고 사전 훈련된 모델과 유사성이 작을 경우
  • 합성곱층의 일부분과 데이터 분류기를 학습
  • 데이터가 작기 때문에 미세 조정 기법이 효과적이지 않을 수 있음
• 데이터셋이 작고 사전 훈련된 모델과 유사성이 클 경우
  • 데이터 분류기인 완전연결층에서만 학습
  • 데이터가 작아 과적합이 발생할 수 있음

참고: 서지영, 『딥러닝 텐서플로 교과서』, 길벗(2022)