Colab으로 하루에 하나씩 딥러닝

자연어 처리 우리가 일상생활에서 사용하는 언어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 과정 언어에 대한 이해도가 필요함 언어 종류가 다르고 그 형태가 다양하기 때문 ex) 영어는 명확한 띄어쓰기가 있지만 중국어는 띄어쓰기가 없기 때문에 단어 단위의 임베딩이 어려움 1. 자연어 처리 관련 용어 말뭉치(corpus) 모델을 학습시키기 위한 데이터 자연어 연구를 위해 특정한 목적에서 표본을 추출한 집합 토큰(token) 자연어 처리를 위해 작은 단위로 나눈 단위 토큰화(tokenization) 텍스트를 문장이나 단어로 분리하는 것 토큰화 단계를 마치면 텍스트가 단어 단위로 분리 됨 불용어(stop words) 문장 내에서 많이 등장하는 단어 분석과 관계 없지만 등장 빈도로 인하여 성능에 부정적인 영..

라이브러리 호출 import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = "3" # 케라스에서 발생하는 경고 메세지를 제거 import tensorflow as tf import numpy as np from tensorflow import keras from tensorflow.keras import layers from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from tensorflow.keras.optimizers import Adam 값 초기화 tf.random.set_seed(22) np.random.seed(22) assert tf.__version__.st..

라이브러리 호출 import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = "3" # 케라스에서 발생하는 경고 메세지를 제거 import tensorflow as tf import numpy as np from tensorflow import keras from tensorflow.keras import layers from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from tensorflow.keras.optimizers import Adam 값 초기화 tf.random.set_seed(22) np.random.seed(22) assert tf.__version__.st..