[1027_텐서플로우] model_configuration

 

import tensorflow as tf

mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

# 정규화
x_train = x_train/x_train.max()
x_test = x_test/x_test.max()

 

#초기화 잘 모르겠음

# 초기화
dense = tf.keras.layers.Dense(256, activation = 'relu')  # dense 레이어
dense.get_config()['kernel_initializer']  # 'GlorotUniform'라고 하는 균등분포 형태의 weight, bias초기값 설정함

# tf.keras.initializers.HeNormal()
# he normal 초기화
dense = tf.keras.layers.Dense(256, kernel_initializer = 'he_normal', activation='relu')
dense.get_config()['kernel_initializer']

 

규제

# 딥러닝 성능이 괜찮다보니깐 오버피팅이 잘됨 > 그래서 이를 막는 방법들이 많이 필요함

# 오버피티을 막을 수 있는 방법 중에 규제와 drop out, 배치 정규화 등의 방법이 있음