Batch Normalization layer의 위치 및 Normalization 종류

Batch Normalization layer 위치

Activation function(AF)에 따른 Batch normalization layer(BN)의 위치

- s자형(sigmoid, tanh 등)은 AF 뒤에 BN

- 선형(ReLU 등)은 AF 앞에 BN

https://machinelearningmastery.com/batch-normalization-for-training-of-deep-neural-networks/

A Gentle Introduction to Batch Normalization for Deep Neural Networks

 

Normalization의 종류

https://sanghyu.tistory.com/32?category=1120072 

[PyTorch] 시계열 데이터를 위한 다양한 Normalization 기법(BatchNorm1d, GroupNorm 사용법)