神经网络归一化处理原则

神经网络归一化处理选择就是将数据分布映射到一个确定的区间。

因为在深度神经网络涉及到很多层的叠加，而每一层的参数更新会导致上层的输入数据分布发生变化，使得高层的输入分布变化会非常剧烈。虽然神经网络的各层的输入信号分布不同，但最终“指向“的样本标记是不变的，即边缘概率不同而条件概率一致，为了降低分布变化给神经网络训练带来的影响，使用归一化处理。