bn層為什麼能防止過擬合

個人認為 BN 不能解決過擬合，根據 paper 中的實驗來説，是無法阻止過擬合的。但是 BN 可以在某些情況下對過擬合有抑制作用，使得過擬合在更多的 train epoch 之後才出現。不能解決但是能緩解。

BN 的核心思想不是為了防止梯度消失或者是防止過擬合，其核心思想是通過系統參數搜索空間進行約束來增加系統魯棒性，這種約束壓縮了搜索空間，約束也改善了系統的結構合理性，這會帶來一些列的性能改善，比如加速收斂、保證梯度、緩解過擬合等等。