最速下降法和梯度下降法的區別

梯度下降和隨機梯度下降之間的關鍵區別：

1、標準梯度下降是在權值更新前對所有樣例彙總誤差，而隨機梯度下降的權值是通過考查某個訓練樣例來更新的。

2、在標準梯度下降中，權值更新的每一步對多個樣例求和，需要更多的計算。

3、標準梯度下降，由於使用真正的梯度，標準梯度下降對於每一次權值更新經常使用比隨機梯度下降大的步長。

4、如果標準誤差曲面有多個局部極小值，隨機梯度下降有時可能避免陷入這些局部極小值中。

相關知識：

1、梯度下降法是一個最優化算法，通常也稱為最速下降法。最速下降法是求解無約束優化問題最簡單和最古老的方法之一，雖然現在已經不具有實用性，但是許多有效算法都是以它為基礎進行改進和修正而得到的。最速下降法是用負梯度方向為搜索方向的，最速下降法越接近目標值，步長越小，前進越慢。

缺點：

（1）靠近極小值時收斂速度減慢。

（2）直線搜索時可能會產生一些問題。

（3）可能會“之字形”地下降。

2、隨機並行梯度下降算法，簡稱SPGD算法。作為一種無模型優化算法，比較適用於控制變量較多，受控系統比較複雜，無法建立準確數學模型的最優化控制過程