線性相關可逆嗎

一般來講當樣本數大於數據維度時，矩陣可逆，可以採用最小二乘法求得目標函數的閉式解。當數據維度大於樣本數時，矩陣線性相關，不可逆。此時最小化目標函數解不唯一，且非常多，出於這樣一種情況，我們可以考慮奧卡姆剃刀準則來簡化模型複雜度，使其不必要的特徵對應的 [公式] 為0，可以考慮[公式] 範數使得模型中 [公式] 非0個數最少（實際上採用的是 [公式] 範數的一個凸近似）。

當然，嶺迴歸，lasso迴歸的最根本的目的不是解決不可逆問題，而是防止過擬合。