Greedy 特徵選取(Naive 法)
一句話理解
每一步選當下最好的特徵,不回頭重來。兩種方向:增加或減少。
Naive(增加法)
{} → 加入最優單一特徵 A
{A} → 再加最優特徵 D → {A,D}
繼續直到無改善 → STOP
Naive(減少法)
{A,B,C,D,E} → 移除影響最小的特徵(ABDE=2,移 C)
繼續直到移除任何特徵都讓結果變差 → STOP
手肘法(Elbow Method)
「特徵數 vs 誤差」曲線的轉折點 → 再加特徵改善幅度小 → 選此數量。
缺點
Greedy 不保證全域最佳,只保證每步局部最佳。
相關
降維概論 / 遺傳演算法-GA(遺傳演算法-GA 做特徵選取更全域)/ PCA-vs-LDA