回歸與時序預測的三大陷阱實驗設計
一句話理解
實驗要跑 30 次取平均,並設計對照組,才能說「我的方法比較好」。
重複次數(核心觀念)
- 實驗需要重複約 30 次才有意義
- 多次取平均才可信(統計穩定性)
對照組設計
- 需要有實驗組(我們的方法)和對照組(baseline)
- 兩組都跑 30 次,再做比較
- 有對照才能說「我們的方法比較好」
結果判斷
- 兩組分布無交集 → 差異顯著,方法有效
- 兩組分布高度重疊 → 差異不顯著
MMSAI2 | LossFunction-vs-EvaluationMetric | Regression評估指標-MAE-MSE-RMSE-MAPE