回歸與時序預測的三大陷阱實驗設計

一句話理解

實驗要跑 30 次取平均,並設計對照組,才能說「我的方法比較好」。

重複次數(核心觀念)

  • 實驗需要重複約 30 次才有意義
  • 多次取平均才可信(統計穩定性)

對照組設計

  • 需要有實驗組(我們的方法)和對照組(baseline)
  • 兩組都跑 30 次,再做比較
  • 有對照才能說「我們的方法比較好」

結果判斷

  • 兩組分布無交集 → 差異顯著,方法有效
  • 兩組分布高度重疊 → 差異不顯著

MMSAI2 | LossFunction-vs-EvaluationMetric | Regression評估指標-MAE-MSE-RMSE-MAPE