Skip to main content

Explain ZH

詳細解釋​

我們可以通過觀察先驗與似然之間的「競爭」來分析貝葉斯更新的行為。

1. 精確度 (Precision) 的作用​

在高斯分佈的貝葉斯推論中，精確度（逆變異數）是相加的。

後驗精確度=先驗精確度+數據精確度\text{後驗精確度} = \text{先驗精確度} + \text{數據精確度} Σ^θ−1=1αI+1σ2ΦΦT\hat{\Sigma}_\theta^{-1} = \frac{1}{\alpha} I + \frac{1}{\sigma^2} \Phi \Phi^T

2. α→∞\alpha \to \infty (無資訊先驗)​

  • 先驗精確度為 1/α≈01/\alpha \approx 0。
  • 我們沒有為數據精確度增加任何東西。
  • 結果完全由數據決定。這將貝葉斯迴歸連結回頻率學派/古典迴歸 (OLS)。我們沒有偏見，所以我們只是擬合數據。

3. α→0\alpha \to 0 (武斷的先驗)​

  • 先驗精確度是無限的。
  • 再多的數據也改變不了我們的想法。
  • 我們仍然確信 θ=0\theta = 0。模型學不到任何東西。

4. σ2→0\sigma^2 \to 0 (無雜訊數據)​

  • 數據精確度是無限的。
  • 似然函數變成了滿足 y=ΦTθy = \Phi^T \theta 子空間上的 δ\delta 函數（或極銳利的約束）。
  • 除非先驗完全禁止（此處並非如此），否則後驗會坍縮到擬合數據的單一點上（如果有多個解，則最接近 0）。不確定性趨於零，因為數據沒有留下任何懷疑的空間。