Explain ZH

直覺與概念 (Intuition)

這道題目探討的是在貝葉斯推論 (Bayesian inference) 中「旋轉旋鈕」。調整我們的假設會如何改變我們最終的信念？

記住這場拉鋸戰： 資料 (觀察, Data/Observation) 對抗 先驗信念 (Prior Belief)。

• $\sigma^2$ 是「資料有多嘈雜？」的旋鈕。
• $\alpha$ 是「我對我的先驗有多不確定？」的旋鈕。

1. 將 $\alpha$ 調到無限大 ($\alpha \to \infty$)

• 這意味著什麼： 你承認在看資料之前，你對參數「一無所知」。
• 結果： 先驗的影響消失了。資料完全接管了一切。你對參數的最佳猜測變成了標準的最小平方法 (Least Squares) 估計，它完全信任資料，忽略任何正則化。

2. 將 $\alpha$ 調到零 ($\alpha \to 0$)

• 這意味著什麼： 你固執且絕對地確信所有權重都完全是零，再多的證據都無法動搖你。
• 結果： 你完全忽略了資料。你的平均數永遠停留在 $0$，你的不確定性 (共變異數) 變成了零。你就算錯了也充滿自信 (除非真實的權重真的剛好都是零)。

3. 將 $\sigma^2$ 調到零 ($\sigma^2 \to 0$)

• 這意味著什麼： 你相信你的測量儀器是完美的。你的標籤 $y$ 中絕對沒有任何雜訊。
• 結果： 模型被強迫必須精準穿過每一個資料點 (完美內插, perfect interpolation)。因為資料被視為「完美的事實」，你對權重的不確定性降到零 ($\hat{\Sigma}_\theta \to 0$)，你的最佳猜測會退化成能完美連接所有點的最小平方法曲線。