Skip to main content

問題 3.8(b) 解釋

共軛先驗 (Conjugate Priors)​

得到的後驗分佈具有 Beta 分佈 的形式，記為 Beta(α,β)\text{Beta}(\alpha, \beta)，其中 PDF 與 πα−1(1−π)β−1\pi^{\alpha-1}(1-\pi)^{\beta-1} 成正比。 匹配我們的結果 p(π∣D)∝πs(1−π)n−sp(\pi|\mathcal{D}) \propto \pi^s (1-\pi)^{n-s}：

  • α−1=s  ⟹  α=s+1\alpha - 1 = s \implies \alpha = s + 1
  • β−1=n−s  ⟹  β=n−s+1\beta - 1 = n - s \implies \beta = n - s + 1

後驗分佈與先驗（均勻分佈實際上是 Beta(1,1)\text{Beta}(1,1)）屬於同一族（Beta 分佈）這一事實意味著 Beta 分佈是伯努利/二項式似然的 共軛先驗。這一性質使得貝葉斯更新在解析上是易於處理的。

歸一化常數 (Normalizing Constant)​

項 (n+1)!s!(n−s)!\frac{(n+1)!}{s!(n-s)!} 純粹作為歸一化常數，以確保曲線下的面積等於 1。 如果我們將其識別為 Beta 分佈 Beta(s+1,n−s+1)\text{Beta}(s+1, n-s+1)，標準歸一化常數是 1B(s+1,n−s+1)=Γ(n+2)Γ(s+1)Γ(n−s+1)\frac{1}{B(s+1, n-s+1)} = \frac{\Gamma(n+2)}{\Gamma(s+1)\Gamma(n-s+1)}，使用階乘 (Γ(n)=(n−1)!\Gamma(n) = (n-1)!) 簡化後正是我們推導出的結果。

n=1n=1 繪圖的解釋​

  • 先驗：我們從一條平坦的線 (p(π)=1p(\pi)=1) 開始，這意味著我們沒有理由相信 π\pi 的任何值比其他值更有可能。
  • 數據：我們觀察到一次擲硬幣。
  • 後驗 (s=1s=1)：我們看到正面。現在，接近 1 的 π\pi 值比接近 0 的值更有可能。概率密度線性增加。它並沒有完全排除 π=0.1\pi=0.1（只是不太可能），但它強烈暗示 π\pi 很高。
  • 後驗 (s=0s=0)：我們看到反面。信念反轉了。接近 0 的值現在更有可能。