Skip to main content

問題 3.8(e) 答案

1. 將先驗識別為 Beta 分佈​

首先，讓我們將這些先驗映射到標準 Beta 分佈 Beta(α,β)∝πα−1(1−π)β−1\text{Beta}(\alpha, \beta) \propto \pi^{\alpha-1}(1-\pi)^{\beta-1}。

  • 先驗 p1(π)=2πp_1(\pi) = 2\pi：

    • 與 π1(1−π)0\pi^1 (1-\pi)^0 成正比。
    • α−1=1  ⟹  α=2\alpha-1 = 1 \implies \alpha = 2
    • β−1=0  ⟹  β=1\beta-1 = 0 \implies \beta = 1
    • 這是 Beta(2,1)\text{Beta}(2, 1)。

  • 先驗 p0(π)=2(1−π)p_0(\pi) = 2(1-\pi)：

    • 與 π0(1−π)1\pi^0 (1-\pi)^1 成正比。
    • α−1=0  ⟹  α=1\alpha-1 = 0 \implies \alpha = 1
    • β−1=1  ⟹  β=2\beta-1 = 1 \implies \beta = 2
    • 這是 Beta(1,2)\text{Beta}(1, 2)。

2. 計算 MAP 估計​

MAP 最大化後驗。 後驗 ∝\propto 似然 ×\times 先驗。 似然為 πs(1−π)n−s\pi^s (1-\pi)^{n-s}。

情況 1：先驗 p1p_1 (α=2,β=1\alpha=2, \beta=1)

  • 後驗 ∝πs(1−π)n−s⋅π1=πs+1(1−π)n−s\propto \pi^s (1-\pi)^{n-s} \cdot \pi^1 = \pi^{s+1} (1-\pi)^{n-s}。
  • 這與 Beta(s+2,n−s+1)\text{Beta}(s+2, n-s+1) 成正比。
  • 我們最大化 f(π)=πs+1(1−π)n−sf(\pi) = \pi^{s+1} (1-\pi)^{n-s}。
  • 對數後驗：(s+1)ln⁡π+(n−s)ln⁡(1−π)(s+1)\ln\pi + (n-s)\ln(1-\pi)。
  • 導數 = 0：s+1π−n−s1−π=0\frac{s+1}{\pi} - \frac{n-s}{1-\pi} = 0。
  • (s+1)(1−π)=(n−s)π(s+1)(1-\pi) = (n-s)\pi。
  • s+1−sπ−π=nπ−sπs+1 - s\pi - \pi = n\pi - s\pi。
  • s+1=(n+1)πs+1 = (n+1)\pi。
  • π^MAP,1=s+1n+1\hat{\pi}_{MAP, 1} = \frac{s+1}{n+1}。

情況 2：先驗 p0p_0 (α=1,β=2\alpha=1, \beta=2)

  • 後驗 ∝πs(1−π)n−s⋅(1−π)1=πs(1−π)n−s+1\propto \pi^s (1-\pi)^{n-s} \cdot (1-\pi)^1 = \pi^s (1-\pi)^{n-s+1}。
  • 這與 Beta(s+1,n−s+2)\text{Beta}(s+1, n-s+2) 成正比。
  • 我們最大化 f(π)=πs(1−π)n−s+1f(\pi) = \pi^{s} (1-\pi)^{n-s+1}。
  • 導數 = 0：sπ−n−s+11−π=0\frac{s}{\pi} - \frac{n-s+1}{1-\pi} = 0。
  • s(1−π)=(n−s+1)πs(1-\pi) = (n-s+1)\pi。
  • s−sπ=nπ−sπ+πs - s\pi = n\pi - s\pi + \pi。
  • s=(n+1)πs = (n+1)\pi。
  • π^MAP,0=sn+1\hat{\pi}_{MAP, 0} = \frac{s}{n+1}。

3. 有效估計 (貝葉斯均值)​

問題還問“有效估計是什麼……”。這可能模棱兩可（指 MAP 或均值）。問題的第二部分（“虛擬樣本”）適用於兩者，但標準貝葉斯預測使用均值。 為了完整性，讓我們計算均值（後驗期望）。

  • 對於 p1p_1 (後驗 Beta(s+2,n−s+1s+2, n-s+1))：

    • 均值 = αpostαpost+βpost=s+2(s+2)+(n−s+1)=s+2n+3\frac{\alpha_{post}}{\alpha_{post} + \beta_{post}} = \frac{s+2}{(s+2) + (n-s+1)} = \frac{s+2}{n+3}。

  • 對於 p0p_0 (後驗 Beta(s+1,n−s+2s+1, n-s+2))：

    • 均值 = s+1(s+1)+(n−s+2)=s+1n+3\frac{s+1}{(s+1) + (n-s+2)} = \frac{s+1}{n+3}。

（注意：問題可能要求 MAP 的直觀解釋，因為它特別要求“計算 MAP 估計”。）

4. 直觀解釋（“虛擬”樣本）​

我們將先驗的超參數 α,β\alpha, \beta 解釋為添加到實際數據中的虛擬計數。 Prior∝πα−1(1−π)β−1\text{Prior} \propto \pi^{\alpha-1}(1-\pi)^{\beta-1}。 Beta 後驗的 MAP 估計公式：s+(α−1)n+(α+β−2)\frac{s + (\alpha-1)}{n + (\alpha+\beta-2)}。

對於 p1p_1 (α=2,β=1\alpha=2, \beta=1)：

  • 虛擬樣本：我們添加了 1 個樣本，它是一次成功。
  • 總虛擬 N′=1N' = 1。總虛擬 S′=1S' = 1。
  • MAP 估計：s+1n+1\frac{s+1}{n+1}。
  • 解釋：先驗 2π2\pi 就像我們已經觀察到了 一個正面。這將結果偏向 1。

對於 p0p_0 (α=1,β=2\alpha=1, \beta=2)：

  • 虛擬樣本：我們添加了 1 個樣本，它是一次失敗。
  • 總虛擬 N′=1N' = 1。總虛擬 S′=0S' = 0。
  • MAP 估計：sn+1\frac{s}{n+1}。
  • 解釋：先驗 2(1−π)2(1-\pi) 就像我們已經觀察到了 一個反面。這將結果偏向 0。