Skip to main content

問題 3.8(a) 答案

預備知識​

  1. 伯努利分佈 (Bernoulli Distribution)：一個隨機變數的離散概率分佈，它以概率 π\pi 取值 1，以概率 1−π1-\pi 取值 0。 其概率質量函數為： p(x∣π)=πx(1−π)1−xp(x|\pi) = \pi^x (1-\pi)^{1-x} 其中 x∈{0,1}x \in \{0, 1\}。

  2. 獨立同分佈 (Independent and Identically Distributed, i.i.d.)：我們假設數據集 D\mathcal{D} 中的樣本是從相同分佈中獨立抽取的。 如果事件 AA 和 BB 是獨立的，則 P(A∩B)=P(A)P(B)P(A \cap B) = P(A)P(B)。通常，對於獨立樣本 x1,…,xnx_1, \dots, x_n，聯合概率是單個概率的乘積： p(x1,…,xn∣π)=∏i=1np(xi∣π)p(x_1, \dots, x_n | \pi) = \prod_{i=1}^n p(x_i | \pi)

  3. 指數法則：

    • ab⋅ac=ab+ca^b \cdot a^c = a^{b+c}
    • (ab)c=acbc(ab)^c = a^c b^c

分步證明​

  1. 寫出數據集 D\mathcal{D} 的似然函數： 假設樣本 D={x1,…,xn}\mathcal{D} = \{x_1, \dots, x_n\} 是 i.i.d. 的，則在給定參數 π\pi 的情況下觀察到數據集的概率是每個單個樣本概率的乘積。

    p(D∣π)=∏i=1np(xi∣π)p(\mathcal{D}|\pi) = \prod_{i=1}^n p(x_i|\pi)

  2. 代入伯努利 PDF： 將公式 (3.30) (p(x∣π)=πx(1−π)1−xp(x|\pi) = \pi^x(1-\pi)^{1-x}) 代入乘積中。

    p(D∣π)=∏i=1n[πxi(1−π)1−xi]p(\mathcal{D}|\pi) = \prod_{i=1}^n \left[ \pi^{x_i} (1-\pi)^{1-x_i} \right]

  3. 分組項： 利用指數的性質，我們可以分離 π\pi 項和 (1−π)(1-\pi) 項。

    p(D∣π)=(∏i=1nπxi)⋅(∏i=1n(1−π)1−xi)p(\mathcal{D}|\pi) = \left( \prod_{i=1}^n \pi^{x_i} \right) \cdot \left( \prod_{i=1}^n (1-\pi)^{1-x_i} \right)

  4. 應用指數乘積法則： 回顧 ∏abi=a∑bi\prod a^{b_i} = a^{\sum b_i}。

    p(D∣π)=π∑i=1nxi⋅(1−π)∑i=1n(1−xi)p(\mathcal{D}|\pi) = \pi^{\sum_{i=1}^n x_i} \cdot (1-\pi)^{\sum_{i=1}^n (1-x_i)}

  5. 簡化指數： 設 s=∑i=1nxis = \sum_{i=1}^n x_i。這是樣本的總和（成功/正面的次數）。 第二項的指數為：

    ∑i=1n(1−xi)=∑i=1n1−∑i=1nxi=n−s\sum_{i=1}^n (1-x_i) = \sum_{i=1}^n 1 - \sum_{i=1}^n x_i = n - s

    這裡 nn 是樣本總數。

  6. 最終結果： 將 ss 和 n−sn-s 代回方程中。

    p(D∣π)=πs(1−π)n−sp(\mathcal{D}|\pi) = \pi^s (1-\pi)^{n-s}

    這與公式 (3.31) 相符。