問題 3.8(a) 解釋

似然函數 (Likelihood Function) 的概念

函數 $p(\mathcal{D}|\pi)$ 被稱為 似然函數。它告訴我們對於特定的參數值 $\pi$，觀測到的數據 $\mathcal{D}$ 出現的可能性有多大。

• 如果我們觀察一次擲硬幣 ($n=1$)，如果是正面 ($x=1$)，似然度就是 $\pi$；如果是反面 ($x=0$)，似然度就是 $1-\pi$。
• 當我們觀察 $n$ 次重複的獨立投擲時，聯合概率是單個概率的乘積。

推導邏輯

推導的核心依賴於計數結果。 由於伯努利變數 $x_i$ 只能是 0 或 1：

• 當 $x_i = 1$ 時，該項貢獻一個因子 $\pi$。
• 當 $x_i = 0$ 時，該項貢獻一個因子 $(1-\pi)$。

因此，如果我們觀察到序列 $1, 0, 1, 1, 0$：

• 我們有三個 $1$ 和兩個 $0$。
• 概率是 $\pi \cdot (1-\pi) \cdot \pi \cdot \pi \cdot (1-\pi) = \pi^3 (1-\pi)^2$。
• 這裡，$n=5$，總和 $s = 1+0+1+1+0 = 3$。
• $0$ 的數量是 $n-s = 5-3 = 2$。
• 公式 $\pi^s (1-\pi)^{n-s}$ 概括了這個計數過程。

充分統計量 (Sufficient Statistic)

量 $s = \sum x_i$ 被稱為 $\pi$ 的 充分統計量。這意味著 $s$ 包含了數據 $\mathcal{D}$ 中與估計 $\pi$ 相關的 所有 信息。知道正面和反面的確切順序（例如，我們是得到 HHT 還是 HTH）並不改變我們對偏差 $\pi$ 的估計；只有正面總數 ($s$) 和投擲總數 ($n$) 是重要的。

結果 $p(\mathcal{D}|\pi) = \pi^s (1-\pi)^{n-s}$ 基本上表明似然函數僅通過 $s$ 依賴於數據。