Skip to main content

問題 2.1 (a)

預備知識​

  • 泊松分佈 (Poisson Distribution)：一種離散概率分佈，表示在固定時間或空間間隔內發生給定數量事件的概率。
    • 概率質量函數 (PMF)：P(X=k)=λke−λk!P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}
  • 最大似然估計 (Maximum Likelihood Estimation, MLE)：一種通過最大化似然函數來估計概率分佈參數的方法，使得在假設的統計模型下，觀測數據出現的概率最大。
  • 對數似然 (Log-Likelihood)：似然函數的自然對數。最大化對數似然等同於最大化似然，但在數學上通常更容易處理。

逐步解答​

  1. 寫出似然函數： 給定 NN 個獨立同分佈 (i.i.d.) 樣本 {k1,k2,…,kN}\{k_1, k_2, \dots, k_N\}，似然函數 L(λ)L(\lambda) 是單個概率質量函數的乘積：

    L(λ)=∏i=1Np(ki∣λ)=∏i=1N1ki!e−λλkiL(\lambda) = \prod_{i=1}^{N} p(k_i | \lambda) = \prod_{i=1}^{N} \frac{1}{k_i!} e^{-\lambda} \lambda^{k_i}

  2. 寫出對數似然函數： 對似然函數取自然對數，將乘積轉換為求和，這樣更易於求導：

    ℓ(λ)=ln⁡L(λ)=∑i=1Nln⁡(1ki!e−λλki)=∑i=1N(−ln⁡(ki!)−λ+kiln⁡(λ))=−∑i=1Nln⁡(ki!)−∑i=1Nλ+∑i=1Nkiln⁡(λ)=−∑i=1Nln⁡(ki!)−Nλ+ln⁡(λ)∑i=1Nki\begin{aligned} \ell(\lambda) = \ln L(\lambda) &= \sum_{i=1}^{N} \ln \left( \frac{1}{k_i!} e^{-\lambda} \lambda^{k_i} \right) \\ &= \sum_{i=1}^{N} \left( -\ln(k_i!) - \lambda + k_i \ln(\lambda) \right) \\ &= -\sum_{i=1}^{N} \ln(k_i!) - \sum_{i=1}^{N} \lambda + \sum_{i=1}^{N} k_i \ln(\lambda) \\ &= -\sum_{i=1}^{N} \ln(k_i!) - N\lambda + \ln(\lambda) \sum_{i=1}^{N} k_i \end{aligned}

  3. 對 λ\lambda 求導： 為了找到最大值，我們計算 ℓ(λ)\ell(\lambda) 對 λ\lambda 的導數：

    ∂ℓ(λ)∂λ=−N+1λ∑i=1Nki\frac{\partial \ell(\lambda)}{\partial \lambda} = -N + \frac{1}{\lambda} \sum_{i=1}^{N} k_i

  4. 令導數為零並解出 λ\lambda：

    −N+1λ∑i=1Nki=0-N + \frac{1}{\lambda} \sum_{i=1}^{N} k_i = 0 1λ∑i=1Nki=N\frac{1}{\lambda} \sum_{i=1}^{N} k_i = N λ=1N∑i=1Nki\lambda = \frac{1}{N} \sum_{i=1}^{N} k_i

  5. 結論： 最大似然估計量 λ^\hat{\lambda} 即為樣本均值：

    λ^=1N∑i=1Nki\hat{\lambda} = \frac{1}{N} \sum_{i=1}^{N} k_i