Skip to main content

詳解:泊松分佈的最大似然估計

直覺

最大似然估計 (MLE) 的目標是找到使觀測數據「最有可能」出現的參數值。 想像一下你有一枚硬幣。你拋了 10 次,得到 7 次正面。如果硬幣是公平的 (p=0.5p=0.5),得到 7 次正面的概率有點低。如果硬幣偏向正面 (p=0.7p=0.7),概率會更高。MLE 就是要尋找最大化這個概率的 pp 值。

在這個問題中,我們觀察落在不同網格單元中的炸彈數量。我們假設這些計數遵循具有某個未知速率 λ\lambda 的泊松分佈。我們想要找到一個 λ\lambda,使得看到我們觀察到的這些炸彈計數的概率最大。

為什麼使用對數似然?

似然函數涉及將許多概率相乘(因為樣本是獨立的)。 L(λ)=p(k1λ)×p(k2λ)××p(kNλ)L(\lambda) = p(k_1|\lambda) \times p(k_2|\lambda) \times \dots \times p(k_N|\lambda) 對一個長乘積求導很困難(乘積法則很繁瑣)。 取對數將乘積轉換為求和: ln(a×b)=ln(a)+ln(b)\ln(a \times b) = \ln(a) + \ln(b) (λ)=ln(p(k1λ))++ln(p(kNλ))\ell(\lambda) = \ln(p(k_1|\lambda)) + \dots + \ln(p(k_N|\lambda)) 對求和求導要容易得多(導數的線性性質)。此外,由於對數是一個嚴格遞增函數,最大化 (λ)\ell(\lambda)λ\lambda 與最大化 L(λ)L(\lambda)λ\lambda 是同一個。

結果的解釋

結果 λ^=1Nki\hat{\lambda} = \frac{1}{N} \sum k_i 簡單來說就是樣本均值。 這在直覺上是有道理的:對於泊松分佈,參數 λ\lambda 代表事件的期望(平均)數量。如果我們想從數據中估計這個平均值,最自然的猜測就是我們觀察到的數據點的平均值。