Skip to main content

詳解：無偏估計量與方差

無偏性的直覺​

如果一個估計量平均而言能擊中真實目標，那麼它就是無偏的。 想像一下你在往靶心（真實參數 λ\lambda）扔飛鏢。

  • 如果你的飛鏢散落在各處，但所有飛鏢的「重心」正好在靶心，那麼你的瞄準就是無偏的。
  • 如果你的飛鏢持續偏向靶心右側，那麼你的瞄準就是有偏的。

在這個問題中，E[λ^]=λ\mathbb{E}[\hat{\lambda}] = \lambda 意味著如果我們多次重複這個實驗（每次收集 NN 個樣本並計算平均值），我們估計值的平均數將會收斂於真實的 λ\lambda。我們沒有系統性地高估或低估。

方差的直覺​

估計量的方差告訴我們估計值的分散程度。

  • 低方差意味著有效的估計值彼此接近（如果無偏，則接近真實值）。
  • 高方差意味著估計值可能會劇烈波動。

結果 var(λ^)=λN\text{var}(\hat{\lambda}) = \frac{\lambda}{N} 告訴我們兩件事：

  1. 更多數據減少不確定性：隨著 NN（樣本大小）增加，方差減小。這很有道理；有了更多數據，我們對估計更有信心。
  2. 依賴於 λ\lambda：方差取決於真實速率本身。較高的速率（較大的 λ\lambda）導致計數的方差較大，從而導致我們估計值的方差較大。

數學步驟解釋​

證明依賴於兩個關鍵性質：

  1. 期望的線性性質：和的平均值等於平均值的和。 E[1N∑ki]=1N∑E[ki]\mathbb{E}[\frac{1}{N} \sum k_i] = \frac{1}{N} \sum \mathbb{E}[k_i]。因為每個樣本的期望值都是 λ\lambda，所以平均值是 λ\lambda。
  2. 獨立和的方差：獨立事物之和的擴散程度等於它們擴散程度之和。 var(∑ki)=∑var(ki)\text{var}(\sum k_i) = \sum \text{var}(k_i)。 然而，當我們將和縮放 1N\frac{1}{N} 時，方差縮放 (1N)2=1N2(\frac{1}{N})^2 = \frac{1}{N^2}。這是因為方差是「平方」距離。 所以，1N2×(N×λ)=λN\frac{1}{N^2} \times (N \times \lambda) = \frac{\lambda}{N}。