Skip to main content

Answer ZH

先備知識 (Prerequisites)​

  • 共變異數的性質 (Properties of Covariance)
  • 積分的線性性質 (Linearity of Integrals)
  • 矩陣展開 (Matrix Expansion)

推導步驟 (Step-by-Step Derivation)​

  1. 從分佈 p^(x)\hat{p}(x) 的共變異數幾何定義出發： Σ^=cov⁡_p^(x)=∫p^(x)(x−μ^)(x−μ^)Tdx\hat{\Sigma} = \operatorname{cov}\_{\hat{p}}(x) = \int \hat{p}(x) (x - \hat{\mu})(x - \hat{\mu})^T dx

  2. 將方程式 (5.5) 中 p^(x)\hat{p}(x) 的定義代入： Σ^=∫(1n∑_i=1nk~(x−xi))(x−μ^)(x−μ^)Tdx\hat{\Sigma} = \int \left( \frac{1}{n} \sum\_{i=1}^n \tilde{k}(x - x_i) \right) (x - \hat{\mu})(x - \hat{\mu})^T dx

  3. 利用線性性質重新排列總和與積分符號： Σ^=1n∑_i=1n∫k~(x−xi)(x−μ^)(x−μ^)Tdx\hat{\Sigma} = \frac{1}{n} \sum\_{i=1}^n \int \tilde{k}(x - x_i) (x - \hat{\mu})(x - \hat{\mu})^T dx

  4. 我們可以策略性地藉由加減 xix_i 來改寫 (x−μ^)(x - \hat{\mu}) 這一項： x−μ^=(x−xi)+(xi−μ^)x - \hat{\mu} = (x - x_i) + (x_i - \hat{\mu})

  5. 應用變數代換，令 u=x−xiu = x - x_i，也就是 du=dxdu = dx 且 x−μ^=u+(xi−μ^)x - \hat{\mu} = u + (x_i - \hat{\mu})： ∫k~(x−xi)(x−μ^)(x−μ^)Tdx=∫k~(u)(u+(xi−μ^))(u+(xi−μ^))Tdu\int \tilde{k}(x - x_i) (x - \hat{\mu})(x - \hat{\mu})^T dx = \int \tilde{k}(u) \Big(u + (x_i - \hat{\mu})\Big)\Big(u + (x_i - \hat{\mu})\Big)^T du

  6. 將二次項展開： (u+(xi−μ^))(uT+(xi−μ^)T)\Big(u + (x_i - \hat{\mu})\Big)\Big(u^T + (x_i - \hat{\mu})^T\Big) =uuT+u(xi−μ^)T+(xi−μ^)uT+(xi−μ^)(xi−μ^)T= u u^T + u(x_i - \hat{\mu})^T + (x_i - \hat{\mu})u^T + (x_i - \hat{\mu})(x_i - \hat{\mu})^T

  7. 將此展開式代回積分式中，並分離為四個獨立的積分項： ∫k~(u)uuTdu+∫k~(u)u(xi−μ^)Tdu+∫k~(u)(xi−μ^)uTdu+∫k~(u)(xi−μ^)(xi−μ^)Tdu\int \tilde{k}(u) u u^T du + \int \tilde{k}(u) u(x_i - \hat{\mu})^T du + \int \tilde{k}(u) (x_i - \hat{\mu}) u^T du + \int \tilde{k}(u) (x_i - \hat{\mu})(x_i - \hat{\mu})^T du

  8. 分別評估這四個積分項：

    • 第一項：根據方程式 (5.7) 以及給定 k~\tilde{k} 的平均值為 0： ∫k~(u)uuTdu=H\int \tilde{k}(u) u u^T du = H
    • 第二項：因為 (xi−μ^)T(x_i - \hat{\mu})^T 對於 uu 是常數，可以提至積分外。根據 (5.6)，∫k~(u)udu=0\int \tilde{k}(u) u du = 0： (∫k~(u)udu)(xi−μ^)T=0⋅(xi−μ^)T=0\left(\int \tilde{k}(u) u du\right) (x_i - \hat{\mu})^T = 0 \cdot (x_i - \hat{\mu})^T = 0
    • 第三項：同理： (xi−μ^)(∫k~(u)uTdu)=(xi−μ^)⋅0T=0(x_i - \hat{\mu}) \left(\int \tilde{k}(u) u^T du\right) = (x_i - \hat{\mu}) \cdot 0^T = 0
    • 第四項：由於 k~(u)\tilde{k}(u) 是一個機率密度函數，其積分必為 1： (xi−μ^)(xi−μ^)T∫k~(u)du=(xi−μ^)(xi−μ^)T⋅1=(xi−μ^)(xi−μ^)T(x_i - \hat{\mu})(x_i - \hat{\mu})^T \int \tilde{k}(u) du = (x_i - \hat{\mu})(x_i - \hat{\mu})^T \cdot 1 = (x_i - \hat{\mu})(x_i - \hat{\mu})^T

  9. 將這些項加總起來，總和內部的積分變成： H+(xi−μ^)(xi−μ^)TH + (x_i - \hat{\mu})(x_i - \hat{\mu})^T

  10. 將評估過後的積分代回步驟 3 的總和式中： Σ^=1n∑_i=1n(H+(xi−μ^)(xi−μ^)T)\hat{\Sigma} = \frac{1}{n} \sum\_{i=1}^n \Big( H + (x_i - \hat{\mu})(x_i - \hat{\mu})^T \Big)

  11. 將總和分配進兩個項目： Σ^=1n∑∗i=1nH+1n∑∗i=1n(xi−μ^)(xi−μ^)T\hat{\Sigma} = \frac{1}{n} \sum*{i=1}^n H + \frac{1}{n} \sum*{i=1}^n (x_i - \hat{\mu})(x_i - \hat{\mu})^T

  12. 因為 HH 不依賴於指標 ii，將其加總 nn 次後又除了 nn，結果剛好還是 HH： Σ^=H+1n∑_i=1n(xi−μ^)(xi−μ^)T\hat{\Sigma} = H + \frac{1}{n} \sum\_{i=1}^n (x_i - \hat{\mu})(x_i - \hat{\mu})^T

這完成了方程式 (5.9) 的證明。