Skip to main content

Answer_ZH.md

預備知識​

  1. 對數似然函數: 從 (a) 部分可知，對數似然函數為： ℓ(μ,Σ)=−Nd2log⁡(2π)−N2log⁡∣Σ∣−12∑i=1N(xi−μ)TΣ−1(xi−μ)\ell(\mu, \Sigma) = -\frac{Nd}{2}\log(2\pi) - \frac{N}{2}\log|\Sigma| - \frac{1}{2} \sum_{i=1}^N (x_i - \mu)^T \Sigma^{-1} (x_i - \mu)
  2. 跡 (Trace) 技巧: 純量值 aTBaa^T B a 等同於 tr(aTBa)=tr(BaaT)\text{tr}(a^T B a) = \text{tr}(B a a^T)。這對於將求和中的向量移動成矩陣形式非常有用。
  3. 矩陣導數 (給定):
    • ∂∂Xlog⁡∣X∣=X−T\frac{\partial}{\partial X} \log |X| = X^{-T}。由於 Σ\Sigma 是對稱的，∂∂Σlog⁡∣Σ∣=Σ−1\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-1}。
    • ∂∂Xtr(X−1A)=−(X−TATX−T)\frac{\partial}{\partial X} \text{tr}(X^{-1}A) = -(X^{-T} A^T X^{-T})。由於 Σ\Sigma 和 AA（此處為散佈矩陣）是對稱的，這簡化為 −Σ−1AΣ−1-\Sigma^{-1} A \Sigma^{-1}。

逐步解答​

  1. 代入 μ\mu 的 ML 估計值： 我們代入 μ^ML=1N∑i=1Nxi\hat{\mu}_{ML} = \frac{1}{N} \sum_{i=1}^N x_i。令 S=∑i=1N(xi−μ^)(xi−μ^)TS = \sum_{i=1}^N (x_i - \hat{\mu})(x_i - \hat{\mu})^T 為散佈矩陣 (scatter matrix)。

  2. 使用跡改寫對數似然函數： 求和中的項是純量： (xi−μ)TΣ−1(xi−μ)=tr((xi−μ)TΣ−1(xi−μ))=tr(Σ−1(xi−μ)(xi−μ)T)(x_i - \mu)^T \Sigma^{-1} (x_i - \mu) = \text{tr}\left( (x_i - \mu)^T \Sigma^{-1} (x_i - \mu) \right) = \text{tr}\left( \Sigma^{-1} (x_i - \mu)(x_i - \mu)^T \right) 對 ii 求和： ∑i=1N(xi−μ)TΣ−1(xi−μ)=tr(Σ−1∑i=1N(xi−μ)(xi−μ)T)=tr(Σ−1S)\sum_{i=1}^N (x_i - \mu)^T \Sigma^{-1} (x_i - \mu) = \text{tr}\left( \Sigma^{-1} \sum_{i=1}^N (x_i - \mu)(x_i - \mu)^T \right) = \text{tr}(\Sigma^{-1} S)

    所以對數似然的相關部分（忽略常數）為： ℓ(Σ)∝−N2log⁡∣Σ∣−12tr(Σ−1S)\ell(\Sigma) \propto - \frac{N}{2}\log|\Sigma| - \frac{1}{2}\text{tr}(\Sigma^{-1} S)

  3. 對 Σ\Sigma 進行微分： 使用提供的恆等式：

    • ∂∂Σlog⁡∣Σ∣=Σ−T=Σ−1\frac{\partial}{\partial \Sigma} \log|\Sigma| = \Sigma^{-T} = \Sigma^{-1} （因為對稱）。
    • ∂∂Σtr(Σ−1S)=−(Σ−TSTΣ−T)\frac{\partial}{\partial \Sigma} \text{tr}(\Sigma^{-1} S) = -(\Sigma^{-T} S^T \Sigma^{-T})。由於 SS 和 Σ\Sigma 是對稱的，這項變為 −Σ−1SΣ−1-\Sigma^{-1} S \Sigma^{-1}。
    ∂ℓ∂Σ=−N2Σ−1−12(−Σ−1SΣ−1)=−N2Σ−1+12Σ−1SΣ−1\frac{\partial \ell}{\partial \Sigma} = -\frac{N}{2} \Sigma^{-1} - \frac{1}{2} (-\Sigma^{-1} S \Sigma^{-1}) = -\frac{N}{2} \Sigma^{-1} + \frac{1}{2} \Sigma^{-1} S \Sigma^{-1}

  4. 將導數設為零並求解：

    −N2Σ−1+12Σ−1SΣ−1=0Σ−1SΣ−1=NΣ−1\begin{aligned} -\frac{N}{2} \Sigma^{-1} + \frac{1}{2} \Sigma^{-1} S \Sigma^{-1} &= 0 \\ \Sigma^{-1} S \Sigma^{-1} &= N \Sigma^{-1} \end{aligned}

    左右兩邊同乘 Σ\Sigma：

    Σ(Σ−1SΣ−1)Σ=Σ(NΣ−1)ΣS=NΣΣ=1NS\begin{aligned} \Sigma (\Sigma^{-1} S \Sigma^{-1}) \Sigma &= \Sigma (N \Sigma^{-1}) \Sigma \\ S &= N \Sigma \\ \Sigma &= \frac{1}{N} S \end{aligned}

    因此， Σ^ML=1N∑i=1N(xi−μ^)(xi−μ^)T\hat{\Sigma}_{ML} = \frac{1}{N} \sum_{i=1}^N (x_i - \hat{\mu})(x_i - \hat{\mu})^T