Skip to main content

Answer ZH

具備知識 (Prerequisites)​

  • 貝氏定理 (Bayes' Theorem)
  • 多元高斯分佈 (Multivariate Gaussian Distribution)
  • 矩陣配方法 (Completing the Square for Matrices)

逐步推導 (Step-by-Step Derivation)​

  1. 貝氏定理 (Bayes' Theorem)： 參數 θ\theta 在給定資料 D\mathcal{D} 下的後驗分佈 (posterior distribution) 可以根據貝氏法則求得：

    p(θ∣D)=p(y∣θ,X)p(θ)p(y∣X)∝p(y∣θ,X)p(θ)p(\theta | \mathcal{D}) = \frac{p(y | \theta, X) p(\theta)}{p(y | X)} \propto p(y | \theta, X) p(\theta)

    其中 yy 包含了目標值，XX 包含了所有特徵。為了求解後驗分佈，我們可以處理未歸一化的對數後驗 (unnormalized log-posterior)：

    ln⁡p(θ∣D)=ln⁡p(y∣θ,X)+ln⁡p(θ)+const\ln p(\theta | \mathcal{D}) = \ln p(y | \theta, X) + \ln p(\theta) + \text{const}

  2. 概似函數與先驗 (Likelihood and Prior)： 根據模型方程式 y=ΦTθ+ϵy = \Phi^T \theta + \epsilon 以及 ϵ∼N(0,Σ)\epsilon \sim \mathcal{N}(0, \Sigma)，概似函數為 y∣θ,X∼N(ΦTθ,Σ)y|\theta, X \sim \mathcal{N}(\Phi^T \theta, \Sigma)。因此：

    ln⁡p(y∣θ,X)=−12(y−ΦTθ)TΣ−1(y−ΦTθ)+const\ln p(y | \theta, X) = -\frac{1}{2} (y - \Phi^T \theta)^T \Sigma^{-1} (y - \Phi^T \theta) + \text{const}

    先驗為 p(θ)=N(0,Γ)p(\theta) = \mathcal{N}(0, \Gamma)，因此：

    ln⁡p(θ)=−12θTΓ−1θ+const\ln p(\theta) = -\frac{1}{2} \theta^T \Gamma^{-1} \theta + \text{const}

  3. 對數後驗 (Log-Posterior)： 將對數概似和對數先驗相加：

    ln⁡p(θ∣D)=−12((y−ΦTθ)TΣ−1(y−ΦTθ)+θTΓ−1θ)+const=−12(yTΣ−1y−yTΣ−1ΦTθ−θTΦΣ−1y+θTΦΣ−1ΦTθ+θTΓ−1θ)+const\begin{align*} \ln p(\theta | \mathcal{D}) &= -\frac{1}{2} \left( (y - \Phi^T \theta)^T \Sigma^{-1} (y - \Phi^T \theta) + \theta^T \Gamma^{-1} \theta \right) + \text{const} \\ &= -\frac{1}{2} \left( y^T \Sigma^{-1} y - y^T \Sigma^{-1} \Phi^T \theta - \theta^T \Phi \Sigma^{-1} y + \theta^T \Phi \Sigma^{-1} \Phi^T \theta + \theta^T \Gamma^{-1} \theta \right) + \text{const} \end{align*}

    注意到 yTΣ−1yy^T \Sigma^{-1} y 對於 θ\theta 是一個常數，且 yTΣ−1ΦTθ=(θTΦΣ−1y)Ty^T \Sigma^{-1} \Phi^T \theta = (\theta^T \Phi \Sigma^{-1} y)^T 是一個純量 (所以兩者完全相等)，我們收集關於 θ\theta 的二次項與一次項：

    ln⁡p(θ∣D)=−12[θT(Γ−1+ΦΣ−1ΦT)θ−2θTΦΣ−1y]+const\ln p(\theta | \mathcal{D}) = -\frac{1}{2} \left[ \theta^T (\Gamma^{-1} + \Phi \Sigma^{-1} \Phi^T) \theta - 2 \theta^T \Phi \Sigma^{-1} y \right] + \text{const}

  4. 配方法 (Completing the Square)： 我們希望將它表達為一般常態分佈對數機率密度函數 (log-pdf) 的形式：

    ln⁡N(θ∣μ^θ,Σ^θ)=−12(θ−μ^θ)TΣ^θ−1(θ−μ^θ)+const′\ln \mathcal{N}(\theta | \hat{\mu}_\theta, \hat{\Sigma}_\theta) = -\frac{1}{2} (\theta - \hat{\mu}_\theta)^T \hat{\Sigma}_\theta^{-1} (\theta - \hat{\mu}_\theta) + \text{const}'

    展開此形式可得：

    −12(θTΣ^θ−1θ−2θTΣ^θ−1μ^θ+μ^θTΣ^θ−1μ^θ)+const′-\frac{1}{2} \left( \theta^T \hat{\Sigma}_\theta^{-1} \theta - 2 \theta^T \hat{\Sigma}_\theta^{-1} \hat{\mu}_\theta + \hat{\mu}_\theta^T \hat{\Sigma}_\theta^{-1} \hat{\mu}_\theta \right) + \text{const}'

    對比關於 θ\theta 的二次項（θT…θ\theta^T \dots \theta）：

    Σ^θ−1=Γ−1+ΦΣ−1ΦT  ⟹  Σ^θ=(Γ−1+ΦΣ−1ΦT)−1\hat{\Sigma}_\theta^{-1} = \Gamma^{-1} + \Phi \Sigma^{-1} \Phi^T \implies \hat{\Sigma}_\theta = (\Gamma^{-1} + \Phi \Sigma^{-1} \Phi^T)^{-1}

    對比關於 θ\theta 的一次項（θT…\theta^T \dots）：

    Σ^θ−1μ^θ=ΦΣ−1y  ⟹  μ^θ=Σ^θΦΣ−1y=(Γ−1+ΦΣ−1ΦT)−1ΦΣ−1y\hat{\Sigma}_\theta^{-1} \hat{\mu}_\theta = \Phi \Sigma^{-1} y \implies \hat{\mu}_\theta = \hat{\Sigma}_\theta \Phi \Sigma^{-1} y = (\Gamma^{-1} + \Phi \Sigma^{-1} \Phi^T)^{-1} \Phi \Sigma^{-1} y

  5. 結論 (Conclusion)： 因此，後驗分佈為一個高斯分佈 p(θ∣D)=N(θ∣μ^θ,Σ^θ)p(\theta|\mathcal{D}) = \mathcal{N}(\theta|\hat{\mu}_\theta, \hat{\Sigma}_\theta)，並且具有要求的平均數和共變異數。