Skip to main content

Answer ZH

先決條件

  • 線性判別函數 (Linear Discriminant Functions):從 (a) 部分我們知道,對於任何類別 kkgk(x)=wkTx+bkg_k(x) = w_k^T x + b_k
  • 決策邊界 (Decision Boundary):兩個類別 iijj 之間的邊界是分類器對這兩個類別無偏好的點 xx 的集合,這意味著它們的判別函數相等:gi(x)=gj(x)g_i(x) = g_j(x)
  • 超平面方程式 (Hyperplane Equation)dd 維空間中的超平面可以由方程式 wTx+b=0w^T x + b = 0 定義,其中 ww 是超平面的法向量,bb 是偏差(或偏移量)。

逐步推導

  1. 設定判別函數相等: 決策邊界由類別 ii 和類別 jj 的分數相同的條件定義: gi(x)=gj(x)g_i(x) = g_j(x)

  2. 代入線性形式: 使用 (a) 部分的結果,代入 gi(x)g_i(x)gj(x)g_j(x) 的線性方程式: wiTx+bi=wjTx+bjw_i^T x + b_i = w_j^T x + b_j

  3. 重排為超平面形式: 將所有包含 xx 的項移到一邊,常數項移到另一邊,以符合標準的超平面方程式 wTx+b=0w^T x + b = 0(wiwj)Tx+(bibj)=0(w_i - w_j)^T x + (b_i - b_j) = 0w=wiwjw = w_i - w_jb=bibjb = b_i - b_j

  4. 推導 ww 的表達式: 代入 (a) 部分中 wiw_iwjw_j 的定義: w=Σ1μiΣ1μjw = \Sigma^{-1}\mu_i - \Sigma^{-1}\mu_j 提出 Σ1\Sigma^{-1}w=Σ1(μiμj)w = \Sigma^{-1}(\mu_i - \mu_j) 這與所需的 ww 表達式相符。

  5. 推導 bb 的表達式: 代入 (a) 部分中 bib_ibjb_j 的定義: b=(12μiTΣ1μi+logπi)(12μjTΣ1μj+logπj)b = \left( -\frac{1}{2}\mu_i^T\Sigma^{-1}\mu_i + \log \pi_i \right) - \left( -\frac{1}{2}\mu_j^T\Sigma^{-1}\mu_j + \log \pi_j \right) 將二次項和對數項分組: b=12(μiTΣ1μiμjTΣ1μj)+(logπilogπj)b = -\frac{1}{2}(\mu_i^T\Sigma^{-1}\mu_i - \mu_j^T\Sigma^{-1}\mu_j) + (\log \pi_i - \log \pi_j)

  6. 簡化對數項: 使用對數的商法則 (logAlogB=logAB\log A - \log B = \log \frac{A}{B}): logπilogπj=logπiπj\log \pi_i - \log \pi_j = \log \frac{\pi_i}{\pi_j}

  7. 簡化二次項: 我們需要證明 μiTΣ1μiμjTΣ1μj=(μi+μj)TΣ1(μiμj)\mu_i^T\Sigma^{-1}\mu_i - \mu_j^T\Sigma^{-1}\mu_j = (\mu_i + \mu_j)^T \Sigma^{-1} (\mu_i - \mu_j)。 讓我們展開這個等式的右邊: (μi+μj)TΣ1(μiμj)=(μiT+μjT)(Σ1μiΣ1μj)(\mu_i + \mu_j)^T \Sigma^{-1} (\mu_i - \mu_j) = (\mu_i^T + \mu_j^T) (\Sigma^{-1}\mu_i - \Sigma^{-1}\mu_j) =μiTΣ1μiμiTΣ1μj+μjTΣ1μiμjTΣ1μj= \mu_i^T\Sigma^{-1}\mu_i - \mu_i^T\Sigma^{-1}\mu_j + \mu_j^T\Sigma^{-1}\mu_i - \mu_j^T\Sigma^{-1}\mu_j 由於 Σ\Sigma 是對稱的協方差矩陣,它的反矩陣 Σ1\Sigma^{-1} 也是對稱的。因此,純量值 μiTΣ1μj\mu_i^T\Sigma^{-1}\mu_j 等於其轉置 μjTΣ1μi\mu_j^T\Sigma^{-1}\mu_i。 這意味著中間的兩項會互相抵消: μiTΣ1μj+μjTΣ1μi=0-\mu_i^T\Sigma^{-1}\mu_j + \mu_j^T\Sigma^{-1}\mu_i = 0 剩下: (μi+μj)TΣ1(μiμj)=μiTΣ1μiμjTΣ1μj(\mu_i + \mu_j)^T \Sigma^{-1} (\mu_i - \mu_j) = \mu_i^T\Sigma^{-1}\mu_i - \mu_j^T\Sigma^{-1}\mu_j

  8. 最終代入: 將簡化後的對數項和二次項代回 bb 的方程式中: b=12(μi+μj)TΣ1(μiμj)+logπiπjb = -\frac{1}{2}(\mu_i + \mu_j)^T \Sigma^{-1} (\mu_i - \mu_j) + \log \frac{\pi_i}{\pi_j} 這與所需的 bb 表達式相符,證明完畢。