-
設定判別函數相等:
決策邊界由類別 i 和類別 j 的分數相同的條件定義:
gi(x)=gj(x)
-
代入線性形式:
使用 (a) 部分的結果,代入 gi(x) 和 gj(x) 的線性方程式:
wiTx+bi=wjTx+bj
-
重排為超平面形式:
將所有包含 x 的項移到一邊,常數項移到另一邊,以符合標準的超平面方程式 wTx+b=0:
(wi−wj)Tx+(bi−bj)=0
令 w=wi−wj 且 b=bi−bj。
-
推導 w 的表達式:
代入 (a) 部分中 wi 和 wj 的定義:
w=Σ−1μi−Σ−1μj
提出 Σ−1:
w=Σ−1(μi−μj)
這與所需的 w 表達式相符。
-
推導 b 的表達式:
代入 (a) 部分中 bi 和 bj 的定義:
b=(−21μiTΣ−1μi+logπi)−(−21μjTΣ−1μj+logπj)
將二次項和對數項分組:
b=−21(μiTΣ−1μi−μjTΣ−1μj)+(logπi−logπj)
-
簡化對數項:
使用對數的商法則 (logA−logB=logBA):
logπi−logπj=logπjπi
-
簡化二次項:
我們需要證明 μiTΣ−1μi−μjTΣ−1μj=(μi+μj)TΣ−1(μi−μj)。
讓我們展開這個等式的右邊:
(μi+μj)TΣ−1(μi−μj)=(μiT+μjT)(Σ−1μi−Σ−1μj)
=μiTΣ−1μi−μiTΣ−1μj+μjTΣ−1μi−μjTΣ−1μj
由於 Σ 是對稱的協方差矩陣,它的反矩陣 Σ−1 也是對稱的。因此,純量值 μiTΣ−1μj 等於其轉置 μjTΣ−1μi。
這意味著中間的兩項會互相抵消:
−μiTΣ−1μj+μjTΣ−1μi=0
剩下:
(μi+μj)TΣ−1(μi−μj)=μiTΣ−1μi−μjTΣ−1μj
-
最終代入:
將簡化後的對數項和二次項代回 b 的方程式中:
b=−21(μi+μj)TΣ−1(μi−μj)+logπjπi
這與所需的 b 表達式相符,證明完畢。