問題 1.6 (b) 詳細解釋：具有對角協方差的二維高斯

這部分的重點在於理解具體數值如何影響二維高斯分佈的形狀。我們可以分三個層次來深入探討：代數推導、幾何意義和直觀理解。

1. 代數推導：為什麼是 $x_1^2 + 4x_2^2$？

解答中直接給出了結果，但中間的矩陣運算細節如下：

給定：

• 均值向量 $\mu = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$，意味著分佈的中心在原點。
• 協方差矩陣 $\Sigma = \begin{bmatrix} 1 & 0 \\ 0 & 0.25 \end{bmatrix}$。

步驟一：求逆矩陣 $\Sigma^{-1}$ 因為 $\Sigma$ 是對角矩陣，其逆矩陣就是對角線元素的倒數：

$$\Sigma^{-1} = \begin{bmatrix} \frac{1}{1} & 0 \\ 0 & \frac{1}{0.25} \end{bmatrix} = \begin{bmatrix} 1 & 0 \\ 0 & 4 \end{bmatrix}$$

(注意：這裡 $0.25$ 的倒數變成了 $4$)

步驟二：計算馬些路距離 (Mahalanobis Distance) 公式為：$(x - \mu)^T \Sigma^{-1} (x - \mu)$

因為 $\mu$ 是 0，這簡化為 $x^T \Sigma^{-1} x$：

$$\begin{aligned} \begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} 1 & 0 \\ 0 & 4 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} &= \begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} 1 \cdot x_1 + 0 \cdot x_2 \\ 0 \cdot x_1 + 4 \cdot x_2 \end{bmatrix} \\ &= \begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} x_1 \\ 4x_2 \end{bmatrix} \\ &= x_1 \cdot x_1 + x_2 \cdot 4x_2 \\ &= x_1^2 + 4x_2^2 \end{aligned}$$

這就是為什麼解答中寫出了 $x_1^2 + 4x_2^2$。

2. 幾何意義：橢圓的標準式

我們想要知道雖然 $x_2$ 前面的係數是 $4$（比 $x_1$ 大），為什麼圖形反而在 $x_2$ 方向比較「窄」？

讓我們看橢圓的標準方程式：

$$\frac{x^2}{a^2} + \frac{y^2}{b^2} = C$$

其中 $a$ 是 x軸方向的半徑，$b$ 是 y軸方向的半徑。

將我們的結果 $x_1^2 + 4x_2^2 = C$ 改寫成這個形式：

$$\frac{x_1^2}{1^2} + \frac{x_2^2}{(0.5)^2} = C$$

(因為 $4x_2^2$ 等於 $\frac{x_2^2}{1/4}$，即 $\frac{x_2^2}{(0.5)^2}$)

現在我們可以清楚地與標準差 $\sigma$ 對應起來：

• $x_1$ 方向：分母是 $1^2$，對應 $\sigma_1^2 = 1$。半徑長度正比於 1。
• $x_2$ 方向：分母是 $(0.5)^2$，對應 $\sigma_2^2 = 0.25$。半徑長度正比於 0.5。

因此，橢圓在 $x_1$ 方向較長（長軸），在 $x_2$ 方向較短（短軸）。

3. 直觀理解：對角項的影響

協方差矩陣的對角項 $\sigma_1^2$ 和 $\sigma_2^2$ 代表了數據的方差（Variance），也就是數據的「分散程度」。

• $\Sigma_{11} = 1$：表示在水平方向 ($x_1$)，數據分佈得比較廣。
• $\Sigma_{22} = 0.25$：表示在垂直方向 ($x_2$)，數據分佈得非常集中，只有水平方向的 1/4。

視覺化想像： 想像這是一座山（概率密度函數的 3D 圖）：

• 如果你沿著 $x_1$ 軸走（東西向），山坡很緩，你可以走很遠才下降到平地。
• 如果你沿著 $x_2$ 軸走（南北向），山坡很陡，走一點點就迅速下降了。

從上往下看（等高線圖），這座山的底部就是一個壓扁的橢圓形，沿著 $x_1$ 軸拉長。