Skip to main content

Answer ZH

先修知識​

  • 拉格朗日乘數 (Lagrange Multipliers)
  • 導數：特別是乘法法則和 xlog⁡xx \log x 的導數。
    • ddx(xlog⁡x)=1⋅log⁡x+x⋅1x=log⁡x+1\frac{d}{dx} (x \log x) = 1 \cdot \log x + x \cdot \frac{1}{x} = \log x + 1。

解答​

我們最大化目標函數： f({πj})=∑j=1Kπj(Nj−log⁡πj)=∑j=1K(πjNj−πjlog⁡πj)f(\{\pi_j\}) = \sum_{j=1}^K \pi_j (N_j - \log \pi_j) = \sum_{j=1}^K ( \pi_j N_j - \pi_j \log \pi_j )

受限於： ∑j=1Kπj=1\sum_{j=1}^K \pi_j = 1

步驟 1：建構拉格朗日函數​

L({πj},λ)=∑j=1K(πjNj−πjlog⁡πj)+λ(∑j=1Kπj−1)L(\{\pi_j\}, \lambda) = \sum_{j=1}^K ( \pi_j N_j - \pi_j \log \pi_j ) + \lambda \left( \sum_{j=1}^K \pi_j - 1 \right)

步驟 2：求導數並設為零​

對特定的 πj\pi_j 取偏導數： ∂L∂πj=∂∂πj(πjNj)−∂∂πj(πjlog⁡πj)+∂∂πj(λπj)\frac{\partial L}{\partial \pi_j} = \frac{\partial}{\partial \pi_j} (\pi_j N_j) - \frac{\partial}{\partial \pi_j} (\pi_j \log \pi_j) + \frac{\partial}{\partial \pi_j} (\lambda \pi_j)

對 πjlog⁡πj\pi_j \log \pi_j 使用乘法法則： ∂∂πj(πjlog⁡πj)=1⋅log⁡πj+πj⋅1πj=log⁡πj+1\frac{\partial}{\partial \pi_j} (\pi_j \log \pi_j) = 1 \cdot \log \pi_j + \pi_j \cdot \frac{1}{\pi_j} = \log \pi_j + 1

代回原式： ∂L∂πj=Nj−(log⁡πj+1)+λ\frac{\partial L}{\partial \pi_j} = N_j - (\log \pi_j + 1) + \lambda

設為零： Nj−log⁡πj−1+λ=0N_j - \log \pi_j - 1 + \lambda = 0

步驟 3：以 λ\lambda 表示解出 πj\pi_j​

重新排列方程式以孤立 log⁡πj\log \pi_j： log⁡πj=Nj−1+λ\log \pi_j = N_j - 1 + \lambda

兩邊取指數： πj=exp⁡(Nj−1+λ)\pi_j = \exp(N_j - 1 + \lambda) πj=exp⁡(Nj)⋅exp⁡(λ−1)\pi_j = \exp(N_j) \cdot \exp(\lambda - 1)

步驟 4：解出拉格朗日乘數項​

使用約束條件 ∑πj=1\sum \pi_j = 1： ∑j=1K[exp⁡(Nj)⋅exp⁡(λ−1)]=1\sum_{j=1}^K \left[ \exp(N_j) \cdot \exp(\lambda - 1) \right] = 1

由於 exp⁡(λ−1)\exp(\lambda - 1) 不依賴於 jj，我們可以將其提出： exp⁡(λ−1)∑j=1Kexp⁡(Nj)=1\exp(\lambda - 1) \sum_{j=1}^K \exp(N_j) = 1

因此： exp⁡(λ−1)=1∑k=1Kexp⁡(Nk)\exp(\lambda - 1) = \frac{1}{\sum_{k=1}^K \exp(N_k)}

步驟 5：代回以求 πj\pi_j​

將 exp⁡(Nj)\exp(N_j) 乘以我們剛剛找到的因子： πj=exp⁡(Nj)⋅1∑k=1Kexp⁡(Nk)\pi_j = \exp(N_j) \cdot \frac{1}{\sum_{k=1}^K \exp(N_k)} πj=exp⁡Nj∑k=1Kexp⁡Nk\pi_j = \frac{\exp N_j}{\sum_{k=1}^K \exp N_k}