Skip to main content

Question ZH

問題 3.13 L1 正則化最小平方法 (LASSO) 續

對於 (3.59) 沒有封閉形式的解 (closed-form solution)，因此需要使用迭代方法來執行最佳化。接下來，我們將把 (3.59) 重寫為等價的二次規劃 (Quadratic Programming, QP) 問題，該問題可以插入標準求解器中（例如，MATLAB 中的 quadprog）。

(b) 首先，我們將 θ\theta 重寫為兩個具有正元素的向量之間的差。

θ=θ+−θ−,(3.60)\theta = \theta^+ - \theta^-, \qquad (3.60) θ+≥0,θ−≥0.(3.61)\theta^+ \geq 0, \quad \theta^- \geq 0. \qquad (3.61)

原始的最佳化問題 (3.59) 現在可以重寫為

θ^=\*⁡argmin_θ+,θ−12∥y−ΦT(θ+−θ−)∥2+λ∑i∣θ+_i−θ−_i∣,(3.62)\hat{\theta} = \operatorname\*{argmin}\_{\theta^+, \theta^-} \frac{1}{2} \|y - \Phi^T(\theta^+ - \theta^-)\|^2 + \lambda \sum_i |\theta^+\_i - \theta^-\_i|, \qquad (3.62) s.t. θ+≥0,  θ−≥0.\text{s.t. } \theta^+ \geq 0, \; \theta^- \geq 0.

使用一些最佳化理論的「魔法」，我們可以將 (3.62) 重寫為

θ^=\*⁡argmin_θ+,θ−12∥y−ΦT(θ+−θ−)∥2+λ∑i(θ+_i+θ−_i),(3.63)\hat{\theta} = \operatorname\*{argmin}\_{\theta^+, \theta^-} \frac{1}{2} \|y - \Phi^T(\theta^+ - \theta^-)\|^2 + \lambda \sum_i (\theta^+\_i + \theta^-\_i), \qquad (3.63) s.t. θ+≥0,  θ−≥0.\text{s.t. } \theta^+ \geq 0, \; \theta^- \geq 0.

為什麼 (3.63) 中的最佳化問題等價於 (3.62)？提示：在最佳情況下，關於對 {θi+,θi−}\{\theta^+_i, \theta^-_i\} 的值我們可以說些什麼？