逻辑回归是一种广泛使用的线性分类算法，特别适用于二分类问题。在实现逻辑回归时，我们通常选择交叉熵损失（Cross-Entropy Loss）作为优化目标，而不是平方损失（Squared Loss）。以下是对这一选择的详细解释。
1. 逻辑回归的目标
逻辑回归的核心是通过一个线性函数加上一个Sigmoid函数来预测给定输入是某个类别的概率。Sigmoid函数可以将线性函数的输出值压缩到(0, 1)范围内，从而表示概率。而逻辑回归的目标是找到最佳的参数，使得模型预测的概率与真实标签之间的差异最小。
2. 损失函数的作用
在机器学习中，损失函数衡量的是模型预测结果与真实值之间的差异。它定义了优化的目标，即最小化损失函数的值。对于逻辑回归来说，选择合适的损失函数是至关重要的。
3. 交叉熵损失
交叉熵损失函数是衡量概率分布之间差异的常用方法。对于二分类问题，交叉熵损失定义如下：
设$ p 为模型预测为正类的概率， y $为真实标签（取值为0或1），则交叉熵损失为：
$ L_{ce} = -[y \log(p) + (1 – y) \log(1 – p)] $
交叉熵损失具有以下优点：
- 概率解释：交叉熵损失直接基于概率，可以直观地解释为预测概率分布与真实分布之间的差异。
- 梯度下降友好：交叉熵损失函数在定义域内处处可导，适合使用梯度下降方法进行优化。
- 凸性：对于二分类问题，交叉熵损失函数是凸函数，这意味着它有一个全局最小值，避免了局部最小值的问题。
4. 平方损失的局限性
平方损失（Mean Squared Error, MSE）是一个常见的损失函数，定义如下：
$ L_{mse} = \frac{1}{n} \sum_{i=1}^{n}(y_i – \hat{y}_i)^2 $
其中，$ y_i 是真实标签， \hat{y}_i 是模型预测值， n $是样本数量。尽管平方损失在回归问题中表现良好，但在逻辑回归中却存在几个问题：
- 非概率输出：平方损失对所有实数值都敏感，包括负值和大于1的值，这与逻辑回归输出的概率范围(0, 1)不符。
- 梯度爆炸或消失：当$ \hat{y} 接近0或1时，Sigmoid函数的梯度非常小，导致平方损失的梯度也非常小，这就是所谓的梯度消失问题。相反，当 \hat{y} $接近0.5时，梯度非常大，可能导致梯度爆炸问题。
- 非凸性：平方损失与Sigmoid函数的组合不是凸函数，这意味着可能存在多个局部最小值，使得优化变得困难。
5. 交叉熵与平方损失的比较
为了更直观地理解为什么交叉熵损失比平方损失更适合逻辑回归，我们可以比较两者的性质：
- 误差尺度：交叉熵损失与概率尺度上的误差成正比，而平方损失与预测值与真实值之间的绝对差值成正比。对于逻辑回归，我们关注的是预测概率的准确性，而不是预测值的绝对误差。
- 优化难度：如前所述，平方损失可能导致梯度爆炸或消失，而交叉熵损失的梯度在整个定义域内都是合理的，更适合梯度下降优化。
- 数值稳定性：交叉熵损失由于其概率性质，可以避免数值计算中的不稳定性问题，尤其是在处理接近0或1的概率时。
6. 结论
综上所述，交叉熵损失因其在概率解释、梯度下降友好性、凸性以及数值稳定性方面的优势，成为逻辑回归的首选损失函数。而平方损失由于其非概率输出、梯度问题和非凸性，不适合用于逻辑回归。在实际应用中，选择合适的损失函数对于模型性能有着至关重要的影响。
