正则化（Regularization）是一种在机器学习和统计建模中常用的技术，用于防止模型过拟合，过拟合是指模型在训练数据上表现良好，但在未见过的测试数据上表现较差，正则化通过在模型的损失函数中添加一个惩罚项来实现这一目标，这个惩罚项会对模型的复杂度进行惩罚。
正则化惩罚项通常有两种主要类型：L1正则化和L2正则化。
1. **L1正则化（Lasso Regression）**：
L1正则化在损失函数中添加模型参数绝对值的和作为惩罚项，数学上，对于线性回归模型，L1正则化的损失函数可以表示为：
\(L = \sum_{i=1}^{n} (y_i - \sum_{j=1}^{p} x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^{p} |\beta_j|\)
\(y_i\) 是目标变量，\(x_{ij}\) 是第 \(i\) 个样本的第 \(j\) 个特征，\(\beta_j\) 是第 \(j\) 个特征的系数，\(\lambda\) 是正则化参数，用于控制正则化的强度。
L1正则化倾向于产生稀疏的权重矩阵，即许多权重为零，这有助于特征选择，因为非零权重对应的特征对模型有贡献，而零权重对应的特征可以被视为不重要。
2. **L2正则化（Ridge Regression）**：
L2正则化在损失函数中添加模型参数平方和作为惩罚项，对于线性回归模型，L2正则化的损失函数可以表示为：
\(L = \sum_{i=1}^{n} (y_i - \sum_{j=1}^{p} x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^{p} \beta_j^2\)
L2正则化倾向于产生较小的权重，但不会使权重完全为零，这有助于减少模型的复杂度，但可能不会进行特征选择。
除了L1和L2正则化外，还有其他类型的正则化方法，如ElasticNet（L1和L2的组合）、Dropout（在神经网络中随机丢弃一些神经元）等，选择哪种正则化方法取决于具体的应用场景和数据特性。
