正则化是什么意思
正则化的意思：修改学习算法，使其降低泛化误差而非训练误差。正则化，英文为regularizaiton，定义是修改学习算法，使其降低泛化误差（generalization error）而非训练误差。旨在更好实现模型泛化的补充技术，即在测试集上得到更好的表现。它是为了防止过拟合，进而增强模型的泛化能力。
正则化： 正则化的目的：防止过拟合！ 正则化的本质：约束（限制）要优化的参数。
正则化：正则化是一种用于控制模型复杂度的方法，可以防止过拟合问题。通过在损失函数中添加正则化项，可以限制模型参数的大小，从而减少过拟合的风险。常用的正则化方法包括L1正则化和L2正则化。增加样本量：线性回归模型的性能受到样本量的影响。
在神经网络领域，L1正则化是一种常用的正则化技术，用于防止模型过拟合。L1正则化通过在损失函数中添加权重的绝对值之和，鼓励模型使用较小的权重，从而得到更简单的模型。这有助于模型在未知数据上的泛化能力。
正则化通俗讲解?
1、正则化的通俗解释就是给平面不可约代数曲线以某种形式的全纯参数表示。正则化（regularization），是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。
2、正则化是一种用于防止模型过拟合的技术。它通过增加额外的约束条件或惩罚项来优化模型的参数，以提高模型的泛化能力。其主要目的是在训练模型时避免过度依赖训练数据中的噪声，从而得到更稳健、更具有推广性的模型。正则化的基本原理是在模型的损失函数中添加一个正则化项。
3、看到没，这两个等价公式说明了，正则化的本质就是，给优化参数一定约束，所以，正则化与加限制约束，只是变换了一个样子而已。
正则化项L1和L2的直观理解及L1不可导处理
1、L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||1即为L1正则化项。
2、L1正则化就是在 loss function 后面加上L1范数，这样比较容易求到稀疏解。L2 正则化是在 LF 后面加 L2范数 平方，相比L1正则来说，得到的解比较平滑（不是稀疏），但是同样能够保证解中接近于0（不等0）的维度比较多，降低模型的复杂度。
3、L1正则化项也称为Lasso，L2正则化参数也称为Ridge。 L1范数：权值向量w中各个元素的绝对值之和，L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择。 L2范数：权值向量w中各个元素的平方和然后再求平方根，L2正则化可以防止模型过拟合；一定程度上，L1也可以防止过拟合。
4、L1与L2区别：使用L1可以得到稀疏的权值；用L2可以得到平滑的权值。
标签： #正则化
