您现在的位置是:首页 > 正文

L1正则能够得到稀疏解

2024-01-30 20:38:00阅读 0

在复习到过拟合的解决方法的时候L1正则化和L2正则化都可以用于降低过拟合的风险,但是L1正则化还会带来一个额外的好处:它比L2正则化更容易获得稀疏解,也就是说它求得的w权重向量具有更少的非零分量。主要就其为什么可以防止过拟合总结一下,相当于写个小笔记。
首先L1和L2正则降低了模型的复杂度,是对模型复杂度的惩罚。并且L1正则能够得到稀疏解,L2正则能够得到平滑解。

1、首先为什么L1正则能够得到稀疏解呢?

1.1 用图解释:
l1正则用一个菱形去逼近目标,而l2正则用一个圆形去逼近目标,所以在逼近的过程过,l1正则更容易在坐标轴和目标相交,得到稀疏解,而l2正则相比于l1正则而言,则更容易在非坐标轴和目标相交。
在这里插入图片描述
假定x有两个属性,于是无论是采用L1正则化还是采用L2正则化,它们解出的w权重向量都具有两个分量,即w1,w2;我们将其作为两个坐标轴,然后在这个二维空间中绘制

平方误差取值相同的连线,再分别绘制出L1范数和L2范数的等值线,那么我们的解就是平方误差等值线和范数等值线的焦点。从图上(机器学习 周志华 253页)我们可以看出L1范数和平方误差等值曲线的交点经常落在坐标轴上,而L2范数和平方误差等值曲线的交点只是分量比较小。所以我们说L1正则化比L2正则化更容易获得稀疏解,因为L1正则化的权重向量的分量为零的可能性更大。
L1正则化的稀疏性解释

1.2 从导数角度解释

引入L2正则时,代价函数在0处的导数仍是 d 0 d_{0} d0,无变化。而引入L1正则后,代价函数在0处的导数有一个突变。从 d 0 + λ d_{0} + λ d0+λ d 0 − λ d_{0} - λ d0λ,若 d 0 + λ d_{0} + λ d0+λ d 0 − λ d_{0} - λ d0λ异号,则在0处会是一个极小值点。因此,优化时,很可能优化到该极小值点上,即 w = 0 w = 0 w=0处。
L1正则为什么更容易获得稀疏解

网站文章

  • appium 多开

    最近跑一个app 使用的是appium,单开太慢了~,就想多开,结果遇到一个问题,最后解决了,这里记录一下! self.desired_caps = { "platformName": PLATFROM, "deviceName": DEVIE_NAME, "udid":UDID, ...

    2024-01-30 20:37:53
  • OpenKruise v1.1:功能增强与上游对齐,大规模场景性能优化

    OpenKruise v1.1:功能增强与上游对齐,大规模场景性能优化

    简介:在 v1.1 版本中,OpenKruise 对不少已有功能做了扩展与增强,并且优化了在大规模集群中的运行性能。以下对 v1.1 的部分功能做简要介绍。作者:酒祝(王思宇)云原生应用自动化管理套件...

    2024-01-30 20:37:23
  • //众神云集、群魔乱舞、以一抵百、砥砺前行//P1182 数列分段 Section II

    题目描述题目链接题解使用二分答案。二分的对象是数段的和,二分的范围是1-1e10。代码如下:#include<algorithm>#include<iostream>#include<cstdio>#...

    2024-01-30 20:37:18
  • SVN项目检出报错 :/gen already exists but is not a source folder. Convert to a source folder or rename it

    SVN导出后项目报错 /gen already exists but is not a source folder. Convert to a source folder or rename it 这个错误一般是由对函数库的改动或是路径的重置引起的,显示为 /myProject/gen already exists but is not a source folder. Convert t

    2024-01-30 20:37:11
  • JS获取对象的长度

    JS获取对象的长度

    2024-01-30 20:37:05
  • windows10系统下基于pybind11库进行c++代码调用python(pytorch)代码

    windows10系统下基于pybind11库进行c++代码调用python(pytorch)代码

    c++应用程序exe调用pytorch模型训练数据

    2024-01-30 20:36:36
  • 以字节流形式读取文件和写入数据

    1.InputStream和OutStream都是字节流。 2.以字节流形式写入文件。 package file; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; public class TestFile { public static void main(Strin...

    2024-01-30 20:36:29
  • 工业镜头的分类

    工业镜头的分类

    1 以视场分类(1)标准镜头:指视角30°左右,焦距长度接近相机画幅对角线长度的镜头。在2/3英寸CCD摄像机中,标准镜头焦距定为16mm在1/2英寸CCD摄像机中,标准镜头焦距定为12mm在1/3英寸CCD摄像机中,标准镜头焦距定为8mm。(2)广角与超广角镜头:视角55°以上,广角与超广角镜头的焦距短于、视角大于标准镜头。对135相机来说,焦距在30mm左右、视

    2024-01-30 20:36:23
  • umi应用首屏加载速度提高3倍+(通用性能优化)

    根据以往的博客,目前我就司的公司前端框架umi[1], ali出品以路由为基础的,同时支持配置式路由和约定式路由,保证路由的功能完备,并以此进行功能扩展的前端应用框架。问题所在一直以来我们...

    2024-01-30 20:35:53
  • 面试了个阿里P7大佬,他让我见识到什么才是“精通高并发与调优”

    面试了个阿里P7大佬,他让我见识到什么才是“精通高并发与调优”

    按照公司项目招聘的要求,我通常都会问一些高并发需要掌握的知识和实战路程,主要考察一下有没有做过高并发项目,有没有做过性能调优,清不清楚其中的细节,每个方案可能带来的副作用;这次面试了个阿里P7的大佬,...

    2024-01-30 20:35:45