梯度下降法

2022-01-10 16:30:49 梯度 编辑:黎为乐

在读这篇文章之前,希望读者能有微积分的基础,这样会轻松许多,但如果没有学过微积分,那你可以略读这篇文章,大概有个浅显的认识就可以了。

在说梯度下降之前我们先了解一下梯度是什么,梯度就是函数在某个点是增长最快的方向,也就是最陡峭的方向,那么取他的反方向也就是下降最快的地方,梯度下降就是通过不断地迭代,一步一步的寻找下降方向,直到到达全局最优值(也就是最低点),或者是收敛于最低点,如果你不知道收敛是什么意思,通俗易懂的说就是靠近那个最低点,在下降过程中的每一步的长度也就是步长。我们可以看作下山的问题,山谷是起伏不平的,然后有一个人在山谷上,他想要下山,那么就在当前位置往最陡峭的方向(梯度方向)往下走一段距离,走着走着可能前面就又有伏起来的山,那么在这个基准下重新寻找梯度下降的方向,这样不断的迭代来到达山谷最低处。这边我绘制了一张图,看看你能不能理解,箭头指的就是梯度下降的方向每个蓝点之间的距离就是步长。

现在我们来讲解一下梯度下降的详细算法,先看如下的假设函数和损失函数:

©AHIEC人工智能工作室 2021

地址:安徽省合肥市包河区梁园路安徽工业经济职业技术学院现代科教中心101室

创作者信息:

皖ICP备20011723号-2