在读这篇文章之前，希望读者能有微积分的基础，这样会轻松许多，但如果没有学过微积分，那你可以略读这篇文章，大概有个浅显的认识就可以了。

在说梯度下降之前我们先了解一下梯度是什么，梯度就是函数在某个点是增长最快的方向，也就是最陡峭的方向，那么取他的反方向也就是下降最快的地方，梯度下降就是通过不断地迭代，一步一步的寻找下降方向，直到到达全局最优值(也就是最低点),或者是收敛于最低点，如果你不知道收敛是什么意思，通俗易懂的说就是靠近那个最低点，在下降过程中的每一步的长度也就是步长。我们可以看作下山的问题，山谷是起伏不平的，然后有一个人在山谷上，他想要下山，那么就在当前位置往最陡峭的方向(梯度方向)往下走一段距离，走着走着可能前面就又有伏起来的山，那么在这个基准下重新寻找梯度下降的方向，这样不断的迭代来到达山谷最低处。这边我绘制了一张图，看看你能不能理解，箭头指的就是梯度下降的方向每个蓝点之间的距离就是步长。

现在我们来讲解一下梯度下降的详细算法，先看如下的假设函数和损失函数: