Week10:Learning with large datasets

大规模机器学习

大规模是指训练集数据很多,比如有1亿组数据。

大数据

有一句话叫做“最后胜利的人不是因为他有好的算法,而是他用有大量数据”,因为随着数据量的增加,机器学习算法的准确度都会变得很高。

批量梯度下降

先看梯度下降方程,以线性回归为例:

这种方式称之为批量梯度下降,一个 $\theta_j$ 都需要遍历所有数据,如果m = 100,000,000 ,梯度下降会变得很慢。

###

随机梯度下降

随机不是指随机的选取一些数据来进行梯度下降。

随机下降的Cost Function,只计算一组数据,而不是全部数据:

而在进行梯度下降时,遍历所有数据 $x^{(i)}$ 计算 $\theta$:

幸运的是,通常并不需要遍历全部数据或是遍历一次即可得到比较理想的 $\theta$ 值。

其实这种方式是在逐渐适应遇见的$x^{(i)}$,所以并不能保证$\theta$ 是一直下降的,如果把每次计算的cost画在坐标系中,它会是摆动的:

而且最后会在最优值附加徘徊,但得不到最优值。

最小批量梯度下降

获随即下降的启发,我们可以梯度下降时取 $b$ 组数据而不是一个数据,这样可以获得比随机下降更加快的速度,它的过程如下:

在线学习

在线学习是指使用源源不断获得的数据进行学习。比如你正在经营一个网上商店,那么你可以持续获得用户操作记录,所以训练集的大小是不固定的,而是每天增长的。随机梯度下降很适合这个场景。

映射约减和并行计算

映射约减又叫Map-reduce。假设你现在有5台机器,有4亿的数据量,那么可以把数据拆成四等分,分给4台机器运算,计算结果交个第5台机器,由它来进行汇总。

这个道理也适用于多核cpu:

现在这种方法集成到了一些框架中,例如Hadoop

坚持原创文章分享,您的支持将鼓励我继续创作!