首页 > TensorFlow教程 > 机器学习 阅读数:20

深度学习的发展历程

作为机器学习的一个重要分支,深度学习近年来在全球范围内都引起了广泛的关注。然而深度学习在火热之前已经经历了一段漫长的发展历程,接下来我们简单了解一下。

1.起源

1) 1943 年,心理学家麦卡·洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》,在此论文中提出了 MP 模型。

MP 模型是模仿神经元的结构和工作原理,构造出的一个基于神经网络的数学模型,本质上是一种“模拟人类大脑”的神经元模型(这里有必要说明的是,我们说的“模拟”,更准确的说法其实应该是“参考”,计算机领域的“人工神经网络”的确受到了生物学上的“神经网络”的启发,但是两者相差万里,没有直接的可比性)。MP 模型作为人工神经网络的起源,开创了人工神经网络的新时代,也奠定了神经网络模型的基础。

2) 1949 年,加拿大著名心理学家唐纳德·赫布在《行为的组织》中提出了一种基于无监督学习的规则——海布学习规则(Hebb Rule)。

海布学习规则模仿人类认知世界的过程建立一种“网络模型”,该网络模型针对训练集进行大量的训练并提取训练集的统计特征,然后按照样本的相似程度进行分类,把相互之间联系密切的样本分为一类,这样就把样本分成了若干类。海布学习规则与“条件反射”机理一致,为以后的神经网络学习算法奠定了基础,具有重大的历史意义。

3) 20 世纪 50 年代末,在 MP 模型和海布学习规则的研究基础上,美国科学家罗森·布拉特发现了一种类似于人类学习过程的学习算法——感知器学习,并于 1957 年正式提出了由两层神经元组成的神经网络,即“感知器”。

感知器本质上是一种线性模型,可以对输入的训练集数据进行二分类,且能够在训练集中自动更新权值。感知器的提出吸引了大量科学家研究人工神经网络,对神经网络的发展具有里程碑式的意义。

但随着研究的深入,人们发现了感知器模型所存在的不足,它甚至无法解决最简单的线性不可分问题(例如异或问题)。由于这一不足以及没有及时推广感知器到多层神经网络中,在 20 世纪 70 年代,人工神经网络进入了第一个寒冬期,人工神经网络的发展也受到了很大的阻碍甚至质疑。

2. 发展

1) 1982 年,著名物理学家约翰·霍普菲尔德发明了 Hopfield 网络。

Hopfield 神经网络是一种结合存储系统和二元系统的循环神经网络。Hopfield 网络也可以模拟人类的记忆,根据激活函数的选取不同,有连续型和离散型两种类型,分别用于优化计算和联想记忆。但由于容易陷入局部最小值的缺陷,该算法并未在当时引起很大的轰动。

2) 直到 1986 年,深度学习之父杰弗里·辛顿提出了一种适用于多层感知器的反向传播算法——BP 算法 。

BP 算法在传统神经网络正向传播的基础上,增加了误差的反向传播过程。反向传播过程不断地调整神经元之间的权值和阈值,直到输出的误差达到减小到允许的范围之内,或达到预先设定的训练次数为止。BP 算法解决了非线性分类问题,让人工神经网络再次引起了人们广泛的关注。

但是由于八十年代计算机的硬件水平有限,运算能力跟不上,以及当神经网络的层数增加时,BP 算法会出现“梯度消失”的问题等等。这使得 BP 算法的发展受到了很大的限制。再加上 90 年代中期,以 SVM 为代表的其它浅层机器学习算法被提出,并在分类、回归问题上均取得了很好的效果,其原理相较于神经网络模型具有更好的可解释性,所以人工神经网络的发展再次进入了瓶颈期。

3. 爆发

1) 2006 年,杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。

他们在世界顶级学术期刊《Science》发表的一篇文章中详细的给出了“梯度消失”问题的解决方案——通过无监督的学习方法逐层训练算法,再使用有监督的反向传播算法进行调优。该深度学习方法的提出,立即在学术圈引起了巨大的反响,以斯坦福大学、多伦多大学为代表的众多世界知名高校纷纷投入巨大的人力、财力进行深度学习领域的相关研究,而后又迅速蔓延到工业界中。

2) 2012 年,在著名的 ImageNet 图像识别大赛中,杰弗里·辛顿领导的小组采用深度学习模型 AlexNet 一举夺冠。

AlexNet 采用 ReLU 激活函数,极大程度上上解决了梯度消失问题,并采用 GPU 极大的提高了模型的运算速度。同年,由斯坦福大学著名的吴恩达教授和世界顶尖计算机专家 JeffDean 共同主导的深度神经网络——DNN 技术在图像识别领域取得了惊人的成绩,在 ImageNet 评测中成功的把错误率从 26% 降低到了 15%。深度学习技术在世界大赛的脱颖而出,又进一步吸引了学术界和工业界对于深度学习领域的关注。

3) 随着深度学习技术的不断进步以及计算机硬件算力的不断提升,2014 年,Facebook 基于深度学习技术的 DeepFace 项目,在人脸识别方面的准确率已经能达到 97% 以上,跟人类识别的准确率几乎没有差别。这样的结果也再一次证明了深度学习技术在图像识别方面的一骑绝尘。

4) 2016 年,谷歌公司基于深度强化学习开发的 AlphaGo 以 4:1 的比分战胜了国际顶尖围棋高手李世石,深度学习的热度一时无两。后来,AlphaGo 又接连和众多世界级围棋高手过招,均取得了完胜。这也证明了在围棋界,基于深度学习技术的机器人几乎已经超越了人类。

5) 2017 年,基于深度强化学习技术的 AlphaGo 升级版 AlphaGo Zero 横空出世。其采用“从零开始”、“无师自通”的学习模式,以 100:0 的比分轻而易举打败了之前的 AlphaGo。除了围棋,它还精通国际象棋等其它棋类游戏,可以说是真正的棋类“天才”。

此外在这一年,深度学习相关技术也在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以,也有专家把 2017 年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。

深度学习发展到今天已经越来越趋于成熟,尤其是图像方面。无论是科研还是应用,大家也越来越理性,而不是像早些时候,把深度学习视为“万能的”,盲目的去跟风。当然,这一领域也还有许多问题需要解决,还有很多有趣、有挑战性的方向可以研究。
深度学习的发展历程
图 1:深度学习的发展历程