1. 前言 (Before Reading)
1. 社会影响
深度学习在国内大概是2016年开始广为人知的。因为在2016年3月，Google公司的AlphaGo和与代表人类的李世石在围棋上进行对决，并最终以 4:1 的成绩战胜了李世石。而在此之前，作为人类智力的巅峰、最高难度游戏的围棋一直是由人类棋手统治的，从未有过计算机程序能够获胜。
我清楚的记得那个时候我还在上初中，当时我手机上的腾讯新闻头版头条、实时报道两人的对局。在赛后央视新闻也在报道这一场比赛，足以见当时社会之轰动。其实不仅在国内，AlphaGo的获胜也在国外掀起了轩然大波。国内国外各种媒体开始报道人工智能、深度学习，一时间AI甚嚣尘上。各种寂静、风投蜂拥而来，不少研究院跑步入场，开启了此后AI研究的又一高潮。
因此，深度学习在社会上广为人知是从2016年开始的，但事实上，深度学习在此之前早已经引爆了学术圈，而让深度学习引爆学术圈的，正是今天的这篇由深度学习三巨头之一的Geoffrey E. Hinton所领衔的、其博士生Alex Krizhevsky所做的：ImageNet Classification with Deep Convolutional Neural Networks。
2. 学术影响
除了对社会的影响以外，这篇文章也对人工智能这个领域和深度学习这个子领域有非常深远的影响。
人工智能的研究其实开始的非常早，1956年麦卡锡等人发起的达特茅斯会议的主要议题就是人工智能。这场会议持续了一个月，基本上以大范围的集思广益为主，大家一起讨论，寻求什么是人工智能这一问题的答案，或者说讨论到底什么是（机器）学习/学习的本质是什么（关于这一问题的答案，CMU的Tom Mitchell给出了一个形式化的定义，即用数学的符号语言来定义学习，不过这并不是这篇文章关注的主题，所以我就不展开了，以后写专门的博客再详细说）。总之，这场会议催生了后来人所共知的人工智能革命。
而后，人工智能又发展出了不同的流派（1960年代-2000年代），例如：联结主义（Connectionism）、符号主义（symbolicism）、行为主义（actionism）。其实这三种流派之间最核心的差异就是对于智慧/智能的定义/理解不同，而后每个流派又在各自的定义和理解上提出的一系列方法加在一起，最终构成了三种不同的流派。关于这段历史也不是这篇博客关注的重点，所以也就不详细展开了，不过关于这段历史，如果想要了解的话我强烈推荐孟德宇老师的机器学习课，我就是在这里学习到。
而作为人工智能中最后出现的流派，联结主义（Connectionism）在1980年代才开始出现（此时只是星星之火）。深度学习的三巨头之一的Geoffrey E. Hinton（没错，就是本文的通讯作者Geoffrey E. Hinton）在1980年提出了现在深度学习的基石：反向传播算法（Back Propagation，BP）。而后慢慢的，联结主义开始发展起来，直到1990年代，连接主义才成为机器学习/人工智能的主要流派。
那么问题来了，为什么我要花费这么大的笔墨说联结主义呢（到这里还没开始文章，但是已经写了1300多字了）？其实是因为我们现在所说的深度学习，其实就是连接主义。我们现在深度学习方法的框架、理论和一些基础技术都和联结主义的方法、框架、理论、基础技术一模一样。或者说，现代的深度学习就起源于联结主义，只不过是联结主义换了个名字。
那这就有个问题了，为什么我们要给连接主义换个名字呢？继续叫连接主义不好么？其实是因为深度学习（Deep Learning）这个名字比联结主义（Connectionism）更Fancy啦 \^_\^。哈哈，开个玩笑，其实主要的原因还是因为机器学习研究，或者说联结主义的研究在2000年代初期遇冷。那个时候如果说自己是研究生物的、研究医药的，那么别人一听就会说哇，好专业，21世纪是生物的世纪。而如果说自己是研究联结主义的，那么别人就会觉得你是诈骗的，不学无术，出去找人资助你研究都找不到。而遇冷的原因有很多，一个比较大的原因就是因为2000年美国股市的互联网泡沫，大家都没钱了，都想着维持生计呢，就没人想着研究人工智能这种面向未来的东西。更重要的是，在2000年代初期，SVM这类人工智能的新方法火了，在一系列任务上超过了90年代联结主义方法的性能，因此，大部分研究者又开始去研究SVM了，而连接主义的研究就此遇冷。
再后来，就到了2012年，也就是这一篇文章发表的时候。这一篇文章一经发表，就吊打了以SVM为代表的其他人工智能的方法：在2012年的ImageNet Large-Sacle Vision Recognition Challenge这个世界顶尖的挑战赛上，连接主义的方法（其实就是这篇文章的方法）狂虐第二名，性能远超第二名，错误率只有第二名的一半多。这一下就引爆了学术圈，很多研究者又重新开始研究联结主义。
回到上面的问题，那就是为什么我们现在称联结主义为深度学习呢？其实是因为整个2000年代，连接主义基本都没大的发展，人们已经太久太久没有在联结主义上有大的突破。而在2009-2011年的时候，有一些坚持研究连接主义的文章开始用深度学习这个新的名词来称呼连接主义，而在2012年ImageNet Classification with Deep Convolutional Neural Networks这篇文章火了之后，新进入这一领域的研究员开始研究这个领域的时候，再看这个领域过去几年的文章的时候，看到称呼为深度学习，就也开始称呼深度学习，久而久之现在大家已经不说联结主义了，都是在说深度学习。但是我们知道，现在的深度学习就是当年的联结主义的一脉相传。
话说回来，如果把深度学习的历史分成两半，一半是传统的深度学习（即联结主义）和另一半是现代的深度学习。那么这篇文章：ImageNet Classification with Deep Convolutional Neural Networks，就是其中的分界线。这篇文章承载了过去的旧历史，开启了现代的新历史，这篇文章的学术影响深渊、意义非凡。
这篇文章具有非常重大的意义，吹响了人工智能新时代的号角，因此我也希望把他作为我的Paper阅读笔记的第一篇文章加以记录。
2. 总结
现在是2022年，而深度学习领域的发展是日新月异的，2019年的文章在今天看来其实就已经是老文章了。因此，我们在一两年前的文章的时候，一定要把自己放在当时的研究背景之下，这样才能够体会到整个领域的发展。因此，今天我们重读这篇具有划时代意义的文章，一定要考虑当时的时代背景，在当时的时代背景下去思考这篇文章的意义。这也就是为什么我要花大量的笔墨去介绍旧时代的深度学习。
