人工智能简史-总结

寒假期间读完尼克先生的《人工智能简史》，在此对人工智能的发展历史做一个简要的梳理，当然其中可能有不少的缺漏，希望之后能够不断增添纠正。

注意：本次仅对部分内容梳理，其它部分暂时未涉及到。起源、神经网络简史、自然语言处理、遗传算法到强化学习、哲学家和人工智能、计算理论基础以及图灵与冯诺依曼的简介。

起始-达特茅斯会议

人工智能的起源公认为1956年的达特茅斯会议，下面将从会议起源、参会人员、会议内容、会议成果等方面介绍。

会议起源

1955年麦卡锡去IBM工作，与罗切斯特决定在1956年夏天开展一次名为“人工智能夏季研讨会”的活动，于是说服香农与明斯基给洛克菲勒基金会写了项目建议书，这也是达特茅斯会议的来源。

参会人员

参会的主要人员共10人，包括麦卡锡、明斯基、塞弗里奇、纽厄尔、司马贺、香农、塞缪尔、伯恩斯坦、摩尔、所罗门诺夫。

约翰麦卡锡是Lisp语言的发明者，1962年建立了斯坦福人工智能实验室，1971年获得图灵奖。

马文明斯基是人工智能框架理论的创立者，创立了世界上第一个人工智能实验室：麻省理工人工智能实验室，1969年获图灵奖。

塞弗里奇是模式识别的奠基人，完成了第一个可工作的AI程序，是维纳的学生，但是没有读完博士。

纽厄尔是信息处理语言发明者之一，与司马贺共同开发了逻辑理论家，1975年获得图灵奖。

司马贺是纽厄尔的老师，1975年与纽厄尔共享了图灵奖，三年后又获得了诺贝尔经济学奖，他们和阿兰珀里思一起创建了卡内基梅隆的计算机系。

香农自然不必多说了，作为信息论的创始人早已是人尽皆知。而其余四人中，塞缪尔主要研究跳棋，伯恩斯坦主要研究象棋，摩尔主要混迹于工业界，而所罗门诺夫主要研究归纳推理。

会议内容

在项目建议书中，罗列了7个研究领域：

1. 可编程计算机
2. 编程语言
3. 神经网络
4. 计算规模的理论
5. 自我改进
6. 抽象
7. 随机性和创见性

会议成果

纽厄尔和司马贺在会议上公布了“逻辑理论家”的程序，可证明《数学原理》中命题逻辑部分的一个很大子集。

但1958年的王浩在一台IBM-704机上，仅用9分钟就证明了《数学原理》中一阶逻辑的一个子集。

会议意义

实质上该会议上并没有发生划时代意义的事件，其后不久的麻省理工学院信息论年会反而显得更重要。在该次会议上心理学家米勒发表了“人类记忆和对信息的储存”，乔姆斯基发表了”语言描述的三种模型“。

人工智能的批判

1965年，德雷弗斯发表了“炼金术与人工智能”一文，其后又演变成了《计算机不能干什么》一书，目前该书已经有第三版《计算机仍然不能干什么》。

神经网络简史

初创

神经网络方面的第一篇文章发表于1943年，其作者为麦卡洛克和皮茨。其后二人去麻省理工学院与维纳合作，但是因种种原因，合作最终没能持续下去。而维纳的学生阿比卜倒是和麦卡洛克等人玩的挺好，其本科毕业论文便是和神经网络相关。

1949年，神经心理学家赫布提出了“Hebb”规则。该规则认为，如果两个细胞总是同时激活的话，它们之间就有某种关联，同时激活的概率越高，关联度也越高。

罗森布拉特与感知机

1957年，实验心理学家罗森布拉特在IBM-704计算机上模拟实现了名为“感知机”的神经网络模型，在理论上证明了单层神经网络在处理线性可分的模式识别问题时，可以收敛。

但是人工智能先驱明斯基却认为神经网络不能解决人工智能的问题，并和佩珀特一起证明单层神经网络不能解决XOR问题，这对罗森布拉特来说是个致命打击，也让神经网络的研究陷入了低谷。

神经网络的复兴

1974年，沃波斯在自己的博士论文中证明了两层神经网络利用后向传播方法，可以解决XOR问题，但是并未得到重视。

20实际80年代，霍普菲尔德提出了Hopfield网络，可以解决一大类模式识别问题，还可以给出一类组合优化问题的近似解，促成了神经网络的复兴。

随后在加州大学圣地亚哥分校开展了轰轰烈烈的连接主义运动，其领导者有鲁梅尔哈特、麦克利兰德与辛顿。鲁梅尔哈特是心理学家，乔丹是他的学生，而吴恩达则是乔丹的学生。麦克利兰德之后在斯坦福大学建立了“心、脑、计算研究中心”。辛顿最后到了加拿大多伦多大学计算机系，成为了如今深度学习的领军人物。

深度学习

辛顿在2006年发表的两篇文章开辟了这个领域，而在2012年举办的图像识别大赛上则是让深度学习大放异彩，成为了各个领域的关注焦点。

参考读物

离散型Hopfield网络：Neural Networks and Physical Systems with Emergent Collective Computational Abilities

连续型Hopfield网络：Neural computation of decisions in optimization problems

Hinton发表的两篇文章：

Reducing the Dimensionality of Data with Neural Networks

A Fast Learning Algorithm for Deep Belief Nets

自然语言处理

乔姆斯基-句法分析

乔姆斯基是结构主义语言学开山哈里斯的学生，在宾夕法尼亚大学获得了本科和硕士学位，之后去了哈佛投奔蒯因。在哈佛期间，发表了自己的第一篇学术论文“句法分析系统”。值得一提的是，乔姆斯基为了免服兵役，回到宾大花费6个星期便拿到了博士学位。

乔姆斯基认为，所有的语言都有类似的句法结构，并进一步指出语言的结构是内在的，而不是通过经验习得的。乔姆斯基对于语言学科的意义是重大的，《句法结构》是其代表著作。

机器翻译

第一次尝试-乔治敦实验

1953年至1954年，IBM资助美国乔治敦大学进行了第一次机器翻译。该次实验的目标为：将俄文句子翻译成英文，总共定义了6条语法规则，250个单词，主要领域为有机化学。但是之后的机器翻译进展缓慢，1964年成立自动语言处理顾问委员会(ALPAC)，经过两年调研后，ALPAC发布《语言与机器》报告，称机器翻译比人翻译更慢，更不准确，而且成本更高。

统计学习

在1988年的计算语言学会议上，IBM TJ Watson研究中心机器翻译小组发表了统计机器翻译的论文，并推出法语/英语的翻译系统CANDIDE。两年后该小组在《计算语言学》杂志上发表论文对他们的工作做了更加理论性的概括。贾里尼克与柯克是该小组的重要成员。

神经网络

2016年，谷歌使用了循环神经网络RNN完成了序列到序列的学习，并发布了神经机器翻译(GNMT)系统。

2017年，Facebook使用了卷积神经网络CNN进行序列到序列的学习，相比于谷歌的RNN，在计算速度上有所提升。

聊天机器人

ELIZA是世界上第一个真正意义上的聊天机器人，魏森鲍姆是其作者之一，之后科尔比又开发出了PARRY。

积木世界

SHRDLU 系统是维诺格拉德于1972年在美国麻省理工学院建立的一个用自然语言指挥机器人动作的系统。该系统对话的对象是一个具有简单的“手”和“眼”的玩具机器人，它可以操作放在桌子上的具有不同颜色、尺寸和形状的玩具积木，如立方体、棱锥体、盒子等，机器人能够根据操作人员的命令把这些积木捡起来，移动它们去搭成新的积木结构，在人机对话过程中，操作人员能获得他发给机器人的各种视觉反馈，实时地观察机器人理解语言、执行命令的情况。

该系统将多种AI技术整合到了一起，除了自然语言理解外，还有规划以及知识表示，具有深刻的学术意义。但是后来维诺格拉德的兴趣逐步转向了人机交互。

问答系统

大体上说，问答系统有三个必备的组成部分，第一部分是问题理解，第二部分是知识查询，第三部分是答案生成。第一部分和第三部分是自然语言处理的工作，通过知识图谱被有机地整合到了一起。

2011年，IBM的沃森在美国电视智力竞赛节目中击败人类选手，获得了百万美元大奖，其背后的知识图谱包括WordNet、Dbpedia、Yago。

参考读物

统计学习下的机器翻译：A statistical approach to language translation

图灵

发表文章

1936年《可计算的数》，奠定了计算机科学的理论基础。

1948年《智能机器》，此篇文章是英国国家物理实验室（NPL）的内部报告，其中提到了“肉体智能”与“无肉体智能”。

1950年《计算机与智能》。