事实上,学界几乎没人预料到,今年的诺贝尔物理学奖会花落机器学习领域,颁给了两位人工智能(AI)先驱。此前,他俩几乎从未出现在该奖项的预测名单中,而欣顿更为人所知的身份是“人工智能之父”。
在冯建峰看来,出身学术世家的欣顿是那种典型的为了学问而做学问的人。也正是因此,他在神经网络研究的“寒冬”季节,一度在爱丁堡大学申请不到研究经费,但即便如此,他仍然没有放弃,而是“辗转”美国、加拿大继续他的研究方向。
正如今年的诺奖颁奖词所言,两位获奖者使用物理学工具开发了各种方法,而这些方法为当今强大的机器学习奠定了基础。其中,霍普菲尔德创造了一种关联记忆,它能够存储和重构图像以及其他模式类型。欣顿发明了一种能够自主发现数据中属性的方法,并执行任务,如识别图像中的特定元素。
现年91岁的霍普菲尔德曾在上世纪80年代首次提出了“霍普菲尔德网络”,这一单层、全反馈的网络结构模仿生物神经元连接,并引入了能量函数。当能量函数达最小值,整个系统达到稳定状态。在神经网络中,这个稳定状态正是对应于网络的记忆或存储的信息。这一模型被证明具有广泛的应用,涵盖机器学习、联想记忆、模式识别、优化计算等多个领域。
上海大学理学院教授许新建介绍,欣顿的工作大大推动了人工神经网络的发展,打破了机器学习的瓶颈。此外,包括量子人工智能领域,新型量子算法和量子计算机的设计,也都受益于他们的工作。
上海交通大学计算机科学与工程系教授严骏驰介绍,霍普菲尔德的工作不仅扩展了统计物理学的边界,还创建了一种新的思考大脑计算的语言,对神经网络的动力学有了更深入的理解。基于在这一领域的杰出贡献,霍普菲尔德曾获2022年玻尔兹曼奖。
另一位获奖者欣顿,则是机器学习领域的领军人物。欣顿利用统计物理学的工具,对霍普菲尔德网络进行随机扩展,开发出了“玻尔兹曼机”。他通过输入在运行时很可能出现的示例来训练玻尔兹曼机,用于分类图像等。不仅如此,欣顿还在此基础上继续拓展,启动了机器学习的爆炸性发展。他曾于2018年获得计算机领域的最高奖——图灵奖。
1986年,欣顿就和两位学生发表了一篇关于“反向传播算法”的论文,这一算法是训练神经网络的核心。但当时并未改变神经网络研究持续走低的趋势,直到2012年,欣顿和两位学生提出Alexnet模型,大幅提升了视觉识别的正确率后,引起了全球科学界震动,才开启了深度学习的热潮。
“难以想象欣顿当年会在神经网络这个‘不受学界待见’的研究方向持续耕耘,直到在深度学习领域实现了巨大的突破。”上海交通大学人工智能学院特聘研究员张娅告诉记者,包括欣顿的导师在内,当时不少人都认为欣顿不该在这个方向浪费时间,甚至还劝说他转换方向。但也正是他在这个冷门的领域耕耘,使得他获得了2018年的图灵奖和今年的诺贝尔物理学奖,并且为人工智能的发展带来了革命性的突破。
365sf70.com为表彰利用人工神经网络实现机器学习的奠基性发现和发明,今年的诺贝尔物理学奖授予美国物理学家约翰·霍普菲尔德(John J.Hopfield)和英裔加拿大计算机科学家杰弗里·欣顿(Geoffrey E.Hinton),他们将平分1100万瑞典克朗(约合745万元人民币)奖金。
“早在上世纪80年代,人工神经网络曾是热门研究方向,但由于当时计算机算力等问题,这个领域一度被认为难有突破,很快就不再为人们所关注。但是,这两位学者却能持续地在神经网络方向耕耘。神经网络深度学习可说在他们的研究基础上得到了爆发式发展。”复旦大学类脑科学与智能研究院院长冯建峰教授在上世纪80年代读博士期间的研究以及博士论文,就与霍普菲尔德网络相关,他与欣顿也有研究交集。
其实,人工神经网络并非最新研究方向,从上世纪60年代起,科学家们就开始研究,且研究过程几经起伏。不论是霍普菲尔德还是欣顿,他们的研究都经历了从热到冷再到热的过程。尤其是欣顿,更为业内人士熟知的是他30年坐“冷板凳”的故事。
“这无异于凸显了前沿学科的交叉与互通性。”严骏驰在接受记者采访时列举到,2020年的诺贝尔物理学奖颁给了数学家彭罗斯,2021年的诺贝尔物理学奖则颁给了研究复杂系统的气象学家真锅淑郎、克劳斯·哈塞尔曼。再看今年,霍普菲尔德和欣顿两人也同样是“跨界高人”。霍普菲尔德是一位横跨多个学科领域的物理学博士,在物理、化学和生物学的交叉处开发了神经网络。欣顿就读剑桥大学时,同时学习物理学和生理学,后来获得实验心理学学士学位,他通过物理、数学和计算机、神经心理学多领域的交叉,推动机器学习的发展。