推动人工神经网络实现机器学习

推动人工神经网络实现机器学习

  10月8日,在瑞典斯德哥尔摩举行的2024年诺贝尔物理学奖公布现场,屏幕显示奖项得主美国科学家约翰·霍普菲尔德和加拿大科学家杰弗里·欣顿。

  瑞典皇家科学院8日宣布,将2024年诺贝尔物理学奖授予美国科学家约翰·霍普菲尔德和英国裔加拿大科学家杰弗里·欣顿,以表彰他们在使用人工神经网络的机器学习方面的基础性发现和发明。

  相关技术已被用于粒子物理、材料科学等  

  瑞典皇家科学院当天发表公报说,今年的两位诺贝尔物理学奖得主使用物理学工具,为当今强大的机器学习技术奠定了基础。约翰·霍普菲尔德创建了一种联想记忆方法,可以存储和重构图像或其他类型的数据模式。杰弗里·欣顿发明了一种可以自动发现数据中属性的方法,可用于识别图片中的特定元素等任务。

  诺贝尔物理学委员会主席埃伦·穆恩斯在当天的新闻发布会上表示,两名获奖者利用统计物理的基本概念设计了人工神经网络,构建了机器学习的基础。相关技术已被用于推动多个领域的研究,包括粒子物理、材料科学和天体物理等,也已用于日常生活中的人脸识别和语言翻译等。她同时警告说,机器学习的快速发展也引发了人们对未来的担忧,人类有责任以安全且道德的方式使用这项新技术。  

  今年获奖成果某种意义上讲也是一种发明  

  约翰·霍普菲尔德1933年出生于美国芝加哥,1958年获得美国康奈尔大学博士学位,现任美国普林斯顿大学教授。

  杰弗里·欣顿1947年出生于英国伦敦,1978年获得英国爱丁堡大学博士学位,现任加拿大多伦多大学教授。

  对于今年的诺贝尔物理学奖结果,不少人认为有些出乎意料。诺贝尔物理学委员会秘书乌尔夫·丹尼尔松当天在接受新华社记者采访时表示,物理学奖可以授予理论上、实验上或者观测上的发现,也可以授予发明,今年的获奖成果从某种意义上讲也是一种发明,一种可以多种方式应用的发明。

  聚焦

  融合物理学工具 他们为机器学习革命奠定基础

  霍普菲尔德和欣顿融合物理学工具从1980年代开始的工作,为2010年左右开始的机器学习革命奠定了基础。霍普菲尔德和欣顿推动的开创性方法和概念有助于塑造人工神经网络领域。  

  发明联想记忆

  构建“霍普菲尔德网络”  

  1982年,霍普菲尔德发明了联想记忆,这类似于人们在相似单词中搜索不常使用单词的过程。他构建的网络可以基于存储信息重新创建模式,当为网络提供的是不完整或略微扭曲的模式时,这一网络可以找到最相似的存储模式。

  当时,霍普菲尔德利用了他的物理学背景来探索分子生物学的理论问题,在南加州帕萨迪纳加州理工学院,他找到了构建具有许多小组件协同工作系统的灵感。受益于了解磁性材料的物理学原理,他能够使用描述自旋相互影响时材料的物理学特性,来构建具有节点和连接的示例网络。

  霍普菲尔德构建的网络具有以不同强度连接在一起的节点,每个节点都可以存储一个单独的值,在第一项工作中该值可以是0或1,就像黑白图片中的像素一样。这一方法很特殊,其网络可以同时保存多张图片并且进行区分。

  同时,“霍普菲尔德网络”可用于重新创建包含噪声或已部分擦除的数据。在这之后,霍普菲尔德和其他人继续开发这一网络如何运作的相关细节,包括可以存储任何值的节点不仅仅是0或1。  

  扩展“霍普菲尔德网络”

  开发玻尔兹曼机  

  但存储图像是一回事,想要解释它所描绘的内容是另一回事。

  欣顿在美国匹兹堡卡内基梅隆大学工作时,就和同事一起利用统计物理学的思想对“霍普菲尔德网络”进行扩展,并构建新的东西。

  20世纪90年代,许多研究人员对人工神经网络失去了兴趣,但欣顿仍没有放弃,并开启了这一研究领域的新一轮爆发式增长。2006年,他和同事开发了一种预训练网络的方法,该方法将一系列玻尔兹曼机分层,一个在另一个上面。玻尔兹曼机可用于对图像进行分类或创建训练模式类型的新示例。辛顿在此基础上继续发展,帮助开启了机器学习的爆炸式发展。  

  机器学习长期被用于诺贝尔物理学奖熟悉领域  

  当下机器学习的发展是基于大量数据以及计算能力的巨大提高而实现的。1982年,霍普菲尔德发布关于联想记忆的文章,就为这一发展提供了支持。他使用了具有30个节点的网络,如果所有节点都相互连接,就有435个连接。与今天的大型语言模型进行比较,这些模型被构建为可以包含超过1万亿个参数的网络。

  许多研究人员现在正在研发机器学习的相关应用,但哪一个方法更可行还有待观察,同时围绕这项技术的开发和使用的道德问题也存在广泛的讨论。

  同时,机器学习长期以来一直被用于诺贝尔物理学奖中熟悉的领域,包括使用机器学习来筛选和处理发现希格斯粒子所需的大量数据、减少测量碰撞黑洞引力波的噪声、寻找系外行星等。

  回顾

  过去五年获奖名单

  2023年,诺贝尔物理学奖被授予皮埃尔·阿戈斯蒂尼、费伦茨·克劳斯和安妮·吕利耶,以表彰他们在阿秒光脉冲方面的贡献。

  2022年,诺贝尔物理学奖被授予法国科学家阿兰·阿斯佩、美国科学家约翰·克劳泽和奥地利科学家安东·蔡林格,以表彰他们在“纠缠光子实验、验证违反贝尔不等式和开创量子信息科学”方面所作出的贡献。

  2021年,诺贝尔物理学奖被授予三名科学家。日裔美籍科学家真锅淑郎和德国科学家克劳斯·哈塞尔曼因“建立地球气候的物理模型、量化其可变性并可靠地预测全球变暖”的相关研究获奖,意大利科学家乔治·帕里西因“发现了从原子到行星尺度的物理系统中无序和波动的相互作用”获奖。

  2020年,诺贝尔物理学奖颁发给三位获奖者,因为“他们发现了宇宙中最奇异的现象之一——黑洞”。英国科学家罗杰·彭罗斯因证明黑洞是爱因斯坦广义相对论的直接结果而获奖;德国科学家赖因哈德·根策尔和美国科学家安德烈娅·盖兹因在银河系中央发现超大质量天体而获奖。

  2019年,诺贝尔物理学奖被授予三位科学家。加拿大裔美国科学家皮布尔斯的获奖理由是他在物理宇宙学领域的理论性发现;瑞士科学家马约尔与瑞士科学家奎洛兹则因“发现了围绕其他类太阳恒星运行的系外行星”获奖。

  整合:史明磊 来源:新华社、中新网、诺贝尔官网  图片:新华社