硬核推荐（能量函数）“以水救水“

图 | 本文作者：清华大学智能产业研究院助理教授赵昊（来源：赵昊）

在 10 月 8 日揭晓的 2024 年诺贝尔物理学奖中，大家震惊地得知神经网络先驱约翰·J·霍普菲尔德（John J. Hopfield）教授和杰弗里·辛顿（Geoffrey Hinton）教授是今年的得主。

（来源：资料图）

这并非诺贝尔奖评委会第一次跨界，2016 年的诺贝尔文学奖就颁给了民谣音乐人鲍勃迪伦。虽然把文学奖颁给歌词创作者也合情合理，把物理学奖颁给两位计算机科学家着实让人意外。

那么，为什么他们两人的科学贡献足以评上诺贝尔物理学奖呢？

本篇解读由我为大家带来，我和我的实验室成员们刚刚从意大利米兰参加完两年一度的欧洲计算机视觉大会（ECCV 2024，European Conference on Computer Vision），所以这是一篇在登上回国航班之前完成的解读文章。

图 | 图为赵昊实验室参加 ECCV 的照片（来源：赵昊）

当我们谈论诺贝尔物理学奖时，许多人首先想到的是粒子物理、宇宙学或凝聚态物理等传统领域。然而，物理学的疆域远不止于此。

随着科学的不断发展，物理学正日益与其他学科交叉融合，孕育出许多新兴领域。其中，约翰·J·霍普菲尔德（John J. Hopfield）和杰弗里·辛顿（Geoffrey Hinton）的工作，正是物理学与神经科学、人工智能深度交汇的典范。

约翰·J·霍普菲尔德：从物理学视角建模大脑

其实，约翰·J·霍普菲尔德最初是一位凝聚态物理学家，他在固体物理和半导体领域取得了重要成果。

然而，到了 20 世纪 70 年代末，他的研究兴趣开始转向生物物理学，试图从物理学的角度理解生物系统的复杂性。

1982 年，霍普菲尔德发表了一篇具有里程碑意义的论文，提出了霍普菲尔德网络。这是一个由大量简单神经元组成的递归神经网络，其主要目的是用于模拟人脑的记忆和联想过程。

他的核心创新在于：

能量函数的引入：霍普菲尔德将网络的状态映射为一个能量函数，网络的动态演化过程对应于能量的逐步降低。

稳定态与记忆存储：网络的稳定态（即能量最低的状态）对应于存储的记忆模式。当输入一个不完整或有噪声的模式（或者说信号）时，网络可以通过能量最小化过程自动完成或纠正，恢复出原始的记忆。这种方法巧妙地利用了物理学中的自旋玻璃模型，将神经网络的分析与统计力学紧密结合。

图 | 自旋玻璃系统示意（来源：资料图）

在物理学中，自旋玻璃是一种具有随机相互作用的磁性系统，其能量地形复杂多样，存在多个局部极小值。

在现代深度学习中，大量的局部极小值依旧是广受关注的科学问题。霍普菲尔德认识到，这种复杂性与神经网络的状态空间非常相似。

通过引入能量函数，网络的状态演化可以视为系统在能量地形中寻找最低点的过程。这与物理系统在低温下趋于热力学平衡的过程类似。

杰弗里·辛顿：统计力学与深度学习的十字路口

杰弗里·辛顿最初的学术背景是实验心理学，但他对大脑如何处理信息、如何学习和记忆有着浓厚的兴趣。这促使他转向计算机科学和人工智能领域，探索人类智能的计算模型。

1985 年，辛顿提出了玻尔兹曼机，这个方法受到霍普菲尔德网络的启发，但是又有着三个特点：

随机神经网络：玻尔兹曼机是一种具有随机性的递归神经网络，神经元的激活状态以概率方式确定。

统计力学的应用：该模型直接借鉴了统计力学中的玻尔兹曼分布，网络的能量函数和状态概率遵循物理系统的热力学规律。

学习规则：通过模拟退火等技术，网络可以学习输入数据的统计特性，找到最优的权重配置。

图 | 辛顿和他的两个学生开启了深度学习革命（来源：资料图）

随后，如众所周知的故事中描述的那样，辛顿的理论受到了多年的冷遇，在 2006 年，辛顿提出了深度信念网络（DBN，Deep Belief Network），这是深度学习的关键突破。

具体而言，这个新的设计有以下关键要素：

受限玻尔兹曼机（RBM，restricted Boltzmann machine）：辛顿对玻尔兹曼机进行了简化，提出了更易于训练的受限玻尔兹曼机。

逐层贪婪训练：他提出了逐层预训练的方法，先训练每一层的 RBM，然后堆叠起来形成深度网络。

对比散度算法：为了解决训练效率问题，在 RBM 的训练过程中，发明了对比散度（Contrastive Divergence）算法，大大加速了模型的训练过程。这些突破使得训练深度神经网络成为可能，引发了人工智能领域的深度学习革命。

物理学与人工智能的共同核心

首先，无论是霍普菲尔德网络还是玻尔兹曼机，都以能量函数为核心，将系统的状态和动态行为进行统一描述。

这种方法：

一方面连接了物理系统和信息处理系统：能量最小化过程对应于信息处理中的优化和决策；

另一方面提供了分析复杂系统的新方法：通过能量地形，可以直观地理解系统的多稳定态、相变等现象。

其次，两位科学家都利用了统计力学中的概念和方法：

概率分布和随机过程：在神经网络中，引入随机性和概率描述，使得模型更具鲁棒性和泛化能力。

热力学平衡和退火过程：模拟物理系统的退火过程，帮助网络跳出局部最优，找到全局最优解。这种方法论的应用，深化了对复杂系统的统计性质的理解。

再次，神经网络的动态行为涉及非线性方程，可能存在多个稳定态和相变现象：

相变分析：通过研究参数的变化，观察系统从一种行为模式转变为另一种，这与物理学中的相变理论相似。

临界现象：在特定条件下，系统可能表现出临界行为，具有高度的敏感性和复杂性。

这些现象的研究，有助于理解物理系统中的类似问题。

对物理学的深远影响

相信读者读完前三个部分，已经基本理解了物理学是如何影响两位科学家的工作的。其实，他们的工作也对物理学产生了影响。

首先，霍普菲尔德和辛顿的工作，将物理学的概念应用于非传统领域，拓展了物理学的研究范围：一个是生物物理学，即从物理学角度研究生物系统的功能和机制；另一个是信息物理学，即探讨信息处理过程中的物理原理和限制。

其次，他们的发展为物理学研究提供了新的工具，包括提供了计算模型工具：基于神经网络的计算模型，可用于模拟和分析复杂物理系统；

以及提供了算法和数值方法的工具：如对比散度算法、模拟退火等，在物理学计算中具有广泛应用。

最后，他们的工作促进了物理学与其他学科的交叉融合，推动了神经科学的发展，为理解大脑的工作机制提供了新的理论框架。

并且影响了计算机科学和人工智能，引发了深度学习革命，改变了人工智能的发展方向。这种跨学科的合作，丰富了科学研究的视野，推动了整体科学的进步。

物理学和计算机视觉的交融正发生

我在刚刚结束的欧洲计算机视觉大会上发表的两篇论文也是物理学和计算机视觉交融的产物。

我和团队本次发表的第一篇论文“Training-Free Model Merging for Multi-target Domain Adaptation”，研究的是如何讲多个神经网络的参数直接取平均，从而得到一个更加强大的神经网络。

这件事情并不容易正如前文所述，神经网络的能量地形跟自旋玻璃模型一样复杂多样，如果多个神经网络不在同一个局部极小点内的话，对它们取平均将会导致灾难性的结果。

在这篇论文中，我们发现，如果使用正确的初始化策略以及对神经网络的归一化层也做好统计融合，就能有效达到模型融合的目的。本项技术可以用于将在不同城市训练的自动驾驶感知模型进行融合，得到一个泛用的基础模型。

图 | 此方法可以将不同自动驾驶感知模型有效融合（来源：赵昊）

我们本次发表的第二篇论文“SCP-Diff: Spatial-Categorical Joint Prior for Diffusion Based Semantic Image Synthesis”，研究的是如何从自动驾驶语义图中生成具有欺骗人眼真实感的自然图像。

这篇论文利用的是一种叫做扩散模型（Diffusion Model）的技术，在训练过程中本技术首先对自然图像信号注入噪音，通过这个类似布朗运动的过程，自然信号被转化为随机信号。

有意思的是，我们可以利用神经网络取预测噪音，从而从随机信号中恢复自然图像。

这篇论文通过统计空间和类别噪音先验，让生成的图像质量比此前最好的基准提高了 80%，您能在下图中分辨出真实图像和生成图像么？

图 | 您能猜出来右边两张图片哪张是自然图片，哪张是生成的图片么？（来源：赵昊）

总的来说，物理学的思想已经影响到了当代计算机科学的方方面面，包括计算机视觉。同时，本次物理诺奖得主的贡献不仅推动了人工智能的革命性进步，也为物理学应用拓展了新的维度。

运营/排版：何晨龙