热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
噪声如何创造秩序:连接物理学和机器学习的普遍原则
噪声通常是结构的敌人。然而在某些系统中——从剪切胶体悬浮液到随机优化算法——嘈杂的局部交互悖论地产生了长程空间秩序。这种现象被称为超均匀性,它在大尺度上抑制了密度波动,但它如何从纯粹的局部噪声动态中产生,仍然是一个开放的问题,已经持续了二十年。
Satyam Anand、Guanming Zhang 和 Stefano Martiniani 研究了三种典型系统:软物质物理中的随机组织(RO)和偏置随机组织(BRO),以及机器学习中的随机梯度下降(SGD)。每个系统都有根本不同的微观噪声源——RO 中的随机踢击方向、BRO 中的随机踢击幅度,以及 SGD 中的随机粒子选择——但所有系统在粒子密度增加时都经历相同的从吸收到活跃的相变。
关键发现:尽管这些微观差异,所有三个系统都显示出相同的普遍长程行为,由一个单一参数——粒子对之间的噪声相关系数 c 控制。当成对噪声不相关时(c = 0),系统保持无序。随着 c 接近 -1(反相关、动量守恒的踢击),密度抑制的交叉长度尺度发散,系统变得强烈超均匀。
作者们发展了一种波动水动力学理论,定量预测所有系统的结构因子,而无需自由参数。
也许最引人注目的是与机器学习的联系:产生超均匀性的相同反相关噪声也使 SGD 偏向能量景观的平坦区域——这一特征与神经网络中的强健泛化相关。已知经验上改善泛化的较低批量分数和较高学习率,产生了更强的长程结构和粒子系统中的平坦极小值。
这一含义是强大的:SGD 寻找平坦极小值的倾向并不是神经网络损失景观的一个特例,而是高维空间中随机优化的普遍特征——为设计超均匀材料和理解深度学习的泛化打开了新的途径。
论文:

热门
排行
收藏
