ノイズが秩序を生み出す方法:物理学と機械学習を結びつける普遍的な原理 ノイズは通常、構造の敵です。しかし、せん断コロイド懸浮液から確率最適化アルゴリズムに至る特定のシステムでは、ノイズの多い局所的相互作用が逆説的に長距離空間秩序を生み出します。この現象は「ハイパーユニーティ」と呼ばれ、大規模な密度変動を抑制しますが、それが純粋に局所的でノイズの多いダイナミクスからどのように現れるのかは、20年以上にわたり未解決のままです。 サティヤム・アナンド、グアンミン・チャン、ステファノ・マルティニアニは、ソフトマター物理学のランダム組織化(RO)とバイアスランダム組織化(BRO)、機械学習からの確率的勾配降下(SGD)という3つのパラダイム系を研究しています。各系は根本的に異なる微視的ノイズ源を持ちます。ROではランダムなキック方向、BROではランダムなキックの大きさ、SGDではランダムな粒子選択ですが、粒子密度が増加するにつれてすべて同じ吸収相転移を能動相転移として経験します。 重要な発見は、これらの微小な違いにもかかわらず、3つのシステムすべてが単一のパラメータ、すなわち粒子ペア間のノイズ相関係数cによって支配される、同じ普遍的な長距離挙動を示すことです。ペアワイズノイズが相関しない場合(c = 0)、系は無秩序のままです。cが−1に近づくと(反相関的、運動量保存のキック)、密度抑制のクロスオーバー長スケールが分岐し、系は強く超一様になります。 著者らは、自由パラメータなしですべての系で構造因子を定量的に予測する変動流体力学理論を開発しました。 おそらく最も注目すべきは機械学習との関連です。超均一性を生み出す同じ反相関ノイズは、SGDをエネルギーの風景のより平坦な領域に偏らせており、これはニューラルネットワークにおける堅牢な一般化に結びつく特徴です。経験的に一般化を改善することが知られている低いバッチ分数と高い学習率は、粒子系においてより強固な長距離構造と平坦な最小値の両方をもたらします。 この示唆は強力です。SGDがフラットな最小値を見つける傾向は、ニューラルネットワークの損失風景の特異性ではなく、高次元空間における確率最適化の普遍的な特徴であり、超均一材料の設計から深層学習がなぜ一般化するのかの理解に至るまでの新たな道を開くということです。 論文: