Як шум створює порядок: універсальний принцип, що поєднує фізику та машинне навчання Шум зазвичай є ворогом структури. Проте в певних системах — від зсувних колоїдних суспензій до алгоритмів стохастичної оптимізації — шумні локальні взаємодії парадоксально породжують довготривалий просторовий порядок. Це явище, яке називається гіпероднорідністю, пригнічує флуктуації густини на великих масштабах, але як воно виникає з виключно локальної, шумної динаміки, залишається відкритим протягом двох десятиліть. Сатьям Ананд, Гуанмін Чжан і Стефано Мартіані вивчають три парадигматичні системи: випадкову організацію (RO) і упереджену випадкову організацію (BRO) з фізики м'якої матерії, а також стохастичний градієнтний спуск (SGD) з машинного навчання. Кожна система має принципово різні мікроскопічні джерела шуму — випадкові напрямки кику в RO, випадкові величини киків у BRO та випадковий вибір частинок у SGD — але всі вони проходять однаковий фазовий перехід від поглинання до активного при збільшенні густини частинок. Ключовий висновок: незважаючи на ці мікроскопічні відмінності, усі три системи демонструють однакову універсальну поведінку на великій відстані, що керується одним параметром — коефіцієнтом кореляції шуму c між парами частинок. Коли парний шум не корелює (c = 0), системи залишаються неупорядкованими. Коли c наближається до −1 (антикорельовані, зберігаючі імпульс удари), шкала довжини перетину для пригнічення густини розходиться, і системи стають сильно гіпероднорідними. Автори розробляють флуктуаційну гідродинамічну теорію, яка кількісно прогнозує структурний фактор у всіх системах без вільних параметрів. Можливо, найяскравішим є зв'язок із машинним навчанням: той самий антикорельований шум, що створює гіперуніфікацію, також схиляє SGD у бік більш плоских областей енергетичного ландшафту — саме цієї особливості, пов'язаної з надійною узагальненістю в нейронних мережах. Нижчі частки партій і вищі темпи навчання, які емпірично відомі як покращення узагальнення, забезпечують як міцнішу довгострокову структуру, так і більш плоскі мінімуми в системах частинок. Висновок потужний: тенденція SGD знаходити плоскі мінімуми — це не особливість ландшафтів втрат нейронних мереж, а універсальна ознака стохастичної оптимізації у високовимірних просторах — відкриваючи нові шляхи від проєктування гіперуніфікованих матеріалів до розуміння того, чому глибоке навчання узагальнює. Стаття: