Как шум создает порядок: универсальный принцип, связывающий физику и машинное обучение Шум обычно является врагом структуры. Тем не менее, в определенных системах — от сдвинутых коллоидных суспензий до стохастических алгоритмов оптимизации — шумные локальные взаимодействия парадоксальным образом создают дальнодействующий пространственный порядок. Это явление, называемое гипероднородностью, подавляет колебания плотности на больших масштабах, но как оно возникает из чисто локальной, шумной динамики, остается открытым вопросом на протяжении двух десятилетий. Сатьяма Ананд, Гуанмин Чжан и Стефано Мартиньяни изучают три парадигматические системы: случайную организацию (RO) и смещенную случайную организацию (BRO) из физики мягких тел, а также стохастический градиентный спуск (SGD) из машинного обучения. Каждая система имеет принципиально разные источники микроскопического шума — случайные направления толчков в RO, случайные величины толчков в BRO и случайный выбор частиц в SGD — тем не менее, все они проходят одну и ту же фазовую трансформацию от поглощения к активности по мере увеличения плотности частиц. Ключевое открытие: несмотря на эти микроскопические различия, все три системы демонстрируют идентичное универсальное дальнодействующее поведение, управляемое единственным параметром — коэффициентом корреляции шума c между парами частиц. Когда парный шум некоррелирован (c = 0), системы остаются неупорядоченными. Когда c приближается к −1 (антикоррелированные, сохраняющие импульс толчки), длина перехода для подавления плотности расходится, и системы становятся сильно гипероднородными. Авторы разрабатывают колебательную гидродинамическую теорию, которая количественно предсказывает фактор структуры для всех систем без свободных параметров. Возможно, наиболее поразительным является связь с машинным обучением: тот же антикоррелированный шум, который производит гипероднородность, также смещает SGD в сторону более плоских областей энергетического ландшафта — именно той особенности, которая связана с надежной обобщаемостью в нейронных сетях. Более низкие доли партий и более высокие скорости обучения, как известно, улучшают обобщаемость, создают как более сильную дальнодействующую структуру, так и более плоские минимумы в системах частиц. Импликация мощная: тенденция SGD находить плоские минимумы не является причудой ландшафтов потерь нейронных сетей, а универсальной чертой стохастической оптимизации в высокоразмерных пространствах — открывая новые пути от проектирования гипероднородных материалов до понимания, почему глубокое обучение обобщается.