Нейроморфные фотонные вычисления встречаются с аналоговой памятью: устранение узкого места преобразования данных Большинство аппаратных средств ИИ работает на электронных чипах, где вычисления выполняются путем перемещения электронов через транзисторы. Но существует растущая альтернатива: выполнение операций нейронной сети с использованием света. В фотонных процессорах матричные умножения выполняются путем кодирования данных в оптические сигналы и их прохождения через массивы настраиваемых микрокольцевых резонаторов, каждый из которых действует как синаптический вес. Физика света позволяет достичь массового параллелизма и ультранизкой задержки распространения, обещая скорости и энергетическую эффективность, которые электроника не может обеспечить. Тем не менее, существует удивительно обыденное узкое место: каждому синаптическому весу нужен специальный цифро-аналоговый преобразователь (DAC), чтобы постоянно управлять модулятором, который его кодирует. Для матрицы весов размером n×n это n² DAC, работающих без остановки — не для вычислений, а просто для удержания напряжений на месте. Энергетические затраты на перемещение данных между цифровой памятью и аналоговыми вычислениями рискуют свести на нет те преимущества, которые делают фотонику привлекательной. Шон Лам и его соавторы демонстрируют элегантное решение: разместить крошечный конденсатор прямо на каждом оптическом модуляторе. После зарядки он удерживает вес без необходимости в активном DAC. DAC затем делятся по колонкам и активируются только тогда, когда веса нужно обновить — масштабируясь как n вместо n². Концепция, называемая динамической электрооптической аналоговой памятью (DEOAM), изготовлена на монолитном кремниевом фотонном чипе в стандартном процессе 90 нм, достигая более чем 26-кратной экономии энергии по сравнению с традиционными конструкциями. Экспериментальные данные четко показывают компромиссы. Время записи составляет ~40–50 нс, время удержания ~0,83 мс, энергия на запись ~56 пДж, а точность бита около 5,6 бит. Удержание зависит от падающей оптической мощности — больше света означает больше утечек — создавая прямое напряжение между качеством сигнала и сроком службы памяти. Чтобы понять, что эти характеристики означают для реальных рабочих нагрузок, авторы эмулируют трехслойную нейронную сеть на MNIST. Соотношение удержания к задержке сети всего 100 достаточно, чтобы поддерживать точность вывода выше 90%. Сети, обученные с учетом утечек, становятся значительно более устойчивыми — яркий пример того, как обучение с учетом аппаратного обеспечения приносит плоды. Тот же принцип, который управляет электронными вычислениями в памяти — что перемещение данных стоит больше энергии, чем вычисление с ними — применим и здесь в гибридной электрооптической области. Большинство фотонных процессоров сегодня могут выполнять только вывод с весами, обученными оффлайн на GPU. DEOAM открывает путь к обучению на чипе, онлайн, где сеть постоянно адаптируется к новым данным и дрейфу оборудования. Статья: