神经形态光子计算与模拟内存相结合:消除数据转换瓶颈 大多数人工智能硬件运行在电子芯片上,计算通过在晶体管中移动电子来进行。但有一种日益增长的替代方案:使用光进行神经网络操作。在光子处理器中,矩阵乘法通过将数据编码为光信号并通过可调微环谐振器阵列传递来执行,每个谐振器充当突触权重。光的物理特性使得大规模并行处理和超低延迟传播成为可能,承诺提供电子设备无法匹敌的速度和能效。 然而,令人惊讶的是,存在一个相对平常的瓶颈:每个突触权重都需要一个专用的数模转换器(DAC)来持续驱动编码它的调制器。对于大小为 n×n 的权重矩阵,这意味着需要 n² 个 DAC 不间断运行——不是为了计算,而只是为了保持电压不变。在数字内存和模拟计算之间传输数据的能量成本可能会抵消光子技术本身的优势。 肖恩·拉姆及其合著者展示了一个优雅的解决方案:在每个光调制器上直接放置一个微小的电容器。一旦充电,它就能保持权重,而无需 DAC 维持活跃状态。DAC 然后在列之间共享,仅在需要更新权重时激活——规模为 n 而不是 n²。这个概念称为动态电光模拟内存(DEOAM),在标准的 90 纳米铸造工艺中制造在单片硅光子芯片上,与传统设计相比,实现了超过 26 倍的功耗节省。 实验数据清晰地框定了权衡。写入时间约为 40–50 纳秒,保持时间约为 0.83 毫秒,每次写入能量约为 56 皮焦耳,位精度约为 5.6 位。保持时间取决于入射光功率——更多的光意味着更多的泄漏——在信号质量和内存寿命之间造成直接的张力。 为了理解这些规格对实际工作负载的意义,作者在 MNIST 上模拟了一个三层神经网络。保持时间与网络延迟的比率仅为 100,就足以使推理准确率保持在 90% 以上。包含泄漏的网络训练变得更加稳健——这是硬件感知训练获得回报的生动例子。 驱动电子内存计算的相同原理——移动数据的能量成本高于用其计算——在混合电光领域同样适用。如今大多数光子处理器只能在 GPU 上离线训练的权重上进行推理。DEOAM 为芯片内在线训练开辟了一条道路,使网络能够持续适应新数据和硬件漂移。 论文: