人工智能视觉系统在自动驾驶、具身智能等领域中发挥着至关重要的作用。在传统视觉芯片架构中，由于传感、计算和存储单元的分离导致大量数据的转换和传输，带来了延时和能耗问题。受生物视觉系统启发的感内计算（in-sensor computing）架构应运而生，因其能在传感端进行原位信息处理，实现感存算一体化，减少数据冗余传输，降低系统延时与能耗，展现出巨大潜力。然而，视觉感内计算研究尚处于起步阶段，在硬件层面，当前研究大多聚焦于单个光电感存算一体化器件，缺少将大规模阵列与硅CMOS电路有效集成的方案；在算法架构层面，当前演示的感内计算功能较为单一，难以支撑复杂视觉信息处理任务。
针对上述挑战，清华大学集成电路学院团队研制了具有多模态的感存算一体化光电忆阻器阵列，搭建了单片集成的感内计算原型系统，用于处理多阶视觉任务。该系统片上集成了1kb（1024个）1T-1OEM光电忆阻器阵列与硅CMOS外围电路（图1），基于TiOx/ZnO的新型光电忆阻器具有多种工作模式，包括电学忆阻器（EM）、动态光电忆阻器（D-OEM）和非易失性光电忆阻器（NV-OEM）模式，这些模式可通过光电激励引发的电荷密度分布变化来进行有效调控。通过为光电忆阻器阵列配置不同的工作模式，研究团队成功演示了从低阶到高阶的智能视觉信息处理任务，具有高准确率与低能耗的优势，为复杂场景智能视觉应用提供了一个高效的硬件平台。
研究团队设计并制备了一种新型的双层氧化物光电忆阻器，其结构为Pd/TiOx/ZnO/TiN，在器件中引入TiOx界面层以增强阻变的稳定性并提升光电响应。通过光电激励可以调控器件三种不同的工作模式（图2）：原始状态为光电脉冲激励下的动态响应模式、电压脉冲激励下的循环阻变模式以及在电学Forming后的非易失性光电响应模式。为进一步阐明光电忆阻器的多模态调控机制，团队采用了差分相位对比扫描透射电子显微镜（DPC-STEM）这一前沿成像技术，精确观测了光电调控过程中ZnO内部电荷密度的分布变化，这些观察结果为理解器件光电响应模式的调控提供了有力支撑。
在此基础上，研究团队进一步通过CMOS后道兼容工艺，将1024个1T-1OEM光电忆阻器单元组成的128×8阵列集成到硅基CMOS译码电路的上方，通过光电测试验证该阵列具有良好的均一性与稳定性，同时可以实现多比特编程（图3）和感存算一体化功能。
基于该光电忆阻器阵列，研究团队演示了多种场景的智能视觉信息处理任务：在图像传感预处理任务中，利用NV-OEM模式可以将图像识别率从85.7%提升至97.6%；在高阶认知任务中，利用D-OEM与NV-OEM阵列协同工作演示多目标定位跟踪，在模拟环境噪声的干扰下，通过多次训练依然可以实现96.1%的高准确率；在此基础上，首次构建了基于全光电忆阻器的储备池计算系统，由18个D-OEM模式器件构成储备池层和1024×5个EM模式器件构成读出层，在人体运动识别任务中以极低能耗实现了91.2%的准确率。
相关研究成果以“面向多场景感内计算的全集成多模态光电忆阻器阵列”（Fully integrated multi-mode optoelectronic memristor array for diversified in-sensor computing）为题，于11月8日在线发表于《自然·纳米技术》（Nature Nanotechnology）。
清华大学集成电路学院副教授唐建石、教授吴华强和北京信息科学与技术国家研究中心副研究员王钰言为论文共同通讯作者，集成电路学院博士后黄河意（现为中国科学院微电子研究所副研究员）为论文第一作者。合作者包括清华大学戴琼海院士、方璐教授、钱鹤教授、高滨副教授、姚鹏副研究员等。研究得到科技部重大项目、国家自然科学基金、北京信息科学与技术国家研究中心、北京集成电路高精尖创新中心、科学探索奖等的支持。
