南科大周菲迟团队在宽视场单目三维感知计算取得重要进展

来源:南方科技大学深港微电子学院 #南科大# #周菲迟团队# #宽视场单目#
563

近日,南方科技大学微电子学院周菲迟团队在宽视场单目三维感知计算取得重要突破。相关研究成果以“Wide field-of-view anisotropic optoelectronic resistive memory for monocular in-sensor 3D motion perception and localization system”为题发表于Nature Communications。该研究首次提出一种宽视场各向异性光控阻变存储器(AORRAM),能够在传感器内实现原位的宽视场运动感知与深度估计,并进一步构建了紧凑、低功耗的宽视场单目三维运动感知与定位系统,为无人机、自动驾驶等边缘智能设备提供了高性能的三维视觉感知新方案。

对于需要大视野的三维感知任务,传统方案常会采用广角(甚至鱼眼)镜头的双目(或多目)相机,并需要强大的后端计算硬件来处理复杂的三维视觉算法,存在体积庞大、能耗高、延迟大等固有瓶颈。尽管新兴的神经形态感内计算方案展现出潜力,现有神经形态视觉器件在三维感知计算方面存在根本性局限:在三维到二维投影过程中丢失深度信息、探测角度窄,且缺乏本征的三维运动处理能力。因此,迫切需要一种能同时集成宽视场感知、深度估计与3D运动处理能力的神经形态视觉器件,以及配套协同设计的系统算法。

受鹰眼宽视场、高效三维感知与运动追踪能力的启发,团队设计并制备了一种宽视场(140°)、各向异性的光控阻变存储器,基于具有轴向氧空位浓度梯度的氧化锌纳米线阵列。在此基础上,团队在统一硬件平台上构建了三维感知与运动定位系统,成功模拟了鹰眼的卓越视觉感算功能(图1)。

图1 宽视场(Wide-FOV)单目三维(3D)运动感知系统

这一AORRAM器件基于ITO/ZnO NWA/Au两端结构,表现出非易失多级电学阻变存储行为,并兼具各向异性的非易失光控多级阻变存储特性(图2)。在45°紫外光照下,器件可实现64个稳定的光控非易失电导态,并呈现高线性的光触发长时程增强(LTP)与电控长时程抑制(LTD)特,其光响应特性可通过调节光脉冲的占空比、数量及波长进行有效控。利用ZnO纳米线轴向氧空位梯度分布与界面能带调控,结合不同入射角度下光反射、偏振及折射效应的协同作用,器件实现了高达140°的宽视场探测能力,并表现出显著的入射角度依赖的光控阻变存储行为(图3)。实验结果显示,在30°、45°及70°入射角下,器件的光诱导LTP行为呈现明显差异,其响应度顺序为30° > 70° > 45°。

为进一步阐明物理机制,团队结合多角度X射线光电子能谱(XPS)与COMSOL有限元仿真进行分析,结果表明,该各向异性光存储行为主要源于ZnO NW/Au界面处各向异性的光吸收,以及光诱导电子俘获/去俘获过程所引发的势垒调制效应。该器件固有的各向异性特性使其具备在传感器内实现原位单目三维运动感知计算的能力。

图2 AORRAM器件在45°光照角度下的非易失多级光控阻变存储特性

图3 AORRAM器件各向异性光存储行为及物理机制

利用器件独特的各向异性感知能力,研究团队构建了传感器内单目运动深度感知与定位硬件原型,无需复杂的双目视觉算法,系统可根据单一器件的不同输出,实时确定运动目标的距离(L)与方位角(θ),进而精确获取目标的深度信息(d = L cosθ)及位置信息(x=L sinθ, d)(图4)。实验演示中,系统成功追踪了模拟鸟类目标以不同速度、从不同角度接近无人机的全过程,并生成了高精度的深度与定位图谱。

图4 基于AORRAM器件的单目运动深度感知与定位硬件原型

为进一步实现高噪声、复杂场景下的3D运动识别,研究团队将AORRAM阵列与门控循环单元(gated recurrent unit, GRU)集成,构建了高鲁棒的Wide-FOV 3D运动感知与识别系统(图5)。系统中,AORRAM阵列同时执行宽视场深度感知与2D空间成像,GRU网络则负责处理时序数据以识别运动模式。在包含12种不同运动场景(不同物体大小、速度、方向)的测试中,该系统在模拟环境噪声、器件噪声及电路噪声的干扰下,依然实现了95.41%的识别准确率,显著优于无时序记忆功能的传统人工神经网络。该研究提出的AORRAM器件与系统,在功耗、延迟与系统紧凑性方面较传统3D机器视觉系统展现出显著优势,有望推动下一代紧凑型、高能效3D智能视觉系统在无人机自主导航、敏捷机器人及实时环境交互等领域的应用。

图5 3D运动感知与识别系统

南方科技大学博士后王珍、江碧怡为论文第一作者,周菲迟为通讯作者。南方科技大学为论文第一单位。该研究得到了国家重点研发计划、国家自然科学基金、深圳市科技计划等项目支持。论文链接:https://doi.org/10.1038/s41467-026-76261-5

责编: 集小微
来源:南方科技大学深港微电子学院 #南科大# #周菲迟团队# #宽视场单目#
THE END
关闭
加载

PDF 加载中...