中山大学电子与信息工程学院（微电子学院）、光电材料与技术国家重点实验室和广东省显示材料与技术重点实验室王凯教授课题组在应用于机器触觉的神经形态触觉传感器的研究工作中取得重要进展。相关成果发表在国际顶级综合性学术期刊《自然·通讯》(Nature Communications)上。
图1 元宇宙中的“打篮球”游戏、触觉手套和基于触觉扫描仪的触觉信息采集和触觉渲染
为了满足未来元宇宙和沉浸式体验的需求，机器触觉应运而生。然而，与发展了近半个世纪的数字摄像头和麦克风等机器视觉和听觉设备相比，机器触觉设备仍处于非常初级阶段，其所需的触觉感知设备、计算和渲染工具以及与之相对应的算法和软件十分匮乏。作为迈向机器触觉广泛应用的第一步，高保真和高质量数据采集技术关重要。在本项工作中，王凯教授课题组研制了一种基于神经形态触觉传感器的扫描设备并初步实现了类皮肤触觉特征的触觉信息采集（图1）。
信号与系统的架构设计是定义一个新领域的前提。与传统的力触觉信号与系统不同，类人类皮肤的机器触觉系统是基于神经形态并仿生人类触觉的工作原理。区别于传统模式，信号特性及其处理方式也大不相同，其基础信号是神经尖峰脉冲（Spike）而非传统的数字和模拟混合信号；其计算范式是基于矩阵乘法的模拟计算，而非基于布尔逻辑的冯诺依曼数字计算。
图2 机器触觉的信号与系统以及与人类触觉神经系统的对比
因此，在神经形态触觉传感器的设计上，课题组借鉴了生物触觉感知传入神经系统的机械感受器、生物突触和神经元的工作机制，特别是参考了皮肤感知、处理触觉刺激的电生理化处理过程，利用柔性聚偏二氟乙烯(PVDF)制备的轴突感受器模仿生物机械感受器，实现机械力与电学信号的转换；利用双栅薄膜晶体管(TFT)的导电沟道可变电阻等效为突触电导(gsyn)、电容等效为突触膜电容(csyn)，首次提出基于双栅TFT的一阶非线性神经元电路模型，用以模拟生物突触的兴奋性突触后电流(EPSC)行为；基于泄漏-积分-发放模型Leaky Integrate-and-Fire Model (LIF)的脉冲编码电路，模仿神经尖峰脉冲信号的处理功能（图2）。
图3 5种表面材质的触觉信息的采集(Tactile Acquisition)和重现(Tactile Rending)
课题组利用制备的10×10神经形态触觉传感器阵列捕捉5种不同类型材质表面纹理的神经形态触觉信息(TA)，见图3。不同类型材质的TA信号频谱存在不同的特征峰，其采用人工神经网络(ANN)计算的识别率高达93%，表明神经形态触觉传感器阵列可采集高质量材质表面特征信息。将这些触觉信息编码产生驱动执行器表面的触觉渲染信息（TR），尝试再现皮肤在虚拟空间重现材质表面“真实”的触觉。该传感器阵列采集的神经形态触觉信号（TA）与重现的触觉渲染信号(TR)相关性高达0.68；而在进一步的物理感知心理学实验中，超过75%的志愿者表示能够通过重现的触觉渲染信息可以感知物体表面的粗糙度，初步证明该触觉传感器具备实现触觉的采集-重现闭环功能的潜力。所提出的神经形态触觉传感器，凭借其低成本、低功耗、易于集成和制备等特点，为实现大规模人工触觉感知系统奠定了坚实的理论和实验基础。
该工作第一作者为课题组李惠敏博士，王凯教授为唯一通讯作者，合作者包括中山大学计算机学院李文军教授和中国科学院微电子研究所李伟伟副研究员。该项工作得到了科技部重点研发计划变革性技术项目课题(2019YA0706100)和深圳知微创新技术有限公司横向课题资助。
课题组隶属中山大学电子与信息工程学院（微电子学院）智能传感芯片实验室（iSense Lab），王凯教授于2014年回国后建立，致力于先进传感器芯片的研发与应用。研究方向包括X射线探测器、CMOS图像传感器、神经形态电路与系统、可穿戴传感及机器触觉和人机交互技术等。
