起源：DeepTech深科技克日，北京年夜学杨玉超教学跟团队研收回一种可支撑多种任务形式的忆阻器，并将其与光晶体管停止集成，构建了一个存在可重构特征的视觉感存算一体化集成阵列（MP1R，Multi-Phototransistor-One-Memristor) 与硬件体系。这种体系不只可能及时感知跟处置图像，还可能经由过程新型硬件支撑多种神经收集算法，战胜现有视觉感知硬件在光图像信息处置跟编码功效上的缺乏。（起源：Nature Electronics）研讨中，其初次应用硅基兼容性工艺跟资料制备了可能在三种任务形式下运转的忆阻器，分辨是线性电阻形式、阈值开关改变形式跟短时程影象形式。这不只处理了光忆阻器任务形式单一的范围性，还明显晋升了光感知与编码才能以及非线性盘算的才能。详细而言，他们将具有蓝光加强跟红光克制特征的光晶体管与可支撑多任务形式的莫特氧化物忆阻器集成，胜利实现了对差别光信息的感知、存储跟盘算。这种集成阵列可能在差别的光波长下表示出差别的呼应特征，比方在蓝光下存在加强效应，而在红光下表示出克制效应。更主要的是，这一集成体系具有了多种任务形式的编码才能，包含模仿编码跟脉冲编码，可能模仿突触跟神经元的功效，从而支撑多种神经收集算法。经由过程此，他们不只处理了现有视觉神经状态硬件体系在算法兼容性跟庞杂信息处置才能上的缺乏，还胜利构建了一个可能机动编程的可重构硬件体系。试验成果标明，该体系可能支撑多种神经收集算法跟图像盘算义务，包含静态图像辨认、时序脉冲图像编码处置跟目的辨认等。总的来说，这一新型硬件平台为构建存在更高顺应性跟效力的视觉盘算体系供给了无力支撑，存在普遍的利用远景。跟着该结果的技巧成熟，将来多少年内它无望在多个范畴失掉普遍利用：起首，在主动驾驶中，MP1R 阵列可能供给高效的视觉感知，并支撑及时目的辨认跟情况剖析，进步主动驾驶体系的信息处置才能。其次，呆板人范畴也能受益于该技巧，呆板人能够经由过程智能视觉体系实现高效的目的辨认、导航跟义务履行。再次，监控体系则能经由过程该技巧停止高效的变乱检测跟行动辨认，晋升大众保险监控的智能化程度。最后，MP1R 阵列在低功耗、高效处置下，实用于人脸辨认、智能医疗、加强事实（AR，Augmented Reality）/虚构事实（VR，Virtual Reality）体系以及无人机视觉体系，供给及时的图像处置才能，推进这些范畴向智能化、主动化开展。总体来看，这项技巧将在多个须要及时视觉盘算的场景中施展主要感化，增进相干行业的翻新与提高。（起源：Nature Electronics）为 AI 视觉体系的硬件实现供给新思绪本次研讨的发展源于传统视觉盘算体系在及时图像处置中的范围性。现有的视觉盘算体系年夜多基于互补金属氧化物半导体（CMOS，Complementary Metal Oxide Semiconductor）冯·诺依曼架构，这种架构因为图像传感器、存储器跟处置器之间的物理分别，招致了数据处置耽误跟冗余数据的发生，进而影响了及时图像处置的效力。别的，现有的忆阻器技巧固然在呆板视觉范畴展现了宏大潜力，但其在编码跟处置光学数据方面的范围性，使得它与多种神经收集架构的兼容性较差，无奈满意庞杂视觉义务的需要。遭到年夜脑神经元功效的启示，他们决议开辟一种存在丰盛能源学特征的神经状态器件，旨在模仿神经突触跟神经元的庞杂功效。研讨中，他们先是制备了异质结构造的氧化物忆阻器，这种忆阻器不只存在十分丰盛的能源学特征，还可能模仿神经体系的多样性跟庞杂性。同时，课题组将存在丰盛静态特征的忆阻器与光晶体管相联合，借此开辟出一个 20×20 范围的光晶体管阵列与忆阻器的集成体系。这个集成阵列可能无效地处置光图像信息，具有时空编码、模仿编码跟脉冲编码的多重功效。经由过程这种集成，他们可能在硬件层面上实现对庞杂光学信息的处置跟盘算。为了进一步验证跟施展多光晶体管-单忆阻器集成阵列的功效上风，他们计划并开辟了一个完全的视觉盘算硬件电路体系。这个体系集成了 MP1R 忆阻器阵列与 1T1R 非易掉性忆阻器阵列以及外围读写电路，实现了硬件层面上对差别神经收集算法的支撑，并展现了在多种视觉盘算利用场景中的现实表示。经由过程此，终极他们胜利展现了一个集成光感知、盘算跟存储的视觉盘算硬件平台，并实现了多种神经收集算法跟视觉盘算义务的演示。这项研讨不只是对神经状态盘算跟光学图像处置的一次翻新冲破，也为 AI 视觉体系的硬件实现供给了新的思绪跟技巧门路。（起源：Nature Electronics）不自觉寻求“短平快”只管他们已胜利开辟出存在丰盛静态特征的忆阻器，并在实现神经状态视觉硬件功效跟架构方面展现了其上风，为构建通用神经状态视觉盘算平台做出了主要的研讨奉献，但仍有大批任务须要实现。将来，他们打算重点实现三维集成，以进步体系的密度跟盘算效力。别的，还须要进一步优化器件的功耗，并进步其在天然光跟暗光前提下的敏锐度。估计这些停顿将为超低功耗、高密度、年夜范围三维集成的通用神经状态视觉盘算体系奠基基本，供给强盛的硬件平台跟盘算才能，支撑视觉 AI 利用的开展。参考材料：1.Dang, B., Zhang, T., Wu, X. et al. Reconfigurable in-sensor processing based on a multi-phototransistor–one-memristor array. Nat Electron 7, 991–1003 (2024). https://doi.org/10.1038/s41928-024-01280-3经营/排版：何晨龙