2022-06-14
 
一种能够更高效地运行某些深层神经网络的神经形态计算体系结构
2022年06月14日   阅读量:132

随着人工智能和深度学习技术越来越先进,工程师将需要创建能够可靠高效地运行计算的硬件。受人脑结构和生物学启发的神经形态计算硬件在支持复杂的深层神经网络(DNN)的操作方面尤其有希望。

格拉茨理工大学和英特尔公司的研究人员最近展示了神经形态计算硬件在实验环境中运行DNN的巨大潜力。他们的论文发表在《自然机器智能》(Nature Machine Intelligence)上,由人脑项目(HBP)资助。该论文表明,神经形态计算硬件可以比传统(即非大脑启发的)计算硬件运行大型DNN的效率高4至16倍。

研究人员之一沃尔夫冈·马斯(Wolfgang Maass)告诉TechXplore:“我们已经证明,如果用大脑启发的神经元和神经网络架构解决神经形态硬件上的相同问题,一大类DNN,即处理时间扩展输入(例如句子)的DNN,可以实现更高的能量效率。”。“此外,我们认为DNN对于更高层次的认知功能至关重要,例如发现故事中句子之间的关系并回答有关其内容的问题。”

在测试中,Maass和他的同事评估了运行在Intel创建的神经形态计算芯片上的大型神经网络的能效。此DNN专门设计用于处理大号字母或数字序列,如句子。

研究人员测量了Intel神经形态芯片和标准计算机芯片在运行同一DNN时的能耗,然后比较了它们的性能。有趣的是,研究人员发现,通过调整计算机硬件中包含的神经元模型,使其与大脑中的神经元相似,可以实现DNN的新功能特性,从而提高其能效。

Maass解释道:“人们经常猜测神经形态硬件的能效会提高,但对于要求苛刻的AI任务来说,这很难证明。”。“原因是,如果一个人用更多类似大脑的‘懒惰’神经元来取代人工智能中DNN使用的人工神经元模型,这些神经元每秒被激活数千次甚至更多次,从而产生更多类似于大脑中神经元的节能尖峰神经元,那么通常必须使尖峰神经元过度活跃,远远超过大脑中的神经元(平均一个神经元每秒只发出几次信号)。然而,这些极度活跃的神经元消耗了太多的能量。"

大脑中的许多神经元在活动一段时间后需要更长的休息时间。以前的研究旨在在硬件中复制生物神经动力学,但由于人工神经元的过度活跃,往往会产生令人失望的结果,因为在运行特别大和复杂的DNN时,会消耗太多的能量。

在他们的实验中,马斯和他的同事们表明,许多生物神经元在放电后休息的趋势可以在神经形态硬件中复制,并作为一种“计算技巧”来更有效地解决时间序列处理任务。在这些任务中,新信息需要与最近收集的信息相结合(例如,网络预先处理的故事中的句子)。

Maass说:“我们发现,网络只需要检查哪些神经元目前最疲劳,也就是说,不愿意发射,因为这些神经元在最近的过去是活跃的。”。“使用这种策略,一个聪明的网络可以根据最近处理的信息进行重构。因此,‘懒惰’在计算方面具有优势。”

研究人员证明,当运行相同的DNN时,Intel的神经形态计算芯片消耗的能量比传统芯片少4到16倍。此外,他们还概述了利用人工神经元尖峰后缺乏活动的可能性,以显著提高硬件在时间序列处理任务上的性能。

未来,Intel芯片和Maass及其同事提出的方法有助于提高神经形态计算硬件在运行大型复杂DNN时的效率。在未来的工作中,该团队还希望设计更多的生物启发策略,以提高神经形态芯片的性能,因为目前的硬件只捕获了人脑复杂动力学和功能的一小部分。

“例如,人脑可以从一个场景或一句话中学习一次,而人工智能中的DNN需要对无数的例子进行过度训练,”马斯补充道。“大脑用于快速学习的一个技巧是在大脑的不同部分使用不同的学习方法,而DNN通常只使用一种方法。在我接下来的研究中,我想让神经形态硬件能够像人类一样,基于其过去的“经验”发展“个人”记忆,并利用这种个人经验做出更好的决定。”

漏 2022科学X网络

免责声明: 本文仅代表作者本人观点,与中国化工网无关。本网对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。本网转载自其它媒体的信息,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
客服邮箱:service@cnso360.com | 客服QQ:23341571