EEJournal

专题文章
现在就订阅

人工智能的未来是稀疏的吗?

我想我们都很熟悉这个古老的谜语笑话,它以这样一个问题开始:“为什么鸡要过马路?”,并以“到另一边去!”这是我们似乎通过某种形式的社会学渗透来学习的东西之一,但我们却无法回忆起我们第一次听到它是在哪里。

根据维基百科的说法,这是一个“反幽默”的例子,在这个例子中,奇怪的笑话设置导致听众期待一个传统的笑点,但他们得到的却是一个简单的事实陈述。

当然,这个标志性的(有些人可能会说“家禽”)例子有很多衍生品,包括以下:

  • 为什么鸡要过马路?去那个白痴的家。“能听懂。(“谁在那儿?”)“那只鸡!”
  • 口香糖为什么要过马路?它粘在鸡脚上了。
  • 恐龙为什么要过马路?那时鸡还不存在。

我妻子(Gina the Gorgeous)养了两只愚蠢的猫。她说它们也是我的猫,但我不记得在它们成为我们家庭的一部分之前,她曾问过我的意见。我很了解我们的猫,最近听到的一个“过马路”的笑话让我笑了起来,是这样的:

  • 为什么猫要过马路?因为那只鸡有个激光笔。

如果你还在阅读,你一定是(a)没有事情可做,(b)想知道我要说什么。我马上就会揭晓。然而,在我们开始之前,如果你有任何关于鸡肉难题的其他答案想与我们分享,请随时在下面的评论中发表。

这只鸡为什么要过马路?(来源:Pixabay.com)

我之所以会有以家禽为中心的想法,是因为我刚刚和山姆·霍启刚谈过,他是Femtosense.ai.你想知道这个公司名字背后的含义吗?如果是这样,你会很高兴地发现我刚刚在他们的网站上找到了以下内容:

飞是10^-15的SI前缀。当人类大脑中的神经元放电时,耗散的能量约为飞焦。飞感技术的灵感来自斯坦福大学大脑硅实验室的研究,我们的创始人在那里创造了一个尖峰神经网络芯片,它的突触操作是在,你猜对了,飞焦的量级。由于许多推断问题也是传感问题,因此飞感在当时看来是个不错的主意。

你不能用这样的逻辑来争论。我喜欢美国的原因之一是美国的企业家精神,这种精神使有动力的人有了一个想法,成立一家公司,然后付诸实践。这就是发生在山姆和他同事身上的事。作为博士学位的一部分,他们在斯坦福大学的大脑硅实验室工作,用山姆的话来说,就是建造“奇怪的神经形态硬件”。具体来说,他们所做的工作集中在能够充分利用稀疏人工神经网络(ann)的硬件上。

事实上,他们对自己所做的工作以及作为博士候选人所看到的潜力充满热情,毕业后,他们于2018年成立了Femtosense。

这是我们回到鸡的地方(这引发了我之前与鸡有关的反思)。正如山姆向我解释的那样,这是一个典型的“鸡生蛋还是蛋生鸡”的情况。

只是为了提醒自己,“先有鸡还是先有蛋?”是一个因果困境,源于观察到所有的鸡都是从蛋里孵出来的,而所有的鸡蛋都是鸡下的。因此,“鸡生蛋还是蛋生鸡”是一个隐喻性形容词,用来描述不清楚两件事中哪一件是最重要的情况导致这应该被认为是效果,来表达一个无限倒退的场景,或者传达行动排序的难度,每个行动似乎都取决于其他人先做。

题外话,这个澳大利亚科学院对这个难题的答案如下:“羊膜蛋大约出现在3.4亿年前,而最早的鸡最早在大约5.8万年前进化,所以可以肯定地说,先有蛋。在鸡出现之前,鸡蛋就已经存在了。”由于命运的巧合,他们在2018年发布了这个答案,也就是Femtosense成立的那一年(巧合…?)

Sam提到的“先有鸡还是先有蛋”的情况是,早在2018年,尽管稀疏性的概念已经被理解了(即,在不影响推断准确性的情况下,将ANN中的值归零以去除不必要的参数),但这项技术在野外并没有广泛使用。问题是,当在适当的硬件上运行时,稀疏网络就会发挥作用。然而,公司不愿意为不存在的稀疏工作负载设计硬件,而如果没有任何硬件可以运行稀疏网络,开发人员也不愿意花时间在稀疏网络上工作。

当然,如果您目光敏锐,还有另一种看待这个问题的方法,即如果存在一个可能有价值的工作负载(如稀疏网络),但现有硬件不能很好地满足它,那么也许,只是也许,有机会构建一些新硬件来满足期望的需求。

下面的图片提供了一个30000英尺的视野。在左边,我们有一个传统的冯·诺依曼cpu型处理器,它正在执行存储在内存中的AI/ML模型,这涉及到大量的数据移动。接下来,我们有像gpu和npu这样的处理架构,它们拥有小内核阵列或乘法累加(MAC)单元,但仍然涉及大量耗时且耗能的数据移动。

传统处理单元与稀疏处理单元(来源:Femtosense)

层次结构的下一步是将分布式处理器与近内存计算相结合。Femtosense公司的人员用他们的稀疏处理单元(SPU)在这方面更进一步,它提供了近内存计算和稀疏加速的独特组合。

稀缺性有不同的形式。首先,我们有稀疏权重,其中稀疏连接的模型只存储和计算那些真正重要的权重,从而在速度、效率和内存方面得到10倍的改进。其次,我们有稀疏激活,这意味着当神经元输出为零时跳过计算,从而在速度和效率上进一步提高10倍。数学可能不是我的强项,但我有理由相信,无论你把帽子挂在哪里,10X x 10X = 100X。

SPU的近内存-计算架构将内存分配到处理元素附近的小银行,以提高吞吐量。除了通过在靠近片上内存组的地方执行计算来减少数据移动之外,这还消除了访问片外内存所导致的能量和内存瓶颈。

SPU还具有可伸缩的体系结构,其中核心可以平铺,从而有助于创建可伸缩的设备,以匹配任何部署环境的性能需求和成本/大小/功率限制。

飞感公司的伙计们在2022年底收到了他们的第一块硅。下面我们看到SPU001是一个裸模,一个封装的测试芯片和一个评估板。

SPU001裸模、封装芯片和评估板(来源:Femtosense)

与测试芯片相反,采用22nm TSMC工艺创建的spu001也有1.52mm x 2.2mm芯片规模的封装和评估板。SPU001具有1MB的片上SRAM(在运行稀疏网络时相当于10MB的有效内存),可为语音、音频和其他1-D数据的始终在线处理提供亚毫瓦的推断。

我对那个视频印象深刻CES 2022飞感演示;原始声音和去除背景噪音的音频流之间的差异令人震惊(现在我想看看他们2023年CES演示的视频)。

在这个视频中,原始音频输入显示在屏幕底部,处理后的输出显示在屏幕顶部。不幸的是,尽管你能听出区别,但很难看到显示屏上发生了什么。我认为如果他们在底部窗口中用红色标出信号的噪声部分会更好,这样更容易看到被删除的内容(这很容易成为一个评论家,这就是为什么我很擅长这个角色)。

实现这种实时语音增强的同时,功耗不到1mW。这种能力可以使各种应用程序和设备受益,包括耳塞、耳机和助听器,后者可以通过语音增强来增强降噪。

相关音频应用包括始终监听关键字检测,功耗低于100 μ W,免提遥控器可在电池上持续两年以上,以及智能安全系统形式的始终打开多类声音事件检测,可以检测、识别并适当响应诸如玻璃破碎、婴儿哭声、枪声和传感器节点产生的警报等音频事件。

Sam说,除了以SPU001芯片和评估板的形式提供他们的技术(以及支持的软件开发工具包(SDK),其中包括高级稀疏优化工具、模型性能模拟器和Femto编译器)之外,Femtosense的这些人并不反对将他们的技术作为IP提供给其他人的mpu和soc。

另一个有趣的事实是,他们目前正在招聘。我只是在他们的职业生涯在那里我看到了应用工程、SoC设计和集成、前端芯片设计和硬件架构以及后端芯片设计方面的空缺职位。要是我年轻40岁(更聪明,更高,更苗条,还有更多头发)就好了。遗憾的是,我担心我在设计前沿的日子已经过去了,但也许你知道有人可能会被诱惑……

留下回复

有特色的博客
2023年3月28日
在这个用户案例中,Marintek使用Fidelity Fine/Marine和Hexpress对规划船体的阻力曲线进行预测,并对模型测试用例进行验证。最终用户:Eloïse Croonenborghs, MARINTEK的研究科学家,海事部门,特隆和…
2023年3月23日
探索AI芯片架构,了解AI的需求和应用程序如何在处理器、内存芯片等方面塑造AI优化的硬件设计。为什么AI需要新的芯片架构这篇文章首先出现在芯片设计的新视野....上
2023年3月10日
一个经过验证的指南,使项目经理成功地接管正在进行的项目,并完成工作!

有特色的视频

第一个CXL 2.0 IP互操作性演示与遵从性测试

Synopsys对此

在本视频中,高级研发工程师Rehan Iqbal将指导您通过Synopsys CXL IP通过合规测试,并演示我们与Teladyne LeCroy Z516锻炼器的无缝互操作性。这个首创的互操作性演示证明了Synopsys致力于提供可靠的IP解决方案。

点击这里了解更多关于Synopsys CXL的信息

特色粉笔谈话亚博里的电子竞技

电动汽车充电:了解基本知识
你有没有考虑过电动汽车的广泛采用会是什么样子?需要满足哪些基础设施需求?在这期Chalk Talk节目中,我和亚博里的电子竞技来自Bel的Bruce Rose聊了聊这些,我们回顾了电动汽车充电的基础知识,调查了交流和直流充电器的充电要求,并研究了车载逆变器在电动汽车充电中的作用。
2023年3月27日
178的浏览量
Baidu