EEJournal

专题文章
现在就订阅

Modus Toolbox ML, TinyML和AIoT

仔细想想,过去的生活真有趣。你永远不知道什么时候会有惊喜出现,或者咬你一口,不要问问题。作为一个“惊喜”的例子,我最近收到了一个请求,要我在FPGA论坛特隆赫姆挪威2022年2月9日至10日。

关于“不问任何问题”,我愚蠢地问我的妻子(漂亮的吉娜)是否愿意陪我去前面提到的论坛。因此,她现在正在为这次活动做准备,就好像我们正在进行一次北极探险一样。我不知道她会需要这么多外套、靴子、围巾(“我不能每天都穿一样的,因为别人会注意到”)、帽子,天知道还有什么。我完全不知道我们要把雪橇狗养在哪里。

我很难相信这距离我上次在FPGA论坛上发言已经有10年了。正如我在之前的专栏中提到的,每当我眨眼,又一天就过去了;我每打一个喷嚏,就少活一个星期;每次我…我们跑题了

我仍然清楚地记得2012年我参加论坛的情景。这是我第一次访问挪威,本身就令人兴奋,除此之外,我还受邀在奥斯陆大学做客座演讲。作为那次短途旅行的一部分,我参观了木筏博物馆,其中包括挪威冒险家、探险家和民族学家Thor Heyerdahl在他著名的作品中使用的同名筏子一起探险.还有,我被带去看Frogner公园与它的维格兰公园装置包括数百个雕塑以及桥梁和喷泉等大型结构。在冬天的午夜漫步在冰雪覆盖的公园是一种神奇的经历,我永远不会忘记。

当我开始思考这个问题时,我在我的生命中是非常幸运的。除了我惊人的美貌,我传奇的时尚感和我的服装风格感,我还很幸运地看到了世界上很多地方,其他公司为我买单(“亲爱的,这真的是唯一的旅行方式!”)。例如,2010年,在我的挪威之行的两年前,我受邀在印度班加罗尔的嵌入式系统会议(ESC)上发言。

有一天在班加罗尔,我们在市中心的一家露天餐厅吃饭。每个人都有一个中等大小的金属托盘,托盘上有一堆较小的金属盘子,它们围绕托盘的圆周呈弧形排列,而中心区域则用来盛放面包和类似的固体食物。除了等啊等,服务员们还四处游荡,每个人都拿着装食物的容器。每个服务员都负责某一道菜,他们一生的任务就是让盘子在你的盘子里充满电,直到你把它翻过来,从而表明你不能再吃了。食物很美味!我从未尝过这样的味道,直到……但我马上就会讲到。

如今,我们有能力通过互联网结识世界各地的人并结交朋友,这是我们倾向于认为理所当然的事情之一。例如,作为我在EETimes.com, Embedded.com和EEWeb.com上的专栏的一部分,我遇到了Sree Harsha Angara,他是Cypress Semiconductor的应用工程师(AE)。Sree当时在印度,也就是我在印度的时候,但他不知道我要去印度,我甚至不知道他住在那里。说说夜里经过的船吧。

我们最初联系的方式是,我经常在周五下午发布一篇“这样做是不是很酷”的专栏,让人们在周末有所思考。当我在接下来的周一早上回到我的办公室时,我收到了一封来自Sree的电子邮件,展示了他对我的问题的解决方案,它总是基于赛普拉斯的PSoC(芯片上可编程系统)设备之一。(psoc包括一个CPU核心,以及由可配置的集成模拟和数字结构和外围设备组成的混合信号阵列。)

举个例子,大约在2017年的某个时候,我在考虑建造一个大脑。嗯,一种简单的模拟和/或数字人工神经元的三维网络,所有这些都用一种flywire技术所有这些都被安装在一个高大的圆顶玻璃圆柱体中。我的想法是,这个网络的输入将由各种传感器提供,它将对光线、声音和环境的变化做出反应。作为其中的一部分,我建议在底部有一圈led,并配有六个麦克风,并使用led来反射任何声音的来源(类似于Amazon Echo或Amazon Dot的顶部)。好吧,如果Sree没有在那个周末接受挑战并创造出解决方案(我想这为他赢得了“本月柏树制造商”奖),那就太让我失望了。

一个由60个三色led和6个麦克风组成的环,全部由PSoC供电(图片来源:Sree Harsha Angara)

此时,赛普拉斯已经把斯里调到了硅谷,担任员工AE,就像打了类固醇的AE。令人高兴的是,我和Sree最终在2019年我在硅谷ESC上演讲时走到了一起。这是一件很奇怪的事情,你终于见到并问候了一个你认识多年但你从未真正见过的人,你甚至不知道他们长什么样。就在我觉得事情不能再好了的时候,我向Sree提起我在班加罗尔吃过的美味大餐,他回答说离会场几英里远就有一家类似的餐厅,于是我们跳上他的车,全速前往那里。O-M-G !食物和我记忆中的一样好吃。

我的朋友Sree(图片来源:Max Maxfield)

当然,有很多Poohsticks从那些宁静的日子开始,就已经经过了桥下。一个明显的例子是,尽管我们的会议仅仅是在我写下这些文字的两年前,但从那时起,我们已经经历了一场全球性的大流行。此外,在这场大流行期间,英飞凌于2020年4月完成了对Cypress Semiconductor的收购,Sree现在是Cypress Semiconductor的产品营销经理。

我以前提到过,我亲爱的老母亲会讲这样一个故事:“前几天我在鱼贩那里遇到了老彭尼韦尔夫人。你还记得她吧——她有三个女儿——大女儿嫁给了一个澳大利亚动物标本剥制师,他们有两个儿子,两个儿子都对香蕉过敏,而且……”随着时间的推移,你会看到观众眼中的恐惧,因为故事永远不会结束,然后突然,她得意地把一切带回家,“这就是为什么你永远不应该腌制沙丁鱼!”好吧,我也要做类似的事情……

几周前,我收到英飞凌公关人员的一封电子邮件,上面写着:“嗨,Max,人工智能(AI)和物联网(IoT)的结合——被称为物的人工智能(AIoT)——为连接的设备提供了机器学习能力,使它们能够执行智能任务。根据市场与市场在美国,AIoT市场预计将从2019年的51亿美元增长到2024年的162亿美元,复合年增长率为26%。下一个合乎逻辑的问题是,我们如何保护这些智能端点以及它们将有权访问的越来越有价值的数据?5月19日,英飞凌将公布他们的解决方案,可以提供答案。很高兴与您分享更多细节,并安排英飞凌发言人为您做简报。”

当然,我说我很想听到更多,所以他们安排了与英飞凌发言人的视频电话会议,结果是……你明白了……不是别人,正是我的老朋友Sree!

嘿!恐怕我讲得太啰嗦了,所以我要尽量讲快一点。让我们从ModusToolbox开始,这是一组易于使用的软件和工具,可以快速开发英飞凌PSoC mcu,涵盖从嵌入式传感和控制到无线和云连接系统的应用程序。

接下来,让我们注意到,我们目前正在看到连接设备的快速增长,以及它们产生的数据量的指数级增长。更多的数据是好的(它提供了更好的洞察力和性能),也是坏的(除了安全和隐私问题,还有带宽和延迟问题)。缓解这些问题和顾虑的一种方法是将机器学习(ML)工作负载移到边缘。

为了解决这个问题,英飞凌推出了ModusToolbox ML,它可以在英飞凌的PSoC mcu上实现基于深度学习的工作负载。Sree向我介绍了一个典型的嵌入式ML工作流。正如我们在下面的图像中看到的,边缘的ML专注于推理。

边缘的ML专注于推理(图片来源:英飞凌)

ModusToolbox ML是ModusToolbox中的一个新功能,它为设计人员提供了中间件、软件库和特殊工具,用于评估和部署基于深度学习的ML模型。该特性允许与ModusToolbox中现有的框架无缝集成,以便ML工作负载可以轻松集成到安全的AIoT系统中。ModusToolbox ML允许开发人员使用他们首选的深度学习框架,如TensorFlow,直接部署到PSoC mcu上。此外,该特性还可以帮助设计人员针对嵌入式平台优化模型,以减小尺寸和复杂性,并根据测试数据验证性能。

典型的嵌入式ML工作流(图片来源:英飞凌)

好了,结果出来了。简而言之,随着物联网的扩展,大量的数据正在边缘生成。TinyML涉及缩小深度学习网络,以适应微控制器等微小硬件资源。通过TinyML的支持,AIoT是一种自然进化,在本地操作数据有助于管理数据隐私、延迟和整体系统可靠性。ModusToolbox ML允许开发人员将他们训练过的网络进行优化,并将其部署到嵌入式系统中。Tra-la !

然而,我有一个困扰我的想法,它在我的脑海里(我笑称它为)喋喋不休。还记得Sree曾经是多么多产地使用最初的ModusToolbox来为我提出的问题创建非ai /ML的解决方案,我想知道他现在有了ModusToolbox ML的力量,他会想出什么。我想我们都应该非常害怕。你呢?你对这一切有什么看法?

关于“Modus Toolbox ML, TinyML和AIoT”的一个想法

留下回复

有特色的博客
2023年3月17日
大家好,我是Julio Mendez, CFD科学家,目前在Corrdesa工作,使用CFD研究电化学应用。我的CFD之旅始于2007年,当时我正在委内瑞拉家乡的La universversidad del Zulia大学为我的本科论文寻找主题。我…
2023年3月17日
我们正在推进基于芯片的多模系统的开发,并在台积电的N3E半导体制造工艺上成功地实现了UCIe PHY IP带出。后Synopsys加速多模系统设计与成功的UCIe PHY IP带出在TSMC N3E工艺出现了…
2023年3月10日
一个经过验证的指南,使项目经理成功地接管正在进行的项目,并完成工作!

有特色的视频

提升你的知识!

逮老鼠的电子产品

感觉落后了?鼠标的通讯和技术资源订阅将确保您的技能更上一层楼!设置您的首选项并自定义您的订阅,今天就可以增强您的知识!

点击这里了解更多信息

特色粉笔谈话亚博里的电子竞技

蓝牙LE音频
蓝牙LE音频是当今音频创新的一个突出组成部分。在这一期的Chalk Talk中,来自亚博里的电子竞技北欧半导体公司的Finn Boetius和Amelia Dalton讨论了蓝牙LE音频的内容、位置和方式。他们仔细研究了蓝牙LE音频配置文件,蓝牙LE音频的架构,以及如何开始在您的下一个设计中使用蓝牙LE音频。
2023年1月3日
11181的浏览量
Baidu