我有时候会觉得我听一个坏了的唱片当一家公司打电话告诉我关于他们的新人工智能(AI)的奇迹处理器。我试着说“哦”、“啊”在所有正确的地方,但我的心并不是经常。时不时的,然而,我听到的东西让我在我的座位坐起来,惊叫,“什么?O-M-G !”
老实说,我认为,“什么?O-M-G !”is what you are going to say upon reading this column, but before we plunge into the fray with gusto and abandon…
很少一天了,我没有接触到一些刚刚印出来的人工智能的话题。例如,我的密友乔Farr刚给我发了一封邮件,说他问ChatGPT聊天机器人:“你可以用c#编写一个程序作为一个基本的翻译吗?“乔告诉我,他很惊讶的反应,我总结如下:
它开始给我一个完整的c#程序清单。不是一个片段或片段,但一个完整的血腥程序清单连同它工作的一个例子。你可以看到该死的输入的代码在你眼前…在实时。真的很可怕的手表。
我已经详细记录了乔的实验在凉爽的bean博客:使用ChatGPT写一个基本的翻译。作为博客的一部分,我也提到了新的美国科幻恐怖电影M3GAN(发音“梅根”),看的也将你坐在你的座位在高喊“什么?O-M-G !”(I speak from experience).
回到主题,我只是聊天公司的联合创始人,最近才出现在隐形模式。温斯顿·李(CEO)和沙市Chilappagari(首席技术官)成立DeGirum.ai2017年,该公司已经提供样品模块以其ORCA-NNX(神经网络表达)设备。
“好悲伤,而不是另一个AI加速器,”我听到你抱怨你的呼吸。相信我,我要告诉你什么会消除你的愤世嫉俗的态度,让你强烈要求更多,在这种情况下,你是受欢迎的。当然,如果你构建自己的AI加速器,你可能不太热情的消息我要传授,在这种情况下,我很抱歉。
小熊维尼曾说过,“我是一个很少大脑的熊,和长词烦我。“我也是一只熊的小脑袋,和我有同样的感觉长报告。我喜欢一个简单的故事,我可以用我的大脑,所以它可以不安当一家公司表示有很多攻击我的幻灯片,我开始担心它永远不会结束。因此,你可以想象我所感受到的惊奇和兴奋——当我面对DeGirum 4-slide祭。
我们开始与幻灯片# 1,如下所示。沙市提到这样一个事实,试图找出是谁的AI加速器是最好的一个非平凡的任务,不是最“最好”的概念可能会有所不同从模型到模型和应用程序到应用程序。
评估人工智能硬件是很困难的(来源:DeGirum.ai)
没有用当有些人说的拉操作每秒(顶部),而其他人让他们声称基于帧每秒(FPS)。还有那些夸耀自己提供高顶的故事/瓦特,上衣/美元,FPS /瓦特,FPS /美元。为了增加乐趣和轻浮,最终我们可能不会说话的真正的单位因为狡猾的市场商人并不反对“正常化”(有些人可能会说“模糊”)他们的指标就价格而言,权力,或性能。
彼拉多说(鸟鸣)耶稣基督超级巨星:““真理”是什么?真理是不变的法律?我们都有真理。你是我的一样?”如果我不知道更好,我认为本丢花了太多时间浏览不同AI加速器供应商数据表。
即使是最简单的事情很难衡量,上述条款并不是说对每个人都一样。一个AI加速器的数据表可以引用别人的祭,上衣的两倍,但这并不意味着最终的应用程序将运行速度的两倍。
例如,把上衣/瓦特。我们只是在讨论矩阵乘法单元,或整个SoC (SoC)的力量,和我们也采取任何DDR内存,作为PCIe,和其他外围设备考虑?这些细节很少明确表示在产品表。
如果我们观察与加速器相关统计数据,我们可能不会获得相同的结果,不同的主机处理器。甚至与加速器本身相关联的值可以从模型到模型不同。或许最重要的是,真正的应用程序永远不会运行只人工智能模型。对于视觉处理的任务,例如,应用程序也将做解码、调整,否则处理视频饲料和决策和执行操作基于模型检测。
ResNet-50是50-layer卷积神经网络(48卷积层、一层MaxPool和一个平均池层)。如果有人说“我们可以运行XXX帧每秒的ResNet-50模式”在他们的AI加速器数据表,这实际上并不意味着什么结束应用程序开发人员。
如果你正在设计一个新的系统,有很多潜在的硬件限制,必须考虑。什么类型和大小的模型可以AI加速器适应吗?如何输入大小、精度和数量的模型,可以同时运行?
离别认为我们继续之前,如何着手比较一个AI加速器中非常有效但有限的什么可以运行一个加速器,可以运行任何东西但并不高效。哪个是最好的呢?一条带子有多长?
嗯,我们都知道这个东西可以多么困难,但它听上去让供应商大声说出来。此时,我点头头部和同意所有沙市温斯顿说,此时他们拿出幻灯片2显示ORCA-NNX芯片两个M.2模块与外部DDR和一个没有(一个)。
ORCA-NNX有无DRAM芯片在M.2模块
(来源:DeGirum.ai)
这是当他们开始打击我ORCA-NNX有关的信息,我现在know-supports视觉模型和语言模型(以及其他模型),大型模型和小模型,修剪模型和密度模型,浮点模型(Float32)和量化模型(Int8),而这仅仅是个开始。除了DRAM的支持,以及作为PCIe和USB接口,ORCA-NNX还支持高效的多路复用模型,多幅相机实时性能,multi-chip扩展,后者意味着你可以运行一个或两个(或更多)ORCA-NNX加速器在边缘设备,甚至更多ORCA-NNX加速器边缘服务器,所有不改变软件。
说到软件,我们谈论的是一个完全管线式AI服务器栈,Python和c++ sdk简单方便,直观的api用于快速应用程序开发,模型流水线和并行化,支持各种输入数据类型包括(但不限于)图像,相机提要,音频和视频流,和视频文件,加上自动、高效的扩展为多个设备。
“嗯,这听起来令人印象深刻,”我想,“但ORCA-NNX架构是什么样子,这比较竞争如何?“我认为沙市在读我的脑海中,因为这就是我们转换到幻灯片# 3,如下所示。不是如下所示,因为我已经模糊了公司和产品名称相关的任何竞争对手。们DeGirum说:“当我们正式公布数据,它报告的环境是我们的责任我们测量或者如果我们得到他们从其他来源,“他们喜欢保留一些信息不对。他们表明,纵轴是在FPS方面,是否有帮助。
应用程序的性能(来源:DeGirum.ai)
从PyTorch我们被告知,“YOLOv5是一家compound-scaled对象检测模型可可数据集的训练和包括简单的功能测试时间增加(TTA)模型合奏,hyperparameter进化,和出口ONNX CoreML, TFLite。”
结果YOLOv5s使用单、双和四ORCA-NNX实现右边的三列所示。正如我们看到的,甚至一个ORCA-NNX优于它最接近的竞争对手。
因此,我们在本专栏中此刻是我们被告知(a)很难比较不同AI加速器,(b)每个人都引用不同的数字,(c) DeGirum ORCA-NNX优于竞争对手,和(d) DeGirum嫁给自己强大的硬件与直观和易于使用的软件,可以帮助开发人员快速创建强大的边缘AI的应用程序。
”但这些声称每个人都会犯,”我想,伤心(内部)鬼脸。
“但是这些每个人都会犯,“沙市说,苦笑着。
毫不奇怪,这是一个问题的男女DeGirum遇到非常早。他们将迎接一个新的潜在客户,解释说,他们有最好的硬件,甚至更好的软件,和客户将立即回复,其他所有人都在说同样的事情。
这是当沙市介绍的幻灯片# 4(他的蓬勃发展和无声”Tra-la,“如果说实话)。为了沉默怀疑论者,皮套裤,chapesses DeGirum已经引入了一些他们所谓的喜悦云平台如下所示:
高兴的是云平台(来源:DeGirum.ai)
快乐是什么(我很抱歉,我不能帮助我自己)。高兴的是云平台背后的想法是,而不是简单地说“我们是最好的,”的人在DeGirum决定让用户为自己证明。
沙市告诉我,人们希望能够比较和对比AI加速器应用程序的性能,但严格的方式这样做意味着采购平台,创建软件,将它移植到所有的平台上,检查一切都按计划工作,并执行一个分析权力而言,价格和性能上看出来哪一个。毫不奇怪,然而,获取硬件,加载必要的驱动程序,安装完整的软件工具链,甚至开发一个简单的测试应用程序可以消耗大量的时间和资源。
所有的这些都是喜悦的云平台来解决。首先,我们有DeGirum农场设备包括从DeGirum ORCA-NNX平台,边缘tpu从谷歌,并从Nvidia GPU的线条,连同VPUs(加速器的通用术语从英特尔),基于arm的soc等,将硬件和软件变得更加普及。
接下来,我们有动物园DeGirum模型,拥有一个随时可用的集合模型。用户可以使用DeGirum hardware-agnostic api开始开发应用程序的客户端窗口,Unix / Linux, Mac主机。在不远的将来,人们在DeGirum计划添加一个BYOM(“带上你自己的模型”)的能力。
这意味着用户可以加载一个模型,并立即开始开发一个测试应用程序。一旦他们的应用程序的工作,他们可以使用喜悦云平台来评估所有硬件的选择。
的一个主要难点在今天的模型设计,培训,和移植过程是,当你试图让你的模型工作在您所选择的硬件上,它可能是太迟发现模型不是,事实上,适合硬件。们DeGirum称他们翻转的过程,这样你就可以从硬件开始。
训练和未经训练的模型之间的主要区别是它的重量,这意味着您可以评价一个未经训练的模式的兼容性,速度,和可移植性在第一天没有训练的小流氓。一旦你知道你的模型将在选定的硬件上,你可以训练它,修剪,数字转换,等等,一旦你开发你的喜悦云平台上现实的应用程序中,您可以使用相同的软件部署这个应用程序到你的设备。
边缘AI的应用程序本质上是无限的,包括监测、智能家居、智能建筑、智能城市、机器人、工业、医疗、制造业、农业(例如,AI-equipped无人机探测杂草或真菌暴发和应用农药和杀虫剂在小,集中doses-seeag亚博真人 )。
创建先进的边缘AI加速器提供了巨大的机会很小,像DeGirum创新型企业,但前提是他们能说服用户,他们的技术是值得研究的。就我而言,提供喜悦云平台是一个绝妙的主意(让我想起了辉煌!吉尼斯广告因为我想惊叫“辉煌!”)。说你什么?
