设计智能边缘AI设备与获奖Synopsys对此弧NPX6转IP
ABI研究公司高级分析师Yih-Khai黄最近指出,边缘人工智能(AI)的应用程序和用例是流行在许多行业。而不是将大量数据转移到云端,边缘AI显著减少延迟允许摄像机和传感器迅速directly-analyze pb级的高分辨率图像和视频。边缘AI系统通常需要通过复杂的推理功能复杂的卷积神经网络(cnn)和变压器。虽然gpu支持美国有线电视新闻网和《变形金刚》,专门AI加速器优化了这两个模型是一个更好的选择优势的应用程序需求高性能推理能力的最小面积最少的权力。
请继续阅读,学习为什么公司使用低功耗、高性能的神经处理单元(转专业)等Synopsys对此弧®NPX6转IP设计专用的优势广泛应用人工智能处理器,从监测异常检测和基于事件的相机到增强现实(AR)和虚拟现实(VR)。优化对cnn和变压器、电弧NPX6转IP最近获得了“最佳边缘AI处理器”在2023年的边缘AI和视觉产品的年度大奖AI和视觉联盟带来的优势。
将卷积神经网络与变压器模型
十多年来,cnn是最受欢迎的视觉深度学习模型处理应用程序。进化,cnn准确地支持一组扩展的用例,包括图像分类、目标检测、语义分割(分组或标记图像中每个像素),以及展示全景的分割(识别对象位置以及分组或标记每个像素在每一个对象)。
虽然计算机视觉应用景观由cnn是可以理解的,开发的一种新算法category-initially等自然语言处理(NLP)翻译和queries-has严重超出取得进展ChatGPT。称为一个变压器,由谷歌开创节拍cnn的深度学习模型精度没有任何修改除了用图片代替语言补丁补丁。此外,谷歌的愿景变压器(ViT),一个基于原来的变压器结构,优化模型优于可比CNN和更少的计算资源的四倍。
这是因为变压器使用财产的注意机制和稀疏提高培训,关注相关数据,提高推理能力。使用这些技术,变形金刚可以更好地学习和理解更复杂的模式作为cnn通常不知道地址数据帧之前或之后。然而,重要的是要注意,虽然变压器提供更高的精度,cnn实现更高帧每秒(FPS)。这就是为什么变压器经常搭配CNNs-to增强视觉处理应用程序的速度和准确度。
MobileViT在2022年初,推出的苹果,是这种方法的一个例子。从本质上讲,MobileViT合并变压器和CNN视觉特性来创建一个轻量级模型分类。变压器和卷积的组合,当相比CNN-only MobileNet,提供更高的准确率百分之十三相同的大小模型系数(6米)。
提高图像和视频推理效率
意料之中的是,现在有许多专用变压器,支持图像和视频推理精度增加。元的TimeSformer例如,达到最好的报道数量在几个挑战行动识别基准,包括动力学- 400行动识别数据集。此外,与现代3 d cnn相比,TimeSformer火车快3倍左右,仅需要不到十分之一的数量推理的计算资源。的可伸缩性TimeSformer使大型模型的训练扩展视频剪辑和开门设计更多的智能优势AI系统的公司。
专为监控视频异常检测(SVAD),TransCNN是一种混合动力变压器和CNN机制,利用空间和时间信息从监控视频来检测异常事件。TransCNN检测异常高水平的准确性,结合高效的骨干CNN比起空间特征提取与模型的基于变压器模型,长期学习时间不同复杂监视事件之间的关系。TransCNN优于其他先进的方法,实现高AUC值的94.6%,98.4%,和89.6% ShanghaiTech, UCSD Ped2和中大大道数据集,分别。
优化AR / VR应用程序
视觉变压器模型也帮助系统设计者优化基于“增大化现实”技术和虚拟现实的应用程序。例如,一个研究小组在中国科学技术大学比起最近相结合的基于变压器与CNN-based编码器译码器来改善传统的深度估计。被称为单眼深度估计(身边)混合动力技术有效地恢复每个像素的深度值从一个RGB图像。当与纽约大学深度V2(室内)和KITTI(户外)基准,身边的两个定量和定性评价得分达到最佳性能。
另一个从斯坦福大学的研究团队,NVIDIA和发达的香港大学transformer-based副驾驶员为人们沉浸在AR预测和避免碰撞和虚拟现实环境。副驾驶训练,研究小组开发了一种合成数据生成框架,生成虚拟人的视频移动和碰撞在不同的3 d场景。广泛的测试演示了副驾驶员成功推广了看不见的合成以及现实世界的场景,与输出,可以用来进一步提高下游避碰。
加快有线电视新闻网和《变形金刚》
尽管大多数当前人工智能加速器是cnn的优化,很多都是不理想的变压器,因为后者要求相当大的计算能力和内存资源执行复杂的计算和支持稀疏。优化对cnn和变压器、电弧NPX6转IP是一个加速器,有效地使高性能边缘AI用例中最小功率信封:
- 硬件和软件集成连接功能多个转实例实现每秒3500 tera操作在一个SoC(顶部)的性能
- 交付,在一个实例中,250顶在1.3 GHz 5 nm过程在最坏的条件下,或440顶部利用稀疏,从而增加执行一个神经网络的性能,同时减少能源需求
- 无缝地扩展从4 k到96 k multiply-accumulate操作(mac)
- 提供可选的16位浮点支持在神经处理硬件层的性能最大化和简化从gpu用于AI原型过渡到大容量电力,area-optimized出类拔萃
弧NPX6转IP是搭配Synopsys对此弧®MetaWare MX开发工具包其中包括编译器和调试器,神经网络软件开发工具包(SDK),虚拟平台SDK,运行时和库和先进的仿真模型。帮助设计师加快上市时间,cnn工具包自动编译和优化模型,变形金刚,推荐系统,复发性神经网络(RNNs)和长期短期记忆网络(LSTMs)。
弧NPX6转专业知识产权获得“最佳边缘AI处理器”奖
许多公司利用电弧NPX6转IP设计先进的边缘AI系统广泛的应用程序。昨晚在嵌入式视觉峰会上,弧NPX6转IP被授予“最佳边缘AI处理器”在2023年边缘AI和视觉产品的年度大奖AI和视觉联盟带来的优势。当宣布该奖项,杰夫棺材,的创始人边缘AI和视觉联盟告诉与会者,Synopsys对此是一致的,敏捷的创新者,赢得优势AI和视觉产品的年奖两年——运行2022年最佳汽车解决方案为Synopsys对此弧EV7xFS处理器IP和2023年最佳边缘AI处理器。
“我祝贺Synopsys对此团队获得这种区别的弧NPX6转IP,继续Synopsys对此“强有力的创新传统处理器的嵌入式人工智能和计算机视觉,”杰夫棺材。
结论
边缘AI系统通常需要先进的推理能力通过复杂的cnn和变压器。虽然gpu支持美国有线电视新闻网和《变形金刚》,特制的AI加速器优化了这两个模型是一个更好的选择优势的应用程序需求高性能推理能力的最小面积最少的权力。这就是为什么公司使用的低功耗、高性能弧NPX6转IP设计专用的边缘AI处理器为范围广泛的应用程序包括监测异常检测、基于事件的相机和AR /虚拟现实设备。
了解更多
补上这些人工智能博客掌握最新的趋势:
