CEVA推出了一种新的视觉平台,他们称之为CEVA- xm4。我们研究了他们之前的平台MM3101,之前;你可以考虑下一个阶段。几乎从字面上。
CEVA将视觉处理描述为类似于一个3阶段的流水线。首先是基本的视觉处理步骤,以生成干净的3D数据,创建左右图像和深度图。下一步通常被称为计算摄影使用复杂的算法来创造更高的分辨率和其他质量改进,而不是给定的相机自己能够产生的。
这两种功能都包含在先前的视觉处理器中;XM4进一步实现了第三阶段,即他们所说的“视觉感知”。例如,这意味着对象识别和跟踪,以及增强现实算法和所谓的自然用户界面(NUI)——“自然”是一个模糊的概念,比如“直观的”)。根据应用程序的不同,这三个阶段都可以在单个XM4核心中实现;如果需要更多的果汁,那么可以实例化多个核心。
(图片由CEVA提供)
从相机的角度来看,这里的部分想法是,更高级的处理往往是在云中完成的,这涉及到从相机到云的大量数据传输。XM4的部分意图是增强相机,以便大部分繁重的工作首先在相机中完成,抽象所有原始数据,并减少向云移动的次数。
但XM4不仅仅是静态相机;它还涉及汽车视觉以及将视觉整合到物联网中-摄像机等,其目的是识别特定的工件,以便采取某种行动。它可以是一个安全摄像头,也可以是一个“一直在看”的家庭摄像机,但只有当你的孩子在画面中时才会拍摄。(这意味着它实际上是在拍摄和处理,但如果不能识别你的孩子,就会被丢弃。)
(图片由CEVA提供)
在某种程度上,这只是一个强大的DSP。但他们已经采取了几个重要的步骤来瞄准视力。首先是简单地优化指令集。第二是优化内存的管理方式。他们举例说明了几个例子。
在一种情况下,他们已经建立了在一个时钟周期内执行分散和聚集的能力。大多数矢量算法要求待处理的内存整齐地排列在相邻的单元中;如果所需的单元格分布在各处,那么您要么需要将它们复制到一个便签本区域来处理它们,然后再将它们复制回来,要么无法对算法进行矢量化。
由于具有分散-收集功能,它们可以快速处理此问题,从而允许对可能保持串行的算法进行矢量化。
另一个是我认为的窗口能力;他们称之为“二维处理”。许多视觉算法都包含一个滑动窗口,在一个位置的窗口中包含的内容与窗口移动一个缺口后包含的内容之间存在明显的重叠。它们可以有效地重用重叠的内存区域,而不需要复制到内存中。
这些功能主要是通过预先优化的库组件实现的;这样,设计师就不需要考虑它们如何运作的细节;它已经为它们完成了(类似于SmartFrame我们过去描述过的特性)。
虽然这些低级处理器可能涉及低级编程,但它们的Android多媒体平台允许在Android级别编程,框架通过CPU连接到视觉处理器。
你可以在他们那里学到更多公告。