EEJournal

专题文章
现在就订阅

遥望远方

技术给了我们3D和4D的图像

它被做成了一件大事,你应该感谢阿凡达。3D曾经是一个傻傻的电影噱头,需要戴上你在其他任何地方都不会被发现的眼镜,但现在它突然变得很酷。有一段时间,把普通的东西变成酷炫的东西的最好方法很明显:制作3D。

好吧,我们变得更老了,也更聪明了(好吧,不管怎样,更老了),我们有时间喘口气,把无休止的3D电影、3D电视、3D打印机的结果内化。(好吧,这不仅仅是一个噱头……)但现在我们更容易深入、细致地看待3D及其在票房之外的其他方面的潜力。

特别是嵌入式视觉正在进一步向3D世界发展:它甚至正在走向4D。但我说得太超前了。让我们从2D开始,并进一步了解设计师是如何利用简单的设备来创建复杂的视觉模型的。

视觉被运用的最直接的方式之一是用于手势识别.我们人类处理手势主要是作为视觉线索,这些手势发生在三维空间。例如,当我们示意某人靠近时,我们(在美国-这不是普遍的)举起双手,手指指向天空,手背面向我们正在交流的人,我们所有的手指都快速重复地朝自己移动。2D投影几乎看不到移动,因为这个手势主要是在你和另一方之间的直线上进行的。用相机的术语来说,这是第三维。

所以用普通的2D相机很难捕捉到这个特定的手势:如果你能捕捉到所有的三维空间,你会做得更好。我们已经看过了视力该公司正在为使用标准2D笔记本摄像头的笔记本电脑安装手势识别系统;PointGrab是另一家有着类似目标的公司。但是,现实地说,电脑使用的手势往往是我们对另一个人所做动作的夸张版本。(就像我们对着电脑和手机大声说话,把它们当成外国人一样。)第三维度提供了额外的信息来补充2D信息(当然是有代价的),允许更微妙的运动。

三维空间在其他方面也很有用。以汽车上用于防撞等用途的摄像头为例。即使没有雷达等特定的测距技术,应用程序也可以使用视觉线索来估计与其他车辆的距离,从而发出碰撞警告和避免碰撞。同样,这可以在二维空间中尝试,就像iOnRoad所做的那样,使用手机摄像头。但是,计划完全集成到汽车安全系统中的系统可能会受益于实际的第三维度。

撇开应用程序不谈,如果你想要关于缺失的相机尺寸和深度的真实信息,有不同的方法来获取它。结果通常是所谓的“深度图”,它将深度值分配给图像中的每个点(或主要工件或点的某个子集)。您可以将此视为向定义像素的元组添加另一个值(例如,x和y位置和颜色值)。

我们习惯于思考3D的最明显的方式是使用双目系统——两个摄像头。当然,这样做的缺点是需要两台摄像机。还有一个“对应问题”:对齐两张图像,这样你就可以三角测量深度。

这个过程通常首先包括从每张图像中去除失真,因为镜头会向边缘弯曲直线或引入其他像差。这些需要修正,使两幅图像看起来“平坦”。然后,这些图像可以逐像素进行比较,以创建所谓的“视差图”,该视差图可用于计算深度图。

当试图决定哪些点对应哪些点时,挑战就来了。对于小的工件或边缘-特别是角落,这并不难。但对于一个颜色域中间的像素,例如,很难建立对应关系。

使用“结构光”会有所帮助。这可以包括红外特征,例如,投影在各种表面上(就我们和图像摄像机而言,是看不见的)。它们既可以促进对齐,也可以直接从精心设计和投影的特征中推断距离。例如,可以投射出一个形状,近距离撞击看起来像水平的椭圆形,远一点形成一个圆,再远一点看起来像垂直的椭圆形。通过测量椭圆的方向和长宽比,可以推断出距离。这并不需要第二个图像相机,但是,当然,需要红外成像。

其他单相机方法包括干涉测量法和“编码光圈”掩模的使用,其中由多幅图像产生的模糊可以产生深度信息。

最近受到更多关注的方法似乎是所谓的“飞行时间”解决方案。这个想法是,通过测量光从表面反射回来所需的时间,你可以知道它有多远;这听起来几乎微不足道。但具体是如何做到这一点并不简单。

一种方法是用射频载波调制光束,然后用反射信号的相移来测量距离。当然,这只适用于对波长取模的情况:与波的同一相位相对应的距离上的所有物体看起来都是相同的距离。另一种方法是用快门来阻挡反射的光脉冲。根据光线在快门打开的时间窗口内返回的时间,或多或少的光线会通过,然后用亮度来推断光线返回的距离。

当然,噪音是所有这一切的敌人,背景光会淹没你感兴趣的部分。如果您正在寻找一个移动的对象,例如,在一个不变的背景上,那么可以捕获背景图像并从工作图像中减去背景图像,以隔离正在跟踪的项目(或任何不属于背景的项目)。

其他并发症包括多路径反射,这可能会夸大距离,以及相机之间的干扰:多个相机可能会相互混淆。

但飞行时间很有趣,因为它可以被简化;它没有活动部件,而且加工程度适中。您还可以立即获得完整图像字段的深度信息,这意味着您可以实时跟踪对象及其深度。

既然已经解决了三维问题,为什么还要止步于此呢?那么四维空间呢?如果这让你摸不着头脑,没关系;我们会转到有点超现实的地方。我们通常认为时间是第四个维度(这就意味着3D视频)。但它不是这样的:第四维或多或少是焦距。“全视”相机可以一次性捕捉所有焦距,这意味着你可以对图像进行后期处理来改变焦距。是的,很奇怪。你可以看到web演示这几乎是令人毛骨悚然的:你从一张具有显著景深的图像开始,有清晰的焦内和失焦部分;你点击一个失焦的元素,突然它就聚焦了。

这是通过构建一个人造苍蝇眼来实现的。微透镜在成像硅上排列成阵列,每个透镜利用来自各个方向的光捕捉整个图像。然后,您可以从图像的多个再现中重建具有任何焦距的图像。这就像打了类固醇的双目视觉,很容易就能获得深度图。

除了能够在事后重新对焦非常酷之外,这种方法的好处是允许快速捕获图像-你不需要对焦步骤,所以你可以更快地拍摄照片-并且允许更大的光圈-因为对焦不再是一个问题-使其更好地用于低光情况。

挑战在于图像分辨率不是由图像传感器的像素密度决定的;它是由微透镜阵列设定的。微透镜很小,但它们比像素大得多,所以这种照片的分辨率比其他可能的分辨率要粗糙。两家公司正在将这项技术商业化。第一个出场的是Raytrix,有100万像素和300万像素的商用和商用相机工业使用。Lytro有一款120万像素左右的面向消费者的相机,由于他们的消费者定位,他们的曝光率更高。

对于所有这些选择,我仍然觉得3D相机技术正在改变,寻找坚实的牵引力和前进的道路。预计它将成为嵌入式视觉联盟持续关注的主题。通过傻傻的眼镜让一部电影看起来非常酷是一回事;以一种不引人注目的方式添加深度信息完全是另一回事。当3D不再那么自我意识时,我们就会知道我们已经掌握了它,它将不是什么大不了的事情。

更多信息:

嵌入式视觉联盟

视力

iOnRoad

Lytro公司

PointGrab

Raytrix

对“看向远方”的一种思考

留下回复

有特色的博客
2023年1月19日
本周周二,Future Horizons的马尔科姆•佩恩(Malcolm Penn)就半导体行业前景发表了年度三场演讲之一的演讲。我上次写马尔科姆的演讲时,感觉像是“最近”,但实际上是在2021年。那个帖子叫做Se…
2023年1月18日
GridVortex的工作人员因其在安全关键和任务关键系统上的工作而闻名,被一些人称为“故障安全裸金属家伙”……
2023年1月18日
了解为什么2023年将是多模系统的重要年份,因为芯片设计人员使用芯片技术和UCIe标准来满足高性能计算及其他领域日益增长的PPA需求。文章《为什么2023年对多芯片系统有很大的希望》首先出现在从硅到软件....上
2023年1月16日
所以你的网迹有太多的寄生虫抗性。它来自哪里?你运行了... ...

有特色的视频

Synopsys 224G和112G以太网PHY IP OIF在ECOC 2022互操作

Synopsys对此

这段特色视频展示了Synopsys 224G和112G以太网PHY IP中长到达性能的四个演示,与第三方通道和serde互操作。

了解更多

特色粉笔谈话亚博里的电子竞技

PSoC 62S2评估工具包的灵活开发

逮老鼠的电子产品而且英飞凌

为了在今天成功推出物联网设计,我们需要一个强大的工具箱,包括云连接解决方案、传感器接口、无线电模块等。在本集Chalk Talk中,来自英飞亚博里的电子竞技凌的Amelia Dalton和Paul Wiegele研究了来自英飞凌的PSoC™62S2评估套件。他们仔细研究了这个工具包中包含的主要功能,以及它如何帮助启动您的下一个物联网设计。

点击此处了解英飞凌技术PSoC®62S2 Wi-Fi®BLUETOOTH®Pioneer Kit的更多信息

Baidu