那些认为人类主要用语言交流的人没有花太多时间误解电子邮件或短信。我们的大部分交流负荷可能都是通过音频通道进行的,但伴随的视频包含了很多关于如何对所说的话做出反应的提示。
部分原因是立场和表达。但是,根据文化的不同,说话时或多或少会用手势来表达。对于善于表达的人,你可以在远处看到他们,即使不能知道他们所说的话的细节,至少也能知道是时候准备战斗还是逃跑了。
但实际上手势有两部分。有身体某个部位的运动——最典型的是上肢的一些或多个部位;称之为语法。然后是与这个运动相关的意义——称之为语义学。这听起来可能有点精细,但事实上,相同的手势在不同的地方可能意味着不同的事情。
一个在墨西哥的美国人可能会遇到这样的情况:当他接近一个当地人时,当地人似乎在挥手让他走开,好像有什么危险似的。事实证明,在墨西哥,“手举在空中,把它推到一边,手掌朝外,手指卷曲”的手势意味着“到这里来”。美国人用相反的手势邀请别人靠近,把手伸向对方,掌心向内。非常让人困惑。
这种手势语法和语义之间的划分是一家名为Movea的公司开发的技术的核心(他们的Tim Kelliher,我和他交谈过,把它读成“movie-uh”)。Movea从人体区域网络起步,他们解决了一些运动应用范围但他们专门推出了MoveTV,解决针对电视的手势。不,这并不是你所希望的那种意思。
他们的重点不是语音识别,而是在游戏和电视导航领域看到了商机。使之成为现实的是,体感遥控器的价格已经降到了消费者应用可以接受的范围。这是关于你通过遥控器表达的手势。
他们看到的一个大市场是酒店的室内娱乐——有点像按小时播放的wi - fi。或者wii付费,或者……好吧,我该继续了。它与机顶盒相连,机顶盒配有遥控器。当然,遥控器是必须配备的惯性测量单位(imu),这样它就可以知道它是如何被移动的。它还需要无线电来传达运动。
有了这些设备,你可以做的不仅仅是玩游戏:你可以用遥控器来帮助浏览机顶盒屏幕,浏览程序,做出选择,这比在遥控器上按一堆按键要容易得多。
来自遥控器的低级运动信息被馈送到机顶盒(或任何其他合适的计算平台),在那里对用户正在做的事情做出决定。所有的决定都与手势语法有关:动作是什么?
这可能是一件棘手的事情。这也是Movea的价值所在。他们授权了他们所谓的SmartMotion Server,这是一个手势识别引擎。在基本层面上,它包含了9个开箱即用的基本手势库:
- 刷
- 向上
- 下来
- 左
- 正确的
- 卷
- 左
- 正确的
- 根据您在大西洋的位置打勾或打勾(√)
- 关上(×)
- 摇
他们还可以创建自定义手势,他们的手势构建工具允许开发人员将自己的手势库组合在一起。
虽然在某种程度上,弄清楚一个手势似乎并不像火箭科学,但在游戏中获得足够的细微差别就更难了——他们必须能够区分手势,同时适应广泛的技能水平。所以这不仅仅是运动跟踪——他们必须在此之上抽象一点。这就好像每个手势都必须代表一个“平均值”的广泛分布,同时仍然保持与其他手势的清晰分离。
遥控器本身可以决定什么是可能的。在最简单的层面上,对于大多数手势来说,几乎任何遥控器都可以使用:遥控器看起来像鼠标。引擎得到dx而且dy信息和工作。然而,有些手势需要来自遥控器的原始数据。这可能是可用的,也可能是不可用的,往往是专有的,并因远程而异。
因此,与远程控制公司合作非常重要。他们不再需要为每个遥控器和传感器分别校准。
事实上,他们已经到了这样的地步,在大多数情况下,进行新交易是一种商业安排,所需的技术工作较少。这一切都与授权有关,而且大多数交易似乎都是定制的。通常情况下,系统构建者将决定使用什么遥控器和机顶盒,然后让Movea与它们一起工作。
在Android等标准平台上,它们可以触发标准事件。但是他们也做了很多与专有系统。举个例子,康卡斯特使用了带有博通处理器的摩托罗拉机顶盒;遥控器来自环球电子公司。在这种情况下,Mot整合了整个包,包括从Movea获得手势引擎的授权,然后将其转售给康卡斯特。
当然,我们在这里处理的只是手势语法。语义呢?这些手势是什么意思?当然,这取决于应用程序,是系统开发人员的进一步领域。Movea传达的是肢体动作;另一些人则将其解读为当下所发生的事情。
这可能离解释沟通手势还有很长的路要走,但想想看,当你开始输入电子邮件时,你戴上的一只薄薄的、不显眼的手套。那只手套有传感器,用来解释你打字时的手势,它将手势信息嵌入到电子邮件本身,这样读者就可以知道更多关于如何理解你的电子邮件的信息。
我知道,同时做手势和打字很难,但稍加练习……
更多信息:
您是否同时使用多个运动传感器来检测比简单的六个基本方向更复杂的运动?真的像听起来那么难吗?
我们如何避免随机手势被误解为命令的“拍卖行效应”?我可不想在《幸运之轮》里挠鼻子就能换台。
这包括一个带有传感器的遥控器;它不像Kinect,它只是观察你的四肢。所以,不要用遥控器抓鼻子。