当前所在位置:首页 >关于我们>企业新闻

用意念就能控制VR? 2021-05-11
摘要 :用意念就能控制VR?

随着VR设备硬件的平稳进步,各种初创公司对于VR可穿戴交互设备的探索一直没有停止过。前有Haptx设计了震动手套,让用户在虚拟世界中能够感知重力与材质,后有Kat VR模拟用户物理世界中的行走。这些厂商更多针对的是VR游戏市场中的交互,给用户带来更沉浸的操作方式。今天笔者像大家介绍一款非入侵式神经控制器,NextMind。


HaptX与Kat VR在各自的市场销量都很可观

01 什么是NextMind?


NextMind是一款能够讲视觉皮层信号转化为数字指令的非入侵式脑机接口,通过捕捉用户的视觉关注,将命令输入计算机或AR/VR设备。不同与马斯克老师的Neuralink需要将电极植入到大脑的灰质,通过皮层脑电图(ECoG)进行信息解码处理,NextMind使用了8个梳状电极结合脑电图设备(EEG),完成了脑机接口的信息采集当然,采集到的信息肯定不如入侵式的完善


马师的入侵式接口看着就有点吓人
在这里我有必要提一下EEG脑电图结合VR设备的过往状态。从下图可以看出,要想捕捉到大脑皮质活动的信号,需要至少14到20个电极触点连接到用户的头部,不仅大幅增加了设备重量,还需要用户佩戴时尽量露出头皮。NextMind 的设备仅为 60 克,具有 8 个电极,少量的电极数量并没有失去任何潜在数据。这款设备的真正突破是用于电极本身的专有材料,梳状电极可以通过用户头发传导至头皮,以获得一个很好的信号,为机器学习算法捕获更多数据。

研究中带着EEG与设备的受试者NextMind的产品只需卡在VR头显的带子上即可



对于一款消费级数码产品来讲,合理的砍掉一些功能性,获得更便携的体验以及更低的价格,对于购买者来说是完全可以接受的 。



02 交互特性
那么NextMind究竟是如何知道用户的大脑想要完成什么操作呢? 在用户佩戴NM时,专注的观察某些区域时,对应的物体都会在视觉皮层中引起特定的反应。这种神经反应输出为EEG 中一个明显的波动。你的视觉皮层不仅收到来自眼睛的输入——它还放大了神经元的激发,以达到你有意识想要完成的功能。

NextMind的信息采集过程



NM相较于眼球追踪的交互方式的最大区别,它能够获取用户的意图举个例子,用户在VR中观察NPC举起一杯水放在脸前时,眼部追踪器并不能分清用户是在观察NPC的脸还是玻璃当用户环顾四周,更专注于一个对象时候,输出的特征将是放大这些信息,梳状电极检测到用户希望移动该特定内容或激活该特定的视觉内容。注意力集中得越多,物体与大脑之间神经同步的共鸣就越多,机器学习解码也就越多,于是NM边能够得到你想移动哪一块特定区域的证论。





视觉皮层是从物理层面上来看只是一块区域,是你从外部世界得到的东西的输入,但它同时也是你的记忆,想象力与梦想的输出。视觉皮层包含有关形状、方向、边框、颜色和运动的信息,能够提供视觉意识的神经元同时也是用于处理外部世界信息的神经元。NM在目前能够完成的指令如下:
  • 视频播放暂停

  • 指定区域的指令送达

  • 输入四位数字(速度较慢)

  • 变换指定物体颜色

  • 改变物体形状


在用户第一次佩戴NM时,必须通过校准和培训课程,以建立独立的神经配置文件模型。这主要包括聚焦于三条绿色线,它们靠近一起形成一个三角形。此三角形将显示在屏幕上的不同对象上。几分钟后,NextMind将会生成大约 1 到 10 兆字节的数据,这些数据代表了用户的神经状况。在这个过程中由硬件与机器学习协作完成,就像深神经网络一样。很大程度上是为了改善认知方面,比如如何更好地集中注意力,什么样的信息需要你的注意,如果你想闪烁,你的大脑的优先频率是多少等等。





03 助力VR成为生产力设备?
虽然从演示视频来看,NM的识别速度并没有达到理想状态,但这并不影响我们展开思维去思考他能够应用在哪些场景中提高效率。首先我个人层面认为神经控制应用在VR游戏中并不是他最好的平台。在游戏体验中,我们往往希望能够做出与现实世界相符的动作或状态。比如我在用手柄打英灵殿时,击杀掉敌人的反馈仅仅只有手柄震动反馈,但在中玩家可以挥舞手柄完成简单的按键操作来增加沉浸感。但如果在游戏中解放双手,仅仅靠意念来控制虚拟角色完成指令,反而舍近求远了。


笔者认为,NM恰当的应用场景应该是繁杂的、难以定位的多线程办公任务。设想一下以下几个场景:在你用Photoshop或AI时,是否经常被繁杂的图层或较小的矢量图形需要用鼠标勾选或查找很久?或在建模时,想同时选中不同区域的线或者面,总是选错?又或者浏览器打开多个页面时,想迅速切换页面。这些繁杂的简单指令都可以通过输入神经数据,通过NM来快速完成,节约了用户寻找中浪费的有效时间。



或许在不久的将来,我们可以带着VR用NextMind来躺着完成一些简单任务从而避免由于久坐产生的肩颈小肌群疲劳甚至颈椎病。



保护颈椎,从早做起。



参考文献:NextMind | Let your mind take control | Order your Dev Kit (next-mind.com)NextMind is building a real-time brain computer interface, unveils Dev Kit for  | VentureBeat