虚拟数字人网

混合捕捉系统 混合捕捉技术

cnshuziren.com 技术前瞻 2022-08-30 16:18:48

近年来,光学/惯性混合系统陆续出现。这些系统保留了双方各自的部分优点,同时摈除了一些缺点。比如遮蔽的问题。如果在运动期间摄像机的画面暂时屏蔽了过多的光学标记,就没有足够的数据来正确地还原演员的表演。另一方面,惯性系统就可以无视遮蔽,继续提供数据。在结合了剩余的可见标记的数据后,这些额外数据将有助于确保提供充足的追踪数据。

惯性数据也有助于减少与光学系统数据结合时的信号颤动(动作侦测时的噪点)。在每一帧寻找最接近标记的3D 位置时,光学系统有一定程度的测量不准确性。技术标记实际上并未移动,这个“最接近”的位置也可能会在每一帧有细微变化,这是由于各种环境因素的影响,例如环境光的改变。这些细微变化会让标记计算出的位置出现颤动。在整个运动期间,颤动并不是很大的问题,它会被掩盖在更大幅度的动作下,但如果运动速度变慢,或者标记是静止的,颤动就会变得很明显。如果将惯性传感器安装到系统上,当惯性传感器的加速计侦测到标记运动缓慢或静止,光学数据就会受到额外的筛选,从而变得平滑,进而消除颤动。

混合系统往往会用到“冰球”传感器,这是一种独立的编写追踪设备。它的命名源于它与冰球类似的形状,可以放在固定位置,也可附加到动捕套装、道具或摄像机上。冰球传感器追踪的可能是惯性或光学数据,也可能两者兼备,这取决于其内部设计。

OptiTrack Active Puck【图片由OptiTrack 提供】

附加至/ VIVE球拍上的VIVE Tracker【图片由VIVE提供】

大家主要会遇到两种混合系统:

传感器内部混合

在这种系统中,混合发生在实际传感器的内部。传感器利用光学追踪功能获取位置和方向信息,并且在传感器追踪标记被镜头遮蔽时利用IMU 提高追踪精度,防止数据丢失。

IMU 提供加速度和速度数据,可以用来在光学追踪被遮蔽时预测运动路径。通过预测以在遮蔽期间平衡数据,这样一来,这些类型的传感器就只需搭配少量摄像机,而不是一整套光学系统,从而降低总成本。然而,这需要额外的电子设备来测量惯性数据,也使得这些混合传感器的体积较大。

采用这种方法的一些例子:

  • VIVE Tracker
  • OptiTrack AcOptiTrack

系统层面混合

这类混合系统在系统层面实现了混合。一个例子就是,让完整的惯性动捕套装提供数据,然后用一个或多个光学标记来补充额外的位置数据,从而抵消惯性系统的偏差。

这种系统有很多应用的例子,但这两个数据源之间很难妥善地融和。比如,理论上你可以将一个标记添加到演员的髋部,然后把惯性动捕服的髋部数据位置设为标记的位置。然而,无论你把标记放在演员身上的何处,它都不会严格按照演员的骨盆来运动,这是由于人类髋部的运动机制。比如,当演员弯腰时,标记上下移动的方式可能并不能反映骨盆的实际运动。这会导致目标骨骼看起来像是蹲伏(甚至是飘浮),而演员其实只是在俯身或者躬身而已。

采用这种方法的一些例子:

  • Xsens惯性动捕套装+VIVE Tracker定位器

发表评论

用户头像 游客
此处应有掌声~

评论列表

还没有评论,快来说点什么吧~