在移动设备上使用LiveLink来捕捉面部动画并将其实时应用到虚幻引擎中的MetaHuman上。除了捕捉面部动作,LiveLink还会将头部的旋转发送到虚幻引擎,从而达到更自然的活动范围。
需要的设置
你只能在支持ARKit的iOS移动设备(iPhone或者iPad)上使用LiveLink Face app。你的设备必须装有TrueDepth相机,以下型号符合该要求:
-
iPhone: iPhone X或者更新。
-
iPad: iPad Pro (第三代) 或者更新。
在你执行该指南中的步骤之前,你需要完成以下设置:
-
在你的移动设备上,从Apple App Store下载并安装Live Link Face for Unreal Engine app。
-
创建一个新的虚幻引擎项目。你可以使用任意模板,但是为了达到最好的效果,建议在项目中新建一个空白的关卡。
-
在MetaHuman Creator中创建一个MetaHuman。
-
下载你的MetaHuman并将其导出到虚幻引擎。如果你不清楚如何完成该步骤,请参考下载和导出MetaHuman部分。
-
在虚幻编辑器的主菜单,找到 编辑(Edit) > 插件(Plugins) 并确保为项目启用了以下插件:
-
Live Link
-
Live Link Control Rig
-
Apple ARKit
-
Apple ARKit Face Support
向项目中导入至少一个MetaHuman后,这些插件应该默认自动启用。
-
将LiveLink连接到虚幻引擎
执行以下步骤:
1. 找到你的电脑的IP地址
你需要该信息来配置你的iOS设备和计算机上运行的虚幻引擎实例之间的连接。
在Windows中,执行以下步骤:
-
右键点击 任务栏中的 连接图标。然后,在弹出的菜单中,选择 打开网络和互联网设置。
-
向下滚动到 属性(Properties) 部分(或者点击 属性(Properties) 按钮,取决于操作系统版本)。然后记下或者复制 IPv4地址 数值。
在macOS中,执行以下步骤:
-
打开 网络偏好。
-
双击 网络 图标。
-
选择你当前连接的 网络。
-
点击 高级 按钮。
-
在打开的窗口中,点击 TC/ICP 选项卡,然后记下或者复制 IPv4地址 数值。
2. 配置LiveLink App
在你的iPhone或者iPad上配置Live Link来开始和虚幻编辑器一起使用。
虽然Live Link只能在iOS设备上运行,但是可以使用Windows或者macOS设备编辑你的虚幻项目。
-
在你的iOS设备上,打开 Live Link Face app。
-
点击左上角的 设置 (齿轮图标)。
-
选择 LiveLink,然后 添加目标(Add Target)。
-
在 添加目标(Add Target) 界面,输入你之前记下的IPv4地址。
-
点击右上角的 添加(Add)。
-
(可选)在 主体名称(Subject Name) 字段中,为你的LiveLink连接起一个易于辨识的名字。
要确保LiveLink正确连接,在虚幻引擎的主菜单中,找到 窗口(Window) > 虚拟制片(Virtual Production) > LiveLink。这样会打开 LiveLink 配置设置窗口。你应该可以看到你的iPhone或者iPad作为一个 源(Source) 列在其中。
在该示例中,手机 "iPhoneChris" 被识别为一个LiveLink源。
配置MetaHuman蓝图
接下来,你需要配置MetaHuman的蓝图来从LiveLink接收数据。
-
在 内容浏览器(Content Browser) 中,找到并打开
BP_(MetaHuman名称)
蓝图。在这个教程中,我们使用的是 Taro 预设,其蓝图名称为BP_Taro
。 -
在 组件(Components) 面板中,选择根组件。其名称为
BP_(MetaHuman名称)(Self)
。 -
在
BP(MetaHuman名称)(Self)
组件的 细节(Details) 面板中,配置以下属性:-
LLink Face Subj: 选择你的iOS设备。
-
LLink Face Head: 启用该项。
-
-
编译(Compile) 并 保存(Save) 蓝图。
测试LiveLink连接
现在你可以测试你的LiveLink设置来检查你的MetaHuman是否对输入的数据正确反应。执行以下步骤:
-
在 内容浏览器(Content Browser) 中,将MetaHuman蓝图拖入关卡。然后,在视口中调整位置直到能够清晰地看到MetaHuman的面部。
如果你不清楚如何在视口中调整位置,请参考虚幻引擎文档的视口控制页面。
-
在你的iOS设备上,打开LiveLink Face app并将前置摄像头对准你的面部。你应该能够看到追踪网格覆盖在你的脸上,并且会根据你的表情和头部移动做出反应。
该屏幕截图展示运作中的追踪网格。你可以在LiveLink app的设置中将其禁用。
为了达到最佳效果,确保你的面部不受任何头发或眼镜之类的配件所阻挡,并且面部有充分的光照。
以下视频展示了视口中的MetaHuman,其头部动作和面部表情由一个人类通过LiveLink实时驱动。
接下来的步骤
建立好LiveLink连接后,你可以开始用 Sequencer 和 镜头试拍录制器(Take Recorder) 为你的MetaHuman录制面部动画。要了解如果进行这一步,请参考虚幻引擎文档的以下页面: