虚拟数字人网

怎么在虚幻引擎中用LiveLink为MetaHumans添加动画

admin 技术前瞻 2022-08-24 15:40:58
本页面的内容

在移动设备上使用LiveLink来捕捉面部动画并将其实时应用到虚幻引擎中的MetaHuman上。除了捕捉面部动作,LiveLink还会将头部的旋转发送到虚幻引擎,从而达到更自然的活动范围。

需要的设置

你只能在支持ARKit的iOS移动设备(iPhone或者iPad)上使用LiveLink Face app。你的设备必须装有TrueDepth相机,以下型号符合该要求:

  • iPhone: iPhone X或者更新。

  • iPad: iPad Pro (第三代) 或者更新。

在你执行该指南中的步骤之前,你需要完成以下设置:

  1. 在你的移动设备上,从Apple App Store下载并安装Live Link Face for Unreal Engine app。

  2. 创建一个新的虚幻引擎项目。你可以使用任意模板,但是为了达到最好的效果,建议在项目中新建一个空白的关卡。

  3. MetaHuman Creator中创建一个MetaHuman。

  4. 下载你的MetaHuman并将其导出到虚幻引擎。如果你不清楚如何完成该步骤,请参考下载和导出MetaHuman部分。

  5. 在虚幻编辑器的主菜单,找到 编辑(Edit) > 插件(Plugins) 并确保为项目启用了以下插件:

    • Live Link

    • Live Link Control Rig

    • Apple ARKit

    • Apple ARKit Face Support

    向项目中导入至少一个MetaHuman后,这些插件应该默认自动启用。

将LiveLink连接到虚幻引擎

执行以下步骤:

1. 找到你的电脑的IP地址

你需要该信息来配置你的iOS设备和计算机上运行的虚幻引擎实例之间的连接。

在Windows中,执行以下步骤:

  1. 右键点击 任务栏中的 连接图标。然后,在弹出的菜单中,选择 打开网络和互联网设置

  2. 向下滚动到 属性(Properties) 部分(或者点击 属性(Properties) 按钮,取决于操作系统版本)。然后记下或者复制 IPv4地址 数值。

    livelink-ipv4-windows.png

在macOS中,执行以下步骤:

  1. 打开 网络偏好

  2. 双击 网络 图标。

  3. 选择你当前连接的 网络

  4. 点击 高级 按钮。

  5. 在打开的窗口中,点击 TC/ICP 选项卡,然后记下或者复制 IPv4地址 数值。

    livelink-ipv4-macos.png

2. 配置LiveLink App

在你的iPhone或者iPad上配置Live Link来开始和虚幻编辑器一起使用。

虽然Live Link只能在iOS设备上运行,但是可以使用Windows或者macOS设备编辑你的虚幻项目。

  1. 在你的iOS设备上,打开 Live Link Face app。

  2. 点击左上角的 设置 (齿轮图标)。

  3. 选择 LiveLink,然后 添加目标(Add Target)

    livelink-add-target.png

  4. 添加目标(Add Target) 界面,输入你之前记下的IPv4地址。

  5. 点击右上角的 添加(Add)

  6. (可选)在 主体名称(Subject Name) 字段中,为你的LiveLink连接起一个易于辨识的名字。

要确保LiveLink正确连接,在虚幻引擎的主菜单中,找到 窗口(Window) > 虚拟制片(Virtual Production) > LiveLink。这样会打开 LiveLink 配置设置窗口。你应该可以看到你的iPhone或者iPad作为一个 源(Source) 列在其中。

livelink-ue5-phone-source.png

在该示例中,手机 "iPhoneChris" 被识别为一个LiveLink源。

配置MetaHuman蓝图

接下来,你需要配置MetaHuman的蓝图来从LiveLink接收数据。

  1. 内容浏览器(Content Browser) 中,找到并打开 BP_(MetaHuman名称) 蓝图。在这个教程中,我们使用的是 Taro 预设,其蓝图名称为 BP_Taro

  2. 组件(Components) 面板中,选择根组件。其名称为 BP_(MetaHuman名称)(Self)

    livelink-ue5-root-component.png

  3. BP(MetaHuman名称)(Self) 组件的 细节(Details) 面板中,配置以下属性:

    • LLink Face Subj: 选择你的iOS设备。

    • LLink Face Head: 启用该项。

    livelink-ue5-llink-face-subj.png

  4. 编译(Compile)保存(Save) 蓝图。

测试LiveLink连接

现在你可以测试你的LiveLink设置来检查你的MetaHuman是否对输入的数据正确反应。执行以下步骤:

  1. 内容浏览器(Content Browser) 中,将MetaHuman蓝图拖入关卡。然后,在视口中调整位置直到能够清晰地看到MetaHuman的面部。

    如果你不清楚如何在视口中调整位置,请参考虚幻引擎文档的视口控制页面。

  2. 在你的iOS设备上,打开LiveLink Face app并将前置摄像头对准你的面部。你应该能够看到追踪网格覆盖在你的脸上,并且会根据你的表情和头部移动做出反应。

    livelink-tracking-mesh.jpg

    该屏幕截图展示运作中的追踪网格。你可以在LiveLink app的设置中将其禁用。

    为了达到最佳效果,确保你的面部不受任何头发或眼镜之类的配件所阻挡,并且面部有充分的光照。

以下视频展示了视口中的MetaHuman,其头部动作和面部表情由一个人类通过LiveLink实时驱动。

接下来的步骤

建立好LiveLink连接后,你可以开始用 Sequencer镜头试拍录制器(Take Recorder) 为你的MetaHuman录制面部动画。要了解如果进行这一步,请参考虚幻引擎文档的以下页面:

发表评论

用户头像 游客
此处应有掌声~

评论列表

还没有评论,快来说点什么吧~