3D 虚拟数字人创作与交互引擎：元宇宙新视界开启

在当下元宇宙概念火爆的时代，虚拟数字人作为元宇宙的重要组成部分，成为了场景入口与连接纽带，备受各界瞩目。随着元宇宙的发展，虚拟数字人的应用范围不断扩大，涵盖了教育、主播、企业、文旅、IP 形象等多个领域。例如，在教育领域，虚拟数字人可以辅助老师进行教学管理，提高教学质量和效率；在主播领域，虚拟数字人主播能够代替真人主播完成一些直播工作，实现 7*24 小时不间断直播，抢占更多流量；在企业领域，虚拟数字员工为客户提供功能介绍或使用指导，提升用户体验；在文旅领域，虚拟人导游、讲解员以及小剧场丰富了文化传播方式和交互方式，吸引更多客流；在 IP 形象方面，可定制虚拟主持人、主播、偶像，实现节目内容的快速自动化生产，打造品牌 IP 形象。

近两年，国内数字人项目呈现井喷态势，元宇宙的火爆也让虚拟人备受关注。作为zhiming 3D 引擎的 Cocos，将 “触角” 延伸到了虚拟角色领域。Cocos CEO 林顺十分看好元宇宙的发展，认为元宇宙的三种呈现形态 —— 虚拟空间、增强现实、平行世界，都需要强大的 3D 技术作支撑，而这正是 Cocos 的擅长领域。凭借在渲染层、移动端适配、工具化等方面沉淀多年的丰富技术经验，Cocos 试图降低在低算力终端中运行虚拟角色的技术难度。

Cocos 为开发者提供了多个低门槛、高效率、跨平台的虚拟内容生产工具，如 Cocos Creator、Cocos Persona Editor 编辑器、Cocos Avatar SDK 等多款虚拟角色编辑工具。这些工具涵盖了写实、卡通和二次元等不同风格的虚拟角色制作方向，希望支持美术创作者自定义生产各类虚拟角色。今年 8 月发布的 Creator 3.6 版本，在画面渲染、性能、原生化、编辑器优化等方面都做了大幅进化，引入了动画系统，增加了对材质和光照模型进行优化等新功能，提高了虚拟角色的表现效果，让光影更加真实。目前，Cocos Persona Editor 编辑器和 Cocos Avatar SDK 正在紧锣密鼓地开发中，预计不久后将正式推出。Cocos Avatar SDK 已适配安卓、iOS、H5、微信小程序 / 小游戏端，可以直接嵌入到 APP 内，实现流量的闭环，为用户提供更好的体验。

 1.Reblium Studio

Reblium Studio 是专注于数字人的 Reblika 公司推出的全新角色创作软件，能够为游戏、动画和可视化创建超精细 3D 角色。它具有以下功能特点：

• 基于文本描述自动生成角色：用户无需具备专业的建模知识，仅通过输入文字描述，即可生成高度逼真的 3D 角色。

• 允许艺术家手工创建角色：对于专业艺术家来说，Reblium Studio 提供了直观滑块界面，通过调整滑块可以改变角色的年龄、性别、种族以及身体类型等属性，还能为角色贴图并生成头发。

• 高兼容性：Reblium Studio 能够读取并导入 FBX 格式的 3D 模型文件，导出 FBX 格式的基础网格模型，同时还支持 Alembic (ABC) 文件格式导出，适合存储大量动画数据。导出的 FBX 文件可被支持 FBX 格式的 DCC 应用软件正确读取和使用，对于使用 Unreal Engine 的用户，还有专门的 SDK 插件，借助 DHS（数字人类系统）文件格式，提供高质量的视觉效果和流畅的操作体验。此外，最新的 Reblium Studio1.02 还添加了通过免费的 iOS 应用 Live Link Face 实现实时面部追踪的功能。

Reblium Studio1.02 yongjiu许可证售价 99.99 欧元，支持 Windows 10 及以上版本。Reblika 推荐使用 NVIDIA GeForce RTX 2080 GPU 或更高版本；Blender 脚本支持 Blender 3.6 及以上版本；Unreal Engine 插件支持 UE5.1 及以上版本。

Meshcapade Me 是德国计算机视觉研究领域初创公司 Meshcapade 推出的基于浏览器的虚拟形象生成器测试版。它具有以下主要技术特点：

• 处理多种数据源：可以从身体测量数据、3D 扫描、照片和视频片段等多种实际数据源中生成适合增强现实 (AR)、动态图形或者游戏的轻量级动画 3D 角色。

• 生成轻量级动画 3D 角色：用户可以选择创建男性、女性或中性的虚拟形象，通过调整滑块来改变主要的人体比例，并且可以应用一些简单的预设皮肤纹理和服装。此外，还可以上传演员的照片或视频，让 Meshcapade Me 自动将 3D 虚拟形象调整到符合演员的实际体型。

• 可在浏览器中运行：Meshcapade Me 可以在浏览器中运行，支持 Android、iOS 和台式电脑，兼容大多数主流浏览器，包括 Chrome、Edge、Firefox 和 Safari。生成的 3D 虚拟形象，可以以 OBJ 或 FBX 格式下载，用于在 DCC 应用软件和游戏引擎中使用，动画也可以以 FBX 格式下载。还有一个 Blender 插件，帮助 Blender 理解和使用 Meshcapade 的 SMPL 人体模型，而 UE 插件则可以将 Meshcapade Me 生成的动画，重新定位到 UE5 中的角色。Meshcapade 2.8.0 用户可以直接从视频中获取数据，生成所需的 3D 虚拟形象。增加了新的示例图像和视频，供用户参考或学习如何使用该工具。最新功能 MoCapade，是一种无标记点的动作捕捉系统，可以从原始视频中捕捉到演员的动作细节，甚至包括手指的移动。

Meshcapade Me 目前处于测试阶段，注册账户即可获得 2000 积分，每日登录还能得到额外 500 免费积分。服务采用积分制：从测量值或图像生成虚拟形象需要 100 个积分；从扫描或视频生成形象需要 500 个积分；也可购买积分包，500 个积分售价 5 欧元。UE 插件已经过 UE5.3 的测试。

SwitchLight Studio 是一款由韩国人工智能初创公司 Beeble 开发的基于 AI 的虚拟制作工具。它具有以下特点：

• 针对特定用户群体：专门针对电影制作者、虚拟制作专业人士以及视效艺术家，特别是独立工作室。

• 从视频素材中提取演员并重新打光：能够从视频素材中提取演员，并使用 AI 和基于物理的渲染技术在后期制作过程中重新打光。

• 即将更名 Virtual Studio：即将进入正式发布阶段，马上就要更名 Virtual Studio。

超写实 3D 数字人创作模块为用户提供了高度自由的形象创作与定制功能。在脸型生成与定制方面，支持多种脸型的融合生成，用户可以对头型、身体、腰部等进行自由定制，还能对五官进行精细调整并自由设置贴图，同时对头颈部也能进行细致调整。容貌定制上，提供多种肤色选择，可调整真实肤感，支持多种精致妆面定制且能对五官妆容微调，还能自由调整体型体态。发型定制提供多种样式，可随心选择搭配颜色和深浅。换装系统有数十套服装可供任意搭配，支持服装颜色、材质自由选择以及贴图一键上传，还能搭配细致配饰。

对于外部模型导入，支持多种文件格式如 FBX、OBJ 等的角色模型导入，同时外部创建的 3D 场景模型也可按照制作规范进行导入。在动作库表情设置方面，资源库包含丰富的静、动态人物常用动作及表情、姿势，可直接将动作应用于角色预览，支持 720 度全方位视角查看，还能自行配置和添加动作模组，扩展数字人的动作库，主流动作文件可应用于众多主流 3D 软件及开发引擎。资产管理方面，有数十种 3D 场景道具可供个性搭建，可设置直播间背景和前景、道具和贴图、背景音乐等，还能基于资产库自由创作新场景和人物资源并保存。此外，该模块支持自定义运镜效果，可进行直播内容预览和储存，支持视频云端存储和本地播放，满足大片级视觉享受，并且能用键盘和 XBOX 手柄进行自由控制运镜，实现渲染效果，每个镜头的时间可单独根据需求设置时长。同时还支持在线实时录制渲染视频功能以及实时拍照截图功能。

数字人动捕驱动模块具有多种特点。全身动捕驱动支持单目摄像头驱动，实现全身动作自然连贯，也支持多种动捕设备、光学动捕设备、光惯一体设备进行全身动捕驱动，还能根据动捕驱动调节人物大小、位置，提供实时动作预览功能，通过鼠标移动可全方位视角查看动作预览，可根据需求自由调节动作持续时间，主流动作文件可应用于众多主流 3D 软件及开发引擎。面部捕捉驱动支持单目摄像头面部表情的实时捕捉与驱动，无需额外捕捉设备，也支持使用 Livelinkface 实时面部表情捕捉驱动模型。texiao方面，提供海量趣味身体texiao和手持texiao，增强画面冲击感和视觉表现力，同时提供实时texiao预览功能，通过鼠标移动可全方位视角查看动作预览。

3D 场景编辑模块提供了多种动态与静态场景选择，包括纯绿幕、发布会场景、科技场景等。支持多种文件格式、HDR 文件上传以创建自定义场景，还能对人物大小、位置进行精细调节，集成背景虚化功能增强视觉层次感，支持输出透明背景的 NDI 推流。海量道具库内含丰富的道具类型，如装饰品、自然元素、展示台、屏幕等，提供低门槛的场景编辑工具，可轻松调整道具的位置、大小和旋转角度，还支持多个屏幕同时播放视频和图片，丰富场景表现力。

数字人智能交互模块功能丰富。问答库定制可根据需求个性化定制问答数据库，确保特定领域回答的高效率和准确性。开放 API 接口能依托国内大模型实现更准确、自然的问答结果和交互体验。实时对话交互集成 AI 驱动的动作逻辑、动捕设备预置动作以及语音和面部捕捉技术，实现流畅的动作与表情同步。AI 弹幕互动依据问答库和大模型进行语言、行为互动，还有 AIGC 算法实现智能问答、长文本撰写与精简、短文本交流。声音定制可根据需求调整音调、音色、语速等参数，且具备安全防卫功能防止克隆声音泄露。支持大模型定制化、多并发、敏感词屏蔽、公有云、私有云和本地部署，多模态输入支持语音、文本、键盘、鼠标、触屏、预设指令、手柄、Optitrack 等输入方式，还支持软件界面定制或 OEM。AI 智能短视频方面，有 AI 播报功能，上传文本、音频文件即可一键生成数字人播报短视频，还支持上传图片或视频，自动识别内容并快速生成。

随着人工智能技术的不断发展，3D 数字人交互系统更加深入地融合了语音识别、自然语言处理等 AI 能力。AI 技术的融入使得数字人能够更准确地理解用户的指令和问题，生成更自然流畅的语言回复。例如，在与用户的对话中，数字人可以通过语音识别技术接收用户的语音指令，然后利用自然语言处理技术分析指令的含义，并给出恰当的回应。同时，AI 技术还能让数字人模拟出更加真实的动作和表情，实现真正意义上的 “有温度” 的交流。就像世优科技的数字人产品，通过 AI 模型训练，使得数字人在表情、口型及肢体动作表现得十分自然协调，不仅提升了数字人的拟人化程度，还减轻了对动作捕捉技术的依赖。

未来，高精度建模技术和高性能渲染引擎将极大地提升 3D 数字人的真实感。高精度建模能够细致地刻画数字人的外形，包括肌肤纹理、眼神流转、肢体动作等方面，使其更加逼真。而高性能渲染引擎则可以为数字人带来更加出色的光影效果，让数字人在不同的环境下都能呈现出真实的视觉感受。例如，央视网的数字虚拟小编小 C，采用了 4D 扫描技术和高精度拟真 3D 人像技术，面部面数至少有 1 万面，全身多边形面数至少达到 10 万面，头发面数至少有 3 万面，面部表情形变基个数至少有 240 个，身体骨骼节点数至少有 100 个。这些技术大大丰富了虚拟人的细节表现，让表情和身体动作更加写实和生动。

3D 虚拟数字人交互系统将优化多模态交互方式，提升交互的自然性和流畅性。系统不仅支持语音、文字等传统的交互方式，还将引入图像、视频等多模态交互手段。用户可以通过更加自然、便捷的方式与数字人进行交流，而数字人也将以更加丰富的形式进行回应。例如，辰光幻影的 3D 内容生成和交互引擎，结合 AIGC 技术，使得人机交互变得更加自然、智能。用户可以通过文字、图片、视频等多种方式与数字人进行互动，数字人也能够以更加丰富的形式进行回应，为用户带来跨越虚拟与现实的全新交互体验。同时，数字人交互系统还将不断学习和优化自身的性能，通过分析用户反馈和行为数据，持续提升交互的质量和效果。

在娱乐和游戏行业，3D 数字人作为虚拟偶像、游戏角色等提供沉浸式体验。3D 虚拟数字人凭借其高度逼真的外观和丰富的动作表情，成为娱乐与游戏领域的新宠。例如，在游戏中，玩家可以选择个性化的 3D 数字人角色进行冒险，这些角色不仅拥有独特的外貌和技能，还能通过动作库中的丰富动作和表情，为玩家带来更加生动的游戏体验。同时，娱乐行业也可以利用 3D 数字人打造虚拟偶像，通过举办虚拟演唱会、发布音乐作品等方式，吸引粉丝的关注。资源库中包含的几十种静、动态人物常用动作以及多种静态、动态表情、姿势，让虚拟偶像的神态生动逼真，满足粉丝对偶像的各种想象。

在商业营销领域，3D 数字人作为品牌代言人或客服代表，提升购物体验。品牌可以根据自身特色定制 3D 虚拟数字人，作为品牌代言人出现在广告、宣传活动中。这些数字人可以实现一键自定义捏脸、换装，千种形象任意搭配，为品牌塑造独特的形象。同时，作为客服代表，3D 数字人能够通过定制大模型问答库，准确回答消费者的问题，提供个性化的服务。例如，广州虚拟动力为企业提供 3D 虚拟数字人定制服务，结合 AI 技术打造的数字人客服，能够通过搭建数字人语料库，实现实时语音交互，为用户提供咨询交互等服务。

在教育领域，3D 数字人作为数字教师或讲解员，提高教学效率和质量。AI 交互数字人可应用于学科教育、职业教育、科普教育、红色党建教育等多个领域。在学科教育中，通过 3D 虚拟数字人定制，将名人或历史人物以数字人的形式呈现出来，为学生提供知识讲解等语音交互服务。如天津大学推出的数字人老师，以刘艳丽教授形象 1：1 仿真打造的 2.5D 数字人，能够应用 AI 数字人快速录课，高效、便捷、丰富地产出线上教学资源，并且接入人机对话大模型系统，为学生提供 24 小时无休的交互式答疑辅学。在职业教育中，数字人可以化身数字人培训员、数字人安全教育员等，提供技能教学和安全培训。在科普教育和红色党建教育中，可以在科普馆、教育场所部署 AI 交互数字人，以一体机、全息屏、小程序、APP 等终端呈现，为学生提供个性化、情景式的辅导教学，分享科普知识，打造沉浸式交互体验。

在社交平台上，3D 数字人成为互动元素，实现跨时空的立体化交流。Soul App 携最新自研的多模态大模型，通过 3D 虚拟人技术实现打破次元壁的自然互动体验。用户可以通过简单的操作，在几秒内生成一个高相似度的 3D 虚拟人，系统会运用 90 余个形状参数和 6 个属性参数对人脸特征进行精细化还原。用户可以通过语音生成和语音识别与虚拟人进行对话，结合即时的动作反馈，实现更加自然且立体的沟通体验。此外，万彩 AI 能够快速生成高质量的 3D 虚拟数字人，并赋予它们自然流畅的语音和动作，用户可以轻松定制自己的虚拟形象，并将其应用于各种社交场景，如制作教育视频、游戏角色，或者进行品牌营销等。

随着科技的不断进步，3D 虚拟数字人创作和交互引擎在技术创新方面将持续深化。AI 技术融合将更加紧密，通过与语音识别、自然语言处理、图像生成等技术的深度结合，数字人能够更准确地理解用户指令，生成自然流畅的语言回复，并模拟出更加真实的动作和表情。例如，数字人可以通过语音识别接收用户指令，利用自然语言处理分析含义后给出恰当回应，同时在与用户交流中展现出更丰富的情感和个性。

高精度建模与渲染技术也将不断提升，使得数字人的外形更加逼真，肌肤纹理、眼神流转、肢体动作等细节更加细腻。高性能渲染引擎将带来出色的光影效果，让数字人在不同环境下都能呈现出真实的视觉感受。如央视网的数字虚拟小编小 C，采用先进技术实现了高度写实的形象，面部、全身及头发的多边形面数众多，面部表情形变基个数丰富，身体骨骼节点数多，大大提升了虚拟人的细节表现。

多模态交互优化将进一步提升交互的自然性和流畅性。系统不仅支持语音、文字等传统交互方式，还将引入图像、视频等多模态手段。用户可以通过更加自然便捷的方式与数字人交流，数字人也能以更丰富的形式回应，为用户带来跨越虚拟与现实的全新交互体验。同时，数字人交互系统将不断学习和优化自身性能，通过分析用户反馈和行为数据，持续提升交互质量和效果。

3D 虚拟数字人创作和交互引擎的应用场景将不断拓展。在娱乐与游戏领域，数字人将作为虚拟偶像、游戏角色等为用户提供沉浸式体验。玩家可以选择个性化的数字人角色进行冒险，这些角色拥有独特外貌和技能，通过丰富的动作和表情为玩家带来生动的游戏体验。同时，娱乐行业可利用数字人打造虚拟偶像，举办虚拟演唱会、发布音乐作品等，吸引粉丝关注。

在商业营销领域，数字人可作为品牌代言人或客服代表，提升购物体验。品牌能根据自身特色定制数字人，在广告和宣传活动中展现独特形象。作为客服代表，数字人可通过定制大模型问答库，准确回答消费者问题，提供个性化服务。

在教育与培训领域，数字人可作为数字教师或讲解员，提高教学效率和质量。在学科教育中，以名人或历史人物形象呈现的数字人可为学生提供知识讲解等语音交互服务。在职业教育中，数字人可化身培训员、安全教育员等，提供技能教学和安全培训。在科普教育和红色党建教育中，数字人能为学生提供个性化、情景式辅导教学，分享科普知识。

在社交与互动领域，数字人将成为社交平台的重要互动元素。用户可以通过自己的数字分身与他人进行跨时空的立体化交流，实现更加真实、丰富的社交体验。如 Soul App 携多模态大模型，通过 3D 虚拟人技术实现自然互动体验，用户可快速生成高相似度的数字人，并通过语音生成和识别、即时动作反馈等方式进行沟通。

3D 虚拟数字人创作和交互引擎将在用户体验方面不断提升。支持个性化定制，用户可以根据自己的喜好和需求对数字人的外观、语音风格、行为模式等进行调整，打造duyiwuer的数字分身。例如，在 Reblium Studio、Meshcapade Me 和 SwitchLight Studio 等工具中，用户可以通过输入文字描述、调整滑块等方式自定义数字人的形象。

跨平台兼容将使得数字人能够部署在多种终端和设备上，如手机、平板、电脑、大屏等，为用户提供更加便捷的服务。无论用户在何种设备上使用，都能享受到高质量的数字人交互体验。

持续学习与优化将通过分析用户反馈和行为数据，让数字人交互系统不断提升性能。数字人能够根据用户的习惯和需求进行调整，保持与时俱进的竞争力，满足用户不断变化的需求。

3D 虚拟数字人创作和交互引擎将对市场产生日益显著的影响。推动产业升级，在娱乐、教育、商业等多个领域，数字人将成为重要的服务载体和营销工具，为行业带来全新的发展机遇和变革。例如，网龙公司积极探索 AI 技术、VR/AR、3D 虚拟数字人与电商的融合创新，打造数字人虚拟主播、24 小时直播能力，挖掘 “IP+” 在更多行业的可能。

促进技术创新，随着市场需求的不断增长，3D 虚拟数字人交互系统的技术创新也将持续加速。这将带动整个产业链的技术进步和产业升级，形成良性循环。如数字交互引擎在发展过程中，从单一领域技术走向通用技术，不断跨界进入文旅、工业、建筑等领域，成为多领域实现三维可视化仿真、沉浸式人机协作的基础工具集。