数字人技术对比
| 数字人 | Fay | AWESOME-DIGITAL-HUMAN【dify】 | AniPortrait【腾讯】 | LiveTalking | EchoMimic【阿里】 | MuseV【腾讯】 | Linly-Talker | SyncTalk | MOFA-Video | Ultralight-Digital-Human | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 官网链接 | https://github.com/xszyou/Fay | https://github.com/wan-h/awesome-digital-human-live2d.git | https://github.com/Zejun-Yang/AniPortrait | https://huggingface.co/spaces/ZJYang/AniPortrait_official | https://github.com/lipku/LiveTalking | 无 | https://github.com/BadToBest/EchoMimic | https://huggingface.co/spaces/BadToBest/EchoMimic | https://github.com/TMElyralab/MuseV | https://huggingface.co/spaces/anchorxia/MuseVDemo | https://github.com/Kedreamix/Linly-Talker | 无 | https://github.com/ZiqiaoPeng/SyncTalk | https://github.com/MyNiuuu/MOFA-Video | https://www.modelscope.cn/studios/AI-ModelScope/video_chat | https://github.com/anliyuan/Ultralight-Digital-Human | |
| 代码类型 | 开源，持续更新 | 开源，持续更新 | 开源，持续更新 | 开源，持续更新 【实时】 | 开源，持续更新 【模型】 | 开源，持续更新 【模型】 | 开源，持续更新【框架】 | 开源，持续更新 | 开源，持续更新 | 开源，持续更新【学习可用】 | |
| 价格 | 免费 | 免费 | 免费 | 免费 | 免费 | 免费 | 免费 | 免费 | 免费 | 免费 | |
| 使用方式 | API | API | API | API | API | API | API | API | |||
| 功能 | 数字人框架 | 二次元 | 音频驱动合成真实感肖像动画 | 实时交互式流数字人 | 通过可编辑地标条件生成逼真 音频驱动肖像动画 | 该模型能够生成任意长度的视频，不受固定时间限制 | 较完善的的系统结构 | 数字人 | 控制图像动画 | 超轻量级、可在移动端实时运行的数字人模型 | |
| 数字人形象 | 固定，3D-1个，2D-1个 | 2D二次元动画 | 3D | 3D | 3D | 3D | 3D | 3D | |||
| 数字人分身 | 不支持 | 不支持 | 不支持 | 支持 | 支持 | 支持 | 支持 | 支持 | |||
| 数字人成片 | 不支持 | 不支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | |||
| 数字人直播 | 支持 | 支持 | 不支持 | 支持 | 支持 | 支持 | 支持 | 支持 | |||
| 实时交互 | 支持 | 支持 | 不支持 | 支持 | 支持 | 支持 | 支持 | 支持 | |||
| 大模型编排平台接入 | 自定义开发 | 原生支持Dify/FastGPT等编排框架服务接入，深度融合 | 自定义开发 | 自定义开发 | 自定义开发 | 自定义开发 | 自定义开发 | 自定义开发 | 自定义开发 | 自定义开发 | |
| 应用场景 | 虚拟主播、虚拟客服 | 虚拟主播 | 娱乐视频 | 数字人 | 娱乐视频 | 娱乐视频 | 数字人 | 娱乐视频 | |||
| 优点 | 1、开源免费 | 1、开源免费 | 1、开源免费 | 1、开源免费2、有开发文档 | 1.阿里开源的 | 1. 无线长度 2. 高保真 | 1. 完善的文档 2. 数字人框架，随意切换生成视频模型 | 1.各大名校合力打造 | 1、控制图像动画通过生成运动场适应在冻结图像到视频扩散模型中 | 1、超轻量级、可在移动端实时运行的数字人模型 | |
| 缺点 | 1、形象太少 | 1、形象太少，且大多为动漫形象 | 不能直播 | 经过训练的模型仅用于非商业研究目的。 | 数字人用不上 | 代码不全 | |||||
| 其他功能 |
技术组合
- ASR 语音识别 模型
- LLM 模型
- TTS 文本转语音 模型
- THG 3D人像生成 模型 【不同模型生成不同的维度视频】
- 将上述模型组合成一个完整的数字人模型 的技术框架
案例
- 二次元类型 虚拟歌手-洛天依
- 3D卡通类型 虚拟助理-度晓晓
- 3D高写实类型 浦发银行数字员工-小浦
- 虚拟偶像-AYAYI
- 真人形象类型 新华社AI合成主播-新小浩
应用场景
参考资料
https://www.woshipm.com/it/5229872.htmlhttps://www.news.cn/fortune/20240702/a61137dc793f428bb0de7060d51afa2e/c.html
参考产品
https://www.zego.im/digitalHumanhttps://xiling.cloud.baidu.com/https://www.qiniu.com/products/ivdhhttps://activity.huaweicloud.com/metastudio-szr.htmlhttps://www.volcengine.com/product/avatarhttps://www.xfzhizuo.cn/https://aigc.yizhentv.com/product/aiDigitalHumanhttps://www.huaweicloud.com/product/mdh.htmlhttps://zenvideo.qq.com/smart/listVirtualhttps://www.zhubobao.com/https://www.guiji.ai/#/indexhttps://xiling.cloud.baidu.com/main/homehttps://business.xiaoice.com/Home/AIBeing
- 适配平台智能体配置卡片标签、链接、（稳定卡片标签生成提示词）
- 大模型拿到提示词生成带参数标签
- 前端渲染标签成iframe,拼接url+参数+用户选择的参数+iframe请求回来的参数
- 业务平台修改上一条消息的标签填充参数
- 历史消息加载，直接渲染卡片