搜狗发布全球首个手语AI合成主播“黑科技”造福听障人士

搜狗发布全球首个手语AI合成主播 "黑科技"造福听障人士

5月17日，搜狐科技5G&AI峰会在北京举行，正式发布最新一代搜狗AI合成主播--全球首个手语AI合成主播"小聪"，基于搜狗领先的人工智能和AI分身技术，以"黑科技"的力量帮助听障人士更好融入社会，更好享受数字化生活。

"小聪"以打造听障人士真正可懂的通用手语播报为目标，立足于搜狗领先的数字人技术体系--搜狗分身，集成了超写实3D数字人建模、机器翻译、多模态数字人生成、迁移学习、实时面部动作生成及驱动等多项领先AI技术，实现了超写实3D数字人自然可懂的手语主播能力，使机器可以基于输入口语文本生成逼真度高、手语表达准确的3D数字人视频内容，从而具备"超写实的逼真数字人效果"、"高可懂度的手语表达能力"、"高接受度的手语展现效果"三大特点。

数字人效果方面，"小聪"使用了行业最领先的3D重光照扫描还原、面部肌肉驱动、表情肢体手势捕捉技术，生产出了高度还原真人发肤、形象逼真、动作自然生动的数字人模型，数字人写实度的大幅突破则能够显著提升手语播报的真实感与亲切感，从而提高播报用户体验。

手语表达方面，"小聪"基于《国家通用手语词典》，能够实现健听人语言与听障者手语语言的机器翻译能力，基于输入的健听人语言能够低延迟生成高准确率的手语语言表征，通过搜狗分身的多模态生成技术，实时预测生成对应的超写实3D数字人驱动参数，进而快速生成数字人手语播报视频，在测评中可懂度可以达到85%以上，能有效帮助听障者克服理解障碍，达成信息有效传递。

手语展现方面，"小聪"可以完整实现手控信息及非手控信息的表达，通过机器翻译生成手语表征信息，覆盖手部动作、面部表情、口动唇动等多个维度，并基于搜狗多模态端到端生成模型进行联合建模及预测，生成高准确率的动作、表情、唇动等序列，从而达成自然、地道、接受度更高的手语表达效果。

在此过程中，"小聪"还运用了业内领先的搜狗SLMT（Sign Langure Machine Translation）技术，在输出符合听障人士习惯自然手语的基础上，进一步提高了手语的可懂度、丰富和逼真了AI合成主播的表情与唇动能力，除了可以解决听障人士在日常生活、公共服务、特殊教育等多个场景下的信息不畅问题，还可以快速生成、批量复制，全年无休、随时随地提供服务。

作为全球首个手语AI合成主播，"小聪"能够帮助广大听障人士更好地接收资讯、更好地生活，更好地"看"世界，而从更高维度来看，它的广泛运用不仅可以造福国内听障人士，甚至可以走出国门、造福全球，彰显中国"智"力。