Character.AI 推出 TalkingMachines：实时互动的自回

IT 之家于 7 月 5 日发布消息，AI 聊天机器人平台 Character.AI 发布了一项研究论文和视频演示，展示了其最新的自回归扩散模型——TalkingMachines。这一模型旨在让 AI 角色之间的互动更加逼真，尽管目前尚未部署在 Character.AI 平台上，但已经引发了广泛关注。

据悉，TalkingMachines 模型基于 Diffusion Transformer（DiT）技术，这种技术本质上就像一位能够从随机噪声中创造出详细图像的“艺术家”。它通过不断优化图像，直至达到完美的效果。而 Character.AI 所做的，就是让这一过程变得极其迅速，从而实现实时互动的效果。

用户只需输入一张图片和声音信号，TalkingMachines 模型就能实现类似 FaceTime 的通话视觉互动。这一功能的实现，得益于模型采用的多种关键技术，包括流匹配扩散（Flow-Matched Diffusion）、音频驱动的交叉注意力（Audio-Driven Cross Attention）、稀疏因果注意力（Sparse Causal Attention）和不对称蒸馏（Asymmetric Distillation）等。

流匹配扩散技术通过训练大量动作，包括细微的面部表情和更夸张的手势，确保 AI 角色的动作更加自然。音频驱动的交叉注意力技术则让 AI 不仅能听到单词，还能理解音频中的节奏、停顿和语调，并将其转化为精确的口型、点头和眨眼，使得互动更加生动逼真。

稀疏因果注意力技术让 Character.AI 能够以更高效的方式处理视频帧，而不对称蒸馏技术则让视频能够实时生成，营造出类似 FaceTime 通话的效果。Character.AI 强调，这一研究突破不仅仅是关于面部动画的，它是朝向实时互动的音频视觉 AI 角色迈出的一步。

TalkingMachines 模型支持多种风格，包括真实感人类、动漫和 3D 虚拟形象等，这为未来的应用提供了无限可能。无论是游戏、虚拟偶像还是远程教育等领域，都有望受益于这一技术的突破。

Character.AI 的这一研究无疑为 AI 角色的实时互动树立了新的标杆。随着技术的不断进步，我们有理由相信，未来的 AI 角色将会更加逼真、互动更加自然，为我们的生活带来更多便利和乐趣。