【AI视频生成】Runway实时视频对话Characters:GPU砍半,24fps实时生成数字人

摘要:11月6日,Runway 公布实时视频对话产品 Runway Characters 背后的推理系统论文:用一个约 570 亿参数的自回归视频扩散 Transformer,把单个实时会话所需的 H100 GPU 从 8 块压到 4 块,实现每秒 24 帧的实时数字人视频生成。

传统 AI 视频工具是"提交提示词→等待数秒到数分钟→拿到成片"的离线模式,而 Runway Characters 要做的是"实时":一张静态参考图进去,对面立刻是一个能对话、会做表情和嘴型、头部还会动的 AI 虚拟角色。无论是真人照片、卡通形象还是虚构角色,都能通过一张图生成可交互的数字人。

核心是一套约 57B 参数的自回归视频扩散 Transformer。论文披露,系统生成分辨率为 704×1088、帧率 24fps,意味着必须每 166.7 毫秒完成一组四帧画面的生成,并要在整段对话中持续维持这个速度。这和语言模型不同——语言模型可以批量处理大量并发请求,而视频系统必须为每个用户提供独立的实时生成服务,单个会话就吃掉大量 GPU,加第二个会话几乎让耗时翻倍,传统批处理很难提效。

瓶颈与优化:从 8 卡到 4 卡。最初一个实时会话需要 8 块 H100;4 块 H100 的初始测试中,单次生成步骤要 240.9 毫秒,达不到 24fps 的实时要求。Runway 通过优化缓存管理、计算流程与 GPU 间的数据通信,把单次生成缩短到 159.3 毫秒(提速 1.51 倍,持续 24.5fps);再引入计算与通信融合技术,单步耗时进一步降到 147.4 毫秒,整体提速 1.63 倍。按论文测算,单个实时视频会话约需 2.24 PFLOP/s 有效算力,超过单块 H100 密集 FP8 理论峰值——这也解释了为什么实时视频比离线生成更"吃卡"。

对创作者的意义。实时视频生成把"数字人直播、虚拟客服、互动剧情"这类需要即时反馈的场景从概念推向可用:不用预渲染、不用排队,输入即输出。代价是算力成本,这也正是 Runway 把优化重心放在"减卡"上的原因。对普通用户而言,这类能力会陆续以 API 或产品形态出现,值得关注它在口播、带货、教育答疑等场景的落地。

来源:网易/金融界、凤凰网科技(北京时间 2026-11-06)报道 Runway 技术论文。链接:https://dy.163.com/article/LB1SK1290519QIKK.html

版权声明:本文仅代表作者观点,不代表本站立场。未经授权许可,不得转载。

.