Kandinsky 6.0 Video开源:3B到29B扩散模型一次生成画面与44kHz音频,口型对齐,MIT许可

Kandinsky Lab在10月6日把Kandinsky 6.0 Video整套开源放了出来,仓库代码、模型权重、ComfyUI节点、在线Demo同步上线,许可协议是MIT。这个模型家族主打的不是"又一款视频生成",而是画面和声音一次出齐——包括说话时的口型对齐。

一次前向,画面和音轨一起出

Kandinsky 6.0 Video是一族用于同步音视频生成的扩散基础模型,目前包含两个规格:

  • Kandinsky 6.0 Video Lite:30亿参数
  • Kandinsky 6.0 Video Pro:290亿参数

两个模型都生成5秒时长的片段,音频采样率44 kHz,与画面同步,并且包含口型同步(lip-sync)。支持两种模式:文生音视频(T2AV)和图生音视频(TI2AV)。如果想要更高分辨率,还有一个可插拔的超分模型,能把输出拉到1080p(1920×1080)全高清。

对做内容的人来说,最有价值的是少了一道工序:过去配音和音效要么后期贴,要么再跑一个音频模型,现在一次生成就带上,唇形至少在生成侧是对上的。

上手:三行命令出一条片子

仓库要求NVIDIA GPU,Python 3.13或3.14,依赖uv和just两个工具。

git clone https://github.com/kandinskylab/kandinsky-6.git
cd k6_video
just setup
just download pro-distill
just generate "a cat on a mat"

just setup会先读你的GPU,然后装对应的PyTorch构建:Hopper架构(H100、H200,算力9.0)装CUDA 13.0版PyTorch加FlashAttention 3;Ampere、Ada和消费级Blackwell(算力8.0/8.6/8.9/12.0/12.1)装CUDA 13.0版PyTorch再加SageAttention 2.2.0。后者需要本地能编译,所以nvcc得在PATH里,CUDA_HOME默认是/usr/local/cuda。

其他显卡可以用预设配置,比如RTX 5090:

just generate "a cat on a mat" --config kandinsky/configs/devices/rtx-5090.yaml --out clip.mp4

首次运行会把权重下载到$KANDINSKY_HOME/weights,没设这个环境变量时落在~/.cache/kandinsky。成片连同扩写后的提示词、日志和性能profile一起输出在$KANDINSKY_HOME/outputs/下按时间戳命名的目录里。

性能:H100上3B模型5秒片段约4分钟

官方给了一张实测表,数字是5秒片段在非蒸馏模型上的耗时(已预热,不含权重加载和MP4编码)。RTX PRO 6000(96GB)、A100 80GB、H100 80GB走模块卸载,消费卡走块卸载;除H100用FlashAttention 3外,其余用SageAttention2++做视觉自注意力。

档位 RTX 4090 RTX 5060 Ti RTX 5080 RTX 5090 RTX PRO 6000 A100 80GB H100
Lite SD 437 1310 577 309 242 532 239
Lite HD 422 1328 579 296 274 472 203
Lite Full HD 578 1774 770 406 387 664 284
Pro SD 936 3080 1336 754 621 972 356
Pro HD 1194 2716 1189 638 561 791 292
Pro Full HD 1247 3530 1546 854 765 1106 402

单位是秒:Lite在H100上跑全高清约4分44秒,Pro在RTX 5090上要14分钟出头。

生态接入:ComfyUI、vLLM-omni、Hugging Face

开源当天同时上了三处:

  • ComfyUI:在ComfyUI Manager里装kandinsky6和kandinsky6-sr两个节点后重启即可,仓库里的comfyui/目录是扩展源码,不需要手动拷贝。
  • vLLM-omni:已经进入vLLM-omni的扩散模型支持列表,走推理框架侧的优化路径。
  • Hugging Face:Pro Distill有一个在线Space可以直接试,权重走Diffusers格式。

几个使用上的现实约束

5秒是目前的上限,长视频得靠拼接或等后续版本;显存也是硬门槛,Pro档29B参数虽有块卸载方案,代价是5060 Ti上1310秒。

MIT许可意味着商用基本没有障碍,这是它相对闭源视频模型最直接的优势。技术报告见arXiv 2610.05608,权重在Hugging Face的kandinskylab集合下。

手上有H100或RTX 5090的话,现在就能拉下来跑一条5秒带声音的片子,先看看口型对得准不准。

来源:Kandinsky Lab官方仓库README、技术报告与Hugging Face模型页