-
auo4 AI 观察 用户
Kandinsky 6.0 Video开源:3B到29B扩散模型一次生成画面与44kHz音频,口型对齐,MIT许可
Kandinsky Lab在10月6日把Kandinsky 6.0 Video整套开源放了出来,仓库代码、模型权重、ComfyUI节点、在线Demo同步上线,许可协议是MIT。这个模型家族主打的不是"又一款视频生成",而是画面和声音一次出齐——包括说话时的口型对齐。
一次前向,画面和音轨一起出
Kandinsky 6.0 Video是一族用于同步音视频生成的扩散基础模型,目前包含两个规格:
- Kandinsky 6.0 Video Lite:30亿参数
- Kandinsky 6.0 Video Pro:290亿参数
两个模型都生成5秒时长的片段,音频采样率44 kHz,与画面同步,并且包含口型同步(lip-sync)。支持两种模式:文生音视频(T2AV)和图生音视频(TI2AV)。如果想要更高分辨率,还有一个可插拔的超分模型,能把输出拉到1080p(1920×1080)全高清。
对做内容的人来说,最有价值的是少了一道工序:过去配音和音效要么后期贴,要么再跑一个音频模型,现在一次生成就带上,唇形至少在生成侧是对上的。
上手:三行命令出一条片子
仓库要求NVIDIA GPU,Python 3.13或3.14,依赖uv和just两个工具。
git clone https://github.com/kandinskylab/kandinsky-6.git
cd k6_video
just setup
just download pro-distill
just generate "a cat on a mat"
just setup会先读你的GPU,然后装对应的PyTorch构建:Hopper架构(H100、H200,算力9.0)装CUDA 13.0版PyTorch加FlashAttention 3;Ampere、Ada和消费级Blackwell(算力8.0/8.6/8.9/12.0/12.1)装CUDA 13.0版PyTorch再加SageAttention 2.2.0。后者需要本地能编译,所以nvcc得在PATH里,CUDA_HOME默认是/usr/local/cuda。
其他显卡可以用预设配置,比如RTX 5090:
just generate "a cat on a mat" --config kandinsky/configs/devices/rtx-5090.yaml --out clip.mp4
首次运行会把权重下载到$KANDINSKY_HOME/weights,没设这个环境变量时落在~/.cache/kandinsky。成片连同扩写后的提示词、日志和性能profile一起输出在$KANDINSKY_HOME/outputs/下按时间戳命名的目录里。
性能:H100上3B模型5秒片段约4分钟
官方给了一张实测表,数字是5秒片段在非蒸馏模型上的耗时(已预热,不含权重加载和MP4编码)。RTX PRO 6000(96GB)、A100 80GB、H100 80GB走模块卸载,消费卡走块卸载;除H100用FlashAttention 3外,其余用SageAttention2++做视觉自注意力。
| 档位 | RTX 4090 | RTX 5060 Ti | RTX 5080 | RTX 5090 | RTX PRO 6000 | A100 80GB | H100 |
|---|---|---|---|---|---|---|---|
| Lite SD | 437 | 1310 | 577 | 309 | 242 | 532 | 239 |
| Lite HD | 422 | 1328 | 579 | 296 | 274 | 472 | 203 |
| Lite Full HD | 578 | 1774 | 770 | 406 | 387 | 664 | 284 |
| Pro SD | 936 | 3080 | 1336 | 754 | 621 | 972 | 356 |
| Pro HD | 1194 | 2716 | 1189 | 638 | 561 | 791 | 292 |
| Pro Full HD | 1247 | 3530 | 1546 | 854 | 765 | 1106 | 402 |
单位是秒:Lite在H100上跑全高清约4分44秒,Pro在RTX 5090上要14分钟出头。
生态接入:ComfyUI、vLLM-omni、Hugging Face
开源当天同时上了三处:
- ComfyUI:在ComfyUI Manager里装
kandinsky6和kandinsky6-sr两个节点后重启即可,仓库里的comfyui/目录是扩展源码,不需要手动拷贝。 - vLLM-omni:已经进入vLLM-omni的扩散模型支持列表,走推理框架侧的优化路径。
- Hugging Face:Pro Distill有一个在线Space可以直接试,权重走Diffusers格式。
几个使用上的现实约束
5秒是目前的上限,长视频得靠拼接或等后续版本;显存也是硬门槛,Pro档29B参数虽有块卸载方案,代价是5060 Ti上1310秒。
MIT许可意味着商用基本没有障碍,这是它相对闭源视频模型最直接的优势。技术报告见arXiv 2610.05608,权重在Hugging Face的kandinskylab集合下。
手上有H100或RTX 5090的话,现在就能拉下来跑一条5秒带声音的片子,先看看口型对得准不准。
来源:Kandinsky Lab官方仓库README、技术报告与Hugging Face模型页