New Hot

Pika H3 Flex 发布:支持 12 个参考素材与五路音频分轨,最高可输出 4K,并开放模型权重

Pika视频生成参考素材音频分轨

Pika 发布基于 MiniMax H3 后训练的 Pika H3 Flex,支持最多 12 个图像、视频与音频参考素材,原生 480p 与 768p 生成,可上采样至 1080p、2K 与 4K;通过 API 还能导出对白、配乐、音效、拟音与环境五路音轨,官方同时开放生成器权重。

Pika H3 Flex 压到 6 步,支持 12 个参考素材

Pika H3 Flex 把生成步数从 50 步压到 6 步,支持最多 12 个参考素材与五路音频分轨,最高可输出 4K。 它基于 MiniMax H3 后训练而来。

六步生成与速度

官方把 MiniMax H3 从 50 步后训练到 6 步,并称 15 秒 768p 带同步音频的片段,Transformer 计算最快约 7 秒。(来源:Pika 官方博客)

官方还称,在写作时 Flex 在 DesignArena 文生视频榜上位列开放权重模型第一、总榜第七,排名是发布时的快照。步数压缩后,单条片段的生成次数可以明显增加,方向比较不再受时间限制。

12 个参考与多模态

官方原文称:“Flex accepts up to 12 reference files, combining images, video, and audio in one generation.” 可以把角色、场景、运动与声音分别交给不同参考文件,并在提示词里说明每个参考负责什么。

音频分轨与清晰度

生成自带同步立体声;通过 Pika API 可请求对白、配乐、音效、拟音与环境五条独立音轨。原生 480p 或 768p,再由上采样器升到 1080p、2K 与 4K,官方称上采样会保留已生成内容再补细节。

素材管理从提示词堆叠变成参考文件分工

素材管理从“提示词堆叠”变成“参考文件分工”,后期也多了一条分轨入口。

分镜与参考分工

草图关键帧加实拍参考可以控制构图与镜头;参考视频可以带舞蹈或运镜,再替换角色与场景。做混合媒介短片时,画稿与照片可以同时作为参考。

局部改与保留表演

官方支持参考引导编辑:替换服装、道具或环境,同时保留表演与时间节奏。一条镜头里只要有一部分成立,就不必整条重来。

需要重做的模板

旧的纯文生视频模板需要改成参考驱动;音频若依赖单轨混音,需要按五路分轨重排,把对白与配乐拆开。

广告与角色系列团队值得升级,可先跑 768p

做广告、电商与短片、需要精确控制角色与声音的团队值得升级;只做快速单镜头的用户也可以先用 API 试。

适用场景

产品片、角色系列与需要旁白、配乐分离的成片。

上手步骤

  1. 先用 768p 跑几条方向,别急着上 4K。
  2. 把参考文件按角色、场景、运动、声音分开,并在提示词里写清各自贡献。
  3. 选定版本后再做上采样与拆音轨。
  4. 需要新工具时,可从 Pika API Club 开始,用提示词、图片或自己的参考文件起手。

验证与对比

官方说明 7 秒只计 Transformer 计算,不含排队与网络;本地运行性能取决于硬件,设计榜排名为发布时快照。需要 30 秒长镜头,可对照 Seedance 2.5;需要广告投放闭环,可看 Runway Ads。

常见问题

Pika H3 Flex 支持多少个参考素材?
官方称最多接受 12 个参考文件,可在一次生成中组合图像、视频与音频。
最多能输出多高的分辨率?
原生生成 480p 或 768p,再由 Pika 的上采样器升到 1080p、2K 或 4K。
音频能做分轨吗?
可以,通过 Pika API 可请求对白、配乐、音效、拟音与环境五条独立音轨。
开放权重包括什么?
官方称开放生成器适配器与推理代码,可在自己的硬件上运行与定制。

相关术语

后训练
后训练是在已有基座模型上继续训练,用于提升特定能力或降低推理步数。
音频分轨
音频分轨是把对白、音乐、音效等拆成独立轨道,便于分别调整。
上采样
上采样是把低分辨率画面放大到更高分辨率,并补充细节。
开放权重
开放权重指模型参数可下载部署,使用范围由许可证约定。

这篇文章的来源是什么?

文中涉及版本、价格与功能的信息,均以厂商原文为准;下面是可以核对的原始出处。

「Introducing Pika H3 Flex」 —— Pika

搜索文章

输入关键词,快速查找标题和正文内容。