SimpliGen Docs
AI Agents

智能体制作音乐视频

给智能体一首歌曲和一个演员阵容,在视频工作室中逐个镜头观看它实时构建音乐视频。

使用 SimpliGen 连接器(@simpligen/mcp 0.5.0 或更新版本),智能体(如 Claude)可以在视频工作室中制作整部音乐视频:它将你的歌曲放在时间线上,找到其节奏,在小节上放置镜头,编写每个镜头,渲染样本并导出影片。在工作室中打开影片,你会看到每一个变化实时发生。它所做的任何操作都可以用 Ctrl+Z 撤销,最终结果是一部普通影片,你可以继续手动编辑。

开始前

SimpliGen 必须正在运行,视频工作室已安装,且智能体已连接(参见连接智能体)。渲染使用你的 GPU,或在影片在云端渲染时使用云积分。

1. 提出需求

给智能体提供歌曲、人物和地点,以及应该发生什么:

为 C:\Music\neon-rain.wav 制作音乐视频。Kai 在夜间屋顶唱歌;Mira 在第二段歌词中漫步在霓虹街道上。16:9,1080p,在这台电脑上渲染。

2. 智能体的工作

  1. 演员和地点。 它重用你已有的人物(list_characters),或用 create_character 创建新人物。对于还没有的地点,它分三步制作:generate 一张照片,wait_for_result,然后用该任务 create_location。
  2. 影片。 用形状和分辨率 create_film,然后 upload_file 和 add_track 添加歌曲(当是人声时使用 singing 类型,这样歌手的嘴形会跟随歌词),以及 detect_tempo,以便它可以按小节计数。
  3. 草案。 一次 apply_film_plan 将每个镜头及其镜头、演员、地点和是否延续前一个镜头的信息铺设在小节上。如果有问题(拼写错误的名字、镜头比镜头长),所有问题会一次性显示,直到计划正确才会改变。
  4. 渲染。 render_clips 启动每个需要渲染的镜头;延续前一个镜头的镜头一次渲染一个。wait_for_renders 等待它们完成。
  5. 审核。 它读取时间线(get_film),用 update_clip 修复需要修复的内容,用 list_takes 和 use_take 在样本之间选择,并在需要时重新渲染。
  6. 影片。 export_film 将其与歌曲拼接并返回文件。

3. 协作处理

在智能体工作时在视频工作室中打开影片。每个变化实时显示;按 Ctrl+Z 撤销一个操作。你可以同时编辑:智能体总是读取现在的影片,包括你的更改。完成后,这部影片就是你的,可以像任何其他影片一样继续编辑。

需要了解的事项

  • 小节: 在 detect_tempo 后,镜头和标记可以放置在小节中({ "bar": 5 })并按小节调整大小({ "bars": 2 })。小节 1 是歌曲的第一个下行拍。
  • 延续的镜头: 延续的镜头从前一个镜头的最后一帧开始,因此其第一个镜头保持该框架。
  • 云渲染: 在任何操作开始前定价,计入智能体的支出上限。
  • 参考资料: 每个工具都在 MCP 工具参考 中,每个路由都在 Control API 参考 中。