AI Agents
智能体制作音乐视频
给智能体一首歌曲和一个演员阵容,在视频工作室中逐个镜头观看它实时构建音乐视频。
使用 SimpliGen 连接器(@simpligen/mcp 0.5.0 或更新版本),智能体(如 Claude)可以在视频工作室中制作整部音乐视频:它将你的歌曲放在时间线上,找到其节奏,在小节上放置镜头,编写每个镜头,渲染样本并导出影片。在工作室中打开影片,你会看到每一个变化实时发生。它所做的任何操作都可以用 Ctrl+Z 撤销,最终结果是一部普通影片,你可以继续手动编辑。
开始前
SimpliGen 必须正在运行,视频工作室已安装,且智能体已连接(参见连接智能体)。渲染使用你的 GPU,或在影片在云端渲染时使用云积分。
1. 提出需求
给智能体提供歌曲、人物和地点,以及应该发生什么:
为 C:\Music\neon-rain.wav 制作音乐视频。Kai 在夜间屋顶唱歌;Mira 在第二段歌词中漫步在霓虹街道上。16:9,1080p,在这台电脑上渲染。
2. 智能体的工作
- 演员和地点。 它重用你已有的人物(
list_characters),或用create_character创建新人物。对于还没有的地点,它分三步制作:generate一张照片,wait_for_result,然后用该任务create_location。 - 影片。 用形状和分辨率
create_film,然后upload_file和add_track添加歌曲(当是人声时使用singing类型,这样歌手的嘴形会跟随歌词),以及detect_tempo,以便它可以按小节计数。 - 草案。 一次
apply_film_plan将每个镜头及其镜头、演员、地点和是否延续前一个镜头的信息铺设在小节上。如果有问题(拼写错误的名字、镜头比镜头长),所有问题会一次性显示,直到计划正确才会改变。 - 渲染。
render_clips启动每个需要渲染的镜头;延续前一个镜头的镜头一次渲染一个。wait_for_renders等待它们完成。 - 审核。 它读取时间线(
get_film),用update_clip修复需要修复的内容,用list_takes和use_take在样本之间选择,并在需要时重新渲染。 - 影片。
export_film将其与歌曲拼接并返回文件。
3. 协作处理
在智能体工作时在视频工作室中打开影片。每个变化实时显示;按 Ctrl+Z 撤销一个操作。你可以同时编辑:智能体总是读取现在的影片,包括你的更改。完成后,这部影片就是你的,可以像任何其他影片一样继续编辑。
需要了解的事项
- 小节: 在
detect_tempo后,镜头和标记可以放置在小节中({ "bar": 5 })并按小节调整大小({ "bars": 2 })。小节 1 是歌曲的第一个下行拍。 - 延续的镜头: 延续的镜头从前一个镜头的最后一帧开始,因此其第一个镜头保持该框架。
- 云渲染: 在任何操作开始前定价,计入智能体的支出上限。
- 参考资料: 每个工具都在 MCP 工具参考 中,每个路由都在 Control API 参考 中。