エージェントが音楽ビデオを作成する

SimpliGenコネクター（@simpligen/mcp 0.5.0以降）があれば、ClaudeなどのエージェントがVideo Studioで音楽ビデオ全体を構築できます。タイムラインに曲を配置し、テンポを検出し、クリップをバーに配置し、すべてのショットを書き、テイクをレンダリングし、映画をエクスポートします。スタジオで映画を開いて作業を見ると、すべての変更がリアルタイムで表示されます。エージェントが行ったことはすべてCtrl+Zで取り消せます。結果は通常の映画であり、手動で編集を続けることができます。

1. リクエストする

エージェントに曲、人物、場所を指定し、何が起こるべきかを伝えます。

Make a music video for C:\Music\neon-rain.wav. Kai sings it on a rooftop at night; Mira walks a neon street in the second verse. 16:9, 1080p, rendered on this PC.

2. エージェントが行うこと

1. キャストと場所。 既にあるキャラクターを再利用する(list_characters)か、create_characterで新規作成します。まだ持っていない場所は3つのステップで作成します。generateで画像を生成し、wait_for_resultで結果を待ち、そのジョブを使ってcreate_locationを実行します。
2. 映画。 create_filmで形状と解像度を設定し、曲に対してupload_fileとadd_trackを実行します(ボーカルの場合はkindをsingingに設定して、歌手の口が歌詞に合わせて動くようにします)。その後detect_tempoを実行すればバーで数えることができます。
3. ドラフト。 1つのapply_film_planがすべてのクリップをバーに配置し、そのショット、キャスト、場所、前のクリップから継続するかどうかを設定します。何か問題がある場合(スペルミスの名前、クリップより長いショット)、すべての問題が一度に返され、計画が正しくなるまで何も変わりません。
4. レンダリング。 render_clipsはレンダリングが必要なすべてのクリップを開始します。前のクリップから継続するクリップは1つずつレンダリングされます。wait_for_rendersでそれらが完了するまで待ちます。
5. レビュー。 タイムラインを読み(get_film)、update_clipで必要な修正を行い、list_takesとuse_takeでテイク間を選択し、必要な場所で再度レンダリングします。
6. 映画。 export_filmで曲と一緒に繋ぎ合わせ、ファイルを返します。

3. 一緒に作業する

エージェントが作業中にVideo Studioで映画を開きます。すべての変更がリアルタイムで表示されます。Ctrl+Zで1つ取り消すことができます。同時に編集することもできます。エージェントは常に映画を現在のままで読み込みます。作業が終わったら、映画はあなたのものになり、他のものと同じように編集を続けることができます。

知っておくと良いこと

• バー： detect_tempoの後、クリップとマーカーはバーに配置({ "bar": 5 })でき、バーでサイズ変更({ "bars": 2 })できます。バー1は曲の最初のダウンビートです。
• 継続するショット： 継続するクリップは前のクリップの最後のフレームから開始するため、その最初のショットはそのフレーミングを保ちます。
• クラウドレンダリング： 何かが開始される前に価格が設定され、エージェントの支出上限に対して計算されます。
• リファレンス： すべてのツールはMCPツールリファレンスに、すべてのルートはControl APIリファレンスに記載されています。