SimpliGen Docs
AI Agents

Un agent crée un clip vidéo musical

Donnez à un agent IA une chanson et une distribution, et regardez-le construire un clip vidéo dans le Video Studio, plan par plan, en direct.

Avec le connecteur SimpliGen (@simpligen/mcp 0.5.0 ou plus récent), un agent comme Claude peut construire un clip vidéo complet dans le Video Studio : il place votre chanson sur la timeline, trouve son tempo, dispose les plans sur les mesures, écrit chaque plan, rend les prises et exporte le film. Ouvrez le film dans le studio pendant qu'il travaille et vous voyez chaque changement se faire. N'importe quoi qu'il fait s'annule avec Ctrl+Z, et le résultat est un film ordinaire que vous continuez à éditer à la main.

Avant de commencer

SimpliGen doit être en cours d'exécution, le Video Studio installé, et un agent connecté (voir Connecter un agent). Les rendus utilisent votre GPU, ou des crédits cloud quand le film rend dans le cloud.

1. Demandez-le

Donnez à l'agent la chanson, les acteurs et les lieux, et dites ce qui devrait se passer :

Make a music video for C:\Music\neon-rain.wav. Kai sings it on a rooftop at night; Mira walks a neon street in the second verse. 16:9, 1080p, rendered on this PC.

2. Ce que fait l'agent

  1. La distribution et les lieux. Il réutilise les personnages que vous avez (list_characters) ou les crée avec create_character. Un lieu qu'il n'a pas encore, il le crée en trois étapes : generate une image, wait_for_result, puis create_location avec ce travail.
  2. Le film. create_film avec le format et la résolution, puis upload_file et add_track pour la chanson (kind singing quand c'est des voix, pour que la bouche du chanteur les suive), et detect_tempo, pour pouvoir compter en mesures.
  3. Le brouillon. Un seul apply_film_plan dispose chaque plan sur les mesures avec ses prises, distribution, lieu et s'il continue du plan avant. Si quelque chose ne va pas (un nom qu'il a mal orthographié, des prises plus longues que leur plan), chaque problème revient à la fois et rien ne change tant que le plan n'est pas correct.
  4. Les rendus. render_clips démarre chaque plan qui en a besoin ; les plans qui continuent du plan avant rendent un à la fois. wait_for_renders attend qu'ils soient terminés.
  5. La révision. Il lit la timeline (get_film), corrige ce qui doit l'être avec update_clip, choisit entre les prises avec list_takes et use_take, et rend à nouveau là où c'est nécessaire.
  6. Le film. export_film l'assemble avec la chanson et retourne le fichier.

3. Travaillez dessus ensemble

Ouvrez le film dans le Video Studio pendant que l'agent travaille. Chaque changement apparaît en direct ; appuyez sur Ctrl+Z pour en annuler un. Vous pouvez éditer en même temps : l'agent lit toujours le film tel qu'il est maintenant, vos changements inclus. Quand c'est terminé, le film est à vous pour continuer à l'éditer comme n'importe quel autre.

Bon à savoir

  • Mesures : après detect_tempo, les plans et les marqueurs peuvent être placés en mesures ({ "bar": 5 }) et dimensionnés en mesures ({ "bars": 2 }). La mesure 1 est le premier temps fort de la chanson.
  • Plans continus : un plan qui continue commence sur la dernière image du plan avant, sa première prise garde ce cadrage.
  • Rendus cloud : tarifés avant que rien ne commence et comptabilisés contre le plafond de dépenses de l'agent.
  • Référence : chaque outil est dans la référence d'outils MCP, chaque route dans la référence d'API Control.