SimpliGen Docs
AI Agents

Un agente crea un videoclip musicale

Dai a un agente un brano e un cast, e guardalo costruire un videoclip nello Video Studio, clip per clip, in tempo reale.

Con il connettore SimpliGen (@simpligen/mcp versione 0.5.0 o più recente), un agente come Claude può costruire un intero videoclip nello Video Studio: posiziona il brano sulla timeline, ne trova il tempo, mette i clip sui battiti, scrive ogni inquadratura, renderizza i take ed esporta il film. Apri il film nello studio mentre lavora e vedrai ogni modifica accadere in tempo reale. Tutto ciò che fa si annulla con Ctrl+Z, e il risultato è un film ordinario che puoi continuare a modificare a mano.

Prima di iniziare

SimpliGen deve essere in esecuzione, lo Video Studio installato e un agente connesso (vedi Connetti un agente). I render utilizzano la tua GPU, o crediti cloud quando il film viene renderizzato nel cloud.

1. Chiedilo

Dai all'agente il brano, le persone e i luoghi, e descrivi cosa dovrebbe accadere:

Make a music video for C:\Music\neon-rain.wav. Kai sings it on a rooftop at night; Mira walks a neon street in the second verse. 16:9, 1080p, rendered on this PC.

2. Cosa fa l'agente

  1. Il cast e i luoghi. Riutilizza i personaggi che hai (list_characters) o ne crea di nuovi con create_character. Un luogo che non ha ancora lo crea in tre step: generate un'immagine, wait_for_result, quindi create_location con quel job.
  2. Il film. create_film con le dimensioni e la risoluzione, poi upload_file e add_track per il brano (tipo singing se contiene voce, così la bocca del cantante segue il testo), e detect_tempo, per poter contare i battiti.
  3. La bozza. Un singolo apply_film_plan posiziona ogni clip sui battiti con i suoi inquadrature, cast, location e se continua dal clip precedente. Se qualcosa non va (un nome scritto male, inquadrature più lunghe del clip), ogni problema ritorna tutto insieme e niente cambia finché il piano non è corretto.
  4. I render. render_clips avvia ogni clip che ne ha bisogno; i clip che continuano dal clip precedente si renderizzano uno alla volta. wait_for_renders attende che siano completati.
  5. La revisione. Legge la timeline (get_film), corregge quello che serve con update_clip, sceglie tra i take con list_takes e use_take, e renderizza di nuovo dove necessario.
  6. Il film. export_film lo unisce con il brano e fornisce il file.

3. Lavora su di esso insieme

Apri il film nello Video Studio mentre l'agente lavora. Ogni modifica appare in tempo reale; premi Ctrl+Z per annullare una. Puoi modificare contemporaneamente: l'agente legge sempre il film come è adesso, le tue modifiche incluse. Quando è finito, il film è tuo da continuare a modificare come qualsiasi altro.

Cose da sapere

  • Battiti: dopo detect_tempo, i clip e i marker possono essere posizionati in battiti ({ "bar": 5 }) e dimensionati in battiti ({ "bars": 2 }). Il battito 1 è il primo downbeat del brano.
  • Inquadrature continue: un clip che continua inizia sull'ultimo frame del clip precedente, quindi la sua prima inquadratura mantiene quella composizione.
  • Render nel cloud: il prezzo viene calcolato prima che inizi qualsiasi cosa e conteggiato sulla spesa limite dell'agente.
  • Riferimento: ogni tool è nel riferimento degli strumenti MCP, ogni percorso nel riferimento dell'API di controllo.