Comment faire des vidéos de folie avec Luma sans s'arracher les cheveux (enfin pas trop)

En attendant Sora d'OpenAI, qui avait impressionné Hollywood mais que personne n'a jamais pu tester, un nouvel acteur fait sensation dans le petite monde des intelligences artificielles génératives de vidéo : Luma AI.

Les vidéos sont courtes (5 secondes), mais d'une qualité cinématographique jusqu'ici inégalée (en tout cas pour un outil que vous pouvez vraiment utiliser).

Pour la première fois il est donc désormais possible de réaliser des petits clips de qualité, pour des pubs sur le web par exemple, ou simplement pour le plaisir de raconter une histoire.

A condition de bien savoir l'utiliser.

Quelques petits conseils :

L'outil n'est pas toujours très bon pour générer ses propres visuels. Il est plus performant lorsqu'il s'agit d'animer des images déjà existantes. Générez d'abord vos images avec Midjourney (ou Leonardo) puis animez les.

Ça marche aussi étonnament bien avec de vraies photos (même des photos de produit... avec du texte).

Petit truc amusant : donnez lui une image célèbre (historique, cinématographique ou encore un mème) pour voir comment l’IA imagine la suite de l’image…

Pour réaliser des petits films : demandez à ChatGPT ou Mistral de vous générer un storyboard avec, par exemple, des prompts pour 10 images que vous génèrerez ensuite avec Midjourney par exemple.

Animez vos images avec Luma avec un prompt court et une scène simple, proposez UN SEUL mouvement de caméra (même si le résultat est un peu aléatoire). Cochez "enhance prompt". Et si le résultat n'est pas bon, décochez (et entrez plus de détails)

Structure du prompt :

Mouvements de caméra et/ou actions et mouvements, Caractéristiques des objets et personnages, Décor et arrière-plan

Puis montez les petites vidéos avec Capcut. Ajoutez une musique réalisée avec Suno, et voilà !

Luma est gratuit (30 vidéos par mois) avec la possibilité d'augmenter le nombre de vidéos en prenant un abonnement.

Voici trois modèles de prompts à utiliser avec ChatGPT ou Claude pour générer les bons prompts Luma.

1. TRAILER

La première étape : générer une série d’idées de prompts pour créer des images que vous pourrez ensuite animer avec Luma. ChatGPT vous donnera des prompts à entrer dans Midjourney (ou toute autre IA générative d’images).

"Je veux créer un storyboard pour un trailer.
Je te donnerai un thème et tu me proposeras dix images que je pourrais générer avec Midjourney.
Propose moi 10 prompt pour générer 10 images. Fais attention à bien préserver le style pour conserver la cohérence de la vidéo.

Utilise la structure suivante pour chaque prompt : 
<structure> [concept général et personnages] [Détails et Description] [Caractéristiques et Émotions] [Nature de l'image][Composition et angle] [Défauts et réalisme][Style et Technique][Lumière et Ambiance][Choix du Film][Défaut ou Éléments d'Époque] Ne génère pas d'image, donne-moi juste le prompt. </structure>

Rédige impérativement le prompt en anglais (en retirant les crochets []). Le prompt doit se terminer par "--ar 16:9 --s 0 --style raw "

Demande moi le thème du trailer."

2. GÉNÉRER UN PROMPT POUR LUMA

Une fois que vous avez tes images, utilisez ce prompt ChatGPT/Claude pour générer des prompts à entrer cette fois dans Luma (en y ajoutant les images) :

Je veux créer un prompt pour une IA générative de vidéo. Je te donnerais une image et tu devras imaginer la scène pour un film. 
Ajoute des détails pour décrire l'image et les actions des personnages. Utilise la structure suivante :
Camera motion Actions and motion, Object features, Setting and background. La vidéo dure 5 secondes. Le prompt doit faire moins de 300 signes, sans citer la structure, et être écrit en anglais.
<exemple>:
“In a somber, nostalgic style, a young man sits on a tree stump in a forest, the warm autumn leaves surrounding him. He wears a brown jacket, dark shirt, and blue jeans, his fingers deftly moving along the fretboard of an acoustic guitar.” </exemple>
Demande moi l'image.

ChatGPT vous donnera un prompt qu’il vous faudra ensuite entrer dans Luma en y ajoutant l’image correspondante.

3. GÉNÉRER UN PROMPT POUR LUMA (SANS AJOUT D’IMAGES)

Entrez ce prompt dans ChatGPT, donnez votre idée, puis copiez-collez le prompt généré dans Luma.

Je veux créer un prompt pour une IA générative de vidéo. Je te donnerais une idée et tu devras imaginer la scène pour un film. Ajoute des détails pour décrire l'image et les actions des personnages. Utilise la structure suivante :
Camera motion Actions and motion, Object features, Setting and background. La vidéo dure 5 secondes. Le prompt doit faire moins de 300 signes, sans citer la structure, et être écrit en anglais.
<exemple>:
“In a somber, nostalgic style, a young man sits on a tree stump in a forest, the warm autumn leaves surrounding him. He wears a brown jacket, dark shirt, and blue jeans, his fingers deftly moving along the fretboard of an acoustic guitar.” </exemple>
Demande moi une idée.

Si vous voulez d’autres conseils pour bien “prompter” avec Luma, la plateforme a édité son propre guide des prompts. Vous pouvez le retrouver ici.