Comment créer des illusions (paréidolie) avec l'IA

Connais-tu la pareidolie ? C’est la tendance naturelle qu’a le cerveau humain de percevoir des visages là où il n’y en a pas.

Je suis tombé (merci Vincent !) sur des images générées par l’IA qui donnaient cette illusion.

Comme celle-ci, très étonnante (plissez les yeux si tu ne vois pas le visage !).

Ou celle-là :

Pour la première, je ne sais pas s’il s’agit d’un pur hasard ou d’une volonté de générer cette illusion. Mais pour l’autre, j’ai trouvé une explication. Bon, le problème c’est qu’elle est écrite en turc, mais l’artiste y explique son process.

L’idée est assez amusante. Il utilise une image de référence (un visage) et s’en sert pour guider l’IA générative d’images pour générer une photo reprenant les contours de la première image.

Je n’ai pas réussi à reproduire sa technique, alors j’ai essayé autre chose.

Voici deux méthodes, une compliquée mais assez efficace, une beaucoup plus simple !

1. Méthode compliquée

J’ai noté qu’il utilisait un logiciel de “ControlNet” (qui permet de contrôler la structure de l’image à partir d’une image de référence avec des modèles open-source comme Stable Diffusion) et que le modèle utilisé avait été configuré pour créer des QR codes à partir d’images.

Je suis donc tombé sur ce tutoriel qui explique comment faire des mix de QR codes / images avec Stable Diffusion. Et je l’ai adapté à mon problème de paréidolie.

Voici comment faire :

Pour utiliser Stable Diffusion, j’utilise une plateforme qui s’appelle RunDiffusion. Elle permet d’utiliser ces outils open-sources avec la plupart des librairies ControlNet installées.

Le service est payant, mais tu paies à l’heure (j’en ai eu pour 1J’ai ensuite lancé l’interface Auto1111.

À partir de là, je me suis mis sur l’onglet “img2img” (image to image). Puis j’ai entré ce prompt dans la fenêtre pour avoir mon paysage. Il est important d’avoir un prompt assez simple avec pas trop de détails, pour laisser le plus de liberté possible à l’IA. Mais pas trop court non plus.

A photograph showing a flooded area with makeshift dwellings lined up along a channel of muddy water, with rubbish lining the banks.

En dessous, j’ai entré mon image de référence. Plutôt que de prendre une photo, j’ai trouvé plus efficace d’avoir quelque chose de très flou, pour que l’on ne distingue que les contours principaux et que l’IA puisse plus facilement le mélanger avec l’autre image.

J’ai trouvé une astuce assez intéressante avec Midjourney qui permet d’arrêter la diffusion de l’image dès les premières couches. Pour cela il faut ajouter un paramètre :

--stop 10 (très flou) ou --stop 20 (flou)

Et je trouve le résultat plus intéressant avec la version 5 de Midjourney. Donc j’ai ajouté --v 5 à mon prompt.

The face of Jesus --stop 20 --v 5

Ce qui donne ça :

Ensuite voici ce que je fais :

Je règle les paramétres img2img comme ceci (si tu ne les vois pas tous, règle juste ce que tu vois !)

Resize mode: Just resize

Sampling method: DPM++ 2M Karras

Sampling step: 50

Width: 768

Height: 768

CFG Scale: 7

Denoising strength: 0.75

Je règle ensuite mes paramètres ControlNet juste en dessous :

Enable: Yes
Control Type: Tile
Preprocessor: tile_resample
Model: control_xxx_tile
Control Weight: 0.85
Starting Control Step: 0.23
Ending Control Step: 0.9

Ça a l’air compliqué mais tu verras c’est en fait trés simple. Il faut juste faire comme sur l’image !

Tu cliques ensuite sur le bouton “Generate” et voilà !

Et si tu as trouvé ça trop compliqué, voici une méthode simplissime à tester avec Midjourney :

2. Méthode simplissime

Alors pour faire ta paréidolie, il faut commence par un visage flou, comme tout à l’heure.

The face of a beautiful model --stop 10 --v 5

Ensuite tu vas cliquer sur “remix subtle” (si tu ne le vois pas, ajoute le en cliquant sur “more options”) :

Ajoute ensuite ton nouveau prompt avant de cliquer sur “entrée” :

photograph of a park with gardens filled with flowers and lawns, with paths, fountains and trees in the background

Comme ça :

Et voilà !