Microsoft Research fait oublier Harry Potter à une IA

En Bref. Microsoft Research a mis au point une technique innovante pour faire "oublier" des informations spécifiques à un modèle de langage à grande échelle (LLM). Le modèle Llama2-7b de Meta a été entraîné pour oublier le contenu de l'univers de Harry Potter.

La Méthode. Cette technique de désapprentissage implique trois étapes principales : le renforcement du modèle sur le contenu cible, le remplacement d'expressions et le fine-tuning. Le but étant de supprimer des informations spécifiques sans affecter les performances générales du modèle.

Le Coût. L'article souligne le coût prohibitif de la formation de modèles massifs, qui peut dépasser des dizaines de millions de dollars. Cela soulève la question de la rentabilité des autres techniques de désapprentissage.Cette technique peut apporter une solution

Les Performances. Malgré le processus de désapprentissage, le modèle Llama2-7b conserve ses performances sur des tâches générales. Cela démontre l'efficacité de la technique de désapprentissage développée par Microsoft Research.

Les risques et les avantages. Il y a trois façons de lire cette histoire :

1. Ça peut permettre d’améliorer la compréhension des IA (qui sont plutôt opaques)

2. Ça pourrait peut-être régler les conflits de droits d’auteurs (on efface les données liées à un auteur)

3. Ça peut aussi permette à des hackers de trafiquer les IA…