Nightshade – Grâce à ce nouvel outil, les artistes ripostent désormais face aux entreprises spécialisées dans l'IA

L'intelligence artificielle est de plus en plus utilisée dans le monde de l'art, ce qui d'une part ouvre de nouvelles possibilités créatives, mais d'autre part déplaît à de nombreux artistes traditionnels.

L'intelligence artificielle générative et les outils d'IA ont ouvert de nouvelles perspectives à l'art . Ils permettent d'imiter le style d'artistes célèbres, de créer des œuvres inédites, voire des pièces originales et uniques susceptibles de remporter des prix.

Mais cette approche ne plaît pas à tout le monde.

Avec la belladone et des images empoisonnées, les artistes ripostent désormais contre les entreprises d'IA et l'IA générative

Des chercheurs de l' Université de Chicago ont Nightshade, un nouvel outil permettant aux artistes de se protéger des modèles d'intelligence artificielle relayée MIT Technology Review

Nightshade modifie subtilement les données d'entraînement des modèles d'IA de génération d'images, lançant ainsi des attaques ciblées contre ces technologies.

Cet outil novateur permet aux artistes d'apporter des modifications invisibles aux pixels de leurs œuvres avant leur publication en ligne. Cependant, il comporte le risque que, lors de son intégration dans un ensemble d'entraînement d'IA, le modèle résultant soit corrompu de manière imprévisible et chaotique.

« empoisonnement » délibéré de ces données d’entraînement pourrait nuire gravement aux futures versions des modèles d’IA de génération d’images tels que DALL-E , Midjourney et Stable Diffusion . Certains résultats pourraient devenir inutilisables : des chiens pourraient se transformer en chats, des voitures en vaches, etc.

La revue MIT Technology Review a eu un accès exclusif à une étude de recherche soumise à l'évaluation par les pairs lors de la conférence Usenix

Des entreprises spécialisées dans l'IA comme OpenAI, Meta, Google et Stability AI font face à de nombreuses poursuites judiciaires intentées par des artistes qui affirment que leurs œuvres protégées par le droit d'auteur et leurs données personnelles ont été utilisées sans leur consentement ni compensation.

Ben Zhao , professeur à l'Université de Chicago et chef de l'équipe derrière Nightshade, espère rétablir l'équilibre des pouvoirs entre les entreprises d'IA et les artistes .

Cet objectif sera atteint grâce à une forte dissuasion contre la violation des droits d'auteur et des droits de propriété intellectuelle des artistes. Les sociétés Meta, Google, Stability AI et OpenAI n'ont pas encore répondu à la demande de commentaires de MIT Technology Review concernant leur éventuelle réaction.

Nightshade et Glaze comme arme combinée contre les violations de droits d'auteur commises par les grandes entreprises d'IA

L'équipe de Zhao a également Glaze , un outil destiné aux artistes, qui leur permet de « masquer » , empêchant ainsi qu'il ne soit copié par les entreprises spécialisées en IA.

À l'instar de Nightshade, des modifications subtiles sont apportées aux pixels d'une image. Invisibles à l'œil nu, elles manipulent néanmoins les modèles d'apprentissage automatique au point qu'ils interprètent l'image différemment de ce qu'elle est réellement.

L'équipe prévoit d'intégrer l'outil de données Nightshade à Glaze . Les artistes auront la possibilité de choisir d'utiliser ou non cet outil. De plus, Nightshade sera également proposé en open source, permettant ainsi à d'autres de le modifier et de créer leurs propres versions.

En utilisant et en créant différentes versions, l'outil gagne en puissance, souligne Zhao. Les ensembles de données pour les grands modèles d'IA peuvent contenir des milliards d'images. Plus le nombre d'images toxiques intégrées au modèle est important, plus les dégâts causés par cette technique sont considérables.

Comment fonctionnent la belladone et le glacis ?

Les artistes qui souhaitent partager leur travail en ligne mais ne veulent pas que les entreprises d'IA l'utilisent à leurs propres fins disposent d'une solution appelée Glaze ( cliquez ici pour l'outil ).

Ici, les utilisateurs peuvent télécharger leurs images et les déformer selon un style différent. De plus, il est désormais possible d'utiliser Nightshade

Lorsque les développeurs d'IA parcourent Internet pour collecter des données afin d'améliorer ou de créer des modèles, on leur fournit des échantillons manipulés, ce qui entraîne des dysfonctionnements.

Ces données erronées ont pour effet d'influencer les modèles d'IA de telle sorte que, par exemple, des chapeaux sont pris pour des gâteaux et des sacs à main pour des grille-pain. Il est extrêmement difficile de supprimer ces informations erronées ; les entreprises technologiques devraient rechercher et supprimer minutieusement chaque échantillon corrompu.

Les chercheurs ont testé cette attaque sur les derniers modèles de Stable Diffusion ainsi que sur un modèle d'IA qu'ils avaient développé eux-mêmes. Lorsqu'ils ont fourni à Stable Diffusion seulement 50 images de chiens empoisonnées, puis lui ont demandé de générer davantage d'images de chiens, le résultat était étrange : des créatures aux membres démesurés et aux visages caricaturaux sont apparues.

Avec 300 échantillons empoisonnés, un agresseur peut même faire en sorte que Stable Diffusion produise des images de chats au lieu d'images de chiens.

Quel impact ces outils ont-ils sur la dynamique du pouvoir entre les créateurs et les entreprises d'IA ?

Junfeng Yang , professeur d'informatique à l'université Columbia, qui a mené des recherches sur la sécurité des systèmes d'apprentissage profond et qui n'a pas participé au projet, explique de manière convaincante que Nightshade pourrait potentiellement avoir un impact majeur, notamment en tant qu'outil de dissuasion.

Par exemple, encourager les entreprises spécialisées en IA à mieux respecter les droits des artistes et à être plus disposées à payer des droits de licence .

Des entreprises spécialisées en intelligence artificielle comme Stability AI et OpenAI, qui d'images à partir de texte , offrent déjà aux artistes la possibilité de refuser que leurs images soient utilisées pour l'entraînement des futures versions de ces modèles. Cependant, de nombreux artistes estiment que cette option est insuffisante.

Eva Toorenent est une illustratrice et artiste travaillant sous le pseudonyme d'Evaboneva, qui a utilisé Glaze et qui souligne de manière critique que de telles méthodes de désabonnement nécessiteraient toujours la soumission de données à des entreprises technologiques.

Toorenent espère que Nightshade pourra changer le statu quo :

Cela incitera les entreprises d'IA à revoir leur approche, car elles sont désormais capables de détruire l'intégralité de leur modèle en utilisant notre travail sans consentement

Elle a fait cette déclaration à la MIT Technology Review.

Une autre artiste, Autumn Beverly, a indiqué que des outils comme Nightshade et Glaze lui avaient redonné confiance pour republier son œuvre en ligne. Elle l'avait auparavant retirée après avoir découvert qu'elle avait été copiée LAION

Je suis vraiment reconnaissante de disposer d'un outil qui peut aider les artistes à reprendre le contrôle de leur travail

dit-elle.

Joachim Rodriguez y Romero

Propriétaire et directeur général de Kunstplaza. Journaliste, rédacteur et blogueur passionné dans le domaine de l'art, du design et de la créativité depuis 2011. Diplôme de webdesign obtenu avec succès dans le cadre d'études universitaires (2008). Développement continu des techniques de créativité grâce à des cours de dessin en plein air, de peinture expressive et de théâtre/jeu d'acteur. Connaissance approfondie du marché de l'art grâce à de nombreuses années de recherches journalistiques et à de nombreuses collaborations avec des acteurs/institutions du monde de l'art et de la culture.

www.kunstplaza.de/