Nightshade – Con esta nueva herramienta, los artistas están contraatacando a las empresas de IA.

La inteligencia artificial se utiliza cada vez más en el mundo del arte, lo que por un lado abre nuevas posibilidades creativas, pero por otro disgusta a muchos artistas tradicionales.

La IA generativa y las herramientas de IA han añadido una dimensión completamente nueva al arte . Pueden imitar el estilo de artistas famosos, creando obras nuevas o incluso piezas originales y únicas que pueden ganar premios.

Pero no a todos les gusta este enfoque.

Con Nightshade y las imágenes manipuladas, los artistas están contraatacando a las empresas de IA y a la IA generativa.

Investigadores de la Universidad de Chicago han Nightshade, una nueva herramienta que permite a los artistas protegerse modelos de IA informó MIT Technology Review

Nightshade altera sutilmente los datos de entrenamiento de los modelos de IA generadores de imágenes, lanzando así ataques dirigidos contra estas tecnologías.

Esta innovadora herramienta permite a los artistas realizar cambios invisibles en los píxeles de sus obras antes de publicarlas en línea. Sin embargo, esto conlleva el riesgo de que, al incorporarse a un conjunto de datos de entrenamiento de IA, el modelo resultante se corrompa de forma impredecible y caótica.

«envenenamiento» deliberado de estos datos de entrenamiento podría perjudicar gravemente futuras versiones de modelos de IA para la generación de imágenes, como DALL-E , Midjourney y Stable Diffusion . Algunos resultados podrían volverse inutilizables: los perros podrían convertirse en gatos, los coches en vacas, etc.

MIT Technology Review tuvo acceso exclusivo a un estudio de investigación que fue presentado para su revisión por pares en la Usenix

Empresas de inteligencia artificial como OpenAI, Meta, Google y Stability AI se enfrentan a numerosas demandas de artistas que afirman que su material protegido por derechos de autor y sus datos personales fueron utilizados sin su consentimiento ni compensación.

Ben Zhao , profesor de la Universidad de Chicago y jefe del equipo detrás de Nightshade, espera restablecer el equilibrio de poder entre las empresas de IA y los artistas .

Esto se logrará mediante una fuerte disuasión contra la infracción de los derechos de autor y de propiedad intelectual de los artistas. Las empresas Meta, Google, Stability AI y OpenAI aún no han respondido a la solicitud de comentarios de MIT Technology Review sobre su posible respuesta.

Nightshade y Glaze como arma combinada contra las infracciones de derechos de autor por parte de grandes empresas de IA

El equipo de Zhao también Glaze , una herramienta para artistas que les permite "enmascarar" , evitando que sea copiado por empresas de IA.

Al igual que en Nightshade, se realizan cambios sutiles en los píxeles de una imagen. Estos cambios son invisibles al ojo humano; sin embargo, manipulan los modelos de aprendizaje automático hasta tal punto que interpretan la imagen de forma distinta a como realmente es.

El equipo planea integrar la herramienta de datos Nightshade en Glaze . Los artistas podrán elegir si desean usarla o no. Además, Nightshade también se ofrecerá como software de código abierto, lo que permitirá a otros modificarla y crear sus propias versiones.

Zhao destaca que, al usar y crear diferentes versiones, la herramienta se vuelve cada vez más potente. Los conjuntos de datos para grandes modelos de IA pueden constar de miles de millones de imágenes. Cuantas más imágenes tóxicas se introduzcan en el modelo, mayor será el daño causado por esta técnica.

¿Cómo funcionan Nightshade y Glaze?

Los artistas que desean compartir su trabajo en línea pero no quieren que las empresas de IA lo utilicen para sus propios fines tienen una solución llamada Glaze ( haga clic aquí para acceder a la herramienta ).

Aquí, los usuarios pueden subir sus imágenes y distorsionarlas con un estilo diferente. Además, ahora también es posible usar Nightshade

Cuando los desarrolladores de IA rastrean Internet para recopilar datos para mejorar o crear modelos, se encuentran con estas muestras manipuladas, lo que provoca fallos de funcionamiento.

Estas muestras de datos contaminados influyen en los modelos de IA de tal manera que, por ejemplo, reconocen sombreros como pasteles y bolsos como tostadoras. Eliminar esta información errónea es extremadamente difícil; las empresas tecnológicas tendrían que buscar y eliminar minuciosamente cada muestra corrupta.

Los investigadores probaron este ataque tanto en los últimos modelos de Stable Diffusion como en un modelo de IA de desarrollo propio. Cuando alimentaron a Stable Diffusion con tan solo 50 imágenes de perros envenenados y luego le pidieron que generara más imágenes de perros, el resultado fue extraño: aparecieron criaturas con un número excesivo de extremidades y rostros caricaturescos.

Con 300 muestras envenenadas, un atacante puede incluso hacer que Stable Diffusion cree imágenes de gatos en lugar de imágenes de perros.

¿Qué impacto tienen estas herramientas en la dinámica de poder entre creadores y empresas de IA?

Junfeng Yang , profesor de informática en la Universidad de Columbia que ha investigado la seguridad de los sistemas de aprendizaje profundo y que no participó en el proyecto, explica de manera convincente que Nightshade podría tener un impacto potencialmente importante, especialmente como elemento disuasorio.

Por ejemplo, incentivar a las empresas de IA a que respeten mejor los derechos de los artistas y estén más dispuestas a pagar derechos de licencia .

Empresas de IA como Stability AI y OpenAI, que imágenes a partir de texto , ya ofrecen a los artistas la opción de rechazar que sus imágenes se utilicen para entrenar futuras versiones de estos modelos. Sin embargo, muchos artistas consideran que esto es insuficiente.

Eva Toorenent es una ilustradora y artista que trabaja bajo el seudónimo de Evaboneva, quien ha utilizado Glaze y señala críticamente que tales métodos de exclusión voluntaria aún requerirían la sumisión a las empresas de tecnología.

Toorenent espera que Nightshade pueda cambiar el statu quo:

Esto hará que [las empresas de IA] se replanteen su enfoque, ya que ahora pueden destruir todo su modelo utilizando nuestro trabajo sin consentimiento.”

Así lo comentó a la revista MIT Technology Review.

Otra artista, Autumn Beverly, comentó que herramientas como Nightshade y Glaze le devolvieron la confianza para volver a publicar su obra en línea. Anteriormente la había retirado tras descubrir que había sido copiada LAION

Estoy realmente agradecida de contar con una herramienta que pueda ayudar a los artistas a recuperar el control sobre su obra.”

dice ella.