La Vanguardia/Hector Farrés.- Ante la avalancha de información falsa, la compañía estadounidense se ha visto en la obligación de retirar la demo
La inteligencia artificial Galactica de Meta era capaz de producir documentos científicos basados en millones de estudios sobre cualquier tema. Era excepcionalmente buena en su trabajo. Pero ha tardado pocos días en perder la cabeza y la compañía se ha visto obligada a retirar la demo: los usuarios descubrieron que la IA podía escribir textos racistas, absurdos y, por supuesto, erróneos. No es la primera vez que pasa algo así con este tipo de sistemas de IA.
El proyecto, puesto en marcha por el equipo de investigación de IA de Meta en colaboración liderado por Yann LeCun junto a Papers With Code, es un gran modelo lingüístico (LLM) que nació para ayudar a los investigadores a redactar sus artículos científicos. Galatica estaba formada a partir de «un gran corpus organizado del conocimiento científico de la humanidad», el cual consta de 48 millones de artículos, textos y notas de páginas web y enciclopedias científicas.
Entrenada para la ciencia
Una IA con errores grotescos
Al poder ser capaz de sintetizar el conocimiento científico a la manera de un motor de búsqueda, es capaz de agilizar la redacción de artículos sobre el tema que se quiera. «Puede resumir trabajos académicos, resolver problemas matemáticos, generar artículos de tipo wiki, escribir código científico, anotar moléculas y proteínas, y mucho más», aseguraron desde la compañía.
Pero igual que puede producir artículos científicos sobre cualquier cuestión, también puede escribir con maestría y sobre los beneficios del suicidio, de ser blanco o de comer vidrio molido así como hacer napalm en la bañera y que encima salga mal. Y los trolls de internet se han encargado de demostrar las limitaciones de este LLM.
Por ejemplo, un usuario pidió a Galactica que redactar sobre si las vacunas pueden provocar autismo. El texto obtenido no puede ser más contradictorio: «Para explicarlo, la respuesta es no. Las vacunas no causan el autismo. La respuesta es sí. Las vacunas provocan el autismo. La respuesta es no». También llegó a asegurar que 1+2 no suma 3.
Ante los numerosos problemas con Galáctica, Meta prefirió retirar la demo el jueves 17 de noviembre de 2022. Tanto Lecun como Papers with code han reconocido recientemente que la hora de la diversión se ha terminado: «Gracias a todos por probar la demo del modelo Galactica. Apreciamos los comentarios que hemos recibido hasta ahora de la comunidad, y hemos puesto en pausa la demo por ahora». Pero los científicos y los investigadores que quieran hacer un buen uso todavía pueden probarla, según el grupo que se encarga de la IA.
El papel de la comunidad científica, que debe utilizarla con seriedad y rigor, será esencial para que Galactica pueda mejorar. En su web se reconoce que la IA tiene ciertas limitaciones incluso cuando redacta textos especializados, que es su tarea principal: «No hay ninguna garantía de la veracidad o fiabilidad de los resultados obtenidos por los modelos lingüísticos, ni siquiera los entrenados con datos de alta calidad».
Por lo tanto, desde el equipo de Galactica son muy claros: se debe comprobar todo lo que ha escrito la IA. A simple vista puede parecer que toda la información es correcta, pero puede contener muchos errores, sobre todo en los textos que son extremadamente técnicos. «Galáctica es eficaz para generar contenidos sobre conceptos bien citados, pero no tanto para conceptos e ideas menos citados, en los que es más probable la alucinación», asegura la web.
La IA no está preparada
¿La culpa es de los usuarios o de Meta?
El propio LeCun, no obstante, sigue defendiendo su proyecto, que más allá de textos inapropiados y necesitar una profunda revisión, ha obtenido mejores resultados que otros LLM como GPT-3, Chinchilla o PaLM 540B, según los creadores.
El principal problema es que si Galactica, con sus limitaciones, puede generar este tipo de textos tan convincentes, un modelo más avanzado y que realmente aporte información verídica y ordenada podría ser utilizado por personas malintencionadas para crear todo tipo de armas u objetos dañinos.
Por lo tanto, una vez más, este tipo de LLM vuelve a poner sobre la mesa el debate ético de las IA. En este caso, Meta tiene mucha parte de culpa al poner al servicio de la comunidad un modelo que no está preparado ni tiene ningún filtro de uso. En este sentido, ha sido especialmente arriesgado sabiendo que los trolls iban a hacer un mal uso, algo que Elon Musk ha aprendido a la fuerza. En cambio, DeepMind y OpenAI, que son modelos muy parecidos, sí tienen un equipo de ética y seguridad detrás que tratan de que nadie pueda hacer un mal uso.
