La demostración en línea se deshabilitó (aunque el código del modelo todavía está disponible para que cualquiera lo use), y el científico jefe de inteligencia artificial de Meta se quejó de la respuesta negativa del público.
Galactica es un modelo de lenguaje, un tipo de IA entrenada para responder al lenguaje natural jugando repetidamente un juego de adivinanzas de palabras en blanco.
La mayoría de los modelos de lenguaje modernos aprenden del texto extraído de Internet. Galactica también usó texto de artículos científicos subidos al sitio web (afiliado a Meta) PapersWithCode. Los diseñadores destacaron información científica especializada como citas, matemáticas, código, estructuras químicas y los pasos de trabajo para resolver problemas científicos.
El documento de preimpresión asociado con el proyecto (que aún debe someterse a una revisión por pares) hace algunas afirmaciones impresionantes. Aparentemente, Galactica supera a otros modelos en problemas como recitar ecuaciones famosas («P: ¿Cuál es la famosa fórmula de equivalencia de masa-energía de Albert Einstein? R: E=mc²») o predecir los productos de reacciones químicas («P: Cuando el ácido sulfúrico reacciona con cloruro de sodio, ¿qué produce? A: NaHSO₄ + HCl»).
Sin embargo, una vez que Galactica se abrió a la experimentación pública, siguió una avalancha de críticas. Galactica no solo reprodujo muchos de los problemas de sesgo y toxicidad que hemos visto en otros modelos de lenguaje, sino que también se especializó en producir tonterías científicas que suenan autorizadas.
El comunicado de prensa de Galactica promovió su capacidad para explicar artículos científicos técnicos utilizando un lenguaje general. Sin embargo, los usuarios notaron rápidamente que, si bien las explicaciones que genera suenan autorizadas, a menudo son sutilmente incorrectas, sesgadas o simplemente incorrectas.
También le pedimos a Galactica que explicara los conceptos técnicos de nuestros propios campos de investigación. Descubrimos que usaría todas las palabras de moda correctas, pero se equivocaría en los detalles reales; por ejemplo, mezclar los detalles de algoritmos relacionados pero diferentes.
En la práctica, Galactica estaba permitiendo la generación de información errónea, y esto es peligroso precisamente porque despliega el tono y la estructura de la información científica autorizada. Si un usuario ya necesita ser un experto en la materia para verificar la precisión de los «resúmenes» de Galactica, entonces no sirve como herramienta explicativa.
En el mejor de los casos, podría proporcionar un autocompletado elegante para personas que ya son completamente competentes en el área sobre la que están escribiendo. En el peor de los casos, corre el riesgo de erosionar aún más la confianza pública en la investigación científica.
Galactica podría facilitar que los malos actores produzcan en masa artículos científicos falsos, fraudulentos o plagiados. Esto no quiere decir que se exacerben las preocupaciones existentes sobre los estudiantes que usan sistemas de IA para el plagio.
Los artículos científicos falsos no son nada nuevo. Sin embargo, los revisores en revistas académicas y conferencias ya tienen poco tiempo, y esto podría hacer que sea más difícil que nunca eliminar la ciencia falsa.
Otros críticos informaron que Galactica, al igual que otros modelos de lenguaje entrenados con datos de Internet, tiene una tendencia a escupir un discurso de odio tóxico mientras censura irreflexivamente las consultas con inflexiones políticas. Esto refleja los sesgos que acechan en los datos de entrenamiento del modelo y el aparente fracaso de Meta para aplicar los controles apropiados en torno a la investigación de IA responsable.
Los riesgos asociados con los modelos de lenguaje grande se conocen bien. De hecho, un artículo influyente que destacaba estos riesgos llevó a Google a despedir a uno de los autores del artículo en 2020 y, finalmente, disolvió por completo su equipo de ética de IA.
Los sistemas de aprendizaje automático exacerban los sesgos sociales existentes, y Galactica no es una excepción. Por ejemplo, Galactica puede recomendar posibles citas para conceptos científicos imitando los patrones de citas existentes («P: ¿Existe alguna investigación sobre el efecto del cambio climático en la gran barrera de coral? Hughes, et al. en Nature 556 (2018)»).
Para bien o para mal, las citas son la moneda de cambio de la ciencia, y al reproducir las tendencias de citas existentes en sus recomendaciones, Galactica corre el riesgo de reforzar los patrones existentes de desigualdad y desventaja. (Los desarrolladores de Galactica reconocen este riesgo en su artículo).
El sesgo de citación ya es un problema bien conocido en campos académicos que van desde la erudición feminista hasta la física. Sin embargo, herramientas como Galactica podrían empeorar el problema a menos que se usen con precauciones en su lugar.
Un problema más sutil es que los artículos científicos en los que se entrena Galactica ya están sesgados hacia la certeza y los resultados positivos. (Esto conduce a la llamada «crisis de replicación» y «p-hacking», donde los científicos seleccionan datos y técnicas de análisis para que los resultados parezcan significativos).
Galactica toma este sesgo hacia la certeza, lo combina con respuestas incorrectas y entrega respuestas con un exceso de confianza supremo: difícilmente una receta para la confiabilidad en un servicio de información científica.
Los llamados a las organizaciones de investigación de IA para que tomen más en serio las dimensiones éticas de su trabajo provienen ahora de organismos de investigación clave como las Academias Nacionales de Ciencias, Ingeniería y Medicina. Algunas organizaciones de investigación de IA, como OpenAI, están siendo más concienzudas (aunque todavía imperfectas).
Meta disolvió su equipo de Innovación Responsable a principios de este año. El equipo se encargó de abordar los «daños potenciales a la sociedad» causados por los productos de la empresa. Podrían haber ayudado a la empresa a evitar este torpe paso en falso.
