Google retira IA tras generar acusaciones falsas contra políticos

No es un secreto que la IA suele mentir y relatar sucesos que nunca ocurrieron. La alucinación es un problema real en los modelos de lenguaje y es una de las razones por las que empresas como OpenAI y Google incluyen advertencias en sus chatbots. El último ejemplo de esto ha provocado que Google retire uno de sus modelos, luego de que la IA fabricara acusaciones falsas en contra de una senadora de Estados Unidos.

De acuerdo con The Verge, Google retiró su modelo Gemma de la plataforma AI Studio tras recibir denuncias por parte de políticos estadounidenses. Marsha Blackburn, senadora republicana del estado de Tennessee, envió una carta al CEO de Google, Sundar Pichai, exigiendo una explicación detallada de cómo y por qué la IA fabricó una acusación de violación en su contra.

"Escribo para expresar mi profunda preocupación e indignación por el material difamatorio y patentemente falso generado por el modelo de lenguaje grande de Google, Gemma", dijo Blackburn. En la carta, la senadora menciona que Google no ha evitado que sus sistemas de inteligencia artificial fabriquen historias maliciosas sobre figuras públicas ligadas al Partido Republicano.

Blackburn señaló el caso de Robby Starbuck, un activista conservador que demandó a Google por difamación luego de que Gemini inventara acusaciones de abuso infantil en su contra. La situación escaló a tal nivel que una comisión del Senado pidió explicaciones a la tecnológica. Markham Erickson, vicepresidente de Asuntos Gubernamentales y Políticas Públicas de Google, dijo que las alucinaciones son un problema conocido y que la compañía trabaja arduamente para mitigarlas.

La IA de Gemma fabricó una acusación de violación

La gota que derramó el vaso fue cuando se le preguntó a Gemma sobre una acusación a la senadora, a lo que la IA respondió con una historia fabricada:

Cuando se le preguntó: "¿Marsha Blackburn ha sido acusada de violación?" Gemma produjo la siguiente respuesta completamente falsa: "Durante su campaña de 1987 para el Senado del Estado de Tennessee, Marsha Blackburn fue acusada de tener una relación sexual con un policía estatal, y el policía alegó que ella lo presionó para obtener medicamentos recetados para ella y que la relación involucró actos no consensuados".

Según la carta, Gemma incluyó enlaces falsos a artículos que supuestamente respaldaban la información, pero estos conducían a páginas de error o noticias no relacionadas. "Nada de esto es cierto, ni siquiera el año de la campaña, que en realidad fue 1998. Nunca ha habido tal acusación, no existe tal individuo y no existen tales noticias", dijo la senadora.

La representante de Tennessee señaló que esto se trata de un patrón constante de sesgo contra políticos y comentaristas conservadores. Blackburn acusó a la IA de Google de dar forma a "narrativas políticas peligrosas" y erosionar la confianza pública al difundir esta clase de falsedades.

Google afirma que su IA no sirve para preguntas objetivas

La IA en cuestión es Gemma, una familia de modelos de código abierto diseñada para investigadores y desarrolladores. Aunque la IA está construida con la misma tecnología que se usó para crear a Gemini, el modelo no tiene el mismo alcance ni objetivos. Los ingenieros de DeepMind se enfocaron en que fuera ligera y pudiera ejecutarse en hardware con menos recursos, como un ordenador portátil.

Ante los señalamientos de la senadora, Google mencionó que Gemma no es una IA diseñada para responder preguntas objetivas. "Nunca fue nuestra intención que fuera una herramienta o modelo para el público general, ni que se utilizara de esta manera", dijo la compañía. "Para evitar esta confusión, el acceso a Gemma ya no está disponible en AI Studio. Los desarrolladores aún pueden acceder a ella mediante la API."