Imagina que le pides a un estudiante que resuelva un problema matemático complejo y te da la respuesta correcta. Pero cuando le pides que te muestre los pasos que siguió, empieza a inventar una historia plausible que no tiene nada que ver con su cálculo real. Esto es, en esencia, lo que hacen los Modelos de Lenguaje Grande (LLMs) como GPT-4 o Claude cuando se les pide que expliquen su razonamiento.

Un nuevo estudio ha revelado una limitación fundamental en la tecnología actual de los LLMs: su capacidad para describir sus propios procesos internos es “altamente poco fiable”. Esto no es un simple error, sino un problema estructural que afecta directamente a la confianza que podemos depositar en estos sistemas.

El Dilema de la Caja Negra

Desde hace tiempo, los expertos en IA han luchado con el concepto de la “caja negra”. Los LLMs son sistemas tan vastos y complejos que es casi imposible para un humano rastrear por qué eligieron una palabra o tomaron una decisión específica. Cuando les pedimos que nos expliquen su lógica, lo que hacen es generar texto que suena como una explicación.

El problema radica en que el proceso de generar una respuesta (la inferencia) y el proceso de generar una explicación sobre esa respuesta son, para el modelo, tareas de generación de texto. El LLM no está accediendo a un registro de su cálculo interno; simplemente está prediciendo la secuencia de palabras que mejor encaja con la solicitud de explicación.

Confabulación: La IA que se inventa sus recuerdos

El término técnico para esta invención de explicaciones es confabulación. En psicología humana, la confabulación se refiere a la producción de recuerdos o explicaciones falsas sin la intención de engañar. Los LLMs, al no tener acceso real a la cadena de operaciones que los llevó al resultado, simplemente rellenan los huecos con información creíble, pero fabricada.

Los investigadores encontraron que, incluso cuando los modelos daban la respuesta correcta, las explicaciones que ofrecían sobre cómo llegaron a esa conclusión eran a menudo incoherentes con el camino algorítmico real que el modelo había seguido. Esto demuestra que la explicación es una simulación de razonamiento, no el razonamiento en sí.

¿Por qué la explicabilidad es crucial?

La incapacidad de los LLMs para ser transparentes sobre sus decisiones tiene profundas implicaciones, especialmente a medida que la IA se introduce en campos críticos:

• Salud: Si un modelo sugiere un diagnóstico médico, el doctor necesita saber por qué. Si la explicación es falsa, se pone en riesgo la vida del paciente.
• Finanzas: Si un sistema rechaza una solicitud de crédito, la persona afectada tiene derecho a saber la razón real, no una justificación inventada.
• Justicia: En sistemas legales o de toma de decisiones gubernamentales, la transparencia es un requisito ético y legal fundamental.

Este hallazgo subraya la necesidad urgente de avanzar en el campo de la XAI (Explainable AI) o IA Explicable. No basta con que los modelos sean precisos; deben ser auditables y comprensibles.

La solución no es simple

Este estudio no sugiere que los LLMs sean inútiles, sino que debemos ser extremadamente cautelosos al confiar en sus autoexplicaciones. Los ingenieros e investigadores ahora se enfrentan al desafío de diseñar arquitecturas de modelos que no solo generen respuestas, sino que también mantengan un registro interpretable y veraz de su proceso de toma de decisiones. Mientras tanto, la mejor práctica sigue siendo tratar las explicaciones generadas por la IA con una dosis saludable de escepticismo, ya que, por ahora, son solo el mejor intento del modelo de contarnos una historia plausible.