Ese era básicamente el mensaje de un artículo publicado sin mucha fanfarria hace unos meses, justo en medio del sobredimensionado año de la «IA Agéntica». Titulado “Estaciones de alucinaciones: sobre algunas limitaciones básicas de los modelos de lenguaje basados en transformadores” (Estaciones de alucinación: sobre algunas limitaciones básicas de los modelos de lenguaje basados en transformadores), pretenden demostrar matemáticamente que «los LLM son incapaces de llevar a cabo tareas computacionales y agénticas más allá de una cierta complejidad». Aunque la ciencia se me escapa, los autores (un antiguo director de tecnología de SAP que estudió IA con uno de los fundadores de este campo, John McCarthy, y su hijo adolescente prodigio) recortan la visión del paraíso Agéntico con la certeza de las matemáticas. Incluso los modelos de razonamiento que van más allá del puro proceso de predicción de palabras de los LLM, señalan, no solucionarán el problema.
No hay forma
«No hay forma de que sean fiables», me cuenta Vishal Sikka, el padre. Después de una carrera que, además de SAP, incluyó un período como CEO de Infosys y miembro de la junta directiva de Oracle, actualmente dirige una puesta en marcha de servicios de IA llamada Vianai. «¿Así que deberíamos olvidarnos de los agentes de IA que dirigen centrales nucleares?». le pregunto. «Exactamente», responde. Quizás puedas hacer que archive algunos papeles o algo así para ahorrar tiempo, pero tendrás que resignarte a cometer algunos errores».
La industria de la IA no está de acuerdo. Por un lado, un gran éxito en la IA de agentes ha sido la codificación, que despegó el año pasado. Esta misma semana, en Davos, Demis Hassabis, director de IA de Google y ganador del Nobel, informó de avances en la minimización de las alucinaciones, y tanto los hiperescaladores como las nuevas empresas están impulsando la narrativa de los agentes. Ahora tienen respaldo. Una puesta en marcha llamada Harmonic informa de un gran avance en la codificación de la IA que también depende de las matemáticas y supera los puntos de referencia en “fiabilidad”.
Harmonic, cofundada por Vlad Tenev, CEO de Robinhood, y Tudor Achim, matemático formado en Stanford, asegura que esta reciente mejora de su producto Aristóteles es un indicio de que hay formas de garantizar la confiabilidad de los sistemas de IA. «¿Estamos condenados a vivir en un mundo en el que la IA solo genera basura y los humanos no pueden comprobarla? Sería un mundo de locos», señala Achim. La solución de Harmonic consiste en utilizar métodos formales de razonamiento matemático para verificar los resultados de un LLM. En concreto, codifica los resultados en el lenguaje de programación Lean, conocido por su capacidad para verificar la codificación. Hasta la fecha, Harmonic se ha centrado en un objetivo limitado: su misión principal es la búsqueda de la «superinteligencia matemática», y la codificación es una extensión un tanto orgánica. Cosas como los ensayos de historia, que no pueden verificarse matemáticamente, están fuera de sus límites. Por el momento.
No obstante, Achim no parece creer que el comportamiento confiable de los agentes sea un problema tan grave como creen algunos críticos. «Yo diría que la mayoría de los modelos tienen en este momento el nivel de inteligencia puramente necesario para razonar la reserva de un itinerario de viaje», manifiesta.
Ambas partes tienen razón, o quizás están del mismo lado.
Por un lado, todo el mundo está de acuerdo en que las alucinaciones seguirán siendo una realidad molesta. es un artículo publicado el pasado septiembre, los científicos de OpenAI escribían: «A pesar de los importantes avances, las alucinaciones siguen asolando el campo y siguen presentes en los últimos modelos». Probaron esa infeliz afirmación pidiendo a tres modelos, incluido ChatGPT, que facilitaran el título de la tesis del autor principal. Los tres se inventaron títulos falsos y todos indicaron mal el año de publicación. En un blog sobre el artículo, OpenAI anunciaba con desgano que, en los modelos de IA, «la precisión nunca alcanzará el 100%».
Ahora mismo, esas imprecisiones son lo bastante graves como para desalentar la adopción generalizada de agentes en el mundo corporativo. «No se ha aportado valor», indica Himanshu Tyagi, cofundador de una empresa de IA de código abierto llamada Sentient. Advierte que lidiar con alucinaciones puede interrumpir todo un flujo de trabajo, anulando gran parte del valor de un agente.
