Tenemos un gran problema con los agentes de IA: se equivocan el 70% de las veces

Los agentes de IA fallan más que una escopeta de feria. Eso es al menos lo que revela un reciente estudio de investigadores de la Universidad Carnegie Mellon (CMU) y la Universidad de Duke. Estos expertos han analizado el comportamiento de varios de ellos y los han puesto a prueba para comprobar si esto es un "mucho ruido y pocas nueces". Y de momento lo es.

La inspiración. Graham Neubig, profesor de CMU, explicaba en The Register cómo la inspiración había sido un artículo de 2023 de OpenAI. En él se hablaba de qué tipos de trabajos podrían ser reemplazados por sistemas de IA, pero como él decía "su metodología fue básicamente preguntarle a ChatGPT si esos trabajos podrían ser automatizados". En ese estudio precisamente quisieron comprobarlo pidiéndole a diversos agentes de IA que intentaran completar tareas que teóricamente deberían realizar profesionales de esos trabajos.

Agentes incapaces. Durante esas pruebas los investigadores observaron diversos tipos de falla en esos procesos de las tareas. Así, hubo agentes negándose a enviar un mensaje a colegas que formaban parte de la tarea, hubo también agentes incapaces de gestionar ventanas de popup durante las sesiones de navegación, e incluso agentes que engañaron o hicieron trampas. En uno de los casos, destacaron, un agente que debía consultar a una persona en RocketChat (una alternativa Open Source a Slack) no la encontró, así que "le cambió el nombre a otro usuario para darle el del usuario con el que debía contactar".

Pero van mejorando. Aun con esos problemas, la evolución va siendo positiva en el rendimiento de estos agentes de IA. Neubig y su equipo probaron un agente software que era capaz de resolver cerca del 24% de las tareas que involucraban la navegación web, la programación y algunas tareas relacionadas. Seis meses después probaron una nueva versión y lograron un 34% de tareas completadas.

Imperfectos pero útiles. No solo eso: estos investigadores apuntaron a que aun fallando tanto, los agentes de IA pueden seguir siendo útiles. En ciertos contextos, como el de la programación, una sugerencia parcial de código con el que resolver cierto fragmetno de un programa puede acabar siendo la base de una solución en la que luego el desarrollador pueda trabajar.

Cuidado donde los usas. Pero claro, que los agentes cometan tantos errores puede ser un problema en escenarios más sensibles a estos problemas. Así, si encargamos a un agente que escriba correos y los envía a las personas incorrectas, el resultado podría ser un desastre. Hay soluciones a la vista, como la creciente adopción del Model Context Protocol (MCP) que facilita la interacción entre servicios y modelos de IA para que la comunicación sea mucho más precisa y se puedan mitigar esos errores durante la ejecución autónoma de tareas.

Un benchmark que hace quedar mal a los modelos de IA. Para este experto una de las grandes decepciones es que las empresas que desarrollan modelos de IA no parecen interesadas en utilizarlo como métrica para mejorar sus desarrollos. Neubig sospechaba que "quizás es que es demasiado difícil y les hace quedar mal". Es algo similar a lo que pasa con el benchmark ARC-AGI2: es un test tan difícil para las IAs que hoy en día el mejor de todos los modelos de IA que tratan de superarlo es o3, que logra —atención— un 3% de tareas completadas.

En Salesforce coinciden. Ese estudio anterior se complementa con otro realizado por un grupo de investigadores de Salesforce. Crearon un benchmark propio específicamente destinado a comprobar cómo se comprobarían diversos modelos de IA a la hora de controlar tareas típicas en un CRM como los que desarrolla la firma. Su proyecto, llamado CRMArena-Pro, pone a prueba a esos agentes de IA en áreas como el departamento de ventas o de soporte.

De sustituir a trabajadores, nada. En sus conclusiones esos investigadores revelan cómo los modelos de IA "consiguen tasas de éxito globalmente modestas, típicamente alrededor del 58% en escenarios con un solo turno de ejecución, pero con el rendimiento degradándose significativamente a aproximadamente el 35% en escenarios multiturno". De hecho, explicaban, "los agentes no están en general bien preparados ni tienen las cualificaciones esenciales para tareas complejas". El riesgo del que hablan algunos expertos, con un gran impacto de la IA en diversos puestos de trabajo, parece precipitado.

Un futuro complicado. A estos discretos resultados se une la predicción de la consultora Gartner. Según sus estudios, más del 40% de los proyectos de agentes de IA en desarrollo acabarán siendo cancelados a finales de 2027. La principal responsable del informe, Anushree Verma, indicaba que "En la actualidad, la mayoría de los proyectos de IA agéntica son experimentos o pruebas de concepto en fase inicial, impulsados principalmente por la publicidad y a menudo mal aplicados". El mensaje es claro: hay demasiadas expectativas en relación a los agentes de IA, pero el estado actual de la tecnología demuestra que hoy por hoy su aplicación es problemática y limitada.

Imagen Sigmund

En este blog Una startup de IA con seis meses de vida y seis empleados se ha vendido por 80 millones de dólares. Vibe-coding, por supuesto