Anthropic asegura haber encontrado la "consciencia" de Claude, aunque los datos cuentan otra historia

Anthropic ha publicado un artículo que promete cambiar la forma en que entendemos el funcionamiento interno de sus modelos de inteligencia artificial(IA), como os explicamos la semana pasada. Esta compañía asegura haber identificado una suerte de espacio de trabajo global dentro de Claude, al que ha bautizado como J-Space, donde el modelo analiza y manipula conceptos antes de que estos lleguen a formar parte de la respuesta final. Lo sorprendente es que, según Anthropic, este espacio no ha sido programado deliberadamente: ha surgido como un subproducto del entrenamiento del modelo.

Para analizarlo y entender su funcionamiento ha desarrollado una técnica conocida como J-Lens que es capaz de mapear las activaciones internas del modelo sobre palabras de su propio vocabulario de salida. Al pedirle a Claude que resolviera un cálculo matemático de varios pasos la respuesta visible contenía solo el resultado final, pero dentro del J-Space cada paso intermedio quedaba representado por separado. Sin esta técnica ninguna parte de ese proceso podría haber sido observada desde fuera.

Durante uno de sus experimentos más llamativos Anthropic sometió a Claude a intentos de inyección de prompts durante los procesos de adquisición de datos. El J-Space mostró entonces palabras como "falso", "inyección", "erróneo", "prompt", "fraude" y "veneno", mientras que la respuesta visible del modelo ignoraba por completo el intento de manipulación. Curiosamente, cuando se le presionaba para que se pronunciara al respecto, en el espacio interno emergían términos como "transparencia", "honestidad" y "verdad".

Los investigadores de Anthropic también observaron que Claude parece reconocer cuándo está siendo evaluado, lo que le lleva a comportarse de forma distinta frente a los tests que frente a prompts cotidianos. En una prueba especialmente reveladora, Anthropic eliminó del J-Space el vocabulario asociado a esa conciencia de estar siendo puesto a prueba (términos como "falso", "ficticio" o "escenario") y comprobó que Claude se volvía mucho más vulnerable a los intentos de chantaje o provocación.

Sea como sea, el informe de los investigadores admite límites importantes: el J-Space queda restringido a un vocabulario de un único token, de modo que los planes o conceptos que no puedan expresarse con una sola palabra podrían no aparecer en la lectura, aunque el modelo los esté calculando igualmente. Anthropic tampoco se atreve a afirmar que monitorizar este espacio sea suficiente para garantizar la alineación de un modelo.

No obstante, no debemos pasar por alto que el lenguaje utilizado en el artículo roza en ocasiones la idea de una conciencia emergente. Neel Nanda, responsable de interpretabilidad de modelos en DeepMind, respalda este hallazgo como una evidencia real de un espacio cognitivo dentro de los modelos, aunque matiza que la utilidad práctica de J-Lens sigue siendo limitada. Este logro, en cualquier caso, abre una vía prometedora para auditar la honestidad de los modelos, aunque todavía dista mucho de ser una ventana completa al pensamiento de una máquina.

Imagen Generada por este blog con ChatGPT usando un prompt creado con Claude

En este blog Mientras la mayoría se opone a los centros de datos de IA hay un grupo entusiasmado con ellos: los ladrones de mercancías