OpenAI tiene un detector de textos escritos por IA que funciona casi a la perfección. Y no quiere sacarlo al mercado

¿Cómo sabemos que un texto ha sido generado por un modelo de inteligencia artificial? No podemos. No al menos a ciencia cierta, y quienes han intentado detectar este tipo de textos han fracasado. Hasta ahora, parece.

El detector infalible. Según fuentes cercanas a la empresa citadas en WSJ, OpenAI tiene un sistema para crear marcas de agua para textos generados por ChatGPT, además de una herramienta para detectar esas marcas. En TechCrunch un portavoz de OpenAI ha confirmado que la empresa está trabajando en el método de marcas de agua descrito en el WSJ, pero el sistema presenta "complejidades" y plantea un "probable impacto en el ecosistema más allá de OpenAI".

Una tarea hasta ahora imposible. Son varias las empresas que han lanzado herramientas de detección de textos generados por IA, pero ninguna funciona demasiado bien. OpenAI creó y lanzó la suya propia a principios de 2023, pero acabó admitiendo que su nivel de precisión era bajo y hasta canceló y abandonó aquella propuesta inicial.

Cómo funciona el nuevo detector. El mecanismo es relativamente sencillo, aunque solo funcionaría en ChatGPT. Lo que haría la compañía es hacer pequeños cambios en la forma en la que ChatGPT selecciona las palabras que luego genera, creando así una especie de marca invisible en esa escritura que luego podría ser detectada por otra herramienta.

Tu estilo te delata, ChatGPT. Es decir: OpenAI obligaría a ChatGPT a tener un "estilo robótico" de redacción que luego podría identificar. Los textos seguirían siendo de calidad, pero la elección de palabras lo delataría. Es algo que de hecho ya se ha percibido en textos académicos y financieros generados por modelos de IA: usan un lenguaje raruno, y eso permite detectar que han sido generados así.

Útil en ciertos caos, no tanto en otros. OpenAI ha editado un post de su blog publicado en mayo en el que hablaban del tema. Indican que las marcas de agua han demostrado "una alta precisión e incluso eficacia frente a la manipulación localizada, como la paráfrasis", pero también tiene problemas por ejemplo en "sistemas de traducción, o al pedirle al modelo que inserte un carácter especial entre cada palabra para luego borrar ese carácter".

Fácil de falsificar. Estos problemas hacen que según OpenAI, su herramienta y su sistema tenga un problema: es "trivial eludir" su funcionamiento si un "mal actor", como un ciberdelicuente, pretende hacerlo. La compañía no aclara en ningún momento si acabará lanzando la herramienta, pero parece que al menos hay un camino interesante para conseguir algo que hasta ahora parecía imposible. O al menos, para mitigar los malos usos o los usos prohibidos, como los que asolan al mundo académico desde la aparición de ChatGPT. Quizás después de todo los estudiantes no puedan usar este chatbot para hacer los deberes.

En este blog Hasta ahora Microsoft y OpenAI habían sido grandes aliados. Hasta ahora