Openai ya ha anunciado su estrategia para prevenir riesgos con Superinteligencia: Superalineración

OpenAI ha anunciado en un comunicado en su blog parte de su nueva estrategia. La llaman 'superalineación', están creando un equipo de trabajo específico para dedicarse a ella, y se da un plazo de cuatro años para cumplir su objetivo.

¿Qué objetivo? Ser capaces de controlar sistemas de IA mucho más inteligentes que el ser humano, de ahí el nombre 'superalineación': capacidad para alinear la superinteligencia con la voluntad humana. Algo así como las tres leyes de la robótica de Asimov, pero más amplio y aplicado a la IA.

Prevenir rebeldías

El término 'superinteligencia' que usa OpenAI viene a ser la evolución de 'AGI' (Inteligencia Artificial General). Si AGI hace referencia a la capacidad de la IA de replicar tareas humanas, superinteligencia se refiere a un nivel de capacidad muy superior al humano, preparado para resolver problemas a escala global que hasta ahora no podían ser resueltos.

Desde OpenAI consideran que la superinteligencia podría ser una realidad esta misma década, y que su capacidad, muy poderosa, también entraña un riesgo que podría llevar "al desempoderamiento de la humanidad o incluso a la extinción humana".

Hiperbolizado o no, este riesgo es el que quieren enfrentar los creadores de ChatGPT con la creación de su equipo de superalineación, que se basa en el uso de IA para controlar la propia IA. Si hasta ahora las técnicas se basan en aprendizaje automático a partir de la retroalimentación humana, donde son personas quienes se encargan de las bases de ese entrenamiento, la superalineación requerirá niveles de retroalimentación difíciles de lograr únicamente con humanos: harían falta muchísimos y extremadamente cualificados y especializados.

Un ejemplo de esta complejidad la dio la propia OpenAI en otro artículo de su blog hace unas semanas: en él explicaban cómo el razonamiento matemático complejo ya no solo se hacía hacia la consecución del resultado correcto, sino también hacia el proceso.

Uno de los ejemplos usados, un problema de trigonometría, tuvo una gran mayoría de intentos fallidos, pero lograron que el modelo reconociese la solución correcta.

Esa verificación, de cada paso de cada intento, necesita humanos con una alta cualificación en Matemáticas. Es lo que OpenAI busca reemplazar por una IA basada en aprendizaje automático que se alinee en la intención humana, no es la voluntad que pueda desarrollar la propia IA.

Para ello debe dar una señal de entrenamiento en tareas difíciles de evaluar para los humanos, asistida por IA; automatizar la búsqueda de comportamientos y componentes internos problemáticos, y entrenar deliberadamente modelos desalineados para confirmar que sus técnicas detectan los peores tipos de desalineaciones. Algo similar a lo que llevamos años viendo con las redes generativas antagónicas.

En el plazo de cuatro años que se ha marcado OpenAI deberán resolver los principales desafíos técnicos centrales de la alineación de la superinteligencia. Eso supone lograrlo hacia 2027, cerca de los últimos años de la década, el plazo en el que la empresa cree factible la llegada de esa superinteligencia.

Imagen destacada este blog con Midjourney.

En este blog Los grandes expertos de la IA comparten un mensaje sobre el "riesgo de extinción": les bastan 22 palabras.