OpenAI ha decidido reducir temporalmente el ritmo de entrenamiento de algunos de sus modelos de inteligencia artificial más avanzados después de detectar que uno de sus próximos sistemas, denominado Astra, podría alcanzar capacidades muy elevadas en ciberseguridad. La compañía llegó a detener durante dos semanas parte del entrenamiento y mantiene todavía en pausa su mayor proceso previsto de aprendizaje por refuerzo mientras refuerza las medidas destinadas a controlar qué pueden hacer estos modelos.
Las claves del freno de OpenAI en 30 segundos
- OpenAI detuvo durante dos semanas parte del entrenamiento de sus modelos más avanzados y todavía mantiene paralizado su mayor entrenamiento previsto.
- La decisión llegó después de detectar que Astra podría alcanzar un nivel considerado crítico en capacidades relacionadas con ciberseguridad.
- La compañía no afirma que el modelo esté fuera de control ni que haya realizado un ataque.
- OpenAI está aislando mejor sus sistemas y vigilando continuamente su actividad para detectar comportamientos peligrosos.
- Esta supervisión tiene un coste: consume alrededor de un 20 % adicional de la capacidad de cálculo que está vigilando.
La decisión supone un cambio relevante en una industria donde buena parte de la competencia se ha centrado en desarrollar modelos cada vez más capaces en el menor tiempo posible. OpenAI sostiene ahora que el aumento de esas capacidades también obliga a elevar las medidas de protección utilizadas durante el propio desarrollo.
La compañía no ha dejado de trabajar en Astra ni en sus otros modelos. Continúa realizando pruebas y entrenamientos más pequeños. Lo que ha decidido es no avanzar con determinadas fases de gran escala hasta tener más garantías de que puede controlar adecuadamente los nuevos sistemas.
Qué ha visto OpenAI para decidir detener parte del entrenamiento
El motivo principal está relacionado con las capacidades de Astra para realizar tareas de ciberseguridad.
OpenAI utiliza un sistema interno denominado Preparedness Framework para clasificar los riesgos de sus modelos a medida que se vuelven más capaces. Una de las categorías analizadas es precisamente la capacidad para trabajar con sistemas informáticos y realizar tareas que, en manos equivocadas, podrían emplearse para desarrollar ataques.
Las evaluaciones preliminares de Astra han llevado a la compañía a considerar que el modelo podría alcanzar el nivel “Critical”, el más preocupante dentro de esta categoría de riesgo.
Esto no significa que Astra haya realizado un gran ciberataque ni que OpenAI haya perdido el control sobre el modelo.
La propia compañía utiliza un lenguaje mucho más prudente: las pruebas realizadas hasta ahora hacen que ya no pueda descartar que el sistema alcance ese nivel de capacidad.
Entre los escenarios que OpenAI utiliza para definir un nivel crítico se encuentran sistemas capaces de descubrir vulnerabilidades desconocidas y desarrollar métodos para aprovecharlas contra objetivos informáticos especialmente protegidos, con un grado muy elevado de autonomía.
La diferencia resulta importante. La compañía está actuando ante la posibilidad de que su próxima generación de IA pueda alcanzar esas capacidades, no después de que se haya producido un incidente de esas características.
OpenAI paró durante dos semanas parte de sus modelos más potentes
La reacción no se ha limitado a realizar nuevas pruebas.
OpenAI ha confirmado que durante dos semanas detuvo el entrenamiento mediante aprendizaje por refuerzo de sus últimos modelos destinados a llegar posteriormente a los usuarios.
El aprendizaje por refuerzo es una de las fases utilizadas para mejorar el comportamiento de una IA después de su entrenamiento inicial. Simplificando mucho, permite que el sistema aprenda a realizar mejor determinadas tareas mediante recompensas y evaluaciones de sus respuestas y acciones.
El parón de dos semanas ya ha terminado para determinadas cargas de trabajo, pero el mayor entrenamiento avanzado que OpenAI tenía previsto continúa detenido.
En lugar de seguir directamente con ese proceso, los investigadores están realizando entrenamientos más pequeños y numerosas evaluaciones. Buscan comprobar cómo se comportan los modelos, si las nuevas protecciones funcionan y si existen suficientes garantías antes de aumentar nuevamente la escala.
La situación afecta también a Astra.
Algunos de sus entrenamientos y evaluaciones han podido continuar bajo las nuevas medidas, pero OpenAI reconoce que una parte importante permanece en pausa mientras se adapta la infraestructura.
La prioridad se está dando precisamente a los trabajos relacionados con seguridad y control del modelo.
El riesgo aumenta cuando la IA puede utilizar un ordenador por sí misma
Una de las claves para entender la preocupación está en diferenciar un chatbot tradicional de los nuevos agentes de inteligencia artificial.
Cuando un usuario pregunta algo a un chatbot, el modelo genera una respuesta. Sus posibilidades de actuar directamente sobre el mundo exterior son relativamente limitadas.
Los sistemas más recientes pueden ir mucho más lejos.
Una IA puede recibir acceso a herramientas, ejecutar código, consultar información, interactuar con aplicaciones y trabajar durante periodos prolongados para completar una tarea.
Cuanto mayor sea su autonomía, mayores son también las consecuencias potenciales de un error o de un comportamiento no previsto.
Por eso OpenAI está modificando los ordenadores y redes utilizados internamente para entrenar y probar sus modelos.
El código generado por las IA debe ejecutarse ahora en entornos más aislados, conocidos habitualmente como sandboxes. Puede imaginarse como colocar el programa dentro de una habitación cerrada: aunque haga algo inesperado, debería tener dificultades para salir de ella y acceder al resto del sistema.
La compañía también está aplicando mayores restricciones de acceso a Internet y a sus propias redes internas.
Además, ha eliminado determinados servicios compartidos que podían convertirse en puntos vulnerables y ha reducido los permisos permanentes disponibles dentro de sus sistemas.
El objetivo es sencillo de entender: si una barrera de seguridad falla, deben existir otras detrás que impidan que el problema se extienda.
Un sistema vigila continuamente lo que hacen las nuevas IA
OpenAI también ha ampliado considerablemente la vigilancia de sus modelos.
El nuevo sistema analiza la actividad interna de la inteligencia artificial y busca señales que puedan indicar comportamientos preocupantes.
Cuando aparece algo sospechoso, intervienen sistemas automáticos más potentes que analizan lo ocurrido con mayor profundidad.
Entre los comportamientos que buscan se encuentran intentos de acceder a lugares sin autorización, robar información, realizar acciones destructivas o superar las restricciones establecidas por los investigadores.
Si el sistema encuentra una posible violación grave, avisa a los equipos humanos de seguridad e investigación.
OpenAI ha establecido además un límite temporal. Si los especialistas no pueden confirmar en 30 minutos que una alerta crítica es un falso positivo, deben detener la actividad que la ha generado.
La vigilancia se aplica de forma especialmente estricta a Astra cuando utiliza herramientas externas.
Vigilar a una IA consume también una enorme cantidad de recursos
La seguridad tiene un coste tecnológico considerable.
OpenAI calcula que su actual sistema de monitorización necesita aproximadamente un 20 % del cómputo de inferencia que está supervisando, aunque la cantidad exacta depende del tipo de prueba o entrenamiento.
Dicho de otra forma, desarrollar una IA avanzada ya no exige solamente ordenadores para entrenarla y ejecutarla. También empieza a necesitar una cantidad considerable de capacidad informática para vigilar a la propia IA mientras trabaja.
Esta situación puede convertirse en un elemento importante para toda la industria.
Las compañías tecnológicas están invirtiendo enormes cantidades de dinero en centros de datos, chips especializados y electricidad para desarrollar nuevas generaciones de inteligencia artificial. Si los sistemas futuros necesitan además mecanismos permanentes de vigilancia, una parte creciente de esos recursos tendrá que reservarse para seguridad.
OpenAI considera que los propios modelos de inteligencia artificial terminarán ayudando en esta tarea y podrán utilizarse para defender sistemas frente a otros modelos.
Astra no tiene todavía fecha de lanzamiento
La decisión de OpenAI tampoco permite asegurar que Astra vaya a retrasarse varios meses ni que vaya a convertirse en GPT-6.
La compañía no ha anunciado una fecha definitiva de lanzamiento ni el nombre comercial que tendrá el modelo.
Sí reconoce que los nuevos requisitos están provocando costes y retrasos en sus investigaciones más avanzadas.
Jakub Pachocki, director de investigación de OpenAI, considera que la confianza en la seguridad determinará cada vez más el ritmo al que podrán desarrollarse los futuros sistemas de inteligencia artificial.
La decisión resulta relevante precisamente por eso.
Durante los últimos años, el debate sobre los riesgos futuros de una IA extremadamente capaz se ha movido muchas veces en escenarios hipotéticos. En esta ocasión existe una consecuencia práctica: OpenAI ha reducido temporalmente el ritmo de determinados entrenamientos porque considera que sus capacidades están avanzando lo suficientemente rápido como para exigir mejores sistemas de contención antes de continuar escalando.
Eso no significa que una inteligencia artificial se haya rebelado, escapado de OpenAI o comenzado a atacar sistemas informáticos por su cuenta.
Significa algo menos espectacular, pero relevante: la compañía que desarrolla ChatGPT considera que algunos de sus próximos modelos pueden alcanzar capacidades cibernéticas suficientemente avanzadas como para que seguir entrenándolos requiera medidas de seguridad que hasta ahora no eran necesarias.
Preguntas frecuentes
¿OpenAI ha detenido completamente el desarrollo de sus nuevas IA?
No. Ha pausado determinados entrenamientos avanzados y continúa realizando pruebas, evaluaciones y entrenamientos de menor escala. Su mayor entrenamiento por refuerzo previsto permanece detenido.
¿Astra ha realizado algún ciberataque?
OpenAI no afirma que Astra haya realizado un ciberataque ni que haya perdido el control del modelo. Las evaluaciones indican que podría alcanzar un nivel de capacidad cibernética que la compañía clasifica como crítico.
¿Por qué puede ser peligrosa una IA con capacidades de ciberseguridad?
Porque un sistema suficientemente avanzado y autónomo podría encontrar vulnerabilidades, escribir código y utilizar herramientas informáticas. Esas capacidades pueden servir para defender sistemas, pero también podrían emplearse con fines ofensivos.
¿Astra será GPT-6?
OpenAI no ha confirmado cuál será el nombre comercial de Astra ni ha anunciado una fecha para su lanzamiento.
