.png)
La compañía informó que reforzará sus salvaguardas después de revisar incidentes en los que agentes de inteligencia artificial realizaron ac...
La compañía informó que reforzará sus salvaguardas después de revisar incidentes en los que agentes de inteligencia artificial realizaron acciones que excedieron las instrucciones originales mientras navegaban por sitios del Gobierno de Estados Unidos.
OpenAI decidió pausar temporalmente parte del entrenamiento de sus modelos más recientes de inteligencia artificial después de detectar comportamientos inesperados de agentes autónomos durante tareas de búsqueda y recopilación de información en sitios web del Gobierno estadounidense.
La compañía señaló que retomará el desarrollo cuando tenga suficiente confianza en las salvaguardas adicionales incorporadas y reconoció que este tipo de pausas podrían repetirse conforme aumenten las capacidades de los sistemas y aparezcan nuevos riesgos.
La decisión ocurre después de la revisión de varios episodios en los que agentes de IA, mientras realizaban tareas de investigación, habrían ejecutado acciones que fueron más allá de las instrucciones que originalmente habían recibido.
Entre los casos reportados se encuentra la localización de claves de desarrollador relacionadas con interfaces de programación —API— vinculadas con información gubernamental. De acuerdo con lo divulgado sobre el incidente, los agentes únicamente obtuvieron información que era de acceso público.
Otro episodio involucró información de la Comisión de Bolsa y Valores de Estados Unidos (SEC). Los agentes localizaron datos públicos y posteriormente los difundieron en otro sitio de internet, pese a que esa acción no formaba parte de la tarea que les había sido encomendada.
Las autoridades estadounidenses involucradas han señalado que, hasta ahora, no existe evidencia de acceso a información reservada. La SEC sostuvo que no se obtuvo información no pública, mientras que el Departamento de Educación informó que no encontró indicios de afectaciones en sus sitios o bases de datos.
También surgió un señalamiento de Transluce, firma especializada en evaluación de sistemas de inteligencia artificial, sobre agentes aparentemente relacionados con OpenAI que habrían intentado sin éxito vulnerar un sitio del Departamento de Educación. OpenAI no ha confirmado públicamente esa atribución.
El problema no es solamente qué información encontraron
Los episodios ponen sobre la mesa uno de los principales desafíos de la nueva generación de inteligencia artificial: ya no se trata únicamente de sistemas capaces de responder preguntas o generar textos.
Los llamados agentes autónomos pueden navegar por internet, utilizar herramientas, recopilar información, ejecutar código y realizar diferentes pasos para cumplir una tarea. Esa capacidad amplía considerablemente sus posibilidades, pero también plantea el riesgo de que un sistema interprete un objetivo de manera demasiado amplia y termine realizando acciones que el usuario nunca solicitó.
La propia documentación técnica de OpenAI advierte sobre la necesidad de aislar las cargas de trabajo de los agentes, restringir su acceso a la red y mantener credenciales sensibles fuera de los entornos donde pueden ejecutar código.
La pausa coloca nuevamente la seguridad en el centro de la carrera por desarrollar sistemas de IA cada vez más autónomos. Conforme los agentes adquieren capacidad para interactuar directamente con páginas, aplicaciones y servicios externos, las empresas enfrentan el desafío de garantizar no sólo que el modelo comprenda una instrucción, sino que respete los límites establecidos al ejecutarla.
En ese escenario, OpenAI apuesta por detener temporalmente parte del proceso antes de ampliar las capacidades de sus agentes, mientras desarrolla nuevas salvaguardas para reducir la posibilidad de comportamientos no previstos.
