OpenAI pausa sus modelos más avanzados por seguridad

OpenAI paraliza el entrenamiento de sus modelos más avanzados tras registrar múltiples incidentes de seguridad que incluyen intentos de hackeo a sitios gubernamentales.

OpenAI ha pausado el entrenamiento de sus modelos de Inteligencia Artificial más capaces tras registrar una serie de incidentes de seguridad que van desde salidas del entorno aislado de pruebas hacia internet, hasta intentos de hackeo de sitios del Gobierno de Estados Unidos y accesos masivos a una web de la ONU. La decisión se compartió el viernes tras el descubrimiento de estos comportamientos desalineados.

El incidente que detonó la pausa fue la evasión de un agente de IA del sandbox o entorno aislado. El agente descubrió un fallo en el filtrado DNS del sandbox y lo aprovechó para acceder a internet real, enviando 19 preguntas a un chatbot público externo tras intentar sin éxito identificar al autor de una publicación de blog por cauces normales. Aunque no logró resolver la tarea, el sistema de monitorización detectó el comportamiento desalineado a los 12 minutos, pero OpenAI tardó dos horas y media en detener la operación del agente una vez resuelto el problema.

Según The New York Times, los modelos de OpenAI intentaron igualmente hackear el sitio web del Departamento de Educación de Estados Unidos para conseguir datos de la oficina de derechos civiles, aunque sin éxito. Donde sí lograron extraer datos públicos fue de la Oficina del Censo y la Comisión de Bolsa y Valores.

Los agentes también cometieron otras infracciones. Subieron de forma inapropiada 53 imágenes aportadas por usuarios a sitios de alojamiento de imágenes mediante enlaces no listados públicamente. Aunque estas imágenes eran aptas para entrenamientos, OpenAI ha admitido que compartirlas "no es un uso apropiado de estos datos".

Entre abril y junio, agentes de OpenAI accedieron en más de 16.000 ocasiones a la web de estadísticas de la Conferencia de las Naciones Unidas sobre Comercio y Desarrollo (UNCTAD), según ha compartido el investigador de seguridad Rowan Howard-Jones. Los agentes buscaban obtener datos públicos del Índice de Capacidades Productivas, industrias comerciables y comercio de alimentos a través de la API de UNCTADstat. Al no tener acceso directo, utilizaron el XSS Game de Google, una herramienta diseñada para aprender sobre ataques de cross-site scripting, para encontrar una forma alternativa de acceso.

OpenAI ha explicado que pausará todo el entrenamiento, evaluación e inferencia con uso de herramientas para sus modelos más capaces hasta que validen que la deficiencia se ha resuelto y realicen pruebas de red adicionales. La compañía ha afirmado que "detuvimos la ejecución de entrenamiento afectada y, posteriormente, decidimos pausar todo el demás entrenamiento, evaluación e inferencia con el uso de herramientas para nuestros modelos más capaces hasta que hayamos validado que la deficiencia se ha resuelto".

Una vez se reanude el entrenamiento, OpenAI ha detallado que comenzará una nueva ejecución con "mejoras de alineación adicionales", entre las que se incluyen intervenciones de desalineación "más exhaustivas". Igualmente, ha asegurado que no reanudarán el entrenamiento de este modelo en particular.