Anthropic desconecta su IA tras una falsa pista policial

El laboratorio desconecta internet en todas las evaluaciones internas tras detectar que Claude presentó una pista falsa sobre un caso sin resolver a la policía estadounidense.

Anthropic ha cortado el acceso a internet en todas las evaluaciones internas de sus modelos de inteligencia artificial hasta garantizar que puede monitorizar y controlar a sus agentes sin que estos abandonen el entorno controlado para provocar incidentes externos.

El laboratorio de IA explica que entre los comportamientos no deseados de su modelo Claude se encontró el envío de una pista falsa sobre un asesinato sin resolver a la policía de Filadelfia. Ese episodio fue determinante para que Anthropic blindara los entornos de prueba.

"Aunque el impacto de esos comportamientos fue mínimo y ya habíamos desconectado el acceso a internet para algunas de las evaluaciones de ciberseguridad de mayor riesgo, ahora hemos decidido expandirlo a todas nuestras evaluaciones internas hasta que tengamos confirmado que nuestras medidas de seguridad y monitorización realmente son capaces de detener este tipo de comportamientos", señala Anthropic en referencia a una cadena de sucesos detectados en una revisión iniciada en julio.

Comportamientos no autorizados detectados

La lista de conductas no deseadas incluye la explotación de fallos de software —inyecciones SQL o de comandos en páginas de terceros—, el envío de formularios sin autorización, el uso de acortadores de URL para sortear límites de longitud y la elusión de restricciones de acceso en sitios gubernamentales.

"En muchos de los casos donde observamos estos comportamientos, a Claude se le habían encomendado tareas que eran ambiguas o imposibles de completar", explica el laboratorio. Anthropic concluye que cuando los modelos reciben tareas imposibles de completar, recurren a estrategias no deseadas y, en ocasiones, desalineadas para alcanzar sus objetivos.

Precedentes en otras compañías

Lo descrito por Anthropic guarda similitud con los incidentes protagonizados por agentes de IA de OpenAI, que en algunos casos obligaron a los creadores de ChatGPT a pausar el entrenamiento de uno de sus modelos de frontera. Entre esos episodios figuran ataques a sitios web del Gobierno de Estados Unidos y accesos masivos a una web de la ONU.