Copilot revelaba parámetros ocultos que eludían protecciones de seguridad

La empresa de seguridad Varonis descubrió que Copilot revelaba parámetros no documentados que permitían eludir el consentimiento del usuario para extraer datos sensibles.

Las barreras de seguridad son las que impiden que los modelos de inteligencia artificial faciliten acciones dañinas, como la exfiltración de datos de los usuarios. Un fallo crítico presente en Copilot hizo que esta IA acabara abriendo la puerta a su propio hackeo, como ha descubierto la empresa de seguridad Varonis. Su intención era crear una vulnerabilidad que facilitara la extracción de datos de usuarios cuando estos pincharan un enlace.

Esta intención chocaba con las medidas de seguridad implementadas por Microsoft en Copilot, que se negaba a realizar la petición e informaba de que las solicitudes relacionadas con información sensible requerían del consentimiento explícito del usuario. Sin embargo, en la conversación que los investigadores mantuvieron con Copilot para preguntarle sobre las medidas de seguridad, la IA acabó revelando parámetros no documentados que permitían eludir el requisito del consentimiento.

Lior Adar, investigador sénior de Varonis, ha contado que "al principio, Copilot se negaba constantemente, pero cada negativa revelaba detalles técnicos sobre su arquitectura interna" hasta que "finalmente, reveló parámetros no documentados".

Inyección de solicitudes maliciosas

Adar afirma que utilizó esos parámetros para "configurar las indicaciones para la ejecución automática", lo que permitió inyectar una solicitud directamente en Copilot que se activaba silenciosamente en el momento en que la víctima hacía clic en una URL maliciosa. De este modo, la vulnerabilidad permitía ejecutar acciones sin que el usuario fuera consciente de ello.

Microsoft mitiga la vulnerabilidad

Microsoft ya ha mitigado este fallo de seguridad. "Actualizamos continuamente nuestras medidas de seguridad para reforzar nuestra protección contra técnicas similares", indicó la compañía en un comunicado. La empresa ha enfatizado su compromiso con la mejora constante de las barreras de protección en sus sistemas de IA.