Según los hallazgos de un estudio reciente realizado, los códigos dañinos pueden propagarse fácilmente a los entornos de desarrollo con la ayuda de ChatGPT, que pueden utilizar los atacantes. En una publicación de blog, los investigadores de Vulcan Cyber describieron un método novedoso para propagar códigos maliciosos que llamaron “alucinación de paquetes de IA”.
El método se concibió como resultado de ChatGPT y otros sistemas generativos de inteligencia artificial que proporcionan fuentes, enlaces, blogs y datos fantasmagóricos en respuesta a las solicitudes de los usuarios en ocasiones. Los modelos de lenguaje grande (LLM) como ChatGPT son capaces de generar “alucinaciones”, que son URL ficticias, referencias e incluso bibliotecas de código completo y funciones que no existen en el mundo real. Según los investigadores, ChatGPT incluso producirá parches dudosos para CVE y, en este caso particular, brindará enlaces a bibliotecas de códigos que ni siquiera existen.
Si ChatGPT produce bibliotecas de códigos falsos (paquetes), entonces los atacantes pueden explotar estas alucinaciones para diseminar paquetes dañinos sin utilizar tácticas comunes como typosquatting o enmascaramiento, según los investigadores de Vulcan Cyber que trabajaron en este estudio. “Esas técnicas son sospechosas y ya detectables”, afirmaron los investigadores en su conclusión. Sin embargo, si el atacante puede construir un paquete que pueda reemplazar los programas ‘falsos’ sugeridos por ChatGPT, entonces puede convencer a la víctima de que descargue e instale el software malicioso.
Este enfoque de ataque de ChatGPT demuestra cuán simple se ha vuelto para los actores de amenazas utilizar ChatGPT como una herramienta para llevar a cabo un ataque. Deberíamos esperar seguir viendo riesgos como este asociado con la IA generativa y qué técnicas de ataque similares podrían usarse en la naturaleza. . Esto es algo para lo que debemos estar preparados. La tecnología detrás de la inteligencia artificial generativa aún está en pañales, por lo que esto es solo el comienzo. Cuando se ve a través de la lente de la investigación, es posible que nos encontremos con una gran cantidad de nuevos descubrimientos de seguridad en los meses y años venideros. Las empresas nunca deben descargar y ejecutar código que no entiendan y que no hayan evaluado. Esto incluye ejecutar código desde repositorios GitHub de código abierto o ahora sugerencias de ChatGPT.
ChatGPT está siendo utilizado como método de entrega por los adversarios en este caso. Sin embargo, el método de comprometer una cadena de suministro haciendo uso de bibliotecas compartidas o importadas de un tercero no es nuevo. La única forma de defenderse sería aplicar métodos de codificación seguros, así como probar y revisar exhaustivamente el código destinado a su uso en entornos de producción.
Según los expertos, “el escenario ideal es que los investigadores de seguridad y los editores de software también puedan hacer uso de la IA generativa para hacer que la distribución de software sea más segura”. La industria se encuentra en las primeras fases del uso de IA generativa para ciberataques y defensa.
Créditos: Jarvis Wagner
