Los ciberdelincuentes aprovechan los grandes modelos de lenguaje para automatizar sus ataques
Incremento en el uso de LLMs, tanto legítimos como modificados, para crear y extender malware y perfeccionar campañas de phising.
Cisco Talos, la división de ciber-inteligencia de Cisco, advierte sobre una tendencia preocupante: los ciber-delincuentes están aprovechando cada vez más los grandes modelos de lenguaje (LLMs) para automatizar y mejorar sus ciberataques. Según la investigación, los actores maliciosos no sólo están explotando los servicios de IA públicos, también utilizan modelos personalizados y versiones ‘con jailbreak’. Estas herramientas les permiten orquestar campañas de phishing convincentes y escribir código malicioso complejo.
Gracias a su capacidad para generar texto persuasivo, resolver problemas y escribir código, los LLMs están ganando popularidad en todos los sectores. Según Hugging Face, plataforma que aloja LLMs, actualmente hay más de 1,8 millones de modelos disponibles. La mayoría están equipados con salvaguardas y limitaciones incorporadas (‘barandillas y ‘alineaciones’) para evitar usos delictivos.
LLMs sin restricciones
Sin embargo, Cisco Talos ha identificado un número significativo de LLMs sin restricciones que permiten a los ciberdelincuentes elaborar mensajes de phishing altamente realistas y comunicaciones fraudulentas, a menudo libres de errores gramaticales o frases sospechosas. Esto aumenta la probabilidad de que las víctimas revelen información personal o corporativa.
Ejemplos de estos modelos son Ollama y WhiteRabbitNeo, este último promocionado como herramienta para operaciones de ciberseguridad tanto defensivas como ofensivas. El análisis de Cisco también destaca los métodos para eliminar las restricciones integradas (alineaciones). Los usuarios pueden modificar los conjuntos de datos de entrenamiento y ajustar los modelos base para eliminar restricciones, facilitando así un uso indebido.
LLMs maliciosos personalizados
Algunos ciber-delincuentes han ido más allá desarrollando sus propios LLMs y promoviéndolos en la web oscura. Estos LLMs maliciosos pueden crear software dañino de forma autónoma, como ransomware, troyanos de acceso remoto, shellcode y diversos scripts.
Además, estas herramientas maliciosas ayudan a generar correos de phishing, páginas de destino y archivos de configuración. También pueden verificar datos de tarjetas de crédito robadas, escanear sitios web en busca de vulnerabilidades e idear nuevas estrategias delictivas. Ejemplos de este tipo de aplicaciones maliciosas son GhostGPT, WormGPT, DarkGPT, DarkestGPT y FraudGPT. Talos ha detectado que FraudGPT, en particular, forma parte de una campaña de estafa más amplia.
Abuso de LLMs legítimos
Dada la viabilidad limitada de los LLMs sin restricciones y al alto riesgo de estafa con modelos maliciosos, muchos ciber-delincuentes optan por explotar modelos legítimos. Estos modelos ofrecen una plataforma potente, siempre que lo atacantes puedan eludir las medidas de seguridad integradas.
Las principales barreras son las directrices de formación y las medidas de seguridad que impiden respuestas a consultas poco éticas o ilegales. Para superarlas, los ciber-delincuentes emplean técnicas como la inyección inmediata, que intenta hacer jailbreak a los modelos y eludir sus limitaciones.
“Para combatir el uso indebido de grandes modelos de lenguaje, las organizaciones deben adaptar sus medidas de seguridad en consecuencia”, destaca Ángel Ortiz, Director de Ciberseguridad en Cisco España. “Esto implica monitorizar el tráfico relacionado con la IA, detectar avisos sospechosos y capacitar a los empleados para reconocer los correos electrónicos de phishing generados por la IA. Además, recomendamos encarecidamente trabajar exclusivamente con modelos de confianza y plataformas bien protegidas”.
