Conocimientos necesarios

Nociones básicas de qué es un LLM y un agente, y de consumo de APIs. No requiere saber entrenar modelos. Ayuda tener algo de programación para los laboratorios.

Método (aplica a cada punto del temario)

Para cada riesgo:

• Vulnerabilidad: qué es y por qué existe.
• Explotación: ejemplo práctico de cómo se explota (hands-on / demo).
• Mitigación: qué controles se implementan para que no sea explotable, y cómo verificarlo.

Dirigido a

• Ingenieros de Seguridad (AppSec), AI/ML Engineers, desarrolladores que construyen aplicaciones con LLMs o agentes, arquitectos de software, pentesters, tech leads y auditores.

Agenda:

Día 1 — Fundamentos y OWASP Top 10 for LLM Applications (2025)

Bloque 0 — Fundamentos y setup

• Por qué la seguridad de IA es un dominio propio (no alcanza con asegurar el modelo ni el protocolo por separado).
• La superficie de ataque de una app con LLM: prompt, contexto, salida, datos, integraciones.
• Modelo mental de las tres capas: modelo (LLM) → protocolo (MCP) → comportamiento (skills/agentes). Se usa toda la clase.
• Cómo tratar la salida de un LLM: input no confiable, siempre.
• Setup del entorno de laboratorio (definir herramientas, ver sección «Pendientes»).

Hands-On del día

Laboratorio guiado sobre los riesgos de mayor impacto del día (prompt injection directa e indirecta, manejo inseguro de salidas, fuga de información).

OWASP Top 10 for LLM Applications 2025 (LLM01–LLM10)

Cada ítem con vulnerabilidad / explotación / mitigación.

• LLM01 — Prompt Injection. Directa e indirecta (instrucciones ocultas en documentos, webs o correos que el modelo procesa). Es el riesgo #1.
• LLM02 — Sensitive Information Disclosure. Fuga de PII, credenciales, código o datos propietarios en prompts, respuestas, logs o embeddings.
• LLM03 — Supply Chain. Modelos base, datasets, librerías, frameworks de orquestación, vector DBs y plugins comprometidos.
• LLM04 — Data and Model Poisoning. Manipulación de datos de entrenamiento, fine-tuning o embeddings (backdoors, sesgo, degradación).
• LLM05 — Improper Output Handling. Salida del modelo pasada a sistemas downstream sin validar (inyección, SSRF, RCE).
• LLM06 — Excessive Agency. Demasiada funcionalidad, permisos o autonomía; un modelo influido puede tomar acciones dañinas.
• LLM07 — System Prompt Leakage. Exposición del system prompt y de lo que no debería revelarse en él.
• LLM08 — Vector and Embedding Weaknesses. Debilidades en sistemas RAG: embeddings y bases vectoriales.
• LLM09 — Misinformation. Salidas incorrectas o alucinadas tomadas como válidas, con impacto en decisiones y seguridad.
• LLM10 — Unbounded Consumption. Consumo no acotado: DoS y «denial of wallet» (costos), replicación no autorizada del modelo.

Día 2— OWASP Top 10 for Agentic Applications (2026) y capa de skills

Bloque 1 — Qué cambia con los agentes

• Recap: los sistemas agénticos heredan los riesgos de LLM y agregan clases nuevas por autonomía, uso de herramientas, coordinación multiagente y estado persistente.
• Concepto de «least agency»: la autonomía se gana, no viene por defecto.

Hands-On del día

Explotar y luego contener un agente (por ejemplo prompt injection indirecta que deriva en abuso de herramienta), aplicando guardrails, gate de aprobación por herramienta y kill switch.

Bloque 2  — OWASP Agentic Skills Top 10 (AST10)

• Estado: proyecto nuevo, edición 2026, versión borrador (v0.5). Se dicta como introducción, no como lista cerrada, porque los 10 ítems aún no están estabilizados.
• Qué es la capa de skills: comportamientos reutilizables y nombrados que definen cómo el agente orquesta herramientas en secuencia (distinto de MCP, que define qué herramientas existen).
• Por qué es una capa crítica y sub-protegida entre el modelo y el protocolo.
• Casos reales de Q1 2026: envenenamiento a escala del registry de skills (varias de las skills más descargadas resultaron malware) y por qué los scanners por patrones no detectan la manipulación por lenguaje natural.
• Mitigaciones tempranas: procedencia y firma de skills, revisión de comportamiento (no solo de código), allowlists.