Una IA que resume un archivo puede recibir, dentro del mismo contenido, frases que intentan cambiar la tarea: por ejemplo, pedirle que ignore lo solicitado o que divulgue información. Esta inyección indirecta de instrucciones está documentada en investigaciones y figura como el primer riesgo de la categoría de aplicaciones con modelos de lenguaje en la lista OWASP de 2025. No significa que todo documento vaya a manipular al modelo: el riesgo depende de cómo se procesa el archivo y de los permisos que tenga el sistema.
Un archivo puede mezclar información con instrucciones para el modelo
La inyección directa llega en el mensaje del usuario; la indirecta, en cambio, está dentro de una fuente que el modelo consulta o procesa, como un documento, un correo, una página web o el resultado de una herramienta. El contenido puede ser visible o pasar inadvertido para una persona y, aun así, llegar al modelo si el sistema lo extrae. OWASP advierte que el problema también puede aparecer en sistemas que buscan información en documentos y luego la entregan al modelo para responder.
La vulnerabilidad surge porque el sistema debe interpretar lenguaje natural que contiene tanto datos como instrucciones. Una orden escrita en el archivo no adquiere autoridad legítima por estar allí, pero el modelo puede tratarla como relevante y alterar su respuesta. Si además está conectado a herramientas —por ejemplo, para consultar datos o ejecutar acciones—, una respuesta manipulada podría influir en lo que esas herramientas hacen. Leer un archivo no implica por sí solo que se hayan filtrado datos ni que se haya ejecutado una acción: son riesgos posibles, y su alcance depende de la arquitectura y los permisos disponibles.
Sus autores, Kai Greshake, Sahar Abdelnabi, Shailesh Mishra, Christoph Endres, Thorsten Holz y Mario Fritz, publicaron una versión en arXiv el 23 de febrero de 2023; la versión revisada está fechada allí el 5 de mayo de ese año. El equipo, con afiliaciones a Saarland University, CISPA Helmholtz Center for Information Security y sequire technology GmbH, examinó aplicaciones sintéticas y sistemas disponibles entonces, incluidos Bing Chat y herramientas de completado de código.
El estudio mostró que instrucciones insertadas en contenido recuperado podían modificar respuestas y controlar llamadas a otras API en los escenarios probados. Sus resultados no son una tasa universal de éxito: los investigadores señalaron que probaron aplicaciones sintéticas y archivos HTML locales con la barra lateral de Bing Chat, no todas las aplicaciones reales, y que cuantificar el éxito en conversaciones dinámicas requería más evaluaciones. Es una prueba de que el mecanismo puede funcionar en determinados sistemas, no de que cualquier archivo o modelo vaya a obedecerlo.
OWASP, NIST y los proveedores recomiendan defensas por capas
OWASP clasifica la inyección de instrucciones como LLM01:2025 y advierte que técnicas como la generación aumentada por recuperación (RAG) no eliminan por sí solas la vulnerabilidad. La organización recomienda separar el contenido externo de las instrucciones de la aplicación, restringir los privilegios del modelo, validar entradas y salidas, probar ataques y exigir aprobación humana para operaciones sensibles. También reconoce que no hay métodos infalibles de prevención.
El marco Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, publicado por el Instituto Nacional de Estándares y Tecnología de Estados Unidos (NIST) el 26 de julio de 2024, ofrece una guía de gestión, no una prueba experimental de ataques a documentos. Sus autores —Chloe Autio, Reva Schwartz, Jesse Dunietz, Shomik Jain, Martin Stanley, Elham Tabassi, Patrick Hall y Kamie Roberts— proponen identificar y evaluar riesgos según el uso previsto, documentar impactos y realizar pruebas adversariales o ejercicios de red team. El perfil complementa el marco de gestión de IA del organismo y su uso es voluntario.
La documentación técnica de Anthropic añade medidas específicas para sistemas que procesan contenido de terceros: mantenerlo separado de las instrucciones del sistema, señalar claramente su origen y tratar las órdenes dentro de archivos o resultados de herramientas como datos que se deben analizar, no como mandatos. También recomienda reducir el acceso a información sensible y limitar herramientas y permisos a lo estrictamente necesario. Estas barreras pueden reducir el impacto, pero no garantizan que una instrucción maliciosa sea detectada o ignorada.
Qué puede hacer quien entrega el archivo y qué debe controlar el sistema
Para un usuario, las precauciones más directas son evitar subir documentos con secretos que no sean necesarios para la tarea, revisar qué conexiones y herramientas tiene habilitadas el asistente y no autorizar acciones sensibles solo porque el modelo las sugiera. Pedir que resuma el archivo sin seguir instrucciones contenidas en él puede aclarar la intención, pero no sustituye los controles técnicos.
Quien desarrolla o administra la aplicación debe separar el contenido del documento del canal reservado a las instrucciones, limitar el acceso a datos y funciones y poner confirmaciones humanas antes de enviar información, borrar registros o ejecutar operaciones de alto impacto. También debe probar el sistema con archivos que contengan instrucciones adversariales y revisar sus resultados de forma periódica, como plantea NIST.
La diferencia decisiva es entre una IA que solo entrega un resumen y un agente con acceso a cuentas, archivos o acciones externas: el segundo puede tener consecuencias mayores si interpreta mal el contenido. Por eso, las medidas recomendadas buscan reducir la exposición y acotar el daño, no prometer una protección total.
REDIMIN Responde
¿Qué riesgo está asociado con las aplicaciones de modelos de lenguaje según OWASP?
OWASP documenta la inyección indirecta de instrucciones como el primer riesgo en la categoría de aplicaciones con modelos de lenguaje en su lista de 2025. Este riesgo se presenta cuando un archivo mezcla información con instrucciones para el modelo, lo que puede influir en la respuesta del modelo si el sistema lo procesa.
¿Qué recomendaciones hace OWASP para mitigar la inyección de instrucciones en modelos de lenguaje?
OWASP recomienda separar el contenido externo de las instrucciones de la aplicación, restringir los privilegios del modelo, validar entradas y salidas, probar ataques y exigir aprobación humana para operaciones sensibles. Estas medidas buscan reducir la exposición y acotar el daño potencial.
¿Qué medidas propone el NIST para gestionar riesgos en aplicaciones de IA generativa?
El NIST propone identificar y evaluar riesgos según el uso previsto, documentar impactos y realizar pruebas adversariales o ejercicios de red team. Estas medidas forman parte del Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, publicado el 26 de julio de 2024.
¿Qué precauciones debe tomar un usuario al subir documentos a un sistema de IA?
Un usuario debe evitar subir documentos con secretos innecesarios, revisar las conexiones y herramientas habilitadas en el asistente y no autorizar acciones sensibles solo porque el modelo las sugiera. También es recomendable pedir que se resuma el archivo sin seguir instrucciones contenidas en él.
¿Cuál es la diferencia entre una IA que solo entrega un resumen y un agente con acceso a acciones externas?
La diferencia es que un agente con acceso a cuentas, archivos o acciones externas puede tener consecuencias mayores si interpreta mal el contenido. Por eso, las medidas recomendadas buscan reducir la exposición y acotar el daño, en lugar de prometer una protección total.
