Un chatbot basado en un modelo de lenguaje puede entregar una respuesta falsa con tono convincente porque generar texto coherente no es lo mismo que comprobar hechos. El sistema produce una secuencia de palabras probable según la pregunta y el contexto que recibió; si no encuentra información suficiente, puede completar los vacíos con una respuesta plausible en vez de reconocer que no sabe. Eso no significa que todos los chatbots funcionen igual: algunos se conectan a buscadores o bases documentales y otros responden principalmente desde el conocimiento aprendido durante su entrenamiento.
El problema suele llamarse alucinación: información que parece verosímil, pero es falsa o no está respaldada por las fuentes disponibles. El tono no sirve como prueba de exactitud. Una frase categórica puede reflejar la forma en que el modelo genera respuestas, no una verificación independiente del dato.
TruthfulQA midió 817 preguntas diseñadas para provocar errores
Un estudio de Stephanie Lin, de la Universidad de Oxford, Jacob Hilton, de OpenAI, y Owain Evans, de Oxford, examinó este riesgo con el benchmark TruthfulQA, publicado en las actas de la Association for Computational Linguistics en 2022. Sus autores diseñaron 817 preguntas en 38 categorías, entre ellas salud, derecho, finanzas y política, para poner a prueba si los modelos repetían creencias falsas o conceptos erróneos comunes.
La evaluación incluyó modelos GPT-3, GPT-Neo/J, GPT-2 y una versión basada en T5. En la tarea principal, el modelo con mejor resultado —GPT-3 de 175.000 millones de parámetros con una instrucción orientada a ser útil— respondió de forma veraz al 58% de las preguntas; el desempeño humano de referencia fue 94%. En 42% de las preguntas, ese modelo dio respuestas informativas pero falsas, frente a 6% en la comparación humana.
El resultado no permite afirmar que los chatbots actuales tengan esas mismas tasas. El benchmark se construyó para detectar errores ligados a preguntas que invitan a repetir ideas equivocadas, y evaluó modelos y configuraciones concretas de ese periodo. Sí muestra un mecanismo relevante: un modelo puede reproducir una falsedad frecuente en los textos con los que aprendió, aunque la respuesta suene natural. Los autores también advirtieron que, en esa prueba, los modelos más grandes tendían a ser menos veraces; no concluyeron que aumentar el tamaño reduzca siempre la precisión en cualquier tarea.
Buscar documentos reduce un tipo de error, pero no verifica por sí solo
Una arquitectura con generación aumentada por recuperación —conocida como RAG— añade una etapa de búsqueda. El modelo recupera pasajes de documentos y luego redacta una respuesta usando ese material. El trabajo fundacional Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, presentado en NeurIPS 2020 por investigadores de Facebook AI Research, University College London y New York University, combinó un recuperador neuronal, un índice vectorial de Wikipedia y un generador basado en BART. En sus pruebas, el sistema RAG produjo respuestas más específicas y factuales que una línea de base que solo generaba desde el modelo, en tareas de lenguaje evaluadas por los autores.
La búsqueda agrega evidencia consultable, pero no garantiza que la respuesta final sea correcta. Puede fallar la recuperación si el sistema encuentra documentos irrelevantes, incompletos o desactualizados; también puede fallar la generación si interpreta mal los pasajes o agrega detalles que estos no respaldan. El estudio de 2020 señala, además, que no todas las preguntas pueden responderse solo con Wikipedia. La arquitectura RAG tampoco describe a todos los asistentes: depende del diseño y las herramientas de cada servicio.
Qué revisar antes de usar una respuesta como dato
Conviene separar la fluidez de la evidencia. Si el chatbot entrega una cifra, una fecha, una cita o el nombre de una norma, hay que comprobarlos en la fuente primaria: el informe, registro oficial, artículo científico o documento original. Si aporta referencias, revisa que existan y que respalden exactamente la afirmación, no solo un tema parecido. También importa la fecha de publicación y, en asuntos legales o administrativos, el país o jurisdicción al que corresponde el dato.
Otra señal útil es observar si la pregunta contiene una premisa dudosa. En vez de aceptar el supuesto, se puede pedir que el sistema indique qué parte no puede confirmar y qué documentos sustentan la respuesta; después, esas fuentes deben revisarse por separado. Una respuesta que admite incertidumbre tampoco queda automáticamente validada: solo hace visible que la seguridad expresada y la certeza factual son asuntos distintos.
La comprobación decisiva no está en cuán segura suena la frase, sino en si el dato puede rastrearse hasta evidencia pertinente y vigente.
REDIMIN Responde
¿Qué es la alucinación en el contexto de los chatbots?
La alucinación se refiere a la información que parece verosímil pero es falsa o no está respaldada por las fuentes disponibles. Es un problema donde el sistema completa vacíos con respuestas plausibles en lugar de reconocer que no sabe.
¿Qué resultados obtuvo el modelo GPT-3 en el benchmark TruthfulQA?
El modelo GPT-3 de 175.000 millones de parámetros respondió de forma veraz al 58% de las preguntas en el benchmark TruthfulQA. En comparación, el desempeño humano de referencia fue del 94%.
¿Cómo afecta el tamaño del modelo a la veracidad de las respuestas?
En la prueba del benchmark TruthfulQA, los modelos más grandes tendieron a ser menos veraces. Sin embargo, los autores no concluyeron que aumentar el tamaño siempre reduzca la precisión en cualquier tarea.
¿Qué es la arquitectura RAG y cómo mejora las respuestas de los chatbots?
La arquitectura RAG, o generación aumentada por recuperación, añade una etapa de búsqueda donde el modelo recupera pasajes de documentos y redacta una respuesta usando ese material. Esto produce respuestas más específicas y factuales, aunque no garantiza que la respuesta final sea correcta.
¿Qué se debe revisar antes de usar una respuesta de chatbot como dato confiable?
Es importante comprobar cifras, fechas, citas o nombres en la fuente primaria, como informes o documentos originales. También se debe verificar que las referencias existan y respalden exactamente la afirmación. La fecha de publicación y la jurisdicción del dato son factores clave a considerar.
