martes, 29 de septiembre de 2026

IA, DERECHO Y ALUCINACIONES

Hubo una época – etiquetada como “hippie” – en que se asociaba las palabras “alucinación, alucinaciones” con las pastillas LSD. La sigla refería a una sustancia psicodélica – la dietilamida del ácido lisérgico – que alteraba la percepción de la realidad en quien hacía uso de ella. 

Hoy las alucinaciones vuelven de la mano nada menos que de la Inteligencia Artificial. Una alucinación de la IA es cuando la IA generativa realiza afirmaciones falsas en forma totalmente segura y convincente. El principal problema de estas alucinaciones es que en la mayoría de los casos son “plausibles”, con lo cual logran engañar al receptor, quien la mayoría de las veces asume que la IA nunca se equivoca. Para explicarme mejor, me gusta esta simple alucinación de la IA: “Si Juan tiene 3 manzanas y regala 2, le quedan 5”. Importa señalar que las alucinaciones de la IA no derivan de un error del programador, sino de una desviación de la propia IA a partir de las probabilidades que le brinda el modelo y los datos de que dispone.

El problema es que no logramos entender que la IA no es un sistema “pensante” como el ser humano, sino es un ordenador de datos y cuando los datos son equivocados o insuficientes, se produce el error. En efecto, una característica de la IA es que está programada para dar siempre una respuesta, aunque la misma sea insatisfactoria o falsa, cuando la insuficiencia de insumos la induce a equivocarse.

La Guía de IBM para la IA de 2026 explica: “La alucinación de la IA es un fenómeno en el que, en un modelo de lenguaje grande (LLM), a menudo un chatbot de IA generativa o una herramienta de visión artificial, percibe patrones u objetos que son inexistentes o imperceptibles para los observadores humanos, creando resultados que no tienen sentido o son totalmente inexactos”. Agrega: “El término puede parecer paradójico, dado que las alucinaciones suelen asociarse con cerebros humanos o animales, no con máquinas. Pero desde un punto de vista metafórico, la alucinación describe con precisión estos resultados, especialmente en el caso del reconocimiento de imágenes y patrones (donde los resultados pueden tener una apariencia verdaderamente surrealista)”.

Planteo el problema en el post de hoy, porque el tema debe preocupar si lo conectamos con el Derecho y en especial con la tendencia expansiva de acudir a la IA en el asesoramiento, la preparación de las demandas, la gestión del propio proceso y la redacción de sentencias judiciales. En efecto una resolución judicial que tomara en consideración un dato falso de la IA introducido por una demanda o incorporado directamente de un chatbot de inteligencia generativa, podría crear daños graves a la persona que acude al sistema judicial. Así, un documento legal que cite leyes inexistentes o doctrina y jurisprudencia apócrifa, podría conducir a conclusiones adversas para los usuarios de la justicia.  

El Stanford Institute for Human-Centered AI en enero de 2024  midió este fenómeno con rigor metodológico. Sus conclusiones se resumen en una frase: entre el 58 y el 88 por ciento de las consultas jurídicas a modelos generalistas (GPT-3.5, GPT-4, PaLM, Llama 2) producen al menos una afirmación incorrecta verificable ((Hallucinating Law: Legal Mistakes with Large Language Models are Pervasive). El servicio Legatiq comenta estos datos, expresando que lo interesante no es solo el porcentaje. Es la clasificación: casi todos los errores caen en cuatro categorías distintas: a) la cita de sentencias con detalles de las mismas, que nunca fueron dictadas por ningún tribunal; b) atribución de autoría: el modelo cita correctamente una sentencia que sí existe, pero atribuye su autoría a un juez o tribunal equivocados. c) cita literal de pasajes: El modelo cita un párrafo concreto de una sentencia o de una norma, que no existen. La sentencia o la norma existen, pero el párrafo que cita no existe en ninguna parte del texto real. Es un párrafo plausible, redactado en el estilo del documento, que el modelo ha generado para apoyar la respuesta. d) vigencia normativa: El modelo afirma que una norma está vigente cuando ya ha sido derogada, o cita una versión anterior de un artículo que ha sido reformado (https://legatiq.ai/recursos/analisis/alucinaciones-ia-legal-categorias-y-prevencion ).

Cuando nos acercamos en nuestra profesión a la IA, debemos hacerlo con la máxima diligencia y a conciencia de que no estamos ante un ser humano con conocimientos enciclopédicos, sino ante una máquina que procesa datos imitando al hombre, pero no es el hombre. Un error, una alucinación de la IA en un documento jurídico terminaría siendo una expresión de mala praxis, con las responsabilidades que ello podría generar. 

¡Que una alucinación de la IA no se vuelva una amarga experiencia para nosotros!


 

1 comentario: