Falso engaño profundo y manipulación de la IA en las redes sociales en la pantalla. Busque en la pantalla de su tableta, teclado, teléfono o teléfono inteligente que tiene en la mano. Concepto abstracto de titulares de noticias ilustración 3D.
getty
Un juez de California desestimó un caso de disputa de vivienda en septiembre después de descubrir que los demandantes habían presentado lo que parecía ser una falsificación de un testigo real generada por IA. El caso puede ser uno de los primeros casos documentados de medios sintéticos fabricados que se hacen pasar como evidencia auténtica en un tribunal estadounidense, y los jueces dicen que el sistema legal no está preparado para lo que está por venir.
En Mendones v. Cushman & Wakefield, la jueza del Tribunal Superior del Condado de Alameda, Victoria Kolakowski noté algo mal con una exposición de vídeo. La voz del testigo era inarticulada y monótona, su rostro borroso y sin emociones. Cada pocos segundos, se movía y repetía sus expresiones. El vídeo afirmaba presentar a una persona real que había aparecido en otras pruebas auténticas, pero la Prueba 6C era falsa.
Kolakowski desestimó el caso el 9 de septiembre. Los demandantes pidieron una reconsideración, argumentando que el juez sospechaba, pero no probaba, que las pruebas habían sido generadas por AI. Ella negó su solicitud en noviembre.
El incidente ha alarmado a los jueces que lo ven como un presagio.
“Creo que hay muchos jueces que tienen miedo de tomar una decisión basada en algo que no es real, que es generado por IA, que va a tener impactos reales en la vida de alguien”, dijo a NBC News el juez Stoney Hiljus, presidente del Comité de Respuesta a IA del Poder Judicial de Minnesota. Actualmente, Hiljus está encuestando a jueces estatales para comprender con qué frecuencia aparecen pruebas generadas por IA en sus salas de audiencias.
La vulnerabilidad no es hipotética. El juez Scott Schlegel del Tribunal de Apelaciones del Quinto Circuito de Luisiana, uno de los principales defensores de la adopción judicial de la IA pero que, sin embargo, se preocupa por sus riesgos, describió el problema en términos personales. Su esposa podría clonar fácilmente su voz con software gratuito o económico para fabricar un mensaje amenazador, dijo. Cualquier juez al que se le presentara una grabación de este tipo otorgaría una orden de restricción.
“Siempre van a equivocarse”, dijo Schlegel. “Si pierdes tu gato, tu perro, tus armas, tu casa, lo pierdes todo”.
La jueza Erica Yew del Tribunal Superior del condado de Santa Clara en California planteó otra preocupación: la IA podría corromper fuentes de evidencia tradicionalmente confiables. Alguien podría generar un registro de título de vehículo falso y llevarlo a la oficina del secretario del condado, dijo. Es probable que el secretario no tenga la experiencia para verificar esto y lo ingresará en el registro oficial. Luego, el litigante puede obtener una copia certificada y presentarla al tribunal.
“Ahora bien, ¿tengo yo, como juez, que cuestionar una fuente de evidencia que tradicionalmente ha sido confiable?” Dijo Yew. “Estamos en una frontera completamente nueva”.
Los tribunales están empezando a responder, pero lentamente. El Comité Asesor sobre Reglas de Prueba de la Conferencia Judicial de EE. UU. ha propuesto una nueva Regla Federal de Evidencia 707lo que sometería la “evidencia generada por máquina” a los mismos estándares de admisibilidad que el testimonio pericial. Según la regla propuesta, la evidencia generada por IA tendría que basarse en hechos suficientes, producirse mediante métodos confiables y reflejar una aplicación confiable de esos métodos: el mismo marco de Daubert aplicado a los testigos expertos.
La norma está abierta a comentarios públicos hasta febrero de 2026, pero el proceso de elaboración de normas avanza a un ritmo inadecuado para la rápida evolución de la tecnología. Según el juez federal retirado Paul Grimm, quien ayudó a redactar una de las enmiendas propuestas, se necesitan al menos tres años para que se adopte una nueva regla federal sobre evidencia.
Mientras tanto, algunos estados actúan de forma independiente. de Luisiana Ley 250Aprobada a principios de este año, exige que los abogados ejerzan una “diligencia razonable” para determinar si las pruebas que presentan han sido generadas por IA.
“Los tribunales no pueden hacerlo todo por sí solos”, afirmó Schlegel. “Cuando tu cliente entra por la puerta y te entrega 10 fotografías, debes hacerle preguntas. ¿Dónde tomaste estas fotografías? ¿Las tomaste con tu teléfono o con una cámara?”
La tecnología de detección ofrece ayuda limitada. Las herramientas actuales diseñadas para identificar contenido generado por IA siguen siendo poco confiables, con tasas de falsos positivos que varían ampliamente según la plataforma y el tipo de contenido. En el caso de Mendones, el análisis de metadatos ayudó a exponer la mentira: los datos incrustados en el video indicaron que fue capturado en un iPhone 6, que carecía de las capacidades requeridas por la historia de los demandantes. Pero tales indicaciones forenses son más difíciles de encontrar a medida que mejoran las herramientas de generación.
Un pequeño grupo de jueces está trabajando para crear conciencia. El Centro Nacional de Tribunales Estatales y el Instituto Thomson Reuters han creado recursos que distinguen las “evidencias de IA no reconocidas” (falsos falsos que se hacen pasar por reales) de las “evidencias de IA reconocidas”, como las reconstrucciones de accidentes generadas por IA que todas las partes reconocen como sintéticas.
El Plan de Acción de IA de la administración Trump, publicado en julio, reconoció el problema y pidió esfuerzos para “combatir los medios sintéticos en el sistema judicial”.
Pero por ahora, la carga recae en jueces que tal vez no tengan la capacitación técnica para detectar invenciones, y en un marco legal basado en supuestos que ya no son válidos.
“En lugar de confiar, pero verificar, deberíamos decir no confiar y verificar”, dijo Maura Grossman, profesora investigadora de la Universidad de Waterloo y abogada en ejercicio que ha estudiado cuestiones de evidencia de IA.
La cuestión que enfrentan los tribunales es si la verificación sigue siendo posible cuando las herramientas para detectar la mentira no son confiables y cuando las consecuencias del fracaso van desde órdenes de restricción fraudulentas hasta condenas injustas.
