El expediente de la máquina

Durante los últimos meses he trabajado en el desarrollo de sistemas que incorporan inteligencia artificial a procesos fiscales, administrativos y financieros reales: sistemas que reciben información, interpretan documentos, sugieren decisiones y en algunos casos ejecutan operaciones con consecuencias económicas concretas. Trabajar desde ese lado de la tecnología deja una lección que no aparece en la mayoría de los discursos sobre inteligencia artificial, y que me parece la más importante de todas: cuanto más invisible se vuelve el trabajo administrativo, más visible tiene que volverse su evidencia.

La razón es sencilla de enunciar y difícil de construir. A un sistema que empieza a actuar en materia regulada hay que exigirle lo que siempre le exigimos a una persona: un expediente. No basta con que responda bien. Hace falta poder reconstruir, meses o años después, qué información tenía disponible, qué recomendó, bajo qué criterio lo hizo, y quién finalmente decidió.

La frontera que la tecnología no elimina

Los modelos actuales pueden analizar documentos fiscales, relacionar disposiciones legales, clasificar operaciones y detectar patrones a una velocidad que ninguna persona podría igualar. Pero existe una frontera que esa capacidad no borra: la imputación de la decisión.

Cuando una autoridad determina un crédito fiscal, rechaza una deducción o cuestiona una operación, hay un contribuyente responsable. En ciertos casos hay también profesionistas involucrados y funcionarios que adoptaron una determinación. El algoritmo no sustituye esa relación jurídica, por más sofisticado que sea su análisis. Se puede automatizar capacidad de procesamiento sin automatizar, de ninguna manera, la responsabilidad que sigue recayendo en una persona.

Por eso creo que uno de los principios más importantes de la inteligencia artificial aplicada a materias reguladas es también uno de los más simples de enunciar: la máquina puede sugerir; la responsabilidad de decidir tiene que permanecer siempre atribuible a alguien identificable.

Un principio que vive en el esquema de datos, no en el contrato

Lo que aprendí construyendo estos sistemas es que ese principio no puede quedarse en una cláusula legal ni en una declaración de buenas intenciones. Tiene que vivir en la arquitectura misma del sistema, en el lugar donde nadie lo ve: el esquema de la base de datos.

Un sistema verdaderamente auditable necesita guardar dos cosas por separado y en paralelo: lo que la inteligencia artificial sugirió, y lo que la persona finalmente decidió. Nunca una sola columna donde una sobrescriba a la otra. Si la sugerencia de la máquina y la decisión del humano compiten por el mismo espacio, tarde o temprano una borra el rastro de la otra, y entonces ya no hay manera de reconstruir qué pasó realmente. La sugerencia queda registrada con su motivo. La decisión queda registrada con su fecha. Ninguna de las dos desaparece cuando la otra se escribe.

Esto suena a un detalle técnico menor. No lo es. Es la diferencia entre un principio ético que existe de palabra y uno que existe de verdad. Cualquiera puede declarar en un aviso de privacidad que "la inteligencia artificial solo sugiere". Pocos sistemas están diseñados de tal manera que esa sugerencia no pueda, silenciosamente, convertirse en la decisión final sin que nadie lo note.

Reglas primero, inteligencia artificial después

Una consecuencia práctica de tomarse en serio este principio es, paradójicamente, que muchas cosas no deberían usar inteligencia artificial en absoluto. Si una regla fiscal puede expresarse de forma determinista —si el emisor de un comprobante aparece en una lista pública, si un pago en efectivo excede un límite legal, si un comprobante fue cancelado— resolverla con un modelo probabilístico resulta más caro, más lento y, sobre todo, menos explicable ante una autoridad que pide razones.

La arquitectura correcta separa lo que la ley permite determinar de forma objetiva de lo que efectivamente requiere criterio. Primero las reglas. Después los datos. Solo al final, donde de verdad existe ambigüedad o contexto, entra la inteligencia artificial. La moda tecnológica empuja en la dirección contraria: meter un modelo desde el principio porque parece más sofisticado. Pero usar inteligencia artificial donde una regla basta no es innovación. Es complejidad que alguien más va a tener que explicar después.

El tercer estado que casi nadie diseña

Hay un riesgo en estos sistemas que recibe mucha menos atención que las conocidas alucinaciones, y que en mi experiencia resulta más peligroso: la falsa certeza. Un sistema puede no encontrar ningún problema en una revisión y concluir, sin decirlo explícitamente, que todo está bien. Pero "no encontré ningún problema" y "puedo demostrar que no existe ningún problema" son afirmaciones completamente distintas, y la diferencia entre ambas puede costarle caro a quien confía en la primera creyendo que es la segunda.

Recuerdo un tablero de control, en uno de los sistemas en los que he trabajado, que mostraba en verde y con una palomita la leyenda "todo en orden" para varios clientes que en realidad no tenían ningún diagnóstico corrido todavía. La lógica del sistema equiparaba ausencia de alertas con ausencia de problemas, en lugar de distinguirla de la tercera posibilidad, mucho más honesta: simplemente no lo sabemos todavía, porque nunca se hizo la revisión. Corregirlo no fue complicado técnicamente. Lo difícil fue notar que faltaba, porque un sistema que dice "todo bien" no genera ninguna alarma que obligue a mirarlo dos veces.

Cualquier sistema que opere en un ámbito crítico —fiscal, financiero, de salud, de justicia— necesita ser capaz de distinguir entre tres estados y no dos: sé que está bien, sé que hay un problema, y no tengo información suficiente para saberlo. Un sistema que reconoce correctamente su propia incertidumbre es, casi siempre, más valioso que uno que siempre tiene una respuesta lista.

El éxito parcial silencioso

Hay un segundo fenómeno, íntimamente relacionado con el anterior, que se vuelve más peligroso a medida que estos sistemas dejan de limitarse a responder y empiezan a ejecutar acciones. Lo pienso como el éxito parcial silencioso: un sistema puede completar su tarea de forma aparentemente exitosa, devolver una confirmación, enviar la notificación correspondiente, registrar técnicamente un resultado positivo, y aun así el efecto que realmente importaba nunca ocurrió.

Vi ese patrón repetirse de formas distintas en distintos sistemas: operaciones que se procesaban correctamente del lado externo pero nunca quedaban registradas del lado interno; alertas que se generaban y quedaban marcadas como "pendientes" sin que existiera, en el código, ningún mecanismo real que las entregara a alguien; procesos automáticos que devolvían una respuesta exitosa mientras un permiso mal configurado, silenciosamente, impedía que el resultado se escribiera. En cada caso, desde afuera, todo parecía haber funcionado. Ese es exactamente el problema: los sistemas tradicionales, cuando fallaban, solían fallar haciendo ruido —un error visible, una pantalla que se congela. Los sistemas inteligentes pueden fallar con una fluidez perfecta.

Esa diferencia obliga a cambiar la pregunta con la que auditamos estos sistemas. Ya no basta con preguntar si el sistema respondió correctamente. Hay que preguntar qué evidencia existe de que la consecuencia realmente ocurrió en el mundo, más allá de la respuesta que el sistema decidió mostrar. En la era de los sistemas que actúan y no solo responden, verificar consecuencias va a ser tan importante como verificar respuestas.

De registro a evidencia

Todo lo anterior converge en una distinción que, creo, va a definir la siguiente generación de software administrativo: la diferencia entre un registro y una evidencia. Un registro describe el estado actual de algo. Una evidencia permite demostrar qué ocurrió, cuándo, y con qué información disponible en ese momento.

Durante décadas construimos software alrededor del primer concepto. Si dentro de tres años una autoridad pregunta por qué se adoptó determinada posición, conocer solo el estado actual de una base de datos puede no alcanzar. Hace falta poder reconstruir qué información existía entonces, qué documentos la sustentaban, qué versión del criterio se aplicó, qué sugirió el sistema y qué decidió la persona. Eso cambia la arquitectura desde el diseño, no como parche posterior: trazabilidad, registros que no se pueden alterar, versionamiento explícito de los criterios que se aplicaron, todo eso empieza a pesar tanto como el propio modelo de inteligencia artificial.

Materialidad digital

Llevado a su forma más concreta en materia fiscal, este principio tiene un nombre: materialidad digital. Durante años, cuando una autoridad cuestiona la existencia real de una operación, la respuesta ha sido reconstruir la evidencia después de que el problema ya apareció: buscar contratos, correos, entregables, fotografías, intentando demostrar meses o años después que algo efectivamente ocurrió.

La alternativa es invertir esa lógica: en lugar de reconstruir evidencia cuando llega el problema, construirla mientras la operación ocurre. No porque un sistema inteligente vaya a inventar esa evidencia —precisamente lo contrario. Porque puede identificar qué evidencia existe en el momento en que existe, relacionarla con la operación correspondiente, señalar qué falta, y mantener organizado un expediente que nace junto con la operación misma, no meses después de que alguien lo pidió.

Ese expediente empieza, casi siempre, por saber si la contraparte con la que se operó existe realmente para el SAT: verificar a tiempo si un proveedor aparece en la lista 69-B es el primer eslabón de esa evidencia, no un trámite aparte.

Ninguna inteligencia artificial puede fabricar legítimamente hacia atrás una evidencia que nunca se generó. Por eso creo que una de las aplicaciones más importantes de estas tecnologías en actividades reguladas no va a ser producir mejores argumentos. Va a ser conseguir que, dentro de tres años, ya no tengamos que reconstruir lo que hoy pudimos haber documentado correctamente. La inteligencia no sustituye a la constancia. La vuelve sistemática.

Esta es la primera entrega de una serie de tres sobre lo que cambia, en materia fiscal, administrativa y financiera, cuando la inteligencia artificial deja de ser una herramienta a la que se consulta y empieza a formar parte de cómo se administra. La segunda entrega trata sobre qué le queda por hacer al funcionario y al contador cuando gran parte del procesamiento deja de requerir intervención humana constante.