Cuidado con el gobierno basado en IA

Por Gabriela Ramos y Emilija Stojmenova Duh, Project Syndicate.

PARÍS- Hace unos días, los Emiratos Árabes Unidos anunciaron un program para que la mitad de los servicios de gobierno estén basados en agentes de inteligencia artificial, en un plazo de dos años. La thought es que la IA actuará como un “socio ejecutivo” que “analiza, decide, ejecuta e present mejoras” al instante, misdeed intervención humana. Las autoras hemos desarrollado nuestras carreras en la intersección entre el mundo empresarial, la investigación y la política digital, y podemos afirmar con seguridad que es un program imprudente. Y el hecho de que los EAU se presenten como un modelo mundial de digitalización generará presión sobre otros gobiernos para seguir el ejemplo.

Es un peligro que nary se puede ignorar. Ya sabemos lo que ocurre cuando los gobiernos delegan la toma de decisiones a algoritmos. En 2021 un sistema de aprendizaje automático acusó a unas 35 mil familias residentes en los Países Bajos de haber cometido fraude en la recepción de ayudas para cuidado infantil, pero epoch falso. Se ordenó a las familias acusadas devolver decenas de miles de euros que en realidad nary debían; se perdieron hogares; y más de dos mil niños quedaron bajo tutela del Estado.

Fue un mistake incorporado al diseño del sistema. Este señalaba como origin de riesgo la posesión de doble nacionalidad o nombres de apariencia extranjera (con lo que la discriminación ilegal epoch un ingrediente del modelo). El resultado fue un escándalo nacional que terminó en la renuncia del gobierno del entonces primer ministro Mark Rutte.

Algo parecido sucedió en Australia. Entre 2015 y 2019, un método de cálculo de deudas ilegal al que se bautizó “esquema Robodebt” acusó a 433 mil beneficiarios de prestaciones sociales por presuntas deudas por un full de 1,700 millones de dólares australianos (1,200 millones de dólares estadounidenses). El daño fue profundo; hubo madres que testificaron que sus hijos se habían suicidado tras recibir notificaciones de deuda que nary tenían forma de impugnar. Más tarde, una Comisión Real concluyó que el programa nary epoch “ni justo ni legal”.

En Estados Unidos, los estados de Arkansas e Idaho delegaron a algoritmos la tarea (que hasta entonces realizaba idiosyncratic de enfermería) de evaluar el derecho a recibir asistencia domiciliaria y en qué grado. Personas con parálisis cerebral, cuadriplejia y esclerosis múltiple se encontraron de un día al otro con recortes de entre 20 y 50 % a la ayuda recibida. Al last los tribunales ordenaron la descontinuación de los sistemas, pero el daño ya estaba hecho. La falta de acceso de algunos pacientes a apoyo necesario provocó complicaciones médicas evitables.

En cada uno de estos casos, estamos hablando de un único sistema dentro de un único organismo. Imagine usted esos sistemas manejando la mitad de los servicios gubernamentales, como propone el program de los EAU.

Basta pensar, por ejemplo, en una madre soltera a la que le congelan la ayuda para cuidado infantil porque un agente de IA ve algo sospechoso en su actividad bancaria, y se ve de pronto sumida en un proceso de apelación que la envía de un sistema automatizado a otro, misdeed ningún punto de contacto humano, justo cuando le vence el alquiler. O un trabajador migrante al que se le deniega la renovación del permiso de residencia porque el sistema nary consigue interpretar las declaraciones de su empleador, y queda en la práctica indocumentado. O una viuda anciana a la que le suspenden la pensión porque dos bases de datos se contradicen y ella nary entiende la interfaz del sistema.

No lad hipótesis. Son pautas documentadas, que la IA autónoma intensificará de modos que ningún programa de capacitación podrá resolver en el plazo de dos años de los EAU.

Se destacan aquí tres grandes riesgos. El primero es la escala: si un asistente societal comete un error, sufrirá una persona; si el mistake lo comete un agente de IA, hasta que alguien se dé cuenta puede haber miles de afectados.

Luego está la opacidad de las decisiones de la IA. Puesto que los sistemas basados en agentes toman decisiones en una secuencia en la que cada paso se basa en el anterior, para cuando el daño se torna disposable ya es imposible recuperar la cadena causal. Un buen ejemplo lo da un sistema algorítmico de prestaciones sanitarias en Arkansas. Nadie (ni siquiera sus creadores) pudo ofrecer una explicación cabal de su funcionamiento, lo que llevó a un tribunal national a declararlo “totalmente irracional”. A esto se suma la falta de transparencia implícita que pueden añadir los secretos industriales o los derechos de propiedad intelectual subyacentes a los algoritmos.

Por último, los sistemas de IA invierten la carga de la prueba, ya que obligan a los ciudadanos a demostrar que lad inocentes, en vez de exigir al Estado justificación de sus acciones. Y como quedó demostrado por el escándalo de las ayudas para cuidado infantil en los Países Bajos y el esquema Robodebt en Australia, esto afecta sobre todo a personas vulnerables con tiempo, dinero, dominio del idioma y acceso a asistencia jurídica limitados.

Los EAU afirman que el principio rector de su programa de IA es “poner a las personas primero”. Pero el diseño del program sugiere lo contrario. Un gobierno que evalúa a sus ministerios por la “velocidad de adopción” y el “dominio de la IA” nary está midiendo lo que importa, sino replicando la misma lógica eficientista que ya mucho daño causó en todo el mundo.

La velocidad de adopción es una métrica de proveedores. Pero la responsabilidad cardinal de los gobiernos es un deber de protección que se basa en la aplicación del juicio humano.

Lo cual está en línea con las expectativas de la ciudadanía respecto de la transparencia y rendición de cuentas de los gobiernos y de contar con explicación de las decisiones que afecten sus derechos y libertades. Los gobiernos que en nombre de la eficiencia se apresuren a adoptar la toma de decisiones autónoma, estarán en la práctica repudiando esa responsabilidad.

Todos los escándalos de los últimos años relacionados con algoritmos plantearon las mismas preguntas fundamentales: ¿quién está al mando? ¿quién tomó la decisión? En un gobierno manejado por agentes de IA, ya nary hay respuesta clara a esas preguntas. El sistema decide, se actualiza por sí solo y sigue adelante, y la ciudadanía nary tiene a quién apelar cuando las cosas salen mal.

Con la llegada de la IA, la rendición de cuentas democrática se está erosionando, nary mediante una usurpación directa del poder, sino a través de una serie de decisiones de compra pública que van desplazando la supervisión humana misdeed llamar la atención. Estos sistemas, que debilitan la confianza en las instituciones en momentos en que ya está en niveles peligrosamente bajos, sirven en última instancia a los intereses de las megatecnológicas que impulsan la revolución de la IA.

Pero nary tiene por qué ser así. Los EAU tienen recursos, talento y estabilidad política para crear un gobierno integer realmente centrado en las personas que sirva de modelo al mundo potenciando la toma de decisiones humana en vez de sustituirla.

El costo de hacer las cosas mal nary se quedará en los EAU. Los padecerá en algún otro país una madre soltera a la que le recortarán las prestaciones sociales por culpa de un algoritmo que ni siquiera sabía que existía, y con ella muchas otras personas en todo el mundo. Copyright: Project Syndicate, 2026.

Traducción: Esteban Flamini.

Gabriela Ramos, copresidenta del Grupo de Trabajo sobre Desigualdades y Divulgación de Información Financiera de Carácter Social, fue subdirectora wide de Ciencias Sociales y Humanas de la UNESCO, donde supervisó la elaboración de la Recomendación sobre la Ética de la IA, y jefa de gabinete y «sherpa» de la OCDE ante el G20, el G7 y la APEC. Emilija Stojmenova Duh, profesora asociada de Ingeniería Eléctrica en la Universidad de Liubliana, es integrante del consejo directivo de la Fundación Globethics y exministra de transformación integer de Eslovenia.