Mi columna de esta semana en Invertia se titula «Cuando el Estado subcontrata la inteligencia» (pdf), y trata sobre un fenómeno que avanza mucho más deprisa de lo que solemos admitir: la externalización silenciosa de decisiones públicas a sistemas tecnológicos desarrollados y operados por proveedores privados. No hablamos solo de la digitalización administrativa, sino de algo más profundo: de lo que ocurre cuando becas, subsidios, inspecciones, evaluaciones de riesgo o asignaciones de recursos dependientes de modelos algorítmicos cuya lógica real no es plenamente auditable ni comprensible por quienes, en teoría, deben rendir cuentas ante la ciudadanía.
En mi artículo analizo cómo este desplazamiento de capacidad decisoria tensiona principios básicos del Estado de derecho. El Reglamento General de Protección de Datos (GDPR) ya estableció límites claros a las decisiones basadas únicamente en tratamiento automatizado cuando producen efectos jurídicos significativos, como recoge su artículo 22. Más recientemente, la Unión Europea ha aprobado el Reglamento 2024/1689, conocido como Ley de inteligencia artificialque clasifica como «sistemas de alto riesgo» aquellos utilizados para evaluar la elegibilidad o el acceso a servicios esenciales y beneficios públicos. Es decir, el legislador europeo es plenamente consciente de que automatizar decisiones en estos ámbitos no es una cuestión técnica menor, sino un asunto de garantías democráticas.
La literatura internacional lleva tiempo alertando sobre los riesgos de esta deriva. La OCDE ha publicado análisis específicos sobre gobernanza y transparencia en la toma de decisiones automatizadas en el sector público, como «Gobernar con Inteligencia Artificial« o su informe sobre transparencia algorítmica en la administraciónasí como reflexiones sobre responsabilidad y rendición de cuentas en decisiones automatizadas. En la misma línea, el Consejo de Europa ha adoptado un marco convencional sobre inteligencia artificial que refuerza la idea de que los sistemas automatizados no pueden quedar fuera del escrutinio jurídico y democrático.
Los ejemplos concretos muestran que el problema no es teórico. el escándalo neerlandés de las ayudas al cuidado infantildocumentado por la propia Comisión Europea, evidencia cómo un sistema de detección de fraude puede generar daños masivos cuando combina automatización, sospecha estructural y ausencia de controles efectivos. Algo similar ocurrió con el sistema SyRI en Países Bajos, un algoritmo de puntuación de riesgo para fraude social cuya historia está recogida por organizaciones como Digital Freedom Fund. En Estados Unidos, el sistema MiDAS en Michigan acusó erróneamente a decenas de millas de personas de fraude en prestaciones por desempleo, un caso ampliamente analizado por IEEE Spectrum y explicado en detalle por la Universidad de Michigan. Incluso decisiones en sanidad pública, como en el caso del programa Medicaid de Idaho, han terminado en los tribunales, tal y como explica la ACLU.
Tampoco Europa ha estado libre de episodios similares en otros ámbitos, como el controvertido algoritmo de calificaciones utilizado por Ofqual en el Reino Unido durante la pandemia, cuyo análisis técnico puede consultarse en el informe de la Sociedad Británica de Computación. La preocupación académica sobre la forma en que los sistemas automatizados pueden generar decisiones opacas y difíciles de impugnar está presente en trabajos como el publicado en PLOS ONE bajo el explícito título «El algoritmo te joderá«.
En España el debate es mucho más discreto, pero no inexistente. el informe de Digital Future Society sobre cuatro estudios de caso de sistemas automatizados en el sector público español y las muy meritorias iniciativas de Civio en torno a la transparencia de decisiones automatizadas muestra que también aquí existen algoritmos que influyen en derechos y oportunidades. Lo que falta es que esa discusión salga del ámbito técnico y se convierta en una cuestión política de primer orden.
Además, la externalización no se limita al Estado. En el ámbito de los seguros, por ejemplo, la utilización intensiva de modelos predictivos y segmentación de riesgos está transformando quién es asegurable ya qué precio. El debate regulatorio británico sobre prácticas de fijación de precios en seguros generales, documentado por la Autoridad de Conducta Financieray los análisis del Financial Times sobre el riesgo de que la inteligencia artificial se convierta a algunas personas en «inasegurables» apuntan a un fenómeno más amplio: cuando las decisiones que estructuran el acceso a servicios esenciales se automatizan y se optimizan bajo lógicas comerciales, el impacto social puede ser profundo.
De eso va mi columna de esta semana: de asumir que no estamos simplemente modernizando procedimientos, sino redefiniendo dónde reside la inteligencia institucional y quién controla sus reglas. Si el Estado subcontrata la inteligencia, debe asegurarse de no subcontratar también la rendición de cuentas. Porque cuando los algoritmos deciden cada vez más cuestiones que nos afectan, la cuestión ya no es tecnológica, sino democrática.
