Daniel Howden y los casos de discriminación algorítmica en servicios públicos

El director general y fundador de Lighthouse Reports, Daniel Howden, compartió su experiencia en cuanto a la responsabilidad que los medios tienen para exigir cuentas a los gobiernos en relación con las decisiones tomadas a través de algoritmos y expuso algunos de los casos que ha contribuido a visibilizar, como el del algoritmo de Rotterdam. Algunas de las ideas desarrolladas en el encuentro, a continuación.

Creación de Lighthouse: Más tiempo para pensar sin descuidar las audiencias

El periodismo de noticias está en la contingencia y no deja mucho tiempo para reflexionar. La creación de Lighthouse busca precisamente una combinación de lo mejor de dos mundos: acceso a medios comerciales con una amplia audiencia, y el periodismo sin fines de lucro con tiempo para pensar. La solución que encontraron fue asociarse con varios medios en cada investigación, donde las historias reales encuentran su hogar.

De tal forma, Lighthouse no es una plataforma en sí misma, por lo que sus historias no se publican en su sitio web ni se transmiten en vivo. En cambio, trabajan junto con un mínimo de dos y hasta doce medios diferentes en cada investigación. El periodismo es el núcleo de su enfoque, utilizando investigación, descubrimientos y metodologías aplicadas a las nuevas tecnologías. Esto permite que las historias se puedan presentar en diferentes idiomas y se adapten a las audiencias de cada medio asociado.

El principio fundamental de Lighthouse es que los medios socios conocen mejor a su público y saben cómo comunicarse con ellos. Por lo tanto, no imponen restricciones sobre cómo deben ser las historias. “Ustedes saben cómo hablar a su público, que lo entienden mejor que yo. Así que no dictamos cómo van a ser las historias. Garantizamos normas mínimas, normas editoriales, comprobación de hechos, y proporcionamos algunas habilidades duras que no existen en la mayoría de las redacciones”, explicó.

Historias y reportajes sobre sesgos en los algoritmos

Asimismo, Howden se refirió a la forma como se construyen los insumos que posteriormente se convierten en las historias que dan cuenta de la discriminación algorítimca. “A menudo, las historias están ocultas. Cuando buscamos rendición de cuentas en diferentes áreas, ¿qué necesitamos? Queremos acceder a los correos electrónicos y documentación que intercambiaron los funcionarios del gobierno, los responsables de la toma de decisiones y aquellos que adquirieron los sistemas. Esto no es diferente cuando se trata de informar sobre algoritmos. Parte de la historia puede estar en los correos electrónicos entre el proveedor y los responsables de decidir qué sistema comprar. A menudo, esta información técnica incluye códigos y libros de datos (Codebook) que nos revelan su significado, lo cual es realmente importante”, comentó.

En consecuencia, narró parte de su experiencia en uno de sus hallazgos. “Descubrimos que la discriminación se basaba en el género, si tenías hijos y, en esencia, intentaba adivinar tu origen étnico. Analizando la lista de características encontradas, pudimos entender que este algoritmo intenta inferir qué idioma hablas como un indicador para determinar si eras inmigrante o no. No podía hacer una discriminación directa e independiente, por lo que fue diseñado para realizar una discriminación indirecta. Esto lo pudimos deducir a partir de la lista de características, las ponderaciones y la importancia que se les daba. Cuando observamos que de las 315 características, 27 se centraban en el lenguaje, surge la pregunta: ¿por qué este algoritmo daba tanta importancia al idioma que hablas en relación con el nivel de preguntas que puede deshacerse de hacer?”, señaló.

Esta experiencia le permitió sentar las bases para recalcar la necesidad de transparencia y escrutinio en el desarrollo y uso de algoritmos, así como la importancia de comprender cómo estos sistemas toman decisiones y los posibles sesgos que pueden contener.

El caso de discriminación algorítmica en Rotterdam

Parte central de la exposición de Daniel Howden es el caso de discriminación algorítmica en el servicio público de Rotterdam, donde se le privó de beneficios a ciudadanos extranjeros. Esta revelación generó una reflexión profunda sobre el papel que deben desempeñar los diferentes actores involucrados en el diseño, implementación y supervisión del uso de la inteligencia artificial en la prestación de servicios a la ciudadanía.

La experiencia en Howden en la investigación de este caso es significativa porque destacó la importancia de contar con leyes de libertad de expresión y acceso libre a la información, además de poder recurrir a tribunales como herramientas para lograr la divulgación de datos y detalles técnicos de los sistemas automatizados. El caso de Rotterdam puso de manifiesto la necesidad urgente de una mayor transparencia y rendición de cuentas en el uso de algoritmos en servicios públicos, con el fin de evitar cualquier forma de discriminación sistemática.

Howden explicó que a través de una investigación conjunta entre Lighthouse Reports y la emisora pública holandesa VPRO, se obtuvo acceso al código fuente, las entradas y salidas, así como la documentación técnica del algoritmo predictivo utilizado en Rotterdam. “Los documentos revelaron que desde 2018 el municipio de Rotterdam ha puesto automáticamente bajo investigación a miles de beneficiarios de asistencia social con puntuaciones de alto riesgo. A cientos de ellos se les cancelaron sus beneficios”, expuso.

Para ello Lighthouse Reports utilizó métodos combinados de periodismo de datos e investigación tradicional para comprender en detalle tanto los aspectos técnicos como humanos del algoritmo predictivo utilizado en Rotterdam. “Dentro de un algoritmo de detección de fraude, se utiliza el código fuente que Rotterdam emplea para predecir los casos de engaño y obtener beneficios ilegítimos”, agregó.

En la misma línea, señaló que en este caso se observó como durante cada año se alimentó un algoritmo de aprendizaje automático con cientos de detalles íntimos relacionados con cada beneficiario de asistencia social. “Estos detalles incluyen información como la dirección, historial de salud mental y pasatiempos. Como resultado, se asigna a cada destinatario una puntuación de riesgo de fraude. Esta evaluación de riesgos puede tener un impacto significativo en la vida de las personas que reciben la puntuación, aunque desconozcan cómo se realiza el cálculo. Rotterdam es solo una de las muchas ciudades europeas que están utilizando algoritmos para tomar decisiones críticas que afectan a la asignación de recursos públicos”, sostuvo.

”La mayoría de los algoritmos no producen discriminación directa

En consideración de lo expuesto anteriormente, explicó que la mayoría de los algoritmos no realizan discriminación directa, sino que más bien están diseñados para evitarlo. “Utilizan variables indirectas para obtener la información que desean. Estas variables pueden hacer las mismas preguntas que supuestamente están protegidas de ser recogidas, pero de una manera diferente, lo que les permite obtener datos indirectamente”, dijo.

Es por ello que desde la perspectiva comunicacional, es fundamental contar con habilidades que permitan analizar datos y producir información. “El mensaje principal que me gustaría transmitir es que existen organizaciones -entre las que se encuentra Lighthouse- que tienen la capacidad de trabajar con archivos de modelos. Esta capacidad también está creciendo en diversos medios de comunicación, por lo que si una organización no cuenta con esta capacidad interna, no es necesariamente un obstáculo. En esos casos, se puede buscar ayuda. Hay organizaciones dispuestas a colaborar y es probable que encuentres aliados académicos interesados en realizar este tipo de trabajo práctico”, afirmó.

Por último, destacó la importancia de tener documentos, pruebas y evaluaciones. “Estos elementos proporcionan una amplia gama de información. Los informes de evaluación indicarán si el sistema está cumpliendo su función y evaluarán si cumple con su propósito original. Una cuestión recurrente es si el sistema representa de manera precisa a la población objetivo. La imparcialidad es esencial en este contexto”, sentenció.

El contenido de esta nota va en consonancia con los lineamientos del Objetivo de Desarrollo Sostenible (ODS) 16 “Promover sociedades justas, pacíficas e inclusivas”, específicamente en sus metas 16.6 “Crear a todos los niveles instituciones eficaces y transparentes que rindan cuentas”; 16.10 Garantizar el acceso público a la información y proteger las libertades fundamentales, de conformidad con las leyes nacionales y los acuerdos internacionales; y 16.b Promover y aplicar leyes y políticas no discriminatorias en favor del desarrollo sostenible.

Por equipo Asia Pacífico: asiapacifico@bcn.cl