Los algoritmos participan de las acciones más cotidianas de nuestras vidas. Estos conjuntos de operaciones matemáticas nos recomiendan la próxima serie que veremos, nos ayudan a buscar pareja o nos ofrecen las ofertas de trabajo que más se ajustan a nuestro currículum. Pero, no debemos olvidar que la construcción de un algoritmo viene siempre de la mano de un ser humano. Los seres humanos no somos perfectos y cometemos errores que en muchas ocasiones pueden reflejarse en los propios algoritmos generando desigualdades entre diferentes colectivos.

¿Son éticos los algoritmos? ¿Cómo podemos alcanzar una inteligencia artificial inclusiva? A estas y otras cuestiones nos responde Gemma Galdon, CEO y fundadora de Éticas Research.

Gemma Galdon, fundadora y CEO de Eticas Research

La auditoría algorítmica

– ¿Cómo surgió la idea de poner en marcha una empresa dedicada a la consultoría ética de algoritmos?

Empecé a trabajar entre la tecnología y la sociología. Primero desde una perspectiva más académica y pronto me di cuenta de que lo que el mundo necesitaba no era tanto investigación como soluciones prácticas. Como ya tenia un equipo de investigación muy sociotécnico, capaz de hablar un idioma muy habitual que es el de entender la sociedad desde la tecnología y a la tecnología desde la sociedad, nos pusimos a buscar soluciones rápidas. Lo que se nos ocurrió es que una de las cosas que podían mejorar la auditoría del entorno tecnológico era la auditoría algorítmica.

– ¿En qué últimos proyectos estáis trabajando?

Auditamos algoritmos en todo el mundo para gobiernos. Muchos gobiernos están incorporando algoritmos para la toma de decisiones publicas. Sobre todo, para la asignación de recursos; determinar quién recibe una oferta de trabajo pública; o a quién dar asistencia para casos de personas sin hogar o menores en situación de riesgo… Varios gobiernos en todo el mundo nos han pedido apoyo en asegurar que los algoritmos tomen decisiones que no sean en ningún caso discriminatorias.

En el sector privado también estamos trabajando bastante. Por ejemplo, en el sector de la salud. En los hospitales cada vez se usan más algoritmos para planificar mejor los recursos y para cribar personas en Urgencias. Ese es un trabajo que en EE.UU. se estaba centrando mucho en que ya no sea un personal médico quien haga esa criba inicial, sino que sean algoritmos.

Trabajamos también con el sector bancario, con empresas que utilizan algoritmos para distribución de tareas en un entorno laboral… La verdad es que no hay una empresa en el mundo que haya auditado más que nosotros, así que tenemos la suerte de trabajar con clientes muy variados.

¿Están protegidos nuestros datos?

– Trabajáis para algunos gobiernos, ¿los ciudadanos podemos confiar en la Administración pública para el uso y gestión de nuestros datos? ¿Estamos protegidos por el gobierno?

La situación es la misma en todo el mundo. Ahora mismo lo que nos rodea es un despliegue tecnológico sin ningún tipo de normas. No porque no existan, sino porque no se cumplen. Con lo que ahora mismo no pondría la mano en el fuego por ningún sistema algorítmico del que nos rodea.

Lo que vemos es que nos rodean algoritmos de muy poca calidad y que están tomando decisiones cada vez más importantes y de mayor calado. Con más consecuencia a nivel individual y colectivo. Me temo que en todo el mundo las cosas se están haciendo bastante mal. Por eso, nuestra insistencia en auditar algoritmos, que es una de las formas de asegurar las disfunciones que heredamos de estos años de construcción tecnológica que se empiezan a corregir.

La ética de los algoritmos

– ¿Hay poca ética en el mundo de los algoritmos?

Hay mucho desconocimiento del impacto para construir algoritmos complejos. El algoritmo de Netflix o de Spotify si se equivoca y te recomienda una canción que no te interesa no pasa nada. Pero, cuando este mismo algoritmo lo trasladas al sector público o al sector médico las consecuencias son mucho más graves. ¿Qué está ocurriendo? Que esos algoritmos tan sencillos y tan poco testeados tienen errores. Las consecuencias aunque puedan ser mínimas se están desplegando en entornos de alto riesgo.

El ejemplo que yo siempre pongo es que hacer inteligencia artificial de alta calidad es como construir un edificio. Si tú construyes un edificio solo con fontaneros, el edificio se va a caer. Puedes tener los mejores fontaneros del mundo, pero los fontaneros son una parte de los equipos que hay que montar. Pues ahora tenemos un sector tecnológico que solo trabaja con ingenieros. Son buenos, pero no tienen los conocimientos necesarios para llevar al éxito esa construcción de algoritmos en espacios de alto riesgo.

Lo que hacemos nosotros es aportar precisamente todos estos conocimientos que requieren los ingenieros. A los ingenieros les pedimos constantemente que hagan un código para un mundo que no entienden. En Ingeniería no te enseñan Sociología. Con lo cual los algoritmos que están saliendo de estos equipos de fontaneros son algoritmos que no sirven para construir edificios.

¿Generan los algoritmos desigualdad?

– ¿Por qué se dice que la tecnología excluye a ciertos colectivos e incluso genera desigualdades?

Por muchos motivos. El más evidente es que la IA lo que hace es recoger datos del pasado y buscar patrones en esos datos para intentar predecir el futuro. Y esos datos pasados conllevan muchas veces dinámicas de discriminación en el mundo real. Por ejemplo, un algoritmo que te ayuda a encontrar trabajo en LinkedIn o en InfoJobs. Si ve que en el pasado los trabajos técnicos y bien remunerados han ido siempre a hombres lo que hace e incorporar eso y reproducirlo porque nadie dice lo contrario. Si nadie sanea ese algoritmo, reproduce eso.

O el reconocimiento facial, que se entrena con datos de gente de internet. ¿Qué ocurre? En internet la mayoría de personas son hombres blancos. Eso quiere decir que un algoritmo de reconocimiento fácil usado por la policía fallará más en rostros que no son de hombres y que no son blancos. Con lo cual estamos incorporando dinámicas de discriminación y de funcionamiento diferente para diferentes colectivos. Además, muchas veces los afectados son ya colectivos tradicionalmente discriminados.

También hay otras fuentes de discriminación. Por ejemplo, que los equipos de ingenieros sean mayoritariamente masculinos hace que no se tengan en cuenta las dinámicas femeninas. También, en personas mayores, neurodivergentes… No hay nadie preocupado en asegurar que ese algoritmo sea justo.

Posibles soluciones

– ¿Y cómo se podría solucionar esto?

Repasar cómo funciona el algoritmo e incorporar normas dentro de este para que eso no se reproduzca. O introducir datos para que el algoritmo no vea diferencia entre hombres y mujeres. Lo que se puede hacer es relativamente sencillo, pero en los equipos actuales de desarrollo de tecnología no hay nadie encargado de hacer eso. Un proceso de auditoría algorítmica puede durar apenas tres meses de trabajo con los equipos. Al final, no se está haciendo por irresponsabilidad y falta de conocimiento.

Por desgracia, todo lo relativo a la inteligencia artificial es tan opaco que si no sabemos que existe mucho menos sabremos si discrimina o no hasta que no haya una víctima que se atreva a levantar la mano. La gente no sabe actualmente que está siendo discriminada por esos algoritmos. El paso más difícil es ser consciente de esa desigualdad.