Para remediar el sesgo incorporado a los datos de IA, las empresas pueden adoptar un enfoque de tres pasos que podrían solucionar algunos problemas.
Las empresas y los gobiernos deben enfrentarse a una verdad incómoda: la inteligencia artificial (IA) es irremediable e intrínsecamente sesgada.
Preguntarse cómo evitar ese sesgo es, en muchos sentidos, una pregunta equivocada, porque la IA es un medio de aprendizaje y generalización a partir de un conjunto de ejemplos. Eso hace que con demasiada frecuencia los ejemplos se extraen directamente de datos históricos.
No todo es color de rosa, el uso de la IA también trae dilemas éticos
Dado que los prejuicios contra diversos grupos están arraigados en la historia, esos prejuicios se perpetuarán en cierta medida a través de la IA.
Las salvaguardias tradicionales y aparentemente sensatas no solucionan el problema. Un diseñador de modelos podría, por ejemplo, omitir las variables que indican el sexo o la raza de un individuo, con la esperanza de que se elimine cualquier sesgo. Pero los algoritmos modernos destacan en el descubrimiento de sustitutos de esa información.
Por mucho que se intente, ninguna depuración de datos puede solucionar este problema por completo. Resolver el problema de la imparcialidad no sólo es difícil, sino matemáticamente imposible.
Apenas pasa un día sin que se conozca otro ejemplo de IA que se hace eco de prejuicios históricos o permite que se introduzcan sesgos. Ni siquiera la ciencia médica es inmune. En un artículo publicado en The Lancet, los investigadores demostraron que la IA alimentados con datos de imágenes médicas fueron capaces de identificar la raza del 93% de los pacientes.
Los líderes empresariales deben dejar de fingir que pueden eliminar el sesgo de la IA y centrarse en remediarlo.
En nuestro trabajo de asesoramiento Oliver Wyman, hemos identificado un proceso de tres pasos que puede dar resultados positivos para los líderes que buscan reducir las posibilidades de que la IA se comporte mal.
Dado que la imparcialidad total es imposible y que muchos comités de toma de decisiones aún no cuentan con la diversidad adecuada, elegir el umbral aceptable de imparcialidad es todo un reto.
No existe una única norma o modelo para garantizar la equidad en la IA que funcione para todas las empresas o todas las situaciones.
Los equipos pueden comprobar si sus algoritmos seleccionan el mismo número de personas de cada clase protegida, la misma proporción de cada grupo, etc. Todos estos enfoques son defendibles y de uso común. Pero a menos que se incluya originalmente el mismo número de personas de cada clase en los datos de entrada, estos métodos de selección son excluyentes.
El tipo de “equidad” elegido requiere inevitablemente un compromiso, porque los resultados no pueden ser justos para todos.
OpenIA, creador de ChatGPT, te ofrece trabajo y estas son sus vacantes
Por tanto, la elección del enfoque es fundamental. Junto con la elección de los grupos a proteger, una empresa debe determinar cuál es el problema más importante a mitigar.
¿Se trata de diferencias en el tamaño de los grupos o de diferentes índices de precisión entre los grupos? En cuanto al tamaño de los grupos, ¿la equidad exige un número igual de cada tipo de grupo o un porcentaje proporcional?
En el caso de diferentes índices de precisión, ¿los datos están etiquetados con precisión y, en caso afirmativo, qué grupo necesita más equidad predictiva?
Estas diversas opciones dan lugar a un árbol de decisiones, en el que muchos aspectos deben alinearse y normalizarse en la política de la empresa.
Los errores siguen siendo frecuentes. Una empresa europea de software, por ejemplo, creó un software de IA de procesamiento de voz para redirigir las llamadas de ventas y tuvo un gran éxito. Al menos excepto en situaciones en las que las personas que llamaban tenían acentos regionales.
En este caso, la equidad podría haberse comprobado creando un grupo de prueba más diverso y asegurándose de que el riesgo de clasificación errónea era el mismo para los distintos grupos regionales.
Para garantizar que los conjuntos de datos de desarrollo y prueba que dan forma a los algoritmos son lo suficientemente diversos, las empresas deben comprobar la cobertura de diferentes atributos sensibles. Además también tendrán que gestionar las formas en que los datos han sido sesgados por el proceso de selección.
El algoritmo final y sus pruebas de equidad deben tener en cuenta a toda la población, no sólo a los que superaron los primeros obstáculos. Para ello, los diseñadores de modelos deben aceptar que los datos son imperfectos.
Una vez que la empresa cuenta con un planteamiento sólido en materia de datos y diseño, debe comprobar la equidad de los resultados y el impacto, incluidas las intersecciones de esos datos.
Incluso cuando las empresas tienen buenas intenciones, existe el peligro de que un enfoque poco meditado pueda hacer más mal que bien. Los algoritmos son superliterales y no manejan la interseccionalidad, por lo que algoritmos neutros pueden dar lugar a impactos dispares.
Si decimos que un producto crediticio tiene que estar disponible por igual para hombres y mujeres, discapacitados o no, la solución de un algoritmo podría ser seleccionar a hombres en silla de ruedas. Esto significa que se incluye en los datos el mismo número de hombres, mujeres, discapacitados y no discapacitados. Pero nunca se puede seleccionar a las mujeres discapacitadas.
Una estrategia eficaz es una solución de dos modelos, como el enfoque de las redes generativas adversariales. Se trata de una comparación de compensación, o suma cero, entre el modelo original y un segundo modelo que funciona como su adversario o auditor. Los dos modelos combinados convergen para producir una solución más adecuada y justa.
Este planteamiento ha tenido especial éxito en la tarificación de seguros, donde tradicionalmente se ha recurrido a la agrupación de riesgos. Hoy en día, técnicas más avanzadas, como la modelización adversarial, han avanzado hacia una tarificación que refleja mejor al individuo.
Una compañía de seguros británica, por ejemplo, consiguió mejorar su equidad interseccional y reducir el riesgo de sesgo involuntario con tanta eficacia que redujo sus primas para 4 de cada 5 solicitantes.
Cómo la Inteligencia Artificial está mejorando la gestión de datos
Es importante examinar con frecuencia los resultados y buscar patrones sospechosos de forma continua. Un modelo que supera todas las pruebas puede producir resultados no deseados cuando se aplica con datos reales, sobre todo con datos que evolucionan con el tiempo.
La gente se ha acostumbrado al sesgo, por lo que rara vez lo detecta. Un resultado totalmente diverso puede parecer sorprendente, por lo que la gente puede reforzar inadvertidamente el sesgo cuando desarrolla IA. Por ejemplo, en un mundo igualitario, muchas selecciones de miembros del comité serían todas femeninas, al igual que algunas son todas masculinas.
Del mismo modo, la mayoría de la gente espera que los sucesos raros no ocurran. Los sucesos raros son, en efecto, improbables y poco comunes, pero no imposibles, como suele esperar un cerebro diseñado para simplificar y generalizar patrones.
Con demasiada frecuencia, la gente se opone cuando ocurre algo raro y no se opone si no ocurre. Pero las empresas no se defienden contra esta ausencia y es improbable que siquiera la detecten.
Intuitivamente, la gente quiere que los sucesos raros estén igualmente espaciados por lo que las bajas frecuencias escapan a la atención, y la aleatoriedad perfecta despierta sospechas.
Los factores predictivos se basan en este statu quo, por lo que son erróneos. Los hombres tienen más probabilidades de devolver un préstamo si tienen un sueldo alto, etc.
Ninguno de estos factores tiene la misma relación predictiva para las mujeres. Pero si hay más hombres que mujeres en el conjunto de datos, serán los factores predictivos masculinos los que se utilicen en un modelo que evalúe a las mujeres.
Del mismo modo, las tasas de error o clasificación errónea siempre serán mayores en los grupos minoritarios para los que se dispone de menos datos. Las investigaciones demuestran que pocos ensayos clínicos contienen un número suficiente de miembros de grupos minoritarios para predecir los resultados de sus tratamientos.
Ese mismo sesgo se encuentra en los algoritmos de marketing, fijación de precios, decisiones crediticias, lectores de texto y sistemas de detección de fraudes. Muchas empresas han descubierto que, aunque no se perjudique directamente a las personas, subestimar a un subgrupo tiene repercusiones comerciales para la empresa.
Un minorista mundial, por ejemplo, pudo mejorar sus previsiones de demanda adaptándose a los cambios en los datos y corrigiendo el sesgo histórico. Esta mayor precisión permitió a la empresa mejorar sus cadenas de suministro y acortar el tiempo de comercialización en aproximadamente un 10% una vez que dejó de definir la precisión como la capacidad de ajustarse a datos históricos.
Si la regulación y el escrutinio de los medios de comunicación exigen a las empresas que demuestren que su IA es justa, pueden producir una medida de resultados que diga que lo es. Pero si las empresas realmente quieren que sus algoritmos funcionen de forma equitativa con una población diversa, deben compensar deliberadamente la injusticia.
Las empresas nunca podrán eliminar por completo los prejuicios. Pero pueden mejorar, ampliar, comprobar y corregir sus prácticas para obtener resultados más justos y más diversos y equitativos.
Sian Townson es socia del departamento digital de la consultora global Oliver Wyman. Es doctora en modelización matemática por Oxford.