La Inteligencia Artificial es mucho más que algoritmos, procesamiento de datos y modelos matemáticos.
Por Constanza Gómez Mont
Que un sistema de IA no produzca discriminación a través de sesgos, que los resultados sean representativos, fiables y reproducibles, que el proceso sea transparente, entendible y explicable, son consideraciones igual de importantes al diseñar y utilizar sistemas de IA. Tomar en cuenta estos aspectos sociales de los sistemas de Inteligencia Artificial genera confianza y certeza tanto a las empresas como a sus clientes. Este artículo detalla qué se entiende con transparencia y explicabilidad de los sistemas de la IA; su importancia directa para las empresas, para los actores de interés de las mismas y la sociedad; las posibles tensiones; y acciones que los/as directivos/as de empresas, que lo requieran, pueden priorizar para avanzar en la materia.
La adopción de sistemas de IA ha permeado casi todas las industrias, ya sea optimizando procesos, permitiendo cadenas de producción más eficientes y acercando nuevos servicios a los/as usuarios/as. Las soluciones a necesidades de mercado que se basan en el uso de esta tecnología están creciendo a ritmos sin precedentes, especialmente en el sector salud, financiero, y alimentario, por mencionar algunos. Inclusive, en muchos casos, los sistemas de IA están ayudando a crear nuevos mercados, transformando industrias completamente.
El potencial de impacto positivo de esta tecnología es profundo. Por mencionar algunos ejemplos:
Afinales del 2019, un grupo de investigadores australianos crearon la primera vacuna en la historia, diseñada únicamente utilizando un sistema de IA (Masige, 2019).
Google desarrolló también en el 2019 un modelo algorítmico que diagnostica cáncer de pulmón 5% más veces que los doctores y reduce en 11% los falsos positivos que hacen los doctores. (Ardila, 2019)
Si bien el potencial de esta tecnología es prometedora para generar nuevos modelos de negocio, eficiencias para empresas, y beneficiar a la sociedad en general, existen algunas consideraciones que se discuten poco en el ámbito empresarial. Las empresas que utilizan sistemas de IA para productos y servicios que tienen un alto impacto en la vida de las personas, deben considerar los posibles riesgos que impactan en temas de reputación, eficiencia, efectividad y sesgo de sus sistemas de IA; así como confianza de los usuarios, clientes y público, en general.
Estos riesgos están directamente relacionados, entre otros factores con la falta de transparencia y explicabilidad de los sistemas de IA y operaciones para, por un lado, explicar de forma sencilla y comprensible cómo un sistema de IA llega a los resultados y, por el otro lado, para los clientes y público, cómo estos resultados informan decisiones que impactan la vida de las personas.
Es necesario que los directivos de las empresas que utilizan ya sistemas de IA o pretendan hacerlo, tengan conocimiento de estos riesgos para que puedan crear estrategias para prevenirlos, mitigarlos y manejarlos de forma efectiva.
| Contestar preguntas de estrategia de negocio a nivel dirección, preguntas de clientes y empleados se vuelve cada día más fundamental |
| Por ejemplo: Un directivo debería tener la información de forma entendible para contestar: ¿mi modelo es efectivo o produce resultados con sesgo? Un personal de la empresa necesitaría contestarle de forma sencilla y no técnica a un cliente o usuario una pregunta como: ¿por qué mi prima del seguro médico es más alta? ó ¿hasta cuándo van a usar mis datos las aplicaciones de rastreo de COVID-19? Un empleado o repartidor tendría que recibir una respuesta comprensible a la pregunta: ¿cómo define el algoritmo las rutas que debo tomar y por qué me paga lo que me paga? |
¿A qué exactamente se refiere la transparencia y explicabilidad de sistemas de Inteligencia Artificial?
De forma muy general, la transparencia y explicabilidad de los sistemas de IA (de ahora en adelante t&eIA) se refiere a explicar de forma comprensible la lógica detrás de los procesos de sistemas que usan IA y las razones que justifican el uso los mismos. Esto de forma comprensible, contextual y al nivel de un alfabetismo digital adecuado. Esto no significa explicar los cálculos puntuales que realizan los algoritmos o publicar el código, pues esto no siempre es comprensible, incluso para sus desarrolladores, ni relevante para los usuarios que no cuentan con el alfabetismo técnico necesario para entenderlo. Tampoco incluye necesariamente compartir los datos que se usaron para el entrenamiento del sistema de IA, y mucho menos compartir los secretos de industria o propiedad intelectual de la organización. Lo que sí incluye es contestar de forma simple cómo funciona y para qué a los agentes relevantes dentro y fuera de la empresa. Entre otras cosas dentro del alcance de la t&eIA, es la forma para manejar las “cajas negras” (Biran & Cotton, 2017; Guidotti et al., 2018), como se le llaman comúnmente a los modelos de IA por su opacidad o complejidad para entender, sin poner en riesgo las ventajas competitivas del modelo de negocio.
| ¿Cuál es el alcance de la transparencia y explicabilidad de sistemas de IA? |
| Aunando más en el alcance de la t&eIA, si bien existen muchas diferencias en la comunidad internacional en el entendimiento del mismo, existe una tendencia a la alza por ampliar su significado más allá del algoritmo de IA, el cual es una noción estrecha del concepto (este tipo de transparencia y explicabilidad con definición estrecha es comúnmente llamado xAI en la literatura y comunidad de IA) y no suficiente para lograr robustez en la ética de IA, ni confiabilidad (AI HLEG 2019). En este sentido, hay dos niveles de t&eIA que considerar: 1. Transparencia y explicabilidad del mismo sistema de IA: busca comunicar todo el proceso, incluyendo el tipo de datos recolectados y su uso, la tecnología seleccionada, el modelo algorítmico, la efectividad (tasa de falsos positivos y negativos), el uso de los resultados del algoritmo y los procesos lógicos del algoritmo, entre otros. 2. Transparencia y explicabilidad organizacional: incluye comunicar el papel que juegan los datos personales y el sistema de IA en el modelo de negocios (por ejemplo, ¿cómo está monetizando la empresa las inferencias de los datos personales?), el nivel de autonomía e involucramiento de humanos (¿un humano es parte de la toma de decisión final?), la existencia de mecanismos de monitoreo y seguimiento, entre otros. |
El nivel de t&eIA interna (para los directivos y personal) y externa puede ser diferente y adecuada al contexto. La explicabilidad externa también es llamada compresibilidad, ya que se tiene que asegurar que es comprensible, contemplando el contexto y nivel de alfabetización digital, y más. Asimismo, los conceptos de t&eIA están relacionados con la interpretabilidad y confianza en los sistemas. (Ribeiro, Singh, & Guestrin, 2016)
¿Cuándo debe una empresa ser más transparente y explicable en cuanto sus sistemas de IA?
El grado esperado de t&eIA es mayor, dependiendo del nivel de impacto que tienen en las vidas de las personas las decisiones informadas por los sistemas de IA. (UK’s Information Commissioner’s Office, 2019)
| Bajo impacto / Alto Impacto |
| Por ejemplo, una empresa que utiliza sistemas de IA para hacer recomendaciones de música tiene un bajo impacto y menor grado de necesidad por hacer explicable cómo su modelo de IA opera. Por otro lado, empresas que ofrecen créditos o diagnósticos de enfermedades requieren de un alto nivel de t&eIA, dado su alto nivel de impacto en vidas humanas. |
¿Cuáles son los beneficios para la empresa?
Para aquellas empresas que cuentan o pretenden contar con sistemas de IA, especialmente aquellas que sus productos o servicios impactan la vida de las personas, implementar prácticas de t&e algorítmica tiene un impacto directo principalmente en:
2. Cumplir las mejores prácticas internacionales y adelantarse a posible regulación: regiones como Europa, a través del Reglamento General de Protección de Datos (GDPR, por sus siglas en inglés), ya cuentan con regulación en algunos temas de la materia y multas financieras para aquellas empresas que no cumplen con la misma. Asimismo, la t&eIA es el concepto más subrayado en los principios y guías de ética de IA producidos en los últimos años. (Jobin et al. 2019). Existe una tendencia creciente en la temática y ser proactivos en su incorporación ayuda a la organización a planear con tiempo, asegurar que las prácticas se alinean con los valores de la empresa y diferenciarse en el mercado.
3. La generación o mantenimiento de la confianza de los/as clientes/as, empleados y otros actores hacia la compañía: explicar a los actores de interés, de forma sencilla, la justificación de una decisión determinada, es uno de los factores que contribuye directamente en la confianza en la empresa. (Citron & Pasquale, 2014; Hildebrandt & Koops, 2010; Zarsky, 2013) Tal esl caso de una persona a la que se otorga una prima de seguro más alta, el cliente requerirá saber por qué y la empresa tiene que estar lista para contestar.
| ¿Sabías? |
| A nivel global, 65% de los compradores deciden si compran o no un producto de una marca, dependiendo de la comunicación y honestidad que tienen con sus clientes. (Edelman, 2018) y estos mecanismos de t&eIA aportan a ello. Una encuesta en 2018 muestra que nueve de 10 clientes dejarían de comprar en una empresa que carece de transparencia (ZDNet, 2018) y a nivel global, 70% de los consumidores están interesados en conocer los impactos y responsabilidades sociales y ambientales de una empresa. (Good Product Forum, 2019) |
4. La reputación de la empresa: la opacidad y la falta de claridad hacia adentro y afuera de la empresa, así como la falta de control de la eficiencia de los sistemas de IA, que puede llevar a sesgos indeseados y discriminación puede lastimar la reputación de la misma.
El incremento del uso de sistemas de IA por parte de todos los sectores ha llevado a un incremento de expectativas gracias a los empleados, usuarios y público por entender cómo un sistema autónomo e inteligente impacta su vida.
| Ejemplos |
| Recientemente en España, más de 200 investigadores destacados exigieron públicamente transparencia y explicabilidad del app Radar, el cual es usado para trazabilidad de COVID19. (Mendéz, 2020) En el Reino Unidos, miles de estudiantes entraron en protesta al conocer que un modelo de AI, utilizado para evaluar exámenes estaba sesgado, provocando la cancelación del sistema. (Satariano, 2020) |
Cabe recalcar que los clientes no son los únicos interesados en la t&eIA de una empresa. Los empleados y accionistas también forman parte de la demanda creciente por estas prácticas.
| Ejemplo |
| En Colombia, todos los repartidores de la empresa Rappi hicieron un paro total recientemente, protestando desconocer las decisiones del algoritmo para definir sus rutas y tarifas y exigiendo explicabilidad del mismo. (Pulzo, 2020) |
Dada la relación directa que tiene un impacto directo en la eficiencia del producto y servicio, y la confianza hacia la empresa, la t&eIA hacia los actores no sólo es una práctica de valores y responsabilidad corporativa, sino una práctica de estrategia de negocios que puede llevar a:
¿Existen tensiones?
Sí. Existen posibles tensiones entre la transparencia y la explicabilidad de sistemas de IA que hay que balancear de una forma óptima por parte de la empresa. En particular, el balance entre los principios de t&eIA y temas de innovación, procesos técnicos, seguridad y explotabilidad (demasiada transparencia podría permitir que las personas manipulen el sistema), entre otros
(C Minds, 2020). Sin embargo, existen mecanismos para lograr una t&eIA, mitigando y manejando las posibles desventajas reales y/o percibidas por la empresa.
¿Por dónde empiezo?
Esto es importante para asegurar un proceso de análisis y manejo de riesgos, desarrollo e implementación de una estrategia para todo el ciclo de vida del sistema de IA, monitoreo, evaluación y plan de comunicación, entre otros.
| ¿Sabías? |
| La gobernanza de IA más efectiva es cuando todos los niveles de empleados de la empresa forman parte de su diseño y ejecución. |
2. A nivel dirección, entender los riesgos permite estrategizar de forma proactiva mecanismos para prevenirlos, mitigarlos y manejarlos. Hacer una evaluación del impacto de los sistemas de IA de la empresa para determinar el grado de t&eIA necesaria y esperada es un primer paso. Es un campo emergente, pero ya se cuentan con ciertas herramientas para este análisis así como guías y manuales para pasar a la acción en respecto a estas practicas organizacionales.
3. Action Tanks como C Minds en México, así como otras instituciones líderes, incluyendo a la IEEE (bajo su serie P7001); el Foro Económico Mundial; el Banco Interamericano de Desarrollo (BID), bajo su iniciativa fAIr LAC (BID, 2020); el Instituto Nacional de Transparencia, Acceso a la Información y Protección de Datos Personales (INAI); así como empresas de la talla de Facebook, Google e IBM, desarrollan recursos y ejercicios valiosos (ver www.cminds.co/recursos). Para ir un paso más allá, la IEEE cuenta con una certificación para empresas en la materia.
| Innovación Regulatoria |
| Existe una necesidad para que la innovación tecnológica vaya de la mano con la innovación regulatoria. A nivel internacional, regiones como Europa y gobiernos como el de Reino Unido y Singapur han publicado un marco de t&eIA. En México, se está llevando a cabo un prototipo de políticas públicas en la materia con empresas para informar a reguladores. Este es un ejercicio pionero a nivel internacional, dirigido por un grupo de instituciones multisectoriales. (ver: www.cminds.co/prototipo-politica-ia) |
Conclusion
La ética de la IA, así como su uso basado en derechos es un campo que aún tiene mucho por recorrer. Sin embargo, el contexto actual de la aceleración digital que requiere que las empresas cuenten con tecnologías confiables y eficientes además de la creación de confianza entre aquellas que utilizan tecnologías, sustentadas en el uso de datos y sistemas de IA, es apremiante.
La t&eIA por parte de una empresa trae beneficios tanto en reputación y marca, efectividad algorítmica y confianza de los usuarios en el manejo de sus datos, y el impacto que tiene o podría tener un producto o servicio en su vida. Es importante mencionar que la t&eIA no son los únicos principios a integrar en una gobernanza de IA, ni para asegurar un uso legal, ético, justo y responsable de los sistemas de IA. Otros principios igual de relevantes incluyen la privacidad de datos personales, la seguridad, la justicia, la fiabilidad, entre otros. (OECD, 2019)
No hay duda que las tecnologías de Inteligencia Artificial son muy prometedoras, pero si no se consideran estos factores y se maneja una gobernanza de la misma al interior de las empresas que incluya la t&eIA, pudiera existir un riesgo tanto para la organización como para la sociedad. Es por esto que la incorporación de estas prácticas se vuelve relevante desde una perspectiva de estrategia de negocios, innovación, así como justicia social.
Existe una relación innegable entre las tecnologías de IA y los valores, principios, normas sociales y legales de nuestra sociedad. Entender y atender esta relación, desde todos los niveles de la empresa, ayuda a capturar el máximo potencial de beneficio de los sistemas de IA y asegura que podemos contar con un uso confiable de la misma.
Acerca de la autora
Constanza Gómez Mont es fundadora de C Minds (www.cminds.co), un action-tank, basado en México y Estados Unidos, que trabaja en la intersección de las nuevas tecnologías, la sociedad y el medio ambiente; es una de los/as 24 integrantes del Grupo de Alto Nivel que desarrolló el instrumento global de Ética de IA de la UNESCO; asesora regional de la ONU, el BID y la IEEE en temas de gobernanza de IA; cofundadora de la iniciativa AI for Climate (www.forclimate.ai)
Conoce más sobre Constanza en: www.linkedin.com/in/constanzagomezmont/
Este artículo contó con la contribución del equipo de C Minds, incluyendo a: Claudia Del Pozo, Ana Victoria Martín del Campo y Cristian Guerrero. Más información: www.cminds.co
Referencias
AI HLEG, High-Level Expert Group on Artificial Intelligence. (2019). Ethics Guidelines for Trustworthy AI. The European Commission. https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai
Ardila, D., Kiraly, A.P., Bharadwaj, S. et al. End-to-end lung cancer screening with three-dimensional deep learning on low-dose chest computed tomography. Nat Med 25, 954–961 (2019). https://doi.org/10.1038/s41591-019-0447-x
Banco Interamericano de Desarrollo (BID). (2020) fAIr LAC. https://fairlac.iadb.org/
Biran, O., & Cotton, C. (2017) Explanation and justification in machine learning: A survey. IJCAI-17 Workshop on Explainable AI. http://www.cs.columbia.edu/~orb/papers/xai_survey_paper_2017.pdf
Citron, D.K., & Pasquale, F. (2014) The scored society: due process for automated predictions. Washington Law Review, 89(1). https://digitalcommons.law.uw.edu/wlr/vol89/iss1/2
C Minds. (2020) Recursos para la ética de la IA. https://www.cminds.co/recursos
C Minds. (2020) Prototipo de Políticas Públicas. https://www.cminds.co/prototipo-politica-ia
EY. (2020) How can building trust in ai accelerate your transformation. https://www.ey.com/en_gl/ai/how-can-building-trust-in-ai-accelerate-your-transformation
Information Commissioner’s Office (ICO). Explaining decision made with AI | Part 1: The basics of explaining AI. https://ico.org.uk/media/about-the-ico/consultations/2616434/explaining-ai-decisions-part-1.pdf
Jobin, A., Ienca, M., & Vayena, E. (2019). The global landscape of AI ethics guidelines. Nature Machine Intelligence, 1(9), 389–399. https://doi.org/10.1038/s42256-019-0088-2
Masige, S. (2019) Australian researchers just released the world’s first AI-developed vaccine and it could prevent another horror flu season. Business Insider https://www.businessinsider.com.au/australian-researchers-just-released-the-worlds-first-ai-developed-vaccine-and-it-could-prevent-another-horror-flu-season-2019-7
Méndez M. (2020). 200 investigadores exigen al Gobierno transparencia total con la ‘app’ Radar Covid. https://www.elconfidencial.com/tecnologia/2020-09-05/radar-covid-dp3t-sedia-apps-rastreo-contactos_2736168/
OECD. (2019) Cuarenta y dos países adoptan los Principios de la OCDE sobre Inteligencia Artificial. https://www.oecd.org/centrodemexico/medios/cuarentaydospaisesadoptanlosprincipiosdelaocdesobreinteligenciaartificial.htm
Pulzo. (2020) 10 gotas que rebosaron vaso de ‘rappitenderos’ y que los tienen a punto de tirar la bici
Ribeiro, M. T., Singh, S., & Guestrin, C. (2016). “Why should I trust you?”: Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining, 1135–1144. https://doi.org/10.1145/2939672.2939778
Satariano, A. British Grading Debacle Shows Pitfalls of Automating Government
(2020). https://www.nytimes.com/2020/08/20/world/europe/uk-england-grading-algorithm.html