Proteger a la sociedad de los daños de la IA: Matt Mahmoudi y Damini Satija de Amnistía Internacional (II)

En Amnesty Tech, una división de la organización de derechos humanos Amnistía Internacional, Damini Satija y Matt Mahmoudi aprovechan su experiencia en tecnología y políticas públicas para examinar el uso de la IA en el sector público y su impacto en los ciudadanos de todo el mundo.

En la primera parte de la conversación de Matt y Damini con los presentadores de Me, Myself, and AI, Sam Ransbotham y Shervin Khodabandeh, describieron situaciones en las que las herramientas de IA pueden poner en peligro los derechos humanos. Además de cómo su trabajo está ayudando a exponer esos riesgos y proteger a las personas del uso indebido de la tecnología.

En este episodio, retoman su conversación y profundizan en las formas en que las normativas sobre IA pueden limitar el uso negativo de la IA a gran escala. Matt y Damini también nos advierten sobre lo que podría deparar un futuro distópico. Por último, señalan formas concretas en que los líderes del mundo empresarial pueden ayudar a limitar los daños de la IA.

Suscríbete a Me, Myself, and AI en Apple Podcasts, Spotify o Google Podcasts.

Proteger a la sociedad de los daños de la IA: Matt Mahmoudi y Damini Satija de Amnistía Internacional (I)

Trascripción

Sam Ransbotham: ¿Qué pueden aprender las empresas de una organización activista que trabaja para proteger a las personas de los daños de la IA? Descúbrelo en el episodio de hoy.

Damini Satija: Soy Damini Satija …

Matt Mahmoudi: … y yo soy Matt Mahmoudi de Amnistía Internacional …

Damini Satija: … y estás escuchando Me, Myself, and AI.

Sam Ransbotham: Bienvenido a Me, Myself, and AI, un podcast sobre Inteligencia Artificial (IA) en los negocios. En cada episodio les presentamos a alguien que está innovando con IA. Soy Sam Ransbotham, profesor de analítica en el Boston College. También soy editor invitado de IA y estrategia empresarial en MIT Sloan Management Review.

Shervin Khodabandeh: Y yo soy Shervin Khodabandeh, socio sénior de BCG y uno de los líderes de nuestro negocio de IA. Juntos, MIT SMR y BCG han estado investigando y publicando sobre IA desde 2017, entrevistando a cientos de profesionales sobre lo que se necesita para construir y escalar las capacidades de IA y transformar la forma en que operan las organizaciones.

¿Qué les espera a la regulación de la IA? El punto de vista de Amnistía Internacional

Sam Ransbotham: Bienvenidos de nuevo a todos. En nuestro último episodio, Damini y Matt hablaron un poco sobre lo que su organización, Amnesty Tech, hace para combatir los usos problemáticos de la IA. Hoy retomamos ese debate y compartimos más detalles sobre cómo puedes ser más consciente de los peligros de la IA y cómo puedes ayudar.

Damini, vamos a continuar donde lo dejamos en el último episodio. Para nuestros oyentes, les recomendamos que vuelvan primero y escuchen nuestro último episodio. Esto para obtener un poco más de contexto sobre Amnesty Tech y el trabajo que Matt y Damini están haciendo.

Damini, tú y Matt estaban empezando a hablar sobre las regulaciones de la IA y cómo pueden ayudarnos a abordar problemas tecnológicos desafiantes. Sigamos a partir de ahí. ¿Puedes hablarnos de su punto de vista sobre la regulación de la IA?

La regulación de la IA es una parte fundamental para el desarrollo humano

Damini Satija: La regulación es una parte fundamental del conjunto de herramientas. Estamos trabajando muy duro en la Ley de Inteligencia Artificial de la Unión Europea, que ahora mismo es uno de los marcos más completos que existen para regular la IA.

Creo que lo realmente importante en materia de regulación son marcos reguladores que se centren en los resultados que queremos prevenir o incluso promover. Con esto quiero decir que gran parte de la regulación que estamos viendo, incluso la Ley de IA, está vinculada a una especie de ciclos de bombo y platillo de la tecnología.

La forma en que hemos visto esto claramente con la Ley de IA es que en las últimas semanas y meses, a medida que la conversación se ha intensificado en torno a la IA generativa, hemos visto a los responsables políticos no saber cómo absorber la IA generativa en el marco.

Creo que no tenemos un marco regulador muy sólido si no puede absorber un nuevo desarrollo tecnológico. Y ese no era el objetivo. Al principio se trabajó mucho con la Ley de Inteligencia Artificial, diciendo que queríamos preparar esta normativa para el futuro.

Será un instrumento preparado para imponer las restricciones y protecciones que necesitemos a medida que se desarrolle la tecnología. Pero ahora mismo parece que no lo está haciendo.

Exageración tecnológica y la regulación que hay detrás de la IA

Damini Satija: Creo que eso se debe a que el propio intento de regulación está tan ligado al ciclo de la exageración tecnológica, como he dicho. Lo que necesitamos es centrarnos más en los resultados que queremos prevenir, y muchos de esos resultados están integrados en la forma en que pensamos sobre los derechos humanos.

Hay ciertos resultados a los que sabemos que tenemos que llegar para proteger los derechos humanos, independientemente de la tecnología de la que estemos hablando. Eso es lo que yo añadiría en materia de reglamentación y lo que creo que falta ahora mismo.

También añadiría a la urgencia de esto, dado el rápido ritmo del desarrollo tecnológico, la algorítmica y la IA y la tecnología en general que es usada en el sector público en estos entornos restringidos. Se les ha llamado “máquinas de austeridad” por esa razón.

Y dada la situación actual del mundo en las últimas fases de la pandemia y la economía mundial, que experimenta múltiples sacudidas, podemos anticipar que estas máquinas de austeridad podrían llegar a ser aún más comunes.

Y por eso esto se aplica a la IA en general, pero sólo pensando en el área en la que mi equipo trabaja muy específicamente en el contexto del bienestar y la protección social. Esa urgencia se siente muy grave en este momento.

La tecnología también puedes ser punitiva

Damini Satija: Y en segundo lugar, estas herramientas de eficiencia suelen estar diseñadas para detectar o eliminar a los solicitantes fraudulentos de prestaciones sociales y servicios públicos. Por lo que también son herramientas punitivas en nombre de la eficiencia.

Ahí es donde se produce el impacto desproporcionado sobre los grupos de bajos ingresos, las comunidades de color, etc. Así que toda esta narrativa conduce a resultados realmente perjudiciales. Vemos que esa narrativa no hace más que acelerarse, dado el contexto en el que nos encontramos. Así que la necesidad y la urgencia de esa regulación son muy fuertes en este momento.

La mentalidad del innovador: Crear un mañana mejor con IA

Los niveles en los que se deberá de diseñar y aplicar la norma

Sam Ransbotham: Creo que es muy interesante. Trabajé para la Agencia Internacional de la Energía Atómica en Viena, que es una organización reguladora nuclear. Se pueden señalar muchas dificultades con ese modelo, pero no hemos tenido explosiones nucleares desde 1945, o, ya sabes, no hemos tenido guerras nucleares.

Pero Matt, también mencionaste la regulación local. Y esta era una idea, pero parece que esto va a tener que ser algo a nivel global frente a ese nivel local.

O, ¿dónde cree que tendrá lugar el nivel de esta regulación? En el caso de la energía nuclear, parece que fue necesario hacerlo a escala mundial. Entonces, ¿a qué nivel debería estar esta regulación?

Matt Mahmoudi: Es decir, no hay ningún argumento en contra para decir que no debería haber una legislación mundial al respecto. O que no debería haber acuerdos que impongan obligaciones vinculantes a los Estados que usen la IA, no sólo en asuntos civiles, sino también en la guerra.

Sin embargo, creo que los efectos más progresistas e inmediatos que hemos visto en materia de regulación han sido a nivel local. Porque los ciudadanos son muy buenos activando a sus legisladores locales para que tomen medidas decisivas, por ejemplo, en el ayuntamiento.

Estamos viendo movimientos en el Ayuntamiento de Nueva York, mientras hablamos, para prohibir el uso del reconocimiento facial en viviendas residenciales.

Contextos tras el diseño de leyes que regulen el uso de la IA propuestos por Amnistía Internacional

Matt Mahmoudi: También hemos visto movimientos que se introducirán más adelante y de los que hablaremos en el contexto de la aplicación de la ley.

Hemos visto, en el contexto de Portland, Oregon, la legislación que se está poniendo en marcha. En un momento que era tan crítico, especialmente en la antesala del movimiento Black Lives Matter, con el asesinato de George Floyd.

En ese momento los tipos de impactos raciales y racializantes de estas tecnologías se estaban volviendo aún más claros, que al permitir el despliegue del reconocimiento facial, no sólo se está permitiendo el uso de una herramienta experimental, sino que también está permitiendo que el tipo de racismo institucionalizado se ponga en esteroides.

Y, por supuesto, muchos de los reclamos que los manifestantes estaban haciendo durante este momento eran contra el abuso policial. Así que no se puede tener un desafío a la policía y luego también el reconocimiento facial. Así que todo esto es para decir que el nivel local impulsará gran parte de la demanda, incluso a nivel mundial, para la regulación.

No hay una historia que demuestre que la IA puede autorregularse

Matt Mahmoudi: Actualmente no hay ninguna historia que nos hagan decir que la IA se puede regular por sí misma. Eso es lo que va a galvanizar los tipos de regulación que podríamos querer ver a ese nivel. Y el tipo de “efecto UE” podría ser algo a tener en cuenta. Las formas en que la regulación y los modelos reguladores saltan de un espacio a otro.

También diré que ha habido procesos en la ONU que hablan específicamente del uso de sistemas de armas autónomas. Hasta ahora ha sido un proceso largo pero que sí trata de abordar las cuestiones de la IA en el contexto de la guerra.

Dibujando un mundo en el que la IA es omnipotente, el reto de Amnistía Internacional

Shervin Khodabandeh: La mayoría de nuestros podcasts hasta la fecha se han centrado en cómo estas herramientas podrían ayudar a crear mejoras drásticas en la eficiencia y la eficacia. Hay otro aspecto, que Damini y Matt han destacado con tanta elocuencia: el desequilibrio de poder entre el uso y los resultados. Y creo que es una dialéctica importante que tiene que producirse con el tiempo.

Así que por mucho que me gustaría insistir más en “¿Puede la tecnología ser al menos parte de la solución?“. creo plenamente que la tecnología es parte de la solución, creo que la naturaleza existencial de la cuestión es tal, que es necesario mantener este diálogo.

Matt, has hablado del reconocimiento de imágenes, ¿verdad? Si nos fijamos en la mejora del reconocimiento de imágenes a lo largo del tiempo, ha mejorado exponencialmente.

Hasta la fecha, sigue creando problemas cuando se utiliza a una escala tan amplia, ¿verdad? Obviamente, si se tiene más cerca, puede que no. Pero imaginemos un mundo en el que la instrumentación y los algoritmos estén tan avanzados que superen a un ser humano.

Supongo que en ese mundo te parecería bien que se utilizara… ¿o no? ¿Cuál sería tu opinión si algunas de estas herramientas ya no cometieran errores? Y ahora sólo tienes la situación del mal actor, pero la herramienta en sí no comete errores. ¿Cambiaría eso su postura?

Regular el fenómeno de la IA: David Hardoon de Aboitiz Data Innovation

Una IA con súper poderes es igual a un mundo donde impera el racismo: Amnistía Internacional

Matt Mahmoudi: Eso es aterrador. Y para mí es aterrador porque…

Shervin Khodabandeh: Es aterrador.

Matt Mahmoudi: ¡Lo es! Crea las condiciones en las que las instituciones, que son imperfectas y representan distintas posiciones en un espectro ético. De repente tienen el poder de hacer cosas a gran escala, con gran precisión.

Ya no se trata de que la policía de Nueva York pueda encontrar a quien quiera utilizando el reconocimiento facial que se le proporcionó como prueba. Es que pueden ir y apuntar a alguien específicamente. Y son capaces de hacerlo a gran escala, ya no con el tipo de falsos positivos.

Y hay datos sobre esto, ¿verdad? Hay datos que apoyan que los incidentes de parar y cachear se dirigen a más del 90 por ciento de personas negras y morenas. Eso no se debe a que los barrios negros y marrones estén predominantemente llenos de delincuencia. Se debe a que es allí donde se produce la persecución y, por lo tanto, hay una mayor visibilidad.

Y da la casualidad de que la mayoría de los incidentes de “parar y cachear” no conducen a una detención. Así que, de nuevo, esto demuestra que no hay ningún tipo de credibilidad a la idea de que estas comunidades son criminales.

Un mundo donde solo hay un poder, una pesadilla que Amnistía Internacional no puede permitir

Matt Mahmoudi: Imaginemos entonces un futuro en el que la policía esté facultada para hacer exactamente eso, es decir, un “stop and frisk” digital. Todo el mundo es virtualmente puesto en fila, sin su conocimiento y consentimiento. Simplemente porque así es como funciona esta institución. Y ahora se le da rienda suelta para hacerlo a una escala que no ha podido hacer antes. Eso me aterra. No podemos permitirlo.

Creo que es un escenario muy real que tenemos que considerar, y que tiene profundas implicaciones para los derechos de la Primera Enmienda de los estadounidenses. Y eso se hace más difícil.

Entonces, ¿qué hacemos cuando nos enfrentamos a un Estado que ha caído en desgracia con su población, pero que ha sido equipado con estas asombrosas tecnologías del horror?

¿Cómo se puede desafiar a ese gobierno si no existen protecciones que garanticen que esas tecnologías no les fueron entregadas en primer lugar? Esa es la razón por la que considero que se trata de un escenario aterrador.

Shervin Khodabandeh: Sí, creo que tienes razón. Creo que tiene razón. Y por eso creo que ha sido muy útil, porque no se puede desvincular la tecnología del usuario, del desequilibrio de poder y de la posibilidad fundamental de corrupción en determinadas situaciones.

La IA dentro de las empresas también debería ser vigilada

Sam Ransbotham: Ha mencionado el Estado y las entidades gubernamentales. Ni siquiera has mencionado el mundo corporativo, donde mucho de esto está ocurriendo en una hegemonía muy concentrada de poder.

Creo que tenemos eso en esteroides con la falta de supervisión o capacidad de controlar lo que sucede dentro de la oscuridad de una corporación. Y eso es cierto incluso con personas bien intencionadas. Eso no es atribuir malicia necesaria. Es sólo atribuir interés propio.

Y cuando pienso en el desequilibrio de poder, como personas individuales tenemos muy poco con cualquiera de estos otros colectivos. Hay exactamente cero de estos algoritmos de inteligencia artificial, los motores de recomendación, que se preocupan por lo que quiero ver.

Les importa lo que la corporación o el anunciante o quien sea. Su función objetivo no es fundamentalmente mi función objetivo. Ahora, a menudo es lo suficientemente similar como para que esté bien. Pero intrínsecamente, su función objetiva no es necesariamente mi función objetiva, y ahí es donde el desequilibrio de poder parece realmente difícil.

Amnistía Internacional: ¿El futuro será aterrador? La IA podría generar maldad

Shervin Khodabandeh: Damini, también voy a preguntarte, dentro de 10 años, ¿cómo ves el futuro aquí? ¿Qué sería bueno? ¿Qué sería aterrador? Matt describió un futuro muy aterrador.

Damini Satija: Sí, yo esperaría un futuro no terrorífico. Creo que la cuestión, para mí, se remonta a esta cuestión de poder. Y todos lo hemos mencionado ahora, y los desequilibrios de poder en las trayectorias tecnológicas actuales que vemos.

Sí, el poder corporativo y el poder del gobierno. Mismas que no están desconectadas tampoco, ¿verdad? Como, ¿de dónde sacan los gobiernos estas tecnologías?. El gobierno crea la demanda de estas tecnologías, las empresas las solucionan… Todo está conectado, y todo forma parte del sistema de ¿dónde está el poder?

De principio a fin, ¿quién invierte en qué tecnología? ¿Cómo se desarrolla esa tecnología? ¿Quién decide dónde se despliega, dónde se vende, quién la compra?

Aprendizaje continuo con IA: Shelia Anderson de Aflac

Un buen futuro sería aquel en el que la tecnología sirva para ayudar a las personas a salir de posiciones de marginación: Amnistía Internacional

Damini Satija: Si intento imaginarme el futuro dentro de 10 años, que no es el futuro aterrador del que tú y Matt han hablado, es todo lo contrario. Es uno en el que somos capaces de desmantelar algunas de esas estructuras de poder que impulsan la trayectoria actual del desarrollo tecnológico.

Es donde somos capaces de dar poder a aquellos que normalmente no han tenido voz en qué tecnologías se desarrollan y cómo se utilizan en su beneficio.

Porque creo, como decía antes, que hay formas de utilizar estas tecnologías y desarrollarlas para sacar a la gente de posiciones de desventaja sistémica. Pero tenemos que aportar ideas sobre cómo hacerlo. Y ahora mismo no hay forma de que esas visiones existan.

No hay tiempo para que los que trabajamos en el impacto de la tecnología sobre los derechos humanos expongamos esas visiones.

Ver los riesgos de la IA, también es resulta bueno para la humanidad

Damini Satija: Así que no tengo un futuro concreto que darles o esbozarles, sino más bien una forma en la que me gustaría avanzar hacia la definición de cómo es ese futuro.

Creo que para ello es muy importante que no adoptemos siempre la posición de “¿Cuáles son los beneficios y cuáles los riesgos de cada tecnología?“. Es mejor que nos obliguemos a evaluar cada nuevo desarrollo tecnológico que veamos desde un lugar de equilibrio. Porque hemos estado haciendo eso hasta ahora, y nos ha llevado a un punto en el que tenemos estas corporaciones con un enorme poder hegemónico.

Las redes sociales son un buen ejemplo de esto. Creo que durante años nos hemos forzado a decir:

“Sí, están ocurriendo todas estas cosas malas, o que podemos prever que ocurran, pero también piensa en todos estos beneficios que los medios sociales han traído a la sociedad”.

Sí, pero hay una razón por la que tenemos que centrarnos en esos daños. Hay una razón por la que tenemos que arrojar más luz sobre esos riesgos. Porque si no lo hacemos, no estamos viendo dónde tenemos que cambiar la forma en que la tecnología se está desarrollando.

Amnistía Internacional: ¿Qué hacer para reflexionar sobre el papel de la IA en la repartición de poder hegemónica?

Sam Ransbotham: La mayoría de nuestros oyentes son trabajadores corporativos o gubernamentales. Digamos que ahora mismo están de acuerdo con lo que dices. ¿Qué deberían hacer? ¿En qué deberían pensar? ¿Qué debería hacer cada persona en este momento?

Damini Satija: Dondequiera que trabajes, creo que tienes una responsabilidad, especialmente si estás creando nuevas tecnologías, estás contribuyendo al desarrollo de la tecnología.

Matt y yo trabajamos en algunos contextos muy específicos de los que hemos hablado hoy, pero como también hemos mencionado en esta convocatoria. Hay muchos ámbitos en los que se utiliza la tecnología en los que no trabajamos: educación, sanidad, otros.

Estas cuestiones afectan a todos esos ámbitos. Así que me gustaría decir, piensa en tu posición, el poder que tienes, la responsabilidad que tienes de plantear estas cuestiones internamente, sea cual sea la organización o empresa en la que estés.

Creo que a veces la gente olvida el poder que se puede tener para sacar estos temas a la luz a puerta cerrada. Sabes, parte de nuestro trabajo es muy público, pero muchas de estas conversaciones y decisiones realmente importantes se toman a puerta cerrada.

Despedida

Sam Ransbotham: Matt, Damini, esta ha sido una gran y diferente discusión para nosotros. Parece especialmente importante a medida que empiezan a proliferar las herramientas de consumo de IA.

Aunque a menudo nos centramos en las formas positivas en que las organizaciones pueden utilizar la IA, estos no son las únicas formas en que podemos utilizarla.

Pero lo bueno es que tenemos una considerable capacidad humana para decidir cómo utilizamos estas herramientas. Gracias por dedicarnos su tiempo.

Damini Satija: Gracias por invitarnos.

Anuncio sobre el final de temporada

Sam Ransbotham: Este es el final de la Temporada 7 de Yo, Yo Mismo y la IA. Estamos impresionados por la popularidad de este programa y apreciamos mucho a todos nuestros oyentes.

No duden en seguir haciéndonos sugerencias mientras seguimos creciendo. Volveremos este otoño con más episodios nuevos. Mientras tanto, considere la posibilidad de unirse a nuestra comunidad de LinkedIn y valore y reseñe nuestro programa.

Recomiénden también a amigos o colegas que puedan beneficiarse de estas conversaciones. Te agradecemos su apoyo y volveremos a hablar con usted pronto.

Allison Ryder: Gracias por escuchar Me, Myself, and AI. Creemos, como tú, que la conversación sobre la implementación de la IA no empieza y termina con este podcast.

Por eso hemos creado un grupo en LinkedIn específicamente para oyentes como tú. Se llama AI for Leaders, y si te unes, podrás charlar con los creadores y presentadores del programa. Puedes acceder visitando mitsmr.com/AIforLeaders.

SOBRE LOS ANFITRIONES

Sam Ransbotham (@ransbotham) es profesor del departamento de sistemas de información de la Carroll School of Management del Boston College. Shervin Khodabandeh es socio sénior y director gerente de BCG y colíder de BCG GAMMA en Norteamérica. Puedes contactarlo en shervin@bcg.com.

Me, Myself, and AI es un podcast en colaboración de MIT Sloan Management Review y Boston Consulting Group, presentado por Sam Ransbotham y Shervin Khodabandeh. Nuestro ingeniero es David Lishansky, y las productoras coordinadoras son Allison Ryder y Sophie Rüdinger.

Síguenos en Google News