La tecnología como una fuerza para el bien: Paula Goldman de Salesforce

Paula Goldman, Salesforce

Paula Goldman es la primera directora de uso ético y humano de Salesforce. Lidera Salesforce en la creación de un marco para construir e implementar tecnología ética que optimice el beneficio social. Anteriormente, Goldman se desempeñó como vicepresidente, líder global, del Laboratorio de Soluciones de Tecnología y Sociedad en Omidyar Network, una firma de inversión de impacto social establecida por el fundador de eBay, Pierre Omidyar. Goldman también se desempeñó como líder mundial de inversión de impacto, donde creó y dirigió los esfuerzos globales de Omidyar Network para construir el movimiento de inversión de impacto a través de su cartera de inversiones, asociaciones industriales y liderazgo intelectual. Goldman obtuvo un doctorado. de la Universidad de Harvard, una maestría en asuntos públicos de Princeton y una licenciatura con los más altos honores de la Universidad de California, Berkeley.

En este episodio del podcast Me, Myself and AI , Paula se une a los presentadores Sam Ransbotham y Shervin Khodabandeh para discutir su papel específico al liderar el desarrollo ético de soluciones tecnológicas, así como el papel que juegan las empresas de tecnología en la sociedad en general.

Suscríbete a Me, Myself and AI en Apple Podcasts , Spotify o Google Podcasts .

Transcripción

Sam Ransbotham: La ética de la IA es fácil de adoptar, pero difícil de hacer. ¿Cómo pasamos de la educación y la teoría a la práctica? Descúbrelo hoy cuando hablamos con Paula Goldman, directora de uso ético y humano de Salesforce.

Bienvenido a Me, Myself, and AI , un podcast sobre inteligencia artificial en los negocios. En cada episodio, te presentamos a alguien que innova con IA. Soy Sam Ransbotham, profesor de sistemas de información en Boston College. También soy editor invitado del programa Big Ideas de IA y estrategia empresarial en MIT Sloan Management Review .

Shervin Khodabandeh: yo soy Shervin Khodabandeh, socio principal de BCG, y colaboré en la práctica de IA de BCG en América del Norte. Juntos, MIT SMR y BCG han estado investigando la inteligencia artificial durante cinco años, entrevistando a cientos de profesionales y encuestando a miles de empresas sobre lo que se necesita para construir, implementar y escalar capacidades de inteligencia artificial en toda la organización así como transformar realmente la forma en que operan las organizaciones.

Sam Ransbotham: Hoy, estamos hablando con Paula Goldman, directora de uso ético y humano de Salesforce. Paula, gracias por tomarse el tiempo de hablar con nosotros hoy. Bienvenidos.

Paula Goldman: Gracias. Estoy muy emocionado de tener esta conversación.

Shervin Khodabandeh: Hola, Paula.

Paula Goldman: Hola.

Sam Ransbotham: Nuestro podcast es Yo, yo mismo e IA . Comencemos con un poco sobre su función actual en Salesforce. Primero, ¿qué hace Salesforce y cuál es su función?

Paula Goldman: Salesforce es una gran empresa de tecnología empresarial que, si tuviera que resumir realmente lo que hacemos, sacamos muchos productos que ayudan a nuestros clientes, que tienden a ser empresas, o a veces organizaciones sin fines de lucro o todo eso, a conectarse mejor con sus clientes, sus partes interesadas, ya sea desde un proceso de ventas, servicio, marketing [perspectiva], lo que sea. Y los datos juegan un papel muy, muy importante … dándoles las herramientas para comprender a sus clientes y lo que necesitan y brindarles un mejor servicio.

Dentro de ese, mi rol, soy el director de uso ético y humano, lo cual sé que es un poco complicado. Es una posición única en su tipo para Salesforce. Trabajo con nuestros equipos de tecnología y en general en toda la organización en dos cosas. Una es que, mientras creamos tecnología, pensamos en el impacto de esa tecnología a escala mundial, intentamos evitar algunas consecuencias no deseadas y tratamos de modificar las cosas a medida que las construimos para asegurarnos de que tengan máximo impacto positivo. Luego, en segundo lugar, trabajamos en políticas que realmente se refieren al uso de nuestra tecnología y nos aseguramos de que estamos poniendo suficientes barreras de seguridad para asegurarnos de que no se abuse de nuestra tecnología mientras se usa en el mundo.

Sam Ransbotham: Cuéntenos sobre sus antecedentes. ¿Cómo terminaste en ese papel? Imagina que eres un superhéroe: ¿Cuál es tu historia de origen aquí?

Paula Goldman: Bueno, tengo la historia corta y la historia larga. La historia corta es, esencialmente, me apasiona sobremanera cómo la tecnología puede mejorar la vida de las personas, y pasé mucho tiempo pensando en el lado de “tecnología para el bien” de eso. Trabajé durante un tiempo con Pierre Omidyar, el fundador de eBay, trabajando para construir una práctica de inversión en una etapa inicial que consistía en invertir en nuevas empresas que usan tecnología para atender a poblaciones desatendidas, ya sea que eso signifique brindar servicios financieros a personas que de otro modo estarían excluidas en mercados emergentes, fuentes alternativas de energía, etc.

Habiendo hecho eso durante mucho tiempo, creo que comenzamos a ver este cambio en el papel de la tecnología en la sociedad. Durante mucho tiempo, creo que la industria de la tecnología se consideró un poco desvalida, un disruptor. Entonces, de repente, podía mirar y ver la escritura en la pared, y las empresas de tecnología no solo eran las empresas más grandes en cualquier índice financiero que quisiera nombrar, sino que también, la tecnología era tan omnipresente en todos los aspectos de todos. de nuestras vidas, y más aún por COVID. Y creo que acabamos de ver la escritura en la pared y vimos ese tipo de adagio famoso, “Con gran …” oh, voy a estropear esto: “Con gran poder viene una gran responsabilidad”.

Sam Ransbotham: Conexión perfecta con mi pregunta sobre el origen del superhéroe, porque esa es la cita de Spider-Man.

Paula Goldman: Exactamente.

Sam Ransbotham: Adelante.

Paula Goldman: Es hora de pensar en barandillas, especialmente para tecnologías emergentes como la IA, pero en general, ¿cómo pensar en “¿Qué hacen estas tecnologías a escala?” En cualquier industria que atraviesa un período de maduración, ahí es donde creo que está la tecnología. Esa es mi motivación al respecto. Como parte de ese rol, estaba liderando una práctica de ética tecnológica. Se me pidió que formara parte del consejo asesor de uso ético de Salesforce y, a través de eso, me pidieron que fuera a liderar esta práctica.

Shervin Khodabandeh: Paula, tu experiencia en general se ha centrado bastante en este tema, ¿verdad? Incluso antes de Salesforce. ¿Quieres hablar un poco de eso?

Paula Goldman: Eso es correcto. Eso es un poco a lo que me refería. Pasé mucho tiempo … Quiero decir, incluso recién salido de la universidad, pasé mucho tiempo en nuevas empresas impulsadas por misiones, a menudo muy impulsadas por la tecnología, que estaban destinadas, nuevamente, a abrir oportunidades. Por ejemplo, pasé mucho tiempo en India trabajando con una escuela privada asequible, pensando nuevamente en “¿Cómo la tecnología abre oportunidades para estos estudiantes?” Muchos años después, no les diré cuántos años después, muchos de esos estudiantes realmente están trabajando en tecnología en el país.

Esencialmente, ha sido una línea clave en mi trabajo: el papel de la tecnología y los mercados como fuerza para el bien. ¿Cómo implementamos también las medidas de seguridad adecuadas y pensamos en el poder de la confianza y la tecnología, que en última instancia es tan esencial para cualquier empresa que esté lanzando un producto en el mundo en estos días?

Shervin Khodabandeh: ¿Cómo crees que ha cambiado la naturaleza del diálogo, desde que has estado en este campo durante algún tiempo como uno de los pioneros en esta área? ¿Cómo crees que ha cambiado la naturaleza del diálogo, digamos, desde hace 10 años – barandillas y uso ético – versus ahora?

Paula Goldman:Yo diría, hace 10 años, y comencemos por dar crédito a quien corresponde. Hace diez años, ciertamente había un montón de liderazgo en la academia pensando en este tipo de preguntas, y creo que si fueras a un campus como el MIT, encontrarás muchos profesores dando clases sobre esto e investigando sobre esto. Ha sido un campo de larga data: sociedad y tecnología, ciencia y tecnología, llámelo como quiera, y muchas otras disciplinas. Pero no creo que fuera un tema tan extendido de conversación pública. Hoy en día, es difícil leer un periódico sin ver un titular sobre algún tipo de implicación tecnológica, ya sea IA o una historia de privacidad o una historia de las redes sociales o cualquier otra cosa. Ciertamente, hace 10 años era bastante raro pensar en empresas que contrataban personas con títulos como el mío.

Pienso en esa historia; De hecho, pienso mucho en la analogía con … lo que atravesó la industria de la tecnología en los años 90 con la seguridad. Allí, también, era un campo bastante inmaduro, y es posible que, como observador en ese momento, haya analizado los virus que atacan la tecnología y haya pensado: “¿Cómo podría predecir todos los riesgos y obtener un marco para salir adelante? de eso? ” Avance rápido hasta donde estamos ahora, y es una disciplina madura. La mayoría de las empresas tienen equipos en torno a esto y conjuntos de protocolos para asegurarse de que sus productos no tengan estas vulnerabilidades. Creo que estamos en las primeras etapas de una evolución similar, especialmente con la IA y la ética de la IA, donde este tipo de normas se convertirán en estándar y esta es una profesión especializada que se está desarrollando.

Sam Ransbotham: Quizás seamos un poco más específicos aquí. Hemos hablado de la necesidad de barandillas. ¿Qué tipo de cosas deben preocupar a la gente?

Paula Goldman: Si nos acercamos a la IA específicamente aquí, el impacto potencial positivo, y, de hecho, el impacto en tiempo real, de esa tecnología es inmenso. Piense en el cuidado de la salud. Uno de nuestros equipos de investigación está trabajando en IA para detectar el cáncer de mama con aprendizaje automático; se llama ReceptorNet. Esa es la punta de la lanza. Están sucediendo muchas cosas en la atención médica que pueden mejorar los resultados y salvar vidas. Tenemos un proyecto llamado SharkEye, que utiliza la visión para mirar imágenes de playas y ver si hay un tiburón allí como advertencia de seguridad. Hay muchas, muchas, muchas aplicaciones de IA como esa que tienen enormes beneficios para la humanidad.

que puede tener impactos catastróficos si se encuentra en un entorno de justicia penal. Hay muchas cosas a las que hay que prestar atención para asegurarse, en particular, de que las cuestiones de sesgo se protejan adecuadamente al desarrollar esta tecnología.

Shervin Khodabandeh: En ese punto, claramente hay un caso sólido que se debe hacer para asegurarse de que, como usted dijo, las consecuencias no deseadas se comprendan, mitiguen y manejen. Eso solo se volverá más complejo a medida que la IA se vuelva más inteligente y habrá más datos. ¿Cree que existe la posibilidad de que la IA impulse o contribuya a resultados más éticos o a una mayor equidad en determinados procesos? Quiero decir, claramente hay un caso para asegurarse de que la IA no haga algo loco. Entonces, ¿es también posible que la IA se utilice para asegurarnos de que los humanos no hagamos algo loco?

Paula Goldman: Por supuesto. Creo que esa es la otra cara de la moneda de la que tal vez no se habla tanto. Los seres humanos que toman decisiones sobre quién obtiene un préstamo o quién consigue un trabajo también están muy sujetos a sesgos. Así que creo que existe el potencial, si se hace bien, cuando la IA se usa en esas circunstancias, en combinación con el juicio humano y las barreras de seguridad adecuadas, para que las tres cosas realmente abran más oportunidades juntas.

Solo les estoy dando ejemplos de casos de uso, pero creo que probablemente eso sea generalizado. Volviendo al ejemplo de la atención médica, un médico podría estar cansado el día que esté examinando un escáner para detectar cáncer. Es por eso que a veces nos metemos en estas discusiones polarizadas de IA versus humanos. Y no es un “esto o lo otro”; es un “y”, y tiene un conjunto de barandas y responsabilidades.

Shervin Khodabandeh: Quería hacer un seguimiento de las barreras y responsabilidades. Mientras pensaba en la IA ética, ya sea para Salesforce o, en términos más generales, para cualquier organización, ¿cuánto del esfuerzo para hacer esto a escala cree que se trata de medidas de seguridad, educación y gobernanza y más visibilidad y apreciación de los riesgos potenciales? son cosas relacionadas con el proceso y las personas, ¿versus la tecnología en sí?

Paula Goldman: Por supuesto, y cuando lo piensas … parte de la respuesta a estas barreras es la tecnología en sí. ¿Cómo se crean herramientas a escala para vigilar los factores de riesgo? En realidad, esto es algo que intentamos hacer con nuestros clientes. Hemos integrado la IA en varias aplicaciones, por ejemplo. Tenemos chatbots para el servicio al cliente y tenemos IA que ayuda a los vendedores con la puntuación de oportunidades y clientes potenciales para que sepan qué prospecto buscar y puedan pasar la mayor parte de su tiempo persiguiendo a ese prospecto.

Dentro de eso, hemos construido protecciones tecnológicas y productos. Parte de esto es simplemente la forma en que construimos la tecnología en sí, pero parte de esto es en realidad hacer que la tecnología incite al ser humano y diga, por ejemplo, “Oye, estás construyendo un modelo. Ha identificado que tal vez no desee que la raza sea una variable en este modelo porque puede introducir sesgos, pero vemos que tiene un campo que es el código postal, y el código postal puede estar altamente correlacionado con la raza “.

Creo que la respuesta a tu pregunta es “sí”. Hay un elemento muy humano en esta pregunta, pero para abordarlo a escala, también es necesario automatizar la solución. Una vez más, se trata de lo que acabamos de decir: de combinar la tecnología, lo humano, el proceso, ese juicio, todo junto para resolver el problema. En Salesforce, hacemos algo llamado análisis de consecuencias, basado en una metodología desarrollada por una organización sin fines de lucro en el Reino Unido llamada Doteveryone. Lo hemos personalizado para nuestro propio bien. Estamos a punto de poner un conjunto de herramientas a su alrededor, pero trabajamos con equipos de scrum al comienzo de un proceso. Decimos … en realidad es simple al final del día: “¿Qué pretendes construir aquí? ¿Y cuáles podrían ser algunas de las consecuencias no deseadas, positivas y negativas? ” A partir de eso, generamos ideas que realmente van a la lista de trabajos pendientes de ese equipo. Así es como influye en la hoja de ruta del producto. No es infalible, seguro. No vas a predecir todo.

Shervin Khodabandeh: Pero está mejorando.

Paula Goldman: Está mejorando, como era de esperar, a medida que comienza a ver algunas de estas consecuencias a gran escala y comienza a ver este retroceso y crítica de la sociedad. Siempre es más complicado que una imagen en blanco y negro de lo simple que puede ser arreglar las cosas. No es sencillo corregir el sesgo de la IA, pero tampoco hay excusa para no prestarle atención ahora, porque es un problema muy conocido.

Shervin Khodabandeh: Paula, quiero hacerte una pregunta difícil, quizás injusta. Comentó sobre el pasado en este campo y cómo la evolución y la fuerza de la tecnología y las empresas tecnológicas han cambiado el diálogo. Y has hablado mucho del presente. ¿Cómo crees que será el futuro dentro de 10 años? ¿Cómo crees que esta conversación que estamos teniendo ahora, que hace 10 años no era un lugar común, que “Echemos un vistazo a los algoritmos; echemos un vistazo a los tratamientos injustos y los códigos postales [y] si se trata de una correlación con los niveles de pobreza o la raza ”, ¿cómo crees que será diferente el futuro?

Paula Goldman: Bueno, me está sorprendiendo en un buen día, así que soy optimista sobre esto, pero en realidad, no creo que sean cosas fáciles de escalar, no al principio, como en cualquier gran cambio en la industria. . Creo que todos los indicios apuntan a la maduración de este tipo de trabajos.

Diré, especialmente con lugares más obvios, como IA o criptografía o cosas que están en las noticias debido a las preguntas que surgen a su alrededor. … También diré que hay mucha presión regulatoria, y algo de cómo se desarrollará dependerá de muchas políticas muy complicadas. Lo ves no solo en los Estados Unidos; lo ve en Europa, [que] acaba de publicar un proyecto de ley de IA hace un par de meses, y también en otras jurisdicciones, también legislación sobre privacidad, legislación sobre redes sociales. Y esos debates están poniendo en primer plano cuál es la responsabilidad de las empresas de tecnología frente a los gobiernos y el papel que puede desempeñar la sociedad civil.

Creo que se podría desglosar cualquier propuesta en particular con pros y contras, pero el debate en sí es muy saludable, en gran parte. Tengo muchas esperanzas de eso, porque si me preguntaras: “¿Qué va a pasar con las empresas de tecnología por sí mismas?” De hecho, no creo que escale por sí solo. Es parte de un ecosistema donde las empresas juegan un papel, los grupos de la sociedad civil juegan un papel. Esa voz es muy, muy importante. Y es la combinación de todas esas cosas, que diré que en realidad me ha sorprendido en términos de cuán robusto se ha mantenido, y la conversación sigue profundizándose y ampliando.

Sam Ransbotham: Bueno, esto es genial, y basta de ti, pero concéntrate en mí por un minuto. Enseño a un grupo de estudiantes universitarios.

Shervin Khodabandeh: Hablemos de ti, Sam.

Sam Ransbotham: Doy clases a un grupo de estudiantes universitarios. Parece una forma de influir en el futuro. ¿Qué deberíamos decirle a la gente? El lunes por la mañana, tengo una clase sobre aprendizaje automático e inteligencia artificial. ¿Qué me puedes decir indirectamente que les diga? ¿De qué deberíamos estar hablando?

Paula Goldman: Bueno, ¿qué les has dicho? Soy curioso. ¿Ha subido?

Sam Ransbotham: Aparece todo el tiempo. En realidad, me siento un poco negativo, porque siempre comienzo cada clase … aunque es una clase técnica, comenzamos con lo que está sucediendo en las noticias, y me siento mal porque las noticias son, muchas veces, un ejemplo glorioso de algo que podría suceder en un laboratorio en 30 años o algo terrible que está sucediendo ahora mismo. Siento que llego al lado oscuro. ¿Qué deberíamos decirles a los estudiantes universitarios o a las personas que se dirigen a este campo?

Paula Goldman: Voy a ir un poco por la tangente y volver a tu pregunta. Creo que su comentario sobre las noticias es realmente adecuado. Se relaciona con la conversación sobre tecnología, porque es muy extrema en este momento: todas las cosas que están mal, de las que deberíamos hablar con seguridad. Luego, todas estas afirmaciones exageradas sobre lo que sucederá en 30 años, pero ignorando que hay muchos beneficios extraordinarios en este momento que también están sucediendo con la tecnología. Podría seguir y seguir sobre esto, pensando en lo que la tecnología hizo por la sociedad durante COVID: cómo ayudó a las empresas a mantenerse abiertas y a las personas a mantenerse seguras, y así sucesivamente.

Creo que hay una conversación más matizada que equilibra la necesidad real de cautela y el compromiso social. Al final del día, cuando hace esto bien, la tecnología es una fuerza extraordinaria para abrir oportunidades para las personas. Creo que el pensamiento básico sobre ese equilibrio y cómo enseñamos a las personas emergentes que de hecho pueden trabajar en tecnología es muy importante. También diré que me ha alegrado mucho durante el último año ver el florecimiento de los planes de estudio que giran en torno a la ética tecnológica, especialmente en un entorno universitario.

Recuerdo que hace unos años, cuando estaba en Omidyar Network, patrocinamos un desafío para que los educadores – profesores – incorporaran esto en un plan de estudios [de ciencias de la computación]. Vemos que eso está floreciendo por todas partes: mucha integración entre diferentes disciplinas tecnológicas. Eso es muy alentador porque entonces es parte de la conversación. El verdadero desafío que desea evitar, trabajar en una empresa, es que esto se ve como un esfuerzo en un rincón, separado del negocio real.

Sam Ransbotham: Gobernanza.

Paula Goldman: Exactamente. Quiere que los tecnólogos vean esto como parte de su trabajo. Es genial que veamos más y más formas en las que los profesores simplemente están integrando esto en el plan de estudios estándar de… nombre su disciplina tecnológica.

Sam Ransbotham: Una de las cosas que me gusta hacer en clase es dar a la gente conjuntos de datos y luego decir: “Esa columna, te dije que era X; en realidad es raza. ¿Cómo cambia eso lo que siente sobre el análisis que acaba de hacer y lo orgulloso que estaba de los resultados significativos que obtuvo al usar esa variable? ¿Importa y por qué?

Paula Goldman: ¿Funciona?

Shervin Khodabandeh: Es una gran herramienta educativa.

Sam Ransbotham: Sí, creo que funciona, porque dice: “Bueno, solo estás tratando esto como datos, pero estos datos en realidad representan algo en el mundo real que es un atributo de un ser humano real frente a un número abstracto en fila 7 y columna 3. “

Paula Goldman: Ese es otro tema enorme, y otra cosa realmente importante a establecer cuando estamos enseñando es que los datos son una persona, muy probablemente, y teniendo eso en cuenta, mientras pensamos en qué datos estamos recopilando, qué nuestro uso previsto es, si realmente necesitamos esos datos … super, super importante. Es algo en lo que también pasamos mucho tiempo pensando dentro de nuestro trabajo general de ética tecnológica en Salesforce.

Sam Ransbotham: Cuando contratas personas, ¿qué quieres que sepan? ¿Qué tipo de habilidades necesita la gente? ¿Cómo puede saber si alguien va a usar su poder con gran responsabilidad para volver a su cotización anterior?

Paula Goldman: Esta es genial. Es algo de lo que DJ Patil, quien es el ex tecnólogo jefe de los Estados Unidos … habla mucho de esto también, en el contexto de la ciencia de datos. En el proceso de contratación, cuando le pregunta a alguien … entonces, a menudo los procesos de contratación tendrán un ejercicio que le pedirán a alguien que haga. Agrega una pregunta de ética. Vea cómo lo manejan. Vea cuán coherente es la respuesta. Creo que ese tipo de pequeñas señales no solo te ayudan a evaluar qué tan sofisticado es el pensamiento de alguien sobre esas preguntas, sino que esas señales culturales [no deben] subestimarse.

También pensamos mucho en eso. ¿Cómo creamos una cultura en la que todos sientan que es su responsabilidad pensar en estas preguntas? Parte de eso se trata de darles las herramientas que necesitan para hacerlo y los incentivos que necesitan para hacerlo, que incluyen que el liderazgo se haga eco de esto en todos lados. Es como, ¿con qué frecuencia se encuentra con estas preguntas, ya sea en un proceso de entrevista o en un solo manos o en su cara a cara con su gerente? Importa mucho, lo que me recuerda por qué estoy tan emocionado de que esto esté comenzando a florecer realmente en los entornos universitarios, en la enseñanza en sí, en los planes de estudios básicos. Esas señales importan mucho.

Sam Ransbotham: Paula, todo esto es bastante fascinante. Creo que si volvemos a lo que Shervin [insinuó al] principio … cómo la tecnología puede afectar a la sociedad y puede afectar a la organización en su conjunto, no tanto sobre cómo usamos la tecnología sino [cómo] estas tecnologías nos afectan y afectan a la sociedad. Es notable que esos efectos pueden ser positivos y de creación de valor o negativos. Solo depende de cómo tomemos esas decisiones para usarlo. Gracias por tomarse el tiempo de hablar con nosotros. Realmente lo he disfrutado.

Shervin Khodabandeh: Muchas gracias. Muy perspicaz.

Paula Goldman: Fue muy divertido. Gracias por tenerme.

Sam Ransbotham: La próxima vez, hablaremos con Ranjeet Banerjee, director ejecutivo de Cold Chain Technologies. Sintonice por favor.

Allison Ryder: Gracias por escucharme, a mí mismo y a AI . Creemos, como usted, que la conversación sobre la implementación de la IA no comienza y termina con este podcast. Es por eso que hemos creado un grupo en LinkedIn, específicamente para líderes como usted. Se llama AI for Leaders y, si se une a nosotros, puede chatear con los creadores y presentadores de programas, hacer sus propias preguntas, compartir ideas y obtener acceso a recursos valiosos sobre la implementación de AI de MIT SMR y BCG. Puede acceder a él visitando mitsmr.com/AIforLeaders . Pondremos ese enlace en las notas del programa y esperamos verte allí.

Me, Myself, and AI es un podcast colaborativo de MIT Sloan Management Review y Boston Consulting Group y está alojado por Sam Ransbotham y Shervin Khodabandeh. Nuestro ingeniero es David Lishansky y los productores coordinadores son Allison Ryder y Sophie Rüdinger.