¿Los LLM realmente cambiarán la forma en que se realiza el trabajo?
La tecnología está cambiando la forma en la que el mundo trabaja. (Eyal Shtark/Adobe Stock)
Incluso a medida que las organizaciones adopten LLM cada vez más potentes, les resultará difícil deshacerse de su dependencia de los humanos.
Los modelos de lenguaje de gran tamaño (LLM) son una innovación que cambia paradigmas en la ciencia de datos. Amplían las capacidades de los modelos de aprendizaje automático para generar texto e imágenes relevantes en respuesta a una amplia gama de indicaciones cualitativas.
Si bien estas herramientas son costosas y difíciles de construir, una multitud de usuarios pueden usarlas de manera rápida y económica. Las utilizan para realizar algunas de las tareas basadas en el lenguaje que antes solo podían hacer los humanos.
Esto plantea la posibilidad de que muchos trabajos humanos puedan ser reemplazados o significativamente socavados por la adopción generalizada de esta tecnología. Pero en realidad, los LLM son mucho más complicados de usar de manera efectiva en un contexto organizacional de lo que generalmente se reconoce.
Las limitaciones de trabajo de la IA, ChatGPT y otros grandes modelos lingüísticos (LLM)
LLM en las organizaciones
La mayoría de las áreas de uso potenciales de los LLM se centran en la manipulación de información existente, gran parte de ella específica de una organización individual.
Esto incluye resumir contenido y producir informes y extraer información de documentos, como archivos PDF que contienen información financiera, y crear tablas a partir de ellos.1 Otros usos populares y efectivos de los LLM incluyen la creación de imágenes con herramientas como Dall-E 2 o la generación de datos sintéticos para aplicaciones cuando los datos reales son difíciles de obtener. Por ejemplo, los datos para entrenar herramientas de reconocimiento de voz como Alexa de Amazon.2
La mayoría de las organizaciones que utilizan LLM todavía están en la fase de exploración. Las interacciones con los clientes, la gestión del conocimiento y la ingeniería de software son tres áreas de amplios experimentos organizacionales con IA generativa.
Por ejemplo, Audi contrató a un proveedor para construir e implementar un chatbot personalizado basado en LLM que respondería las preguntas de los colaboradores.
El chatbot recupera información relevante de una variedad de bases de datos patentadas en tiempo real y se supone que evita responder preguntas si los datos disponibles son insuficientes. La empresa utilizó herramientas de ingeniería rápida desarrolladas por Amazon Web Services para la recuperación de generación aumentada (RAG).3
Desafíos en la integración de los LLM en las organizaciones
En esta sección, nos centramos en cinco desafíos clave que probablemente surjan al integrar LLM en la organización.
1. El problema de la captura de conocimientos
Las organizaciones producen enormes volúmenes de información escrita y de propiedad exclusiva que no pueden procesar fácilmente por sí mismas. Un LLM capacitado en este tipo de datos puede generar información a la que la organización probablemente no tenía acceso antes.
Las organizaciones que aprovechan al máximo los LLM los utilizan para generar resultados que se relacionen específicamente con sus necesidades. Por ejemplo, “¿Cuáles son los intereses probables de los consumidores en China?” es una pregunta menos pertinente para una empresa que “¿Cómo deberíamos adaptar nuestros productos para los consumidores en China?”.
Para responder de manera útil a esta última, el LLM necesita tener acceso a los datos exclusivos de la organización. La calidad de la respuesta depende de la calidad y la relevancia de los datos con los que se ha formado al a la tecnología.
En un estudio, solo alrededor del 11 por ciento de los científicos de datos informaron que habían podido ajustar sus LLM con los datos necesarios. Esto para producir respuestas buenas y apropiadas específicas para su organización.4
Dado que la personalización de los LLM requiere grandes cantidades de datos de alta calidad, las empresas deben organizar y estandarizar el conocimiento explícito. El principal inconveniente hasta ahora ha sido que se requiere tiempo adicional para depurar y comprender el código que ha generado el LLM.5
2. El problema de la verificación de los resultados
Los resultados de las tareas de programación de LLM se pueden probar para comprobar su corrección y utilidad antes de implementarlos y utilizarlos en situaciones con consecuencias reales. Sin embargo, la mayoría de las tareas no son así.
Las recomendaciones estratégicas o las ideas de marketing, por ejemplo, no son resultados que se puedan probar o verificar fácilmente. Para este tipo de tareas, el resultado simplemente tiene que ser “suficientemente bueno” en lugar de perfectamente correcto para ser útil.
Hasta el momento, la evidencia sobre si los usuarios se tomarán en serio la tarea de verificar los resultados no es alentadora. En un experimento, se les dio a los trabajadores administrativos la opción de usar un LLM para una tarea de escritura. Aquellos que eligieron usar la herramienta podían optar por editar el texto o entregarlo sin editar. La mayoría de los participantes eligió esta última opción.6
A diferencia de un LLM, un empleado humano es responsable de sus resultados, y un historial de precisión o buen criterio puede permitir a su empleador evaluar sus resultados futuros.
Un humano también puede explicar cómo llegó a ciertas conclusiones o tomó ciertas decisiones. Este no es el caso de la tecnología. Cada indicación envía una pregunta por un camino complejo a través de su corpus de conocimiento para producir una respuesta que es única e inexplicable.
Además, los LLM pueden “olvidar” cómo hacer tareas que antes hacían bien, lo que dificulta proporcionar una garantía de servicio para estos modelos.7
5 actividades que puedes hacer con IA que te ayudarán a relajarte y a pasar un buen rato
3. El problema de la adjudicación de resultados
Los LLM se destacan por resumir grandes volúmenes de texto. Esto podría ayudar a incorporar datos valiosos para la toma de decisiones y permitir a los gerentes verificar el estado de conocimiento sobre un tema en particular.
Sin embargo, eso no significa que las respuestas de los LLM sean más confiables o menos sesgadas que las decisiones humanas: se puede incitar a los modelos a sacar conclusiones diferentes en función de los mismos datos.8
El hecho de que la tarea de adjudicar los resultados de los estudios de maestría se añada a los puestos de trabajo existentes dependerá de lo fácil que sea aprenderla. La idea optimista de que los colaboradores de niveles inferiores tendrán más poder gracias al acceso a los estudios de maestría para asumir más tareas de los empleados de niveles superiores requiere suposiciones particularmente heroicas.
La opinión de larga data sobre las jerarquías laborales es que los titulares necesitan habilidades y criterio que se adquieren con la práctica. El desafío ha sido durante mucho tiempo lograr que los gerentes empoderen a los colaboradores. Esa renuencia ha tenido mucho más que ver con la falta de confianza que con la falta de conocimiento o capacidad de los empleados.9
4. El problema de costo-beneficio
Los beneficios de utilizar los resultados de los LLM dentro de una organización pueden ser impredecibles. Por ejemplo, los LLM son excelentes para redactar correspondencia simple, que a menudo solo necesita ser lo suficientemente buena.
Un estudio de representantes de servicio al cliente descubrió que la adición de una combinación de LLM y algoritmos de aprendizaje automático mejoró la resolución de problemas en un 14 por ciento.10
Si eso es mucho o poco para un trabajo que a menudo se describe como especialmente adecuado para el resultado de LLM, y si el resultado vale el costo de implementación, son preguntas abiertas.
Un experimento preinscrito con 758 consultores de Boston Consulting Group mostró que GPT-4 aumentó drásticamente la productividad de los consultores. Pero la redujo significativamente en otras.11
5. El problema de la transformación del empleo
¿Cómo trabajarán los LLM con los trabajadores? Predecir la respuesta no es nada sencillo. En primer lugar, dado que los empleados suelen estar involucrados en múltiples tareas y responsabilidades que son dinámicas por naturaleza.
Vale la pena recordar el efecto de la introducción de los cajeros automáticos. Aunque las máquinas podían realizar muchas de las tareas que realizaban los cajeros bancarios, no redujeron significativamente el número de trabajadores humanos.12
Pero incluso en esos casos, hay serias advertencias. Las proyecciones de enormes pérdidas de empleos en los programas de maestría en derecho se basan en el supuesto tácito de que las tareas pueden simplemente redistribuirse entre los trabajadores.13
Los contratistas individuales también corren riesgo. Puede ser cierto que un contratista puede hacer más con un LLM que sin él. Pero eso es igualmente cierto para un empleado.
Si hay menos trabajo para todos, la empresa probablemente reducirá el número de contratistas antes de despedir a los colaboradores, porque es más fácil.14 La evidencia inicial indica que el volumen de trabajo estandarizado por encargo que pueden realizar los contratistas ha disminuido desproporcionadamente con la introducción de los LLM.15
Recomendaciones para directivos
La historia de las innovaciones relacionadas con las TI sugiere que sus impactos varían considerablemente según el trabajo. El hecho de que las herramientas LLM sean cada vez más fáciles de usar y que se estén incorporando a productos de software ampliamente adoptados.
Sin embargo, nuestras conversaciones sugieren que la mayoría de las organizaciones simplemente están experimentando con las LLM en pequeñas formas.
La historia de la tecnología ha demostrado que, a largo plazo, las nuevas tecnologías crean más empleos de los que eliminan. Los pronósticos sobre pérdidas masivas de empleos a causa de las innovaciones en TI, y en particular la IA, no se han materializado.
Esperamos que el uso de los LLM sea generalizado, pero las pérdidas de empleo serán relativamente pequeñas, incluso en los lugares donde se utilizan ampliamente.
SOBRE LOS AUTORES
Peter Cappelli es profesor de Gestión George W. Taylor; Prasanna (Sonny) Tambe es profesor asociado de Operaciones, Información y Decisiones; y Valery Yakubovich es director ejecutivo del Instituto Mack de Gestión de la Innovación, todos en la Escuela Wharton de la Universidad de Pensilvania.
REFERENCIAS (1-7)
1. “Más allá del rumor: una mirada a los grandes modelos lingüísticos en producción”, PDF (San Francisco: Predibase, 2023), https://go.predibase.com.
2. A. Rosenbaum, S. Soltan y W. Hamza, “ Uso de modelos de lenguaje grandes (LLM) para sintetizar datos de entrenamiento ”, Amazon Science, 20 de enero de 2023, www.amazon.science.
3. “ Storm Reply lanza un chatbot de inteligencia artificial basado en RAG para Audi, revolucionando la documentación interna ”, Business Wire, 21 de diciembre de 2023, www.businesswire.com.
4. “Más allá del rumor”.
5. P. Vaithilingam, T. Zhang y EL Glassman, “ Expectativa vs. Experiencia: evaluación de la usabilidad de herramientas de generación de código impulsadas por modelos de lenguaje grandes ”, en “CHI EA ’22: Resúmenes ampliados de la Conferencia CHI 2022 sobre factores humanos en sistemas informáticos”, ed. S. Barbosa, C. Lampe, C. Appert, et al. (Nueva York: Association for Computing Machinery, abril de 2022), 1-7.
6. S. Noy y W. Zhang, “ Evidencia experimental sobre los efectos de la productividad de la inteligencia artificial generativa ”, Science 381, núm. 6654 (13 de julio de 2023): 187-192.
7. L. Chen, M. Zaharia y J. Zou, “ ¿ Cómo está cambiando el comportamiento de ChatGPT con el tiempo? ” arXiv, revisado el 21 de octubre de 2023, https://arxiv.org.
REFERENCIAS (8-15)
8. S. Ouyang, JM Zhang, M. Harman, et al., “ LLM es como una caja de bombones: el no determinismo de ChatGPT en la generación de código ”, arXiv, enviado el 5 de agosto de 2023, https://arxiv.org.
9. P. Cappelli, “ Detengan la sobreingeniería en la gestión de personas ”, Harvard Business Review 98, núm. 5 (septiembre-octubre de 2020): 56-63.
10. E. Brynjolfsson, D. Li y LR Raymond, “ Generative AI at Work ”, documento de trabajo 31161, National Bureau of Economic Research, Cambridge, Massachusetts, abril de 2023. No podemos determinar en qué medida la mejora se debió al LLM en sí porque se combinó con un algoritmo, que es una herramienta diferente.
11. F. Dell’Acqua, E. McFowland III, E. Mollick, et al., “ Navegando la frontera tecnológica irregular: evidencia experimental de campo sobre los efectos de la IA en la productividad y la calidad de los trabajadores del conocimiento ”, documento de trabajo 24-013, Harvard Business School, Boston, septiembre de 2023.
12. CB Leon, “ Ganadores y perdedores ocupacionales: quiénes fueron durante 1972-80 ”, Monthly Labor Review 105, no. 6 (junio de 1982): 18-28.
13. M. Cerullo, “ Here’s How Many US Workers ChatGPT Says It Could Replace ”, CBS News, 5 de abril de 2023, www.cbsnews.com; y L. Nedelkoska y G. Quintini, “ Automation, Skills Use, and Training ”, documento de trabajo 202, Organización para la Cooperación y el Desarrollo Económicos, París, marzo de 2018.
14. X. Hui, O. Reshef y L. Zhou, “ Los efectos a corto plazo de la inteligencia artificial generativa en el empleo: evidencia de un mercado laboral en línea ”, SSRN, 1 de agosto de 2023, https://papers.ssrn.com.
15. J. Liu, X. Xu, Y. Li, et al., “ ‘Generar’ el futuro del trabajo a través de la IA: evidencia empírica de los mercados laborales en línea ”, SSRN, 3 de agosto de 2023, https://papers.ssrn.com; y O. Demirci, J. Hannane y X. Zhu, “ ¿ A quién está reemplazando la IA? El impacto de ChatGPT en las plataformas de trabajo independiente en línea ”, SSRN, 15 de octubre de 2023, https://papers.ssrn.com.
Síguenos en Google News
