El auge de los conectores en la ciencia de datos

A pesar de toda la atención que se presta actualmente al uso de datos, análisis e IA para mejorar las decisiones y operaciones de las organizaciones, demasiados proyectos de ciencia de datos fracasan. Pata resolver estos problemas se utilizan los conectores.

Incluso para los que tienen éxito, el progreso suele ser lento y costoso. ¿Por qué? Las diferencias organizativas entre los equipos están causando estragos en la capacidad de desarrollar, aplicar y ampliar los proyectos de ciencia de datos. Se necesita un nuevo tipo de función para salvar estas distancias.

No minimicemos los muchos aspectos de la ciencia de datos que pueden hacer tropezar a una empresa. Sin embargo, nuestro diagnóstico de la situación, Roger Hoerl y Diego Kuonen, demostraron que muchas empresas luchan menos con la solución y más con las cuestiones organizativas.

¿Cómo inició este problema en la ciencia de datos?

Hemos identificado tres causas fundamentales. En primer lugar, la ciencia de datos se ha “atornillado” al organigrama. Esto podría haber sido aceptable hace una generación, cuando la ciencia de datos estaba reservada para relativamente pocos problemas. Pero debe incorporarse ahora que la ciencia de datos es importante para todos los equipos.

En segundo lugar, la ciencia de datos pretende mejorar las operaciones cotidianas y la toma de decisiones, y eso significa disrupción. Pero la mayoría de los jefes de línea buscan el control, la previsibilidad y la ausencia de sorpresas.

Dado que disrupción y control son polos opuestos, existe una tensión mucho mayor de lo normal entre la gestión de línea y la ciencia de datos.

En tercer lugar, muchas empresas parecen esperar que los científicos de datos lo hagan todo: comprender mágicamente el negocio y todos sus matices. Además, ocuparse de los problemas de calidad de los datos y convencer a los directivos y miembros del personal recalcitrantes de que cambien sus procesos largamente acariciados.

Muchos científicos de datos prefieren simplemente crear mejores algoritmos, lo que significa que esas otras tareas a menudo reciben poca atención.

No hay que minimizar estos problemas: son profundos, estructurales y a menudo políticos, y pueden exigir estrategias de gestión adicionales. Aquí abordaremos un aspecto crítico del problema organizativo. Uno de ellos son las brechas entre los distintos departamentos que inhiben el desarrollo y la implantación de modelos de ciencia de datos.

Cerrar las brechas con conectores

La forma más obvia de cerrar las brechas organizativas es llenarlas con personas. A las personas que desempeñan estas funciones las llamamos genéricamente conectores.

Durante algún tiempo, las empresas han asignado a personas que tienen títulos de trabajo como analista de sistemas o analista de negocios. También han tratado de colmar las lagunas que surgen en los proyectos de ciencia de datos Así se etiquetan a las personas encargadas de hacerlo como data wranglers, ingenieros de datos, purple people y traductores.

Aunque muchos de estos esfuerzos han ayudado a avanzar en los proyectos de ciencia de datos, a menudo parece un elaborado juego de la lotería. Se cierra una brecha y aparece otra. Además, estos esfuerzos por sí solos no resuelven algunos de los problemas relacionados:

• Los jefes de línea y los científicos de datos a menudo no se entienden. Esto hace especialmente difícil que ambas partes se pongan de acuerdo sobre el problema que hay que resolver y que los científicos de datos comprendan los matices de los datos
• Implantar un modelo exige grandes cambios en la empresa. Este es el rediseño de procesos, formación sobre el funcionamiento de los modelos y mejora de las competencias para utilizarlos
• Es posible que ambas partes no coincidan en las decisiones de infraestructura de TI, como las relacionadas con la deuda técnica

Por estas razones, recomendamos que las empresas aborden la cuestión de forma más disciplinada, siguiendo estos tres pasos.

1. Define el proceso del proyecto de ciencia de datos e identifica a las personas implicadas

Aunque los detalles pueden variar, el proceso debe comenzar con el planteamiento del problema y la comprensión del contexto empresarial. También debe terminar con la supervisión del nuevo modelo en producción.

El trabajo crítico: identificar quién, fuera del equipo de ciencia de datos, debe participar en cada paso.

Ejemplo:

Por ejemplo, a la hora de enmarcar el problema y seleccionar un proyecto, las empresas quieren implicar tanto a los altos directivos como a los mandos intermedios.

A la hora de obtener y preparar los datos, deben estar presentes expertos en el ámbito empresarial que comprendan los matices y profesionales de TI que los preparen. A la hora de desarrollar el modelo, hay que consultar a proveedores de software externos.

Cuando llegue el momento de insertar el modelo en los procesos, deben participar los analistas de negocio y de procesos, los gestores de los procesos afectados, los formadores y los profesionales del cambio.

Por último, cuando una organización implanta el modelo en la infraestructura de TI y luego lo supervisa y actualiza, deben contribuir los profesionales de TI. Pero no solo ellos, también los conductores de datos y los responsables de la cadena de suministro.

2. Evaluar dónde pueden ayudar los conectores

Esencialmente, este paso pretende aclarar las lagunas. Pregúntate: “¿Están todas las personas implicadas plenamente conectadas, es decir, comprenden sus funciones y existe una comunicación suficiente para que el trabajo se realice de forma razonablemente eficaz?”.

En la mayoría de los casos, la respuesta es “no“. De hecho, descubrimos que los conectores suelen ser esenciales en los siguientes aspectos:

• Enmarcar el problema a resolver con la ciencia de datos: Por ejemplo, es posible que los ejecutivos hayan oído hablar de la IA. Pero no conozcan en profundidad los problemas que puede ayudar a resolver o el potencial de la tecnología en toda la organización
• La traducción entre el personal técnico y el de la empresa, una antigua brecha que aún no se ha cerrado
• Tratar los problemas de calidad de los datos
• Comunicar requisitos, progresos y problemas dentro del equipo. En otras palabras, unir las muchas piezas de un proyecto de ciencia de datos y ser el conector entre equipos diversos
• Hacer un seguimiento del progreso hacia el objetivo general de implantación y cambio organizativo

3. Aclara las funciones específicas de los conectores y ponlas en práctica.

Este paso suele ser sencillo para proyectos individuales. Recomendamos que las empresas también consideren la posibilidad de contar con conectores entre todo el programa de ciencia de datos y el resto de la empresa.

Existe una tensión natural entre los responsables de línea, que se esfuerzan por establecer cierto grado de control en su trabajo diario, y los profesionales de la ciencia de datos, que aspiran a alterar las cosas.

Si no se controla, esta tensión dificulta enormemente que un equipo de ciencia de datos se establezca en una empresa. Los conectores a nivel de programa pretenden aliviar esta tensión:

• Ayudan a los altos directivos a entender tanto el potencial como los retos de la ciencia de datos
• Auxilian a los líderes de la ciencia de datos a entender los principales problemas a los que se enfrenta la empresa
• Establecen una cartera de proyectos de ciencia de datos que se alinea con las necesidades de la empresa

Lo que las empresas están probando ahora con los conectores

Dada la importancia de crear las capacidades organizativas necesarias para tener éxito con los datos, estamos encantados de ver cómo las empresas experimentan.

Por ejemplo, Regions Bank y muchas otras organizaciones utilizan gestores de productos de datos, que adoptan una perspectiva integral. El 40 por ciento de las organizaciones adoptan ahora un enfoque de gestión de productos de datos, según una encuesta reciente de directores de datos.

El Gulf Bank de Kuwait ha creado una red de embajadores de datos para dirigir proyectos de calidad y ciencia de datos a nivel de departamento. La Oficina Federal de Estadística de Suiza emplea un “puente de ciencia de datos”. Esto para coordinar sus numerosas funciones estadísticas.

La filial de ciencia de datos de Kroger, 84.51º, cuenta con lo que denomina consultores de diseño de soluciones. Ellos y ellas son personas con formación empresarial que median entre los científicos de datos y las partes interesadas del negocio.

El 84,51º de Kroger también utiliza tecnología en forma de herramientas de operaciones de aprendizaje automático para supervisar el estado de los proyectos de ciencia de datos desde el inicio hasta la gestión en curso y mantener informadas a todas las partes. Muchas otras organizaciones también han adoptado estas funciones y herramientas de conexión.

Examinemos el trabajo en Regions Bank y la Oficina Federal de Estadística de Suiza con más detalle.

Socios de productos de datos en Regions Bank

Manav Misra, director de datos y análisis de Regions Bank, observó que muchos proyectos de ciencia de datos no se estaban implementando con éxito. Por esto se estableció el concepto de productos de datos y la nueva función de conector de socio de productos de datos para gestionarlos.

Misra define un producto de datos como una solución de software integral a un problema que tiene la empresa.

“Un producto de datos aprovecha en gran medida los datos y los análisis avanzados para ofrecer esa solución”, afirma.

Los socios de productos de datos actúan tanto como gestores de productos de datos como socios de la empresa que llevan los productos a buen puerto y los gestionan.

Cada socio de productos de datos está asignado a una unidad de negocio o de apoyo concreta del banco y asiste a reuniones de personal con sus socios de negocio. La mayoría de los socios proceden de la parte comercial del banco, aunque algunos también tienen experiencia en análisis.

¿Qué incluye el trabajo del socio de productos?

El trabajo del socio de productos de datos incluye comprender qué necesitan la unidad de negocio y los usuarios finales e iniciar el ciclo de desarrollo con un producto mínimo viable.

Durante las primeras fases del proceso, los socios de productos de datos actúan como traductores bidireccionales, conectando las oportunidades de la analítica y la IA.

En las fases posteriores, son responsables de evaluar cómo se adopta y utiliza la solución completa, supervisar lo bien que funciona la interfaz de usuario, etc.

El puente de la ciencia de datos en Suiza

La Oficina Federal de Estadística de Suiza reconoció que necesitaba mejorar sus procesos básicos de ciencia de datos para satisfacer al gobierno suizo. Por esto creó un centro de competencia de ciencia de datos, un tipo de centro de excelencia.

Para garantizar que el centro de competencia estuviera totalmente conectado con el resto de la administración suiza, los responsables crearon un “puente de ciencia de datos“. Un grupo de conectores encargados específicamente de gestionar seis procesos de alto nivel:

• Impulsar la colaboración.
• Desarrollar el capital humano.
• Garantizar la calidad de los datos.
• Gestionar la cartera de proyectos.
• Garantizar un impacto empresarial positivo.
• Garantizar una aplicación de la ciencia de datos centrada en el ser humano y digna de confianza.

El puente está dando sus frutos. Ha facilitado comunidades de práctica en la base de clientes. Ayudó a las personas a convertirse en usuarios más eficaces de las herramientas e informes de datos y animándoles a intercambiar su experiencia con la ciencia de datos y la IA. El puente está reduciendo el caos en los seis procesos mencionados.

Además, “la mayoría de las decisiones importantes se toman en el puente“, señaló Kuonen, que es asesor del Gobierno suizo en ciencia de datos. Él cree que el puente aportará más valor a medida que madure.

Retos de la gestión de conectores: Cinco preguntas que hay que hacerse

A pesar de las aparentes ventajas de los conectores, su gestión plantea algunos problemas difíciles. En algunos aspectos, los conectores operan en el “espacio en blanco” del organigrama. Aquí la gestión siempre es difícil.

Por ejemplo, las empresas no han tenido mucha suerte a la hora de gestionar a los administradores de datos en su intento de alinear las definiciones de varios elementos de datos en toda la empresa.

Las empresas deberían plantearse las siguientes preguntas a la hora de definir sus funciones de conexión. Las respuestas variarán según las circunstancias organizativas, pero empiezan a surgir algunos patrones.

¿Dónde deben situarse los conectores desde el punto de vista organizativo?

Lo más habitual es que los conectores dependan del director de datos y análisis o de la organización de ciencia de datos. Pero a veces se encuentran en grupos del lado de la empresa. Si la empresa ha tenido éxito en la gestión matricial de otras funciones, los conectores podrían depender de ambas áreas.

¿Cómo deben las empresas atraer, evaluar y retener a los conectores?

Como ha señalado la experta en datos Theresa Kushner, las funciones de los conectores suponen un reto, dado que requieren conocimientos tanto del negocio como de los datos, así como considerables habilidades interpersonales.

En la actualidad existen cientos de programas de análisis y ciencia de datos en las escuelas de negocios, que son un buen lugar para contratar conectores. Por ejemplo, Procter & Gamble pidió a los directivos que identificaran un “resultado empresarial innovador” que cada candidato hubiera ayudado a conseguir. La retención dependerá en gran medida de ofrecer a estas contrataciones una trayectoria profesional viable.

¿Cuál es la trayectoria profesional del conector?

Es muy posible que los técnicos con experiencia reconozcan la necesidad de contar con conectores, pero teman perder su ventaja técnica si asumen ese papel.

Por su parte, los profesionales con experiencia pueden no querer salirse de su actual trayectoria profesional dentro de su unidad de negocio o función. A corto plazo, las empresas deberían establecer funciones de creciente responsabilidad en la organización de la ciencia de datos, como los gestores de productos de datos sénior y bien remunerados.

Creemos que, a largo plazo, muchas organizaciones querrán que todos los altos ejecutivos cuenten con experiencia en ciencia de datos.

¿Se necesita más de un tipo de conector?

Dado que algunas conexiones se realizan a niveles muy altos, mientras que otras se centran en el nivel técnico detallado, la respuesta lógica es “sí”. Pero es posible que una empresa no pueda permitirse contratar a más de uno para un proyecto.

Por esto algunas empresas piden a los gestores de productos de datos que desempeñen también una función de conector de nivel inferior. Otras organizaciones piden a los conectores que desempeñen sus funciones en dos o más proyectos a la vez.

¿Cuáles son exactamente las responsabilidades de un conector?

Dado que los conectores pueden tener la mejor visión global de un proyecto, es habitual encargarles su gestión de principio a fin. Esto es apropiado si los conectores tienen experiencia y si entienden y valoran las funciones técnicas en un proyecto de ciencia de datos.

Si no es así, sus responsabilidades como conectores deben ser más limitadas. Como las funciones de traductor que no implican una responsabilidad de principio a fin para el éxito del proyecto.

Con el tiempo, tu organización obtendrá respuestas más detalladas a estas preguntas.

¿Qué tan exitosas son las organizaciones que añadieron a un conector?

En nuestro trabajo con empresas que han empleado con éxito funciones de conector, los proveedores de software y los líderes de ciencia de datos implicados nos han dicho que el porcentaje de despliegue de proyectos de ciencia de datos ha aumentado a medida que han proliferado los conectores.

Creemos que se trata de un conjunto importante y continuo de funciones que necesita una mayor institucionalización en casi todas las grandes empresas. De lo contrario, la ciencia de datos podría convertirse en una ciencia lúgubre con un bajo porcentaje de despliegue y un pobre historial de mejora del rendimiento empresarial.

Thomas C. Redman es presidente de Data Quality Solutions y autor de People and Data: Uniting to Transform Your Organization (Kogan Page, 2023). Thomas H. Davenport (@tdav) es Catedrático Distinguido del Presidente de Tecnología y Gestión de la Información en el Babson College, profesor visitante en la Saïd Business School de Oxford.

Síguenos en Google News