Muchas empresas desarrollan modelos de IA sin una base sólida sobre la que basar sus predicciones, lo que genera desconfianza y fracasos. A continuación, se muestra cómo las estadísticas pueden ayudar a mejorar los resultados.
Algunos equipos de Inteligencia Artificial (IA) consideran que un modelo entrenado es la base para la inferencia, especialmente cuando ese modelo predice bien sobre un conjunto de reserva de los datos originales.
Es tentador hacer ese argumento, pero es una exageración. Los datos de reserva no son más que una muestra de información recopilada al mismo tiempo. Por lo tanto, un modelo de IA entrenado, en sí mismo, no proporciona una base confiable para la inferencia de predicciones sobre datos futuros.
Lo que es peor, muchos equipos que trabajan en modelos de IA no logran definir claramente el problema empresarial que se debe resolver. Esto significa que los miembros del equipo tienen dificultades para decirles a los líderes empresariales si los datos de entrenamiento son los correctos.
Cualquiera de estos tres problemas: mala base, problema incorrecto o Datos incorrectos; puede resultar desastroso en la implementación. Sin embargo, los expertos en estadísticas de los equipos de IA pueden ayudar a prevenirlos.
Muchos líderes de TI y científicos de datos creen que la estadística es una tecnología antigua que ya no es necesaria en la era de los macrodatos y la IA.
Algunos líderes empresariales incluso recuerdan la estadística como su asignatura menos favorita en la escuela y tratan de evitarla. Si bien hay algo de cierto en que la estadística es una tecnología antigua, las organizaciones aún la necesitan.
La disciplina de la estadística, con sus raíces en las ciencias naturales y las matemáticas, enseña a los estadísticos a pensar en los modelos como una aproximación a cierta “verdad”.
Te has preguntado: ¿cómo pueden los líderes incorporar a los expertos en estadística en los proyectos de IA para mejorar las probabilidades de éxito? Veamos cuatro ejemplos.
Según una encuesta realizada en septiembre de 2023 por Aporia, identificar el sesgo de la IA es uno de los principales desafíos para el 83 por ciento de los profesionales.
Afortunadamente, el muestreo de encuestas, una disciplina dentro de la estadística, ha desarrollado una teoría profunda de los posibles sesgos en los datos. Incluidos el sesgo de muestreo, el sesgo de falta de respuesta, etc. Estas consideraciones pueden ayudar a los equipos de IA a comprender mejor las limitaciones en sus conjuntos de datos.
Como hemos escrito anteriormente, los modelos de aprendizaje automático se construyen con demasiada frecuencia sobre los conjuntos de datos disponibles en lugar de sobre los datos correctos. Es decir, los datos más apropiados para resolver el problema en cuestión.
El diseño experimental también produjo uno de los mayores avances en la historia de la ciencia de datos: el ensayo aleatorio. Los ensayos clínicos aleatorios siguen siendo el estándar de oro en el desarrollo farmacéutico, y las pruebas A/B que utilizan regularmente Google, Meta y otras empresas tecnológicas son ensayos aleatorios básicos.
Cabe destacar que Abhijit Banerjee, Esther Duflo y Michael Kremer ganaron el Premio Nobel de Economía por su aplicación de experimentos aleatorios para aliviar la pobreza.
La aleatorización proporciona una buena base para la inferencia porque evita que otras variables (datos oscuros) confundan los resultados. Esto permite la determinación de relaciones causales, no solo correlación. Tener una comprensión de las relaciones causales es posiblemente la mejor base posible para la inferencia.
Un tercer ejemplo implica el uso de estadísticas para diseñar pruebas de modelos de IA ya implementados. Consideremos un modelo de calificación crediticia.
La empresa obtiene datos de desempeño sobre el crédito que otorga, pero no sabe qué hacer con el crédito. ¿Fueron correctas sus decisiones de denegarlo? La empresa tal vez nunca lo sepa. El único remedio es otorgar crédito en algunos casos en los que normalmente no lo haría.
El diseño y la evaluación de los experimentos para otorgar crédito en este tipo de prueba cae dentro del ámbito de la estadística. Algunas empresas con las que trabajamos ya lo están haciendo.
Por último, el control estadístico de procesos (CEP) proporciona métodos para supervisar los procesos a lo largo del tiempo y detectar cambios en el rendimiento.
El CEP se puede aplicar para supervisar el rendimiento de los modelos de IA después de su implementación. Cuando los modelos mantienen su rendimiento a lo largo del tiempo, especialmente con datos nuevos, tenemos otra base para la inferencia.
Transformando las pymes en México, este es el rol de la Inteligencia Artificial
Pensando en términos más amplios, las estadísticas pueden ayudar a los equipos que están desarrollando modelos de IA a través de un gemelo estadístico. Este es análogo a un gemelo digital de los sistemas físicos.
Los equipos pueden combinar un modelo de aprendizaje automático con un modelo estadístico más tradicional y desarrollar ambos al mismo tiempo. Este modelo casi siempre proporcionará una mejor precisión de predicción en los datos del conjunto de reserva. Pero el modelo estadístico ofrece algunas ventajas:
Por ejemplo, presenta parámetros y coeficientes con interpretaciones del mundo real que son explicables y se pueden comparar con el conocimiento actual sobre la materia.
Los modelos estadísticos vienen completamente equipados con medidas de bondad de ajuste e incertidumbre. Estos son de gran ayuda para determinar si se han empleado los datos correctos y para extrapolar más allá del conjunto de reserva.
Los líderes empresariales, no las personas que construyen modelos de IA, son responsables del rendimiento final de los sistemas. Los gerentes deben hacer las preguntas correctas para garantizar que los modeladores empleen los datos correctos.
Los gerentes pueden ver las estadísticas como una forma de pensar sobre los problemas que se utiliza junto con una colección de herramientas que pueden ayudar a determinar los datos correctos.
Como primer paso inmediato, los gerentes deberían plantear las siguientes preguntas adicionales a los desarrolladores de modelos de IA y aprendizaje automático:
¿El modelo se ajusta a las expectativas basadas en el conocimiento del dominio?
Por ejemplo, un modelo de aprendizaje automático desarrollado para predecir resultados adversos entre pacientes con neumonía sugirió que los pacientes con asma tenían menos probabilidades de experimentar resultados negativos . Esto contradecía la ciencia médica conocida y, tras una investigación más profunda, resultó que el modelo no era consciente de que los pacientes con asma suelen recibir tratamiento de emergencia para la neumonía precisamente porque su riesgo es muy alto. Lo que quieres oír: Las personas con el mejor conocimiento del dominio han examinado el modelo.
Lo que quieres oír: Pruebas exhaustivas han demostrado que los modelos con menos características dan como resultado una precisión de predicción significativamente peor.
En otras palabras, ¿sobre qué base está seguro de que el modelo funcionará bien en el futuro?
Lo que quieres oír: Ten cuidado con la afirmación de que la precisión de la predicción fuera de la muestra garantiza la precisión de los datos futuros recopilados en diferentes circunstancias.
Las mejores respuestas harán referencia a que se utilicen los datos correctos, a la aleatorización o al conocimiento de las relaciones causales.
En tercer lugar, los directivos deben repensar la composición de sus equipos de ciencia de datos con miras a añadir diversidad técnica. Demasiados equipos están formados por científicos de datos con habilidades similares.
Esto da como resultado un equipo que técnicamente tiene un ancho de dos centímetros y un fondo de milímetro.
Además, los gerentes deberían trabajar con los departamentos de recursos humanos para realizar un inventario de habilidades organizacionales en relación con la IA.
Muchos estadísticos aplicados tienen experiencia trabajando con personas sin conocimientos técnicos y han desarrollado habilidades de colaboración para ayudar a definir el problema empresarial fundamental en cuestión.
Los estadísticos aprendieron hace mucho tiempo que el problema planteado a menudo resulta no ser el problema real . En el trabajo de IA, estas habilidades resultan fundamentales para enmarcar adecuadamente el problema empresarial.
El inventario de habilidades debe ahondar en esta área. A largo plazo, los gerentes deben contratar personas con estas habilidades para evitar puntos ciegos.
Los líderes tecnológicos y empresariales han pasado demasiado tiempo caminando nerviosamente, esperando lo mejor en las implementaciones de IA. Los métodos estadísticos pueden complementar los métodos actuales de aprendizaje automático y ayudar a proporcionar una base para la inferencia que infunda confianza, basada no en la esperanza sino en la ciencia.
Thomas C. Redman es presidente de Data Quality Solutions y autor de People and Data: Uniting to Transform Your Organization (KoganPage, 2023). Roger W. Hoerl es profesor de estadística Brate-Peschel en Union College en Schenectady, Nueva York.