El desarrollo de la IA puede ser un proceso de alto consumo energético, pero existen tácticas para reducir el uso de energía y las emisiones de carbono.
La IA está en auge. La publicación de grandes modelos lingüísticos como ChatGPT ha popularizado la tecnología, que ya se estaba convirtiendo en un motor fundamental de los esfuerzos de las empresas por innovar y crecer.
Pero a medida que estos modelos crecen, también lo hace su apetito de energía. El entrenamiento del modelo abierto de lenguaje multilingüe BLOOM produjo casi 24,7 toneladas de emisiones de carbono.
La IA en sí puede ser una herramienta valiosa para ayudar a encontrar oportunidades de mejora de la sostenibilidad. Pero también podría convertirse en un lastre para los esfuerzos colectivos por mitigar la emergencia climática mundial.
Los directivos saben que unas métricas precisas son el punto de partida para controlar cualquier problema. Aunque no es fácil calcular el consumo energético de la IA y los modelos de aprendizaje automático (ML).
La mayoría de las empresas de IA no miden ni divulgan este parámetro. La energía consumida durante el despliegue es aún menos conocida que el consumo durante el entrenamiento.
La IA también contamina al planeta, ¿qué podemos hacer?
Existen herramientas de ayuda. La especificación Software Carbon Intensity de la Green Software Foundation esboza un planteamiento fiable para determinar una línea de base de emisiones de carbono que puede utilizarse después para comparar a lo largo del tiempo o entre aplicaciones.
El proyecto Green Algorithms ofrece una sencilla calculadora para estimar las emisiones totales de un proyecto de IA. Amazon Web Services, Google Cloud Platform y Microsoft Azure ofrecen herramientas de contabilidad del carbono específicas para sus servicios en la nube.
Los investigadores de Stanford, en colaboración con las partes interesadas del sector, han publicado un marco ligero. Esto para la presentación de informes fiables, sencillos y precisos sobre el impacto energético, informático y de carbono de los sistemas de aprendizaje automático.
Aunque la medición puede revelar el statu quo y ayudar a las organizaciones a seguir sus progresos en los esfuerzos de mejora. Para mover realmente la aguja de las emisiones de carbono relacionadas con la IA es necesario abordar cada paso del ciclo de vida de desarrollo.
Están surgiendo distintos marcos para satisfacer esta necesidad. Un estudio conjunto de Google y la Universidad de California en Berkeley demostró que el consumo energético del entrenamiento de ML puede reducirse hasta 100 veces y las emisiones de CO2 hasta mil veces aplicando cuatro buenas prácticas:
Recomendamos un enfoque que haga hincapié en tres acciones: Repensar, reutilizar y reducir. Aplicadas a lo largo de todo el ciclo de vida de la IA, estas acciones pueden generar más valor a partir de menos datos.
Empieza por plantearse la pregunta que cada vez cobra más relevancia en la investigación sobre IA.
¿Siempre es mejor tener más datos que menos? En un experimento con un conjunto de datos Kaggle de escenas de la naturaleza, descubrimos que entrenar un modelo de visión por ordenador con el 70 por ciento del conjunto completo de datos reducía su precisión en menos de un 1 por ciento pero disminuye el consumo de energía en un 47 por ciento.
También se demostró que el aprendizaje de datos único y a gran escala consume menos energía que el aprendizaje continuo. Y volver a entrenar el modelo sólo tiene sentido en situaciones específicas, como si la cantidad de datos de entrenamiento supera un determinado umbral.
Cuando se colabora con otras organizaciones, el aprendizaje automático federado permite entrenar un único modelo con datos de múltiples fuentes (sin compartir explícitamente los datos).
Esto se hace para mejorar la calidad del modelo. Pero también supone un ahorro sustancial de costos y energía al reducir la cantidad de datos que debe generar y almacenar cada organización.
Gridless, la nueva lámpara que ilumina África a través del Bitcoin
Además, la calidad de los datos es tan importante como su cantidad. El uso de conjuntos de datos de entrenamiento con desequilibrio de clases consumió el triple de energía. Además, requirió el doble de datos para alcanzar el mismo nivel de precisión que el entrenamiento con un conjunto de datos con equilibrio de clases.
Asegurarse de que no hay problemas de calidad de datos, o de que hay muy pocos. Te ayudará a alcanzar los requisitos mínimos de rendimiento más rápidamente, con menos consumo de energía.
El aprendizaje profundo requiere enormes cantidades de datos y consume mucha energía y recursos informáticos.
La poda de estos modelos mediante la eliminación de parámetros no utilizados puede ayudar a reducir el tamaño del modelo. También ayuda a aumentar la velocidad de inferencia y reducir la necesidad de múltiples iteraciones, lo que se traduce en un ahorro de energía.
Un enfoque alternativo al aprendizaje profundo es el modelado disperso, que puede ser muy eficaz para crear aplicaciones integradas de bajo consumo utilizando conjuntos de datos limitados.
En general, las empresas deben detenerse a considerar cuál es la técnica de IA más adecuada para la tarea que tienen entre manos.
La IA generativa, que también puede consumir la mayor cantidad de energía, es más aplicable a la codificación de software, la creación de contenidos novedosos y la automatización de descubrimientos. Para muchas aplicaciones, una técnica de IA predictiva más sencilla será más adecuada que un enfoque de IA generativa.
Técnicas como el aprendizaje por transferencia permiten reutilizar un modelo entrenado en una tarea para otra relacionada, lo que reduce los costos y las emisiones relacionados con el cálculo y el almacenamiento de datos.
Hemos comprobado que, al entrenar un modelo de visión por ordenador, el método de aprendizaje por transferencia necesitó 22 épocas menos. Fue cuatro veces más rápido en alcanzar el mismo nivel de precisión que entrenar un modelo desde cero. También consumió un 99.3 por ciento menos de energía.
Las distintas técnicas de aprendizaje por transferencia pueden influir de forma diferente en la cantidad de energía que consumen los modelos lingüísticos. El preentrenamiento del modelo en tareas específicas con un conjunto de datos reducido consume menos energía que cuando el modelo se preentrena con un conjunto de datos de dominio completo.
El preentrenamiento adaptado a la tarea también da como resultado una menor puntuación de perplejidad, una medida de la capacidad del modelo para predecir la siguiente palabra de una frase.
Durante el despliegue, es probable que merezca la pena destilar el conocimiento de un modelo de profesor grande en un modelo de estudiante más pequeño.
En nuestro propio experimento, un modelo de estudiante consumió 2.7 veces menos energía durante la inferencia que el modelo de profesor original. Sin embargo, este enfoque podría no funcionar bien si el modelo original requiere un reentrenamiento frecuente, ya que el modelo de estudiante más pequeño también necesitaría ser reentrenado.
5 formas en que contribuyes a la contaminación ambiental sin saberlo
También están surgiendo enfoques prometedores para reducir el consumo de energía de las GPU utilizadas habitualmente en el proceso de entrenamiento de modelos.
Investigadores del Instituto de Tecnología de Harbin y la Universidad de Leeds han desarrollado GPOEO, un marco de optimización de la energía en línea para GPU microintrusivo que puede ajustar automáticamente la configuración energética de las GPU en función del tipo y el patrón de las tareas que estén realizando.
Este método es bastante fácil de aplicar, ya que sólo es necesario marcar los puntos inicial y final de la sección de código que se va a optimizar. A continuación, GPOEO supervisa el comportamiento del programa, detecta los patrones de carga de trabajo y encuentra la mejor configuración energética para cada patrón.
Los investigadores afirman que GPOEO puede reducir significativamente el consumo de energía de las GPU sin comprometer su rendimiento.
Una vez desplegado un modelo, las opciones de infraestructura de hardware también pueden suponer un ahorro de energía, ya que las GPU y las TPU superan a las CPU.
Es bastante fácil hacer estas elecciones porque muchos proveedores de servicios en la nube ofrecen computación bajo demanda que está mejor optimizada para la eficiencia energética.
Además, en una exploración interna, descubrimos que la actualización a las últimas versiones de las máquinas virtuales proporcionadas en la nube puede reducir a la mitad el uso de energía y las emisiones, por el mismo coste o a veces incluso menos.
Si queremos que la IA sea positiva para el planeta y la sociedad, debemos frenar la cantidad de energía que consume y las correspondientes emisiones de carbono.
En lugar de lanzarse temerariamente a la IA sin tener en cuenta las consecuencias para la huella de carbono de su organización, los dirigentes deben ser conscientes del consumo real de energía de las iniciativas de IA y hacer de la mitigación un objetivo clave del desarrollo y la implantación.
Sanjay Podder es director general y responsable global de innovación en sostenibilidad tecnológica de Accenture. Senthil Ramani es director general sénior y responsable global de datos e IA en Accenture. Shalabh Kumar Singh es director principal de investigación de liderazgo de pensamiento en Accenture.
Los autores desean agradecer a Giju Mathew, Vibhu S. Sharma y Gargi Chakrabarty sus contribuciones a este artículo.