La inminente ubicuidad de la IA: navegando por la eficiencia de la nube y el impacto ambiental con CAST AI

Laurent Gil, CAST AI

Hoy somos testigos del precio del progreso. A medida que la IA generativa evoluciona rápidamente en medio de un panorama de adopción en auge, las maravillas de la inteligencia artificial se enfrentan a costos y desafíos asombrosos. El atractivo de la comunidad de capital de riesgo y los gigantes tecnológicos, que han invertido miles de millones de dólares en nuevas empresas especializadas en tecnologías de inteligencia artificial generativa, no han considerado la realidad subyacente de estos altos costos que amenazan este auge actual.

En junio de 2023, ChatGPT recibió 60 millones de visitas diarias, con 10 millones de consultas por día. En abril de 2023, se estimó que ejecutar ChatGPT costaría 70.000 dólares por día a un costo promedio de 0,36 dólares por pregunta. Sin embargo, en junio, "Tom Goldstein, profesor de IA ML en la Universidad de Maryland, estimó el costo diario de ejecutar ChatGPT en aproximadamente $ 100,000 y el costo mensual en USD $ 3 millones".

Este artículo reciente describió una startup, Latitude, que se encontró lidiando con facturas exorbitantes a medida que sus juegos impulsados ​​por IA, como AI Dungeon, ganaban popularidad. El juego de rol basado en texto de Latitude utilizó la tecnología de lenguaje GPT de OpenAI, lo que generó costos vertiginosos proporcionales al uso del juego. El uso inesperado de AI Dungeon por parte de los especialistas en marketing de contenidos para generar textos promocionales exacerbó aún más la tensión financiera de la startup.

Una de las razones principales del alto costo de la IA generativa es la importante potencia informática necesaria para el “entrenamiento y la inferencia”. La formación de modelos de lenguajes grandes (LLM) exige miles de millones de cálculos y hardware especializado, como procesadores gráficos (GPU). Nvidia, un fabricante líder de GPU, ofrece chips potentes para centros de datos que pueden costar hasta 10.000 dólares cada uno. Las estimaciones sugieren que los modelos de entrenamiento como el GPT-3 de OpenAI podrían superar los 4 millones de dólares, mientras que los modelos más avanzados pueden alcanzar millones en costos de entrenamiento de un solo dígito.

"Por ejemplo, el último modelo LLaMA de Meta requirió la asombrosa cantidad de 2048 GPU Nvidia A100 y más de 1 millón de horas de GPU, lo que generó costos de más de $ 2,4 millones". Esto puede generar un costo adicional para los actores de la industria como Microsoft, que actualmente aprovechan la tecnología, lo que requiere costos de infraestructura que alcanzan miles de millones de dólares para satisfacer la demanda de los usuarios.

Me reuní con Laurent Gil, ex líder del Internet Intelligence Group de Oracle y actual cofundador de CAST AI, que es una plataforma de optimización en la nube impulsada por ML que analiza millones de puntos de datos, buscando el equilibrio óptimo entre alto rendimiento y el menor costo. CAST AI determina cuánto puede ahorrar y luego reasigna sus recursos de nube en tiempo real para alcanzar el objetivo sin afectar el rendimiento.

Discutimos el verdadero costo de adoptar modelos de IA más avanzados.

Gil reveló que los servicios en la nube como AWS, Azure y Google tienen una parte considerable de sus facturas asignadas a la potencia informática. Esto incluye CPU y memoria, que representan alrededor del 90% de los costos, mientras que la otra mitad cubre diversos servicios como almacenamiento y bases de datos. Reconoce que su respuesta habría sido diferente hace 3 meses.

“Para una empresa de inteligencia artificial, se están centrando más en la computación y menos en el resto, porque la mayoría de los costos de ejecutar este modelo están en las GPU de computación... Tenemos muchos clientes en la nube, actualmente estamos administrando y optimizando millones de CPU todos los días”.

Observaciones recientes revelan un aumento en las empresas de IA que invierten cantidades sustanciales en la capacitación de modelos de IA especializados. Estos procesos de capacitación implican un uso inmenso de cómputo, que a veces va desde un uso mínimo de CPU hasta decenas de miles de CPU y GPU funcionando durante horas para entrenar los modelos de manera efectiva. Esta distinción es vital ya que enfatiza que estos altos costos de computación están específicamente relacionados con el entrenamiento de modelos de IA y no con su inferencia o uso práctico.

Gil explica que existen dos tipos de motores de IA: modelos genéricos y especializados. Los modelos genéricos requieren amplios recursos informáticos y son utilizados por grandes empresas que manejan grandes cantidades de datos. Debido a los altos costos, es posible que haya menos jugadores en esta categoría. Sin embargo, expresa su entusiasmo por el segundo tipo: los modelos especializados. Estos modelos se centran en resolver problemas específicos excepcionalmente bien y no requieren períodos prolongados de uso informático como los modelos genéricos. Él ve esta especialización como el futuro de la industria, donde las empresas ofrecerán soluciones únicas y poderosas basadas en sus datos especializados, lo que conducirá a una nueva economía en el campo de la IA.

Lo que CAST AI ofrece es la capacidad de sus clientes de beneficiarse de una optimización sustancial de costos en la gestión de sus gastos en la nube para las operaciones de IA. El proceso de optimización en tiempo real ha mostrado una impresionante reducción de costos promedio de aproximadamente el 80%. Antes de utilizar estos servicios, los clientes normalmente pueden gastar $100 en capacitación del modelo de IA, pero con la optimización, este costo disminuye a $20. Al emplear un motor de IA en su solución, pueden comprender y satisfacer con precisión estas necesidades informáticas, proporcionando asignaciones precisas sin excesos. Cuando se completa la capacitación del modelo de IA o disminuye la demanda informática, el sistema apaga rápida y automáticamente las máquinas innecesarias, lo que contribuye aún más al ahorro de costos.

Para las nuevas empresas que se aventuran en el desarrollo de modelos más sofisticados, les dice Gil:

“Ayudamos mucho a estas jóvenes startups que necesitan entrenar un motor que es muy caro. Les decimos: 'Mira, es muy caro, pero va a ser 5 veces menos porque nuestro motor sabe exactamente lo que necesitas y te lo suministramos en tiempo real'. Esto es universal en todas las empresas que acuden a nosotros".

El libro de contabilidad descentralizado de Bitcoin ha sido un culpable conocido de las preocupaciones informáticas y de los impactos ambientales posteriores. El surgimiento de una inteligencia artificial más avanzada que se convierte en una panacea en toda la industria aparentemente replica este mismo problema, pero ahora en una adopción más amplia en el mercado. Gil reconoció el importante impacto ambiental a medida que la tecnología se generaliza. Sin embargo, señaló un aspecto crítico: el consumo energético de estas GPU. Si bien la optimización de costos lograda por CAST AI genera ahorros de dinero, también impacta directamente el consumo de energía. Al optimizar el uso de la CPU, la energía necesaria para la computación disminuye significativamente. Esta eficiencia energética es un subproducto fascinante que lleva a la empresa a explorar también cómo medir el ahorro de CO2.

Gil explica que cuando las CPU no están en uso, consumen una energía mínima y enfatiza los dos impactos clave de su proceso de optimización: reducción del consumo de energía y mayor disponibilidad de las máquinas para otros. Él elabora,

"El consumo de energía es mucho menor porque no necesitas esta máquina por tanto tiempo. Pero además, estas máquinas quedan disponibles para otra persona, y eso es un gran subproducto. Si las usas durante dos horas en lugar de cuatro, significa durante las otras dos horas, el proveedor de la nube puede revenderlas en otro lugar, por lo que no necesitan construir más porque tienen capacidad".

Esto resulta en una situación beneficiosa tanto para sus clientes como para los proveedores de la nube. Al utilizar de manera eficiente los recursos informáticos, CAST AI evita el desperdicio, lo que permite que los proveedores de la nube puedan atender a más clientes sin construir nuevos centros de datos.

Gil explica la esencia de la computación y el valor de la elasticidad de la nube: "La nube se inventó por una gran razón que nos encanta: es elástica, lo que significa que la compras cuando la necesitas y la devuelves cuando no la necesitas. Y si Si tienes herramientas que siguen el uso que mencioné, entonces puedes ahorrar energía y costos porque solo pagas por lo que usas".

Destaca el cambio respecto del enfoque anterior de incertidumbre, donde los usuarios agregaban recursos excesivos en caso de que los necesitaran. Sin embargo, con la tecnología inteligente de CAST AI, Gil enfatiza: "Simplemente paga por lo que necesitas cuando lo necesitas. Somos uno de los muchos proveedores en el mismo campo, y es genial porque ayudamos a resolver la escasez de máquinas. Ayudamos a resolver el problema de consumo de energía. Ayudamos al centro de datos a utilizar mejor su inversión porque ahora pueden revender unas cuantas veces más de lo que poseen y, al final, es mejor para la economía y la industria".

¿Cuál es el próximo hito para CAST AI? Gil señaló que sumarán 100 personas, luego de cerrar una reciente ronda de inversión de 20 millones de dólares liderada por Creandum. El boom actual les está permitiendo “surfear las olas”. Para CAST AI, cuanto más Nvidia venda GPU, mejor estará el mundo: “Así es como lo vemos, y mejor será el consumo y la utilización de estos recursos. Realmente es el comienzo. La siguiente fase es utilizarlos, y ahí es donde la economía crecerá y la industria explotará".

La demanda de recursos informáticos, en particular GPU, está aumentando, lo que genera una tensión potencial en la red energética y la infraestructura. A pesar de los desafíos, existen soluciones prometedoras como CAST AI para ayudar a reducir los costos y el consumo de energía y, al mismo tiempo, hacer un mejor uso de los recursos disponibles. Esto no sólo beneficia a las empresas individuales sino que también contribuye a la eficiencia general de la industria.

A medida que la demanda de aplicaciones basadas en IA sigue aumentando, la necesidad de recursos informáticos accesibles y asequibles seguirá siendo una preocupación fundamental. La clave está en encontrar un equilibrio entre innovación y sostenibilidad, garantizando que a medida que la IA evolucione, pueda florecer sin comprometer el medio ambiente ni los recursos económicos.