La IA generativa se utiliza cada vez más para sintetizar imágenes, videos, texto y código. Ahora Amazon ha anunciado que invertirá $110 millones de dólares en investigación universitaria sobre IA generativa para ayudar a impulsar avances en el campo.
Los sistemas de IA generativa como DALL-E, Midjourney y Stable Diffusion ahora crean regularmente imágenes fotorrealistas. ChatGPT, quizás el chatbot de IA generativa más conocido, ha aprobado exámenes de escuela de derecho y de escuela de negocios, ha respondido con éxito preguntas de entrevistas para trabajos de codificación de software, ha redactado anuncios inmobiliarios y ha desarrollado contenido publicitario.
Sin embargo, el desarrollo de nuevas aplicaciones de IA generativa requiere cada vez más una gran cantidad de poder de cómputo. Dichos recursos están a menudo muy fuera del alcance de los investigadores académicos, como señalaron dos investigadores en un artículo humorístico publicado en las Proceedings of the IEEE en enero.
“La investigación académica en IA está severamente limitada hoy en día por la falta de recursos, y como tal, el sector académico se está quedando rápidamente atrás”, dice Gadi Hutt, director senior de desarrollo de negocios en Annapurna Labs, de Amazon Web Services.
La iniciativa Build on Trainium de Amazon lleva la IA a la academia
Como parte de la nueva iniciativa de Amazon, llamada Build on Trainium, Amazon Web Services (AWS) ha creado un clúster de computación donde los investigadores pueden hacer reservas para acceder hasta a 40,000 chips Trainium, dice Hutt. AWS desarrolló estos procesadores para aprendizaje profundo de alto rendimiento y bajo costo.
“Con Build on Trainium, AWS está invirtiendo en una nueva ola de investigación y clases de IA guiadas por investigaciones de IA líderes en universidades que avanzarán el estado de las aplicaciones, bibliotecas y optimizaciones de IA generativa,” dice Hutt.
Una nueva interfaz de programación para Trainium llamada Neuron Kernel Interface ofrece a los investigadores capacidades de programación directa de los chips, permitiendo acceso directo al conjunto de instrucciones del chip y permitiendo a los usuarios construir núcleos de cómputo para nuevas operaciones de modelos y optimizaciones de rendimiento, según Amazon.
“Eso es genial”, dice Julian Togelius, profesor asociado de informática e ingeniería en la Universidad de Nueva York. “A muchas empresas les gusta compartir recursos, pero solo si usas una cadena de herramientas propietaria específica. Darles a los investigadores acceso de bajo nivel para ajustar características del propio hardware suena increíble”. Togelius fue uno de los investigadores que escribió el artículo de Proceedings of the IEEE.
La iniciativa de AWS desarrollará asociaciones estratégicas con universidades, incluidas la Universidad Carnegie Mellon y la Universidad de California, Berkeley, con más por anunciarse en las próximas semanas, dice Hutt. Además, la compañía proporcionará asignaciones de créditos de Trainium a nivel de subvenciones a la comunidad investigadora en general a través de múltiples rondas de premios de investigación de Amazon, solicitando propuestas durante los próximos tres a cinco años. Los investigadores pueden comenzar a postularse para estas subvenciones de inmediato, dice Hutt. En general, los investigadores tendrán la oportunidad de construir nuevas arquitecturas de IA, bibliotecas de aprendizaje automático y optimizaciones de rendimiento para clústeres de Trainium de gran escala distribuidos.
Siguientes pasos para Build on Trainium
Todo el código desarrollado a través de la nueva iniciativa estará disponible a través de bibliotecas de software de aprendizaje automático de código abierto.
“Amazon ha estado llegando de forma muy agresiva a las startups, por lo que ahora enfocarse en los académicos tiene perfecto sentido”, dice Togelius. “Están logrando que más personas investiguen con su sistema en la nube, y logrando que los investigadores funden sus propias empresas que podrán trabajar con AWS”.
Amazon señala que la iniciativa también ayudará a capacitar a futuros expertos en IA. Por ejemplo, aquellos que participen en Build on Trainium tendrán acceso a los programas de educación técnica y habilitación de AWS para Trainium, dice Hutt, en asociación con la comunidad de Ciencia de Datos de Neuron liderada por el desarrollador de chips de Amazon, Annapurna.
“Un factor clave para el éxito de la nueva iniciativa será cómo elige a quién respalda”, dice Togelius.
“La pregunta es cómo distribuirá Amazon estos recursos para que las personas hagan cosas que las grandes empresas tecnológicas no podrían o no deberían haber hecho,” dice Togelius. “Si Amazon distribuye estos recursos como distribuiría el cómputo dentro de Amazon, entonces no ha ganado mucho. Quieres enfocarte en lo que las grandes empresas tecnológicas no están invirtiendo por una razón u otra: es demasiado específico, es experimental, tiene óptica extraña, el tipo de cosas que no puedes vender a un capitalista de riesgo o a los accionistas. Los académicos necesitan redoblar sus esfuerzos en la rareza.”
