El recién publicado Índice de Seguridad de la IA evaluó a seis de las principales empresas de IA en cuanto a sus esfuerzos de evaluación de riesgos y procedimientos de seguridad… y la de mejor rendimiento fue Anthropic, con una calificación global de C. Las otras cinco empresas—Google DeepMind, Meta, OpenAI, xAI y Zhipu AI—obtuvieron calificaciones de D+ o peores, con Meta directamente reprobando.
“El propósito de esto no es avergonzar a nadie”, dice Max Tegmark, profesor de física en el MIT y presidente del Instituto del Futuro de la Vida, que publicó el informe. “Es proporcionar incentivos para que las empresas mejoren”. Tegmark espera que los ejecutivos de las empresas vean el índice de manera similar a cómo las universidades perciben las clasificaciones de U.S. News and World Report: Puede que no les guste ser evaluados, pero si las calificaciones están ahí y reciben atención, sentirán la presión de hacerlo mejor el próximo año.
También espera ayudar a los investigadores que trabajan en los equipos de seguridad de esas empresas. Si una empresa no siente presión externa para cumplir con los estándares de seguridad, dice Tegmark, “entonces otras personas en la empresa simplemente te verán como una molestia, alguien que está intentando ralentizar las cosas y poner obstáculos en el camino”. Pero si de repente esos investigadores de seguridad son responsables de mejorar la reputación de la empresa, obtendrán recursos, respeto e influencia.
El Instituto del Futuro de la Vida es una organización sin fines de lucro dedicada a ayudar a la humanidad a evitar resultados realmente adversos de tecnologías poderosas, y en los últimos años se ha centrado en la IA. En 2023, el grupo publicó lo que llegó a llamarse la “carta de pausa”, que pedía a los laboratorios de IA detener el desarrollo de modelos avanzados durante seis meses, y utilizar ese tiempo para desarrollar estándares de seguridad. Grandes figuras como Elon Musk y Steve Wozniak firmaron la carta (y hasta la fecha, un total de 33,707 la han firmado), pero las empresas no pausaron sus actividades.
Es posible que este nuevo informe también sea ignorado por las empresas en cuestión. IEEE Spectrum contactó a todas las empresas para obtener comentarios, pero solo Google DeepMind respondió, proporcionando la siguiente declaración:
“Si bien el índice incorpora algunos de los esfuerzos de seguridad de IA de Google DeepMind, y refleja puntos de referencia adoptados por la industria, nuestro enfoque integral hacia la seguridad en IA va más allá de lo que se captura en el informe. Seguimos comprometidos a evolucionar continuamente nuestras medidas de seguridad junto con nuestros avances tecnológicos”.
Cómo el índice de seguridad de la IA evaluó a las empresas
El índice evaluó a las empresas en seis categorías: evaluación de riesgos, daños actuales, marcos de seguridad, estrategia de seguridad existencial, gobernanza y responsabilidad, y transparencia y comunicación. Se basó en información disponible públicamente, incluyendo artículos de investigación relacionados, documentos de políticas, informes noticiosos e informes de la industria. Los revisores también enviaron un cuestionario a cada empresa, pero solo xAI y la empresa china Zhipu AI (que actualmente posee el LLM más avanzado en idioma chino) lo completaron, mejorando las puntuaciones de estas dos empresas en transparencia.
Las calificaciones fueron otorgadas por siete revisores independientes, incluyendo figuras destacadas como el profesor de la Universidad de California en Berkeley Stuart Russell y el ganador del Premio Turing Yoshua Bengio, quienes han advertido que la IA superinteligente podría representar un riesgo existencial para la humanidad. Los revisores también incluyeron líderes de IA que se han enfocado en daños a corto plazo de la IA como sesgos algorítmicos y lenguaje tóxico, tales como Atoosa Kasirzadeh de la Universidad Carnegie Mellon y Sneha Revanur, fundadora de Encode Justice.
En general, los revisores no quedaron impresionados.
“Los hallazgos del proyecto del Índice de Seguridad de la IA sugieren que, aunque existe mucha actividad en las empresas de IA bajo la etiqueta de ‘seguridad,’ aún no es muy efectiva”, dice Russell. “En particular, ninguna de las actividades actuales proporciona alguna clase de garantía cuantitativa de seguridad; ni parece posible proporcionar tales garantías dado el enfoque actual hacia la IA mediante enormes cajas negras entrenadas con cantidades inimaginables de datos. Y solo se volverá más difícil a medida que estos sistemas de IA se vuelvan más grandes. En otras palabras, es posible que la dirección tecnológica actual nunca soporte las garantías de seguridad necesarias, en cuyo caso realmente es un callejón sin salida”.
Anthropic obtuvo las mejores puntuaciones en general y la mejor puntuación específica, consiguiendo el único B- por su trabajo en daños actuales. El informe señala que los modelos de Anthropic han recibido las puntuaciones más altas en los principales estándares de seguridad. La empresa también cuenta con una “política de escalamiento responsable“ que exige que la empresa evalúe sus modelos por su potencial de causar daños catastróficos, y no desplegará modelos que considere demasiado riesgosos.
Todas las empresas obtuvieron puntuaciones especialmente malas en sus estrategias de seguridad existencial. Los revisores señalaron que todas las empresas han declarado su intención de construir inteligencia general artificial (AGI), pero solo Anthropic, Google DeepMind y OpenAI han articulado algún tipo de estrategia para garantizar que la AGI permanezca alineada con los valores humanos.
“La verdad es que nadie sabe cómo controlar una nueva especie que es mucho más inteligente que nosotros”, dice Tegmark. “El panel de revisión sintió que incluso las [empresas] que tenían algún tipo de estrategias en etapa temprana, no eran adecuadas”.
Mientras que el informe no emite recomendaciones para las empresas de IA ni para los responsables de políticas, Tegmark siente firmemente que sus hallazgos muestran una clara necesidad de supervisión regulatoria—una entidad gubernamental equivalente a la Administración de Alimentos y Medicamentos de EE.UU. que aprobaría los productos de IA antes de que lleguen al mercado.
“Siento que los líderes de estas empresas están atrapados en una carrera hacia el fondo de la que ninguno de ellos puede salir, no importa cuán bondadosos sean”, dice Tegmark.
Hoy en día, señala, las empresas no están dispuestas a desacelerar por las pruebas de seguridad porque no quieren que los competidores les ganen en el mercado.
“Mientras que si existen estándares de seguridad, entonces habrá presión comercial para ver quién puede cumplir primero con los estándares de seguridad, porque entonces podrán vender primero y ganar dinero primero”.
