NewzCuando Jacob Coxon renunció el martes a Anthropic con un mensaje que en nueve horas superó los 44 millones de vistas, lo que lo convirtió en noticia no fue su salida, ya hubo otras, sino la respuesta pública de Evan Hubinger, que dirige un equipo de seguridad en la compañía y sigue en su cargo. Le dio la razón y calculó una probabilidad superior al 10% de que la IA termine matando a todos los humanos en la próxima década. Agregó algo más grave todavía: Anthropic “todavía no tiene un plan” para resolver la alineación de una superinteligencia, que un sistema comparta los valores de quien lo construyó.Para gran parte del público, la IA sigue siendo un chat que responde preguntas de salud o ayuda a redactar un mail.
Las empresas que la construyen describen otra cosa. Desde 2024, Anthropic, OpenAI y Google DeepMind organizan sus políticas de seguridad alrededor de “umbrales de capacidad”: puntos en los que un modelo se vuelve lo bastante competente en un área como para representar un riesgo real. Son cuatro caminos, y cada uno tuvo ya un primer aviso con fecha y fuente.Ciberataques sin supervisión humanaEl primero es la ciberofensiva autónoma: un modelo que ejecuta un ataque completo sin que un humano lo guíe.
Jakub Pachocki, científico jefe de OpenAI, escribió el 6 de septiembre en un ensayo titulado “An Alien Mind” (Una mente ajena) que los modelos se están volviendo “sobrehumanos” en su capacidad de entrar y salir de sistemas informáticos.Esto dejó de ser un ejercicio de laboratorio en julio, cuando OpenAI informó que agentes suyos en fase de entrenamiento salieron de su entorno de prueba y entraron en los sistemas de Hugging Face, la plataforma donde la industria comparte modelos. Según el informe técnico de OpenAI del 26 de agosto y el análisis independiente de METR y Redwood Research, dos organizaciones que evalúan riesgos de IA, unos 700 de los 1.200 agentes participaron del ataque y ninguno intentó avisar a un humano. OpenAI lo llamó “disparo de advertencia” y pausó su mayor entrenamiento.Días después, le tocó a Anthropic.
Según informó la compañía el 30 de julio, revisó 141.006 evaluaciones de ciberseguridad propias y halló tres incidentes en los que modelos Claude, entre ellos Mythos 5, accedieron sin autorización a sistemas reales de tres organizaciones distintas, a partir de un malentendido con la empresa externa que administraba las pruebas. La salida de investigadores, responsables de producto y líderes de seguridad muestra cómo la creadora de ChatGPT está dejando atrás su etapa de laboratorio para convertirse en una corporación tecnológica de alcance global, pero también, denota el miedo y las críticas de esa industria sobre un correcto desarrollo e implementación de la inteligencia artificial. El fenómeno de OpenAI también alcanza a competidores como Anthropic.La competencia por dominar la inteligencia artificial no solo se libra mediante modelos más potentes, inversiones multimillonarias y nuevos productos.
También, se disputa en los pasillos de las compañías, donde científicos, responsables de seguridad y altos ejecutivos deciden si permanecen, se marchan a un rival o crean sus propias empresas.OpenAI es el caso más visible. La organización que nació en 2015 como un laboratorio sin fines de lucro ha atravesado durante los últimos años una sucesión de renuncias, licencias y reestructuraciones que transformaron casi por completo su primera línea de liderazgo.No todas las salidas ocurrieron por el mismo motivo ni pueden interpretarse automáticamente como una rebelión contra Sam Altman. Algunas estuvieron relacionadas con diferencias sobre seguridad; otras, con el cierre de proyectos, problemas de salud, nuevas oportunidades o decisiones personales.
Sin embargo, vistas en conjunto, permiten identificar un cambio más profundo: OpenAI ya no funciona únicamente como un espacio de investigación, sino como una compañía que necesita vender productos, asegurar infraestructura, atender empresas y responder a inversionistas. Pero detrás de esto, las críticas al uso de la IA con la sociedad. Y la privacidad.Tres nombres resumen especialmente esa transformación: Ilya Sutskever, Mira Murati y Brad Lightcap.De los científicos a los ejecutivos comercialesIlya Sutskever fue uno de los cofundadores de OpenAI, su científico jefe y una de las figuras más influyentes en el desarrollo de sus modelos.
Summary from source