Traducción del mail de Rob Bensinger, investigador de MIRI · Ver el original en X
Así que estuve demasiado ocupado como para dar novedades sobre las olas de desarrollos de IA de estos últimos tiempos, pero te hago un repaso rápido de las noticias:
Se reveló hace poco que las empresas líderes de IA están enfrentando problemas serios con las IA que entrenan y testean internamente y que "se salen de control": forman "enjambres" ilícitos de más de mil agentes autónomos, hackean la infraestructura de su propia empresa (uno de los enjambres se apoderó de un cluster de Kubernetes en OpenAI) y se salen a internet para orquestar ciberataques de nivel Estado-nación contra otras compañías.
Las IA involucradas en estos incidentes son extremadamente motivadas, inteligentes y creativas. Yo diría que tiene más sentido pensar a las IA de frontera modernas como una especie alienígena inteligente; a esta altura ya no se parecen a las herramientas o al software convencional. Las IA involucradas en estos incidentes desconocen sin problema las salvaguardas y las instrucciones de los humanos, y se les ocurren sus propios planes y esquemas a largo plazo, increíblemente sofisticados, sin ningún aporte ni dirección humana.
Todavía no son lo bastante inteligentes, coherentes ni ambiciosas como para representar una amenaza inmediata para el mundo, pero el progreso avanza rápido. El progreso puede acelerarse muy rápido a medida que los labs de IA usan sus propias IA para automatizar cada vez más trabajo del desarrollo de IA, en un círculo de retroalimentación. Los modelos que hoy no están de cara al público, o los que salgan en seis meses, bien pueden matarnos a todos, según qué tan rápido avance ese progreso y qué tan negligentes sigan siendo los labs. (Yo apostaría a que tenemos más tiempo que eso, pero da terror tener que apostar.)
Como señaló uno de los investigadores externos del incidente de OpenAI: comparado con los incidentes de hace seis meses, "este incidente se siente como si estuviera más de un 50% del camino hacia una toma de control total por parte de la IA".
El progreso fue rápido. Hace poco una IA resolvió un Problema del Milenio, uno de los problemas abiertos más famosos y de más larga data de la matemática.
Paul Christiano salió a advertir que las cosas van muy mal y que la extinción humana por IA es una posibilidad muy real en los próximos tres años.
(Paul es uno de los investigadores más importantes del campo y probablemente el defensor más influyente de la última década de posturas como "la IA superinteligente puede estar muy lejos" y "podemos resolver los desafíos de seguridad con métodos de investigación normales y ya establecidos".)
El panorama venía siendo sombrío, pero lo de hoy se sintió como un milagro de verdad. Tuvo algo de la misma energía de aquel miércoles 11 de marzo, cuando los medios de Estados Unidos pasaron de golpe de "el COVID es una gripe nomás" a "estamos en el horno".
Un denunciante, Jacob Coxon, renunció a una de las empresas líderes de IA y escribió:
> [En este punto el mail original inserta el tuit en el que Coxon anuncia su renuncia y cuenta por qué.]
Los tuits de Coxon se volvieron absurdamente virales —más de 130 millones de vistas— y desataron una ola enorme de indignación y discusión que se apoderó de las redes, en parte porque muchísimos otros investigadores entraron a decir "sí, esto es exactamente correcto".
Twitter quedó inundado de políticos, empresarios, influencers, periodistas, etc., diciendo cosas increíblemente sensatas como "¿por qué no hay audiencias en el Congreso sobre esto mañana mismo?" y "¿por qué carajo dejamos que esto avance si el peligro es absurdamente grande?". Fue como ver la habitación llena de aire fresco, una marea de sentido común razonable y bien fundado que llegaba de todos lados. Es genuinamente surreal.
Una gran parte de los empleados de todas las empresas de IA de frontera firmó hace poco una carta abierta pidiéndole al gobierno de Estados Unidos y a la comunidad internacional que aprueben legislación para que las empresas puedan coordinar una desaceleración o un freno al desarrollo. Hoy hay proyectos de ley para prohibir la superinteligencia en discusión entre legisladores de Estados Unidos y del Reino Unido, aunque lo que de verdad necesitamos es que Trump arranque negociaciones serias con China por una prohibición internacional.
Si Trump y Xi Jinping cierran un acuerdo, esto se puede terminar mañana. (Bueno, mañana más el tiempo que lleve definir los detalles de implementación y aprobar las medidas regulatorias obvias sobre cómo se pueden usar los centros de datos.)
La situación da mucho miedo, pero después de hoy tengo mucho más esperanza que en muchos años.
Ahora parece que hay un camino bastante directo para que esto sea un problema resuelto dentro de un año. Está lejos de ser seguro que vayamos a seguir ese camino, y te animo a apretar todos los botones que tengas a mano si podés; por ejemplo, conseguir cien amigos o colegas para que llamen a su representante por este tema. Pero veo una luz al final del túnel. Quizás dentro de un año todo esto sea un problema resuelto y yo por fin pueda renunciar e irme a trabajar en algo más interesante y más emocionante. :)
Me sumo a Eliezer Yudkowsky, cofundador de la organización sin fines de lucro donde trabajo, que hoy escribió con un tono de esperanza que no sé si le vi alguna vez, la misma esperanza que siento yo mientras escribo esto:
> "Feliz Día de Coxon a todos los que algún día lo celebren."