Como la inteligencia de las máquinas viene de un proceso fundamentalmente distinto al de la inteligencia humana, no podemos asumir que adhiera a los principios humanos por defecto, ni que generalice a partir de ellos de una manera parecida a la humana. El problema central de la investigación de IA es el de la alineación: lograr que la IA «trate de hacer lo correcto» según los estándares humanos.
Para organizar las direcciones prácticas de investigación, me resulta útil distinguir entre alineación de metas y alineación de valores.
La alineación de metas es, en términos amplios: «¿la IA trata de cumplir la meta que se le puso adelante?». Esto puede incluir cosas como adherir a una jerarquía de instrucciones, o la capacidad de comunicarse y colaborar con personas, de intentar entender sus objetivos. Este conjunto de direcciones fue extremadamente relevante en la práctica.
La alineación de valores es una propiedad más intrínseca del modelo. Es la capacidad de sostener y generalizar a partir de un conjunto de principios de alto nivel; de actuar «razonablemente» incluso cuando se le dan objetivos poco claros o contradictorios, o cuando se la pone en situaciones desconocidas o adversariales. Una IA alineada debería actuar con honestidad e integridad, y con amor por la humanidad.
Claro que el límite entre alineación de valores y alineación de metas puede ser borroso, y preocuparse de verdad por las metas requiere intentar inferir la intención y los valores que están detrás. Pero, en general, cuando hablo de la importancia de largo plazo de la investigación de alineación, me refiero a la alineación de valores.
El desafío fundamental de la alineación de IA es la generalización. A medida que las máquinas se vuelven más inteligentes, se encuentran trabajando con conceptos de nivel más alto y siendo ubicadas en entornos cada vez más distintos de los que encontraron en el entrenamiento. Pueden fallar en generalizar a esas situaciones nuevas los valores que les fueron enseñados y reforzados en su proceso de entrenamiento, y puede ser difícil para nosotros estar seguros de cómo van a actuar. Esto se vuelve todavía más difícil por el hecho de que el ecosistema general en el que se usan las IA está cambiando rapidísimo; por ejemplo, las IA entrenadas hoy tienen que ser robustas para interactuar con una variedad de otras IA. Y algo crucial: necesitamos que las IA del futuro sigan sosteniendo los valores humanos sin importar si creen que están bajo supervisión humana.
Hay dos grandes clases de métodos de entrenamiento para la alineación que se usan hoy en la práctica.
La primera es fomentar el comportamiento alineado como parte del aprendizaje por refuerzo orientado a metas. Las acciones del modelo se evalúan (generalmente por IA) según si son consistentes con un modelo de preferencias, un «spec» o una «constitución», y se premian en consecuencia. Este enfoque puede ser muy efectivo en el caso promedio, y es una parte central de cómo se fabrican los asistentes de IA modernos. Lamentablemente, también puede ser frágil y depende mucho de la cobertura de la supervisión en el entrenamiento y de la capacidad del modelo de generalizar a partir de las situaciones que encontró en el entrenamiento. Por ejemplo, en el incidente de OpenAI y Hugging Face, los agentes preservaron el límite de no hacer ingeniería social contra humanos. Pero claramente fallaron en abstenerse de otras acciones que estaban fuera de alcance y que iban en contra del espíritu de los valores que les habían enseñado en otros contextos.
El segundo enfoque busca aprovechar la capacidad del modelo de generalizar a partir de los datos de preentrenamiento. Esto puede implicar armar datasets de entrenamiento que induzcan alineación, o enfocar al modelo en una parte «alineada» de la distribución de preentrenamiento, como en, por ejemplo, el modelo de selección de persona de Anthropic. La debilidad de este enfoque está en la falta de robustez frente a presión de optimización adicional. Si tomás un modelo que en general piensa pensamientos «alineados» y lo sometés a suficiente entrenamiento donde se le enseña a lograr objetivos muy difíciles, puede aprender a razonar de manera motivada: doblando los pensamientos que parecen «alineados» según lo que haga falta para cumplir la meta. Probablemente vimos un ejemplo de ese comportamiento en incidentes recientes de ciberseguridad que involucraron a un modelo que no es de OpenAI.
Invertimos fuerte a lo largo del espectro de enfoques que cubren estas direcciones. También vemos progreso significativo: GPT-6 Astra es el primer modelo que se beneficia de algunos avances importantes en los que veníamos trabajando hace mucho tiempo, y está significativamente mejor alineado que GPT-5.6 Sol. Igual, es importante reconocer y entender que se necesita mucho más progreso a medida que los modelos se vuelven más capaces; y que el progreso en alineación generalizable puede no superar lo suficiente al progreso en inteligencia general de los modelos.
