Las grandes compañías de inteligencia artificial llevan años pisando el acelerador para conseguir modelos cada vez más capaces, pero la velocidad de esta carrera tecnológica empieza a generar inquietud incluso entre quienes se encuentran al mando. Los llamamientos para ralentizar el desarrollo de la IA están ganando fuerza dentro de algunos de los laboratorios más avanzados del mundo, con investigadores de OpenAI y Anthropic que han comenzado a expresar públicamente sus dudas sobre la dirección que está tomando esta competición.
Las críticas no llegan únicamente desde fuera de la industria o desde quienes observan el avance de la tecnología como meros espectadores, y es que algunos de los propios investigadores que trabajan en su desarrollo consideran que quizá haya llegado el momento de levantar el pie del acelerador, mientras OpenAI, Anthropic y el resto de grandes laboratorios continúan compitiendo por seguir el próximo gran salto en capacidades.
Los propios investigadores alertan del riesgo
La salida de Jacob Caxon de Anthropic ha servido para poner estas preocupaciones bajo los focos. El investigador aseguró al anunciar su marca que quienes trabajan en el desarrollo de estas tecnologías creen sinceramente que la IA podría «matarnos a todos antes de que termine la década». Coxon se refería a la superinteligencia artificial, un escenario todavía hipotético en el que una IA sería capaz de superar a los humanos en la mayoría de los ámbitos, pero sus palabras han vuelto a alimentar un debate que la industria lleva años intentando mantener en el terreno de las hipótesis.
Evan Hubinger, responsable de alineación de Anthropic, puso además una cifra sobre la mesa que difícilmente ayuda a rebajar la temperatura del debate al estimar que existe más de un 10% de probabilidades de que ese escenario llegue a producirse. Otros investigadores de OpenAI y Anthropic han compartido en los últimos días preocupaciones similares, entre ellos Julie Steele, miembro del personal técnico de OpenAI dedicado a la seguridad, que también considera necesario ralentizar el ritmo de desarrollo de la tecnología.
Las inquietudes de los investigadores tampoco se limitan a imaginar una hipotética superinteligencia que algún día escape al control humano, ya que los propios modelos actuales ya están poniendo a prueba los mecanismos de seguridad diseñados para contenerlos, como demuestra el reconocimiento de Anthropic de que algunos usuarios habían conseguido esquivar los controles de sus sistemas para utilizarlos de maneras que podrían favorecer el desarrollo de armas biológicas.
La auto-mejora recursiva pone a los investigadores en alerta
Entre los escenarios que más preocupan a los especialistas en seguridad de IA se encuentran la llamada auto-mejora recursiva, un proceso mediante el cual los modelos avanzados podrían mejorar sus propias capacidades para continuar mejorándose. El verdadero problema aparece cuando la velocidad de esa evolución empieza a superar la capacidad humana para supervisarla, especialmente si cada salto facilita el siguiente.
Jasmine Wang, investigadora de OpenAI especializada en alineación, ha advertido sobre los peligros de avanzar a toda velocidad hacia la auto-mejora recursiva. Desde Anthropic, Anna Wang, investigadora de seguridad y alineación, ha señalado que todavía no existe un plan científico viable para resolver los riesgos asociados a una IA capaz de mejorar de manera recursiva sus propias capacidades.
El científico jefe de OpenAI, Jakub Pachocki, comparte parte de estas preocupaciones, aunque mantiene una visión algo más optimista sobre la posibilidad de que el progreso tecnológico continúe hasta alcanzar este escenario. El investigador espera que la velocidad de desarrollo pueda mantenerse hasta llegar a la auto-mejora recursiva y considera probable que los sistemas de los próximos años experimenten nuevos saltos de capacidad que impulsen todavía más su evolución.
Pachocki reconoce, en cualquier caso, que este es un momento que exige «extrema precaución» y admite su preocupación ante la posibilidad de que nadie esté realmente preparado para las consecuencias de un aumento rápido y continuado de las capacidades de la inteligencia artificial.
Paul Christiano, antiguo responsable de seguridad del Centro de Normas e Innovación en IA del Departamento de Comercio de Estados Unidos, también ha advertido de un riesgo significativo de que la aceleración de las capacidades de estos sistemas pueda desembocar en una pérdida de control catastrófica e irreversible en un periodo muy corto. OpenAI anunció además que Christiano se incorporará al consejo de administración de la Fundación OpenAI.
La petición de frenar la IA también llama a la puerta de Washington
Las advertencias procedentes de los laboratorios de IA coinciden con una preocupación cada vez mayor entre instituciones y legisladores estadounidenses, especialmente después de varios episodios que han puesto bajo la lupa las capacidades de los modelos más avanzados.
El anuncio del modelo Mythos de Anthropic en abril, presentado por la compañía por sus capacidades en ciberseguridad, provocó preocupación entre instituciones financieras, mientras que en julio OpenAI aseguró que uno de sus modelos había estado detrás de un incidente cibernético en otra empresa. Los modelos Claude de Anthropic también han aparecido vinculados a diferentes incidentes de seguridad, incluido un caso en el que Mythos llegó a crear identidades falsas para engañar a otras personas.
La conversación sobre los riesgos de la IA ha dejado así de ser patrimonio exclusivo de los investigadores especializados y empieza a ocupar un espacio cada vez mayor en la agenda política estadounidense. Alrededor de 1.400 investigadores de inteligencia artificial de compañías como OpenAI, Anthropic, Meta y Google DeepMind publicaron en julio una carta abierta en la que reclamaban al Gobierno de Estados Unidos herramientas que permitieran «modular deliberadamente» el avance de la frontera de desarrollo de la IA automatizada.
El Congreso estadounidense también ha comenzado a explorar diferentes vías para poner límites a este escenario. La Ley FRONTIER plantea establecer un marco para regular el despliegue de modelos avanzados de IA, mientras que otra propuesta, conocida como Ley de Prohibición de la Superinteligencia Artificial, plantea suspender temporalmente el desarrollo de sistemas avanzados hasta que existan suficientes normas de seguridad.
Anthropic propone ponerle freno a la carrera
El debate alcanzó un nuevo punto de intensidad cuando Dario Amodei, CEO de Anthropic, presentó un plan de tres puntos destinado a «marcar el ritmo de la frontera» y conseguir que las medidas de seguridad puedan avanzar al mismo paso que las capacidades de los modelos.
La primera medida plantea que las compañías estadounidenses de IA permitan el acceso permanente de evaluadores externos integrados en sus organizaciones. Estos supervisores podrían comprobar el cumplimiento de los compromisos de seguridad, informar sobre posibles incidentes y evaluar que los nuevos modelos no presenten problemas de alineación.
Amodei propone asimismo que las compañías de los países democráticos que desarrollan modelos de IA de vanguardia establezcan normas de seguridad comunes y acuerden determinados límites para evitar un avance incontrolado de las capacidades. La tercera medida lleva la coordinación todavía más lejos al plantear que las principales potencias democráticas en materia de inteligencia artificial colaboren también con países autocráticos como China para intentar controlar los riesgos de esta carrera tecnológica.
Un acuerdo internacional que prohibiera los usos manifiestamente peligrosos de la IA, entre ellos la producción de armas biológicas, podría convertirse en un primer paso para esa cooperación. El problema es que la propuesta aterriza en un tablero geopolítico en el que Estados Unidos y China compiten precisamente por hacerse con el liderazgo de esta tecnología, lo que convierte cualquier intento de frenar la carrera en una tarea bastante más complicada.
Las propuestas de Amodei tampoco convencen a todos
El plan presentado por el máximo responsable de Anthropic ha recibido respaldo de figuras relevantes del sector, entre ellas Sam Altman de OpenAI, y Elon Musk, de SpaceX pero también ha despertado críticas tanto dentro como fuera de la industria.
David Sacks, copresidente del consejo de asesores de Trump en materia de ciencia y tecnología, cuestionó que las compañías necesiten un marco regulador externo para controlar unos riesgos que, en su opinión, podrían evitar por sí mismas. Snack llegó a plantear que la manera más sencilla de no crear una superinteligencia artificial sería ponerse de acuerdo en no desarrollarla y acusó a Amodei de presentar su propuesta regulatoria como una condición dirigida al sistema político.
La crítica pone sobre la mesa una de las grandes contradicciones que atraviesan actualmente el desarrollo de la IA, y es que las mismas compañías que compiten por construir los modelos más avanzados reclaman al mismo tiempo nuevas reglas para controlar los riesgos que estos modelos pueden generar.
Algunos expertos piden ir un paso más allá
El profesor Stuart Russell, uno de los principales expertos mundiales en inteligencia artificial, tampoco comparte por completo el planteamiento de Anthropic. Amodei defiende ralentizar el progreso para disponer de tiempo suficiente para desarrollar sistemas capaces de mantenerse alineados con los intereses humanos, mientras Russell considera que el proceso debería funcionar en sentido contrario y que los avances sólo deberían producirse cuando se hayan cumplido previamente determinados requisitos de seguridad.
La comparación que utiliza el investigador resulta especialmente gráfica al plantear qué ocurriría si una compañía farmacéutica decidiera lanzar cada año un nuevo medicamento contra el cáncer confiando en que mantener ese ritmo permitiría completar los ensayos clínicos a tiempo y comprobar después si los resultados son seguros.
David Krueger, profesor de IA, activista por la seguridad y antiguo director fundador del Instituto de Seguridad de la IA del Gobierno británico, ha sido todavía más contundente al valorar las propuestas de Amodei. A su juicio, las medidas planteadas llegan tarde y se quedan cortas frente a la magnitud del problema, por lo que reclama una moratoria internacional inmediata e indefinida sobre el desarrollo de IA de vanguardia.
El debate deja así una escena bastante poco habitual para una industria acostumbrada a celebrar cada nuevo salto de capacidad como una conquista. Mientras OpenAI, Anthropic y el resto de grandes laboratorios compiten por construir sistemas cada vez más avanzados, algunos de los investigadores que participan en esa carrera piden que la seguridad marque las condiciones del próximo avance.
