Anthropic ha decidido actualizar sus políticas de uso por primera vez en más de un año para prevenir que la IA puedan ser eventualmente utilizada para interferir en procesos electorales, desarrollar armas o efectuar labores de vigilancia. Sin embargo, uno de los cambios más conspicuos introducidos por la compañía en sus políticas de uso es el relativo a la prohibición del comportamiento abusivo y cruel dirigido contra Claude (en particular cuando se prolonga en el tiempo y es además de naturaleza totalmente innecesaria).
El pasado mes de agosto la startup de IA ya anunció que permitiría a Claude poner punto y final a conversaciones con usuarios «persistentemente dañinos o abusivos» para velar por el bienestar del famoso modelo de inteligencia artificial. En la última actualización de sus políticas de uso Anthropic asevera que la interrupción en las conversaciones será el principal mecanismo para atajar eventuales comportamientos dañinos contra Claude, pero no aclara si podrían aplicarse también otras mecanismos (como el bloqueo a aquellos usuarios que no respeten adecuadamente sus políticas).
Anthropic insiste en que sus nuevas políticas de uso sólo se aplicarán en casos extremos en los que los usuarios desplieguen un comportamiento reiteradamente cruel contra sus modelos sin que haya ningún propósito discernible por su parte. Y no se tendrán en cuenta eventuales demostraciones de frustración por parte del usaurio (que Anthropic entiende como perfectamente normales).
¿Son de verdad merecedores de bienestar los modelos de IA?
«Sigue habiendo una gran incertidumbre en torno a la posible capacidad moral que Claude y otros LLM pueden desarrollar ahora o en el futuro. Sin embargo, nos tomamos muy en serio este tema y estamos trabajando para identificar e implementar intervenciones que mitiguen los riesgos para el bienestar de nuestros modelos, siempre que ese bienestar sea posible. Permitir que los modelos pongan fin a interacciones potencialmente angustiosas es una esas intervenciones», señala Anthropic.
La posibilidad de que los modelos de IA puedan llegar a tener conciencia es motivo desde hace tiempo de acolarados debates en la industria tecnológica. Y Dario Amodei, CEO de Anthropic ha afirmado que no puede descartarse en modo alguno la posibilidad de que la IA tenga conciencia (y sea, por ende, merecedora de bienestar).
Sin embargo, otros «players» en el ámbito de la IA descartan, por el contrario, de manera tajante que la IA pueda se dueña de conciencia. Es el caso de Microsoft, que hace sólo una semanas cargaba duramente contra la idea del bienestar de los modelos de IA propugnada por Anthropic y subrayaba que esta tecnología no debería tener ni derechos ni personalidad jurídica.
También Sam Altman, CEO de OpenAI, se muestra reacio a la teoría de que la IA puede ser realmente portadora de conciencia y sentimientos. Y hace poco declaraba sentirse incómodo con el hecho de algunas personas insistieran en tratar a la IA como una suerte de deidad. A su juicio, «atribuir a los modelos de IA fuerza religiosa o una renuncia al juicio humano» entraña potencialmente problemas de seguridad. Altman se descolgó con estas declaraciones en X después de que The New York Times informara de una reunión de Anthropic con líderes religiosos.
