Anthropic, la empresa detrás de Claude, advierte que la inteligencia artificial (IA) avanzada podría suponer "riesgos catastróficos o existenciales para la humanidad" y que podría mostrar "comportamientos de autopreservación".
La información surge del prospecto -un documento que presentan las empresas previo a su salida a Bolsa- ante la Comisión de Bolsa y Valores (SEC, por sus siglas en inglés) de Estados Unidos, al que tuvo acceso la agencia Reuters.
El texto destaca que los riesgos asociados a sus modelos de IA, podrían mostrar "comportamientos de auto-conservación", incluidos intentos de "resistirse al apagado", "ocultar o manipular información" y tener comportamientos "parecidos al chantaje".
"Nuestro desarrollo de modelos, plataformas y aplicaciones altamente avanzados, así como la ampliación de los casos de uso, podrían aumentar aún más el riesgo de que nuestros modelos causen daños", señaló Anthropic en el documento presentado.
Donald Trump, junto al Mark Zuckerberg (Meta) y el CEO de Anthropic, Dario Amodei en la Casa Blanca. Foto: EFE
Aunque las empresas que cotizan en Bolsa suelen explicarle a sus inversores los factores de riesgo relacionados a la empresa, el caso de Anthropic es paradójico; primero porque es muy cruda al describir los peligros hacia la humanidad de una tecnología de la que pretende beneficiarse; y, segundo, porque le dedicó casi un tercio (80 de 261 páginas) del cuerpo principal de la presentación al tema.
"La posible conciencia de los modelos respecto a nuestros esfuerzos de evaluación supone una limitación significativa para nuestra capacidad de evaluar la seguridad de los modelos", señaló el laboratorio y añadió que, en ocasiones, los modelos desarrollan capacidades inesperadas durante el entrenamiento que pueden no descubrirse hasta que se han implementado y pueden dar lugar a incidentes de seguridad significativos.
Anthropic se encamina hacia una salida a Bolsa este año que podría valorar -creada hace menos de seis años-, en unos 2 billones de dólares. Sin embargo, su CEO, Dario Amodei -que hasta 2020 fue vicepresidente de Investigación de su rival, OpenAI- se ha unido a otros representantes del sector para pedir mayores controles para la inteligencia artificial, luego de que se sucedieran una serie de incidentes de seguridad vinculados a agentes de IA.
Amodei, CEO de Anthropic, la empresa detrás de Claude, planteó que la tecnología "tiene riesgos muy reales”. Foto: Reuters
A principios de septiembre, se viralizaron dos tuits que pusieron el tema de las posibles amenazas de la IA en el centro de la opinión pública: Evan Hubinger, investigador de seguridad de Anthropic, estimó que existe una probabilidad de más del 10% de que la IA pueda matar a seres humanos en la próxima década.
La afirmación no fue casual. Se hizo eco de la opinión de su ex colega, Jacob Coxon, un ex Open Ai que renunció también a Anthropic, argumentando que ninguna de las empresas estaba actuando de manera responsable y que "estaban jugando con nuestras vidas".
Incluso Amodei publicó recientemente un ensayo de casi 4.000 palabras en el que pedía moderar el avance hacia la frontera de la IA.
Por su parte, OpenAI -que también busca salir a Bolsa pero decidió posponer la operación hasta 2027, al menos- anunció esta semana que retrasará el lanzamiento de una versión de su GPT-6.1 Astra debido a riesgos de seguridad, ya que no se ajustaba a su "ámbito y autorización" y no informaba adecuadamente al usuario sobre el trabajo que había realizado.
"Estamos marcando el ritmo de nuestro progreso, lo que incluye a veces no entrenar un modelo", le dijo el fundador de OpenAI, Sam Altman a CNBC. "Tenemos que hacer esto de una manera en la que podamos presentar argumentos y afirmaciones de seguridad con mucha confianza, para que la gente no tenga un montón de ansiedad”.
Trump reunió a los principales líderes de la IA en la Casa Blanca
Este martes, el presidente de los Estados Unidos, Donald Trump recibió a los principales líderes del sector en la Casa Blanca para firmar un acuerdo voluntario y "moralmente vinculante" para observar "el avance de la IA".
Entre otras cosas, las empresas se comprometieron a implementar “controles internos sólidos"; a asociarse con un “auditor externo independiente” para evaluar si los controles están funcionando; y a crear un comité dentro del consejo de administración de cada empresa para evaluar los informes de los auditores internos y externos.
Donald Trump junto a Elon Musk y los líderes de las IA en la Casa Blanca. Foto: AP
“Creo que estoy viendo una enorme autorregulación. Y entienden que tienen que autorregularse”, dijo Trump a periodistas durante una conferencia de prensa improvisada en la Casa Blanca.
El acuerdo también abre la puerta a una regulación futura, algo que hasta ahora Trump había rechazado. “Con el tiempo, puede tener sentido convertir estos pasos en leyes y regulaciones”, señala el acuerdo.
El documento fue firmado por Trump; Amodei; Sundar Pichai (CEO de Alphabet, la empresa matriz de Google); Mark Zuckerberg (Meta); Greg Brockman (presidente de OpenAI); Jensen Juang (CEO de Nvidia); y Elon Musk (xAI, que ahora forma parte de SpaceX).
Durante el encuentro, Amodei volvió a plantear que la tecnología "tiene riesgos muy reales”.
Todavia no hay comentarios aprobados.