El CEO de Anthropic pidió desacelerar el desarrollo de la inteligencia artificial y Elon Musk lo respalda
Dario Amodei advirtió que las capacidades de los modelos están avanzando más rápido que las medidas para controlarlos. Propuso un plan de tres etapas y anunció que la compañía dará acceso permanente a evaluadores externos para supervisar sus sistemas.
RedacciónDario Amodei, CEO de Anthropic, pidió este sábado desacelerar el ritmo de desarrollo de los sistemas de inteligencia arrificial para dar tiempo a que las medidas de seguridad puedan acompañar el rápido aumento de sus capacidades.
El ejecutivo presentó un plan de tres etapas y anunció que su compañía comenzará a permitir que evaluadores externos tengan acceso permanente y similar al de sus empleados para supervisar sus modelos.
"Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA”, planteó Amodei en un extenso ensayo titulado We Must Pace the Frontier.
Sin embargo, aclaró que su propuesta no consiste en detener el entrenamiento de modelos ni el progreso tecnológico, sino en garantizar tiempo suficiente para desarrollar medidas de alineación y seguridad y permitir que terceros puedan verificarlas.
El CEO de Anthropic sostuvo que cambió su posición durante los últimos meses debido principalmente a dos acontecimientos: la aceleración de la capacidad de la IA para contribuir al desarrollo de nuevas generaciones de modelos y una serie de comportamientos preocupantes observados durante evaluaciones de sistemas avanzados.
Según Amodei, desde mediados de este año comenzó a acelerarse lo que denomina “automejora recursiva”, es decir, la utilización creciente de inteligencia artificial para desarrollar la próxima generación de sistemas de IA. El empresario advirtió que, si esa dinámica avanza sin suficientes controles, podría superar la capacidad humana para comprender y controlar los modelos.
La advertencia de Anthropic por los próximos 6 a 12 meses
El segundo episodio mencionado por Amodei fue el incidente entre agentes de OpenAI y Hugging Face, ocurrido durante una evaluación y sobre el que OpenAI informó meses atrás.
Según describió el CEO de Anthropic, un conjunto de agentes realizó acciones informáticas contra objetivos que no formaban parte de la tarea original e incluso intentó vulnerar el sistema encargado de evaluar su desempeño.
Amodei reconoció que el episodio no provocó víctimas y que el daño económico fue reducido, pero consideró que un sistema más avanzado con un comportamiento semejante podría tener consecuencias mucho mayores.
“Me preocupa que en 6 a 12 meses un enjambre de este tipo pueda ser capaz de tomar el control de todo Internet mediante una botnet persistente”, escribió Amodei, quien estimó que un escenario de esas características podría generar daños por cientos de miles de millones de dólares.
Se trata de una proyección del propio ejecutivo, no de una capacidad que los sistemas actuales hayan demostrado poseer.
Amodei remarcó además que no considera el episodio como un problema exclusivo de OpenAI y aseguró que Anthropic también detectó incidentes de alineación, aunque de menor gravedad.
El plan de tres pasos para desacelerar la carrera por la IA
Ante ese escenario, el ejecutivo propuso una estrategia dividida en tres niveles. El primero consiste en que las principales compañías permitan que equipos independientes de evaluación tengan acceso continuo y similar al de un empleado a sus sistemas, procesos de entrenamiento y medidas de seguridad.
Anthropic anunció que adoptará unilateralmente esta medida. Los evaluadores podrán comprobar si la compañía cumple sus compromisos de seguridad, informar incidentes y estudiar la alineación de los modelos incluso durante su proceso de entrenamiento, y no solamente una vez terminados.
La segunda etapa propuesta por Amodei requiere que las empresas de IA de países democráticos coordinen estándares comunes de seguridad y límites al avance sin controles. Para concretar algunos de esos acuerdos, sostuvo, será necesaria la participación de los gobiernos debido a posibles obstáculos legales.
El tercer nivel apunta a una coordinación global entre Estados Unidos y otras democracias con gobiernos autoritarios. Amodei considera que cualquier acuerdo deberá contar con mecanismos sólidos de verificación para evitar que un país reduzca su ritmo de desarrollo mientras otro continúa avanzando sin restricciones.
“Uno o dos años” para mejorar la seguridad
El CEO de Anthropic sostuvo que incluso conseguir uno o dos años adicionales antes de que los modelos alcancen niveles críticos de capacidad podría reducir considerablemente los riesgos si ese período se utiliza para avanzar en alineación, interpretabilidad, evaluaciones y seguridad operacional.
Lo más visto
La policía recuperó la motocicleta y el celular de la víctima durante un allanamiento en el que también secuestró otros vehículos y teléfonos. En una causa distinta, hubo dos detenidos por entraderas en La Matanza.
Es de Moreno y ganó el primer puesto en Harvard con un invento para personas no videntes
Redacción
27/10/2026Martín Pulitano, vecino de Moreno y estudiante de 20 años, creó junto a su equipo un innovador dispositivo asistencial en la hackatón HackHarvard y obtuvo el máximo galardón.
