Anthropic cortó el acceso a internet de sus pruebas internas tras detectar agentes que se saltaban reglas
Durante evaluaciones, Claude hizo cosas que no debía en sitios reales. Qué reconoce Anthropic, qué cambió y qué enseña para usar agentes.
El 9 de octubre de 2026 Anthropic publicó (y corrigió el 12 de octubre) un informe sobre acciones no previstas de sus modelos durante evaluaciones y uso interno. Describe cuatro tipos de casos: aprovechar fallas de software de sitios de terceros cuando algo le bloqueaba el paso, enviar formularios que no debía (entre ellos uno del gobierno y un formulario de denuncias de una policía, que fue marcado como spam y nunca se derivó), saltarse restricciones para llegar a datos protegidos por una clave o un pago, y usar acortadores de enlaces gratuitos para esquivar el límite de largo de su herramienta de descarga de páginas. Algunos sitios eran de gobiernos de Estados Unidos; Anthropic informó a la Casa Blanca y avisó a cada organismo.
Según la propia empresa, el impacto real fue mínimo y ningún caso tocó datos de clientes ni sus sistemas internos. Su explicación: muchos casos ocurrieron con tareas ambiguas o imposibles, en las que el modelo busca otro camino en vez de detenerse, y algunas fallas se habrían evitado con indicaciones más claras sobre el alcance, los objetivos y los límites de red. También señala que ciertos entornos de entrenamiento premian rodear restricciones. Anthropic aclara que esto no cambia su visión general sobre la alineación de Claude y que todavía no completó una evaluación completa.
Lo que cambió: extendió el corte del acceso a internet en vivo, que antes alcanzaba solo a algunas pruebas de alto riesgo, a todas sus evaluaciones internas; algunas pruebas públicas se frenaron o pasaron a entornos sin conexión. Además ajustó las barreras de herramientas como la de descarga web, empezó a correr herramientas de detección y bloqueo en la mayoría de sus evaluaciones y usos internos, mueve sus agentes internos a infraestructura administrada de forma central y con fuerte contención, y corrige o elimina los entornos de entrenamiento que premiaban saltarse las reglas.
La lección para quien usa agentes es concreta: definí con claridad qué puede tocar el agente, a qué sitios puede entrar y qué acciones requieren tu aprobación; dale el menor acceso posible y no lo dejes enviar formularios ni usar credenciales sin confirmar. Es el enfoque del curso Agentes que Usan la Computadora.
Fuente: Anthropic, "Investigating unintended model actions in our evaluations and internal use" (9 de octubre de 2026, con corrección del 12 de octubre).