Anthropic le abrió la cocina a seis auditors externos: pueden ver todo y publicarlo sin pedir permiso

¿Dejarías entrar a un desconocido a revisar tu casa, con llave y todo? Eso, más o menos, es lo que acaba de hacer Anthropic con seis investigadores de METR, una organización sin fines de lucro que se dedica a evaluar sistemas de inteligencia artificial. Les dio computadoras de la empresa, un escritorio en sus oficinas y las mismas herramientas internas que usa cualquier empleado del área de evaluación de riesgos. Y algo clave: pueden hablar con el personal como si fueran compañeros.

Hasta ahora, cuando una empresa decía que tenía un modelo “seguro”, había que confiar o leer papers. Con este esquema, los auditors externos pueden abrir el tambor, mirar adentro y contar lo que encontraron sin que la compañía les tape la boca.

Tres niveles, como una tranquera con tres pasadores

• Nivel bajo: revisiones puntuales, con pedido de autorización antes de publicar.
• Nivel intermedio: más información y libertad para publicar sin pedir permiso.
• Nivel alto: acceso equivalente al de un empleado y publicación libre, sin que Anthropic pueda bloquearla.

METR está sola en el nivel alto, por ahora. Tiene un escritorio en Anthropic, pero el resto de su equipo trabaja afuera, sin mezclarse con el personal de la empresa. El arreglo es parecido al de un veterinario rural que atiende en el campo del ganadero: ve los animales de cerca, pero no se lleva la tropa a su casa.

Qué puede mirar y qué no

El acceso tiene tres cortafuegos definidos: datos de clientes, información protegida por secreto profesional entre abogado y cliente, y detalles sobre la arquitectura de los modelos. Anthropic puede pedir que se redacten esos puntos, pero METR queda libre para decir públicamente si le parece que esa redacción estaba justificada o no.

Por qué tanto lío

Anthropic dice que una auditoría sirve si se cumplen cuatro condiciones: que el auditor tenga el conocimiento técnico para detectar cuándo un modelo finge estar alineado; que sea independiente económica y operativamente; que el acceso vaya más allá del modelo e incluya cómo se entrenó y cómo funcionan sus mecanismos de seguridad; y que pueda publicar sin restricciones previas. La compañía reconoce que no puede hacer pública toda su información de seguridad porque parte podría ser útil para actores maliciosos o es sensible desde lo comercial. Por eso eligió darle acceso profundo a un grupo chico, con acuerdos exigibles, en vez de abrir todo a todo el mundo.

El equipo de METR ya había revisado varios informes de riesgo de Anthropic durante el año anterior, antes de subir a este nivel ampliado. Si te sirve, probalo: la próxima vez que una empresa te diga que su IA es “segura”, fijate si hay alguien externo, con acceso real, que pueda desmentirla o confirmarlo.