Siete principios
El método detrás de todo lo que hay en este sitio: operar agentes de IA para que los errores sigan siendo pequeños, y dejar que los mismos controles produzcan la evidencia que exige el cumplimiento. Como primer paso, consulte Trabaje conmigo.
Los agentes se equivocarán.
Suponga que cualquier agente puede equivocarse o ser manipulado, y diseñe de modo que un error no pueda llegar lejos.
Los sistemas críticos para la seguridad se construyen así. La cuestión no es si un agente se equivoca, sino qué puede alcanzar su error.
Qué cuesta. Esfuerzo en controles para fallos que quizá nunca lleguen, y un trabajo más lento en ciertos puntos.
Artículo: hacer que un AI World funcione y se mantenga conformePruebe el laboratorio de compuertas
Los controles estrictos superan a las buenas intenciones.
El aislamiento en sandbox y las credenciales limitadas protegen más que las instrucciones o los archivos de indicaciones.
Una regla en un prompt pide a un agente que se comporte. Un control integrado en el modo en que el agente se ejecuta no pide nada. Trate a los agentes como operadores capaces pero falibles.
Qué cuesta. Menos libertad para el agente: lo que un control prohíbe requiere una persona o una nueva regla.
Tema: primero los controles estrictosDiseño: el agente de host diminuto
Compuerta, aislamiento, registro.
Nada importante cambia sin una compuerta; lo que debe estar separado permanece separado; cada paso deja un registro que otra persona puede seguir.
Los mismos tres controles se aplican en la web, dentro de una empresa y en el laboratorio donde se construyen los agentes. Una compuerta es una revisión independiente vinculada al cambio exacto, más una persona que lo aprueba.
Qué cuesta. Demoras y fatiga de aprobación. Ponga compuertas a las acciones de consecuencias y registre el resto.
Artículo: tres capas, un mismo conjunto de controlesProyecto: núcleo e instanciasProyecto: compuertas de revisión y fusión
Las personas son responsables de las decisiones y de la evidencia.
Los agentes hacen el trabajo previo; las personas deciden y son responsables de la evidencia.
El resumen que hace un agente de su propio trabajo es un dato, no una prueba. Compárelo con el sistema de registro antes de repetirlo, y deje cada decisión en manos de una persona a quien se pueda preguntar por ella.
Qué cuesta. Las personas se convierten en el cuello de botella: el tiempo del responsable marca el ritmo.
El cumplimiento es un subproducto del buen trabajo.
La evidencia operativa debería surgir del propio trabajo, de modo que reunirla y comprobarla pueda automatizarse.
Cuando los controles que hacen funcionar un sistema son los que un auditor pide ver, el cumplimiento deja de ser un segundo sistema encima. El alcance, el apetito de riesgo y la rendición de cuentas siguen en manos de las personas.
Qué cuesta. La recopilación automática no sustituye el criterio sobre el alcance y el riesgo.
Guía: los caminos hacia el cumplimientoTema: cumplimiento como automatizaciónPresentación: el AI World
Las relaciones son datos.
Un requisito, un control, su evidencia, un riesgo y un hallazgo van juntos como registros enlazados con historial.
Escriba un control una vez y enlácelo con cada requisito al que responde; una brecha aparece como un requisito sin nada detrás. Registre los cambios como eventos, para que el pasado pueda releerse.
Qué cuesta. Los enlaces requieren mantenimiento, y un enlace obsoleto es peor que una fila obsoleta.
Artículo: cumplimiento como grafoProyecto: una plataforma GRC sobre un solo grafo
Muestre el método, no la instalación.
El método se comparte abiertamente; los nombres, los servidores y los datos de la empresa, no.
Todo lo que no es nuestro es un enlace, no un archivo. Lo que se muestra puede comprobarse y aprovecharse; lo privado sigue siendo privado, y nada se hace público antes de que su responsable apruebe el texto exacto.
Qué cuesta. Los lectores no pueden comprobar lo que no ven, de modo que la confianza descansa en el método y en la evidencia compartida por otras vías.
La biblioteca: enlaces, no archivosTema: datos dentro de límites
Dónde deja de funcionar esto
Ningún conjunto de controles elimina estos riesgos. Este enfoque los reduce.
- Un agente aún puede ser engañado dentro de lo que se le permite hacer. Una compuerta limita el daño; no hace que el agente acierte.
- Los revisores y los análisis pueden equivocarse o ser eludidos. Un análisis de marcadores pasa por alto lo que no fue diseñado para buscar.
- Una persona que aprueba todo deja de leer. Ponga compuertas a las acciones de consecuencia y registre el resto.
- La separación de funciones exige independencia real: quien escribe un cambio no debe aprobarlo.
- El sistema que registra la evidencia también ha de ser digno de confianza. El muestreo independiente y los registros a prueba de manipulación reducen esa dependencia; no la eliminan.
- Un diseño en un laboratorio no es un entorno operativo. Diga cuál es cuál.
Palabras usadas aquí
- Agente
- Software que actúa en nombre de alguien y usa un modelo de lenguaje para decidir sus pasos.
- Compuerta
- Punto en el que un cambio se detiene hasta que una comprobación independiente y una persona lo aprueban.
- Aislamiento
- Mantener separado lo que debe estar separado: credenciales, entornos, datos.
- Evidencia
- Registros de lo que ocurrió y de quién decidió, conservados por defecto.
- Lista de permitidos
- Una lista corta de lo único que un componente puede hacer. Todo lo demás se rechaza.
- Análisis de marcadores
- Una comprobación automática que bloquea un cambio cuando contiene datos que no deben salir.
- Grafo
- Registros enlazados entre sí, de modo que las relaciones también son datos.
- Proyección
- La parte del grafo que se muestra a una persona, determinada por su rol.
- Núcleo e instancia
- Un cuerpo compartido de herramientas y una copia de trabajo independiente para cada organización.
- Web Agéntica
- La web usada por agentes de software que actúan por las personas.
- Laboratorio de desarrollo
- El entorno donde se construyen y ejecutan los agentes.