Sept principes
La méthode derrière tout ce qui figure sur ce site : faire fonctionner les agents IA de façon que les erreurs restent petites, et laisser les mêmes contrôles produire les preuves dont la conformité a besoin. Pour un premier pas, voir Travailler avec moi.
Les agents se tromperont.
Partez du principe que tout agent peut se tromper ou être manipulé, et concevez de sorte qu'une erreur ne puisse pas aller loin.
Les systèmes critiques pour la sécurité sont construits ainsi. La question n'est pas de savoir si un agent se trompe, mais ce que son erreur peut toucher.
Ce que cela coûte. De l'effort en contrôles pour des défaillances qui n'arriveront peut-être jamais, et un travail plus lent par endroits.
Article : faire fonctionner un AI World et le garder conformeEssayer le laboratoire de barrières
Les contrôles stricts valent mieux que les bonnes intentions.
Le bac à sable, l'isolation et les identifiants limités protègent davantage que des prompts ou des fichiers d'instructions.
Une règle dans une consigne demande à un agent de bien se conduire. Un contrôle intégré à la façon dont l'agent fonctionne ne demande rien. Traitez les agents comme des opérateurs capables mais faillibles.
Ce que cela coûte. Moins de liberté pour l'agent : ce qu'un contrôle interdit exige une personne ou une nouvelle règle.
Thème : les contrôles stricts d'abordConception : le minuscule agent d'hôte
Barrière, isolation, enregistrement.
Rien d'important ne change sans barrière ; ce qui doit rester séparé le reste ; chaque étape laisse un enregistrement qu'une autre personne peut suivre.
Les trois mêmes contrôles s'appliquent sur le web, au sein d'une entreprise et dans le laboratoire qui construit les agents. Une barrière est une relecture indépendante liée au changement exact, plus une personne qui l'approuve.
Ce que cela coûte. Des délais et une lassitude d'approbation. Placez des barrières sur les actions qui comptent et journalisez le reste.
Article : trois couches, un seul ensemble de contrôlesProjet : noyau et instancesProjet : barrières de relecture et de fusion
Les personnes détiennent les décisions et les preuves.
Les agents font le travail de fond ; les personnes décident et détiennent les preuves.
Le résumé d'un agent est une donnée, pas une preuve. Vérifiez-le auprès du système de référence avant de le reprendre, et gardez chaque décision auprès d'une personne à qui l'on peut poser la question.
Ce que cela coûte. Les personnes deviennent le goulot d'étranglement : le temps du responsable donne le rythme.
La conformité est un sous-produit du bon travail.
Les preuves opérationnelles devraient provenir du travail lui-même, afin que leur collecte et leur vérification puissent être automatisées.
Quand les contrôles qui font fonctionner un système sont ceux qu'un auditeur demande à voir, la conformité n'est plus un second système posé par-dessus. Le périmètre, l'appétit pour le risque et la responsabilité restent aux personnes.
Ce que cela coûte. La collecte automatique ne remplace pas le jugement sur le périmètre et le risque.
Guide : les voies vers la conformitéThème : la conformité comme automatisationPrésentation : l'AI World
Les relations sont des données.
Une exigence, un contrôle, sa preuve, un risque et un constat vont ensemble, sous forme d'enregistrements liés avec un historique.
Écrivez un contrôle une seule fois et reliez-le à chaque exigence à laquelle il répond ; une lacune apparaît comme une exigence sans rien derrière. Enregistrez les changements comme des événements, afin de pouvoir relire le passé.
Ce que cela coûte. Les liens demandent de l'entretien, et un lien périmé est pire qu'une ligne périmée.
Article : la conformité comme grapheProjet : une plateforme GRC sur un seul graphe
Montrer la méthode, pas l'installation.
La méthode est partagée ouvertement ; les noms, les hôtes et les données d'entreprise ne le sont pas.
Tout ce qui n'est pas de nous est un lien, pas un fichier. Ce qui est montré peut être vérifié et servir à apprendre ; ce qui est privé reste privé, et rien n'est rendu public avant que son responsable ait approuvé le texte exact.
Ce que cela coûte. Les lecteurs ne peuvent pas vérifier ce qu'ils ne voient pas ; la confiance repose donc sur la méthode et sur des preuves partagées autrement.
La bibliothèque : des liens, pas des fichiersThème : des données dans des limites
Là où cela cesse de fonctionner
Aucun ensemble de contrôles ne supprime ces risques. Cette approche les réduit.
- Un agent peut encore être induit en erreur dans ce qu'il est autorisé à faire. Une barrière limite les dégâts ; elle ne rend pas l'agent exact.
- Les relecteurs et les analyseurs peuvent se tromper ou être contournés. Une analyse de marqueurs manque ce qu'elle n'a pas été conçue pour chercher.
- Une personne qui approuve tout cesse de lire. Encadrez par une barrière les actions importantes et journalisez le reste.
- La séparation des tâches exige une réelle indépendance : celui qui écrit un changement ne doit pas l'approuver.
- Le système qui enregistre les preuves doit lui aussi mériter la confiance. L'échantillonnage indépendant et les enregistrements infalsifiables réduisent cette dépendance ; ils ne la suppriment pas.
- Une conception en laboratoire n'est pas un environnement d'exploitation. Dites lequel est lequel.
Mots employés ici
- Agent
- Logiciel qui agit pour le compte de quelqu'un, en s'appuyant sur un modèle de langage pour décider de ses étapes.
- Barrière
- Un point où une modification s'arrête jusqu'à ce qu'un contrôle indépendant et une personne l'approuvent.
- Isolation
- Garder séparé ce qui doit le rester : identifiants, environnements, données.
- Preuve
- Des enregistrements de ce qui s'est passé et de qui a décidé, conservés par défaut.
- Liste d'autorisation
- Une courte liste des seules choses qu'un composant a le droit de faire. Tout le reste est refusé.
- Analyse de marqueurs
- Un contrôle automatique qui bloque une modification lorsqu'elle contient des données qui ne doivent pas sortir.
- Graphe
- Des enregistrements reliés les uns aux autres, de sorte que les relations sont aussi des données.
- Projection
- La partie du graphe montrée à une personne, déterminée par son rôle.
- Noyau et instance
- Un ensemble partagé d'outils, et une copie de travail distincte pour chaque organisation.
- Web agentique
- Le web tel qu'utilisé par des agents logiciels agissant pour des personnes.
- Laboratoire de développement
- L'environnement où les agents sont construits et exploités.