Mark Emelianov

Présentation · AI World

Un monde d’agents qui fonctionne et reste conforme.

Beaucoup d’agents IA, beaucoup d’hôtes, beaucoup de personnes : l’ensemble ne tient que si chaque action importante passe par une porte, est isolée et laisse une preuve.

Comment un tel monde est construit pour fonctionner, et comment les mêmes briques répondent à ce que demandent ISO 27001, l'EU AI Act et des référentiels semblables.

01

Le tableau d’ensemble

Quatre couches, une seule règle

Chaque couche suppose que l’agent placé au-dessus peut se tromper, et limite ce qu’une erreur peut atteindre.

  1. Les personnesElles détiennent les décisions : approuver les merges, fixer le périmètre, accepter le risque.
  2. Les agentsIls font le travail dans des boucles séparées, avec des règles de progression mesurables.
  3. Hôtes et plateformesPetits, isolés, sur liste d’autorisation : aucun port entrant, des messages signés.
  4. PreuveChaque étape laisse un enregistrement qu’un auditeur peut suivre.
Zones de confiance d’un monde d’agents Trois zones de gauche à droite : un sandbox d’agents aux identifiants limités, une porte avec relecture, scan et approbation du propriétaire, puis le cœur partagé. En dessous, de petits hôtes joignables uniquement par des commandes sur liste d’autorisation et des messages signés, sans port entrant. Une bande de preuves en dessous consigne chaque passage. Sandboxles agents travaillent iciidentifiants limitésaucune sortie par eux-mêmes Barrièrerelecture indépendantescan de marqueursapprobation du propriétaire Cœur partagéles changements arrivent branche par brancheune instance par organisation Petits hôtes : commandes sur liste d’autorisation, messages signés, aucun port entrant Preuves : chaque passage laisse un enregistrement qu’une autre personne peut suivre
Figure : zones de confiance d’un monde d’agents, dessinées en rôles uniquement.

02

Le faire fonctionner

Des contrôles stricts, pas de bonnes intentions

Quatre robots en guise de rôles dans un parcours à portes : l’agent fait le travail, le relecteur est lié au commit, le scanner bloque les données de l’organisation, le propriétaire approuve le merge. Chaque étape laisse un enregistrement qu’une autre personne peut suivre.
Figure : les rôles d’un parcours à portes, dessinés sous forme de robots.
Le parcours à portes, du travail de l’agent à la production Cinq étapes à la suite : un agent travaille sur une branche, une relecture indépendante liée au commit exact, un scan de marqueurs qui bloque les données de l’organisation, le propriétaire approuve le merge, et chaque étape laisse un enregistrement. Agenttravaille sur une branche Relireliée au commit Scanbloque les données de l’org. Propriétaireapprouve le merge Enregistrementpreuve conservée Rien n’atteint la production sans franchir chaque porte Chaque flèche suppose que l’étape précédente peut se tromper
Figure : le parcours à portes, du travail de l’agent à la production.

Sujet : faire tourner des agents sans dérive → Sujet : les contrôles stricts →

03

Le rendre conforme

Les mêmes contrôles, lus comme des preuves

La conformité n’est pas un second système : les portes et les enregistrements qui font fonctionner le monde sont ce que les auditeurs demandent à voir.

Quelle brique répond à quelle attente (à titre indicatif : ISO 27001:2022 Annexe A, critères SOC 2, et EU AI Act pour les systèmes à haut risque, par analogie)
BriqueCe qu’elle prouvePoints d’ancrage du référentiel
Merge approuvé par le propriétaireUne personne décide avant qu’un changement n’entre en serviceGestion des changements ISO 27001 ; un schéma de supervision comparable à la supervision humaine de l’EU AI Act (systèmes à haut risque) ; NIST AI RMF Govern
Relecture indépendante liée à un commitSéparation des tâches ; ce qui a été relu est ce qui a été livréDéveloppement sécurisé ISO 27001 ; gestion des changements SOC 2
Isolation et listes d’autorisationMoindre privilège ; périmètre d’impact limitéContrôle d’accès et gestion de la configuration ISO 27001 ; accès logique SOC 2
Messages signés et journauxTraçabilité de qui a fait quoi, et quandJournalisation ISO 27001 ; comparable à la tenue de registres de l’EU AI Act (systèmes à haut risque)
Registre des risques et suivi des tâchesLes risques connus ont des responsables et des échéancesTraitement des risques ISO 27001 ; système de management de l’IA ISO/IEC 42001 ; NIST AI RMF Map et Manage
Suivi de l’état de préparationLes écarts par rapport à l’EU AI Act et au Cyber Resilience Act sont visibles tôtEU AI Act ; EU Cyber Resilience Act

Les repères sont indicatifs ; ils ne constituent ni une affirmation de certification ni un avis juridique. Vérifiez les numéros de clause et les dates d'application dans les textes en vigueur avant de vous y fier.

04

Par où commencer

Cinq étapes

  1. Cartographier

    Listez chaque agent, hôte et plateforme, et ce que chacun peut toucher. On ne peut pas gouverner ce que l'on ne voit pas.

  2. Isolez-le

    Identifiants limités, sandboxes, listes d’autorisation. Partez du principe que tout agent peut se tromper ou être manipulé.

  3. Encadrez-le par une barrière

    Une relecture indépendante et l’approbation du propriétaire avant que quoi que ce soit ne quitte le sandbox.

  4. Enregistrez-le

    Faites de la preuve un sous-produit : messages signés, relectures liées au commit, historique des tâches.

  5. Rattacher aux référentiels

    Reliez chaque contrôle à l’attente à laquelle il répond, suivez l’état de préparation et revoyez le tout à un rythme régulier.

Lire les articles → Qui est derrière ce site → Travailler avec moi →