Notes de terrain depuis la salle de contrôle · Brouillon
Le dossier de preuves très complet
Une histoire composite tirée d'une organisation de taille moyenne.
Avant l'audit, une équipe a monté un dossier intitulé Preuves. Un régal. Captures d'écran, exports et documents, nommés dans un style cohérent, datés, classés en sous-dossiers correspondant aux contrôles. Quelqu'un avait même ajouté une table des matières. C'était le genre de dossier qui donne envie de serrer un tableur dans ses bras.
L'auditeur l'a ouvert, a fait défiler un moment avec un respect visible, puis a posé une toute petite question : « De quel système provient cette capture d'écran ? »
Le tournant
Les réponses sont venues une à une. Celle-ci venait d'un environnement de test, parce que la production était plus difficile d'accès. Celle-là avait été prise la semaine avant l'audit, pour un réglage censé être resté le même toute l'année. Cette autre montrait un autre contrôle que celui de son nom de fichier. Ces deux-là étaient des images d'un document décrivant un contrôle, et non du contrôle en train de faire quoi que ce soit.
L'auditeur a alors demandé un échantillon tiré en direct du système de référence, tout de suite, sous les yeux de tous. La salle a découvert, ensemble et assez chaleureusement, que personne ne savait le produire à la demande.
La leçon
Le dossier prouvait le soin. Il ne prouvait pas le contrôle. Une capture d'écran est une affirmation à propos d'une preuve : elle dit « voici ce que le système a montré, une fois, à quelqu'un muni d'un appareil photo ». La preuve, c'est ce que le système enregistre lui-même, et elle peut être produite de nouveau sur demande, avec sa source et son horodatage.
L'équipe a changé la forme du travail. Les vérifications s'exécutent désormais selon un calendrier et écrivent leurs résultats directement depuis le système de référence : ce qui a été vérifié, d'où cela vient, quand cela a tourné, et ce qui est revenu. Une personne en échantillonne quelques-uns face à la réalité de temps en temps, et un résultat qui ne peut pas être reproduit ne compte pas. Le dossier a rétréci. La conversation d'audit suivante a été plus courte, et nettement plus aimable.
Une preuve qui ne peut pas être reproduite depuis sa source est une affirmation, pas une preuve.