Sedam principa
Metod iza svega na ovom sajtu: voditi AI agente tako da greške ostanu male, a iste kontrole neka daju dokaze koji su usklađenosti potrebni. Za prvi korak pogledajte Saradnja sa mnom.
Agenti će grešiti.
Pođite od toga da svaki agent može pogrešiti ili biti zloupotrebljen, i projektujte tako da greška ne može daleko da dosegne.
Tako se grade sistemi od kojih zavisi bezbednost. Pitanje nije da li će agent pogrešiti, već čega greška sme da se dotakne.
Šta košta. Napor na kontrole za otkaze koji možda nikad neće doći, i sporiji rad na pojedinim mestima.
Članak: kako AI World učiniti funkcionalnim i usklađenimIsprobajte laboratoriju kapija
Čvrste kontrole pobeđuju dobre namere.
Peskovnik, izolacija i ograničeni kredencijali štite više od promptova ili datoteka s uputstvima.
Pravilo u promptu traži od agenta da se lepo ponaša. Kontrola ugrađena u način rada agenta ne traži ništa. Agente treba tretirati kao sposobne, ali pogrešive operatere.
Šta košta. Manje slobode za agenta: ono što kontrola zabranjuje zahteva osobu ili novo pravilo.
Kapija, izolacija, zapis.
Ništa važno se ne menja bez kapije; što mora ostati odvojeno, ostaje odvojeno; svaki korak ostavlja zapis koji neko drugi može da prati.
Iste tri kontrole važe na vebu, unutar preduzeća i u laboratoriji koja gradi agente. Kapija je nezavisna recenzija vezana za tačnu izmenu, uz osobu koja je odobrava.
Šta košta. Kašnjenje i zamor od odobravanja. Postavite kapije na posledične radnje, a ostalo beležite.
Članak: tri sloja, jedan skup kontrolaProjekat: jezgro i instanceProjekat: kapije za recenziju i spajanje
Ljudi poseduju odluke i dokaze.
Agenti obave posao na terenu; ljudi odlučuju i poseduju dokaze.
Sopstveni rezime agenta jesu podaci, a ne dokaz. Proverite ga u sistemu evidencije pre nego što ga ponovite i odluku ostavite osobi koju je moguće pitati o njoj.
Šta košta. Ljudi postaju uzak grlić: vreme vlasnika određuje tempo.
Usklađenost je nusproizvod dobrog rada.
Operativni dokazi treba da nastaju iz samog rada, kako bi se njihovo prikupljanje i provera mogli automatizovati.
Kada su kontrole zbog kojih sistem radi upravo one koje revizor traži da vidi, usklađenost prestaje da bude drugi sistem povrh prvog. Obim, sklonost riziku i odgovornost ostaju kod ljudi.
Šta košta. Automatsko prikupljanje ne zamenjuje procenu obima i rizika.
Vodič: putevi do usklađenostiTema: usklađenost kao automatizacijaPrezentacija: AI World
Veze su podaci.
Zahtev, kontrola, njen dokaz, rizik i nalaz čine celinu kao povezani zapisi sa istorijom.
Napišite kontrolu jednom i povežite je sa svakim zahtevom na koji odgovara; praznina se tada vidi kao zahtev iza kojeg nema ničega. Beležite promene kao događaje, da se prošlost može pročitati unazad.
Šta košta. Veze se moraju održavati, a zastarela veza je gora od zastarelog reda.
Članak: usklađenost kao grafProjekat: GRC platforma na jednom grafu
Pokažite metod, a ne postavku.
Metod se deli otvoreno; imena, serveri i podaci kompanije ne.
Sve što nije naše jeste link, a ne datoteka. Ono što je prikazano može da se proveri i da se iz njega uči; ono što je privatno ostaje privatno, i ništa ne postaje javno dok vlasnik ne odobri tačan tekst.
Šta košta. Čitaoci ne mogu da provere ono što ne vide, pa poverenje počiva na metodu i na dokazima koji se dele na druge načine.
Gde ovo prestaje da važi
Nijedan skup kontrola ne uklanja ove rizike. Ovaj pristup ih sužava.
- Agent i dalje može biti doveden u zabludu unutar onoga što sme da radi. Kapija ograničava štetu; ne čini agenta tačnim.
- Recenzenti i skeneri mogu pogrešiti ili biti zaobiđeni. Skeniranje markera propušta ono što nije građeno da traži.
- Osoba koja odobrava sve prestaje da čita. Postavite kapije na posledične radnje, a ostalo beležite.
- Podela dužnosti zahteva stvarnu nezavisnost: ko piše izmenu ne sme da je odobrava.
- Sistem koji beleži dokaze takođe mora biti pouzdan. Nezavisno uzorkovanje i zapisi otporni na neovlašćene izmene smanjuju tu zavisnost; ne uklanjaju je.
- Dizajn u laboratoriji nije operativno okruženje. Recite šta je šta.
Pojmovi koji se ovde koriste
- Agent
- Softver koji deluje u nečije ime i koristi jezički model da odluči o svojim koracima.
- Kapija
- Tačka na kojoj se izmena zaustavlja dok je ne odobre nezavisna provera i osoba.
- Izolacija
- Držanje odvojeno onoga što mora ostati odvojeno: kredencijali, okruženja, podaci.
- Dokaz
- Zapisi o tome šta se dogodilo i ko je odlučio, čuvani podrazumevano.
- Lista dozvoljenog
- Kratka lista jedinih stvari koje komponenta sme da radi. Sve ostalo se odbija.
- Skeniranje markera
- Automatska provera koja blokira izmenu kada nosi podatke koji ne smeju da izađu.
- Graf
- Zapisi povezani jedni s drugima, tako da su i veze podaci.
- Projekcija
- Deo grafa koji se osobi prikazuje, a određuje ga njena uloga.
- Jezgro i instanca
- Jedno zajedničko telo alata i zasebna radna kopija za svaku organizaciju.
- Agentic Web
- Web onako kako ga koriste softverski agenti koji deluju za ljude.
- Dev-lab
- Okruženje u kojem se agenti grade i pokreću.