Семь принципов

Метод, на котором держится всё на этом сайте: вести ИИ-агентов так, чтобы ошибки оставались небольшими, а те же контроли давали доказательства, нужные комплаенсу. Для первого шага смотрите Сотрудничество.

Агенты будут ошибаться
Жёсткие контроли надёжнее благих намерений
Гейт, изоляция, запись
Решения и доказательства принадлежат людям
Комплаенс — побочный продукт хорошей работы
Связи — это данные
Показывайте метод, а не конфигурацию

Агенты будут ошибаться.

Исходите из того, что любой агент может ошибиться или оказаться под чужим влиянием, и стройте систему так, чтобы ошибка не заходила далеко.

Системы, критичные для безопасности, строят именно так. Вопрос не в том, ошибётся ли агент, а в том, чего эта ошибка сможет коснуться.

Чего это стоит. Усилия на контроли против сбоев, которых может и не случиться, и местами более медленная работа.

Статья: как сделать AI World рабочим и соответствующим требованиям Попробовать гейт-лабораторию

Жёсткие контроли надёжнее благих намерений.

Песочницы, изоляция и ограниченные учётные данные защищают лучше, чем промпты и файлы инструкций.

Правило в промпте просит агента вести себя хорошо. Контроль, встроенный в то, как агент работает, ни о чём не просит. Относитесь к агентам как к способным, но подверженным ошибкам исполнителям.

Чего это стоит. Агенту достаётся меньше свободы: всё, что запрещает контроль, требует человека или нового правила.

Тема: сначала жёсткие контроли Проект: крошечный хост-агент

Гейт, изоляция, запись.

Ничто важное не меняется без гейта; то, что должно оставаться раздельным, остаётся раздельным; каждый шаг оставляет запись, по которой может проследить кто-то другой.

Одни и те же три контроля действуют в вебе, внутри предприятия и в лаборатории, где создают агентов. Гейт — это независимая проверка, привязанная к конкретному изменению, плюс человек, который его одобряет.

Чего это стоит. Задержки и усталость от одобрений. Ставьте гейты на значимые действия, а остальное просто записывайте.

Статья: три слоя, один набор контролей Проект: ядро и экземпляры Проект: гейты ревью и слияния

Решения и доказательства принадлежат людям.

Агенты делают черновую работу; люди принимают решения и отвечают за доказательства.

Собственное резюме агента — это данные, а не доказательство. Сверяйте его с системой учёта, прежде чем повторять, и оставляйте каждое решение за человеком, у которого можно спросить.

Чего это стоит. Люди становятся узким местом: темп задаёт время владельца.

О практике Статья: уроки по слоям

Комплаенс — побочный продукт хорошей работы.

Операционные доказательства должны рождаться из самой работы, чтобы их сбор и проверку можно было автоматизировать.

Когда контроли, благодаря которым система работает, совпадают с теми, которые аудитор просит показать, комплаенс перестаёт быть второй системой поверх первой. Область действия, аппетит к риску и ответственность остаются за людьми.

Чего это стоит. Автоматический сбор не заменяет суждения об области действия и риске.

Руководство: дороги к комплаенсу Тема: комплаенс как автоматизация Презентация: AI World

Связи — это данные.

Требование, контроль, его доказательства, риск и замечание относятся друг к другу и хранятся как связанные записи с историей.

Напишите контроль один раз и свяжите его с каждым требованием, на которое он отвечает; пробел виден как требование, за которым ничего нет. Фиксируйте изменения как события, чтобы прошлое можно было восстановить.

Чего это стоит. Связи нужно поддерживать, а устаревшая связь хуже устаревшей строки.

Статья: комплаенс как граф Проект: платформа GRC на одном графе

Показывайте метод, а не конфигурацию.

Метод открыт; названия, хосты и данные компаний — нет.

Всё, что не наше, — это ссылка, а не файл. То, что показано, можно проверить и из него можно учиться; закрытое остаётся закрытым, и ничего не публикуется, пока владелец не одобрит точный текст.

Чего это стоит. Читатели не могут проверить то, чего не видят, поэтому доверие опирается на метод и на доказательства, которые передаются другими способами.

Библиотека: ссылки, а не файлы Тема: данные в границах

Где это перестаёт работать

Никакой набор контролей не устраняет эти риски. Этот подход их сужает.

Агента всё ещё можно ввести в заблуждение в пределах того, что ему разрешено. Гейт ограничивает ущерб; он не делает агента правым.
Ревьюеры и сканеры могут ошибаться или быть обойдены. Скан маркеров пропускает то, что он не был создан искать.
Человек, одобряющий всё подряд, перестаёт читать. Ставьте гейты на значимые действия, а остальное записывайте.
Разделение обязанностей требует настоящей независимости: тот, кто пишет изменение, не должен его одобрять.
Система, которая записывает доказательства, сама должна заслуживать доверия. Независимая выборочная проверка и записи, защищённые от подделки, уменьшают эту зависимость, но не устраняют её.
Проект в лаборатории — это не рабочая среда. Говорите, что есть что.

Используемые здесь слова

Агент: Программа, которая действует от чьего-то имени и использует языковую модель, чтобы решать, какие шаги делать.
Гейт: Точка, где изменение останавливается, пока независимая проверка и человек его не одобрят.
Изоляция: Разделение того, что должно оставаться раздельным: учётные данные, среды, данные.
Доказательства: Записи о том, что произошло и кто принял решение, ведутся по умолчанию.
Список разрешённого: Короткий перечень единственного, что компоненту разрешено делать. Всё остальное отклоняется.
Скан маркеров: Автоматическая проверка, блокирующая изменение, если в нём есть данные, которые не должны покидать границы.
Граф: Записи, связанные друг с другом, так что и связи между ними — это данные.
Проекция: Часть графа, которую показывают человеку, определяемая его ролью.
Ядро и экземпляр: Один общий набор инструментов и отдельная рабочая копия для каждой организации.
Agentic Web: Веб, которым пользуются программные агенты, действующие за людей.
Dev-lab: Среда, где агентов создают и запускают.