Mark Emelianov

Презентация · AI World

Мир агентов, который работает и остаётся в рамках требований.

Много ИИ-агентов, много хостов, много людей: всё держится вместе, только если каждое значимое действие проходит через гейт, изолировано и оставляет доказательства.

Как такой мир устроен, чтобы работать, и как те же строительные блоки отвечают на то, чего требуют ISO 27001, EU AI Act и подобные стандарты.

01

Общая картина

Четыре слоя, одно правило

Каждый слой исходит из того, что вышестоящий агент может ошибаться, и ограничивает, до чего дотянется ошибка.

  1. ЛюдиВладеют решениями: одобряют слияния, задают рамки, принимают риск.
  2. АгентыДелают работу в отдельных циклах с измеримыми правилами прогресса.
  3. Хосты и платформыНебольшие, изолированные, со списком разрешённого: без входящего порта, с подписанными сообщениями.
  4. ДоказательстваКаждый шаг оставляет запись, по которой может проследить аудитор.
Зоны доверия в мире агентов Три зоны слева направо: песочница агента с ограниченными учётными данными, гейт с ревью, сканом и одобрением владельца и общее ядро. Ниже небольшие хосты, доступные только через разрешённые команды и подписанные сообщения, без входящего порта. Полоса доказательств внизу фиксирует каждое пересечение границы. Песочницаздесь работают агентыограниченные учётные данныесамостоятельно выйти нельзя Гейтнезависимое ревьюскан маркероводобрение владельца Общее ядроизменения поступают ветка за веткойодин экземпляр на организацию Небольшие хосты: разрешённые команды, подписанные сообщения, без входящего порта Доказательства: каждое пересечение границы оставляет запись, по которой может проследить кто-то другой
Рисунок: зоны доверия в мире агентов, только в ролях.

02

Чтобы работало

Жёсткие контроли, а не добрые намерения

Четыре робота как роли на пути через гейты: агент делает работу, ревьюер привязан к коммиту, сканер блокирует данные организации, владелец одобряет слияние. Каждый шаг оставляет запись, по которой может проследить кто-то другой.
Рисунок: роли на пути через гейты, нарисованные как роботы.
Путь через гейты от работы агента до продакшена Пять шагов подряд: агент работает в ветке, независимое ревью привязано к конкретному коммиту, скан маркеров блокирует данные организации, владелец одобряет слияние, и каждый шаг оставляет запись. Агентработает в ветке Проверитьпривязано к коммиту Сканблокирует данные орг. Владелецодобряет слияние Записьдоказательства сохранены Ничто не попадает в продакшен, не пройдя каждый гейт Каждая стрелка исходит из того, что предыдущий шаг может ошибаться
Рисунок: путь через гейты от работы агента до продакшена.

Тема: как запускать агентов без дрейфа → Тема: жёсткие контроли →

03

Чтобы соответствовало требованиям

Те же контроли, прочитанные как доказательства

Комплаенс — не вторая система: гейты и записи, благодаря которым мир работает, — это то, что аудиторы просят показать.

Какой блок отвечает какому ожиданию (ориентировочно: ISO 27001:2022 Annex A, критерии SOC 2 и EU AI Act для систем высокого риска — по аналогии)
БлокЧто он подтверждаетПривязки к стандартам
Слияние, одобренное владельцемЧеловек решает до того, как изменение вступит в силуУправление изменениями по ISO 27001; схема надзора, сопоставимая с человеческим надзором по EU AI Act (системы высокого риска); NIST AI RMF Govern
Независимое ревью, привязанное к коммитуРазделение обязанностей; то, что проверено, и есть то, что выпущеноБезопасная разработка по ISO 27001; управление изменениями по SOC 2
Изоляция и списки разрешённогоНаименьшие привилегии; ограниченный радиус пораженияУправление доступом и конфигурацией по ISO 27001; логический доступ по SOC 2
Подписанные сообщения и журналыПрослеживаемость: кто что сделал и когдаЖурналирование по ISO 27001; сопоставимо с ведением записей по EU AI Act (системы высокого риска)
Реестр рисков и учёт задачУ известных рисков есть владельцы и срокиОбработка рисков по ISO 27001; система управления ИИ по ISO/IEC 42001; NIST AI RMF Map и Manage
Учёт готовностиПробелы относительно EU AI Act и Cyber Resilience Act видны заранееEU AI Act; EU Cyber Resilience Act

Привязки ориентировочные: это не заявление о сертификации и не юридическая консультация. Номера пунктов и даты применения нужно сверять с действующими текстами, прежде чем на них полагаться.

04

С чего начать

Пять шагов

  1. Составьте карту

    Перечислите всех агентов, хосты и платформы и то, чего может коснуться каждый. Нельзя управлять тем, чего не видишь.

  2. Изолируйте

    Ограниченные учётные данные, песочницы, списки разрешённого. Исходите из того, что любой агент может ошибаться или быть обманутым.

  3. Поставьте гейт

    Независимое ревью и одобрение владельца, прежде чем что-либо покинет песочницу.

  4. Запишите

    Пусть доказательства возникают как побочный продукт: подписанные сообщения, ревью, привязанные к коммиту, история задач.

  5. Сопоставьте со стандартами

    Свяжите каждый контроль с ожиданием, на которое он отвечает, отслеживайте готовность и пересматривайте регулярно.

Читать статьи → Кто за этим стоит → Сотрудничество →