Safe AI в реальном внедрении - это четыре правила о том, где в процессе нужен человек. Вот они, с ценой каждого и с тем, где проходит черта.
Содержание7 разделов
Вопрос, который стоит за словами «это безопасно?»
Оператор задаёт его в той или иной форме перед подписью, и он почти никогда не означает того, на что отвечает подрядчик. Подрядчик слышит «будет ли модель галлюцинировать» и начинает рассказывать про точность. Оператор имеет в виду вещь гораздо более узкую и практическую: что эта штука может решать без меня?
Это вопрос проектирования, у него есть письменный ответ, и на один процесс он занимает примерно час. Ниже наш ответ, изложенный четырьмя правилами вместо набора принципов. Принцип нельзя проверить во вторник днём, а правило можно.
Правило первое: ничего обязывающего без человека
Цена, дата поставки, условие, документ, который суд прочитает как обязательство, - всё это проходит через человека.
С этим правилом соглашаются юристы, и обходится оно дешевле остальных, потому что обязывающий шаг занимает малую долю любого процесса. В проекте для брокериджа ИИ отвечал первым, квалифицировал обращение, собирал пакет документов и направлял нужному агенту. Первый ответ ускорился с 6 часов до 8 минут, подготовка документов - с 2 дней до 20 минут. У всего, что уходило наружу, по-прежнему стояло имя человека, принявшего решение.
Эти шесть часов были очередью: никто не думал над обращением шесть часов, оно просто лежало в почте. Ожидание, перепечатывание и поиск автоматизация убирает очень хорошо, а ответственность нести не умеет совсем. Большая часть проектирования в том, чтобы развести эти две вещи.
Правило второе: исключение приходит вместе с контекстом
Любая система, поднимающая сомнительные случаи к человеку, по замыслу тратит его время. Выбирать можно только то, в каком виде эскалация приходит.
Эскалация с текстом «требуется проверка» заставляет согласующего сначала собрать всю картину заново и только потом решить, и эта пересборка обычно длиннее самого решения. Эскалация, пришедшая с полной перепиской, использованными данными и указанием, в чём именно система засомневалась, превращает пятиминутную пересборку в тридцатисекундное суждение.
Это важно финансово, а не только эргономически. Доля эскалаций, умноженная на время согласующего, - это ежемесячный расход навсегда, и место ему в арифметике до подписи, а не в неприятном открытии на третьем месяце.
Правило третье: система собирает из готового
Во всём договорном ИИ работает с шаблонами, которые вы утвердили, и с данными, которые прошли проверку. Он заполняет, выбирает, компонует. Новых формулировок он не пишет.
Это обещание уже, чем «ИИ пишет вам договоры», и юридическая проверка получается от этого короткой. Проверяющий, который смотрит, тот ли утверждённый шаблон взят и те ли проверенные данные в него подставлены, делает быструю работу с понятными границами. Проверяющий, который ищет в сгенерированном абзаце незапланированное обязательство, делает медленную работу без границ.
То же относится ко всему регулируемому: административная работа идёт сама, профессиональное суждение остаётся за специалистом. В проекте для клиники приём пациента сократился с 45 минут до 8, неявки упали на 40%, административной бумажной работы стало меньше на три четверти. Каждое клиническое решение осталось за врачом, и ничто в системе даже не выглядело так, будто принимает его.
Правило четвёртое: каждое автоматическое решение остаётся в записи
Если система решила что-то сама, есть запись: что решила, на каких входных данных и когда. Читают её редко, но вопросы, которые в итоге задают, всегда обращены назад. Почему это предложение ушло с такой цифрой. Когда мы начали так делать. Покажите десять случаев до жалобы.
Журнал заодно оказывается тем самым доказательством, которое просит регулируемый рынок, и поэтому разговор про комплаенс идёт легче, когда операционная схема была сделана первой. Документация, описывающая систему, которая и так ведёт себя правильно, честна. Документация, описывающая систему, которую никто не ограничивал, это декларация с обложкой.
Где проходит черта
Универсального ответа нет, и подрядчик, предлагающий такой ответ, продаёт плакат.
| Тип решения | Идёт само | Требует человека |
|---|---|---|
| Напоминания, расписание, маршрутизация, справки | Да | Нет |
| Квалификация и сортировка обращений | Да, с записью | Нет |
| Всё, где есть цена, обещание или договор | Нет | Всегда |
| Профессиональное суждение в регулируемой области | Нет | Всегда, поимённо |
| Серая середина | Решается по процессу | Решается по юрисдикции |
Серая середина и есть настоящая работа, и она закрывается на диагностике вместе с теми, кто несёт ответственность, до того как что-то построено. Клиника и брокеридж в одной стране проведут черту по-разному. Та же клиника в двух странах проведёт её по-разному ещё раз.
Записанная до запуска, эта черта называется проектом. Восстановленная потом по тому, что система успела сделать, она превращается в разбор инцидента.
Чего у нас нет
Мы не публикуем нумерованный список принципов, и этот текст не он. Есть четыре правила выше и черта, которую на диагностике проводят заново для каждого процесса.
Если это звучит менее внушительно, чем методика из шести столпов, так и задумано. Полезное свойство правила в том, что во вторник кто-то может проверить, соблюдалось ли оно, и рассказать вам, что произошло, когда оно не соблюдалось.
Часто задаваемые вопросы
Не съедает ли шаг подтверждения ту скорость, которую вы обещали?
Не съедает, потому что медленной частью процесса решение почти никогда и не было. В проекте для брокериджа время первого ответа сократилось с 6 часов до 8 минут, а подготовка документов с 2 дней до 20 минут, и при этом человек по-прежнему подписывал всё, что уходило наружу. Шесть часов уходили на очередь, а не на размышления: обращение лежало в почте, пока до него не доходили руки. Автоматизация хорошо убирает ожидание, перепечатывание, поиск справок и сборку и отдаёт человеку готовый результат, который он подтверждает за минуту. Подтверждение действительно тормозит там, где согласующий и так был узким местом, и на диагностике это видно по очереди к одному человеку. Если мы такое находим, мы об этом говорим: автоматизация шагов перед перегруженным согласующим просто передвигает очередь на шаг дальше.
Где именно должна проходить черта подтверждения?
Её проводят отдельно для каждого процесса и юрисдикции, и универсального ответа, который стоило бы напечатать на плакате, нет. Мы исходим из правила, что всё, что обязывает компанию, требует человека: названная цена, согласованное условие, данное обещание, документ, который можно прочитать как договор. Чисто административное работает само: напоминание, маршрутизация, слот в расписании, поиск данных. Случаи посередине разбираем на диагностике вместе с теми, кто несёт ответственность. Клиника и брокеридж в одной стране проведут черту по-разному, а та же клиника в двух странах проведёт её по-разному ещё раз, потому что различаются и регулирование, и профессиональная обязанность. Главное, чтобы черту записали до запуска и пересматривали при изменении процесса, а не восстанавливали задним числом по тому, что система успела натворить.
Сколько на самом деле стоит содержать человека в контуре?
Он стоит долю эскалаций, умноженную на время подтверждающего, и эта цифра должна стоять в расчёте окупаемости, а не прятаться в допущениях. Если процесс идёт 400 раз в месяц, поднимает наверх 12% случаев и каждый случай отнимает у согласующего 4 минуты, это примерно 3 часа времени конкретного человека каждый месяц и дальше всегда. Обычно это выгодно, но бесплатно не бывает никогда. Дороже, чем нужно, это делают две вещи. Первая - эскалация, приходящая без контекста, из-за чего согласующий сначала восстанавливает картину и только потом решает. Вторая - порог эскалации, который после запуска никто не пересматривает. Против первой мы прикладываем к каждой эскалации полную переписку и причину сомнения, против второй пересматриваем пороги при передаче. Оценивая любого подрядчика, спрашивайте про долю эскалаций и среднее время согласующего так же настойчиво, как про срок окупаемости.
Чем это отличается от этики ИИ и комплаенса?
Комплаенс отвечает регулятору и производит документы: классификацию рисков, описание модели, свидетельства проверки на предвзятость, процедуры на инциденты. Проектирование человека в контуре обращено к оператору и задаёт поведение: какое решение куда идёт, на ком оно висит, что записывается. Они пересекаются: аудитор просит доказать, что шаг проверки человеком существует и выполняется на деле, а журнал автоматических решений и есть нужное ему доказательство. Ломаются они по-разному. Компания может быть безупречно задокументирована и всё равно выкатить автоматизацию, которая тихо обяжет её к цене, которую никто не имел в виду. И наоборот, компания может иметь здравую схему подтверждений и не иметь ни одной бумаги, которую потребует регулируемый рынок. Делать нужно обе половины, и когда операционная сделана первой, бумажная получается описанием факта, а не декларацией намерений.
