Большинство плохих ботов мерили долей обращений, закрытых без человека, а такая метрика поощряет бота как раз за то, что он не зовёт оператора.
Содержание6 разделов
Плохой опыт создала метрика
Большинство дашбордов по чат-ботам начинается с доли обращений, закрытых без человека.
Посмотрите на это определение глазами клиента. Каждая передача оператору идёт в минус, каждый отказ передать идёт в плюс. Клиент, который сдался и закрыл окно, приносит столько же очков, сколько клиент, которому помогли.
Система, настроенная на это число, учится водить людей по кругу из переформулированных вопросов и ссылок на статьи. Расхождение целей здесь вовсе не мелкое: это ровно тот механизм, который описывают люди, когда говорят, что ненавидят чат-ботов, и заложил его тот, кто выбрал метрику.
Ещё три вероятные причины
| Что сломалось | Как это выглядело для клиента | Как починить |
|---|---|---|
| Бота поставили отвечать на всё | Уверенные неверные ответы в нестандартных случаях | Определить, на что ему можно отвечать |
| Нет доступа к вашим системам | Пересказ раздела вопросов и ответов | Читать данные из заказов, склада, биллинга, календаря |
| Переписки никто не читал | Один и тот же сбой каждую неделю целый год | Один человек, один час, раз в неделю |
От второй строки незаметно зависит всё остальное. Автоматика, не подключённая ни к чему, может только пересказывать опубликованное, поэтому соревнуется с вашим же поиском по сайту и проигрывает: клиент прочитал эту страницу до того, как открыл чат.
Вопросы, из-за которых пишут в поддержку, конкретны и касаются самого клиента: где мой заказ, есть ли это в наличии, за что с меня списали эту сумму, можно ли перенести запись. Чтобы ответить на любой, нужно прочитать данные из настоящей системы, и проложить этот путь - основная часть работы.
Подрядчик, который её пропускает, продаёт обёртку над базой знаний. На демонстрации она будет выглядеть отлично, потому что там задают общие вопросы.
Что рабочая версия делает иначе
Она отвечает только на то, что может проверить, и говорит, откуда взяла ответ.
Во внедрении у агентства недвижимости автоматика отвечала на то, что можно узнать из самого объявления: этаж, площадь, цена, что входит в стоимость, свободен ли объект. Всё остальное уходило конкретному агенту вместе с перепиской. Время ответа на заявку сократилось с 6 часов до 8 минут (страница кейса), и получилось это потому, что автоматика ни разу не отвечала наугад.
Всё, что обязывает компанию, по замыслу уходит человеку: цена, отличная от опубликованной, условия, обещания. Эта граница разобрана в наших правилах о человеке в контуре, и извиняться за неё мы не станем. Бот, который в два часа ночи соглашается на что-то от вашего имени, - это риск, а не новая возможность.
Передача оператору и есть весь продукт
Здесь ломаются три вещи, и все три чинятся дёшево.
Если путь к человеку спрятан, клиент угадывает волшебную фразу, чтобы до него добраться. Скажите в первом же сообщении, что человек доступен.
Если оператор получает голое уведомление, он начинает с вопроса, который клиент уже дважды объяснил. Переносите переписку целиком, иначе автоматика не экономит время, а тратит его.
Если в очереди за передачей не хватает людей на поток, который бот туда отправляет, быстрый отказ превращается в долгое молчание. Это решение о ресурсах, и принять его нужно до запуска, а не узнать о нём на второй неделе.
Передавайте диалог при первом признаке раздражения, а не при третьем. Лишняя передача стоит нескольких минут оператора, а несостоявшаяся - клиента.
Когда мы советуем не строить
В поддержке такое бывает чаще, чем в любой другой категории, и обычно по одной из трёх причин. Обращения в основном о том, что бот проверить не может. Их так мало, что поддерживать бота будет некому. Или настоящая беда в том, что медленно отвечают люди, а бот лишь прикроет это приветливой вывеской.
Третий случай частый, поэтому назовём его прямо. Если обращения ждут четыре часа, потому что в семь вечера отвечать некому, бот, который в семь вечера отвечает приветливо и бесполезно, ожидание не сократил, а автоматизировал. Деньги лучше потратить на маршрутизацию, на покрытие часов или на то, чтобы устранить причину, по которой к вам обращаются.
Это та же проверка, что и пятое условие готовности: если узкое место не здесь, ускорение этой части не принесёт в кассу ничего.
Что спросить у следующего подрядчика
Из каких систем бот будет читать данные и что он сделает, если прочитать не получится.
По какой метрике его оценивают. Если ответ «по доле закрытых без человека», спросите, что происходит с этим числом, когда бот правильно передаёт диалог.
Как клиент добирается до человека, за сколько сообщений и кто ждёт его на той стороне.
И попросите показать переписку из настоящего внедрения в плохой день. Как выглядит честный ответ на первый вопрос, показано в посте про разделение правил и модели в обработке заказов: вопросы с однозначным ответом решают правила, свободный текст разбирает модель, и местами они не меняются.
Часто задаваемые вопросы
Что не так с метрикой доли обращений без человека?
Она вознаграждает систему за то, что клиенты ненавидят. Метрика считает диалоги, закончившиеся без оператора, поэтому каждая передача идёт в минус, а каждый отказ передать - в плюс, независимо от того, получил ли клиент то, за чем пришёл. Бот, настроенный на это число, учится водить людей по кругу из переформулированных вопросов и ссылок на статьи: клиент, который сдался и закрыл окно, засчитывается так же, как клиент, которому помогли. Это не мелкое расхождение целей. Ровно этот механизм люди и описывают, когда говорят, что ненавидят чат-ботов. Оценивайте бота по решённым вопросам и времени до передачи оператору, и та же технология даст совсем другой опыт, потому что метрика начнёт поощрять то, что нужно клиенту.
Наш бот умел только пересказывать раздел вопросов и ответов. Почему?
Потому что его не подключили к системам, где лежат ответы. Это решение об объёме работ и интеграциях, модель тут ни при чём. Автоматика поддержки, не подключённая ни к чему, может только пересказывать опубликованное, поэтому соревнуется с вашим же поиском по сайту и проигрывает: клиент обычно прочитал эту страницу ещё до того, как открыл чат. Вопросы, из-за которых пишут в поддержку, конкретны и касаются самого клиента: где мой заказ, есть ли это в наличии, за что с меня списали эту сумму, можно ли перенести запись. Чтобы ответить на любой из них, нужно прочитать данные из системы заказов, склада, биллинга или календаря, и проложить этот путь - основная часть настоящей работы. Подрядчик, который её пропускает, продаёт обёртку над базой знаний, и на демонстрации она будет выглядеть отлично, потому что там задают общие вопросы.
Как должна работать передача оператору?
Сразу, заметно для клиента и вместе со всей перепиской, а не отдельным новым обращением. На практике ломаются три вещи, и все три можно починить. Если путь к человеку спрятан, клиенту приходится угадывать волшебную фразу, и лёгкое раздражение превращается в злость. Если оператор получает голое уведомление, он начинает с вопроса, на который клиент уже дважды ответил, и автоматика тратит время вместо того, чтобы его экономить. Если в очереди за передачей не хватает людей на тот поток, который бот туда отправляет, быстрый отказ бота превращается в долгое молчание. Скажите в первом же сообщении, что человек доступен, передавайте диалог при первом признаке раздражения, а не при третьем, и переносите переписку целиком.
Когда честный ответ - бота внедрять не надо?
Когда обращения в основном о том, что бот проверить не может, когда их так мало, что поддерживать бота будет некому, или когда настоящая беда в том, что медленно отвечают люди, а бот лишь прикроет это приветливой вывеской. Последний случай встречается часто, поэтому назовём его прямо. Если обращения ждут четыре часа, потому что в семь вечера за них никто не берётся, бот, который в семь вечера скажет что-то приветливое и бесполезное, ничего не исправил, а просто автоматизировал ожидание. В такой ситуации деньги лучше потратить на маршрутизацию, на покрытие часов или на то, чтобы устранить причину, по которой к вам вообще обращаются. По этим основаниям мы отказываемся автоматизировать поддержку чаще, чем в любой другой категории проектов.
