Определите единицу учёта
Одна проблема может привести к нескольким диалогам в разных каналах. Договоритесь, как связывать такие обращения и по каким признакам считать вопрос решённым. Отмечайте, кто помог клиенту: ИИ, сотрудник или инструкция.
Справочные вопросы, изменения заказа и претензии оценивайте отдельно. Если в очереди стало больше простых вопросов, общая доля решений может вырасти без улучшения самого агента.
Какие показатели смотреть вместе
Таблицу можно прокрутить по горизонтали.
| Показатель | Определение | Ограничение |
|---|---|---|
| Правильность ответа | Верные ответы / проверенные ответы одной темы | Нужны утверждённый источник и экспертная оценка. |
| Подтверждённое решение | Решённые проблемы / проверенные проблемы | Тишина клиента не считается подтверждением. |
| Повтор по той же проблеме | Проблемы с повтором / проблемы с полным периодом наблюдения | Нужно отличать новый вопрос от продолжения старого. |
| Качество передачи | Передачи с нужным контекстом / проверенные передачи | Успех уведомления ещё не означает принятие сотрудником. |
| Суммарные усилия команды | Время обработки, контроля, исправлений и знаний | Сравнивать одинаковые периоды и состав тем. |
Для скорости смотрите время содержательного ответа и ожидание человека после передачи. Среднее может скрывать очень долгие обращения, поэтому полезно отдельно наблюдать самые долгие задержки. Запишите, как считаете время вне смены.
Как отличить закрытие диалога от решения
Проверяйте разные темы и включайте в выборку ошибки, передачи и незакрытые обращения. Иначе отчёт покажет только удачные разговоры.
Допустим, проверили 80 обращений. Из них 50 диалогов закрылись без оператора, но проверяющий подтвердил решение только в 36. Доля закрытий составит 50 / 80 = 62,5%. Доля подтверждённых решений составит 36 / 80 = 45%. Остальные 14 закрытых диалогов нужно разобрать.
Считайте затраты вместе с качеством
Из времени сотрудников до автоматизации вычитайте не только сокращённые ответы, но и добавившийся контроль, исправления, поддержку подключений и обновление знаний. Затем учитывайте платежи за систему. Высвобождённые часы не равны сокращению расходов на зарплату: они могут пойти на более сложную работу.
До запуска договоритесь, какие ошибки требуют остановки. Быстрый ответ с неверными условиями не помогает клиенту. Сравнивая периоды, укажите изменения в темах обращений, нагрузке и составе команды. Это поможет отделить эффект ИИ от других причин.