#
Аналитика
Аналитика помогает понять, с чем обращаются клиенты, чем заканчиваются диалоги и насколько хорошо отвечает бот. Используйте её, чтобы находить частые вопросы, оценивать участие операторов, отслеживать достижения целей и выбирать, что улучшить в базе знаний, настройках действий и сценариях общения.
#
Как считаются обращения
Обращение — часть переписки клиента с ботом и оператором. Перерыв между сообщениями более 24 часов отделяет новое обращение. Поэтому один клиент может создать несколько обращений, а количество обращений и клиентов может различаться.
Для анализа используется вся переписка обращения, включая ответы оператора. При этом результат обращения и качество ответов бота оцениваются отдельно:
- Результат обращения показывает, чем закончилась переписка, в том числе с учётом помощи оператора.
- Качество бота показывает, насколько хорошо отвечал сам бот. Ответы оператора не повышают его оценку.
Если содержательных ответов бота нет, оценка качества не выставляется. Такое обращение всё равно может иметь тему и результат.
#
Обзор
В обзоре собраны основные показатели: Обращения, Клиенты, Решено без оператора и Качество ответов бота. Рядом с оценками и долями указано, на каком количестве обращений они основаны.
Открыть скриншот в полном размере
График Обращения по дням показывает динамику обращений и количество решённых вопросов. Кнопка Таблица позволяет посмотреть данные в табличном виде.
В блоке Результаты обращений показано распределение:
Решено с оператором отражает факт его участия. Этот показатель сам по себе не определяет, кто именно решил вопрос. Передача оператору также не означает, что вопрос уже решён.
Блок Частые темы показывает основные причины обращений, их количество, долю и наличие проблем. В блоке Что улучшить собраны выявленные проблемы и рекомендации: например, проверить настройки действий, доставку ответа или согласовать инструкции с базой знаний. Ссылки с количеством обращений помогают перейти к случаям, которые требуют разбора.
#
Как читать доли и оценки
Не все показатели рассчитываются от общего количества обращений. Обращений с результатом анализа может быть меньше, чем всего обращений, а обращений с оценкой качества бота — ещё меньше.
Например, на скриншоте всего 198 обращений, из них 150 оценены по результату. Вопрос решён в 54 случаях: 12 без оператора и 42 с оператором. Доля решённых составляет 54 / 150 = 36%. Средняя оценка качества бота 36,9 из 100 рассчитана отдельно — по 92 обращениям, где есть оценка его ответов.
Проверяйте подпись под показателем и указанную базу расчёта. Ещё не оценено не означает неудачу, а отсутствие оценки качества не равно нулевому баллу.
#
Цели и конверсии
Отчёт Цели и конверсии показывает достижения настроенных целей и конверсию по дням и темам. В обзоре для этого есть блок Конверсия по целям и ссылка Настроить цели.
Основа отчёта — зарегистрированные события целей. Вывод анализа переписки о заявке, продаже или записи сам по себе не является зарегистрированным достижением цели. Поэтому результат обращения и показатели конверсии могут различаться.
Если за период нет зарегистрированных достижений, в блоке отображается За период нет достижений целей. Проверьте настройку нужных целей и регистрацию их событий.
#
Вне рабочего времени
Этот отчёт помогает оценить обращения, которые начинаются вне рабочих часов, и узнать, сколько из них удаётся решить с оператором и без него.
Для расчёта используется график понедельник–пятница, 09:00–18:00, в часовом поясе бота. Обращения за пределами этого графика относятся к нерабочим; обращения в выходные также показаны отдельно.
Открыть скриншот в полном размере
В верхних карточках отображаются:
- Вне рабочих часов — количество и доля таких обращений среди всех обращений;
- Решено без оператора и Решено с оператором — результаты среди оценённых нерабочих обращений;
- В выходные — количество обращений в выходные и их доля среди нерабочих обращений.
Тепловая карта Все обращения по часам показывает нагрузку по дням недели и часам. Чем насыщеннее цвет ячейки, тем больше обращений. Выберите ячейку, чтобы посмотреть число обращений в этот час. Карта включает все обращения, в том числе поступившие в рабочие часы.
Внизу расположены Результаты нерабочих обращений и Темы вне рабочих часов. Результат определяется по всей переписке, включая ответы, полученные позже в рабочее время. Например, если клиент написал вечером, а оператор помог ему утром, решение учитывается в результате этого нерабочего обращения.
#
Качество
Отчёт Качество помогает оценить ответы бота и найти причины низких оценок. Он показывает средний балл, количество обращений с оценкой качества, обращения с проблемами и с участием оператора.
Открыть скриншот в полном размере
#
Из чего складывается оценка
Качество бота оценивается по шкале от 0 до 100. Итог складывается из пяти критериев:
График Качество по дням показывает изменение оценки со временем. В блоке Оценка по критериям можно увидеть, за счёт каких составляющих снижается средний балл. Распределение оценок делит обращения с оценкой качества на три группы: ниже 50, 50–79 и 80–100.
Оператор может помочь решить вопрос, но его ответы не повышают оценку бота. Если содержательных ответов бота нет, оценка качества не выставляется и такое обращение не участвует в расчёте среднего балла.
#
Какие обращения требуют внимания
В блоке Требует внимания перечислены обнаруженные проблемы: ошибки действий, отсутствие ответа, противоречия, ответы не по теме, нехватка знаний и другие затруднения. Нажмите на нужную проблему или Показать диалоги с проблемами, чтобы перейти к разбору обращений.
В одном обращении могут быть разные проблемы. Поэтому сумма случаев по видам проблем может быть больше количества обращений с проблемами.
#
Темы
Отчёт Темы помогает понять, какие вопросы встречаются чаще и по каким направлениям бот справляется хуже. Тема отражает главную причину обращения. Широкие темы создаются автоматически и повторно используются внутри каждого бота.
Открыть скриншот в полном размере
В таблице Темы обращений для каждой темы показаны:
- Обращения — количество и доля обращений по теме;
- Вопрос решён — доля решённых и соотношение решённых обращений к обращениям по теме;
- С проблемами — количество обращений, в которых обнаружены проблемы;
- Средняя оценка бота — средний балл по обращениям, где есть оценка качества. Прочерк означает отсутствие оценки, а не нулевой балл.
Используйте поле Найти тему и сортировку, например Чаще обращаются, чтобы найти нужное направление. Аналитика по темам также позволяет отслеживать повторные обращения.
Начните с тем, где одновременно много обращений, низкая доля решённых вопросов и заметное количество проблем. Это поможет выбрать, какие материалы базы знаний или сценарии стоит улучшить в первую очередь.
#
Какие данные анализируются
Для каждого обращения определяются следующие сведения. Они служат основой отчётов; не все представлены отдельными колонками в сводных таблицах.
#
Как использовать аналитику для улучшения бота
- В Обзоре оцените объём обращений и долю решённых вопросов, отдельно с оператором и без него.
- В Качестве найдите слабые критерии и откройте обращения с проблемами. Сверьте выводы с перепиской и сообщениями, на которых основана оценка.
- В Темах определите, какие вопросы повторяются чаще всего и требуют улучшений.
- По результатам разбора обновите базу знаний, системный промпт или действия бота.
- Проверьте изменённые сценарии. По мере появления новых обращений отслеживайте качество, результаты и достижения целей.
См. также
Этот раздел поможет запустить первого бота с нуля. Если вы раньше не работали с ChatRex, проходите обязательные шаги по порядку и не переходите к...
ChatRex помогает создать AI-бота, который отвечает клиентам, использует знания о компании и выполняет действия во внешних сервисах.
Как проверить чат-бота и анализировать обработанные сообщения в обновлённых разделах Тестирование и История.