Метрики доступности и производительности в чатах: исследование Апекс Берг и Webim

С марта по апрель 2023 года наша команда помогала коллегам из компании Апекс Берг Контакт-Центр Консалтинг мы проводили исследование показателей доступности и производительности при обработке чатов. 

*Все мнения и оценки, содержащиеся в настоящем отчете, отражают мнение авторов на день публикации и подлежат изменению без предупреждения. Авторы не несут ответственность за какие-либо убытки или ущерб, возникшие в результате использования любой третьей стороной информации, содержащейся в настоящем отчете, включая опубликованные мнения или заключения, а также за последствия, вызванные неполнотой представленной информации.

О важности клиентского сервиса в текстовых каналах 

В сфере обслуживания клиентов увеличение числа обращений через текстовые каналы коммуникации, такие как чаты, мессенджеры и социальные сети, становится всё более заметным и важным. С ростом популярности онлайн-коммуникаций и удобства получения помощи через чаты компании сталкиваются с необходимостью эффективного управления этим процессом. В этом контексте контроль над процессами взаимодействия с клиентами в чатах приобретает особую важность. 

Такой контроль включает в себя мониторинг следующих показателей: своевременность ответов на обращения клиентов, качество обработки контактов, производительность операторов, результативность продаж (опционально).  Проводя такой мониторинг, компании могут осознанно управлять клиентским опытом и затратами на обслуживание клиентов. 

Однако, наблюдения авторов исследования показывают, что уровень зрелости процессов контроля обслуживания клиентов в чатах не всегда высок. Некоторые показатели не измеряются или измеряются некорректно, а менеджмент не всегда имеет точное представление о реальной ситуации с обслуживанием клиентов или затратах на сервис. 

Поэтому целью нашего исследования стало более точное понимание ситуации в контакт-центрах, особенно в части измерения показателей доступности и производительности при обслуживании клиентов в чатах. 


 

В общей сложности в исследовании приняло участие более 40 контактных центров из различных отраслей. На диаграмме выше приведено распределение контакт-центров – участников исследования по количеству обрабатываемых чатов за месяц. 

Важно отметить, что среди участников есть представители как крупных и средних, так и небольших контакт-центров (подразделений по работе с чатами в контакт-центре). 

Показатели доступности

Своевременность ответа в чатах сильно влияет на удовлетворенность клиентов от обслуживания. Для контроля уровня доступности в чатах можно выбрать один из двух основных показателей: 

  • Service Level (SL).
    Для управления доступностью необходимо измерять долю чатов, в которых клиенту был направлен ответ на его первый запрос за установленный целевой интервал времени. То есть необходимо учитывать время ожидания чата в общей очереди, время ожидания чата на рабочем месте оператора и время работы оператора с первой репликой. Только в этом варианте расчета показатель будет отражать реальный клиентский опыт.

  • Average 1 Response Time (A1RT).
    Аналог показателя ASA в телефонном канале. Аналогично, необходимо учитывать не только время ожидания в общей очереди, но и время до первого ответа оператора клиенту.

Апекс Берг рекомендует применять показатель Service Level так как он лучше передает клиентский опыт, однако в исследовании проводили опрос по метрике A1RT, так как по этому показателю возможно провести сравнение между контакт-центрами, а по показателю Service Level невозможно, поскольку разные контакт-центры используют различное целевое время для расчета SL. 

Ниже вы найдёте  распределение участников по способу измерения показателя A1RT. Как можно видеть из диаграммы, 16% контакт-центров – участников исследования вообще не измеряют этот показатель.

Только половина контакт-центров проводит измерение корректно, включая полное время ожидания — от отправки клиентом первого запроса, до получения клиентом первого ответа от оператора. 

Более трети компаний видит неполную картину по времени ожидания клиентов, измеряя либо только время чата в общей очереди (13%) или только время, которое чат находится на рабочем месте оператора до первого ответа (23%). Причем и в первом, и во втором случаях время, которое видит менеджмент КЦ, отличается в меньшую сторону от реального времени ожидания ответа клиентом. Очевидно, что  любой клиент, попавший в очередь с длительными отрезками ожидания, будет испытывать негативный клиентский опыт, что отразится на его лояльности. А показатели доступности, при этом, могут выглядеть вполне нормальными.

На диаграмме ниже приведены статистические параметры по показателю A1RT. Параметры рассчитаны на основе данных только тех участников исследования, которые применяют правильный подход и измеряют полное время ожидания ответа клиентом. Авторы исследования обращают внимание, что количество таких компаний не велико и указанные статистические параметры нельзя рассматривать как значения по всем контакт-центрам на рынке.

Среднее значение показателя A1RT составило 366 секунд, а медиана — 65 секунд. Такое существенное различие между средним значением и медианой связано с тем, что у нескольких участников исследования их показатель A1RT превышает 1 час. Соответственно, эти участники исследования существенно повлияли на среднее значение и гораздо в меньшей степени на медиану. 

Значение 1 квартиля (это значение, меньше которого показатель A1RT находится у 25% участников) составило 28 секунд, что, по мнению авторов исследования может быть адекватной целью для многих контакт-центров. Однако, также, как и в голосовом канале, целевые значения по доступности мы рекомендуем устанавливать с учетом влияния доступности на клиентский опыт.

Разберем еще одну метрику, которая не применяется для голосового канала, но при обработке чатов является важной. Это показатель ART (Average Response Time) — среднее время ответов оператора на запросы клиента внутри чат-сессии. Этот показатель необходимо измерять и контролировать так как в чатах клиент может длительное время ожидать ответа оператора не только в начале сессии, но и после того, как начался диалог с оператором. Это связано не только с тем, что оператор может долго искать нужную информацию в базе знаний для ответа клиента, но и с тем, что на операторе могут одновременно быть распределены несколько чат-сессий. В ситуации, пока оператор отвечает на очередную реплику в одной сессии, клиенты в других параллельных сессиях будут ждать ответа оператора. 

Особенно актуальным показатель ART становится, когда в КЦ применяется практика искусственного быстрого первого ответа (отбивка). Эта практика предусматривает нарушение традиционной «логистики» оператора между чат-сессиями (логистика по правилу FIFO) и подразумевает внеочередной быстрый ответ клиенту во вновь поступившей чат-сессии и последующий возврат привычную последовательную логику обработки всех имеющихся чат-сессий. В этой ситуации показатель SL или A1RT могут вполне соответствовать целевым значениям, но клиент будет ожидать длительное время после каждого своего уточняющего вопроса внутри чат-сессии.

На диаграмме ниже вы можете увидеть распределение участников исследования по отношению к измерению показателя ART.

Практически две трети участников (63%) не измеряют показатель ART.  В таком случае, у менеджеров контакт-центра нет возможности видеть и понимать, насколько долго клиент ожидает ответа на каждый свой вопрос внутри чат-сессии. 

Контролем общей длительности чат-сессий показатель ART не заменить, так как для клиента сессия длительностью 5 минут, состоящая из 10 реплик и сессия длительностью 5 минут, но с двумя репликами будет ощущаться совершенно по-разному.

Участники, которые измеряют показатель ART, разделились почти поровну с точки зрения методики — включать первую реплику или не включать в расчет ART. Можно предположить, что если у оператора есть поставленная цель по быстрой первой реакции на новую чат-сессию, то первую реплику лучше не включать в расчет — это время войдет в показатель SL / A1RT. Если такой цели у оператора нет и реплики в разных чатах обрабатываются по мере поступления, то лучше использовать полный показатель, с включением всех реплик.

Сравнение участников исследования по значению показателя ART приведено на диаграмме.  Важно:  этот показатель измеряется очень малым количеством КЦ и указанные статистические параметры нельзя рассматривать как значения по всем контакт-центрам на рынке.

Многие менеджеры контакт-центров замечают, что поведение клиентов в чатах отличается от поведения при общении по телефону. Для многих клиентов в порядке вещей отвлечься от переписки с оператором на длительное время, а потом вернуться и продолжить диалог. Завершение диалога тоже часто остается без подтверждения от клиента, что все его вопросы решены. Клиент, получив последний значимый для себя ответ выключает телефон / закрывает сайт, и последующие вопросы оператора, «может ли он чем-либо помочь», остаются без ответа.

Мы не можем долгое время держать занятым операторский слот для неактивного клиента. Если не закрывать неактивные чат-сессии и не высвобождать слоты для распределения новых, то будет ухудшаться доступность для клиентов так как новые чаты будет не на кого распределять (все операторы будут загружены до установленного лимита). При этом часть операторов будет простаивать так как будут ждать сообщений от клиентов в незакрытых чат-сессиях. 

Для решения этого проблемы в контакт-центрах устанавливается таймаут по неактивности клиента. Нормативное время, после истечения которого при неактивности клиента чат-сессия должна быть закрыта. Закрываться она может автоматически, если такая функциональность есть в платформе, или это делает руками оператор даже если от клиента нет подтверждения в решении его вопроса.

На диаграмме ниже мы приводим распределение контакт-центров – участников исследования по длительности установленного таймаута. 

Как видим, у 27% контакт-центров таймаут вообще не установлен - это значит, что для оператора нет четких правил по времени, когда он может закрывать чат-сессию. Это несет определенные риски несвоевременного закрытия чат-сессий и ухудшения параметров доступности и производительности. 

У 25% участников установлен достаточно короткий таймаут до 5 минут, еще 28% участников имеют таймаут длительностью от 5 до 15 минут. 

У 20% контакт-центров таймаут превышает 15 минут.

Необходимо отметить, что в индустрии или в международных стандартах нет какого-то значения таймаута, который можно было бы считать оптимальным.

Таймаут нужно устанавливать в связке с несколькими параметрами. Вот ключевые из них: 

  • Доля повторных чат-сессий, которые по смыслу являются не повторными, а простым продолжением решения вопроса клиента. Желательно, чтобы таких ситуаций, когда клиент ненадолго отвлекся, а вернувшись «попадает» в новую чат-сессию, было меньше. Даже если система позволяет маршрутизировать такой чат на предыдущего оператора, и даже сверх установленного лимита, это не всегда будет возможно.

  • Загруженность операторов чат-сессиями или установленный лимит по количеству одновременных чат-сессий. Длительный таймаут будет приводить к простою оператора при небольшой загруженности чат-сессиями. Если в момент таймаута в одной сессии у оператора есть еще 2–3 других, то вероятность того, что там тоже будет таймаут в это же время, меньше, чем при небольшой загруженности. 

  • Доля чистого времени работы оператора в чат-сессиях. Этот параметр почти нигде не вычисляется, но именно он и показывает какую часть времени оператор по факту простаивает, даже если на нем распределены чат-сессии. 

Всю эту комбинацию параметров необходимо определять совместно с анализом длительности обработки чат-сессии и влиянии длительности на удовлетворенность клиентов.

Показатели производительности

Контроль и управление производительностью необходимы для эффективного использования операторского времени, а, следовательно, и затрат компании на обработку чатов. Эта область должна быть сбалансирована с доступностью. С одной стороны клиенты не должны долго ждать ответов оператора, с другой стороны мы должны обеспечить высокую загруженность операторов (не забываем только, что высокая загруженность также влияет на удовлетворенность и выгорание операторов КЦ). 

В рамках исследования мы задавали вопросы участникам по отношению только к двум показателям производительности, которые имеют отличия в расчетах и использовании, по отношению к голосовому каналу: 

  • Среднее время обработки контакта (АНТ)

  • Загруженность операторов

Начнем со среднего времени обработки контакта. При обработке чатов такой показатель чаще называется не АНТ, а ACPT (Average Chat Processing Time) или ASHT (Average Session Handling Time). Подход к его измерению не отличается от методики измерения АНТ при обработке звонков. За длительность чат-сессии берется время с момента, когда чат распределился на оператора, до момента, когда чат-сессия закрывается и слот освобождается для приема следующей чат-сессии из общей очереди. Диаграмма ниже показывает распределение участников исследования по отношению к измерению данного показателя.

По результатам исследования, только 40% участников исследования измеряют этот показатель. Интересно, что в крупных КЦ показатель ACPT измеряется у большей части участников, в небольших КЦ — у меньшей.

При этом важность показателя ACPT сложно переоценить. Вот для чего измеряют этот показатель:

  • Контроль длительности обработки чатов на уровне процессов (очередей). 

  • Анализ длительности обработки чатов операторами контакт-центра. Как будет описано далее, для этой задачи применять в чистом виде показатель ACPT неправильно. Необходима его коррекция.

  • Расчет потребности в операторах в линию на основе прогноза ACPT

  • Анализ влияния длительности чат-сессий на удовлетворенность клиентов. В отличие от звонков, в чатах такую задачу необходимо решать, поскольку попытки увеличить загруженность операторов часто приводят к увеличению длительности чат-сессий, что отражается на удовлетворенности клиентов.

  • Расчет различных экономических кейсов, расчет показателей себестоимости обработки контактов.

Ниже  приведено сравнение участников исследования по значению показателя ACPT.  Повторим, что этот показатель измеряется очень малым количеством КЦ и указанные статистические параметры нельзя рассматривать как значения по всем контакт-центрам на рынке.

Среднее значение ACPT по участникам исследования составило 936 секунд. Это означает, что вопрос клиента в среднем решается более 15 минут!  

Загруженность операторов при обработке чатов не менее важный параметр, чем при обработке звонков. При этом измерять классическую загруженность (Occupancy), как она измеряется при обработке звонков, нельзя или этого будет недостаточно. Это связано с тем, что на операторе в один момент времени может быть различное количество чат-сессий и, соответственно, это должно отражаться и в показателе загруженности. На практике необходимо измерять три показателя:  

  • Средняя загруженность операторов чат-сессиями (Concurrency Rate - COR)

  • Максимальная загруженность операторов чат-сессиями

  • Установленный лимит по количеству одновременных чат-сессий (Concurrency Limit - COL)

Как ни странно, лимит тоже иногда необходимо вычислять в виде среднего значения, когда у различных операторов установлен различный лимит по количеству чат-сессий.

На диаграмме выше приведено распределение участников исследования по отношению к измерению показателя COR. Как видим, измеряют данный показатель только 15% участников. Бенчмаркинг по этому показателю по этой причине мы приводить не будем.

Тем не менее, показатель COR является крайне важным. От значений загруженности операторов чат-сессиями напрямую зависит средняя длительность обработки чат-сессии, что, в свою очередь, может существенно влиять на клиентский опыт. 

Отсюда возникает необходимость не просто измерять и контролировать загруженность операторов, но и использовать результаты корреляционного анализа COR,  ACPT и удовлетворенности клиентов при расчете численности операторов.

Второй параметр, который необходимо измерять — максимальное количество чат-сессий, одновременно распределенных на оператора. Этот параметр особенно важен для тех контакт-центров, у которых не установлен лимит по количеству одновременных чат-сессий, а таких КЦ по итогам нашего исследования — 30%.
 

Показатель не является основным, но может использоваться для более точного понимания загруженности операторов, поскольку Concurrency Rate показывает усредненную загруженность. В условиях отсутствия установленного лимита максимальная загруженность может достаточно сильно отличаться от средней.

На диаграмме выше  видно, что только 20% участников измеряют данную метрику. Примечательно, что среди тех контакт-центров, в которых не установлен лимит по количеству чат-сессий, этот показатель измеряется только в одном.

Лимит по одновременному количеству чат-сессий устанавливается в целях недопущения роста загруженности операторов чат-сессиями выше определенного значения. Это важно, поскольку загружая операторов все большим количеством чат-сессий контакт-центр перестает выигрывать что-либо в производительности и себестоимости и начинает терять в удовлетворенности клиентов из-за увеличения длительности чат-сессий. 

Самое часто-применяемое значение установленного лимита, среди тех контакт-центров, где он установлен — три. Лимит, равный трем, является самым частым и по итогам различных мировых исследований. 

Однако, это не значит, что всем контакт-центрам нужно устанавливать именно такой лимит. Его значением должно устанавливаться с учетом баланса между своевременностью ответа оператора на реплики клиента внутри чат-сессии и производительностью оператора. 

Есть три основных варианта, для работы с операторами с точки зрения длительности обработки чат-сессий: 

  • Проводить сравнение операторов, ставить цели и проводить оценку достижения целей для разных уровней загруженности операторов. То есть делить операторов на группы с точки зрения их фактической загруженности и работать внутри этих групп. 

  • Нормировать показатель ACPT к единому значению загруженности (простое математическое преобразование на основе установленной корреляционной зависимости между ACPT и COR)

  • Вычислять (если позволяет платформа) чистое время работы оператора в чат-сессии, исключая время, когда сессия находится на операторе, но оператор занят работой в параллельной сессии.

На диаграмме выше  приведено распределение участников по показателю, который применяется ими для работы с операторами. 

38% участников исследования или половина от всех, кто вообще измеряет длительность обработки чатов, работают с операторами по показателю ACPT без дополнительных преобразований. 

У 28% участников (или 39% от тех, кто измеряет среднюю длительность) к операторам применяется чистое время работы оператора в чате. 

Только 5% нормируют показатель ACPT для работы с операторами.

Еще 3% применяют показатель продуктивности (количество чат-сессий, обработанных за час), который также сильно зависит от загруженности оператора и не является хорошей практикой ни в звонках, ни в чатах.

Показатели, используемые при расчете численности операторов

Показатели доступности и производительности при обработке чатов нужны не только для их контроля и проведения корректирующих действий при отклонении от целей, но и для расчета потребности в операторах контакт-центра в линии. Обработка чатов, так же, как и голосовых контактов проводится в непрерывном режиме и для расчета количества операторов должна применяться логика, учитывающая, что реагировать на поступающие чаты необходимо быстро. На диаграмме ниже приведено распределение участников исследования по используемым методам и инструментам для расчета численности операторов. 

Из диаграммы видно, что одинаковое количество участников (18% участников исследования) применяют модель Эрланг С в виде надстроек к MS Excel и простую линейную модель.

Нужно заметить, что линейная модель не подходит для расчета численности операторов в чатах поскольку зависимость между нагрузкой, которую надо обработать и потребностью в операторах далеко не линейная. Можно не использовать в чистом виде формулы Эрланга, но тогда модель должна учитывать и размер нагрузки, и целевые значения по доступности и загруженность операторов чат-сессиями!

WFM-платформы также могут применяться для расчета численности операторов и их используют 10% участников исследования. Однако, на практике при использовании WFM-платформы встречается много подводных камней, как в понимании менеджерами моделей расчета, заложенных в эти системы, так и в функциональности самих систем. 

Совсем незначительное количество участников применяет модель Erlang X, которая является развитием классических моделей Эрланга. Также отдельные участники используют калькуляторы Эрланга, размещенные на сайтах, что является методологически правильным, но очень не удобным вариантом.

При использовании моделей Эрланга или WFM-систем, в которых на самом деле реализованы они же или их модификации, нужно в качестве исходных данных указывать цели по показателям доступности. При обработке телефонных звонков с этим не возникает проблем. Можно указать целевое время по показателю Средняя скорость ответа (ASA) или целевое значение показателя Service Level (как сам целевой процент, так и порог по времени, по отношению к которому он рассчитывается). При обработке чатов ситуация более сложная. Время ожидания ответа клиентом складывается из двух составляющих: 

  • Время ожидания чата в общей очереди (до распределения на конкретного оператора)

  • Время от момента распределения до отправки оператором первого ответа клиенту.

Только 8% участников делают это правильно, указывая в качестве параметра цель по времени нахождения чата в общей очереди. Именно это время ожидает "Эрланг" в своей классической модели. 

Остальные участники вносят ошибку в расчеты, указывая некорректное время.

Финальная диаграмма показывает, как в КЦ учитывают то, что на оператора распределяется несколько сессий. 

Рекомендации экспертов в этой области говорят о том, что лучшим вариантом является деление результатов расчета количества операторов на установленный лимит. Так поступают 19% из тех, кто рассчитывает численность с использованием моделей Эрланга.

Заключение

Мы благодарим все компании, которые участвовали в исследовании, а также приглашаем присоединиться к этому и другим исследованиям бесплатно.

Информацию о проводимых исследованиях и условиях участия вы можете найти:

email subscribe

    Получайте подборку
    новых материалов Webim по почте!

    Узнавайте первым об обновлениях платформы, актуальных новостях из сферы онлайн-коммуникации, бизнес-кейсах
    и советах по улучшению клиентского сервиса.


    Webim в Telegram

    Подписывайтесь на наш канал, чтобы первыми узнавать об акциях и новостях

    Подписаться