A/B-тесты в контакт-центре: как улучшить приветствие ИИ-агента
Улучшать клиентский сервис нужно постоянно. Каждое обращение в контакт-центр — возможность сделать обслуживание удобнее для клиента, повысить эффективность работы и улучшить юнит-экономику. Обычно для этого пересматривают регламенты или обучают операторов. Голосовые ИИ-агенты позволяют действовать точнее: проверять отдельные изменения на реальных звонках и оценивать эффект по данным.
В этой статье разберём, как провести A/B-тест нового приветствия голосового ИИ-агента: проверить альтернативный вариант на небольшой доле входящих звонков, измерить эффект и решить, стоит ли внедрять изменение на всей линии.
Зачем проводить A/B-тесты голосовых ИИ-агентов?
Контакт-центры работают с невысокой маржой, и обработка каждого обращения стоит денег. Чем эффективнее вы обслуживаете клиентов, тем лучше финансовый результат. A/B-тест помогает принимать решения не по ощущениям, а на основе того, как клиенты ведут себя в реальных разговорах. Вот что он даёт:
- Решения на основе данных: вместо того чтобы сразу внедрять новый сценарий или процесс, вы проверяете, что работает, а что нет. Так можно последовательно улучшать работу ИИ-агентов.
- Улучшение юнит-экономики: даже небольшие изменения к лучшему по таким показателям, как FCR (решение вопроса с первого обращения), AHT (среднее время обработки вызова) и CSAT (индекс удовлетворённости клиентов), могут заметно снизить стоимость обработки одного звонка. Для этого можно дорабатывать приветствие, порядок сбора сведений и сценарий разговора.
- Меньше риска: проверка нового подхода на небольшой доле звонков (например, 10%) ограничивает возможный негативный эффект. Если альтернативный вариант покажет себя хуже, это затронет лишь часть клиентов, а вы сможете быстро вернуться к основной версии.
- Регулярная адаптация: потребности клиентов, продукты и рыночные условия меняются. A/B-тесты помогают вовремя замечать, когда сценарии ИИ-агентов пора обновить с учётом новых задач бизнеса.
- Точный контроль условий: в отличие от операторов, голосовые ИИ-агенты следуют сценарию без отклонений от звонка к звонку. Поэтому разницу в результатах можно связать с проверяемым изменением, а не с тем, как оператор ведёт разговор.
В gptagent такие A/B-тесты проходят в режиме Primary / Challenger (основной и альтернативный вариант). Основная версия ИИ-агента продолжает работать без изменений, а альтернативная одновременно обрабатывает заданную долю реальных звонков. Это позволяет напрямую сравнить их результаты.
Как настроить первый A/B-тест: альтернативное приветствие
Представьте, что текущее приветствие ИИ-агента кажется вам слишком общим: возможно, из-за него клиенты не сразу говорят, зачем позвонили. Вы хотите проверить, улучшит ли ключевые показатели более конкретная или более доброжелательная формулировка.
1. Сформулируйте гипотезу:
Начните с гипотезы, которую можно проверить. Например: «Если вместо общей фразы сразу назвать типичные причины звонка — вопрос по оплате, техническая поддержка, статус заказа, — FCR вырастет, а AHT снизится».
2. Выберите показатели:
По каким показателям вы поймёте, что новое приветствие работает лучше? Обычно смотрят на следующее:
- FCR: доля обращений, по которым ИИ-агент решил вопрос без перевода на оператора.
- AHT: сколько времени в среднем занимает у ИИ-агента обработка звонка от начала до конца.
- CSAT: если ИИ-агент может попросить клиента оценить обслуживание во время разговора или сразу после него, вы получите обратную связь напрямую.
- Запись результатов в CRM: насколько точно и полно ИИ-агент вносит сведения о том, что операция завершена или нужная информация собрана.
Модуль оценки на базе ИИ в gptagent может проверять эти показатели по вашим критериям в 100% разговоров. Так вы сможете объективно сравнить диалоги с основным и альтернативным приветствиями.
3. Подготовьте альтернативное приветствие:
Составьте новое приветствие на основе гипотезы. Вот два примера:
- Текущее (основное) приветствие: «Здравствуйте! Спасибо, что позвонили в [название компании]. Чем могу помочь?»
- Альтернативное приветствие: «Спасибо, что позвонили в [название компании]. Чтобы быстрее вам помочь, уточните, пожалуйста, с каким вопросом вы обращаетесь. Например: „вопрос по оплате“, „нужна техническая поддержка“ или „хочу узнать статус заказа“. Можно также сказать: „соедините с оператором“».
Альтернативное приветствие подсказывает клиенту, как назвать причину звонка и при необходимости запросить перевод на оператора с передачей контекста. Оно также помогает понять, чем может помочь ИИ-агент.
4. Распределите входящие звонки:
В gptagent можно точно задать долю входящих звонков с альтернативным приветствием. Для первого теста часто выделяют 10% потока. Этого достаточно, чтобы собрать данные для выводов и при этом не показывать потенциально менее удачный вариант большинству клиентов. В остальных 90% случаев по-прежнему звучит основное приветствие.
Как запустить A/B-тест и проанализировать результаты
Когда альтернативное приветствие готово и доли звонков заданы, gptagent запускает тест. ИИ-агенты продолжают работать в вашей действующей инфраструктуре на базе SIP (протокол установления сеансов связи), поэтому менять маршрутизацию звонков или настройки телефонии не требуется.
1. Запуск и сбор данных:
gptagent автоматически направляет 10% входящих звонков ИИ-агентам с альтернативным приветствием, а 90% — тем, кто использует основное. По каждому обращению платформа собирает следующие данные:
- Полные расшифровки разговоров: всё, что сказали клиент и ИИ-агент.
- Оценки ИИ: для контроля качества (QA) модуль проверяет каждый разговор по вашим критериям. Единый подход позволяет объективно оценивать, решён ли вопрос с первого обращения, как реагировал клиент, соблюдён ли порядок работы и что показывают другие параметры.
- Метки обращений: звонки можно помечать по результату, причине обращения или отдельным событиям в ходе диалога.
- Результаты в CRM: gptagent отслеживает и сравнивает записи по итогам каждого обращения, чтобы вы могли проверить точность и полноту данных.
2. Мониторинг и анализ:
Пока идёт тест, сравнивайте выбранные показатели в основной и альтернативной группах. Ищите статистически значимые различия. Например:
- Вырос ли FCR с альтернативным приветствием? Если да, то насколько?
- Снизился ли AHT в группе с новым приветствием?
- Вырос ли CSAT в альтернативной группе?
- Были ли неожиданные результаты или изменения в обработке нестандартных ситуаций? Например, стали ли звонки чаще или реже переводить на оператора с передачей контекста?
В панели gptagent можно сопоставить результаты обеих групп и посмотреть, почему конкретный звонок пришлось перевести на оператора. Даже во время теста у клиента всегда остаётся способ решить вопрос.
3. Соблюдение требований регуляторов (комплаенс):
На всех этапах A/B-теста важно соблюдать применимые требования, особенно при оказании финансовых услуг. В США к ним относятся TCPA (закон о защите потребителей при телефонных обращениях), FDCPA (закон о добросовестной практике взыскания задолженности) и Reg F (правила, которые уточняют, как применять этот закон). На других рынках действуют свои правила. При работе с клиентами в ЕС учитывайте GDPR (Общий регламент ЕС по защите данных), если он распространяется на обработку их данных. gptagent помогает выполнять контрольные процедуры контакт-центра, но не заменяет внутренний контроль за соблюдением требований. Все диалоги ИИ-агентов должны вестись по применимым правилам независимо от варианта теста.
Что делать с результатами и как улучшать сценарии дальше
Принимайте решение, когда данных будет достаточно, чтобы судить о статистической значимости различий. Обычно на это уходит несколько дней или недель в зависимости от объёма звонков.
1. Сделайте выигравший вариант основным:
Если альтернативное приветствие показывает лучшие результаты по ключевым показателям, внедрите его у 100% ваших ИИ-агентов. Это сразу повысит эффективность обработки и качество обслуживания на всех звонках, где звучит это приветствие.
2. Доработайте вариант и проверьте снова:
Если альтернативный вариант не показал преимущества или результаты неоднозначны, разберитесь в причинах. Возможно, гипотеза была неверной или формулировку приветствия стоит уточнить. Это не провал: даже такой результат подскажет, что изменить перед следующим тестом. Регулярные A/B-тесты помогают последовательно улучшать работу ИИ-агентов.
3. Тестируйте не только приветствия:
Приветствие — удобная отправная точка, но A/B-тесты подходят и для других частей разговора с ИИ-агентом:
- Варианты сценариев: сравнивайте разные способы объяснить правила или собрать нужные сведения.
- Тон и формулировки: проверяйте, когда лучше говорить с сочувствием, а когда — прямо и по делу.
- Порядок сбора сведений: проверяйте, в какой последовательности лучше запрашивать данные у клиента.
- Сценарии эскалации: сравнивайте разные формулировки, которыми ИИ-агент предлагает перевод на оператора с передачей контекста.
Даже небольшое улучшение, подтверждённое тестом, помогает снизить стоимость обработки обращения и улучшить юнит-экономику. Компании в сфере BPO (аутсорсинг бизнес-процессов) и агентства могут проводить такие тесты в gptagent сразу по нескольким клиентам или направлениям бизнеса, не смешивая их данные.
A/B-тесты с голосовыми ИИ-агентами позволяют опираться на данные реальных звонков, а не на догадки. Начните с приветствия: систематическая проверка даже одного элемента сценария помогает понять, что упрощает разговор для клиента и даёт измеримый результат для контакт-центра.
Чтобы оценить эффект A/B-тестов с gptagent на вашей линии, начните с пилотного проекта.
Читайте также
- A/B-тесты ИИ-агентов: как безопасно проверять изменения на реальных обращениях
- Звонки в нерабочее время: как голосовые ИИ-агенты записывают пациентов на приём в стоматологические клиники США
По теме: Голосовые ИИ-агенты · BPO
Хотите проверить, как это работает на вашей линии? Начните бесплатно.