Тестирование сценария Агента

После того как Сценарий агента собран и Агент обучен (о том, как успешно обучить Агента: Требования для успешного обучения Агента), его необходимо протестировать.Для этого откройте Дебаг виджет, в котором можно пообщаться с Агентом, переключив тумблер DEBUG.

Важно: если с момента вашего последнего сообщения Агенту в Дебаг виджете прошел час или более, то Диалог будет закрыт и Агент перестанет отвечать. Необходимо будет обновить страницу, чтобы Агент снова начал отвечать.

Для того чтобы максимально эффективно протестировать Агента, необходимо выполнить следующие шаги:

1. Составить максимально полный список вопросов к Агенту. Необходимо продумать, как реальный Собеседник будет формулировать вопросы, и постараться предусмотреть большинство из них. Также в список вопросов необходимо включить фразы, которые Агент не должен распознавать и должен отправлять в fallback.

2. Прогнать список вопросов через Агента, проверить распознавание Интентов и подсчитать процент правильных ответов Агента. Если фраза не распознается (попадает в fallback) или попадает не в тот Интент, в который должна, выписываем ее и указываем название Интента, куда она должна была попасть. После того как все Интенты будут проверены, нужно занести выписанные фразы в соответствующие Интенты и переобучить Агента. Если нерелевантные фразы, которые Агент не должен распознавать, попадают не в fallback, а в Интенты, после завершения регрессионного тестирования следует попробовать подобрать более оптимальное значение Threshold. Подробнее в разделе Тестирование и улучшение распознавания Агента: подбор Confidence threshold.

3. После переобучения Агента снова пройтись по списку Интентов и проверить каждый. Вновь подсчитать процент правильных ответов. Если Интенты продолжают путаться, проверяем Обучающая выборка. Если Обучающая фраза в выборОбучающая выборка разных Интентов слишком похожи, нужно либо сделать Обучающая выборка этих Интентов более отличными друг от друга (убрать похожие формулировки, добавить больше отличающихся фраз), либо объединить путающиеся Интенты в один.

4. Если в Сценарий агента задействованы Словарь, работа Словарь проверяется следующим образом: нужно задать вопросы с целью попасть в конкретную Ветка сценария — одно из разветвлений с референсом — либо ветка true. Если фраза попадает не в ту ветку, в которую должна, то идем в Словарь и проверяем, есть ли использованное в фразе слово в выборке Словарь. Если нет — добавляем, если есть — проверяем, нет ли этого же слова в других Сущность.

5. После сохранения изменений в Словарь еще раз пройтись по всем Ветка сценария и, в случае непопадания в нужную Ветка сценария, добавить недостающие слова в Словарь.

6. Также необходимо проверить работу всего функционала. Особое внимание стоит уделить слотам со сложным функционалом — Regular Expression, Memory.

7. Проверить скорость перевода на оператора, если такой переход предусмотрен.

8. Проверить работу Внешний запрос и скорость интеграции с внешними сервисами, если они предусмотрены.

9. Провести тест в каждом задействованном Канал Проекта: мессенджеры, виджет и пр.

10. Проверить орфографию, пунктуацию и грамматику.

Важно: для того чтобы внесенные изменения вступили в силу, не забудьте переобучить вашего Агента с помощью кнопки Train в БотБилдере.