Распознавание естественного языка

Распознавание естественного языка Агентами выполняется с помощью Слота NLU. Слот NLU обучается на Обучающая выборка включенных в него Интентов.Подробнее о создании Интентов: Вкладка интентов — Intents.Подробнее о работе Слота NLU: Распознавание намерений | Слот NLU и под-слоты Intent и Fallback.

Обучающая выборка Интента

Обучающая выборка — это фразы с одинаковым или близким смыслом, с помощью которых человек может высказать конкретное намерение (Интент), и на которых обучается модель NLU с целью распознавания этих и всех прочих вариантов высказывания того же намерения (Интента). От качества Обучающая выборка напрямую зависит качество распознавания в Агенте.Цель, к которой нужно стремиться при составлении выборки — дать Агенту как можно больше разнообразных вариантов формулировки намерения (но в пределах 30 фраз).Слот NLU, обученный на конкретной Обучающая выборка, будет распознавать не только Реплика Собеседника, полностью повторяющие Обучающая фраза из выборки, но и Реплика, близкие по смыслу.

Рекомендации по наполнению обучающей выборки Интентов

Для успешного распознавания рекомендуется:

1. Подобрать от 10 до 30 обучающих фраз-примеров к каждому Интенту.

2. Обучающая фраза одного Интента должны быть синонимичны друг другу – обозначать одно и то же намерение.

3. Обучающая фраза должны представлять собой набор фраз, осмысленных предложений, а не набор ключевых слов или тематик.

4. Обучающая выборка должна быть разнообразной. Для этого следует использовать различные синонимы к словам и различные формулировки намерений.

5. Фразы из Обучающая выборка должны звучать реалистично. Для того чтобы понять, как Собеседники формулируют вопросы, можно, к примеру, просмотреть историю общения Собеседников с консультантом или оператором поддержки в чате.

Рекомендации по списку Интентов

Очень важно не только грамотно наполнить Обучающая выборка Интентов, но и корректно составить список самих Интентов:

1. Близкие по смыслу Интенты стоит объединять. Если выборки разных Интентов будут очень близки по смыслу, с большой вероятностью NLU будет "путаться" между ними, т.е. Реплика, которые могут относиться к одному из них, NLU может отнести к fallback-у.

2. Интенты, содержащие различные по смыслу намерения, стоит разделять. Интент, который содержит множество хоть и относящихся к одной тематике, но все же различных намерений, лучше разделить на несколько отдельных. Таким образом NLU Агента сможет более точно составить представление о смысле каждого Интента и более точно распознавать их в будущем.

Залог качественного распознавания в Агенте — это не только грамотно составленный список Интентов и Обучающая выборка, но и тестирование. Подробнее: Тестирование и улучшение распознавания Агента: подбор Confidence threshold

Важно: необходимо избегать случайного совпадения Обучающая фраза в выборках разных Интентов — если в разных Интентах находится одна и та же Обучающая фраза, то совпадающая с ней Реплика Собеседника будет отнесена NLU к одному из этих Интентов случайным образом.