Q&A

Назначение и общая информация

Слот Q&A предназначен для генерации ответа Агента на Реплика Собеседника, руководствуясь выбранной в Слоте Data source.Слот принимает Реплика в client_message и отправляет ее на сервис генерации ответа (FAQ сервис) с учетом выбранной Data source, получает ответ от сервиса и записывает его в Системная контекстная переменная faq_result.Слот Q&A содержит в настройках Ресурсы Компании — Data source (Q&A Datasource).

Используемая в FAQ сервисе LLM модель: Llama3.

Создание и настройки слота

Атрибуты слота

1. Name — название Слота, которое будет отображено в Дерево сценария. Максимальная длина значения поля — 40 символов. Если название не введено, Платформа автоматически копирует название выбранной Data source из поля Datasource в поле Name.

2. 1. Валидация: по нажатию кнопки CREATE (при создании слота) или SAVE (при редактировании Слота) проверяется количество символов в поле:

   2. 1. при количестве символов более 40 в поле выводится ошибка Name must contain no more than 40 characters

      2. 
3. Data Source* — Data source (Datasource), которая служит источником для поиска ответа на Реплика

4. 1. Валидация: по нажатию кнопки CREATE (при создании Слота) или SAVE (при редактировании Слота) проверяется наличие выбранной Data source в поле:

   2. 1. при отсутствии выбранной Data source в поле выводится ошибка Please choose datasource
      2. при импорте конфига (Экспорт, импорт, замена сценария агента) может возникнуть ситуация, когда поле Data Source будет пустым, если открыть такой Слот, то его нельзя будет сохранить, пока не выберешь Data source (закрыть окно редактирования Слота без сохранения можно).

5. Send answer to channel — опция, которая отвечает за поведение Слота: отправлять ли ответ в канал (см. Работа слота), включена по дефолту

6. Chunk size* — максимальный размер одного текстового сообщения с ответом от Слота. Поле появляется при включенной опции Send answer to channel. Лимиты на значение поля — от 100 до 1000000 символов.

7. 1. Валидация: по нажатию кнопки CREATE (при создании слота) или SAVE (при редактировании слота) проверяется количество символов в поле:

   2. 1. при количестве символов менее 100 или более 1000000 в поле выводится ошибка Chunk size has to be between 100 and 1000000 characters

      2. 
   3. Текстовые сообщения отправляются в канал следующим образом:
   4. 1. FAQ-сервис отдает ответ в Слот постепенно частями, Слот принимает ответ от FAQ-сервиса так же частями и подсчитывает сумму их длин;

      2. С момента, как сумма длин частей достигает минимального размера (минимальный размер одного текстового сообщения считается по формуле Chunk size - 50 символов) и до момента, когда она становится равна Chunk size - 30 символов, система ищет в тексте ответа сепаратор — разделительный знак препинания (., ?, !, :, ;)

      3. 1. Если на данном промежутке находится сепаратор:

         2. 1. останавливается накопление сообщения, сообщение обрезается по сепаратору и отправляется в канал

            2. начинается накопление нового сообщения и повторяются операции, начиная с пункта 4.b.ii.

         3. Если на данном промежутке не найден сепаратор, то накопление ответа продолжается до момента, когда сумма длин частей становится равна Chunk size. На данном промежутке текста система ищет сепаратор или пробел.

         4. 1. Если на данном промежутке находится сепаратор или пробел:

            2. 1. останавливается накопление сообщения, сообщение обрезается по сепаратору или пробелу и отправляется в канал

               2. начинается накопление нового сообщения и повторяются операции, начиная с пункта 4.b.ii.

            3. Если на данном промежутке не найден сепаратор или пробел:

            4. 1. останавливается накопление сообщения, сообщение обрезается ровно по количеству символов Chunk size и отправляется в канал.

               2. начинается накопление нового сообщения и повторяются операции, начиная с пункта 4.b.ii.

      4. Таким образом в канал может уйти несколько сообщений, пока не будет отправлен весь ответ от FAQ-сервиса;

      5. После получения всех частей ответа Слот записывает весь текст ответа в Контекстная переменная faq_result

      6. Пример: значение поля Chunk size — 500 символов, на промежутке с 450 до 470 символов система ищет сепаратор (., ?, !, :, ;). Был найден сепаратор — ., сообщение было обрезано по нему и отправлено в канал. Началось накопление нового сообщения, на промежутке с 450 до 470 система не нашла сепаратор, накопление сообщения продолжилось, пока не был найден пробел на промежутке с 470 до 500 символов. Сообщение было обрезано по пробелу, отправлено в канал, началось накопление нового сообщения, которое содержало всего 466 символов. Оно было отправлено в канал, весь ответ был записан в Контекстная переменная faq_result.

8. Include slot history to prompt (steps count) — количество шагов истории общения со Слотом, которое необходимо использовать в качестве контекста в момент запроса к FAQ-сервису:

9. 1. в Платформа хранится история общения в 6 шагов (один шаг это один запрос + полный ответ) для каждого Слота Q&A и LLM в каждом Чате;

   2. Проблема: на данный момент хранится история общения в 3 шага, а не 6 🐞В слоте Q&A количество пар вопрос-ответ в Include slot history to prompt steps count не совпадает с требуемым

   3. один шаг хранится 2 недели, затем удаляется из истории общения;

   4. по умолчанию значение поля равно 0;

   5. при отсутствии значения в поле после сохранения Слота в поле подставляется значение 0;

   6. в поле допустимо использование Выражение;

   7. если в поле содержится невалидное значение — не число; число не в диапазоне от 0 до 6; Выражение, дающее результат не в формате числа либо числа не в диапазоне от 0 до 6 — то при работе Слота будет подставлено значение 0.

10. Custom prompt — пользовательская подсказка (промпт), содержащая инструкции по генерации ответа Слотом. Максимальное значение поля — 1500 символов.

11. 1. Валидация: по нажатию кнопки CREATE (при создании слота) или SAVE (при редактировании слота) проверяется количество символов в поле:

    2. 1. при количестве символов более 1500 в поле выводится ошибка Prompt size should not exceed 1500 characters
    3. В поле допустимо использование Выражение и Выражение с управляющей конструкцией. Значение Выражение будет вычислено и подставлено в качестве пользовательского промпта.

    4. Характеристики, которые можно указать с помощью дополнительных инструкций:

    5. 1. Имя модели;

       2. Тон ответа;

       3. Формат ответа;

       4. Длина ответа.

    6. Ограничения и специфика:

    7. 1. Нет гарантий, что дополнительные инструкции будут 100% случаях выполняться;

       2. Дополнительные инструкции можно описывать на целевом языке Q&A модели;

       3. Не стоит повторять в дополнительных инструкциях инструкции системного промпта Q&A модели

    8. Стабильнее и разнообразнее инструкции поддерживает английский язык (англоязычный агент с англоязычным промптом)

12. Кнопка SHOW DATASOURCE IN NEW TAB — по нажатию кнопки выбранная в поле Data Source Data source открывается в соседней вкладке браузера.

Использование синтаксиса в Слоте Q&A

В Слоте Q&A допустимо использование Выражение в поле Include slot history to prompt (steps count) и Выражение и Выражение с управляющей конструкцией в поле Custom prompt. Подробнее: Синтаксис

Системный промпт

При генерации ответа Слот Q&A ориентируется в первую очередь на инструкции системного (встроенного) промпта:

1. Задача — ответить на вопрос по контексту (контекст — часть Data source, наиболее вероятно содержащая ответ на вопрос);

2. Ответ должен быть прямым, без додумок, только по контексту;

3. Ответ должен быть только на заданном языке;

4. Если вопрос не релевантен контексту, ответить, что невозможно ответить;

5. Если контекста недостаточно, чтобы дать ответ на вопрос, ответить, что невозможно ответить;

6. Не упоминать контекст.

Data Source

О создании Data source: Q&A Data Sources

Особенности валидации сценария со слотом Q&A

1. При импорте только конфигурационного файла без файлов Data source Слоты Q&A в Сценарий агента будут созданы с пустыми Data source (Data source будут созданы, но не будут содержать в себе файлов).
2. 1. При попытке обучить такого Агента будет выведена ошибка валидации и Агент не обучится.
3. Максимальная продолжительность обучения Агента не более 10 минут на один Слоты Q&A с уникальным значением в Data Source.

4. Не допускается использование Слота Q&A в цикле Repeat без Блокирующий слот в Ветка сценария Repeat Next, при Обучение Агента будет выведена ошибка валидации: To use Q&A slot in loop you need blocking slot (Wait for Reaction, Button Menu etc) in Repeat Next branch (не реализовано)

Работа слота

1. Слот Q&A принимает на вход Контекстная переменная client_message (в т.ч предварительно модифицированную, например, в Слоте Memory).

2. Слот Q&A вычисляет содержимое поля Custom prompt, если оно заполнено

3. Слот Q&A вычисляет содержимое поля Include slot history to prompt (steps count):

4. 1. если в поле содержится невалидное значение — не число; число не в диапазоне от 0 до 6; Выражение, дающее результат не в формате числа либо числа не в диапазоне от 0 до 6 — то будет подставлено значение 0.

5. Слот отправляет в FAQ-сервис запрос формата:

6. { "model_id": <числовой идентификатор модели>, "question": <текст вопроса (client_message)>, "options": { <-- Опциональный объект "additional_instructions": <содержимое поля Custom prompt> }, "history": { "messages": [ <-- шаги истории общения для контекста { "type": "client" (or "agent"), "content": "some question for q&a" } ] }}

7. FAQ-сервис производит генерацию ответа на текст из client_message на основании информации в выбранной Data source в поле Data Source в настройках Слота, истории общения (если значение поля Include slot history to prompt (steps count) валидно и больше 0), системного промпта и пользовательского промпта (при его наличии). Ответ отправляется FAQ-сервисом в Слот.

8. 1. Существует Лимит на длину ответа от FAQ-сервиса равный 1024 токена (токен — это минимальная единица текста, на которую модель (Llama3) разбивает текст для обработки). Ответ от FAQ-сервиса никогда не превышает данный лимит. Среднее количество символов на токен — 4 символа, соответственно, примерная максимальная длина полного ответа от FAQ-сервиса — 4096 символов.

   2. Для голосового канала Voice box API ответ всегда будет отдаваться стримингом по предложениям

9. Слот отправляет текст ответа в канал, как описано в п.4.b раздела Атрибуты слота, если в настройках Слота включена опция Send answer to channel.

10. После получения всех частей ответа, Слот записывает текстовый результат (ответ) в переменную faq_result

11. 1. если операция была прервана по таймауту в faq_result попадает текст error: timeout

    2. faq_result — Системная контекстная переменная, не подлежит изменению пользователем

Аналитика работы слота и отчеты

Информация о работе Слота отражается в следующих отчетах:

1. Chat context — переменная faq_result
2. Project usage — количество попаданий в Слот.
3. Slot stats — отмечается прохождение Слота (в т. ч. в случае прерывания операции по таймауту).
4. Chat History — если включена опция отправки ответа в канал, то сообщения от Агента отражаются в отчете и отмечаются как текстовые сообщения.

Планируемая аналитика работы слота и отчеты

1. Chat History — записывается результат выполнения слота в следующем формате - создаются 2 или 3 записи в таблице:

2. 1. Начало обработки сообщения FAQ сервисом (всегда)

   2. 1. Author - System

      2. тип Q&A processing start

      3. контент:

      4. 1. slot id

         2. входная фраза

         3. Datasource name

         4. 1. сейчас допустимо текущее на момент выгрузки имя датасорса

            2. в новом отчете нужно будет выводить имя датасорса на момент общения - из опубликованной версии

   3. Полный текст ответа,

   4. 1. Author - Agent

      2. тип: Q&A reply

      3. контент - текст сообщения

   5. Окончание обработки сообщения FAQ сервисом (всегда)

   6. 1. Author - System

      2. тип Q&A processing end

      3. контент:

      4. 1. slot id

         2. признак answer sent (“отправлен ли ответ в канал” )

         3. chunk size

         4. chunk number

         5. скорость выполнения генерации ответа (от поступления задачи в FAQ сервис, до выдачи им ответа в сценарий)