onPrem: Resources & infrastructure requirements

Данные требования подходят под “чистую” onPrem установку.

Необходимое ПО

Для установки платформы должен быть развернут KubernetesТребования к Kubernetes

  1. Версия 1.27.x

  2. StorageClass, который поддерживает RWX (ReadWriteMany) — https://kubernetes.io/docs/concepts/storage/persistent-volumes/

Прикладное ПО, необходимое для работы Платформы

  1. Postgres 16.x

  2. Redis 7.x.x

  3. S3 Compatible Storage, ex. Minio

  4. Rabbitmq 3.12.x

  5. Максимальный размер сообщения 512мб

  6. ClickHouse 23.8

Если требуется отказоустойчивость и высокая доступность, то Прикладное ПО должно быть развернуто за пределами Kubernetes (см. Рекомендуемые системные требования для разворачивания). Необходима сетевая доступность между всем необходимым ПО и Kubernetes. Если не требуется отказоустойчивость и высокая доступность, то все сервисы можно разместить в Kubernetes кластере, в таком случае из необходимого ПО для возможности развертывания Платформы будет нужен только Kubernetes, прикладное ПО будет развернуто в процессе установки Платформы автоматически (см. Минимальные системные требования для разворачивания в Kubernetes Cluster)

Требования к среде

Минимальные системные требования для разворачивания в Kubernetes Cluster

Функционал, требующий GPU будет недоступен при работе платформы на минимальных системных требованиях

  • Недоступен функционал подсистем распознавания (ASR) и генерации голоса (TTS)

  • Медленная работа встроенного FAQ сервиса (RAG, LLM)

Имя группы серверов

Назначение

Описание

ЦПУ

ОЗУ, Гб

Дисковое пространство, Гб

Количество ВМ

masters

мастер ноды оркестратора Kubernetes

4 ядра, производительность на ядро не менее чем у Intel® Xeon® Gold 6230

4

20

1-3

workers

управляемые ноды оркестратора Kubernetes

  • сервисы платформы, кроме NLU, LLM

  • Прикладное ПО

8 потоков, производительность на ядро не менее чем у Intel® Xeon® Gold 6230

32

250

3+

nlu-worker

управляемые ноды оркестратора Kubernetes

  • NLU сервисы

  • NER сервисы

не менее 16 ядер, производительность на ядро не менее чем у Intel® Xeon® Gold 6230

64

150

1+

llm-worker

управляемые ноды оркестратора Kubernetes

  • LLM&RAG сервисы

не менее 16 ядер, производительность на ядро не менее чем у Intel® Xeon® Gold 6230

32

150

1+

Рекомендуемые системные требования

Kubernetes Cluster

Имя группы серверов

Назначение

Описание

ЦПУ

ОЗУ, Гб

Дисковое пространство, Гб

Количество ВМ

GPU

masters

мастер ноды оркестратора Kubernetes

4 ядра, производительность на ядро не менее чем у Intel® Xeon® Gold 6230

4

20

1-3

workers

управляемые ноды оркестратора Kubernetes

сервисы платформы, кроме NLU, LLM

8 потоков, производительность на ядро не менее чем у Intel® Xeon® Gold 6230

32

250

3+

nlu-worker

управляемые ноды оркестратора Kubernetes

  • NLU сервисы

  • NER сервисы

не менее 16 ядер, производительность на ядро не менее чем у Intel® Xeon® Gold 6230

64

150

1+

llm-worker

управляемые ноды оркестратора Kubernetes

LLM&RAG сервисы

не менее 8 ядер, производительность на ядро не менее чем у Intel® Xeon® Gold 6230

64

150

1+

GPU видеокарта производительность не менее чем NVIDIA A10 16GB

voice-workers

управляемые ноды оркестратора Kubernetes

Сервисы работы с голосом:

  • ASR сервис

  • TTS сервис

не менее 8 ядер, производительность на ядро не менее чем у Intel® Xeon® Gold 6230

64

150

1+

GPU видеокарта производительность не менее чем Nvidia A10 GPU 16GB

Базы данных

Имя группы серверов

ЦПУ, ядра

ОЗУ, Гб

Дисковое пространство, Гб

Количество ВМ

Postgres

16

64

1000

2

Rabbitmq

8

16

300

3

Clickhouse

8

16

1000

2+

Redis

8

16

300

3

GPU requirement calculation

ASR TTS operation

Up to 5 languages

Type

200 sessions

300 sessions

400 sessions

ASR+TTS

Nvidia A10 16GB

2xNvidia A10 16GB

2xNvidia A10 16GB

ASR only

Nvidia A10 16GB

Nvidia A10 16GB

2xNvidia A10 16GB

TTS only

Nvidia A10 16GB

Nvidia A10 16GB

2xNvidia A10 16GB

Рекомендации по мониторингу и логированию

В рамках разворачивания Платформы будут развернуты следующие версии инструментов мониторинга и логирования:

  1. Elastic Stack 8.5.1

  2. Kube Prometheus Stack 61.3.1

Если данные инструменты уже используются у клиента, то они могут быть использованы для мониторинга и логирования Платформы

Результат подготовки среды

  • Выделены ресурсы и настроено ПО в соответствии с выбранным вариантом отказоустойчивости

  • Команде Graphlogic предоставлены

    • Доступ в kubernetes и Kubeconfig

    • IP адреса и учетные записи администратора в Прикладное ПО, если выбран вариант отказоустойчивой поставки, когда прикладное ПО расположено за пределами Kubernetes Cluster

    • Организована доступность среды для команды Graphlogic

    • Выданы данные по подключению к клиентским системам мониторинга и логирования, если предполагается их использование

  • Создано доменное имя для доступа к UI платформы, опционально, можно создать доменное имя для сервиса хранения объектов S3

    • Так как платформа работает с внешним окружение по протоколу https, к указанным выше доменным именам необходимо выпустить SSL сертификаты

Тестовое окружение

Предполагается разворачивание тестового окружения на той же среде, что подготовлена для продакшн окружения. В рамках подготовки среды нужны будут только ДНС имена и сертификаты для протокола https для доступа в UI (и s3 опционально)

PreviousРесурсы и материалы

Last updated