Перейти к содержанию

Параметры процессов

Webim работает как набор процессов: веб-сервер, Kafka-обработчики, планировщик периодических задач и обработчик отложенных задач. На этой странице описано, сколько процессов каждого типа запускать и с какими параметрами: число рабочих процессов веб-сервера, параметры gunicorn, топики и группы Kafka-обработчиков.

В облаке Webim параметры процессов задают сотрудники Webim. Раздел предназначен для технических специалистов hosted-клиентов.

Параметры процессов задаются не в файле .env. При установке в Kubernetes это переменные окружения в манифестах и число подов, при установке на сервер — ключи командной строки и число процессов в конфигурации supervisor.

Процессы Webim

Процесс Назначение Kubernetes supervisor Число экземпляров
Веб-сервер Обрабатывает HTTP-запросы: веб-интерфейс, API, опрос событий Deployment chatback-web djangochat-web Число подов или процессов gunicorn, умноженное на число рабочих процессов в каждом
Kafka-обработчики Выполняют фоновые задачи из топиков Kafka Deployment chatback-kafka-<обработчик> djangochat-kafka-<обработчик> Задаётся для каждого обработчика
Планировщик периодических задач Отправляет периодические задачи в Kafka StatefulSet chatback-scheduler djangochat-kafka-periodic-scheduler Строго один
Обработчик отложенных задач Отслеживает в Redis наступление сроков отложенных задач и запускает их StatefulSet chatback-watchdog djangochat-watchdog-listener Строго один
Служебные задания Применяют миграции базы данных и создают топики Kafka Job chatback-migrate и chatback-kafka-setup Выполняются при развёртывании Webim Один запуск

В Kubernetes тип процесса задаёт переменная окружения TARGET в манифесте, например web или kafka-worker. Не меняйте её у существующих ресурсов.

Имена программ supervisor зависят от установки. Актуальный список выводит команда sudo supervisorctl status.

Изменение параметров

Установка в Kubernetes

Параметры процессов задаются переменными окружения в разделе env манифеста контейнера. Значения из манифеста важнее значений из ConfigMap chatback-config (см. Приоритет источников), а значение из ConfigMap действует сразу на все процессы. Поэтому задавайте параметры процессов в манифестах.

Чтобы быстро изменить параметр, используйте команды kubectl. Имя контейнера — web у веб-сервера и worker у Kafka-обработчиков.

Изменить переменную окружения (поды перезапускаются автоматически):

kubectl -n chatback set env deployment/chatback-web -c web WEB_WORKERS=6

Изменить число подов Kafka-обработчика:

kubectl -n chatback scale deployment/chatback-kafka-signal-worker --replicas=12

Изменить пределы автоматического масштабирования веб-сервера (поля minReplicas и maxReplicas):

kubectl -n chatback edit hpa chatback-web

Изменения, внесённые командами kubectl, действуют до следующего применения манифестов комплекта поставки, например до обновления Webim: манифесты вернут прежние значения. Чтобы изменения сохранились, внесите их в оверлей kustomize, из которого устанавливался Webim, — каталог с файлом kustomization.yaml, который применяется командой kubectl apply -k.

Интерактивный установщик комплекта поставки использует оверлей .work/app в каталоге комплекта и создаёт его заново при каждом запуске: изменения в этом каталоге, включая подкаталог base, теряются. Сохраняйте копии изменённых файлов и после каждого запуска установщика, например при обновлении Webim, вносите изменения снова.

  1. Создайте в каталоге оверлея файл патча, например web-patch.yaml:

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: chatback-web
    spec:
      template:
        spec:
          containers:
            - name: web
              env:
                - name: WEB_WORKERS
                  value: "6"
    

    Для каждого изменяемого ресурса (Deployment, StatefulSet, HorizontalPodAutoscaler) создайте отдельный файл патча.

  2. Добавьте файл патча в список patches файла kustomization.yaml. Число подов Kafka-обработчиков задайте в списке replicas:

    patches:
      - path: configmap-patch.yaml
      - path: web-patch.yaml
    
    replicas:
      - name: chatback-kafka-signal-worker
        count: 12
    

    Число подов веб-сервера в списке replicas не задавайте: им управляет автоматическое масштабирование.

  3. Проверьте итоговые манифесты и примените их:

    kubectl kustomize <каталог оверлея> | less
    kubectl -n chatback apply -k <каталог оверлея>
    

Если Webim установлен из Helm-чарта комплекта поставки, параметры процессов заданы в шаблонах чарта. Чтобы изменить их постоянно, обратитесь в техническую поддержку Webim.

Установка на сервер

Процессы Webim запускает supervisor. Конфигурация хранится в каталоге /etc/supervisord.d/ или /etc/supervisor/conf.d/. Каждый процесс описан секцией [program:<имя>], в которой параметры процесса задают две строки:

  • command — команда запуска с ключами командной строки;

  • numprocs — число одинаковых процессов.

Пример секции Kafka-обработчика (показаны только строки, которые относятся к параметрам процесса):

[program:djangochat-kafka-signal-worker]
command=/opt/webim/django-chat/venv/bin/python manage.py kafka_worker --topics interaction-signals --group signal-consumer --dlq-topic interaction-signals-dlq --batch-size 50 --batch-timeout-ms 50
process_name=%(program_name)s_%(process_num)02d
numprocs=8

Чтобы изменить параметры процесса:

  1. Найдите файл с секцией нужной программы, например:

    sudo grep -rl 'program:djangochat-web' /etc/supervisord.d/ /etc/supervisor/conf.d/
    
  2. Измените ключи в строке command или значение numprocs и сохраните файл. Если numprocs больше 1, строка process_name должна содержать %(process_num), чтобы имена процессов различались.

  3. Примените изменения. Команда supervisorctl update перезапускает только изменённые программы:

    sudo supervisorctl reread
    sudo supervisorctl update
    

При обновлении Webim файлы конфигурации supervisor могут быть заменены. Сохраните копию изменённых файлов и после обновления проверьте параметры процессов.

Веб-сервер

Веб-сервер Webim — gunicorn с рабочими процессами uvicorn. Главный процесс gunicorn принимает соединения и передаёт их рабочим процессам; каждый рабочий процесс обрабатывает много запросов одновременно.

В Kubernetes число подов веб-сервера меняется автоматически: HorizontalPodAutoscaler chatback-web поддерживает среднюю загрузку процессора около 70 % от запрошенной, меняя число подов от 2 до 8. Число подов растёт, если загрузка остаётся высокой дольше минуты, и снижается после 5 минут низкой загрузки. Для автоматического масштабирования в кластере должен работать metrics-server. Ресурсы пода по умолчанию: запрос — 1 CPU и 1Gi памяти, лимит памяти — 2Gi. При увеличении WEB_WORKERS увеличьте и ресурсы пода.

При установке на сервер общее число рабочих процессов равно значению numprocs программы djangochat-web, умноженному на значение ключа --workers. Каждый экземпляр gunicorn слушает свой порт, а nginx распределяет запросы между портами, перечисленными в блоке upstream. При изменении numprocs измените и список серверов в блоке upstream конфигурации nginx, затем проверьте конфигурацию и перезагрузите nginx:

sudo nginx -t && sudo systemctl reload nginx
Переменная (Kubernetes) Ключ gunicorn Тип По умолчанию Описание
WEB_WORKERS --workers Целое число, от 1 4 Число рабочих процессов в одном поде или экземпляре gunicorn. Каждый рабочий процесс открывает свой пул соединений с базой данных (см. Соединения с базой данных).
GUNICORN_TIMEOUT --timeout Целое число, секунды 60; в манифесте веб-сервера Kubernetes — 120 Если рабочий процесс не отвечает главному процессу дольше этого времени, рабочий процесс принудительно перезапускается, а обрабатываемые им запросы прерываются.
GUNICORN_GRACEFUL_TIMEOUT --graceful-timeout Целое число, секунды 30 Сколько времени при остановке или перезапуске рабочие процессы завершают начатые запросы, после чего останавливаются принудительно.
В Kubernetes сумма паузы перед остановкой пода (10 секунд) и этого значения должна быть меньше времени, которое под получает на завершение (terminationGracePeriodSeconds, у веб-сервера — 60 секунд). При установке на сервер значение stopwaitsecs в конфигурации supervisor должно быть больше этого значения.
GUNICORN_KEEPALIVE --keep-alive Целое число, секунды 75 Сколько времени держать открытым неактивное постоянное соединение. Значение должно быть больше времени простоя соединений с веб-сервером в nginx (по умолчанию 60 секунд): если веб-сервер закрывает соединение раньше nginx, часть POST-запросов завершается ошибкой 502.
GUNICORN_MAX_REQUESTS --max-requests Целое число 50000 После обработки указанного числа запросов рабочий процесс перезапускается: это ограничивает рост потребляемой памяти. 0 — без перезапуска.
GUNICORN_MAX_REQUESTS_JITTER --max-requests-jitter Целое число 5000 Случайная добавка к GUNICORN_MAX_REQUESTS от 0 до указанного значения, чтобы рабочие процессы не перезапускались одновременно.
GUNICORN_BACKLOG --backlog Целое число 2048 Максимальная длина очереди соединений, ожидающих приёма. Фактическую длину дополнительно ограничивает параметр ядра net.core.somaxconn.
GUNICORN_WORKER_TMP_DIR --worker-tmp-dir Путь к каталогу /dev/shm Каталог служебных файлов, через которые рабочие процессы сообщают главному процессу, что работают. Каталог должен находиться в оперативной памяти (tmpfs): при записи на диск рабочие процессы могут зависать и перезапускаться по тайм-ауту.
GUNICORN_LOG_LEVEL --log-level Выбор из списка warning Уровень журнала gunicorn: debug, info, warning, error или critical. На журнал Webim не влияет (см. Журналирование).
WEB_PORT Порт в --bind Целое число 8260 Порт веб-сервера. В Kubernetes не меняйте: порт указан в описании контейнера и сервиса chatback-web.

Ключи --worker-class uvicorn.workers.UvicornWorker, --limit-request-line 8190 и --limit-request-fields 200 в Kubernetes не настраиваются. При установке на сервер не меняйте их.

Соединения с базой данных

Каждый процесс Webim открывает собственный пул соединений с PostgreSQL — до DB_POOL_SIZE соединений (см. Пул соединений). При изменении числа процессов проверьте, что суммарное число соединений не превышает лимит pgbouncer (max_client_conn) или PostgreSQL (max_connections). Суммарное число соединений складывается из следующих слагаемых:

  • веб-сервер — максимальное число подов, умноженное на WEB_WORKERS и на DB_POOL_SIZE;

  • Kafka-обработчики — общее число подов всех обработчиков, умноженное на DB_POOL_SIZE;

  • планировщик и обработчик отложенных задач — по DB_POOL_SIZE на каждый.

В Kubernetes значение DB_POOL_SIZE в ConfigMap — 3, в манифесте веб-сервера — 20. С параметрами по умолчанию веб-сервер открывает до 640 соединений (8 подов × 4 рабочих процесса × 20), Kafka-обработчики — до 216 (72 пода × 3).

При установке на сервер вместо числа подов считайте число процессов: для веб-сервера — numprocs × --workers программы djangochat-web, для Kafka-обработчиков — сумму numprocs всех программ обработчиков.

Если настроена реплика для чтения, соединения с ней считаются отдельно: до DB_REPLICA_POOL_SIZE на процесс (см. Реплика для чтения).

Kafka-обработчики

Kafka-обработчик — процесс, который читает задачи из одного или нескольких топиков Kafka и выполняет их. Обработчики объединяются в группы. Обработчики одной группы подписаны на одни и те же топики и делят между собой их разделы, поэтому каждую задачу выполняет только один обработчик группы.

Параметры запуска

При установке на сервер параметры задаются ключами команды manage.py kafka_worker, в Kubernetes — переменными окружения в манифесте обработчика.

Ключ Переменная (Kubernetes) Тип По умолчанию Описание
--group KAFKA_GROUP Строка — Обязательный. Имя группы обработчиков.
--topics KAFKA_TOPICS Список через запятую — Топики, на которые подписан обработчик, например channel-outbound,bot-events,jobs. Обязательно укажите ровно один из ключей --topics, --all и --isolated.
--all KAFKA_ALL_TOPICS=true Флаг — Подписка на все топики, кроме изолированных. Изолированные топики — задачи статистики, BI-отчётов и ИИ-бота: их длительные задачи не должны задерживать остальные.
--isolated — Флаг — Подписка только на изолированные топики.
--dlq-topic KAFKA_DLQ_TOPIC Строка Значение KAFKA_DEFAULT_DLQ_TOPIC Топик недоставленных сообщений (DLQ). В него отправляются сообщения, которые не удалось обработать после всех попыток (см. Обработчики очередей).
--batch-size KAFKA_BATCH_SIZE Целое число 1 Размер пакета сообщений. Значение больше 1 включает пакетную обработку для задач, которые её поддерживают; остальные задачи пакета обрабатываются по одной.
--batch-timeout-ms KAFKA_BATCH_TIMEOUT_MS Целое число, миллисекунды 100 Максимальное время накопления пакета. При --batch-size 1 не действует.
--auto-offset-reset KAFKA_AUTO_OFFSET_RESET Выбор из списка Значение параметра KAFKA_AUTO_OFFSET_RESET (см. Обработчики очередей) С какого места группа читает топик, если для неё нет сохранённой позиции: earliest — с самого старого сообщения, latest — только новые сообщения.
--session-timeout — Целое число, миллисекунды Значение KAFKA_CONSUMER_SESSION_TIMEOUT_MS Тайм-аут сессии обработчика: если брокер не получает от обработчика сигналов активности дольше этого времени, обработчик исключается из группы.
--heartbeat-interval — Целое число, миллисекунды Значение KAFKA_CONSUMER_HEARTBEAT_INTERVAL_MS Интервал отправки сигналов активности брокеру. Должен быть меньше тайм-аута сессии.
--max-poll-interval — Целое число, миллисекунды 300000 Максимальное время между запросами новых сообщений. Если обработка сообщения или пакета длится дольше, брокер исключает обработчик из группы и передаёт его разделы другим обработчикам.

Для ключей --isolated, --session-timeout, --heartbeat-interval и --max-poll-interval переменных окружения нет: в Kubernetes действуют значения по умолчанию.

Имена групп

Не меняйте имена групп обработчиков из комплекта поставки. Новая группа начинает читать топики без сохранённых позиций: в зависимости от --auto-offset-reset она либо повторно выполнит задачи, которые ещё хранятся в топиках, либо пропустит накопленные задачи. Кроме того, проверка работоспособности /health следит за группами из комплекта поставки по их именам: если в группе, которая уже работала, не осталось активных обработчиков, проверка сообщает о проблеме (см. Мониторинг шины).

Обработчики в комплекте поставки

В таблице перечислены обработчики из манифестов Kubernetes комплекта поставки; Deployment обработчика называется chatback-kafka-<обработчик>. При установке на сервер используйте те же группы и топики.

Столбец «Подов» — число подов по умолчанию. Столбец «Максимум» — число разделов во всех топиках группы: обработчиков сверх этого числа группа не использует.

Обработчик Группа Топики Назначение Подов Максимум
signal-worker signal-consumer interaction-signals События в диалогах 8 64
routing-worker routing-consumer interaction-routing Распределение диалогов 1 1
auto-assign-commit-worker auto-assign-commit-consumer auto-assign-commit Завершение автоматического назначения диалогов 8 16
visitor-messages-worker visitor-messages-consumer visitor-messages Сообщения посетителей, начало и завершение диалогов 4 64
visit-session-updates-worker visit-session-stream-updates-consumer visit-session-stream-updates Обновление данных посетителей в РМО 6 12
agent-status-broadcasts-worker agent-status-broadcasts-consumer agent-status-broadcasts Рассылка изменений статусов сотрудников 3 6
model-events-worker model-events-consumer model-events События изменения данных 4 64
model-events-priority-worker model-events-priority-consumer model-events-priority Приоритетные события изменения состояния диалогов 6 12
watchdog-dispatch-worker watchdog-dispatch-consumer watchdog-dispatch Срабатывание отложенных задач 6 12
timeout-dispatch-worker timeout-dispatch-consumer timeout-dispatch Тайм-ауты диалогов 2 4
general-tasks-worker general-tasks-consumer general-tasks Общие фоновые задачи 8 96
webhook-worker webhook-consumer channel-webhooks Входящие вебхуки каналов 2 12
task-worker task-consumer channel-outbound, bot-events, jobs Отправка сообщений в каналы, события ботов, длительные задачи 4 16
ui-resources-worker ui-resources-consumer ui-resources Генерация ресурсов виджета 1 3
elastic-worker elastic-consumer elastic-indexing Индексация диалогов в поисковом движке 1 4
sla-worker sla-consumer sla-tasks Задачи политик SLA 2 4
stats-worker stats-consumer stats-tasks Задачи статистики 1 2
bi-realtime-worker bi-realtime-consumer bi-realtime Данные BI-отчётов в реальном времени 1 4
bi-facts-worker bi-facts-consumer bi-facts Выгрузка данных BI-отчётов 1 4
ai-worker ai-consumer ai-bot, kb-indexing, ai-ingest Ответы ИИ-бота, индексация базы знаний, обработка материалов для ИИ-бота 1 8
tenant-provision-worker tenant-provision-consumer tenant-provision Используется только в облаке Webim 1 2
billing-worker billing-consumer billing Используется только в облаке Webim 1 4

Для части обработчиков в комплекте поставки заданы дополнительные параметры запуска:

  • signal-worker — --dlq-topic interaction-signals-dlq --batch-size 50 --batch-timeout-ms 50;

  • model-events-worker — --dlq-topic model-events-dlq --batch-size 100 --batch-timeout-ms 100;

  • model-events-priority-worker — --dlq-topic model-events-dlq --batch-size 20 --batch-timeout-ms 50;

  • visitor-messages-worker — --dlq-topic visitor-messages-dlq;

  • general-tasks-worker, stats-worker, visit-session-updates-worker, agent-status-broadcasts-worker, timeout-dispatch-worker и bi-realtime-worker — --auto-offset-reset latest: при первом запуске группа не выполняет задачи, накопленные в топике до её появления.

В hosted-установке задачи обработчиков tenant-provision-worker и billing-worker завершаются без действий. Не удаляйте эти обработчики: если в группе, которая уже работала, не осталось активных обработчиков, проверка работоспособности /health сообщает о проблеме.

Число обработчиков

Каждый раздел топика в каждый момент обрабатывает только один обработчик группы. Поэтому запускать в группе больше обработчиков, чем разделов в её топиках, бессмысленно: лишние обработчики простаивают.

Добавляйте обработчики в группу, если её отставание (число необработанных сообщений) растёт. О превышении допустимого отставания сообщает проверка работоспособности /health (порог задаёт параметр KAFKA_CONSUMER_LAG_THRESHOLD, см. Мониторинг шины). Отставание каждой группы показывает команда Kafka kafka-consumer-groups --bootstrap-server <адрес брокера> --describe --group <группа>. Добавляя обработчики, проверьте число соединений с базой данных. Ресурсы пода Kafka-обработчика по умолчанию: запрос — 200m CPU и 384Mi памяти, лимит памяти — 768Mi.

Значения в столбце «Максимум» рассчитаны по числу разделов по умолчанию. Если задан параметр KAFKA_TOPIC_PARTITIONS_MAX (см. Топики), разделов может быть меньше. Фактическое число разделов показывает команда Kafka kafka-topics --bootstrap-server <адрес брокера> --describe --topic <топик>. Чтобы снять такое ограничение, увеличьте или удалите KAFKA_TOPIC_PARTITIONS_MAX и повторите настройку топиков: при установке в Kubernetes удалите задание chatback-kafka-setup (kubectl -n chatback delete job chatback-kafka-setup) и примените манифесты заново, при установке на сервер выполните команду manage.py kafka_setup. Недостающие разделы будут добавлены в существующие топики. Если обработчиков нужно больше, чем разделов по умолчанию, обратитесь в техническую поддержку Webim.

Автоматическое масштабирование Kafka-обработчиков

Если в Вашей установке включено автоматическое масштабирование Kafka-обработчиков по отставанию групп (KEDA), числом подов части обработчиков управляет KEDA: от 1 до значения maxReplicaCount в объекте ScaledObject с тем же именем, что и Deployment обработчика. Число подов, заданное командой kubectl scale или в списке replicas, KEDA для этих обработчиков переопределяет. Список таких обработчиков выводит команда kubectl -n chatback get scaledobject. Чтобы изменить предел, выполните команду kubectl -n chatback edit scaledobject chatback-kafka-<обработчик> и внесите то же изменение в файл scaledobjects.yaml комплекта поставки.

Планировщик и обработчик отложенных задач

Планировщик периодических задач (kafka_periodic_scheduler) и обработчик отложенных задач (watchdog_redis_listener) должны работать строго в одном экземпляре на всю установку, даже если Webim работает на нескольких серверах:

  • второй экземпляр планировщика отправлял бы периодические задачи повторно; блокировка в Redis (см. Блокировки и планировщик) защищает от этого, но не заменяет запуск в одном экземпляре;

  • каждый экземпляр обработчика отложенных задач получает все события Redis, поэтому при двух экземплярах отложенные задачи запускаются дважды.

В Kubernetes это StatefulSet chatback-scheduler и chatback-watchdog с одним подом. Не меняйте число подов и не подключайте к ним автоматическое масштабирование. При установке на сервер это программы supervisor djangochat-kafka-periodic-scheduler и djangochat-watchdog-listener с numprocs=1; если серверов несколько, запускайте эти программы только на одном из них.

Отдельный пул для опроса посетителей

Запросы опроса событий от посетителей (/l/v/poll и /l/v/m/delta) можно обрабатывать отдельным пулом веб-сервера — Deployment chatback-poll. Тогда наплыв посетителей не замедляет обработку запросов сотрудников. По умолчанию отдельный пул не используется: все запросы обрабатывает chatback-web.

Манифест пула deploy-poll.yaml входит в базовые манифесты комплекта поставки для Kubernetes с интерактивным установщиком. Параметры пула по умолчанию: WEB_WORKERS — 2, DB_POOL_SIZE — 10, автоматическое масштабирование от 2 до 6 подов.

Чтобы включить отдельный пул:

  1. Добавьте deploy-poll.yaml в список resources файла kustomization.yaml базовых манифестов (подкаталог base оверлея).

  2. В манифесте nginx nginx.yaml задайте переменной окружения POLL_BACKEND_HOST значение chatback-poll. Если nginx из комплекта поставки не используется, направьте эти запросы в сервис chatback-poll средствами Вашего балансировщика нагрузки.

  3. Учтите пул при расчёте соединений с базой данных и примените манифесты:

    kubectl -n chatback apply -k <каталог оверлея>
    

Если Webim установлен интерактивным установщиком, повторяйте эти шаги после каждого его запуска (см. Установка в Kubernetes).