Параметры процессов
Webim работает как набор процессов: веб-сервер, Kafka-обработчики, планировщик периодических задач и обработчик отложенных задач. На этой странице описано, сколько процессов каждого типа запускать и с какими параметрами: число рабочих процессов веб-сервера, параметры gunicorn, топики и группы Kafka-обработчиков.
В облаке Webim параметры процессов задают сотрудники Webim. Раздел предназначен для технических специалистов hosted-клиентов.
Параметры процессов задаются не в файле .env. При установке в Kubernetes это переменные окружения в манифестах и число подов, при установке на сервер — ключи командной строки и число процессов в конфигурации supervisor.
Процессы Webim
| Процесс | Назначение | Kubernetes | supervisor | Число экземпляров |
|---|---|---|---|---|
| Веб-сервер | Обрабатывает HTTP-запросы: веб-интерфейс, API, опрос событий | Deployment chatback-web |
djangochat-web |
Число подов или процессов gunicorn, умноженное на число рабочих процессов в каждом |
| Kafka-обработчики | Выполняют фоновые задачи из топиков Kafka | Deployment chatback-kafka-<обработчик> |
djangochat-kafka-<обработчик> |
Задаётся для каждого обработчика |
| Планировщик периодических задач | Отправляет периодические задачи в Kafka | StatefulSet chatback-scheduler |
djangochat-kafka-periodic-scheduler |
Строго один |
| Обработчик отложенных задач | Отслеживает в Redis наступление сроков отложенных задач и запускает их | StatefulSet chatback-watchdog |
djangochat-watchdog-listener |
Строго один |
| Служебные задания | Применяют миграции базы данных и создают топики Kafka | Job chatback-migrate и chatback-kafka-setup |
Выполняются при развёртывании Webim | Один запуск |
В Kubernetes тип процесса задаёт переменная окружения TARGET в манифесте, например web или kafka-worker. Не меняйте её у существующих ресурсов.
Имена программ supervisor зависят от установки. Актуальный список выводит команда sudo supervisorctl status.
Изменение параметров
Установка в Kubernetes
Параметры процессов задаются переменными окружения в разделе env манифеста контейнера. Значения из манифеста важнее значений из ConfigMap chatback-config (см. Приоритет источников), а значение из ConfigMap действует сразу на все процессы. Поэтому задавайте параметры процессов в манифестах.
Чтобы быстро изменить параметр, используйте команды kubectl. Имя контейнера — web у веб-сервера и worker у Kafka-обработчиков.
Изменить переменную окружения (поды перезапускаются автоматически):
kubectl -n chatback set env deployment/chatback-web -c web WEB_WORKERS=6
Изменить число подов Kafka-обработчика:
kubectl -n chatback scale deployment/chatback-kafka-signal-worker --replicas=12
Изменить пределы автоматического масштабирования веб-сервера (поля minReplicas и maxReplicas):
kubectl -n chatback edit hpa chatback-web
Изменения, внесённые командами kubectl, действуют до следующего применения манифестов комплекта поставки, например до обновления Webim: манифесты вернут прежние значения. Чтобы изменения сохранились, внесите их в оверлей kustomize, из которого устанавливался Webim, — каталог с файлом kustomization.yaml, который применяется командой kubectl apply -k.
Интерактивный установщик комплекта поставки использует оверлей .work/app в каталоге комплекта и создаёт его заново при каждом запуске: изменения в этом каталоге, включая подкаталог base, теряются. Сохраняйте копии изменённых файлов и после каждого запуска установщика, например при обновлении Webim, вносите изменения снова.
-
Создайте в каталоге оверлея файл патча, например
web-patch.yaml:apiVersion: apps/v1 kind: Deployment metadata: name: chatback-web spec: template: spec: containers: - name: web env: - name: WEB_WORKERS value: "6"Для каждого изменяемого ресурса (Deployment, StatefulSet, HorizontalPodAutoscaler) создайте отдельный файл патча.
-
Добавьте файл патча в список
patchesфайлаkustomization.yaml. Число подов Kafka-обработчиков задайте в спискеreplicas:patches: - path: configmap-patch.yaml - path: web-patch.yaml replicas: - name: chatback-kafka-signal-worker count: 12Число подов веб-сервера в списке
replicasне задавайте: им управляет автоматическое масштабирование. -
Проверьте итоговые манифесты и примените их:
kubectl kustomize <каталог оверлея> | less kubectl -n chatback apply -k <каталог оверлея>
Если Webim установлен из Helm-чарта комплекта поставки, параметры процессов заданы в шаблонах чарта. Чтобы изменить их постоянно, обратитесь в техническую поддержку Webim.
Установка на сервер
Процессы Webim запускает supervisor. Конфигурация хранится в каталоге /etc/supervisord.d/ или /etc/supervisor/conf.d/. Каждый процесс описан секцией [program:<имя>], в которой параметры процесса задают две строки:
-
command— команда запуска с ключами командной строки; -
numprocs— число одинаковых процессов.
Пример секции Kafka-обработчика (показаны только строки, которые относятся к параметрам процесса):
[program:djangochat-kafka-signal-worker]
command=/opt/webim/django-chat/venv/bin/python manage.py kafka_worker --topics interaction-signals --group signal-consumer --dlq-topic interaction-signals-dlq --batch-size 50 --batch-timeout-ms 50
process_name=%(program_name)s_%(process_num)02d
numprocs=8
Чтобы изменить параметры процесса:
-
Найдите файл с секцией нужной программы, например:
sudo grep -rl 'program:djangochat-web' /etc/supervisord.d/ /etc/supervisor/conf.d/ -
Измените ключи в строке
commandили значениеnumprocsи сохраните файл. Еслиnumprocsбольше 1, строкаprocess_nameдолжна содержать%(process_num), чтобы имена процессов различались. -
Примените изменения. Команда
supervisorctl updateперезапускает только изменённые программы:sudo supervisorctl reread sudo supervisorctl update
При обновлении Webim файлы конфигурации supervisor могут быть заменены. Сохраните копию изменённых файлов и после обновления проверьте параметры процессов.
Веб-сервер
Веб-сервер Webim — gunicorn с рабочими процессами uvicorn. Главный процесс gunicorn принимает соединения и передаёт их рабочим процессам; каждый рабочий процесс обрабатывает много запросов одновременно.
В Kubernetes число подов веб-сервера меняется автоматически: HorizontalPodAutoscaler chatback-web поддерживает среднюю загрузку процессора около 70 % от запрошенной, меняя число подов от 2 до 8. Число подов растёт, если загрузка остаётся высокой дольше минуты, и снижается после 5 минут низкой загрузки. Для автоматического масштабирования в кластере должен работать metrics-server. Ресурсы пода по умолчанию: запрос — 1 CPU и 1Gi памяти, лимит памяти — 2Gi. При увеличении WEB_WORKERS увеличьте и ресурсы пода.
При установке на сервер общее число рабочих процессов равно значению numprocs программы djangochat-web, умноженному на значение ключа --workers. Каждый экземпляр gunicorn слушает свой порт, а nginx распределяет запросы между портами, перечисленными в блоке upstream. При изменении numprocs измените и список серверов в блоке upstream конфигурации nginx, затем проверьте конфигурацию и перезагрузите nginx:
sudo nginx -t && sudo systemctl reload nginx
| Переменная (Kubernetes) | Ключ gunicorn | Тип | По умолчанию | Описание |
|---|---|---|---|---|
WEB_WORKERS |
--workers |
Целое число, от 1 | 4 |
Число рабочих процессов в одном поде или экземпляре gunicorn. Каждый рабочий процесс открывает свой пул соединений с базой данных (см. Соединения с базой данных). |
GUNICORN_TIMEOUT |
--timeout |
Целое число, секунды | 60; в манифесте веб-сервера Kubernetes — 120 |
Если рабочий процесс не отвечает главному процессу дольше этого времени, рабочий процесс принудительно перезапускается, а обрабатываемые им запросы прерываются. |
GUNICORN_GRACEFUL_TIMEOUT |
--graceful-timeout |
Целое число, секунды | 30 |
Сколько времени при остановке или перезапуске рабочие процессы завершают начатые запросы, после чего останавливаются принудительно. В Kubernetes сумма паузы перед остановкой пода (10 секунд) и этого значения должна быть меньше времени, которое под получает на завершение ( terminationGracePeriodSeconds, у веб-сервера — 60 секунд). При установке на сервер значение stopwaitsecs в конфигурации supervisor должно быть больше этого значения. |
GUNICORN_KEEPALIVE |
--keep-alive |
Целое число, секунды | 75 |
Сколько времени держать открытым неактивное постоянное соединение. Значение должно быть больше времени простоя соединений с веб-сервером в nginx (по умолчанию 60 секунд): если веб-сервер закрывает соединение раньше nginx, часть POST-запросов завершается ошибкой 502. |
GUNICORN_MAX_REQUESTS |
--max-requests |
Целое число | 50000 |
После обработки указанного числа запросов рабочий процесс перезапускается: это ограничивает рост потребляемой памяти. 0 — без перезапуска. |
GUNICORN_MAX_REQUESTS_JITTER |
--max-requests-jitter |
Целое число | 5000 |
Случайная добавка к GUNICORN_MAX_REQUESTS от 0 до указанного значения, чтобы рабочие процессы не перезапускались одновременно. |
GUNICORN_BACKLOG |
--backlog |
Целое число | 2048 |
Максимальная длина очереди соединений, ожидающих приёма. Фактическую длину дополнительно ограничивает параметр ядра net.core.somaxconn. |
GUNICORN_WORKER_TMP_DIR |
--worker-tmp-dir |
Путь к каталогу | /dev/shm |
Каталог служебных файлов, через которые рабочие процессы сообщают главному процессу, что работают. Каталог должен находиться в оперативной памяти (tmpfs): при записи на диск рабочие процессы могут зависать и перезапускаться по тайм-ауту. |
GUNICORN_LOG_LEVEL |
--log-level |
Выбор из списка | warning |
Уровень журнала gunicorn: debug, info, warning, error или critical. На журнал Webim не влияет (см. Журналирование). |
WEB_PORT |
Порт в --bind |
Целое число | 8260 |
Порт веб-сервера. В Kubernetes не меняйте: порт указан в описании контейнера и сервиса chatback-web. |
Ключи --worker-class uvicorn.workers.UvicornWorker, --limit-request-line 8190 и --limit-request-fields 200 в Kubernetes не настраиваются. При установке на сервер не меняйте их.
Соединения с базой данных
Каждый процесс Webim открывает собственный пул соединений с PostgreSQL — до DB_POOL_SIZE соединений (см. Пул соединений). При изменении числа процессов проверьте, что суммарное число соединений не превышает лимит pgbouncer (max_client_conn) или PostgreSQL (max_connections). Суммарное число соединений складывается из следующих слагаемых:
-
веб-сервер — максимальное число подов, умноженное на
WEB_WORKERSи наDB_POOL_SIZE; -
Kafka-обработчики — общее число подов всех обработчиков, умноженное на
DB_POOL_SIZE; -
планировщик и обработчик отложенных задач — по
DB_POOL_SIZEна каждый.
В Kubernetes значение DB_POOL_SIZE в ConfigMap — 3, в манифесте веб-сервера — 20. С параметрами по умолчанию веб-сервер открывает до 640 соединений (8 подов × 4 рабочих процесса × 20), Kafka-обработчики — до 216 (72 пода × 3).
При установке на сервер вместо числа подов считайте число процессов: для веб-сервера — numprocs × --workers программы djangochat-web, для Kafka-обработчиков — сумму numprocs всех программ обработчиков.
Если настроена реплика для чтения, соединения с ней считаются отдельно: до DB_REPLICA_POOL_SIZE на процесс (см. Реплика для чтения).
Kafka-обработчики
Kafka-обработчик — процесс, который читает задачи из одного или нескольких топиков Kafka и выполняет их. Обработчики объединяются в группы. Обработчики одной группы подписаны на одни и те же топики и делят между собой их разделы, поэтому каждую задачу выполняет только один обработчик группы.
Параметры запуска
При установке на сервер параметры задаются ключами команды manage.py kafka_worker, в Kubernetes — переменными окружения в манифесте обработчика.
| Ключ | Переменная (Kubernetes) | Тип | По умолчанию | Описание |
|---|---|---|---|---|
--group |
KAFKA_GROUP |
Строка | — | Обязательный. Имя группы обработчиков. |
--topics |
KAFKA_TOPICS |
Список через запятую | — | Топики, на которые подписан обработчик, например channel-outbound,bot-events,jobs. Обязательно укажите ровно один из ключей --topics, --all и --isolated. |
--all |
KAFKA_ALL_TOPICS=true |
Флаг | — | Подписка на все топики, кроме изолированных. Изолированные топики — задачи статистики, BI-отчётов и ИИ-бота: их длительные задачи не должны задерживать остальные. |
--isolated |
— | Флаг | — | Подписка только на изолированные топики. |
--dlq-topic |
KAFKA_DLQ_TOPIC |
Строка | Значение KAFKA_DEFAULT_DLQ_TOPIC |
Топик недоставленных сообщений (DLQ). В него отправляются сообщения, которые не удалось обработать после всех попыток (см. Обработчики очередей). |
--batch-size |
KAFKA_BATCH_SIZE |
Целое число | 1 |
Размер пакета сообщений. Значение больше 1 включает пакетную обработку для задач, которые её поддерживают; остальные задачи пакета обрабатываются по одной. |
--batch-timeout-ms |
KAFKA_BATCH_TIMEOUT_MS |
Целое число, миллисекунды | 100 |
Максимальное время накопления пакета. При --batch-size 1 не действует. |
--auto-offset-reset |
KAFKA_AUTO_OFFSET_RESET |
Выбор из списка | Значение параметра KAFKA_AUTO_OFFSET_RESET (см. Обработчики очередей) |
С какого места группа читает топик, если для неё нет сохранённой позиции: earliest — с самого старого сообщения, latest — только новые сообщения. |
--session-timeout |
— | Целое число, миллисекунды | Значение KAFKA_CONSUMER_SESSION_TIMEOUT_MS |
Тайм-аут сессии обработчика: если брокер не получает от обработчика сигналов активности дольше этого времени, обработчик исключается из группы. |
--heartbeat-interval |
— | Целое число, миллисекунды | Значение KAFKA_CONSUMER_HEARTBEAT_INTERVAL_MS |
Интервал отправки сигналов активности брокеру. Должен быть меньше тайм-аута сессии. |
--max-poll-interval |
— | Целое число, миллисекунды | 300000 |
Максимальное время между запросами новых сообщений. Если обработка сообщения или пакета длится дольше, брокер исключает обработчик из группы и передаёт его разделы другим обработчикам. |
Для ключей --isolated, --session-timeout, --heartbeat-interval и --max-poll-interval переменных окружения нет: в Kubernetes действуют значения по умолчанию.
Имена групп
Не меняйте имена групп обработчиков из комплекта поставки. Новая группа начинает читать топики без сохранённых позиций: в зависимости от --auto-offset-reset она либо повторно выполнит задачи, которые ещё хранятся в топиках, либо пропустит накопленные задачи. Кроме того, проверка работоспособности /health следит за группами из комплекта поставки по их именам: если в группе, которая уже работала, не осталось активных обработчиков, проверка сообщает о проблеме (см. Мониторинг шины).
Обработчики в комплекте поставки
В таблице перечислены обработчики из манифестов Kubernetes комплекта поставки; Deployment обработчика называется chatback-kafka-<обработчик>. При установке на сервер используйте те же группы и топики.
Столбец «Подов» — число подов по умолчанию. Столбец «Максимум» — число разделов во всех топиках группы: обработчиков сверх этого числа группа не использует.
| Обработчик | Группа | Топики | Назначение | Подов | Максимум |
|---|---|---|---|---|---|
signal-worker |
signal-consumer |
interaction-signals |
События в диалогах | 8 | 64 |
routing-worker |
routing-consumer |
interaction-routing |
Распределение диалогов | 1 | 1 |
auto-assign-commit-worker |
auto-assign-commit-consumer |
auto-assign-commit |
Завершение автоматического назначения диалогов | 8 | 16 |
visitor-messages-worker |
visitor-messages-consumer |
visitor-messages |
Сообщения посетителей, начало и завершение диалогов | 4 | 64 |
visit-session-updates-worker |
visit-session-stream-updates-consumer |
visit-session-stream-updates |
Обновление данных посетителей в РМО | 6 | 12 |
agent-status-broadcasts-worker |
agent-status-broadcasts-consumer |
agent-status-broadcasts |
Рассылка изменений статусов сотрудников | 3 | 6 |
model-events-worker |
model-events-consumer |
model-events |
События изменения данных | 4 | 64 |
model-events-priority-worker |
model-events-priority-consumer |
model-events-priority |
Приоритетные события изменения состояния диалогов | 6 | 12 |
watchdog-dispatch-worker |
watchdog-dispatch-consumer |
watchdog-dispatch |
Срабатывание отложенных задач | 6 | 12 |
timeout-dispatch-worker |
timeout-dispatch-consumer |
timeout-dispatch |
Тайм-ауты диалогов | 2 | 4 |
general-tasks-worker |
general-tasks-consumer |
general-tasks |
Общие фоновые задачи | 8 | 96 |
webhook-worker |
webhook-consumer |
channel-webhooks |
Входящие вебхуки каналов | 2 | 12 |
task-worker |
task-consumer |
channel-outbound, bot-events, jobs |
Отправка сообщений в каналы, события ботов, длительные задачи | 4 | 16 |
ui-resources-worker |
ui-resources-consumer |
ui-resources |
Генерация ресурсов виджета | 1 | 3 |
elastic-worker |
elastic-consumer |
elastic-indexing |
Индексация диалогов в поисковом движке | 1 | 4 |
sla-worker |
sla-consumer |
sla-tasks |
Задачи политик SLA | 2 | 4 |
stats-worker |
stats-consumer |
stats-tasks |
Задачи статистики | 1 | 2 |
bi-realtime-worker |
bi-realtime-consumer |
bi-realtime |
Данные BI-отчётов в реальном времени | 1 | 4 |
bi-facts-worker |
bi-facts-consumer |
bi-facts |
Выгрузка данных BI-отчётов | 1 | 4 |
ai-worker |
ai-consumer |
ai-bot, kb-indexing, ai-ingest |
Ответы ИИ-бота, индексация базы знаний, обработка материалов для ИИ-бота | 1 | 8 |
tenant-provision-worker |
tenant-provision-consumer |
tenant-provision |
Используется только в облаке Webim | 1 | 2 |
billing-worker |
billing-consumer |
billing |
Используется только в облаке Webim | 1 | 4 |
Для части обработчиков в комплекте поставки заданы дополнительные параметры запуска:
-
signal-worker—--dlq-topic interaction-signals-dlq --batch-size 50 --batch-timeout-ms 50; -
model-events-worker—--dlq-topic model-events-dlq --batch-size 100 --batch-timeout-ms 100; -
model-events-priority-worker—--dlq-topic model-events-dlq --batch-size 20 --batch-timeout-ms 50; -
visitor-messages-worker—--dlq-topic visitor-messages-dlq; -
general-tasks-worker,stats-worker,visit-session-updates-worker,agent-status-broadcasts-worker,timeout-dispatch-workerиbi-realtime-worker—--auto-offset-reset latest: при первом запуске группа не выполняет задачи, накопленные в топике до её появления.
В hosted-установке задачи обработчиков tenant-provision-worker и billing-worker завершаются без действий. Не удаляйте эти обработчики: если в группе, которая уже работала, не осталось активных обработчиков, проверка работоспособности /health сообщает о проблеме.
Число обработчиков
Каждый раздел топика в каждый момент обрабатывает только один обработчик группы. Поэтому запускать в группе больше обработчиков, чем разделов в её топиках, бессмысленно: лишние обработчики простаивают.
Добавляйте обработчики в группу, если её отставание (число необработанных сообщений) растёт. О превышении допустимого отставания сообщает проверка работоспособности /health (порог задаёт параметр KAFKA_CONSUMER_LAG_THRESHOLD, см. Мониторинг шины). Отставание каждой группы показывает команда Kafka kafka-consumer-groups --bootstrap-server <адрес брокера> --describe --group <группа>. Добавляя обработчики, проверьте число соединений с базой данных. Ресурсы пода Kafka-обработчика по умолчанию: запрос — 200m CPU и 384Mi памяти, лимит памяти — 768Mi.
Значения в столбце «Максимум» рассчитаны по числу разделов по умолчанию. Если задан параметр KAFKA_TOPIC_PARTITIONS_MAX (см. Топики), разделов может быть меньше. Фактическое число разделов показывает команда Kafka kafka-topics --bootstrap-server <адрес брокера> --describe --topic <топик>. Чтобы снять такое ограничение, увеличьте или удалите KAFKA_TOPIC_PARTITIONS_MAX и повторите настройку топиков: при установке в Kubernetes удалите задание chatback-kafka-setup (kubectl -n chatback delete job chatback-kafka-setup) и примените манифесты заново, при установке на сервер выполните команду manage.py kafka_setup. Недостающие разделы будут добавлены в существующие топики. Если обработчиков нужно больше, чем разделов по умолчанию, обратитесь в техническую поддержку Webim.
Автоматическое масштабирование Kafka-обработчиков
Если в Вашей установке включено автоматическое масштабирование Kafka-обработчиков по отставанию групп (KEDA), числом подов части обработчиков управляет KEDA: от 1 до значения maxReplicaCount в объекте ScaledObject с тем же именем, что и Deployment обработчика. Число подов, заданное командой kubectl scale или в списке replicas, KEDA для этих обработчиков переопределяет. Список таких обработчиков выводит команда kubectl -n chatback get scaledobject. Чтобы изменить предел, выполните команду kubectl -n chatback edit scaledobject chatback-kafka-<обработчик> и внесите то же изменение в файл scaledobjects.yaml комплекта поставки.
Планировщик и обработчик отложенных задач
Планировщик периодических задач (kafka_periodic_scheduler) и обработчик отложенных задач (watchdog_redis_listener) должны работать строго в одном экземпляре на всю установку, даже если Webim работает на нескольких серверах:
-
второй экземпляр планировщика отправлял бы периодические задачи повторно; блокировка в Redis (см. Блокировки и планировщик) защищает от этого, но не заменяет запуск в одном экземпляре;
-
каждый экземпляр обработчика отложенных задач получает все события Redis, поэтому при двух экземплярах отложенные задачи запускаются дважды.
В Kubernetes это StatefulSet chatback-scheduler и chatback-watchdog с одним подом. Не меняйте число подов и не подключайте к ним автоматическое масштабирование. При установке на сервер это программы supervisor djangochat-kafka-periodic-scheduler и djangochat-watchdog-listener с numprocs=1; если серверов несколько, запускайте эти программы только на одном из них.
Отдельный пул для опроса посетителей
Запросы опроса событий от посетителей (/l/v/poll и /l/v/m/delta) можно обрабатывать отдельным пулом веб-сервера — Deployment chatback-poll. Тогда наплыв посетителей не замедляет обработку запросов сотрудников. По умолчанию отдельный пул не используется: все запросы обрабатывает chatback-web.
Манифест пула deploy-poll.yaml входит в базовые манифесты комплекта поставки для Kubernetes с интерактивным установщиком. Параметры пула по умолчанию: WEB_WORKERS — 2, DB_POOL_SIZE — 10, автоматическое масштабирование от 2 до 6 подов.
Чтобы включить отдельный пул:
-
Добавьте
deploy-poll.yamlв списокresourcesфайлаkustomization.yamlбазовых манифестов (подкаталогbaseоверлея). -
В манифесте nginx
nginx.yamlзадайте переменной окруженияPOLL_BACKEND_HOSTзначениеchatback-poll. Если nginx из комплекта поставки не используется, направьте эти запросы в сервисchatback-pollсредствами Вашего балансировщика нагрузки. -
Учтите пул при расчёте соединений с базой данных и примените манифесты:
kubectl -n chatback apply -k <каталог оверлея>
Если Webim установлен интерактивным установщиком, повторяйте эти шаги после каждого его запуска (см. Установка в Kubernetes).