Перейти к содержанию

Kafka

Подключение к брокеру Kafka, параметры обработчиков очередей (Kafka-обработчиков) и продюсера, топики и мониторинг шины. Через Kafka Webim выполняет фоновые задачи: обработку сообщений, распределение диалогов, вебхуки каналов, статистику и другие. Сроки актуальности отдельных задач описаны на странице Тайм-ауты, кэш и фоновые задачи, число Kafka-обработчиков, их группы и топики — на странице Параметры процессов.

Как изменить параметры и применить изменения, описано в разделе Параметры .env. Все параметры на этой странице необязательные.

Подключение

Параметр Тип По умолчанию Описание
KAFKA_BOOTSTRAP_SERVERS Список через запятую localhost:9093 Адреса брокеров Kafka в формате <хост>:<порт>, например kafka1.example.local:9092,kafka2.example.local:9092. Значение по умолчанию подходит только для среды разработки; в рабочей установке задайте адреса Ваших брокеров.
KAFKA_SECURITY_PROTOCOL Выбор из списка Пусто Протокол подключения к брокерам: SASL_PLAINTEXT, SASL_SSL или SSL. Пустое значение — подключение без аутентификации и шифрования; параметры KAFKA_SASL_* и KAFKA_SSL_CA_LOCATION в этом случае не используются.
KAFKA_SASL_MECHANISM Выбор из списка Пусто Механизм аутентификации SASL: PLAIN, SCRAM-SHA-256, SCRAM-SHA-512, GSSAPI или OAUTHBEARER.
KAFKA_SASL_USERNAME Строка Пусто Имя пользователя SASL.
KAFKA_SASL_PASSWORD Строка Пусто Пароль пользователя SASL.
KAFKA_SSL_CA_LOCATION Путь к файлу Пусто Путь к сертификату удостоверяющего центра (PEM) для проверки сертификатов брокеров при протоколах SSL и SASL_SSL.
KAFKA_EAGER_MODE Логический Значение DEBUG Только для разработки: задачи выполняются сразу в вызывающем процессе, без отправки в Kafka. В рабочей установке значение должно быть False.

Обработчики очередей

Параметр Тип По умолчанию Описание
KAFKA_AUTO_OFFSET_RESET Выбор из списка earliest С какого места обработчик читает топик, если для его группы нет сохранённой позиции: earliest — с самого старого сообщения, latest — только новые сообщения.
KAFKA_CONSUMER_SESSION_TIMEOUT_MS Целое число, миллисекунды 30000 Тайм-аут сессии обработчика: если брокер не получает от обработчика сигналов активности дольше этого времени, обработчик исключается из группы, а его разделы передаются другим обработчикам.
KAFKA_CONSUMER_HEARTBEAT_INTERVAL_MS Целое число, миллисекунды 10000 Интервал отправки сигналов активности брокеру. Должен быть не больше трети KAFKA_CONSUMER_SESSION_TIMEOUT_MS.
KAFKA_CONSUMER_POLL_STALL_TIMEOUT_S Дробное число, секунды 600 Если обработчик не запрашивает новые сообщения дольше этого времени (например, из-за зависшей задачи), процесс обработчика завершается и перезапускается. Должен быть больше KAFKA_CONSUMER_NO_ASSIGNMENT_TIMEOUT_S.
KAFKA_CONSUMER_NO_ASSIGNMENT_TIMEOUT_S Дробное число, секунды 300 Если обработчику дольше этого времени не назначено ни одного раздела, он пытается заново подключиться к группе, а если это не помогает — перезапускается.
KAFKA_CONSUMER_REJOIN_GRACE_S Дробное число, секунды 30 Время на повторное подключение к группе, после которого процесс обработчика перезапускается.
KAFKA_CONSUMER_WATCHDOG_INTERVAL_S Дробное число, секунды 30 Интервал проверок работоспособности обработчика.
KAFKA_CONSUMER_POLL_TIMEOUT_SECONDS Дробное число, секунды 1.0 Максимальное время ожидания новых сообщений в одном запросе к брокеру.
KAFKA_CONSUMER_RETRY_DELAYS_SECONDS Список чисел через запятую, секунды 0.1,0.3,0.5 Задержки между попытками обработать сообщение после ошибки. Число значений — число попыток; последнее значение не используется: после последней неудачной попытки сообщение отправляется в топик недоставленных сообщений (DLQ).
Список не может быть пустым, иначе Webim не запускается. Сумма задержек должна быть намного меньше KAFKA_CONSUMER_SESSION_TIMEOUT_MS.
KAFKA_RETRY_BUDGET_ENABLED Логический True Ограничение доли повторных попыток обработки. При массовом сбое повторные попытки не умножают нагрузку: когда бюджет исчерпан, сообщения сразу отправляются в DLQ.
KAFKA_RETRY_BUDGET_TOKEN_RATIO Дробное число 0.2 Пополнение бюджета повторных попыток: каждое обработанное сообщение добавляет указанное число единиц, каждая повторная попытка расходует одну. Значение 0.2 допускает повторные попытки примерно для 20 % сообщений.
KAFKA_RETRY_BUDGET_MAX_TOKENS Дробное число 100.0 Максимальный размер бюджета повторных попыток.
KAFKA_WORKER_OPEN_FILES_LIMIT Целое число 65536 Мягкий лимит числа открытых файлов, который обработчик устанавливает себе при запуске.
KAFKA_TASK_STATS_DISABLED Строка Не задано Значение 1 отключает сбор статистики времени выполнения задач в обработчиках: запись сводок в журнал и отправку метрик в Prometheus Pushgateway.

Продюсер

Параметр Тип По умолчанию Описание
KAFKA_SHUTDOWN_FLUSH_TIMEOUT Дробное число, секунды 25.0 Сколько процесс при остановке ждёт доставки накопленных сообщений в брокер. Должно быть меньше времени, которое supervisor или Kubernetes даёт процессу на завершение.
KAFKA_SHUTDOWN_FLUSH_TIMEOUT_ATEXIT Дробное число, секунды 8.0 То же для процессов без штатной процедуры остановки: планировщика периодических задач и служебных команд.
KAFKA_PRODUCER_WATCHDOG_ENABLED Логический True Автоматическое пересоздание клиента Kafka, который перестал доставлять сообщения.
KAFKA_PRODUCER_STALL_TIMEOUT_MINUTES Целое число, минуты 5 Через сколько времени после первой неудачной доставки, если с тех пор не было ни одной успешной, клиент считается зависшим и пересоздаётся.
KAFKA_PRODUCER_WATCHDOG_INTERVAL_SECONDS Целое число, секунды 30 Интервал проверки работоспособности клиента.

Топики

Топики создаются при установке и обновлении Webim.

Параметр Тип По умолчанию Описание
KAFKA_TOPIC_PREFIX Строка Пусто Префикс имён топиков по умолчанию. Позволяет нескольким установкам использовать один кластер Kafka. Префикс нужно добавить и к именам топиков в параметрах запуска Kafka-обработчиков (см. Параметры процессов).
KAFKA_TOPIC_PARTITIONS_MAX Целое число 0 Максимальное число разделов топика. Числа разделов по умолчанию рассчитаны на десятки обработчиков (до 96 у general-tasks); на небольших установках значение можно ограничить, например 8. 0 — без ограничения.
KAFKA_TOPIC_RETENTION_DEFAULT_DAYS Целое число, дни 7 Срок хранения сообщений в большинстве топиков.
KAFKA_TOPIC_RETENTION_SHORT_DAYS Целое число, дни 1 Срок хранения сообщений в служебных топиках с короткоживущими задачами.
KAFKA_TOPIC_RETENTION_DLQ_DAYS Целое число, дни 30 Срок хранения сообщений в топиках недоставленных сообщений (DLQ).
KAFKA_TOPIC_RETENTION_AUTO_ASSIGN_HOURS Целое число, часы 6 Срок хранения сообщений в топике автоматического назначения диалогов.

N.B.

Параметры KAFKA_TOPIC_RETENTION_* действуют только при создании топика: у существующих топиков срок хранения не меняется. Чтобы изменить срок хранения в существующем топике, измените его параметр retention.ms средствами Kafka, например командой kafka-configs --alter.

Число разделов проверяется и у существующих топиков: если разделов меньше, чем предусмотрено в Webim с учётом KAFKA_TOPIC_PARTITIONS_MAX, при установке и обновлении Webim их число увеличивается. Уменьшить число разделов существующего топика нельзя.

Имена топиков

Имена по умолчанию начинаются с префикса KAFKA_TOPIC_PREFIX.

Имена топиков

Меняйте имена топиков только при первоначальной установке и только вместе с параметрами запуска Kafka-обработчиков (--topics и --dlq-topic, см. Параметры процессов) в конфигурации supervisor или в манифестах Kubernetes: обработчики подписываются на топики по точным именам. Задачи, оставшиеся в топиках со старыми именами, не будут обработаны.

Параметр Тип По умолчанию Описание
KAFKA_GENERAL_TASKS_TOPIC Строка general-tasks Общие фоновые задачи.
KAFKA_GENERAL_TASKS_DLQ_TOPIC Строка general-tasks-dlq Недоставленные сообщения общих фоновых задач.
KAFKA_DEFAULT_DLQ_TOPIC Строка Значение KAFKA_GENERAL_TASKS_DLQ_TOPIC Топик недоставленных сообщений для обработчиков, в параметрах запуска которых не указан --dlq-topic.
KAFKA_INTERACTION_SIGNALS_TOPIC Строка interaction-signals Сигналы о событиях в диалогах.
KAFKA_INTERACTION_SIGNALS_DLQ_TOPIC Строка interaction-signals-dlq Недоставленные сигналы о событиях в диалогах.
KAFKA_INTERACTION_ROUTING_TOPIC Строка interaction-routing Распределение диалогов.
KAFKA_AUTO_ASSIGN_COMMIT_TOPIC Строка auto-assign-commit Подтверждение автоматического назначения диалогов.
KAFKA_TIMEOUT_DISPATCH_TOPIC Строка timeout-dispatch Обработка тайм-аутов диалогов.
KAFKA_WATCHDOG_DISPATCH_TOPIC Строка watchdog-dispatch Срабатывание отложенных задач.
KAFKA_VISITOR_MESSAGES_TOPIC Строка visitor-messages Обработка сообщений посетителей.
KAFKA_VISITOR_MESSAGES_DLQ_TOPIC Строка visitor-messages-dlq Недоставленные сообщения посетителей.
KAFKA_VISIT_SESSION_STREAM_UPDATES_TOPIC Строка visit-session-stream-updates Обновление данных посетителей в РМО.
KAFKA_AGENT_STATUS_BROADCASTS_TOPIC Строка agent-status-broadcasts Рассылка изменений статусов сотрудников.
KAFKA_MODEL_EVENTS_TOPIC Строка model-events События изменения данных.
KAFKA_MODEL_EVENTS_PRIORITY_TOPIC Строка model-events-priority Приоритетные события изменения состояния диалогов.
KAFKA_MODEL_EVENTS_DLQ_TOPIC Строка model-events-dlq Недоставленные события изменения данных.
KAFKA_CHANNEL_WEBHOOKS_TOPIC Строка channel-webhooks Входящие вебхуки каналов.
KAFKA_CHANNEL_OUTBOUND_TOPIC Строка channel-outbound Отправка сообщений в каналы.
KAFKA_BOT_EVENTS_TOPIC Строка bot-events События для ботов.
KAFKA_AI_BOT_TOPIC Строка ai-bot Ответы ИИ-бота.
KAFKA_AI_INGEST_TOPIC Строка ai-ingest Обработка материалов для ИИ-бота.
KAFKA_UI_RESOURCES_TOPIC Строка ui-resources Генерация ресурсов виджета.
KAFKA_STATS_TASKS_TOPIC Строка stats-tasks Задачи статистики.
KAFKA_BI_FACTS_TOPIC Строка bi-facts Выгрузка данных BI-отчётов.
KAFKA_BI_REALTIME_TOPIC Строка bi-realtime Данные BI-отчётов в реальном времени.
KAFKA_ELASTIC_INDEXING_TOPIC Строка elastic-indexing Индексация диалогов в поисковом движке.
KAFKA_ELASTIC_INDEXING_REBUILD_TOPIC Строка elastic-indexing-rebuild Полная переиндексация диалогов.
KAFKA_KB_INDEXING_TOPIC Строка kb-indexing Индексация базы знаний.
KAFKA_JOBS_TOPIC Строка jobs Длительные задачи, например выгрузки.
KAFKA_BROADCASTS_TOPIC Строка broadcasts Рассылки.
KAFKA_SLA_TASKS_TOPIC Строка sla-tasks Задачи политик SLA.
KAFKA_COALESCING_MAINTENANCE_TOPIC Строка Значение KAFKA_GENERAL_TASKS_TOPIC Служебные задачи механизма объединения повторяющихся задач.
KAFKA_CANARY_TOPIC Строка Значение KAFKA_GENERAL_TASKS_TOPIC Топик контрольной задачи, которая проверяет работоспособность шины (см. Мониторинг шины).

Мониторинг шины

Результаты проверок выводятся в ответе служебного адреса проверки работоспособности /health.

Параметр Тип По умолчанию Описание
KAFKA_CONSUMER_LAG_THRESHOLD Целое число 1000 Отставание группы обработчиков (число необработанных сообщений), при превышении которого проверка работоспособности сообщает о проблеме.
KAFKA_CANARY_ENABLED Логический True Проверка контрольной задачи: планировщик периодически отправляет контрольную задачу, обработчик выполняет её и сохраняет отметку времени. Выключайте, только если планировщик периодических задач не запущен.
KAFKA_CANARY_INTERVAL_SECONDS Целое число, секунды 60 Интервал отправки контрольной задачи.
KAFKA_CANARY_LAG_THRESHOLD_MINUTES Целое число, минуты 5 Если контрольная задача не выполнялась дольше этого времени, проверка работоспособности сообщает о проблеме.
KAFKA_CANARY_TTL_HOURS Целое число, часы 24 Срок хранения отметки о выполнении контрольной задачи.
KAFKA_WORKER_HEARTBEAT_INTERVAL_SECONDS Целое число, секунды 15 Интервал, с которым обработчики записывают отметку активности своей группы.
KAFKA_WORKER_HEARTBEAT_LAG_THRESHOLD_MINUTES Целое число, минуты 2 Если отметка активности группы старше этого времени, проверка работоспособности сообщает о проблеме.
KAFKA_WORKER_HEARTBEAT_TTL_HOURS Целое число, часы 6 Срок хранения отметки активности группы.
KAFKA_DELIVERY_ERROR_THRESHOLD Целое число 0 Допустимое число ошибок доставки сообщений в брокер за окно KAFKA_DELIVERY_ERROR_WINDOW_MINUTES. 0 — проверка работоспособности сообщает о проблеме при любой ошибке доставки.
KAFKA_DELIVERY_ERROR_WINDOW_MINUTES Целое число, минуты 5 Окно подсчёта ошибок доставки.
KAFKA_DELIVERY_ERROR_BUCKET_MINUTES Целое число, минуты 1 Шаг подсчёта ошибок доставки внутри окна.
KAFKA_DELIVERY_ERROR_FLUSH_INTERVAL_SECONDS Целое число, секунды 5 Как часто процесс сохраняет накопленное число ошибок доставки в Redis.
KAFKA_DELIVERY_ERROR_LOG_INTERVAL_SECONDS Целое число, секунды 30 При серии ошибок доставки первая ошибка сразу записывается в журнал, а дальше — сводка не чаще указанного интервала.
KAFKA_CLIENT_ERROR_LOG_INTERVAL_SECONDS Целое число, секунды 60 То же для ошибок клиента Kafka, например при недоступности брокера.
KAFKA_EMPTY_GROUP_GRACE_MINUTES Целое число, минуты 3 Если в обязательной группе обработчиков нет ни одного активного обработчика дольше этого времени, проверка работоспособности сообщает о проблеме. Задержка исключает ложные срабатывания при перезапуске обработчиков. Обязательные группы — группы обработчиков из комплекта поставки (см. Параметры процессов).
KAFKA_EMPTY_GROUP_STATE_TTL_HOURS Целое число, часы 6 Срок хранения сведений о группах без активных обработчиков.
KAFKA_HEALTH_LIST_TOPICS_TIMEOUT_SECONDS Дробное число, секунды 5.0 Тайм-аут запроса списка топиков при проверке работоспособности.
KAFKA_HEALTH_ADMIN_RESULT_TIMEOUT_SECONDS Дробное число, секунды 10.0 Тайм-аут административных запросов к Kafka при проверке работоспособности.
KAFKA_ADMIN_LIST_TIMEOUT_SECONDS Целое число, секунды 10 Тайм-аут запроса списка топиков при создании топиков.