Рекомендации по настройке мониторинга

Параметры мониторинга

Круглосуточный мониторинг сервера базы данных осуществляется по следующим параметрам:

• Наличие процесса MySQL;
• Доступность порта 3306 с сервера клиента;
• Нагрузка на CPU с пороговым значением в 90% загрузки в течении 15 минут;
• Наличие 5% свободной оперативной памяти на сервере;
• Мониторинг здоровья жесткого диска по SMART и состояния RAID массива;
• Наличие ошибок при реплицировании, отставание репликации;
• Мониторинг корректности создания резервных копий MySQL, наличие файла последней резервной копии;
• Ежедневная или еженедельная проверка на корректность таблиц в базе данных;
• Мониторинг появления новых ошибок в логе сервера MySQL.

Требования к системе мониторинга

Рекомендуется настроить следующие виды мониторинга.

1. Мониторинг нагрузки на CPU на сервере.
   Критическое длительное значение - 90%.
   Проверить запросы к nginx. Возможно, имеется ненормальная активность.
2. Мониторинг наличия процессов сервера, необходимых для работы Webim Server.
   Для работы сервера используются следующие службы:
   • nginx
   • php-fpm
   • python server.py (порт 8260)

   Необходимо контролировать наличие этих процессов на сервере.

   Служба	Необходимые процессы	Действия при отсутствии процессов
   nginx	master + worker процессы	service nginx restart
   php-fpm	Наличие master-процесса и всех пулов по списку: webim-visitor webim-visitor2 webim-admin webim-admin2 webim-images	service php-fpm restart
   server.py	Наличие процесса python server.py, запущенного с переменной -port 8260. При работе с ОС Ubuntu, Debian можно запустить процесс через supervisorctl. $ supervisorctl supervisor> status supervisor> start tornado-8260 Наличие процесса supervisord.	В случае отсутствия supervisord - запустить: service supervisor start

3. Мониторинг работоспособности процесса

   Мониторинг работоспособности процесса осуществляется с помощью обращения к нему по ссылке:

   /l/v/track.php?event=init&since=0&callback=c
   

   Запрос:

   curl "/l/v/track.php?event=init&since=0&callback=c" -v
   

   В ответ должен приходить код 200 и информация в виде json.

   Реакция: проверить лог /var/log/pro/tornado-8260.log
   В нормальных условиях должны появляться сообщения о старте сессий чата/отправки сообщений.
   В случае отсутствия новых данных стоит проверить доступность сервера из сети.
   Если доступ есть, то перезапустить (для ОС Ubuntu, Debian):

   supervisorctl restart tornado-8260
   

4. Мониторинг доступности PHP.

   Мониторинг осуществляется следующим образом:

   <hostname>/client.php
   

   Корректный ответ:

   $ curl 
   <hostname>/client.php -I
   HTTP/1.1 200 OK
   Server: nginx
   Date:
   Content-Type: text/html; charset=UTF-8
   Connection: keep-alive
   Vary: Accept-Encoding
   Expires:
   Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
   Pragma: no-cache
   Set-Cookie: PHPSESSID=1111; path=/; domain=. </hostname><hostname>; secure; HttpOnly
   

   Реакция: проверить лог /var/log/pro/error.log
   Если имеются ошибки, то по ситуации исправить их.
   Если недоступен или не отвечает php, то перезапустить:
   service php5-fpm restart

5. Мониторинг данных.

   Запрос:

   curl https://service_user:service_pass@<hostname>:8260/l/a/monitor/accounts-stat
   

   Пример ответа:

   [{
       "online_operators_cnt": 0, 
       "being_stored_now_objects_cnt": 0, 
       "offline_sessions_cnt": 223, 
       "in_queue_cnt": 0, 
       "failed_to_store_objects_cnt": 0, 
       "visible_sessions_cnt": 39, 
       "name": "TOTAL", 
       "alive_pages_cnt": 6, 
       "sessions_cnt": 74, 
       "collected_to_store_objects_cnt": 0, 
       "not_belongs_to_tornado_instance": 0, 
       "pages_cnt": 63, 
       "chats_cnt": 38, 
       "alive_sessions_cnt": 39, 
       "being_stored_now_processed_objects_cnt": 0
   },
   {
       "domain": "<hostname>", 
       "offline_sessions_cnt": 223, 
       "name": "demo", 
       "pages_cnt": 63, 
       "sessions_cnt": 74, 
       "in_queue_cnt": 0, 
       "collected_to_store_objects_cnt": 0, 
       "failed_to_store_objects_cnt": 0, 
       "visible_sessions_cnt": 39, 
       "ignore_not_belongs_to_tornado_instance": false, 
       "being_stored_now_processed_objects_cnt": 0, 
       "alive_pages_cnt": 6, 
       "chats_cnt": 38, 
       "working_operators_cnt": 0, 
       "alive_sessions_cnt": 39, 
       "online_operators_cnt": 0, 
       "being_stored_now_objects_cnt": 0, 
       "not_belongs_to_tornado_instance": false
   }]
   

   Переменные:
   collected_to_store_objects_cnt - не более 2000
   failed_to_store_objects_cnt - не более 0

   Реакция: при срабатывании триггера collected_to_store_objects_cnt и failed_to_store_objects_cnt проверить доступность базы, возможность записи в нее.
   Рост collected_to_store_objects_cnt может быть вызван медленным доступом.

6. Мониторинг доступности базы данных с сервера приложений.
   Проверку можно осуществлять с помощью mysqladmin ping.
   Реакция: восстановить доступность базы данных.
7. Мониторинг доступности сервера из внешней сети.
   Проверку можно производить по ссылкам из пунктов 3 и 4, с удаленных серверов.
   Реакция: проверить сетевые интерфейсы на сервере, маршруты до/с сервера.
   Кроме этого, рекомендуем дополнительно использовать фоновый сервис atop на сервере со сбором статистики раз в минуту. Он поможет оптимизировать процесс анализа состояния сервера.

Дополнительная информация

Рестарт сервисов для ротации логов не нужен.
Ротировать надо следующие логи: nginx (access, error), tornado, my PHP, fpm.
Желательно, чтобы логи были доступны одну неделю.
Больший объём логов будет занимать значительный объём диска.

При большой нагрузке рекомендуется проводить мониторинг блокировок, в частности при работе с MySQL 5.7.

Ниже перечислены некоторые конечные точки, которые могут быть полезны при мониторинге:

• /l/a/monitor - базовая информация о запущенном tornado server,
• /l/a/monitor/timer-stats - что запущено в таймерах и сколько выполнялось,
• /l/a/monitor/accounts-stat - оперативные показатели по аккаунтам (включая информацию о количестве чатов, сессий, страниц и прочего),
• /l/a/monitor/zabbix/channels - ошибки по каналам,
• /l/a/monitor/object-stats - objgraph-данные от профайлера,
• /l/i/instance-id - ID tornado,
• /service/aux/check-php.php и т.п.- группа конечных точек для проверки healthcheck-a PHP и прочего,
• /service/monitor/get-all-env-list.php - возвращает хост, окружение и адрес сервера,
• /service/monitor/ - возвращает HTML-страницу для визуального мониторинга сервера,
• /service/get-local-account-info.php - JSON с оперативной информацией по последнему периоду, чату и некоторым переменным,
• /service/get_chats_by_date.php, /service/get_online_operators_by_date.php и т.п. - чаты за определённый период и похожие конечные точки.