Как мы упростили мониторинг серверов и баз данных
Как было
Для целей ИТ-мониторинга у заказчика был установлен стандартный «Центр управления производительностью» (ЦУП) из «Корпоративного инструментального пакета» 1С. Но решение не было идеальным: заказчик говорил о недостаточной гибкости в сборе и обработке данных, трудностях с настройкой и расширением мониторинга для новых информационных систем и серверов, а также об ограниченных возможностях визуализации текущего состояния системы. (Уточним, что речь идет о старой версии ЦУПа — с тех пор вендор значительно доработал «коробочное» решение).
Что хотелось заказчику:
- Расширить количество отслеживаемых показателей, связанных с работой информационных систем, системы управления базами данных (СУБД) и оборудования.
- Иметь более простую и понятную систему установки, настройки и подключения для мониторинга новых информационных систем/серверов.
- Видеть более наглядное отображение текущего состояния отслеживаемых систем/серверов.
- Получать оперативные оповещения о возникших проблемах и необходимости принятия превентивных мер.
- Сделать систему быстродействующей и менее ресурсоемкой, чтобы она не оказывала дополнительной нагрузки на уже перегруженные серверы.
Решение
Реализовать все эти требования в рамках простых доработок было невозможно, поэтому мы взялись за кардинальное переписывание типового решения и, по сути, сделали на его основе полноценную централизованную систему мониторинга высоконагруженных конфигураций, состоящую из трех компонент:
- Сборщик данных.
- Консолидатор.
- Центр управления.
Сборщик данных — можно сказать, агент — устанавливается непосредственно на серверах приложений и СУБД, при этом отдельная подсистема встраивается в контролируемую информационную систему. В процессе своей работы сборщик передает информацию о загруженности серверного оборудования и скорости отклика на веб-сервисы консолидатора. Такие агенты потребляют минимум ресурсов и могут ожидать в режиме «полусна», пока к ним не обратятся с запросом.
Консолидатор, он же обработчик, предназначен для консолидации и аналитической обработки информации. Он разворачивается в дата-центре и реализует функциональность подсистемы обработки полученных данных от сборщиков, включая длительные запросы, ожидания на блокировках, взаимоблокировки, события и ошибки платформы, загруженность оборудования, состояние информационных баз и серверов, показатели производительности приложений (APDEX) и др.
Центр управления предназначен для управления настройками сборщиков данных, формирования и визуализации отчетности на специально отрисованных дашбордах, а также аналитической обработки предварительно заданных параметров и событий.
Вместе эти три компонента составляют СМиКП — Систему мониторинга и контроля производительности. Эта система существенно улучшила возможности для мониторинга и повысила скорость реагирования на инциденты. После внедрения СМиКП заказчик сразу почувствовал значительные улучшения в работе своих информационных систем.
Вот основные результаты, которых удалось достичь:
- Масштабируемость: система легко масштабируется под новые серверы и приложения, что избавляет нас от необходимости проводить сложные ручные настройки при добавлении новых компонентов.
- Производительность: поскольку сборщики данных работают с минимальной нагрузкой, ресурсы серверов не перегружаются.
- Прозрачность: наглядные дашборды позволяют руководителям ИТ-службы в реальном времени отслеживать состояние всех серверов и приложений, быстро реагируя на сбои.
Для нас, как разработчиков, эта система также оказалась незаменимым инструментом для диагностики и тестирования. Если одна из учетных систем заказчика начинала давать сбой, мы сразу обращались к СМиКП, чтобы проверить показатели за интересующий нас промежуток времени и выявить проблемы на определенных серверах и по нужной нам системе. Это значительно ускорило процесс устранения неисправностей. Кроме того, через СМиКП можно проводить дополнительное нагрузочное тестирование и сразу выявлять ошибки и блокировки при изменении функциональности.
Проект продемонстрировал, насколько важна грамотная настройка системы мониторинга для эффективного управления сложными ИТ-ресурсами. Мы не просто улучшили стандартное решение — мы создали инструмент, который стал неотъемлемой частью цифровой экосистемы холдинга. Этот опыт показал, что даже в случае использования популярных «коробочных» решений можно добиться существенных улучшений, если правильно подойти к кастомизации и учесть реальные потребности бизнеса.