Big Monitoring Meetup 07: Как это было?

Redis представляет собой высокодоступный кэш в памяти, в котором сохраняется оперативная информация о событиях, происходящих в системе, о данных, поступивших от агентов системы мониторинга, от модулей (акторов) и т.п. Взаимодействие акторов с данными организовано через кластеры Redis. Каждый из акторов теперь может работать с несколькими серверами Redis-кластера.

Ранее система использовала только базу данных временных рядов OpenTSDB, затем появилась поддержка InfluxDB и был реализован модуль изоляции, который кэширует данные перед записью в базу, что повышает производительность и устойчивость и позволяет легко добавлять дополнительные TSDB.

Основа информационной модели системы – это граф, объекты. В целях повышения производительности в масштабных задачах была реализована поддержка графовой СУБД Neo4J.

Появился целый ряд новых «дискавери»-модулей, использующих разные методы опроса:

• серверы
  
• сетевые устройства
  
• сетевые топологии
  
• системы виртуализации
  
• системы хранения данных
  
• IPMI
  

«Дискавери»-модули считывают с оборудования или программных компонентов собственную модель и доводят ее до системы мониторинга.

Существенный поток событий с инфраструктуры поступает в виде SNMP-трапов. Помимо уже имевшихся систем фильтрации, в «Центральном Пульте» появились усовершенствованные фильтры, которые на входе в систему отбрасывают избыточную информацию от «спамящего» оборудования и сервисов, модуль, который по поступившим событиям автоматически наполняет объектную модель, а также сервис трансляции OID в имена из MIB.

Все эти нововведения позволяют расширить возможности проведения корреляционного анализа.

Цифровые инфраструктуры могут иметь распределенный характер, а каждая из ИКТ-систем способна с индивидуальной интенсивностью формировать поток событий для регистрации в журналах. Разработанные модули накопления и анализа журналов могут быть использованы для централизованного или распределенного сбора и хранения журнальной информации. В частности, в изолированных сегментах инфраструктуры модули могут служить локальными хранилищами данных, формируемых средствами регистрации активности работы ИКТ-систем.

Данный новый модуль представляет собой зонд/агент и подсистему, предназначенную для сбора потоков NetFlow в непосредственной близости к местам генерации и предоставления HTTP-интерфейса для получения данных о трафике в формате JSON подсистемами платформы мониторинга и управления. Модуль позволяет организовать декомпозицию и фильтрацию трафика, вычисление агрегированных показателей с разбивкой по портам, протоколам, источнику, получателю, сеансам связи, интерфейсам, устройствам и др.

В комплексе ранее существовали возможности формирования схем сети и использования формата SVG для их сохранения. Теперь с помощью расширения NetMap стала доступна возможность визуализировать найденные объекты и связи в виде динамической карты сети с наличием средств фильтрации объектов по тэгам. Еще одно расширение позволяет наглядно визуализировать карту цифровой инфраструктуры или ее отдельных компонентов в виде графа.