Джерело:
Хабрахабр:
Дата публікації:
05/09/2024 11:00
Постійна адреса новини:
http://www.vsinovyny.com/11265245
Logstash. Преимущества фильтра Dissect над Grok
05/09/2024 11:00 // Хабрахабр:
Мы в Домклике много лет используем ELK-stack (сейчас уже OpenSearch) для хранения и работы с логами, которых у нас очень много: около 400 гигабайтов в день. Весь этот объём проходит через Logstash, где логи частично парсятся, обогащаются метаданными и т. д.
Недавно мы решили стандартизировать логи инфраструктурных сервисов, которые подняты в нескольких экземплярах. Начали с HAproxy. У нас несколько групп экземпляров под разные цели, с разным количеством логов. Раньше каждая группа HAproxy писала логи в каком-то собственном формате, и мы парсили эти логи с помощью всего одного паттерна для Grok-фильтра. Сообщение либо подходило под паттерн и разбивалось на поля, либо отправлялось в виде одной текстовой строки.
Расскажу о проблемах, с которыми мы столкнулись при добавлении новых Grok-паттернов, и о том, как мы их решили, отказавшись от Grok.
Читать далее| « |
Наступна новина з архіву Сверточные нейронные сети (CNN) |
Попередня новина з архіву Обзор Unified СХД Qsan серии XCubeNXT |
» | |
|
|
||||