TechnoHardcore — Стандартизация логов без боли: Vector + OpenTelemetry + ClickHouse

Дмитрий Синявский, SRE, Ви.Tech Презентация: https://disk.yandex.ru/d/o1enqZs363oM2A/TechnoHardcore 00:00 Вступление: почему с логами сложно работать ночью 01:42 Почему решили стандартизировать логи 02:16 Переход с ELK на Vector и ClickHouse: экономия ресурсов 02:36 Архитектура системы сбора и обработки логов 03:25 Зачем нужны единые правила формата логов 05:08 Как выбрали OpenTelemetry в качестве основы стандарта 06:15 Unified Log Pipeline: преобразование логов в единый формат 07:22 Структура лога: атрибуты, ресурсы и служебные поля 08:04 Хранение логов в ClickHouse 09:03 Результаты стандартизации и первые проблемы 11:09 Гибкое управление сроком хранения логов (TTL) 15:28 Упрощение сбора логов в Kubernetes 16:25 Снижение нагрузки на сеть и решение проблем с дисковым пространством 18:11 Как ускорить поиск логов в ClickHouse 19:41 Метрики потребления логов и дашборды 21:06 Как стандартизация упростила работу с метриками 21:22 Итоги трёх лет внедрения 22:14 Что можно использовать в своих проектах 22:41 Вопросы и ответы Присоединяйтесь к чату комьюнити инженеров мониторинга: https://t.me/+JACEED4upLxmMjIy