Построение полного цикла ETL и Reverse ETL: от OLTP к OLAP и обратно | Практический кейс Reverse ETL

12+
12+

1 просмотр

7 дней назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

7 дней назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

7 дней назад

🔥 Хочешь разобраться, как в реальных проектах дата-инженеры связывают микросервисы, OLTP и OLAP, считают LTV и внедряют Reverse ETL? В этом видео ты увидишь на практике, как построить пайплайны для сбора, аналитики и возврата метрик между микросервисами с помощью Apache Airflow, ClickHouse, PostgreSQL, SQL и Python. Ссылки: Менторство/консультации по IT – https://korsak0v.notion.site/Data-Engineer-185c62fdf79345eb9da9928356884ea0 Habr – https://habr.com/ru/users/k0rsakov/publications/articles/ 🔍 Что в ролике: 🔗 Как работает Reverse ETL в архитектуре микросервисов 🛠️ Пример построения пайплайна: от сбора данных до возврата LTV 💡 Почему OLTP не подходит для аналитики и как правильно строить поток данных 🚀 Развёртывание инфраструктуры (Docker, Airflow, ClickHouse, PostgreSQL) ⚙️ Запуск DAG-ов для миграции и расчёта метрик 📊 Анализ данных в ClickHouse 🎁 Как вернуть бизнес-метрики обратно в микросервисы ✅ Лучшие практики для построения надёжной аналитической платформы 🗂️ GitHub репозиторий с кодом: https://github.com/k0rsakov/pet_project_reverse_etl ✉️ Нужна консультация или обучение? Пиши: https://korsak0v.notion.site/Data-Engineer-185c62fdf79345eb9da9928356884ea0 💡 В конце ролика — рекомендации по построению Reverse ETL и работе с большими данными! Таймкоды: 00:00 – Начало 00:10 – Проект и задача 02:00 – Инфраструктура 03:30 – Генерация и сбор данных 06:50 – ClickHouse и таблицы 10:57 – Airflow и перенос данных 12:10 – DAG для расчёта LTV 19:40 – ClickHouse: ReplacingMergeTree 22:15 – Reverse ETL 28:33 – Итоги 31:09 – Рекомендации #reverseETL #airflow #clickhouse #ltv #dataengineering #oltp #olap #python #docker #microservices #businessanalytics #etl #dag #dataengineer

Название:

Построение полного цикла ETL и Reverse ETL: от OLTP к OLAP и обратно | Практический кейс Reverse ETL

Категория:

Разное