ОТ SQL ДО SPARK | Как связаны все инструменты Дата Инженера
Все инструменты Дата Инженера | SQL Python Airflow Spark Greenplum Hadoop Clickhouse dbt S3 Kafka. Постарался объяснить, как с ними работают и их связки. Пиши нашему боту /pipeline и забирай 2 схемы: https://s.salebot.pro/07a7864a2e3fef8f290daad1f7f6daac_1?utm_source=youtube&utm_medium=video&utm_campaign=pipeline&utm_content=all_instruments Записывайся на BootCamp Сентябрь 2026 в нашем боте: https://s.salebot.pro/07a7864a2e3fef8f290daad1f7f6daac_1?utm_source=youtube&utm_medium=video&utm_campaign=bootcamp&utm_content=all_instruments Таймкоды: 0:00 Вступление 0:22 Что будет в видео 0:35 Roadmappers Data Builder 0:42 Что такое API 2:02 Python: забираем данные и складываем в папку/CSV 3:02 S3 как хранилище данных 4:02 PostgreSQL как источник данных 5:24 Apache Spark 6:50 Kafka 8:45 Куда в итоге идут данные и зачем нужен BI 10:22 Greenplum 19:25 ClickHouse 20:25 Airflow 22:04 Superset и Power BI 22:25 GitHub, GitLab, Bitbucket и Git 23:38 VS Code 24:22 Jupyter Notebook 25:43 Bash 26:18 SQL 29:25 HDFS, Iceberg и Trino 34:40 Power BI + ClickHouse 37:22 Trino подробнее 42:07 dbt 44:06 Заключение Полезные ссылки: Roadmap для Data Engineer: https://s.salebot.pro/07a7864a2e3fef8f290daad1f7f6daac_1?utm_source=youtube&utm_medium=video&utm_campaign=bootcamp&utm_content=all_instruments Twitch канал: / halltape GitHub: https://github.com/halltape Канал с подкастами: / @beyond_the_code Канал с подкастами: https://www.youtube.com/@beyond_the_code
Название:
ОТ SQL ДО SPARK | Как связаны все инструменты Дата Инженера
Категория:
Разное