Полное описание:
Data Engineer проектирует и поддерживает Data Warehouse (DWH) и Data Lake. Разрабатывает ETL/ELT-пайплайны на Airflow, dbt, Spark. Оптимизирует SQL-запросы и структуры хранения (секционирование, индексы). Занимается интеграцией различных источников данных (API, файлы, Kafka, БД). Поддерживает качество данных (тесты, мониторинг, документация). Опыт работы с облачными DWH (ClickHouse, Greenplum, Snowflake, BigQuery) и версионированием схем (git, DDL) обязателен.
Ключевые навыки: SQL (оптимизация), Python, DWH, Data Lake, ETL/ELT, Airflow, dbt, Spark, Kafka, ClickHouse/Greenplum/BigQuery, git
