Data Engineer

Транспортировка, обработка, организация хранения данных для машинного обучения, автоматизированных процессов и аналитики. Формирование пайплайнов обновления и обработки данных.

Опыт работы в аналогичной должности от 3х лет. SQL (Оracle, Postgres, MS). Знание любого ETL инструмента.

Проектировать архитектуру АХД, разрабатывать и запускать сервисы c DЕ-решениями. Развивать и улучшать существующие продукты и сервисы. Участвовать в проработке...

Отличное знание SQL, Python. Опыт построения аналитического хранилища данных. Опыт работы с Greenplum, PostgreSQL, Clickhouse.

Реализация ETL-загрузки данных из внешних и внутренних источников (Python, Spark, Hadoop). Подготовка витрин для анализа (Hive + Spark+ SQL).

Опыт работы с реляционными базами данных, продвинутый уровень. Желательно GreenPlum/PostgreSQL от 2 лет, или T-SQL или PL/SQL...

Разработка хранилищ данных, витрин данных. - Проектирование, разработка и поддержка ETL-процессов. - Контроль качества загружаемых данных (ручные и автоматические тесты DQ). -

Обязательно: - Опыт в языках программирования: SQL, Python. - Опыт работы с одним или несколькими СУБД: Clickhouse, PostgreSQL, Greenplum, MS SQL Server. -

Разрабатывать собственные компоненты Airflow (операторы, шаблоны пайплайнов). Проектировать и разрабатывать ETL/ELT-процессы. Разрабатывать системы хранения и обработки данных.

Имеет опыт построения DWH. Имеет опыт работы с распределенными системами. Понимает подходы по обеспечению Data Quality. Умеет работать с различными...

Продуктивизация моделей (Python, Spark, Airflow). Построение витрин, подключение новых источников (MS SQL, PostgreSQL, GreenPlum). Настройка мониторинга эффективности работы моделей.

Знание SQL на продвинутом уровне. Знание Python на уровне middle. Опыт работы с реляционными БД (MS SQL, PostgreSQL, GreenPlum).