Data Engineer (XRM)

27 Декабря

Партнерские Вакансии

Компания "Клеркгрупп"

В связи с расширением команды находимся в поиске Data Engineer!

Обязанности:

• Разрабатывать и поддерживать ETL/ELT пайплайны для обработки данных из PostgreSQL, MongoDB, ClickHouse;

• Выполнять интеграцию источников данных в Data Lakehouse;

• Оптимизировать процессы загрузки и обработки данных;

• Работать с потоками данных через Kafka и обработкой в Spark;

• Анализировать текущие пайплайны и внедрять улучшения;

• Интегрировать данные между Data Lakehouse и BI-системой;

• Оптимизировать аналитические запросы для визуализации отчетов и дашбордов.

Требования:

• Опыт работы с большими данными от 2-х лет;

• Реализация интеграции с реляционными и NoSQL базами;

• Опыт работы с ClickHouse для аналитических запросов;

• Опыт работы с DBT и Trino;

• Знание инструментов CDC (Debezium, Kafka Connect);

• Опыт построения Lakehouse через анализ и улучшение текущих подходов;

• Уверенное владение PostgreSQL, MongoDB, ClickHouse;

• Знание Python и использование опыта в задачах обработки данных;

• Опыт работы с инструментами оркестрации (Airflow, NiFi);

• Знание Apache Spark, Kafka;

• Навыки аудита и оптимизации ETL-процессов.

Будет плюсом:

• Опыт работы с BI инструментами (Power BI, Qlik, Metabase, Superset).

Мы предлагаем:

• Оформление по ТК Республики Беларусь;
• Стабильную официальную заработную плату;
• Комфортный, современный офис в Минске либо удаленное сотрудничество;
• Расширенный социальный пакет.