Data Engineer( Лайфтех )

Лайфтех

Город:

Минск

Занятость:

Полная занятость

Компания "Лайфтех"

Мы, команда анализа данных, ищем мотивированного Data Engineer уровня Middle.

Вам предстоит играть ключевую роль в развитии и поддержке нашей Data-экосистемы, включая Data Catalog, BI-платформу и ежедневные ETL-процессы DWH.

Data Catalog — это централизованная платформа управления метаданными, которая помогает сотням сотрудников обнаруживать, понимать и доверять данным компании.

Стек: Python, Oracle, PostgreSQL, Apache Airflow, Docker, API, Postman.

Какие ждут задачи:

Разработка и поддержка Data Catalog: создание новых функциональных модулей на Python, интеграция новых источников данных через API и написание коннекторов;
Автоматизация пайплайнов: разработка, развертывание и мониторинг DAG в Apache Airflow для автоматического сбора метаданных и обеспечения работы ETL-процессов DWH;
Работа с данными: проектирование и реализация схем загрузки, моделей данных и витрин для BI-систем;
Мониторинг и надежность: создание системы мониторинга и алертов для отслеживания корректности и производительности пайплайнов и платформы в целом;
Участие в аналитике данных: совместно с аналитиками проводить исследовательский анализ данных для проверки гипотез, проактивного выявления аномалий в данных и поиска путей улучшения их качества. Участие в разработке и автоматизации ключевых отчетов и дашбордов.
Командная работа: тесное взаимодействие с аналитиками данных, дата-сайентистами и разработчиками для совместного развития data-продуктов.

Наши ожидания:

Высшее образование в области математики, статистики, информатики, инженерии или других связанных областях;
Опыт работы от 3-х лет на позиции инженера данных;
Отличное знание Python;
Уверенный опыт работы с реляционными СУБД (Oracle, PostgreSQL) и написания сложных SQL-запросов;
Практический опыт работы и администрирования Apachе Airflow;
Опыт работы с платформой Apache Kafka;
Аналитическое мышление: готовность и желание погружаться в бизнес-метрики и данные, чтобы понимать их смысл и влияние на конечный продукт. Умение работать с большими массивами данных не только для их перемещения, но и для извлечения инсайтов.
Умение работать с Git, Jira, Confluence.

Будет плюсом:

Опыт проектирования DWH и создания витрин данных;
Практический опыт работы с DBT;
Знакомство с колоночными БД (ClickHouse) и поисковыми движками (ElasticSearch);
Опыт построения RAG-систем.

Условия:

Работа в офисе, г. Минск, БЦ «Виктория Олимп»;
Современная корпоративная среда и социальный пакет (подробнее – в профиле компании или на сайте);
Индивидуальный подход к мотивации и компенсации.