Data Engineer( Лайфтех )

05 Января

Партнерские Вакансии

Компания "Лайфтех"

Мы, команда анализа данных, ищем мотивированного Data Engineer уровня Middle.

Вам предстоит играть ключевую роль в развитии и поддержке нашей Data-экосистемы, включая Data Catalog, BI-платформу и ежедневные ETL-процессы DWH.

Data Catalog — это централизованная платформа управления метаданными, которая помогает сотням сотрудников обнаруживать, понимать и доверять данным компании.

Стек: Python, Oracle, PostgreSQL, Apache Airflow, Docker, API, Postman.

Какие ждут задачи:

• Разработка и поддержка Data Catalog: создание новых функциональных модулей на Python, интеграция новых источников данных через API и написание коннекторов;
• Автоматизация пайплайнов: разработка, развертывание и мониторинг DAG в Apache Airflow для автоматического сбора метаданных и обеспечения работы ETL-процессов DWH;
• Работа с данными: проектирование и реализация схем загрузки, моделей данных и витрин для BI-систем;
• Мониторинг и надежность: создание системы мониторинга и алертов для отслеживания корректности и производительности пайплайнов и платформы в целом;
• Участие в аналитике данных: совместно с аналитиками проводить исследовательский анализ данных для проверки гипотез, проактивного выявления аномалий в данных и поиска путей улучшения их качества. Участие в разработке и автоматизации ключевых отчетов и дашбордов.
• Командная работа: тесное взаимодействие с аналитиками данных, дата-сайентистами и разработчиками для совместного развития data-продуктов.

Наши ожидания:

• Высшее образование в области математики, статистики, информатики, инженерии или других связанных областях;
• Опыт работы от 3-х лет на позиции инженера данных;
• Отличное знание Python;
• Уверенный опыт работы с реляционными СУБД (Oracle, PostgreSQL) и написания сложных SQL-запросов;
• Практический опыт работы и администрирования Apachе Airflow;
• Опыт работы с платформой Apache Kafka;
• Аналитическое мышление: готовность и желание погружаться в бизнес-метрики и данные, чтобы понимать их смысл и влияние на конечный продукт. Умение работать с большими массивами данных не только для их перемещения, но и для извлечения инсайтов.
• Умение работать с Git, Jira, Confluence.

Будет плюсом:

• Опыт проектирования DWH и создания витрин данных;
• Практический опыт работы с DBT;
• Знакомство с колоночными БД (ClickHouse) и поисковыми движками (ElasticSearch);
• Опыт построения RAG-систем.

Условия:

• Работа в офисе, г. Минск, БЦ «Виктория Олимп»;

• Современная корпоративная среда и социальный пакет (подробнее – в профиле компании или на сайте);

• Индивидуальный подход к мотивации и компенсации.