Data Engineer( Л'Этуаль )

Компания "Л'Этуаль"

• · Участвовать в проектировании, создании, развертывании и управлении общей архитектуры платформы данных
• · Выстраивать процессы взаимодействия DWH и других компонент экосистемы данных компании
• · Проектировать модели данных детального слоя под бизнес требования с оптимальным хранением данных
• · Разрабатывать процедуры формирования детального слоя данных и слоя витрин
• · Поддерживать текущие автоматизированные регулярные ETL процессы
• · Настраивать поток данных с использованием распределенных систем обмена сообщениями, в частности Kafka
• · Разрабатывать схемы подключения новых источников, включая получение структурированных и неструктурированных данных из различных источников
• · Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных
• · Создавать и улучшать процессы обработки данных
• · Участвовать в проектировании, внедрении и развитии каталога данных
• · Участвовать в развитии процессов Data Governance
• · Документировать свою работу в JIRA/Confluence

• · опыт от 3-х лет в роли Data Engineer
• · знание современных инструментов ETL/ELT, CDC и способов их автоматизации
• · умение извлекать данные из различных источников (БД, логи, сторонние системы и т.п.)
• · умение осуществлять автоматизированный сбор и структурирование информации с сайтов (parsing) при помощи программы/cервиса
• · умение выбирать технологию для хранения данных и их обработки
• · опыт проектирования и внедрения архитектуры хранилища данных с применением практик и технологий Data management, DWH/BI, Big Data и Data streaming
• · понимание смежных технологических областей (инфраструктура, DevOps, DevSecops, Data Science, Cloud native и др.)
• · владение языками программирования (SQL на уровне не ниже Middle, Python, либо другом скриптовом языке программирования)
• · опыт работы с планировщиками задач (MS SQL, Airflow)
• · опыт работы с ClickHouse, PostgreSQL, Google Analytics, BigQuery, Appsflyer
• · опыт работы с микро-сервисной архитектурой
• · опыт работы с очередями и брокерами сообщений Kafka/RabbitMQ
• · опыт работы с BI инструментами MSOLAP/PowerBI/QlikView/различные российские решения

• Интересные задачи;
• Уникальную профессиональную команду;
• Достойный уровень вознаграждения;
• Официальное трудоустройство по ТК РБ;
• Работа офисе на территории РБ;

Открыть контакты работодателя

Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя