Data Engineer (проектная деятельность)

Описание

DWH разработчик
(Февраль 2015 - Октябрь 2022) (AWEM Games /продуктовая компания)
Описание: поддержка аналитики для мобильных приложений с классическим Match-3 с элементами градостроения и нелинейным сюжетом. Сбор событий с клиентских устройств, обновления хранилища данных, построение и обновление отчетов

Основные обязанности:

- ежедневная обработка дампов данных и помещение в хранилище.
- разработка и поддержка сервисов (Python, PHP, C++, GitLab) по работе с данными (MS SQL, Hive Hadoop, Clickhouse) статистики мобильных приложений
- разработка и поддержка обновления статистических отчётов по заявкам от аналитического отдела
- взаимодействие между разными системами хранения данных и их последовательным обновлением
- использование технологии CI/CD для запуска оnчетов из GitLab
- работа с экспортом - импортом данных в CSV
- настройка шедулеров из Linux, Windows, MS SQL SERVER
- работа в команде с применением JIRA, Git

Мои достижения:

- Автоматизировал сбор данных с источников в режиме ожидания данных. Автоматизировал корректную обработку в случае отказов.
- Масштабировал сбор данных по нескольким проектам и платформам устройств.
- Снизил количество ошибок в продакшене за счет тестирования и обработки сбоев.
- Оптимизировал расчеты под сложную логику событий и их параметров
- Организовал сложные расчеты больших отчётов с накоплением промежуточных данных
- Оптимизировал фильтры событий и пользователей для включение в аналитику

Команда: 5 dwh разработчиков, 5 backend разработчиков, 15 арт разработчиков, 12 QA инженера, 20 игровых дизайнеров, 15 разработчиков С++, 5 проджект менеджеров. Работа велась по JIRA.
Технологический стек: SQL / T-SQL, MS SQL, MySQL, Pl/SQL, Python, MS SQL Server 2005- 2017, , Big Data, HADOOP, CLICKHOUSE, GITLAB, Git, Linux, ООП, HTML, CSS.
_______________________________________________________________________________________

DWH разработчик
(Октябрь 2023 - Декабрь 2023) (ГлоуБайт /Коммунальное хозяйство)
Описание: ГлоуБайт представляет собой хранилище данных для управление логистикой сети объектов коммунального хохяйства.

Основные обязанности:
- Создание сложных хранимых процедур для приема, парсинга и маршрутизации входящих сообщений
- Настройка логики подтверждения сообщений и обработки исключений внутри процедур для предотвращения потерь данных
- Внедрение процедур автоматической проверки целостности, очистки от дубликатов и нормализации данных, поступающих из разрозненных источников

Мои достижения:
-- Сокращение времени обработки транзакций на 15 - 20% за счет рефакторинга и оптимизации планов выполнения сложных хранимых процедур.
- Разработка отказоустойчивой логики обработки очередей сообщений, что позволило исключить потерю данных при сбоях в передаче статусов заявок

Команда: 2 dwh разработчика, 1 bi разработчик, проджект менеджер Работа велась по Bitrix24
Технологический стек: SQL / T-SQL, MS SQL, SSIS, SSAS, MS SQL Server 2005- 2017, MS SQL Server Management Studio, Visual Studio 2008-2019.
_______________________________________________________________________________________

DWH разработчик
(Май 2024 - Январь 2025) (АБИ Продакт /Продовольствие)
Описание: АБИ Продакт представляет собой хранилище данных для управление логистикой.

Основные обязанности:
- Проектирование и поддержка интеграционных пакетов в SSIS для сбора данных из разнородных источников в единое хранилище.
- Написание и оптимизация сложных хранимых процедур, функций на T-SQL для обработки бизнес-логики логистических операций.
- Ведение разработки и версионирование кода БД

Мои достижения:

- В 1.5 раза ускорил работу ключевых хранимых процедур за счет глубокого рефакторинга T-SQL и настройки индексов, что позволило сократить время формирования оперативной отчетности.
- Внедрил систему изменения структуры данных внутри SSIS-пакетов

Команда: 2 dwh разработчика, 1 bi разработчик, бизнес-аналитик, проджект менеджер Работа ведется по Bitrix24
Технологический стек: SQL / T-SQL, MS SQL, SSIS, SSAS, DAX, MS SQL Server 2005- 2017, GITLAB, Git, , MS SQL Server Management Studio, Visual Studio 2008-2019.
_______________________________________________________________________________________

DWH разработчик
(Август 2024 - Октябрь 2025) (5 элемент (Патио)/Электртовары)
Описание: Патио - представляет собой хранилище данных для управление логистикой.

Основные обязанности:
- ежедневная обработка данных по 3 слоям хранилища.
- разработка и поддержка работы дагов Airflow.
- разработка и поддержка задач (Python по загрузке разных типов источников и слоев
- разработка и поддержка витрин данных MS SQL SERVER
- работа с экспортом - импортом данных в CSV
- работа в команде с применением Bitrix24, GitLab

Мои достижения:
- Полностью перевел ручные процессы загрузки данных на автоматическую оркестрацию через Airflow, что сократило время подготовки утренней отчетности на 2 часа.
- Спроектировал и внедрил структуру витрин данных в MS SQL Server, которая ускорила выполнение аналитических запросов на Y% за счет эффективной индексации и агрегации.
- Снизил количество ошибок в данных (Data Quality) на 40% за счет внедрения этапов валидации внутри DAG-ов Airflow и автоматического алертинга о сбоях

Команда: 3 dwh разработчика, 2 bi разработчика, 6 бизнес-аналитиков, 2 системных аналитика, проджект менеджер Работа ведется по Bitrix24
Технологический стек: PostgreSQL, GreenPlum, Python, Airflow, Big Data, GITLAB, Git, Linux, ООП.
_______________________________________________________________________________________


DWH разработчик
(Октябрь 2025 - н в) (Гиппо/Торговая сеть)
Описание: Патио - представляет собой хранилище данных для управление логистикой.

Основные обязанности:
- ежедневная обработка данных по 3 слоям хранилища.
- разработка и поддержка работы дагов Airflow.
- разработка и поддержка задач (Python по загрузке разных типов источников и слоев
- разработка и поддержка витрин данных MS SQL SERVER
- работа с экспортом - импортом данных в CSV
- работа в команде с применением Bitrix24, GitLab


Мои достижения
- Создание ООП библиотеки для обработки данных таблиц по слоям
- Загрузка конфигурации таблиц через метаданные
- Оптимизация витрин

Команда: 5 dwh разработчиков, 1 bi разработчик, бизнес-аналитик, проджект менеджер Работа велась по Bitrix24
Технологический стек: PostgreSQL, GreenPlum, Python, Airflow, Big Data, GITLAB, Git, Linux, ООП,

DWH разработчик
(Октябрь 2025 - н в) (Снежная королева/Зимняя одежда)
Описание: (Снежная королева) -- . представляет собой хранилище данных для управление логистикой.

Основные обязанности:
- ежедневная обработка данных по 3 слоям хранилища.
- разработка и поддержка работы дагов Airflow.
- разработка и поддержка задач (Python по загрузке разных типов источников и слоев
- разработка и поддержка витрин данных MS SQL SERVER
- работа с экспортом - импортом данных в CSV
- работа в команде с применением Bitrix24, GitLab

Мои достижения
- Создание ООП библиотеки для обработки данных таблиц по слоям
- Загрузка конфигурации таблиц через метаданные
- Оптимизация витрин

Команда: Команда: 4 dwh разработчика, 1 bi разработчик, проджект менеджер Работа велась по Bitrix24

Технологический стек: PostgreSQL, GreenPlum, Python, Airflow, Big Data, GITLAB, Git, Linux, ООП
_______________________________________________________________________________________

Образование
1988
(Белорусский государственный университет), Прикладная математика

Сертификаты
2024
Корус, О прохождении курсов PySpark
2025
Корус, О прохождении курсов Docker

Ключевые навыки

- Уверенные знания MS SQL, PostgreSQL, Python, Visual Studio, Airflow, Linux
- Умение создавать модели данных, сложные запросы, скрипты, процедуры и проводить оптимизацию производительности.
- Умение работы с инструментами извлечения, преобразования и загрузки данных (SSIS, Airflow)
- Умение разрабатывать проекты с нуля, определяя стек технологий в соответствии с требованиями заказчика, умение работать с различными системами управления баз данных.
- Опыт написания скриптов на Python для автоматизации обработки данных.
- Опыт работы в кросс-функциональных командах, прямого общения с заказчиком, навыки менторства и передачи знаний, быстрой адаптации к новым технологиям, кросс-командного код-ревью

Технологический стек:
SQL / T-SQL, MS SQL, PostgreSQL, GreenPlum, MySQL, Pl/SQL, SSIS, SSAS, DAX, Python, С++, VBA, MS SQL Server 2005- 2017, PySpark, Airflow, Big Data, HADOOP, CLICKHOUSE, Oracle, GITLAB, Git, Linux, ООП, PHP, HTML, CSS, Lavarel, MS SQL Server Management Studio, Visual Studio 2008-2019.


Английский язык - A2