ML Engineer( Комплит Софт )
Город:
Минск
Занятость:
Полная занятость
Компания "Комплит Софт"
Компания CompleteSoft в поисках ML Engineer.
Мы ищем коллегу с 4+ лет опыта разработки.
Чем предстоит заниматься:
- Проектирование, создание и поддержка масштабируемых конвейеров ETL/ELT для пакетной обработки данных и обработки данных в режиме реального времени.
- Сбор и интеграция данных из различных структурированных (API, базы данных) и неструктурированных источников, PDF-файлов, отсканированных документов, электронных писем, счетов-фактур, аудио- и видеоматериалов, журналов.
- Внедрение процессов EDA, очистки, преобразования и обогащения данных для эффективного внедрения решений ИИ/МО, RAG, агентов ИИ, автоматизации рабочих процессов и панелей мониторинга.
- Работа с различными решениями для хранения данных (RDBMS, NoSQL), создание запросов и извлечение данных.
- Оптимизация производительности обработки данных за счет улучшения выполнения запросов, индексации и форматов хранения.
- Работа с Gen AI Vector DB, LLM, RAG) для проектирования данных и внедрения решений ИИ/МО.
- Выявление и устранение сбоев конвейера, несоответствия данных и узких мест системы.
- Обеспечение применения политик шифрования и управления для защиты конфиденциальных данных.
Что ждем от Вас:
- Опыт от 4 лет практического опыта работы.
- Свободное владение Python, скриптами Unix Shell и SQL (PostgreSQL, MySQL) или Java для обработки данных.
- Практический опыт в области методов науки о данных и инженерии данных, а также облачных платформ, включая опыт управления большими неструктурированными и структурированными данными.
- Наличие сертификата по облачным технологиям будет преимуществом.
- Практический опыт построения и оптимизации конвейеров ETL/ELT с использованием таких инструментов, как Apache Airflow или аналогичных.
- Опыт работы с инструментами извлечения документов AWS (Glue, Redshift, S3), такими как AWS Textract или Azure.
- Большой опыт работы с фреймворками больших данных и распределенных вычислений, такими как Apache Spark, Hadoop или аналогичными технологиями.
- Опыт проектирования и управления хранилищами данных с использованием таких платформ, как Redshift или BigQuery.
- Оптимизированные запросы к базе данных и хранимые процедуры для повышения производительности пакетных заданий AWS.
- Знание инструментов обработки данных в реальном времени, таких как Apache Kafka, Flink или Kinesis.
26 Декабря
DevSecOps Engineer( АЛЬФА-БАНК )
Минск
Компания "АЛЬФА-БАНК" Альфа Банк – один из ведущих частных банков, который входит в число системно значимых банков Беларуси. Мы работаем как...
26 Декабря
FullStack Engineer (React+ Node.js)
Минск
Компания "Andersen" Andersen is hiring a FullStack Engineer (React+ Node.js) to help enhance and scale a global personalized photo product...
27 Декабря
BackEnd Engineer (Java/Kotlin)
Минск
Компания "Софтнетикс" At Softnetix , we develop solutions in sports analytics, gambling, and esports. We have several projects underway. We are...
27 Декабря
Минск
Компания "Innowise Group / Фабрика инноваций и решений" Innowise – одна из наиболее опытных белорусских компаний в области полного цикла...
27 Декабря
Минск
Компания "СиЭйИ Текнолоджи / CAE Technology" QA Fullstack Engineer ,удет ответственным за качество разрабатываемых командой продуктов с...
Вакансия размещена в отрасли