Сеть гипермаркетов "Самбери" - самая известная, инновационная и мультиформатная сеть Дальнего Востока.

Если Вы готовы достигать амбициозных целей вместе с нами, обладаете чувством ответственности, умеете и хотите работать в команде настоящих профессионалов, любите свою профессию - направляйте отклик на вакансию.

Работа в сети гипермаркетов САМБЕРИ - для Вас! Нам нужны именно вы! ​

График работы с 09:00 до 18:00 по Хабаровскому времени, без сдвижек.

Чем предстоит заниматься:

• Проектирование архитектуры Lakehouse: Разработка архитектуры корпоративного хранилища данных на основе парадигмы Data Lakehouse с учетом всех слоев (Bronze, Silver, Gold), включая моделирование и организацию данных по принципам Data Vault 2.0.
  ETL/ELT и интеграция данных;
• Разработка и сопровождение ETL/ELT-процессов для интеграции данных из различных источников (базы данных MSSQL, системы 1С, потоки данных Apache Kafka) на Bronze-слой озера данных;
• Очистка, трансформация и консолидация данных на уровнях Silver и Gold с использованием платформ обработки данных Apache Spark и Apache Flink;
• Создание витрин данных: Проектирование и создание витрин данных (слой Gold) для бизнес-аналитики и отчетности. Оптимизация хранения и выполнения запросов в витринах (например, с использованием аналитической СУБД StarRocks) для обеспечения высокой производительности доступа к данным;
• Оркестрация пайплайнов: Настройка, оркестрация и мониторинг конвейеров обработки данных (data pipelines) с помощью инструментов управления рабочими процессами, таких как Apache NiFi и Kestra, для обеспечения надежной и автоматизированной обработки данных;
• Каталог данных и метаданные: Ведение и развитие корпоративного каталога данных (на базе OpenMetadata или аналогичного решения) – документирование источников, схем данных и трансформаций, обеспечение доступности и актуальности метаданных для команды и бизнес-пользователей;
• Качество данных и мониторинг: Обеспечение качества данных и высокой доступности хранилища: внедрение автоматизированных проверок качества, мониторинг ETL/ELT-процессов на всех этапах (Bronze/Silver/Gold) и оперативное реагирование на инциденты или отклонения;
• CI/CD и DevOps: Внедрение практик CI/CD для инфраструктуры хранилища данных – автоматизация развертывания, тестирования и обновления компонентов (пайплайнов, хранилища, инструментов) с использованием современных инструментов непрерывной интеграции и доставки;

Документирование: Подготовка и актуализация технической документации – описание архитектуры Lakehouse, схем баз данных, процессов ETL/ELT, правил обеспечения качества данных и руководств по эксплуатации системы.

Будет плюсом:

• Опыт работы с Data Vault 2.0 и понимание принципов моделирования данных в рамках этой методологии.
• Практический опыт с системами оркестрации и управления потоками данных, такими как Apache NiFi, Kestra или аналогичными (например, Apache Airflow, Luigi).
• Опыт использования инструментов для управления метаданными (например, OpenMetadata, Apache Atlas или Collibra) с целью ведения каталога данных и отслеживания происхождения данных (data lineage).
• Знание платформы StarRocks или аналогичных аналитических СУБД (например, ClickHouse, Apache Druid) и навыки оптимизации SQL-запросов.
• Понимание структуры и принципов работы систем 1С:Предприятие и опыт интеграции данных из 1С в хранилище да