Data Engineer (IT Solutions)

26 серпня 2024

Data Engineer (IT Solutions)

Київ, Харків, Львів, Дніпро, Одеса, Вінниця, Івано-Франківськ, Луцьк, Моршин, Полтава, Суми, Тернопіль, Черкаси, Чернівці, Будапешт (Угорщина), Бургас (Болгарія), Варшава (Польща), Краків (Польща), віддалено

We are looking for a Data Engineer to join a small team and modernize a simple data platform into a centralized self-service analytics project.

CUSTOMER

Sigma Software provides top-quality software development, graphic design, testing, and support services. Systems developed to deliver customer benefits in automotive, telecommunications, aviation, advertising, gaming, banking, real estate, and healthcare industries.

PROJECT

Within an internal project at Sigma Software, we have two primary goals: to automate reporting and to create a self-service data analytics system for our company.

You will be responsible for designing and modeling data into DWH and Data Marts using Spark and MS SQL, exposing this data to and collaborating with BI engineers making reports in Apache Superset, and other roles consuming such data. Additionally, you’ll work with various other team members who rely on this data.

RESPONSIBILITIES

Our goal is to create an efficient system for collecting, processing, analyzing, and visualizing large amounts of data from various sources.

• Lay down the foundation and model the data
• Develop a platform for building and maintaining data pipelines that collect data from different sources
• Create Data Warehouse
• Analyze and prepare domain descriptions in collaboration with Business analytics
• Create Data Marts
• Design a permission model with flexible control over vertical and horizontal access to data

REQUIREMENTS

• Experience with Python
• Conceptual knowledge of data analytics fundamentals, e.g., dimensional modeling, ETL/ELT, reporting tools, data governance, data warehousing, structured and unstructured data
• Strong SQL knowledge and experience with RDBMS, confident knowledge of database fundamentals
• Working knowledge of serialization formats and their trade-offs (columnar vs. row-based)
• Experience debugging and optimizing Spark jobs
• Experience with dbt & dagster is a plus
• Experience with Azure DevOps or similar services & tools
• Strong written and verbal communication skills
• At least an Upper-Intermediate level of English

Experience with a Business Intelligence tool would be a plus.

Ми шукаємо інженера з обробки даних, який доєднається до невеликої команди, що перетворить просту платформу даних на сучасний аналітичний проєкт із самообслуговуванням.

КЛІЄНТ

Sigma Software надає високоякісні послуги з розробки програмного забезпечення, графічного дизайну, тестування та підтримки. Системи, розроблені для забезпечення потреб клієнтів в автомобільній, телекомунікаційній, авіаційній, рекламній, ігровій, банківській сферах, нерухомості та охороні здоров’я.

ПРОЄКТ

У рамках внутрішнього проєкту в Sigma Software ми маємо дві основні цілі: автоматизувати звітність і створити систему самообслуговування для аналізу даних для нашої компанії.

Ти відповідатимеш за розробку та моделювання даних у DWH і Data Marts за допомогою Spark і MS SQL, надання цих даних BI-інженерам та співпрацю з ними, створення звітів у Apache Superset та інші задачі, що стосуються використання цих даних. Крім того, ти працюватимеш з іншими членами команди, які використовують ці дані.

ОБОВʼЯЗКИ

Наша мета — створити ефективну систему для збору, обробки, аналізу та візуалізації великих обсягів даних із різних джерел.

• Створити основу та моделювати дані
• Розробляти платформу для побудови та підтримки конвеєрів даних, які збирають дані з різних джерел
• Створити сховище даних
• Аналізувати та готувати описи доменів у співпраці з бізнес-аналітиками
• Створювати вітрини даних
• Розробити модель дозволів із гнучким керуванням вертикальним і горизонтальним доступом до даних

ВИМОГИ

• Досвід роботи з Python
• Концептуальне знання основ аналітики даних, наприклад, розмірного моделювання, ETL/ELT, інструментів звітності, управління даними, сховищ даних, структурованих і неструктурованих даних
• Глибокі знання SQL і досвід роботи з RDBMS, впевнене знання основ баз даних
• Практичні знання про формати серіалізації та їхні компроміси (стовпчикові vs. рядкові)
• Досвід налагодження та оптимізації завдань Spark
• Досвід з dbt & dagster буде плюсом
• Досвід з Azure DevOps або зі схожими сервісами та інструментами
• Сильні навички письмової та усної комунікації
• Рівень володіння англійською мовою не нижче Upper-Intermediate

Досвід роботи з інструментом бізнес-аналітики — буде плюсом.