Data Engineer (Junior/Mid)

Cel stanowiska

Rola odpowiada za projektowanie, budowę i utrzymanie warstwy danych wspierającej aplikacje wewnętrzne, raportowanie oraz procesy operacyjne i analityczne spółki. Celem jest dostarczanie stabilnych, skalowalnych i dobrze udokumentowanych pipeline’ów danych.

Stanowisko łączy data engineering, automatyzację i współpracę międzyfunkcyjną. Osoba na tej roli pracuje na styku baz danych, ETL/ELT, hurtowni danych, aplikacji biznesowych oraz zespołów Data Science, DevOps i developmentu.

Zakres obowiązków

· Projektowanie, budowa i utrzymanie pipeline’ów ETL/ELT zasilających hurtownię danych, aplikacje wewnętrzne oraz warstwy raportowe.

· Modelowanie danych i rozwój struktur staging, core oraz data marts zapewniających spójność, wydajność i łatwość konsumpcji danych.

· Integracja danych z różnych źródeł, w tym relacyjnych baz danych, API, plików oraz systemów wewnętrznych i zewnętrznych.

· Automatyzacja procesów przetwarzania danych, walidacji, reconciliacji oraz cyklicznych zasileń w środowisku produkcyjnym.

· Budowa i utrzymanie mechanizmów kontroli jakości danych, monitoringu, alertowania oraz diagnostyki błędów.

· Rozwój i utrzymanie hurtowni danych oraz warstw pośrednich wspierających analitykę, raportowanie i procesy biznesowe.

· Wsparcie aplikacji operacyjnych i analitycznych od strony danych: dostępność źródeł, przewidywalność zasileń i jakość integracji.

· Współpraca z Data Scientistami przy przygotowaniu i udostępnianiu danych do modeli, analiz i eksperymentów.

· Współpraca z DevOps i programistami przy wdrożeniach, CI/CD, bezpieczeństwie, wydajności i stabilności rozwiązań danych.

· Prowadzenie dokumentacji technicznej obejmującej modele danych, lineage, zależności oraz standardy pracy z danymi.

Wymagania

· Komercyjne doświadczenie na poziomie Mid w obszarze Data Engineering, ETL/ELT, integracji danych lub budowy hurtowni danych.

· Bardzo dobra znajomość SQL oraz praktyka w pracy z relacyjnymi bazami danych, transformacjami i optymalizacją zapytań.

· Bardzo dobra znajomość Python w kontekście przetwarzania danych, integracji i automatyzacji.

· Doświadczenie w budowie i utrzymaniu procesów ETL/ELT oraz orkiestracji workflowów, np. w Apache Airflow lub podobnym narzędziu.

· Praktyczna znajomość zagadnień związanych z jakością danych, walidacją, monitoringiem i obsługą błędów.

· Doświadczenie w pracy z hurtownią danych lub warstwami analitycznymi wykorzystywanymi przez raportowanie i aplikacje.

· Umiejętność współpracy z programistami, DevOps i użytkownikami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne.

· Ownership, samodzielność, dobra organizacja pracy oraz znajomość języka angielskiego na poziomie co najmniej B2.

Mile widziane

· Znajomość Azure, Kubernetes, Docker, GitHub Actions, ArgoCD, Helm lub podobnych elementów nowoczesnego stacku deploymentowego.

· Doświadczenie z narzędziami typu dbt, Kafka, CDC lub rozwiązaniami wspierającymi nowoczesne platformy danych.

· Praktyka we wspieraniu aplikacji biznesowych od strony danych oraz w budowie integracji między systemami.

· Doświadczenie we współpracy z Data Science lub w środowisku tradingowym, energetycznym, finansowym albo innym o wysokiej dynamice operacyjnej.

Co oferujemy

· Realny wpływ na architekturę danych, rozwój hurtowni danych oraz standardy integracji i automatyzacji w spółce.

· Pracę na styku danych, aplikacji i biznesu, z dużą ekspozycją na rzeczywiste procesy operacyjne i analityczne organizacji.

· Bliską współpracę z zespołami Data Science, DevOps, developerami oraz użytkownikami biznesowymi przy projektach o wysokiej użyteczności.

· Szeroki zakres ownershipu: od projektu rozwiązania, przez development i wdrożenie, po utrzymanie i dalszą optymalizację.

· Środowisko, które oczekuje samodzielności, jakości technicznej, odpowiedzialności i inicjatywy w budowie nowoczesnej funkcji danych.