Data Engineer

Zadania i obowiązki na tym stanowisku:

• zarządzanie i rozwój Data Lakehouse,
• operacyjne prace nad utrzymaniem rozwiązania i wdrożeniami kolejnych usprawnień/rozbudowy,
• współpraca z Data Ops i BI Developerami,
• integracja systemów i danych,
• budowanie przepływów danych oraz orkiestracja zadań,
• tworzenie strumieniowych potoków danych,
• projektowanie rozwiązań DWH (np. Star schema, Vault 2),
• budowanie procesów ETL lub ELT,
• tworzenie kodu aplikacji masowo przetwarzających dane,
• techniczne testowanie rozwiązań.

Wymagane technologie:

• DWH / Lakehouse (Snowflake, Redshift, Databricks SQL)
• Doświadczenie z AWS
• AWS infrastructure (IAM, EC2)
• AWS data engineering (S3, Glue, EMR, Athena)
• Scala, Java and/or Python
• dbt (ELT)
• Apache Airflow
• Apache Kafka
• Data Integration (Airbyte and Kafka Connect)
• Kafka Streams
• Kubernetes (on premise, EKS)
• Docker
• Docker Compose
• Helm 3
• Flux CD
• Git
• GitLab CI/CD
• Terraform

Co lubimy w naszej pracy:

• stabilność zatrudnienia,
• samodzielność i odpowiedzialność za powierzone zadania,
• możliwość pracy 100% zdalnej,
• elastyczne godziny pracy,
• współpracę i udział w unikalnych projektach,
• nieformalną atmosferę pracy wśród wspierających i lubiących się ludzi.

Co dalej:

• zapoznamy się z Twoją aplikacją,
• skontaktujemy się z wybranymi kandydatami.