Programista BigData (Regular)

Branża: bankowość

Stawka: 120 zł/h na b2b

Lokalizacja: głównie praca zdalna, 2 razy w miesiącu spotkanie w biurze w Warszawie

Podsumowanie

Głównym celem roli Programisty BigData jest projektowanie i wdrażanie rozwiązań przetwarzania dużych zbiorów danych przy użyciu technologii Big Data, co wspiera organizację w analizie i zarządzaniu danymi.

Obowiązki

• Rozwój i utrzymanie aplikacji opartych na technologii Spark w językach Python lub Scala.

• Implementacja koncepcji Big Data oraz zarządzanie danymi w hurtowniach danych.

• Praca na platformach Hadoop Cloudera lub Hortonworks.

• Stosowanie dobrych praktyk inżynieryjnych przy przetwarzaniu dużych zbiorów danych.

• Analiza i integracja danych z różnych źródeł.

• Opracowywanie danych w różnych formatach, takich jak JSON, PARQUET, ORC, AVRO.

• Wykonywanie zapytań SQL na poziomie zaawansowanym.

Wymagania Kluczowe

• Min. 2 lata doświadczenia w programowaniu w Spark w Pythonie lub Scali.

• Znajomość koncepcji Big Data oraz hurtowni danych.

• Doświadczenie z platformą Hadoop Cloudera/Hortonworks.

• Znajomość dobrych praktyk inżynieryjnych w przetwarzaniu danych.

• Doświadczenie z formatami danych: JSON, PARQUET, ORC, AVRO.

• Zrozumienie typów baz danych, takich jak Hive, Kudu, HBase, Iceberg.

• Zaawansowana znajomość SQL.

• Doświadczenie w integracji danych z wielu źródeł.

• Znajomość narzędzi budowlanych, takich jak Maven.

Nice to Have

• Znajomość narzędzi Agile, takich jak Jira, Confluence, Kanban, Scrum.

• Znajomość platformy Kubeflow.

• Doświadczenie z technologiami strumieniowymi: Kafka, Apache NiFi.

• Wiedza na temat automatyzacji CI/CD.