Data Engineer (Cloud)

Tech Stack

ETL
PYSPARK
SQL
DATABRICKS
AWS
KUBERNETES
TERRAFORM

Job Description

H2B Group to dynamicznie rozwijająca się firma consultingowa IT & IoT z siedzibą w Gdańsku, działająca od 2016 roku.

Jesteśmy częścią grupy kapitałowej Euvic - największej federacji spółek informatycznych w Europie Środkowej.

Zajmujemy się głównie wsparciem technologicznym oraz konsultingiem dla klientów z całego świata.

Specjalizujemy się w takich branżach jak MedTech, GreenTech, Fintech, e-commerce i energetyczna.Dzięki wieloletnim doświadczeniom z klientami wiemy, że bardzo często wynikiem audytów, czy innych form współpracy z klientami, jest zapotrzebowanie na konkretne kompetencje.

W związku z tym, od początku naszego istnienia oferujemy IT staff augmentation, umożliwiając firmom elastyczne powiększanie zespołów projektowych, a kandydatom różnorodność technologiczną.

Naszą misją jest dostarczanie kompetencji oraz innowacyjnych rozwiązań opartych na sztucznej inteligencji, które realnie usprawniają procesy biznesowe.

Dzięki ścisłej współpracy z naszymi klientami, dostarczamy szybkie i mierzalne efekty, które wspierają ich rozwój.Aktualnie poszukujemy doświadczonego Data Engineera do współpracy z naszym klientem z Wielkiej Brytanii w projekcie związanym z dużymi zbiorami danych pochodzącymi z różnych źródeł (Kafka, RDBS - Postgres CDC, filesystem CSV).

Projekt opiera się na architekturze Medalion, w której kluczowa jest implementacja i transformacja danych za pomocą PySpark i SQL.

Wykorzystywane technologie to m.in.

DataBricks (Unity Catalog, Workflows, Jobs), AWS (S3, Docker), Kubernetes oraz Terraform w zakresie Infrastructure as Code.

Wymagana jest praca w trybie 24/7 on-call support z dodatkowym wynagrodzeniem za pełnione dyżury (dyżury co 3 tygodnie).Zakres obowiązkówProjektowanie, implementacja oraz optymalizacja procesów ETL z wykorzystaniem PySpark, SQL oraz DataBricks.Obsługa i konfiguracja infrastruktury danych na AWS (S3, Docker), a także klastrów Kubernetes.Monitorowanie i rozwiązywanie incydentów oraz wsparcie w trybie on-call support.Implementacja infrastruktury za pomocą Terraform i CircleCI (CI/CD).Weryfikacja i testowanie poprawności przetwarzanych danych poprzez notebooki DataBricks (Unity Catalog, DataFrames API).WymaganiaMinimum 5 lat doświadczenia jako Data Engineer, preferowane projekty związane z dużymi zbiorami danych i transformacją.Biegłość w pracy z DataBricks (warunek konieczny) oraz znajomość Python, PySpark i SQL.Doświadczenie w zarządzaniu i obsłudze infrastruktury na AWS (S3, Docker) oraz podstawowa znajomość Azure.Doświadczenie z Infrastructure as Code (Terraform) i wdrażaniem procesów za pomocą CI/CD (CircleCI).Gotowość do pełnienia dyżurów on-call (reagowanie do 30 minut) w systemie rotacyjnym.Co oferujemy?

Pracę zdalną – elastyczność, która pozwala pracować z każdego zakątka świata!

Ciekawe projekty – dobierane zgodnie z Twoimi umiejętnościami i zainteresowaniami, dające możliwość pracy nad innowacyjnymi rozwiązaniami.Umowa B2B (do 180zł/h) bez zapisu o wyłączności – współpracuj z nami na swoich zasadach.Rozwój zawodowy – praca z najnowszymi technologiami i w zróżnicowanych projektach, które gwarantują stały rozwój.