Twoja rola i projekt:PROJEKT ZEWNĘTRZNYKlient jest globalną firmą ubezpieczeniową oferującą m.in.

ubezpieczenia majątkowe i osobowe.

Posiada oddziały na całym świecie i ponad 50-letnie doświadczenie w underwritingu oraz zarządzaniu kapitałem i ryzykiem.Poszukujemy Data Engineer'a z doświadczeniem w środowisku cloudowym z naciskiem na Azure i DataBricks.Wiodące technologie i narzędzia: ETL data pipelines w DataBricks, Spark (SQL, PySpark), Azure Services; Azure Data Lake, Azure Blob Storage, Azure Synapse, Databricks Unity Catalog.Twoje zadania:Projektowanie i wdrażanie end-to-end data pipelines w Azure DataBricks, pozyskiwanie danych z różnych źródeł, publikacje danych w Data Azure Lake.Tworzenie kodu w Spark SQL i PySpark do transformacji danych.Automatyzacja pipeline orchestration z użyciem Databricks Workflows i integracja z zewnętrznymi narzędziami (np. Apache Airflow, Azure Data Factory).Wykorzystanie funkcji Databricks, takich jak Delta Lake, do zarządzania i śledzenia zmian w danych.

Tworzenie skalowalnych procesów pozyskiwania danych w celu obsługi danych z różnych źródeł (API, bazy danych, systemy plików).Wdrażanie i utrzymywanie zasad zarządzania danymi przy użyciu Unity Catalog, zapewniając odpowiednią organizację, kontrolę dostępu i zarządzanie metadanymi w zasobach danych.Aplikuj, jeśli:Posiadasz min. 5 letnie doświadczenie jako Data Engineer lub w podobnej roli.Swobodnie komunikujesz się w języku angielskim (preferowany poziom C1).Masz doświadczenie z data pipelines, projektowaniu i wdrażaniu skalowalnych potoków danych ETL/ELT.

Masz doświadczenie z Azure Databricks, Spark (SQL, PySpark) i doświadczenie w budowaniu przepływów pracy i automatyzacji przy użyciu Databricks Workflows.Posiadasz praktyczne doświadczenie z usługami Azure jak Azure Data Lake, Azure Blob Storage i Azure Synapse.Znajomość zarządzania ładem i bezpieczeństwem danych przy użyciu Databricks Unity Catalog.Czeka na Ciebie:Praca zdalna, okazjonalne przyjazdy do biura w Warszawie.Budżet rozwojowy 2000,- pln netto / rok.Dofinansowanie certyfikatów.Doświadczony zespół z dużym know-how.Dofinansowanie do Opieki medycznej, Karty sportowej, Ubezpieczenia na życie.Wewnętrzne szkolenia techniczne (i nie tylko).Płaska struktura, wpływ na działania firmy.Innowacyjne programy wyjazdów integracyjnych.Kontaktujemy się z każdym Kandydatem i zawsze dajemy feedback!

Poznaj nas i dołącz do #DecertoTeam