Freiberuflicher Data Engineer

Wir unterstützen ein langfristiges Data Engineering Programm, das sich auf die Weiterentwicklung einer modernen Data Lakehouse-Plattform konzentriert, die auf Data Mesh-Prinzipien basiert. Ziel des Projekts ist es, Geschäftsbereiche durch Self-Service-Datenfunktionen zu stärken und so die Zusammenarbeit, Zugänglichkeit und datengesteuerte Entscheidungsfindung im gesamten Unternehmen zu verbessern.

Dies ist eine hervorragende Gelegenheit für einen erfahrenen freiberuflichen Data Engineer, einem hochqualifizierten Team beizutreten, das an modernsten Cloud-Datenlösungen und groß angelegten Datenverarbeitungsumgebungen arbeitet.

Hauptaufgaben

• Entwicklung, Design und Optimierung skalierbarer Datenpipelines und Datenprodukte
• Umfassende Arbeit mit Spark und PySpark für Batch- und Streaming-Workloads
• Entwicklung von Lösungen in Azure Databricks-Umgebungen
• Unterstützung der kontinuierlichen Weiterentwicklung einer Data Lakehouse-Plattform
• Direkte Zusammenarbeit mit Business Stakeholdern und Data Domain Teams
• Bereitstellung von Anleitung und Unterstützung für Geschäftsanwender bei der Einführung der Plattform
• Förderung von Best Practices im Engineering, Codequalität und Wartbarkeit
• Selbstständiges Arbeiten und gleichzeitige Mitarbeit in einem kollaborativen Engineering-Team

Erforderliche Qualifikationen

• Fundierter Hintergrund im Data Engineering
• Umfassende Erfahrung in der Python-Entwicklung
• Praktische Spark-Erfahrung, einschließlich:
  • Batch-Verarbeitung
  • Streaming
  • Partitionierung
  • Performance-Optimierung
• Erfahrung mit Azure Databricks, einschließlich:
  • Unity Catalog
  • Databricks Jobs
  • Databricks Asset Bundles (DABs)
• Erfahrung mit Git und modernen Software-Engineering-Praktiken
• Erfahrung in der direkten Zusammenarbeit mit Stakeholdern und Geschäftsanwendern
• Fließende Deutsch- und Englischkenntnisse

Wünschenswerte Qualifikationen

• Erfahrung im AI Engineering
• Kenntnisse in DevOps und CI/CD
• Erfahrung mit Azure Cloud Services, einschließlich:
  • Storage Accounts
  • Key Vaults
• Erfahrung mit Data Mesh- und Data Lakehouse-Umgebungen
• Bereitstellung von Cloud-nativen Datenplattformen

Ideales Profil

Wir suchen insbesondere Ingenieure, die eine ausgeprägte praktische technische Kompetenz mit exzellenten Kommunikationsfähigkeiten im Umgang mit Stakeholdern verbinden. Der erfolgreiche Berater sollte in der Lage sein, selbstständig zu arbeiten, zu Architektur- und Engineering-Entscheidungen beizutragen und Geschäftsteams dabei zu unterstützen, den maximalen Wert aus modernen Datenplattformen zu ziehen.