Intermediate Data Engineer (m/w/d)

Arbeiten bei der BCM Solutions bedeutet beim besten Arbeitgeber mitzugestalten. Mit unseren Kolleginnen und Kollegen gestalten wir seit 2010 aktiv die BCM Solutions GmbH. Jährlich werden wir für unsere phänomenale Arbeit durch unsere BCM Community als bester Arbeitgeber ausgezeichnet. Als Marktführer für PREEvision überzeugen wir mit der Erfahrung unserer Mitarbeiter und Mitarbeiterinnen, die sie durch täglichen Einsatz bei unseren exklusiven Kunden unter Beweis stellen. Die BCM Solutions GmbH steht außerdem für hochwertige Softwarelösungen und Dienstleistungen im Bereich der Softwareentwicklung. Wir verbinden persönliche und fachliche Weiterentwicklung mit Spaß bei der Arbeit und bringen dadurch Kundenprojekte stets zum Erfolg!

**Was Dich erwartet:**

🚀 **Pipeline-Entwicklung:** Du entwickelst und wartest automatisierte Data-Ingestion-Pipelines und stellst die zuverlässige Verarbeitung von Batch- und Streaming-Daten sicher.

🏗️ **Mitarbeit an der Plattform:** Du unterstützt beim Ausbau moderner, hybrider Datenplattformen (z. B. auf Basis von Spark/Databricks oder vergleichbaren Technologien) und implementierst Features für moderne Datenarchitekturen (Lakehouse & DWH).

🛠️ **Data Quality:** Du setzt Schema-Validierungen und Datenqualitätsprüfungen während des Ingestion-Prozesses um und unterstützt bei der Metadatenextraktion.

🛡️ **Governance-Support:** Du arbeitest an der Umsetzung von Zugriffskontrollen und Datenversionierungen mit, um die Reproduzierbarkeit von Datensätzen zu gewährleisten.

📈 **Performance-Support:** Du unterstützt bei der Optimierung von Datenverarbeitungsprozessen und hilfst dabei, unnötige Datenbewegungen im System zu minimieren.

🌱 **Wachstum:** In Zusammenarbeit mit unseren Seniors vertiefst Du Dein Wissen in verteilten Systemen, MLOps-Tooling und modernen Lakehouse-Designs.

**Was Du mitbringst:**

**Solide Kenntnisse**

• **Data Engineering:** Erste praktische Erfahrung mit Distributed Computing (z. B. Spark/Databricks oder vergleichbare Technologien) und dem Aufbau von Daten-Pipelines.
• **Programmierung:** Gute Kenntnisse in **Python** sowie ein sicherer Umgang mit relationalen Datenbanken (SQL).
• **Cloud-Basis:** Grundverständnis von Cloud-Technologien (Azure oder AWS) und ersten Kontakt zu **Docker**.
• **Versionierung:** Sicherer Umgang mit **Git** und Verständnis für Data Lineage Konzepte.

**Sehr gute Kenntnisse**

• **CI/CD-Grundlagen:** Grundverständnis von automatisierten Workflows und Deployments.
• **Datenmodellierung:** Wissen über Partitionierung und grundlegende Architekturprinzipien von Data Lakes.
• **Datenmodellierung:** Grundverständnis für dimensionale Datenmodellierung (Star/Snowflake Schema) und Architekturprinzipien von Data Lakes.
• **Qualitätsanspruch:** Erfahrung mit Testing-Verfahren für Datenprozesse und Clean Code Standards.

**Persönlich**

• **Lernbereitschaft:** Du hast eine hohe Motivation, Dich in die rasant entwickelnde Data- und AI-Landschaft einzuarbeiten.
• **Team-Spirit:** Du arbeitest gerne kooperativ mit Engineering- und Analytics-Teams zusammen.
• **Strukturierte Arbeitsweise:** Du gehst Aufgaben methodisch an und hast ein Auge für Datenintegrität.
• Sehr gute Deutsch- und Englischkenntnisse sowie ein abgeschlossenes Studium im Bereich Informatik, Data Engineering oder vergleichbar.