Big Data Engineer / Machine Learning Engineering
Recruiter
Listed on
Location
Salary/Rate
Type
This job has now expired please search on the home page to find live IT Jobs.
Hallo zusammen, für meinen Kunden aus Hamburg suche ich Unterstützung in folgendem Bereich:Big Data Engineer / Machine Learning EngineeringStart: 01.01.2021
Einsatzort: Hamburg
Laufzeit: ca. 3-4 Monate mit der Option auf Verlängerung
Auslastung: Vollzeit, 5 Tage die WocheSkills:StorageGoogle Cloud Storage (GCS) als Objektspeicher für RohdatenGoogle BigQuery als zentrale DB Engine für Analysen mit meist strukturierten DatenProcessingGoogle DataProc als Data Processing EngineGoogle BigQuery SQL für Transformationen im BigQuery UmfeldCI/CD-PipelineGitLab als Code Repository für Python und Scala Code für Data Pipelines, Data Science Modelle sowie für Infrastructure-as-CodeNexus als Repository für Binaries (z.B. PEX Files)SchedulingAirflowGoogle Cloud ComposerVerschlüsselungGoogle Cloud KMS (mit HSM)Die Erweiterung um nützliche Cloud Native Services (z.B. AI Platform, Data Catalog, … ) ist ein kontinuierlicher Prozess im Rahmen der Weiterentwicklung der Plattform.Aufgaben:Integration neuer Datenquellen in die PlattformEntwicklung von hoch performanten und effizienten Data-Pipelines mit Python / Scala sowie SparkModellierung von Daten in den verschiedenen Schichten der BDAP unter Berücksichtigung von Verschlüsselungs- sowie LöschkonzeptenKontinuierliche Weiterentwicklung des Beladungs- und Monitoring-FrameworksKonzeption und Entwicklung der Plattform-Komponenten zur Unterstützung und Automatisierung der Tätigkeiten von Data Scientisten (z.B. Versionierung von Modellen und Trainingsdaten, kontinuierliche Überwachung der Modellgüte, Nachtrainieren)Eigenständige Konzeption und Entwicklung komplexer Daten-Pipelines und hochverfügbarer Streaming-Lösungen im Cloud-Umfeld basierend auf den Anforderungen der Data ScientistenEntwicklung und Inbetriebnahme von Machine-Learning-Modellen zusammen mit Data Scientisten unter Berücksichtigung des DevOps-AnsatzesTrouble-Shooting im Falle von Fehlern in den ML-Prozessen bis zur Access AreaWenn Sie verfügbar und interessiert an diesem spannenden Projekt sind, senden Sie mir gerne Ihren aktuellen CV und Ihren all-in Stundensatz.Ich freue mich auf Ihre Rückmeldung.Viele GrüßeSarah Kay
+49 (0)40 3600 610 64
s.kay(a)computerfutures.de