Das Ausrollen und Betreiben von ML-Modellen in Produktion mit Kubeflow

Der Sprung eines ML-Modells von der Entwicklungsphase in den Produktionseinsatz ist oftmals ein sehr großer. Dafür sind komplexe Herausforderungen rund um die ganzheitliche ML-Applikation und die Infrastruktur zu bewältigen.

Das Ziel dieses Vortrags ist es, ein einfaches Ausrollen eines exemplarischen ML-Modells als Function as a Service mithilfe von KFServing zu demonstrieren.

Zudem wird der Aufbau verschiedener Themen des Monitorings wie Outlier Detection, Concept Drift Detection, Performance- und Request-Monitoring als Kernelemente für den produktiven Betrieb beleuchtet.

Vorkenntnisse

Die Besucher sollten grundlegende Kenntnisse in Technologien wie Kubernetes und Docker mitbringen. Zusätzlich werden Grundkenntnisse von Machine Learning vorausgesetzt.

Lernziele

Dieser Vortrag soll anhand eines ML-Anwendungsfalls demonstrieren, wie mithilfe von KFServing in jedem Kubernetes Cluster - egal ob in der Cloud oder On-Premises - ML-Modelle serverless als skalierbare Services ausgerollt und betrieben werden können.