Praxiserfahrung mit produktivem Self-Hosting von KI-Clustern
Volle Kontrolle über die eigene KI: Das geht nur mit Self-Hosting der Modelle. Der Betrieb leistungsfähiger KI-Anwendungen auf eigener Hardware bringt aber einzigartige Herausforderungen mit sich – insbesondere der Wunsch nach Kosteneffizienz erfordert unterschiedliche Optimierungen.In diesem Vortrag teilen wir mehrjährige Erfahrung aus dem Betrieb eines produktiven KI-Clusters bei TNG: Wie wir Open-Source-Technologien als Basis genutzt, Inference-Engines getuned und durch eigenes Request-Handling Lastspitzen bewältigt haben.
Speaker
Jonas Mayer ist Senior Consultant bei TNG Technology Consulting. Als Kopf des Innovation-Hacking-Teams liegt sein Fokus auf der Entwicklung von Prototypen und Showcases, die innovative Technologien in Soft- und Hardware erlebbar machen. Seit 2018 arbeitet er an verschiedensten Projekten, u.a. Echtzeit-Deepfakes, einer LLM-Shitposting-KI oder autonom fliegenden Minidrohnen. Jonas studierte zuvor Informatik: Games Engineering an der TU München.
Benjamin Merkel ist Senior Consultant bei TNG Technology Consulting und zuständig für den reibungslosen Betrieb von AI Services auf TNGs eigenem GPU-Cluster. Schwerpunktmäßig beschäftigt er sich mit der Entwicklung moderner Sprachmodelle und der Optimierung ihrer Performance.
Lukas Rammelmüller ist Senior Consultant bei TNG Technology Consulting. Der promovierte Physiker ist Experte für Kubernetes-Cluster-Administration sowohl in der Cloud als auch auf Bare Metal. Bei TNG ist er mitverantwortlich für den Betrieb des internen GPU-Clusters sowie Ansprechpartner für diverse KI-Dienste.