Lokale LLMs in der Praxis

Es braucht ein Rechenzentrum, um ein Frontier-Modell-LLM zu verwenden.

Ein lokal betriebenes LLM bietet dagegen Datensouveränität, Kostenkontrolle und Unabhängigkeit von Cloud-Anbietern. Aber lohnt sich das?

In diesem Vortrag zeige ich anhand konkreter Praxisbeispiele, wie lokale LLMs produktiv eingesetzt werden können. Ich gebe einen Überblick über die aktuelle Modell-Landschaft, Hardware-Anforderungen und das Tool-Ökosystem. Anschließend demonstriere ich live verschiedene Use Cases, betrieben auf mitgebrachter Hardware.

Am Ende wisst Ihr, wann sich lokale LLMs lohnen, welche Hardware Ihr benötigt und wie Ihr einen ersten Schritt aus der Cloud-Abhängigkeit wagen könnt.

Vorkenntnisse

• Grundlegendes Verständnis von Large Language Models (LLMs) und deren Anwendung
  
• Bekanntschaft mit ML-Konzepten (z.B. Inferenz, Training)
  
• Grundlegende Kenntnisse von Container-Technologien wie Docker
  
• Interesse an praktischen KI-Deployments jenseits von Cloud-APIs

Lernziele

• Verstehen der Vor- und Nachteile lokaler LLMs gegenüber Cloud-Lösungen
  
• Kenntnisse über aktuelle Modelle, Quantisierungstechniken und Hardware-Anforderungen
  
• Erwerb von Wissen über das Tool-Ökosystem für lokale LLM-Deployments
  
• Fähigkeit, fundierte Entscheidungen zwischen lokalen und Cloud-basierten LLMs zu treffen
  
• Praktische Einblicke in reale Deployment-Szenarien und deren Herausforderungen