LLMs lokal auf dem Arbeitsplatzrechner nutzen: Möglichkeiten und Anforderungen
Der Vortrag beleuchtet, wie LLMs auf verschiedenen Prozessorplattformen wie NVIDIA GPUs, Intel-Chips, Qualcomm-Prozessoren und Apple Silicon effizient eingesetzt werden können.Es werden populäre Tools wie Copilot+, Open WebUI, ComfyUI und Ollama vorgestellt, ergänzt durch eine Diskussion der Speicher- und Compute-Anforderungen offener Modelle wie Llama, Gemma, Granite. Außerdem geht es um Frameworks wie transformers, llama.cpp, die Quantisierung von Modellen sowie die Auswirkungen auf Leistung und Präzision.
Der Vortrag bietet praxisnahe Einblicke in die lokale Nutzung von KI-Frameworks und deren Potenzial für Entwickler und Anwender.
Lernziele
- Überblick über die Möglichkeiten der lokalen Nutzung offener Sprachmodelle
- Überblick über Tools und Frameworks
- Quantisierungstechniken und ihre Auswirkungen
- Mögliche Feintuningstrategien wie LoRA und QLoRA
Speaker
Ramon Wartala beschäftigt sich seit vielen Jahren mit den Themen Daten und AI. In den letzten Jahren hat er mit seinen Kunden viele Projekte im Bereich Generative AI diskutiert und umgesetzt. Aktuell kümmert er sich um Daten und AI Themen für die Automobilindustrie innerhalb der IBM Consulting.
M3-Newsletter
Du möchtest über die Minds Mastering Machines
auf dem Laufenden gehalten werden?