Wie viel GPU braucht der Chatbot?

Wir zeigen, was es wirklich braucht, um LLMs in der eigenen Infrastruktur zu betreiben: von Hardware und Software-Stack bis zu den Teamfähigkeiten, die für einen stabilen Betrieb nötig sind. Dabei geht es nicht nur um GPU-Speicher, Quantisierung und optimierte Laufzeiten, sondern auch um die Frage, welche Anforderungen unterschiedliche Use Cases tatsächlich mitbringen.

Anhand konkreter Beispiele wie RAG, Chatbots, Bildgenerierung und Coding-Assistenten beleuchten wir, welche Set-ups in welcher Größenordnung sinnvoll sind – von der einzelnen Workstation bis zum professionellen GPU-Node oder Cluster.

Dabei teilen wir praktische Erfahrungen aus dem Betrieb heterogen gewachsener GPU-Infrastruktur und zeigen, wann Self-Hosting eine gute Option ist, wo hybride Modelle sinnvoll sind und wann ein Managed-Angebot die bessere Wahl sein kann.