GPU oder API? Die tatsächlichen Kosten von KI-Inferenz und wie man flexibel bleibt
Selbst hosten oder eine API nutzen? Das ist weniger eine Budgetfrage als eine Architekturentscheidung.Dieser Vortrag zeigt, welche Faktoren die Kosten von KI-Inferenz wirklich bestimmen, von Auslastung und Effizienz bis hin zu Betrieb und Skalierung.
Außerdem geht es darum, wie man Systeme so entwickelt, dass ein Wechsel zwischen API und Self-Hosting jederzeit möglich bleibt, ohne sich an einen Anbieter oder die eigene Infrastruktur zu binden.
Mit echten Zahlen und einem klaren Entscheidungsrahmen: Wann API, wann Self-Hosting und wann ein hybrider Ansatz sinnvoll ist.
Speaker
Christopher Haar ist Softwareentwickler bei Upbound und arbeitet im Open-Source-Bereich. Er ist Mitentwickler von Crossplane und mehrerer Anbieter in dessen Ökosystem und engagiert sich regelmäßig in der Community. Er verfügt über langjährige Erfahrung im Aufbau von Unternehmensinfrastrukturen in den Bereichen Telekommunikation, Eisenbahn, Finanzwesen und Cloud.
Johannes Koch ist ein begeisterter DevOps-Anhänger, ein geborener Entwickler und seit Juni 2023 AWS DevTools Hero. Er liebt es, Anwendungen mit Typescript, Angular, Java oder Go zu entwickeln. Er ist überzeugt von einer vollständigen CI/CD-Automatisierung und davon, dass alles, was zum Betrieb der Lösung erforderlich ist, Teil der „Infrastructure as Code“ sein sollte – dabei hat er seine Begeisterung für das AWS CDK entdeckt. Er leitet die AWS UG Bergstrasse und ist Mitglied der AWS DACH Community.