Grundlagen zu LLMs

Neben ChatGPT gibt es eine nahezu unüberschaubare Menge von anderen LLMs. Meist denkt man dabei nur an generative Modelle, doch das ist nur die Spitze des Eisbergs – es gibt diese Modelle in viel mehr unterschiedlichen Ausprägungen.

Wir betrachten zunächst die Transformer-Architektur sowie die daraus abgeleiteten Encoder- und (generativen) Decoder-Modelle, die sich jeweils für unterschiedliche Aufgaben eignen.

Neben dem Überblick zeigen wir, wie sich Modelle auch leicht auf eigener Hardware oder mit kostenlosen Clouddiensten ausprobieren lassen. Für anspruchsvollere Aufgaben benötigt man entweder eine eigene GPU oder man mietet sich günstig stundenweise eine GPU. Wie man damit Fragen beantworten oder sogar Finetuning der Modelle betreiben kann, zeigen wir in einem interaktiven Teil.

Der Ausblick wagt eine Vorhersage, wie es mit den großen Sprachmodellen vielleicht weitergehen könnte.