Liquid Foundation Models – die nächste Generation der LLMs

LLMs und insbesondere die immer größer werdenden Foundation Models sind beeindruckend, können für vielfältige Aufgaben eingesetzt werden und sind doch in der Praxis relativ unpraktisch: Sie sind zu groß, zu unspezifisch, zu wenig nachvollziehbar, zu wenig verlässlich.

Das Konzept erreicht mittlerweile gewisse Grenzen. Zum einen gibt es nicht genug neue Daten. Oder wie Ilya Sutskever so schön sagte: Es gibt nur ein Internet, und das wurde schon zum Training verwendet. Wie sieht also ein mögliches Upgrade aus, welches idealerweise auch effizienter ist, nicht so viel Strom- und Memory-bedarf hat? Welches auch auf kleinen Devices zum Einsatz kommen kann?

Bühne frei für die LFMs – mittlerweile als LFM2 in zweiter Generation setzen die Liquid Foundation Models aktuell die Maßstäbe insbesondere für den Einsatz auf Mobile Devices, ein Use Case insbesondere in industriellen Anwendungen. Aktuell geht der Trend zu persönlichen Agenten, die idealerweise nicht immer mit der Cloud kommunizieren, sondern mit den Ressourcen eines Edge Device auskommen können. LFMs stellen einen Weg zu neuen Modellarchitekturen jenseits der GPTs – Generative Pretrained Transformers – dar, inspiriert durch den innovativen und extrem ressourceneffizienten Ansatz der Liquid Neural Networks. Sie können unter anderem mit längeren Kontexten umgehen, da sie einen deutlich geringeren Memory Footprint aufweisen als GPT-basierte LLMs.

Dies und einiges mehr, beispielsweise ihre Performance in relevanten Benchmarks oder auch ihre Explainability-Eigenschaften, werden wir in diesem Vortrag untersuchen. Get ready for the fastest on-device gen-AI experience currently available.

Vorkenntnisse

• Grundlegende Kenntnisse in Bezug auf LLMs
  
• Interesse am Einsatz von Foundation Models auf Edge Devices oder in lokalen Umgebungen mit begrenzten Ressourcen

Lernziele

• Erstes Kennenlernen von Liquid Foundation Models (LFM und LFM2)
  
• Einstieg in die Konzepte hinter LFMs, wie z.B. Liquid Neural Nets
  
• Architekturen, die über GPTs hinausgehen
  
• Besonderheiten in Bezug auf Memory Footprint und Explainability
  
• Benchmarks, Performance, und ein erster Praxistest