Vielen Dank an alle Beteiligten für eine erfolgreiche M3 2024 in Köln! Im Herbst geht es weiter mit M3-Online-Events!

Eigene Sprachmodelle feintunen und nutzen


Dieser Workshop findet am 23. April 2024 in Köln statt.


ChatGPT (und die darin verwendeten GPT-3.5 und GPT-4) sind die bekanntesten Sprachmodelle. Leider kann man diese aber nur wenig anpassen, das geht maximal über den Kontext.

In vielen Unternehmensanwendungen würde man das aber gerne machen, um z.B. domänenspezifisches Vokabular abzudecken. Im Gegensatz zum Training ist das Feintuning von Modellen viel schneller, auch dank LoRA (Low Rank Adaptation) und peft (Parameter Efficient Tuning).

Nach einem kurzen Abriss der Theorie widmen wir uns dem Feintuning eigener Modelle und probieren dann aus, was diese gelernt haben und wie viel Wissen sie reproduzieren können.

Vorkenntnisse

Alle Aufgaben werden mit Python durchgeführt. Es sind keine schwierigen Programme, aber gewisse Grundlagen in Python sind sehr hilfreich.

Lernziele

  • Funktionsweise von Sprachmodellen verstehen
  • Grundlagen der Quantisierung
  • Verständnis des FInetunings (LoRA, peft)
  • Performance und Speicheranforderungen von LLMs beurteilen können

Agenda

  • Kurze Vorstellung und Zieldefinition
  • Recap große Sprachmodelle (BERT und GPT)
  • BERT-Modelle nutzen und finetunen
  • GPT-Modelle nutzen (Quantisierung, Prompting, RAG)
  • GPT-Modelle finetunen
  • Zusammenfassung und Feedback

    Pausenzeiten:
    • ab 09:00 Uhr: Registrierung und Begrüßungskaffee
    • 10:00 Uhr: Beginn
    • 12:30 - 13:30 Uhr: Mittagspause
    • 15:00 - 15:15 Uhr: Kaffeepause
    • 16:15 - 16:30 Uhr: Kaffeepause
    • ca. 17:00 Uhr: Ende

     

Technische Anforderungen

Die Teilnehmenden sollten über eine Python-Installation (sinnvollerweise mit Jupyter) verfügen oder auf Google Colab zugreifen können. Wir werden auf jeden Fall GPUs benötigen, entweder das ist lokal vorhanden, kann über Colab genutzt werden oder diejenigen, die das nicht haben, können bei bestimmten Aufgaben nur zuschauen.

Speaker

 

Christian Winkler
Christian Winkler beschäftigt sich seit vielen Jahre mit künstlicher Intelligenz, speziell in der automatisierten Analyse natürlichsprachiger Texte (NLP). Als Professor an der TH Nürnberg konzentriert er sich auf die Optimierung von User Experience mithilfe moderner Verfahren. Er forscht und publiziert zu Natural Language Processing und ist regelmäßig Sprecher auf Machine Learning-Konferenzen.

M3-Newsletter

Ihr möchtet über die Minds Mastering Machines
auf dem Laufenden gehalten werden?

 

Anmelden