Ressourceneinsparung bei KI-Modellen mittels Knowledge Destillation

Über die letzten Jahre hat sich die Forschung im Bereich NLP zunehmend Sprachmodellen zugewandt. Trotz ihrer kurzen Geschichte werden sie erfolgreich eingesetzt und liefern erstaunliche Ergebnisse bei ganz verschiedenen textbezogenen Aufgaben wie zum Beispiel Übersetzungen, Question Answering, Information Extraction und intelligenter Suche.

Trotz ihrer erstaunlichen Fähigkeiten vergessen wir jedoch gern, dass Sprachmodelle nicht nur daten-, sondern auch energiehungrig sind. Hochmoderne Sprachmodelle wie BERT, RoBERTa und XLNet verarbeiten innerhalb der Trainingsphase Millionen von Parametern, was nur mithilfe von Dutzenden hochentwickelter Chips möglich wird. Das dadurch erzeugte CO2 ist dabei um ein Vielfaches höher als der durchschnittliche Verbrauch eines Autos über seine durchschnittliche Lebensdauer hinweg. Solch einen hohen Energieverbrauch zu verantworten, fällt in Zeiten des Klimawandels nicht leicht.

Damit Unternehmen von der Leistung aktueller Modelle profitieren, ohne ihre Rechenkosten zu stark zu strapazieren, gilt es, die verwendeten Modelle auf ein Minimum zu reduzieren. Die Leistungsfähigkeit soll darunter natürlich nicht leiden.

Ein mögliches Mittel dafür ist die sogenannte Knowledge Destillation, eine gängige Methode unter verschiedenen Komprimierungsmethoden für Sprachmodelle.

Vorkenntnisse

• Suchlösungen
• Sprachmodelle

Lernziele

Im Vortrag werden verschiedene Optionen gezeigt, wie Modelle komprimiert und beschleunigt werden können. Der Fokus liegt insbesondere darauf, wie man Sprachmodelle mithilfe von gezielter Knowledge Destillation so komprimieren kann, dass sie ressourcensparend eingesetzt werden können, ohne dass die Modellleistung signifikant sink