Micro Language Model im Einsatz bei der Barmenia Gothaer

Sind auch geradezu winzige Sprachmodelle geeignet, um in speziellen Anwendungsfällen interessante Ergebnisse bei der Verarbeitung von Texten zu erzielen?

Bei der Barmenia Gothaer entstand ein Micro Masked Language Model mit nur 7,5 Mio. trainierbaren Parametern für Teilaufgaben beim automatisierten Verarbeiten von ärztlichen Diagnosen. Wegen manchmal verrauschter Texte aus der optischen Texterkennung arbeitet das Modell auf der Ebene einzelner Zeichen, und nicht mit den gängigen "Token". Beim Segmentieren der Texte übertrifft es die bisher genutzten Deep Learning Modelle.

Vorkenntnisse

Grundwissen im Bereich des Natural Language Processing

Lernziele

• Anwendung von Techniken der künstlichen Intelligenz in der privaten Krankenversicherung
  
• NLP-Modelle auf Character Level
  
• Architektur und Training des Micro Masked Language Models
  
• Anpassung und Finetuning des Modells für Downstream Tasks