Wie bewerte ich die Qualität meines ML-Modells?

“Traue keiner Statistik, die du nicht selber gefälscht hast.” – Ein scheinbar gutes Ergebnis mit Hilfe von maschinellen Lernverfahren ist oft schnell erzielt oder wird von anderen als bahnbrechend verkauft. Doch auf welche Gütemaße kann man sich bei einem Klassifikations- oder Regressionsproblem wirklich verlassen? Und wie wird sichergestellt, dass Ergebnisse mit der richtigen Methodik erzielt wurden und somit belastbar und übertragbar sind?

In unserem Vortrag wollen wir praxisnah anhand von Beispielen aus unseren eigenen Forschungsfeldern (medizinische Bildgebung bzw. industrielle Datenanalyse) vorstellen, wie Daten zunächst korrekt partitioniert werden und welche Daten sich zum Validieren eignen.

Wir stellen im Weiteren die wichtigsten Gütemaße für Klassifikations- und Regressionprobleme vor und klären, in welchem Anwendungsfall sie eingesetzt werden sollten. Gleichzeitig wollen wir für typische Fehler in der Auswertungsmethodik sensibilisieren.

Vorkenntnisse

Grundlagen im Bereich Machine Learning und Statistik sind von Vorteil, aber nicht zwingend erforderlich.

Lernziele

* Wie ein Machine-Learning-Modell methodisch korrekt hinsichtlich der individuellen Anforderung validiert wird, ohne dass es etwa zu Overfitting oder einem Prävalenzfehler kommt.
* Wissen, welche Gütemaße in individuellen Anwendungsfällen herangezogen werden können und was sie genau aussagen.
* Einschätzen können, ob ein vorliegendes Validierungsergebnis plausibel ist und wo evtl. methodische Fehler gemacht wurden.