Aktuelle Schätzungen gehen davon aus, dass mehr als 80 Prozent aller verfügbaren Informationen in Textform vorliegen. Grundlage moderner Textmining-Verfahren ist die Repräsentation von Wortbedeutungen durch Einbettungsvektoren, welche die Grundlage zum Verständnis eines Textes bilden. Damit können einerseits Texte analysiert werden, z.B. die Einstellung zu Marken und Produkten in sozialen Medien. Andererseits können aus einem Text neuer Inhalt generiert werden, z.B. die Zusammenfassung oder Übersetzung eines Dokuments, die Fortsetzung einer Geschichte, die Weiterführung eines Dialogs oder die Erstellung eines Bildes zu einem Text.
Die Leistungsfähigkeit der Verfahren wurde in den letzten Jahren durch die Entwicklung des Transformers und der darauf basierenden Modelle BERT und GPT entscheidend verbessert. In dem Kurs wird gezeigt, wie man durch moderne Optimierungsverfahren und unter Verwendung extrem großer Trainingsdaten sehr performante Modelle mit Milliarden von Parametern trainieren kann.
Für jedes Anwendungsgebiet werden Beispielmodelle mit leistungsfähigen Toolkits (TensorFlow, Pytorch, HuggingFace, etc.) in einem „virtuellen Labor“ implementiert und auf leistungsfähiger GPU-Hardware erprobt. Die Modelle werden in Jupyter Notebooks spezifiziert und können on-the-fly evaluiert und modifiziert werden. Es wird gezeigt, wie konkrete Anwendungsfälle, Geschäftsmodelle und Einsatzmöglichkeiten im Bereich der Textanalyse und -generierung umgesetzt werden können. Zudem werden die Vor- und Nachteile der einzelnen Methoden diskutiert.
mehr Info