Johann Frei vom Kramer Lab der Universität Augsburg und Raphael Scheible von der Technischen Universität München haben vom 12. – 18. November 2024 auf der renommierten Empirical Methods in Natural Language Processing (EMNLP) Konferenz 2024 in Miami ihre Arbeit zu GottBERT vorgestellt.

Die EMNLP zählt zu den führenden Konferenzen im Bereich der Sprachverarbeitung, und mit einer Annahmerate von nur 20,8 % für Main Conference Papers ist die Auswahl ein Beweis für die Qualität und Relevanz dieser Forschung.

GottBERT ist das erste rein deutschsprachige RoBERTa-Modell, das auf der OSCAR-Datenmenge vortrainiert wurde. Es erzielt herausragende Ergebnisse in Named Entity Recognition (NER) und Textklassifikation und setzt neue Maßstäbe in der deutschsprachigen NLP-Community.

Die Modelle sind unter der MIT-Lizenz auf Huggingface frei verfügbar.
Das Manuskript “ GottBERT: a pure German Language Model“ ist ebenfalls öffentlich einsehbar.

Wir gratulieren herzlich zu diesem Erfolg und freuen uns auf weitere Impulse und Entwicklungen in der deutschsprachigen NLP-Forschung!