Sprachverarbeitung hat durch die Verbreitung von Open-Source-Sprachmodellen erheblich an Bedeutung gewonnen. Das 2022 gestartete BMWK-Projekt OpenGPT-X zielt auf den mehrsprachigen Ausbau dieser Technologie. Da die meisten verfügbaren Benchmarks zur Evaluierung von Sprachmodellen überwiegend für die englische Sprache existierten, will das OpenGPT-X-Konsortium die Sprachvielfalt verbessern – für eine gerechtere und effektivere Sprachtechnologie. Dazu führte das OpenGPT-X-Team umfangreiche multilinguale Trainingsläufe durch und testete die entwickelten KI-Modelle anschließend u. a. auf logisches Denken, Commonsense-Verständnis, Multitasking-Lernen, Wahrheitsgehalt und Übersetzungsfähigkeiten. Jetzt hat das Projektteam das multilinguale “European LLM Leaderboard“ veröffentlicht, eine Rangliste, die eine Reihe multilingualer Sprachmodelle mit jeweils rund 7 Mrd. Parametern vergleicht. Es ist geplant, über dieses Leaderboard die Evaluierung von Modellen aus der zentralen KI-Plattform Hugging Face zu automatisieren, um die Vergleichbarkeit und Reproduzierbarkeit der Ergebnisse zu gewährleisten. Das ZIH der TU Dresden stellt dem Projekt die notwendige Infrastruktur für die umfangreichen Evaluierungen bereit. Weitere Informationen: tu-dresden.de/zih/die-einrichtung/news/european-llm-leaderboard-of-opengptx .