Neue Wege mit großen Sprachmodellen?

Seit 2019 führt die Deutsche Nationalbibliothek jährlich eine Fachveranstaltung zu Themen der maschinellen Erschließung durch. Im Fokus der Fachtagung 2023 standen aktuelle Entwicklungen im Bereich der generativen KI und großer Sprachmodelle.

Spätestens seit dem Erfolg von ChatGPT zeichnet sich ab, dass die Entwicklungen der Künstlichen Intelligenz (KI) große Veränderungen auslösen werden. Auf dem internationalen KI-Gipfel Anfang November 2023 wurde sogar der Vergleich mit der industriellen Revolution, der Entdeckung der Elektrizität und der Erfindung des Internets gezogen. Sprachmodelle, wozu ChatGPT gezählt wird, entwickeln sich derzeit besonders dynamisch. Mit ihren erstaunlichen Fähigkeiten haben sie im vergangenen Jahr große Aufmerksamkeit erregt und das Potenzial neuer Technologien begreifbar gemacht.

Sprachmodelle erkennen, produzieren, übersetzen und verarbeiten Sprache, indem sie anhand einer großen Menge möglichst hochwertiger Daten lernen. Ein wichtiger Aspekt, den aktuellen Qualitätssprung der Sprachmodelle zu erklären, stellt ihre Größe dar. Mehrere Milliarden Parameter – teilweise bis über hundert Milliarden –  müssen je nach Modell während des Trainings angepasst werden, damit das Modell gute Ergebnisse liefern kann. Allgemeiner gefasst sind generative KI-Systeme in der Lage, komplexe Inhalte – Texte, aber auch Fotos, Videos, oder gesprochene Sprache – zu analysieren, zusammenzufassen, zu erzeugen, neu zusammenzustellen – und sogar Programme zu schreiben.

Die Technologie ermöglicht völlig neue Anwendungen, gibt aber auch Anlass zur Sorge, da die zukünftigen Auswirkungen derzeit kaum abschätzbar sind. Die sichere und verantwortungsvolle Entwicklung von KI ist daher zu einem wichtigen Bestandteil der gesellschaftlichen und kulturpolitischen Diskussion geworden. In den Bibliotheken stehen wir erst am Anfang der Bewertung und müssen uns mit einer Vielzahl von grundlegenden Fragen auseinandersetzen:

• Sind die Tools technisch robust und sicher?
• Genügen sie unseren gesetzlichen Bestimmungen und ethischen Grundsätzen?
• Mit welchen Daten wurden die Modelle trainiert?
• Ist die Nutzung durch das Urheberrecht abgedeckt?
• Sind die Ergebnisse verlässlich?
• Sind die generierten Inhalte transparent und fair?
• Brauchen wir eine stärkere gesetzliche Regulierung und eine Kennzeichnungspflicht für KI-Erzeugnisse?
• Wer haftet für etwaige Rechtsverletzungen und Schäden, die durch KI ausgelöst werden?
• Wer besitzt die Technologie und profitiert davon?
• Welche Open Source-Anbieter gibt es?
• Wie nachhaltig ist die KI angesichts des enormen Energieverbrauchs?

Es ist davon auszugehen, dass die Entwicklung großer Sprachmodelle trotz der Vorbehalte, die sich aus diesen Fragen begründen lassen, rasch voranschreiten und in naher Zukunft viele neue Anwendungen, Plattformen und Geschäftsmodelle hervorbringen wird.

Wir Bibliotheken wollen die Zukunft mitgestalten! Folgende Fragen standen daher im Mittelpunkt der Fachtagung:

• Was können die neuesten Technologien für Bibliotheken leisten und welche Herausforderungen, Chancen und Risiken sind damit verbunden?
• Sind die aktuellen Sprachmodelle (schon) für Anwendungen in Bibliotheken, Wissenschaft und Forschung geeignet?
• Und wäre es sinnvoll und rechtlich möglich, dass sich Bibliotheken mit ihren umfangreichen Beständen auch an der Weiterentwicklung und dem Training von Sprachmodellen beteiligen?

Erste Schritte sind in der DNB bereits getan. Schon lange setzen wir KI-Verfahren ein, um digitale Publikationen thematisch zu klassifizieren und mit Schlagwörtern anzureichern. Damit unterstützen wir die Informationssuche. Im Rahmen der Nationalen KI-Strategie arbeiten wir in einem Projekt zurzeit daran, neue technologische Ansätze des Maschinellen Lernens und Natural Language Processing zu evaluieren, um sie für unsere Zwecke zu nutzen. Auch große Sprachmodelle gehören mittlerweile zu den Lösungsoptionen, die wir prüfen.

So testen wir in Kooperation mit der Firma Aleph Alpha deren Luminous-Sprachmodelle für die Beschlagwortung gesammelter Publikationen mit dem Vokabular der Gemeinsamen Normdatei (GND). Über einen sogenannten Prompt können dem Sprachmodell Beispiele mitgegeben werden, die aus Buchtiteln und den annotierten Schlagwörtern zusammengesetzt sind. Für die Texte, die man mit diesem Verfahren beschlagworten möchte, generiert das Sprachmodell passende Schlagwörter. Erste Erkenntnisse aus diesen Experimenten bestätigen, dass dieses Werkzeug sehr mächtig ist. Andererseits ist es aber auch eine große Herausforderung, das Werkzeug so zu steuern, dass die Ergebnisse für unsere Aufgabenstellung relevant sind.

Über die bloße Nutzung von Sprachmodellen hinaus stellt sich nun zunehmend auch die Frage, ob und inwiefern Bibliotheken die Weiterentwicklung großer Sprachmodelle für Anwendungen in Kultur und Wissenschaft unterstützen können. Die Deutsche Nationalbibliothek verfügt über immense Textsammlungen. Der größte Teil davon in deutscher Sprache. Da die Trainingsdaten neben der Modellarchitektur die wichtigsten Stützpfeiler der Sprachmodelle sind, sind solche Textsammlungen für die Weiterentwicklung der Sprachmodelle von hohem Wert. Aus vielerlei Gründen erfordert diese mögliche Verwendung der Bestände eine sehr differenzierte Betrachtung.

Die Tagung hat eine gute Grundlage für die weitere Diskussion geschaffen. Die Entwicklung guter und nützlicher Sprachmodelle sehen wir als gemeinschaftliche Aufgabe. Der Auf- und Ausbau von Kompetenzen, der Transfer von Wissen sowie eine gute Vernetzung und Kooperation sind wichtige Voraussetzungen, die Zukunft zu gestalten. Generative KI verspricht spannende Entwicklungen, Chancen und Herausforderungen. Die Fachtagung hat unterschiedliche Sichtweisen und Lösungsansätze aufgezeigt und vielfältige Impulse für die weitere (Zusammen-)arbeit geliefert. Die Tagungsbeiträge beleuchteten die genannten Fragen aus ganz verschiedenen Perspektiven und lieferten interessante und vielfältige Informationen und Einblicke. An dieser Stelle bedanken wir uns noch einmal sehr herzlich bei allen Mitwirkenden.

Das Programm und die Beiträge sind unter dem Link KI in Bibliotheken – Neue Wege mit großen Sprachmodellen? zu finden.