Wer Normen anwendet, verbringt viel Zeit mit der Suche nach den passenden Inhalten. Diese IDiS-Projektgruppe hat untersucht, ob Methoden des Natural Language Processing (NLP) die Recherche im deutschen Normenwerk grundlegend verbessern können – und dafür ein Sprachmodell entwickelt, das mit rund 32.000 DIN- und VDE-Normen trainiert wurde.

Projektdaten

Projekt-Plattform: Initiative Digitale Standards (IDiS) von DIN und DKE

Laufzeit: Q2 2022 – Q4 2022 (9 Monate)

Projektpartner (alphabetisch):

Ausgangssituation & Herausforderung

Anwendende von Normendokumenten müssen häufig viel Zeit bei der Recherche aufwenden, um relevante Informationen aus Normen zu extrahieren und verwenden zu können. Bestehende Recherchetools basieren auf der Identifikation von Stichworten. Sie verhindern damit einen kontextspezifischen Bezug der Recherche und erschweren insbesondere das Finden von Anforderungen in Normen. Darüber hinaus können Suchanfragen nicht in natürlicher Sprache formuliert werden.

Erschwerend wirkt die schiere Menge: Das deutsche Normenwerk aus DIN- und DKE-klassifizierten Standards umfasst rund 40.000 Dokumente. Für einzelne Akteure ist diese Informationsfülle je nach Domäne kaum zu überblicken.

peshkova / stock.adobe.com

Warum Standardmodelle hier an Grenzen stoßen

Natural Language Processing ist eine Methode des Machine Learnings – einer Domäne der künstlichen Intelligenz, die es Computern ermöglicht, die natürliche Sprache des Menschen zu verstehen. Aktuelle NLP-Methoden basieren häufig auf Language Models, die auf einer großen Menge an Text trainiert werden, etwa auf Wikipedia-Einträgen, Parlamentsreden oder allgemeinen Auszügen aus dem Web. Dadurch erlernen sie die Semantik von Wörtern, Zusammenhänge zwischen Begriffen und ein allgemeines Textverständnis.

Nur ein geringer Teil dieser Trainingstexte hat jedoch technischen Inhalt. Die verfügbaren Modelle verfügen deshalb über ein allgemeines Textverständnis, aber über wenig technisches Verständnis – genau das, was für die Arbeit mit Normen benötigt wird.

Projektziel

peterschreiber.media / stock.adobe.com

Das Pilotprojekt hatte das Ziel, ein domänenbasiertes Language Model mit verbessertem technischem Verständnis zu entwickeln und es gegen einen konkreten Use Case aus IDiS zu evaluieren.

Vorgehen

1. Auswahl der Basismodelle

Zunächst wurden verschiedene öffentlich zugängliche State-of-the-Art Pretrained Language Models (PLMs) miteinander verglichen, die auf einer großen Menge frei verfügbarer Texte basieren. Als geeignete Basismodelle wurden German BERT base und German BERT large ausgewählt. Diese Modelle basieren auf einer Transformer-Architektur, die für verschiedene Aufgaben wie Sprachanalyse und Klassifikation verwendet werden kann.

2. Training des normenbasierten Modells

Das normenbasierte Modell entstand durch das Trainieren der ausgewählten German-BERT-Modelle mit rund 32.000 DIN- und VDE-Normen. Dazu wurden Trainingsdatensätze mit technisch relevanten Passagen aus etwa 25.000 deutschen DIN- und 7.000 deutschen VDE-Normen erstellt. Um ein Modell mit optimalem technischem Sprachverständnis zu erhalten, wurden über 30 Trainingsversuche mit unterschiedlichen Modell- und Trainingsparametern durchgeführt; die längsten Trainingsläufe dauerten über zwei Wochen.

3. Finetuning auf einen IDiS-Anwendungsfall

Für das Finetuning wurde ein konkreter Use Case der Initiative ausgewählt:

„Als Konstrukteur möchte ich, aufgrund einer merkmalbasierten Klassifikation (z. B. ECLASS) meines zu konstruierenden Bauteils, alle für die Konstruktionsaufgabe möglichen Varianten mit ihren Ausprägungen und Wertebereichen in einem maschinenlesbaren Format ausgezeichnet bekommen.“

Die domänenbasierten Modelle wurden in einem weiteren Trainingsschritt mit einem Referenzdatensatz finegetunt, der für ausgewählte ECLASS-Merkmale relevante Norminhalte enthält. Dieser Referenzdatensatz wurde durch weitere Datensätze mit relevanten Normdaten ergänzt.

IDiS-NLP – Ablauf des Trainingsprozesses

| DKE DIN

Ergebnisse

Das Projekt konnte zeigen, dass das Training von Pretrained Language Models mit einer großen Anzahl von Normen zu Modellen führt, die ein besseres technisches Verständnis haben als die German-BERT-Basismodelle. Zudem ließ sich das vortrainierte Modell so verfeinern, dass die Ergebnisqualität bei der Identifikation relevanter Norminhalte zu Produkten und deren Merkmalen deutlich gesteigert werden konnte.

DIN DKE

Zur Demonstration der Projektergebnisse wurde eine prototypische Rechercheanwendung entwickelt. Die Ergebnisse des Demonstrators im Überblick:

Die semantische Rechercheanwendung hat ihre Funktionstüchtigkeit nachgewiesen.
Sie findet Informationen besser, wenn vortrainierte Basismodelle zusätzlich auf Normen trainiert wurden.
Sie macht bessere Vorhersagen mit normenbasierten BERT-large-Modellen als mit normenbasierten BERT-base-Modellen.
Das Modell erkennt nach dem Finetuning relevante Norminhalte für gegebene ECLASS-Definitionen, ohne ECLASS im Training gesehen zu haben.
Normenbasierte Language Models verbessern das Ergebnis.

Erkenntnisse und Herausforderungen

In der Projektretrospektive haben die Beteiligten drei Punkte hervorgehoben:

Rechtliche Rahmenbedingungen: Zu Projektbeginn waren intensive Gespräche notwendig. Da die Technologie hinter Language Models sehr neu ist, war noch nicht hinreichend geklärt, wofür sie genutzt werden dürfen – Zugriffsrechte auf das trainierte Modell und auf die Normen mussten geklärt werden.
Rechenleistung: Für die Berechnung des Modells ist ein hoher Rechenaufwand in Form moderner GPUs notwendig. Die Bereitstellung der erforderlichen Rechenleistung war während des Projekts ein Problem.
Datenbasis: Der erstellte Datensatz muss deutlich erweitert werden, um den Anwendungsfall breiter zu fassen.

Als Empfehlung für die Zukunft wurde formuliert, ein multilinguales Modell zu trainieren, das auf Normen verschiedener internationaler Normungsgremien beruht, statt einzelne Modelle für einzelne Bereiche zu entwickeln.

Nutzen für IDiS und weitere Verwendung

Ein technisches Sprachverständnis wird benötigt, um übergeordnete Ziele von IDiS zu erreichen: bessere Recherche-Tools und Verfahren für SMART Tools und Services sowie geringere manuelle Aufwände bei der semantischen Anreicherung von Normen (SMART Content Generierung).

Das entwickelte Domänenmodell kann in weiteren IDiS-Projekten eingesetzt und für weitere Normenanwendungen finegetunt werden. Als Einsatzmöglichkeiten wurden unter anderem identifiziert:

Semantische Suche – Finden relevanter technischer Information, etwa auf Basis von ECLASS-Definitionen
Semantisches Matching – Identifikation semantisch verwandter Information in unterschiedlichen Taxonomien oder Terminologien
Automatisierung der Inhaltsklassifizierung – Auto-Tagging von technischem Text
Autorentools mit intelligenten Assistenzfunktionen – automatisierte Formatierung, Grammatikprüfung, automatisierte Textanalyse
Semantische Interoperabilität – Einsatz im Industrial Internet of Things
Semantische Klassifizierung – zum Beispiel von Support-Anfragen und Fehlermeldungen im technischen Bereich

Verwertung der Domänenmodelle