VDE DKE Kongress zur Funktionalen Sicherheit steht im Zeichen von KI und Industrie 4.0

Künstliche Intelligenz steht vor dem Durchbruch in der industriellen Anwendung. Dabei sind die Prinzipien nicht neu und schon seit Jahrzehnten bekannt. Allerdings stehen erst seit kurzer Zeit die Rechenleistung, Datenspeicher und Menge an Daten zur Verfügung, um damit wertschöpfende Anwendungen zu erstellen.

Besonders weit ist die Bild- und Mustererkennung, was sich auch an den vielen und erfolgreichen Anwendungsbeispielen zeigt. Facebook und Google machen sich diese Anwendung beispielweise zu Nutze, wenn Bilder hochgeladen und Gesichter automatisch erkannt und den entsprechenden Personen zugeordnet werden. Auch bei der Verhaltenserzeugung und Planung sind schon bemerkenswerte Leistungen erreicht worden – solange es sich um klar abgegrenzte Szenarien handelt (z. B. maschinelle GO-Spieler oder in Echtzeit-Strategiespielen). Trotzdem steht die KI-Entwicklung insgesamt am Anfang und es gibt zahlreiche Fragen, die noch geklärt werden müssen.

Eine relevante Fragestellung ist, wie KI in sicherheitskritischen Anwendungen, wie zum Beispiel bei Anwendungen des autonomen Fahrens, nutzbar gemacht werden kann. Von der reinen Funktion her liefert Machine Learning (ML) beispielweise auf Basis von Neuronalen Netzen (NN) sehr gute Ergebnisse für das autonome Fahren. Hier geht es unter anderem um die Perzeption der Umgebung durch das System, zum Beispiel basierend auf einer Bilderkennung. Diese Bilderkennung wird von einem Neuronalen Netz aus Trainingsdaten gelernt, was funktional und bessere Ergebnisse liefert als die klassische Bildverarbeitung. Darüber hinaus haben Neuronale Netze die Fähigkeit, implizite Anforderungen zu implementieren. Die Folge: Der Entwicklungsprozess (zumindest auf der linken Seite des V-Modells) wird beschleunigt.

Das Problem entsteht auf der rechten Seite des V-Modells: Verifikation und Validierung. Leider ist aber noch unklar, wie die aus Sicherheitssicht notwendige Konfidenz in die stets korrekte Funktionsweise des gelernten Verhaltens sichergestellt und nachgewiesen werden kann. So sehen Straßen in Europa beispielsweise anders aus als in Afrika oder Indien. Simon Burton zeigte das in seinem Vortrag anhand einer indischen Straße und deutschen Autobahn auf: Wenn ein System über maschinelles Lernen so „Straße“ lernen würde, würden entweder Autos durch deutsche Fußgängerzonen fahren oder in Indien keine Autos autonom fahren, weil sie die Straße nicht erkennen. Damit noch nicht genug: Fußgänger werden an ihren Beinen erkannt, aber wie steht es um Menschen mit Krücken oder im Rollstuhl? Zusätzlich verändern sich die Daten mit der Zeit: Autos sehen anders aus. Fußgänger werden ihr Verhalten gegenüber Autos verändern, wenn die Anzahl autonomer Fahrzeuge zunimmt. Das heißt, Systeme müssen ständig aktualisiert und die Sicherheit (im Sinne von Safety und Security) stets gewährleistet werden.

An diesem Beispiel zeigt sich auch, dass Machine Learning als „gefühlt-nicht-deterministisch“ (Dr. Henrik Putzer) bezeichnet werden kann: Nicht immer liefert eine Systemkomponente auf Basis von maschinellem Lernen die erwarteten Ergebnisse. Diese Fehlermöglichkeit kann mit einer Unsicherheit (uncertainty) beschreiben werden. In der Hardware wird dies durch die Ausfallrate oder das LAMBDA bezeichnet. Im Gegensatz zu dieser aleatorischen Unsicherheit in der Hardware (kann irgendwann zufällig z. B. durch Alterung ausfallen) muss dem Neuronalen Netz eine epistemische Unsicherheit zugeordnet werden (eine Fehlerkennung eines Fußgängerbildes wird immer wieder gleich fehlerhaft ausfallen, ist aber allgemein nicht vorherzusagen). Genau diese Eigenschaft bereitet dem Sicherheitsdenkenden Probleme. Um dies zu handhaben wird ein neuer Kennwert, das LAMBDA-AI, vorgeschlagen (Dr. Henrik Putzer). Doch die Methoden zur Ermittlung des LAMBDA-AI sind noch in der Erforschung. Klar ist, dass der Entwicklungsprozess, die Metriken und ggfs. auch die Analyse des vom Neuronalen Netz gelernten Wissens eine Rolle spielen werden.

Unklar ist auch, wie dies in eine Bewertung des Neuronalen Netzes hinsichtlich seiner Tauglichkeit für sicherheitsrelevante Anwendungen zu bewerten ist: Welche Erkennungs-Restfehlerraten sind akzeptabel? Bei maschinellem Lernen nachzuvollziehen, warum eine KI-Anwendung etwas entsprechend erkennt, erfordert jedoch einen sehr hohen Aufwand. Jedem Objekt wird eine Wahrscheinlichkeit als %-Wert zugeordnet, mit der das System das Objekt erkannt hat. Wie viel Prozent sind akzeptabel, wenn 100 Prozent nie erreicht werden können. Muss ein KI-System besser sein als ein Mensch?

Der Schlüssel zur Akzeptanz ist die Robustheit; das heißt, eine konsistente Performanz über den gesamten Einsatzbereich zu zeigen. Die Daten, mit denen die KI trainiert wird, sind hier von entscheidender Bedeutung. Es müssen ausreichend viele und diverse Daten verwendet werden, die das gesamte Spektrum von Situation und Objekten abdeckt – auch teilweise unabhängig von deren Auftretenswahrscheinlichkeit, zum Beispiel, damit ethische Minderheiten oder Menschen mit Behinderung nicht „übersehen“ werden.

Michael Kieviet betonte, dass KI trotz dieser bestehenden Unsicherheiten aus Sicht der geltenden Standards durch bereits existierende Sicherheitsnormen nicht verboten, sondern nur für einige Anwendungsfälle (korrigierende Codes) nicht empfohlen ist. Kieviet forderte, von der derzeitigen Lösung („Überwachende Sicherheit in definierten Grenzen. Die Sicherheitsfunktion ist nicht Teil der KI.“) zu einem Ansatz („Inhärent sichere KI mit zuverlässigen Reaktionen“) zu kommen. KI als Steuerung ist noch viel aufwändiger abzusichern, aber KI in der Detektion / Aufbereitung der Sensordaten, ist nicht mehr lange hin.

Kieviet und Putzer sind beide im Expertengremium DKE/AK 801.0.8 aktiv. Dort soll ein Lebenszyklus für sichere KI entwickelt werden, allerdings noch nicht in Form einer Norm wie die DIN EN 61508. Als Anwendungsregel kann sie jedoch ein Leitfaden darstellen, der eine erste Orientierung für die Handhabung von autonomen/kognitiven Systemen mit KI-Anteilen bietet. Und im Gegensatz zu „DIN SPEC“ Standards, die keinerlei Verbindlichkeit besitzen, stellt die Anwendungsregel eine – wenn auch schwache – Form der Verbindlichkeit dar.

Alle waren sich einig: Der Forschungsbedarf ist immens hoch und der Stand der Wissenschaft zur Absicherung von KI ist noch nicht gesichert. Daher schlossen sich die Experten der Empfehlung von Dr. Daniel Schneider an: Die Absicherung von KI muss letztlich ein Zweiklang sein, bestehend aus einem adäquaten Engineering der Lerndaten und des KI-Verhaltens einerseits und der Nutzung von parallelen, konventionell entwickelten Überwachungsfunktionen andererseits.

Sobald KI komplexere Funktionen übernimmt, werden laut Dr. Henrik Putzer andere Ansätze und System-Design-Patterns benötigt. Dazu zählen Formen der Redundanz oder Überwachung, die selbst wieder mit KI-Methoden realisiert werden, bis hin zu noch in der Forschung befindlichen Online-Verifikationen. Aufgabe der Forschung muss es sein, entsprechende Ansätze zu entwickeln und so die Grundlage für einen allgemein anerkannten „State oft the Art“ zum Thema „Absicherung von Lösungen und Systemen mit KI-Komponenten“ zu legen.

Letztlich kann der nachhaltige Erfolg, insbesondere für den Standort Deutschland, darin liegen, dass für das Thema autonome/kognitive Systeme und Künstliche Intelligenz in einem Dreiklang gearbeitet werden. Was bei klassischen Themen über einen mehrjährigen Zeitraum verteilt stattfindet, muss mit Blick auf die internationale Konkurrenz komprimiert werden. Dr. Henrik Putzer fasst es so zusammen: „Die Forschung liefert neue Methoden; die Industrie liefert Anwendungen und Operationalisierung; die Normung liefert Struktur und Verlässlichkeit.“

Die zweite Auflage der ISO 26262 („Road vehicles – Functional safety“) wurde erst kürzlich veröffentlicht – Künstliche Intelligenz wurde jedoch nicht betrachtet. Das Thema KI wird sich auf die Überarbeitung der Normenreihe IEC 61508 auswirken: Sie ist die Basis, auf der viele andere Normen aufbauen. Daher beginnen die Arbeiten hier sehr früh. Die internationale Arbeit steht allerdings noch am Anfang. Ein erster Entwurf wird frühestens 2020 veröffentlicht. Daher kann die IEC-Normenreihe 61508 hier eine Vorreiterrolle einnehmen.

Stephan Aschenbrenner und Norbert Fröhlich, unter anderem aktiv im DKE/GK 914, berichteten von der Überarbeitung der IEC 61508. Die Ed 3 wird eine Evolution der Norm werden. Genauere Trends sind aber zum heutigen Stand noch nicht erkennbar, weil die Diskussionen noch sehr kontrovers geführt werden und sich noch keine nationale oder internationale Meinung herauskristallisiert.

Dirk Hablawetz, ebenfalls aus dem Expertengremium DKE/GK 914 stellte die neu veröffentlichte IEC-Normenreihe 61511 Ed 2 vor und empfahl außerdem den IEC TR 61511-4. Dieser Technical Report (TR) soll erläutern, wo die Unterschiede zur Ed 1 liegen und wie die IEC-Normenreihe 61511 zu verstehen ist. Er basiert auf einer IEC-Umfrage mit 400 Rückmeldungen und appelliert an die Betreiber, nicht nur den Zertifikaten der eingesetzten Geräte zu vertrauen, sondern besonders das gesamte System und dessen Umgebungsbedingungen zu berücksichtigen. Das Safety Integrity Level (SIL) gilt für die Sicherheitsfunktion des Systems als solches und nicht nur für ein Gerät.

In der ISO 26262 Ed 2 sind nun auch LKW, Busse und Motorräder enthalten, was zu neuen Risikobetrachtungen führt. Stefan Goi stellte ausführlich die Unterschiede zur Ed 1 vor: Die Ladung von LKWs ist aus der Risikobetrachtung ausgenommen, komplexe Halbleiter sind neu aufgenommen worden. Es wird in der Autobranche darüber nachgedacht, bei den fünf Autonomiestufen die Stufe 4 (Hochautomatisierung) auszulassen und stattdessen direkt von Stufe 3 (Bedingungsautomatisierung) auf Stufe 5 (Vollautomatisierung) zu gehen. Darüber hinaus wurde der Aspekt der IT-Security in die ISO 26262 Ed 2 aufgenommen.

IT-Security oder besser OT-Security (OT = operational IT, also IT, die in Maschinen läuft) war ein weiterer Schwerpunkt in Erfurt. Durch die Vernetzung der Sicherheitssysteme entstehen neue Gefahren und Herausforderungen: Wenn Sicherheitssysteme in der Cloud betrieben werden, müssen Schwankungen bei den Zugriffszeiten (Latenz) und sogar Ausfälle der Verbindung berücksichtigt werden. Wenn durch die Vernetzung, um beispielsweise Fernwartung und vorausschauende Wartungsarbeiten (Predictive Maintainance) zu ermöglichen, Geräte mit dem Internet verbunden werden, steigen die Anforderungen an die IT-Sicherheit, die von Lutz Jänicke erläutert wurden.

Holger Laible, der sich in der Normung unter anderem im DKE/GK 914 und DKE/K 225 engagiert, beschrieb die Bemühungen, einen Konsens zwischen den Anforderungen der IT-Sicherheit und Funktionalen Sicherheit zu finden: Der Konsens dreht sich um die Risikoanalyse, das heißt, eine vollumfängliche oder getrennte Risikobetrachtung (je eine für Safety und eine für Security): „Security ist anzunehmen“ vs. „Security muss nachgewiesen werden“. Ein erster Ansatz stellt der IEC TR 63069 dar, der die Beziehung zwischen der IEC-Normenreihe 61508 (Safety) und der IEC-Normenreihe 62443 (Security) beschreibt.

Sarah Fluchs führte weiter aus, dass OT andere Ansätze erfordert als IT, da hier Confidentiality Integrity and Availability (CIA) nicht so wichtig ist wie der Betrieb der Anlage. Wichtig ist hingegen Reliability: Sie stellt einen strukturierten, reproduzierbareren, nachvollziehbaren und übertragbareren Ansatz vor, wie OT-Security erreicht werden kann. Dazu gehört auch die Vereinfachung der Architektur, sodass Instanzen und Klassen mit generischen Eigenschaften gebildet werden können, auf die dann die Sicherheitsmaßnahmen angewendet werden können.

Redaktioneller Hinweis:

Die im Text aufgeführten Normen und Standards können Sie beim VDE VERLAG erwerben.

Core Safety & Information Technologies umschließt alle Aspekte der Sicherheit: grundlegende  Sicherheitsanforderungen, funktionale Sicherheit, Informationssicherheit sowie deren Wechselwirkungen. Außerdem befasst sich Core Safety mit wichtigen Querschnittsthemen und definiert grundlegende Anforderungen die allgemein einzuhalten sind – zum Beispiel für Elektromagnetische Verträglichkeit, Umwelt- und Ressourceneffizienz, Schadstoffe, Größen, Einheiten und Kennzeichnungen. Weitere Inhalte zu diesem Fachgebiet finden Sie im