Zwischen Innovation und Verantwortung: Künstliche Intelligenz im Safety Engineering

Die Komplexität der Systeme steigt – generative KI kann zu einer Unterstützung werden

DKE: Herr Dr. Adler, was hat Sie dazu bewegt, sich mit dem Thema generative KI im Safety Engineering zu beschäftigen? Gab es ein Schlüsselerlebnis oder eine besondere Motivation?

Adler: Meine Motivation ist, autonome Systeme sicher „auf die Straße“ zu bringen. Mit meinem Forschungsprogramm sorge ich dafür, dass sie zuverlässig funktionieren und sicher (safe) sind. Das geht mit vielen neuen Aufgaben einher, die man ohne generative KI praktisch nicht bewältigen kann. Beispielsweise das Generieren von Testszenarien aus Felddaten. Natürlich finde ich es auch interessant, wie gut man herkömmliche Safety-Aufgaben für nicht-autonome Systeme mit generativer KI automatisieren kann.

DKE: Generative KI ist aktuell in vielen Bereichen ein großes Thema. Warum ist es aus Ihrer Sicht gerade im Safety Engineering so relevant?

Adler: Safety Engineering ist häufig der Flaschenhals für Innovationen. Diesen Flaschenhals kann man nicht ohne weiteres durch mehr Personal ersetzen. Zu den Gründen zählen nicht nur der Fachkräftemangel und die erheblichen Lohnkosten. Der Aufwand im Safety Engineering steigt überproportional mit der Komplexität der Systeme und des „normalen“ Engineerings.

DKE: Welche besonderen Herausforderungen bringt der Einsatz von generativer KI für sicherheitskritische Systeme mit sich?

Adler: Generative KI kann sich keine Gedanken darüber machen, ob ein System sicher ist. Sie kann lediglich dazu beitragen, dass sich Safety-Expert*innen effektiver und effizienter Gedanken machen können. Da Generative KI manchmal halluziniert und generell nicht verlässlich ist, besteht natürlich auch die Gefahr, dass Fachleute aus dem Safety-Bereich sich falsche Gedanken machen. Darüber hinaus besteht die Gefahr, dass sie gedankenlos Vorschläge durchwinken beziehungsweise übernehmen.

DKE Tagung Funktionale Sicherheit: 13.05.2025 bis 14.05.2025 in Erfurt

Neue Technologien und Lösungen erobern die Welt – aber wie kann funktionale Sicherheit dabei Schritt halten? Eine berechtigte Frage, die wir diskutieren wollen und müssen! Und wo wäre das besser möglich als in Erfurt? Die "Erfurter Tage" haben sich mittlerweile als fester Begriff und Branchentreff etabliert. Alle zwei Jahren kommen Expertinnen und Experten im Kaisersaal zusammen und tauschen sich aus. Seien auch Sie dabei und freuen Sie sich auf zwei intensive Konferenztage!

Erste Normen vorhanden – KI kritisch, aber vielversprechend

DKE: Gibt es bereits Normen oder regulatorische Vorgaben, die den Einsatz von KI in der funktionalen Sicherheit konkret adressieren?

Adler: In den Gesetzen beziehungsweise in den Verordnungen ist alles bewusst sehr vage gehalten. In der technischen Normierung gibt es bereits erste Arbeitsdokumente wie den technischen Report „Functional Safety and AI systems“ (ISO/IEC TR 5469:2024) oder ISO PAS 8800 (Road vehicles — Safety and artificial intelligence). ISO PAS 8800 fokussiert auf Sicherheitsfunktionen, die KI beinhalten. Sicherheitsfunktionen, die keine KI beinhalten, aber für deren Entwicklung KI genutzt wurde, sind Betrachtungsgegenstand im ISO/IEC TR 5469. Eine exemplarische Tabelle in der ISO/IEC TR 5469 zeigt, dass große Sprachmodelle (Large Language Models, LLMs) und andere KI-Technologien vergleichbarer Komplexität nicht für die Entwicklung sicherheitskritischer Systeme verwendet werden sollten. Ich halte allerdings ein komplettes Verbot für unangemessen und praktisch schwer durchsetzbar. Das Potenzial ist da.

DKE: Wie kann denn sichergestellt werden, dass LLMs in der Risikoanalyse nachvollziehbare und auditierbare Entscheidungen treffen?

Adler: Man kann nicht 100- prozentig sicherstellen, dass die Entscheidungen beziehungsweise Ergebnisse von LLMs korrekt sind. Man kann aber die Korrektheit der Ergebnisse überprüfen.

DKE: Welche Verfahren zur Validierung und Qualitätssicherung von KI-generierten Risikobewertungen existieren oder sind in Entwicklung?

Adler: Die Verfahren sind spezifisch für die generierten Artefakte. Wenn es darum geht, Schadensszenarien zu finden, dann kann man einfach manuell überprüfen, ob ein Szenario relevant ist und hinsichtlich seines Risikos bewertet werden sollte.

KI kann helfen – wenn Unsicherheiten und Verzerrungen beherrscht werden

DKE: Inwiefern können hybride Ansätze wie „Mensch-in-the-Loop“ oder regelbasierte Systeme in Kombination mit LLMs dazu beitragen, Risiken besser zu managen?

Adler: Hybride Ansätze sind essenziell, um LLMs im safety-kritischen Kontext anzuwenden. Hier ist es hilfreich, wenn die LLMs angeben, wie verlässlich ihre Ausgabe ist und inwieweit Zweifel bestehen. Im Rahmen der ISO/IEC TS 25223 (Guidance and requirements for uncertainty quantification in AI systems) wird gerade erarbeitet, was man unter Unsicherheit bei generativer KI versteht und wie man sie messen kann.

DKE: KI-Modelle sind bekanntlich anfällig für Bias in den Trainingsdaten. Wie kann sichergestellt werden, dass solche Verzerrungen keine sicherheitskritischen Entscheidungen beeinflussen?

Adler: Zunächst sollte man soweit möglich systematische Fehlerursachen mit Fehlervermeidung und Fehlerbehebung adressieren. Weiterhin sollte man versuchen, alle restlichen Ursachen in der Quantifizierung der Unsicherheit (uncertainty) zu berücksichtigen. Die Quantifizierung der Unsicherheit basiert allerdings auf Validierungsdaten, die auch von Bias betroffen sein können. Aus Safety-Sicht sind die Validierungsdaten mindestens genauso wichtig wie die Trainingsdaten, denn mit einer hohen Fehlerwahrscheinlichkeit kann man umgehen, aber nur, wenn sie bekannt ist und nicht unterschätzt wurde.

KI und Co-Bots: Entlastung für Fachkräfte, aber mit Hürden

DKE: Können generative KI-Modelle dazu beitragen, den Fachkräftemangel im Bereich der funktionalen Sicherheit zu entschärfen?

Adler: Sie können definitiv dazu beitragen, aber es ist schwer abzuschätzen, wie hoch der Beitrag sein wird. Die Fähigkeiten von KI-Systemen entwickeln sich rasant. Und mit steigendem Fachkräftemangel wird vermutlich auch die Akzeptanz zum Einsatz von KI-basierten Hilfswerkzeugen steigen.

DKE: Sind Co-Bots – also kollaborative Roboter – ein zuverlässiger Partner für die Safety-Programmierung?

Adler: Die Sicherheitsauslegung bei Co-Bots ist ein doppelter Flaschenhals für die breite Markteinführung. Einerseits wirkt sie sich limitierend auf die Performance aus und Co-Bots sind für viele Anwendungsfälle deswegen zu langsam. Weiterhin ist die Sicherheitsauslegung aufwendig und somit zu kostspielig für viele Anwendungen. Assistenzsysteme haben großes Potenzial, die Kosten der Sicherheitsauslegung signifikant zu reduzieren – auch ohne LLMs kann man schon viel Assistenz bieten.

Mit unserem DKE Newsletter sind Sie immer top informiert! Monatlich ...

• fassen wir die wichtigsten Entwicklungen in der Normung kurz zusammen
• berichten wir über aktuelle Arbeitsergebnisse, Publikationen und Entwürfe
• informieren wir Sie bereits frühzeitig über zukünftige Veranstaltungen

Der Weg zur sicheren KI-Zukunft führt über technologieneutrale Regeln und integrierte Standards 

DKE: Welche Entwicklungen im Bereich generativer KI und funktionaler Sicherheit sowie der Weiterentwicklung der ISO 61508 erwarten Sie in den nächsten fünf bis zehn Jahren?

Adler: Zunächst wird das Thema vor allem im Rahmen der ISO/IEC TS 22440 („Functional Safety and AI systems“) behandelt. Ob und in welcher Form diese Ergebnisse später in die IEC 61508 einfließen oder ob eher auf eine überarbeitete ISO/IEC TS 22440 verwiesen wird, ist derzeit noch offen.

DKE: Was macht die Integration von KI in bestehende Sicherheitsstandards so komplex?

Adler: Die klassische funktionale Sicherheit konzentriert sich auf das korrekte Systemverhalten und Abweichungen davon. Doch bei autonomen Systemen kann man nicht vollständig und eindeutig spezifizieren, welches Verhalten in welcher Situation sicher ist – vor allem, weil sich die Situationen nach der Markteinführung verändern können. Zwar greifen bestehende Standards einzelne Aspekte dieser Herausforderung bereits auf, doch insgesamt entsteht dadurch ein unübersichtlicher Flickenteppich.

Deshalb wäre es sinnvoll, einen umfassenden Standard zu schaffen, der alle relevanten Aspekte integriert und auf bestehende Einzelstandards verweist. Eine gute Grundlage dafür bietet etwa die VDE-AR-E 2842-61 (Entwicklung und Vertrauenswürdigkeit von autonom/kognitiven Systemen), die strukturierte Sicherheitsargumentationen (Assurance Cases) für autonome Systeme etabliert. Auch UL 4600 (Standard for Safety for the Evaluation of Autonomous Products) verfolgt den Ansatz der strukturierten Sicherheitsargumentationen. Die Herausforderung dabei ist, diese Argumentationen objektiv oder zumindest intersubjektiv bewertbar zu machen, sodass verschiedene Gutachter zu vergleichbaren Ergebnissen kommen.

DKE: Welche Wünsche würden Sie an Politik (AI Act der EU) und Industrie hinsichtlich der Weiterentwicklung von KI im Safety Engineering adressieren?

Adler: Mein Wunsch wäre, die Regulierung im Sinne des New Legislative Frameworks technologieneutral zu halten und technische Aspekte der technischen Normung zu überlassen. Bei autonomen Maschinen und Safety sollte sich die Regulierung darauf konzentrieren, technologieneutral vorzugeben, wie hoch der Sicherheitsanspruch ist. Die technische Normung kann sich dann darum kümmern, wie man diesen Anspruch erfüllt. Dazu gehört dann die Frage, ob und wie man welche Art von KI-Technologie einsetzt. Wenn man die Technologie selbst reguliert, dann besteht die Gefahr, dass nicht die beste und vertrauenswürdigste technologische Lösung gewählt wird, sondern die mit den geringsten regulatorischen Hürden.

DKE: Vielen Dank, Dr. Adler, für Ihre spannenden Einblicke. Es wird deutlich, dass generative KI das Potenzial hat, das Safety Engineering nachhaltig zu verändern – aber auch, dass es noch viele offene Fragen gibt. Wir freuen uns auf Ihre Keynote bei den Erfurter Tagen zur Funktionalen Sicherheit und sind gespannt auf die weitere Entwicklung dieses faszinierenden Themas.

Redaktioneller Hinweis:

Die Antworten entsprechen den persönlichen Ansichten und Meinungen des Interviewpartners und müssen nicht denen der DKE entsprechen.

DKE Tagung Funktionale Sicherheit 2025: Keynotes, Fachdiskussionen, Community

Sie möchten vom 13. bis 14. Mai 2025 an der Veranstaltung in Erfurt teilnehmen? Wir freuen uns auf Sie!

Core Safety & Information Technologies umschließt alle Aspekte der Sicherheit: grundlegende  Sicherheitsanforderungen, funktionale Sicherheit, Informationssicherheit sowie deren Wechselwirkungen. Außerdem befasst sich Core Safety mit wichtigen Querschnittsthemen und definiert grundlegende Anforderungen die allgemein einzuhalten sind – zum Beispiel für Elektromagnetische Verträglichkeit, Umwelt- und Ressourceneffizienz, Schadstoffe, Größen, Einheiten und Kennzeichnungen. Weitere Inhalte zu diesem Fachgebiet finden Sie im