In kritischen Situationen zählt nicht nur Geschwindigkeit, sondern auch nachvollziehbare Entscheidungslogik. Transparente KI macht Quellen, Unsicherheiten und Herleitungen sichtbar – und ermöglicht so fundierte Entscheidungen mit menschlicher Kontrolle.
Ein Gastbeitrag von Heiko Beier, Geschäftsführer von moresophy
Eine US-amerikanische KI im Verteidigungsministerium stuft ein chinesisches Handelsschiff als Lieferant von Atomwaffenteilen ein und löst einen militärischen Konflikt aus. Was wie ein billiger Plot für einen apokalyptischen Sci-Fi-Film klingt, war diese Woche traurige Wahrheit ‒ nur dass zum Glück kurz vor dem Angriff ein Mensch die Fehleinschätzung erkannt und eingebremst hat. Das Grundproblem schwelt aber weiter vor sich hin, obwohl es bessere Lösungsansätze gibt.
In kritischen Situationen, sei es bei militärischen Angriffen oder plötzlichen Ausfällen wichtiger KRITIS, ist schnelles Handeln bei oft unvollständiger Informationslage besonders wichtig. Personen, die für solche Fälle geschult sind, wissen, dass es besonders darauf ankommt, Daten- und Informationsquellen zu bewerten, Widersprüche und Informationslücken sichtbar zu machen und Entscheidungsketten transparent darzustellen.
Eine generative künstliche Intelligenz auf LLM-Basis, deren Entscheidungswege nicht nachvollziehbar sind und die bei mangelhafter Informationslage Informationslücken durch plausible Annahmen füllt ‒ also fantasiert ‒ ist für kritische Entscheidungen in Krisenfällen ungeeignet. Denn sie arbeitet wie eine Black-Box und präsentiert am Ende etwas, was Menschen dann nur noch annehmen oder ablehnen können, ohne die Herleitung und Widersprüche zu kennen, die zu der Empfehlung geführt haben. Das Ergebnis mag plausibel klingen, kann aber völlig falsch sein, weil es auf nicht verifizierten Annahmen fußt, die als solche noch nicht einmal kommuniziert werden.
Beispiel: Lageeinschätzung
Das zu Beginn genannte Beispiel zeigt das ganze Problem: Ein Lagebild entsteht aus vielen Quellen: Einzelnen Meldungen, Sensordaten, historischen Ereignissen, Daten aus internen Quellen und Nachrichten aus externen Quellen. Ein KI-Assistent verarbeitet alle Informationen und erzeugt daraus eine konsistente Einschätzung, die plausibel klingt, aber auch komplett falsch sein kann.
Ein Krisenstab muss sehen können, welche Informationen und Informationslücken zu der Einschätzung geführt haben und wie die Quellen bewertet und gewichtet wurden. Dann lässt sich eher erkennen, ob die Lage richtig oder falsch eingeschätzt wurde.
Statt die Lageeinschätzung einer generativen Black-Box-KI auf LLM-Basis zu überlassen, sollte daher eine KI-Technologie mit datengetriebener Reasoning-Orchestrierung eingesetzt werden. Zur Erzeugung eines realistischen Lagebilds setzt sie Skill-Module ein, die einzelne Quellen erfassen, deren Verlässlichkeit bewerten und die Herleitung der Ergebnisse dokumentieren. Die Orchestrierungsaufsicht fügt dann alle Einzeleinschätzungen zu einem Gesamtbild zusammen.
Sie nutzt dazu eine zuvor definierte fachliche Logik und sorgt so dafür, dass immer klar ist, wie das System zu einer bestimmten Einschätzung kommt. Diese lässt sich anschließend auch überprüfen und gegebenenfalls korrigieren. Das heißt, die Zwischenschritte sind nachvollziehbar, überprüfbar und können fortlaufend optimiert werden.
Menschliche Kontrolle: Kein Friss oder stirb
Erst diese Transparenz ermöglicht Menschen eine echte Kontrolle und fundierte Entscheidungen. Ein Human-in-the-loop hat nur Alibi-Funktion, wenn der Mensch einen KI-Vorschlag nur freigeben oder ablehnen kann, ohne dessen Grundlage zu kennen.
Freigaben durch Menschen sollten dort erfolgen, wo ein fachliches Urteil gefragt ist, etwa bei widersprüchlichen Quellen, kritischen Schwellenwerten oder weitreichenden Entscheidungen. Ein Konflikt-Score kann beispielsweise anzeigen, wie widersprüchlich die Datenlage ist und macht damit Unsicherheiten sichtbar. So bleibt die Verantwortung beim Menschen, ohne auf die Geschwindigkeit und Analysefähigkeit von KI verzichten zu müssen.
Ein Beispiel für eine solche analytische KI-Architektur ist DAPHY®, eine vom Münchener KI-Anbieter moresophy entwickelte Technologie zur datengetriebenen Reasoning-Orchestrierung. Sie lässt sich aber nicht nur für Lagebilder einsetzen, sondern kann auch bei Risikobewertungen, Ressourcenplanungen und beim Business Continuity Management sinnvolle Dienste leisten.
Breites Anwendungsfeld
Eine KI, deren Erkenntnislogik exakt den Vorgaben des einsetzenden Unternehmens folgt, kann auch im Umfeld von ERP helfen, Vertriebsabläufe zu optimieren, KPIs zu beobachten und eine Produktionsplanung effizienter zu gestalten.
Ebenso lässt sie sich einsetzen, um Ausschreibungen auf rechtliche Fallstricke zu prüfen, Compliance-Vorgaben einzuhalten oder das interne Wissensmanagement zu verbessern. Da die KI transparent arbeitet, kann der Einsatz Stück für Stück an die Unternehmensprozesse optimiert und an sich ändernde Prozesse angepasst werden.
Echte KI-Souveränität durch Transparenz
Der Einsatz nachvollziehbarer Künstlicher Intelligenz ist außerdem der entscheidende Schritt zu echter KI-Souveränität. Es geht letztlich nicht nur um die Hoheit über die eigenen Daten und technische Wahlfreiheit, sondern auch darum, kontrollieren zu können, wie KI-gestützte Einschätzungen und Entscheidungen zustande kommen, und gezielt in diese Prozesse eingreifen zu können.
Dafür steht der Begriff der „kognitiven Souveränität“. Er bezeichnet die Fähigkeit einer Organisation, selbst zu kontrollieren und zu verstehen, wie aus ihren eigenen Daten Einschätzungen und Entscheidungen entstehen. Die Organisation legt dabei selbst die fachliche Logik fest, nach der KI-Modelle arbeiten, und ist nicht an bestimmte Sprachmodelle gebunden.
Das bedeutet auch, dass Modelle ausgetauscht werden können, ohne dass sich das auf die Entscheidungsprozesse und Nachvollziehbarkeit auswirkt.
Über den Autor
Heiko Beier ist Geschäftsführer von moresophy und Professor für Künstliche Intelligenz mit über 25 Jahren Erfahrung in der KI-gestützten Datenanalyse und Automatisierung von Geschäftsprozessen. Seine Expertise umfasst die Entwicklung erklärbarer KI-Lösungen, die sich nahtlos in Unternehmensprozesse integrieren lassen.
Zentrale Erkenntnisse der DS-Redaktion
- Black-Box-KI birgt Risiken: Plausible Ergebnisse können auf falschen oder unvollständigen Annahmen beruhen.
- Transparenz schafft Kontrolle: Quellen, Informationslücken und Herleitungen müssen nachvollziehbar sein.
- Human-in-the-loop braucht Kontext: Menschen müssen Unsicherheiten und Widersprüche bewerten können.
- Nachvollziehbare Orchestrierung: Fachliche Logiken und Bewertungsschritte lassen sich dokumentieren und überprüfen.
- Kognitive Souveränität: Unternehmen sollten ihre Entscheidungslogik selbst bestimmen und Modelle flexibel austauschen können.
Fazit der DS-Redaktion
KI kann kritische Entscheidungen beschleunigen – wenn ihre Ergebnisse nachvollziehbar und kontrollierbar bleiben. Transparenz, menschliche Verantwortung und eigene Entscheidungslogiken schaffen dafür die Grundlage.
Weitere Informationen
21.09.2026
Neue KI-Modelle: Forderung des TÜV-Verbands nach unabhängiger Prüfung
DATENSICHERHEIT.DE, 03.09.2026
AISI Deutschland soll zum Kompetenzzentrum für sichere KI werden
DATENSICHERHEIT.DE, 30.08.2026
Digitale Belegschaft im KI-Zeitalter: Open Secure AI Alliance für sichere KI gegründet
