[datensicherheit.de, 27.10.2025] Die Technische Universität Berlin (TUB) hat in ihrem neuen Positionspapier „Why Highly Reliable Decision Support Systems Often Lead to Suboptimal Performance and What We Can Do About it“ ganz offensichtlich ein unbequemes Ergebnis zusammengefasst: Mensch-KI-Teams treffen demnach oft schlechtere Entscheidungen als die Künstliche Intelligenz (K0)I allein. „Was paradox klingt, zeigt sich in vielen Feldern wie Radiologie, Sicherheitstechnik oder Prozessüberwachung.“ Je zuverlässiger die Systeme seien, desto größer sei die Gefahr, dass Menschen die korrekten Empfehlungen der KI überstimmten oder ignorierten.

Zuverlässigkeit moderner KI wird unterschätzt

Die Ursachen seien vielfältig, zwei aber würden herausstechen. Erstens: Menschen wollten ihrer Rolle als Entscheider gerecht werden. „Wer nur abnickt, fühlt sich überflüssig und greift ein, auch wenn das System recht hat.“ Zweitens: Die Zuverlässigkeit moderner KI werde unterschätzt. Seltene Fehler erschienen überbewertet, während die hohe Gesamtleistung kaum wahrgenommen werde.

• So entstehe ein Muster, welches die Autoren der TUB in zahlreichen Studien beobachtet hätten: „Menschen greifen unnötig ein und verschlimmbessern so die Gesamtleistung“, kommentiert Dr. Tobias Rieger, Psychologe am Fachgebiet „Handlungs- und Automationspsychologie“ der TUB und Erstautor des Positionspapiers.

So überschrieben Radiologen korrekte Befunde, weil sie ihrer Rolle als finale Entscheider gerecht werden wollten – und am Flughafen entschieden Gepäck-Screener zwar besser mit KI-Assistenz, jedoch häufig auch nicht so gut wie das System allein.

Konflikt mit KI-Regulierung der EU

Brisant sei dies auch mit Blick auf das EU-Gesetz zur KI-Regulierung („AI Act“). Dieses fordere „wirksame menschliche Aufsicht“ für Hochrisiko-Anwendungen. „Doch wie soll ein Radiologe oder eine Personalabteilung Verantwortung übernehmen, wenn die Maschine statistisch klar überlegen ist?“ Wenn Menschen systematisch schlechter entschieden als die KI, stelle sich die Frage, wie Aufsicht in der Praxis gestaltet werden könne, ohne die Gesamtleistung zu verschlechtern.

• „Welche Lösungen sind denkbar?“ Ein Weg ist laut den Forschern mehr Transparenz. Doch klassische Ansätze der „erklärbaren KI“ reichten nicht: Zu wissen, was ein „tiefes neuronales Netzwerk“ ist, nütze dem Radiologen wenig.

Stattdessen müsse es um verhaltensleitende Erklärungen gehen. Systeme sollten ihre Stärken und Schwächen klar kommunizieren, zum Beispiel: „Bei dieser Patientengruppe ist meine Prognose für eine Krebserkrankung besonders zuverlässig.“ So wüssten Nutzer, „wann Zustimmung angebracht ist und wann sich ein kritischer Blick lohnt“.

Der Weg zur Synergie: Spätere KI-Nutzer bereits in ihre Entwicklung mit einbinden

Noch weiter reichten sogenannte adaptive Konzepte. „Die Maschine könnte lernen, wo der Mensch stark ist und ihm in diesen Fällen die Entscheidung überlassen.“ Umgekehrt könnte sie nur bei Unsicherheiten Empfehlungen geben.

• „Das Ziel ist eine echte Synergie, in der Mensch und Maschine sich sinnvoll ergänzen. Dafür gibt es keine One-Size-Fits-All-Lösung, sondern es braucht maßgeschneiderte Ansätze für unterschiedliche Anwendungsfelder“, unterstreicht Rieger. Deswegen sollten die späteren KI-Nutzer bereits in ihre Entwicklung mit eingebunden werden.

Bis dahin sei es noch ein weiter Weg. Doch das TUB-Positionspapier mache deutlich: Der Schlüssel liege nicht darin, Menschen aus dem Prozess zu drängen, sondern Systeme so zu gestalten, dass beide Partner einander ergänzten. „Erst dann können Mensch und KI gemeinsam tatsächlich bessere Entscheidungen treffen!“

Weitere Informationen zum Thema:

IEEEXplore, Oktober 2025
Why Highly Reliable Decision Support Systems Often Lead to Suboptimal Performance and What We Can Do About it

TECHNISCHE UNIVERSITÄT BERLIN
Dr. Tobias Rieger

TECHNISCHE UNIVERSITÄT BERLIN
Handlungs- und Automationspsychologie: Forschungsprofil / Mensch-KI- und Mensch-Automation-Interaktion

datensicherheit.de, 31.07.2025
Ein Jahr AI Act: eco mahnt rechtssichere Rahmenbedingungen und politischen Gestaltungswillen an / Vor einem Jahr, am 1. August 2024, ist der europäische „AI Act“ in Kraft getreten – laut eco ein historischer Meilenstein für die globale KI-Regulierung und Grundlage, um KI „Made in Europe“ zum Erfolgsmodell zu machen

datensicherheit.de, 05.02.2025
AI Act der EU verbietet bestimmte KI-Systeme und verpflichtet zur -Kompetenz / Die neue Regelung setzt das Verbot bestimmter KI-Systeme durch und legt Anforderungen an die -Kenntnisse der Beschäftigten fest

datensicherheit.de, 04.02.2025
„AI Act“: Seit dem 2. Februar 2025 weitere Regelungen der europäischen KI-Verordnung in Kraft / Eigentlich sollte der „AI Act“ für Rechtssicherheit in Europa sorgen – aktuell droht das genaue Gegenteil, so die Bitkom-Kritik

datensicherheit.de, 03.02.2025
AI Act: eco-Kommentar zum Inkrafttreten – nationale Gesetzgebung muss Vision und Praxis vereinen! / Ab dem 2. Februar 2025 verbietet der „AI Act“ Manipulation durch KI, „Social Scoring“ und biometrische Fernidentifikation in Echtzeit

datensicherheit.de, 28.05.2024
Schatten-KI und EU AI Act: Unternehmen müssen sich den Herausforderungen zeitnah stellen / Philipp Adamidis nimmt Stellung zu Aspekten der erfolgreichen KI-Transformation