EU AI Act: Aktuelle KI-Vorfälle unterstreichen Notwendigkeit der Regeln

Reglementierungen kommen wohl genau zur richtigen Zeit – wie die jüngsten Vorfälle um den KI-Chatbot „Claude“ und „Hugging Face“ zeigen

[datensicherheit.de, 05.08.2026] Mark Molyneux, „Field CTO“ bei Commvault, hat den 2. August 2026 als Anlass für eine aktuelle Stellungnahme genommen, denn Teile der verbleibenden Elemente des „EU AI Act“ – der ersten KI-Regulierung der EU – sind anwendbar geworden und sollen fortan beim KI-Einsatz für „mehr Disziplin und Sicherheit“ sorgen. Diese Reglementierungen kommen demnach wohl zur richtigen Zeit, wie die jüngsten Vorfälle um den KI-Chatbot „Claude“ und „Hugging Face“ zeigen. KI reiße Sicherheitslücken und könne Daten kompromittieren. „Was bedeuten die neuen Regeln für Unternehmen, und wie können sie sich vorbereiten? Acht Jahre nach Einführung der DSGVO und angesichts neu hinzugekommener Regularien zur Cyberresilienz wie NIS-2 oder DORA stehen Datensicherung und damit Datenschutz erneut vor neuen Anforderungen.“ KI-Modelle wie Anthropics „Mythos“ werden laut Molyneux’ Warnung zu einem „drastischen Anstieg von Datenschutzvorfällen“ führen.

Foto: Commvault

Mark Molyneux: Vertrauen in KI darf niemals als selbstverständlich vorausgesetzt werden!

KI handelt nicht böswillig, sondern folgt „Reward Hacking“-Motivation

„Typische ,Kinderkrankheiten’ einer jungen Technologie oder grundlegende Sicherheitsrisiken, die auch künftig schwer einzudämmen bleiben?“ Die jüngsten Ereignisse sprechen laut Molyneux für Letzteres.

• „Getestete KI-Systeme überraschten ihre Entwickler: OpenAI kompromittierte ,Hugging Face’ und mindestens vier weitere Dienste. Die KI handelte nicht böswillig, sondern verließ für ein ,Reward Hacking’ (Belohnungsmanipulation) seinen vorgesehenen Wirkungsbereich und konnte durch das Kompromittieren externer Systeme sein – durchgehend unverändertes – Ziel erreichen.“

Nun habe auch Anthropic zugeben, dass seine Künstliche Intelligenz (KI) in Testläufen ungeplant in Computersysteme von drei Unternehmen eingedrungen sei.

KI – neu, faszinierend und offensichtlich schwer beherrschbar

In einem anderen Vorfall hätten KI-Funktionen neue Wege gefunden oder mit etablierten externen Diensten interagiert, wie dem „Google“-Index im Fall des „Claude“-Chatbots. Nutzer hätten diese Chats zuvor zur Freigabe aktiviert. Dadurch seien ihre Prompts von Suchmaschinen wie „Google“ indexiert und damit öffentlich zugänglich geworden.

• „Hunderte von Nutzern machten ihre Unterhaltungen mit einer Funktion des KI-Chatbots ,Claude’ im Internet öffentlich zugänglich, ohne dies zu wissen – ein Verstoß gegen den Datenschutz“, so Molyneux.

KI sei neu, faszinierend und offensichtlich schwer beherrschbar. Selbst in kontrollierten Testszenarien hätten die Modelle einen Weg aus der isolierten Umgebung gefunden. „Dabei handeln autonome KI-Systeme zielorientiert und tun dies häufig auf eine Weise, die von ihren Entwicklern weder bedacht noch beabsichtigt war.“

Notwendige KI-Regeln für mehr Disziplin und eine fundierte Risikoanalyse

„Es wirkt fast ironisch, dass im Juli so viele Vorfälle auftraten. Denn am zweiten August werden ein guter Teil der verbleibenden Elemente des EU AI Act durchsetzbar und vervollständigen den risikobasierten Regulierungsrahmen für KI-Systeme.“

• Die Verordnung lege Regeln für Entwickler und Anwender von Hochrisiko-KI-Systemen fest. Sie umfasse unter anderem Risikomanagement, „Data Governance“, technische Dokumentation, Aufzeichnungspflichten, Transparenz, menschliche Aufsicht, Genauigkeit, Resilienz, Cybersicherheit und Meldepflichten schwerwiegender Vorfälle: „Für eine vertrauenswürdige, nutzerzentrierte KI in Europa, welche die Gesundheit, Sicherheit oder Grundrechte der EU-Bürger nicht gefährdet.“

Unternehmen mit eigenen KI-Projekten oder solche, die externe KI-Dienste nutzen, sollten spätestens jetzt prüfen, inwieweit KI-Regeln ihre IT-Governance-Sicht betreffen. Für IT-Entscheider und CISOs sei die Aufgabe klar: Sie müssten ihr Sicherheitsmodell mit demselben Tempo weiterentwickeln, welches den Einsatz der KI diktiert. Das neue Gesetz zeitige auch für solche Unternehmen Folgen, welche der „EU AI Act“ nur am Rande betreffe.

Mark Molyneux’ Empfehlungen zur Einhegung von KI-Risiken:

• „Recovery“ für Daten und Infrastrukturen
  Wer sich auf KI-Governance vorbereitet, benötige vertrauenswürdige Daten und eine widerstandsfähige KI-Infrastruktur. Nur in einer wiederherstellbaren IT ließen sich Nachweise über Betriebsabläufe vorhalten und pflegen. Ebenso wichtig sei die Kompetenz, auf potenzielle Cybervorfälle – einschließlich KI-gestützter Angriffe – zu reagieren, welche auf KI-Systeme und deren Datenintegrität abzielen.
• Identitätssicherheit
  Jeder KI-Agent sei wie eine „privilegierte digitale Identität“ zu behandeln. Die Resilienzbeauftragten sollten ihm nur die unbedingt erforderlichen Zugriffsrechte geben und ihn kontinuierlich auf ungewöhnliches Verhalten überwachen.
• Ständige Checks
  Unternehmen sollten permanent die Zugriffsrechte eines KI-Agenten überprüfen, anstatt sich auf Annahmen zu verlassen. „Sicherheitsrisiken entstehen oft genau aus der Diskrepanz zwischen den absichtlich bewilligten und den tatsächlich vorhandenen Privilegien“, gibt Molyneux zu bedenken.
• Eindämmung des unvermeidbaren Ernstfalls
  Prävention verhindere nicht den Sicherheitsvorfall: „Die Aufgabe ist das Eindämmen des Unvermeidbaren!“ Daran müssten sich alle beteiligen, denn KI verwische die Grenzen zwischen Sicherheit, Identitätsmanagement und Wiederherstellung. Dennoch behandelten viele Organisationen diese Bereiche weiterhin als Einzeldisziplinen. „Das ist kein tragfähiges Fundament mehr!“ Unternehmen benötigten ein Modell für operative Resilienz, welches die zuständigen Teams zusammenbringe, um Anomalien schnell zu erkennen, betroffene Systeme zu isolieren und saubere, vertrauenswürdige Daten wiederherzustellen – „bevor sich eine Störung weiter ausbreitet“.
• Transparenz für den Nutzer
  Anwender müssten klar erkennen können, dass sie mit einem KI-Agenten oder Chatbot interagieren. „Ihnen muss ersichtlich sein, dass emotionale oder biometrische Analysen zum Einsatz kommen, sowie ob generierte Informationen künstlich erzeugt oder ein ,Fake’ sind – insbesondere bei der nachträglichen Manipulation von Bildern ohne das OK der betroffenen Personen.“

Molyneux’ Fazit: „Die aktuellen Vorfälle sollten Unternehmen nicht vom KI-Einsatz abhalten. Sie müssen jedoch die Annahme oder vielmehr den Wunsch und die Hoffnung aufgeben, dass autonome Systeme stets wie vorgesehen funktionieren. Vertrauen in KI darf niemals als selbstverständlich vorausgesetzt werden! Kontrolle und Resilienz durch eine gewährleistete ,Recovery‘ sind notwendig. Denn auch die besten Sicherheitsmaßnahmen werden Angreifer und die KI-Agenten der Gegenseite irgendwann umgehen.“

Weitere Informationen zum Thema:

Commvault
What Commvault Does for Our Customers / Commvault Cloud delivers unified resilience at enterprise scale — bringing together data security, identity resilience, and cyber recovery into one simple, powerful, cloud-native platform.

Linkedin
Mark Molyneux

zdfheute, 31.07.2026
KI-Hacker-Attacke:Nach OpenAI: Auch Anthropic griff echte Firmen an / Erst hackte ein KI-Modell von OpenAI fremde Computersysteme. Jetzt meldet auch Anthropic „unbefugten Zugriff“ auf Organisationssysteme.

datensicherheit.de, 03.08.2026
„Claude“-Ausbrüche mahnen: KI-Modelle durch „Zero Trust“ einhegen / Sobald ein autonomer KI-Agent eine kontrollierte Umgebung verlassen kann, nimmt er die Grenzen einer Organisation nicht auf die gleiche Art und Weise wahr wie Menschen

datensicherheit.de, 21.07.2026
Cyberangriff auf Hugging Face: Experten ordnen die neue Dimension von KI-Angriffen ein / Ein aktueller Cyberangriff beherrscht aktuell die Schlagzeilen: Ein autonomer KI-Agent nutzte Schwachstellen in der Datenverarbeitungs-Pipeline von Hugging Face aus. Über manipulierte Datensätze wurde Schadcode eingeschleust, der es dem Agenten ermöglichte, auf Clusterebene zu gelangen und Cloud-Zugangsdaten zu stehlen.

datensicherheit.de, 23.04.2026
Claude Mythos: Anthropic könnte Büchse der Pandora geöffnet haben​ / Über einen Mangel an Publicity kann sich Anthropic-Chef Dario Amodei dieser Tage sicher nicht beschweren, kommentiert Jochen Koehler