Digitale Belegschaft im KI-Zeitalter: Open Secure AI Alliance für sichere KI gegründet

Matt Duren, „SVP of AI & Data“ bei KnowBe4
Matt Duren, „SVP of AI & Data“ bei KnowBe4

Matt Duren erläutert den Hintergrund zur Gründung der „Open Secure AI Alliance“ und das Engagement von KnowBe4 angesichts der Herausforderungen einer digitalen Belegschaft in Gestalt von Menschen und KI-Agenten.

Matt Duren, „SVP of AI & Data“ bei KnowBe4, geht in seiner aktuellen Stellungnahme auf die neue „Open Secure AI Alliance“ ein und erläutert deren Anspruch: „Vor Kurzem hat NVIDIA gemeinsam mit Microsoft, Cisco, CrowdStrike, Palo Alto Networks und vielen weiteren Unternehmen die ,Open Secure AI Alliance’ gegründet. Hinter dieses Bündnis stellt sich auch KnowBe4.“

Ziel dieser Allianz sei es, offene Werkzeuge zu entwickeln und bereitzustellen, mit denen sich Künstliche Intelligenz (KI) im Zeitalter autonomer KI-Agenten absichern lässt.

KI-Sicherheit als vielschichtige Herausforderung

„Die Allianz stellt die richtige Frage, und ihre Antwort verdient Wiederholung“, unterstreicht Duren. Denn die Sicherheit entscheide sich „am gesamten Agenten-Stack, an Identitäten, Berechtigungen, Harnesses, Leitplanken, Protokollen und Evaluierung“.

Ob ein KI-System als „Open-Weight-Modell“ vorliegt, dessen Parameter frei heruntergeladen werden können, oder als geschlossenes Modell, sei dabei nur einer von vielen Faktoren.

„Das sehen wir genauso. Genau deshalb haben wir in den vergangenen Jahren jenen Teil dieses Stacks entwickelt, der dem tatsächlichen Verhalten von Agenten am nächsten kommt, sobald diese in einem realen Unternehmen zum Einsatz kommen.“

Moderne Belegschaften umfassen Menschen und KI-Agenten

Duren beschreibt die neuartige Herausforderung: „Für uns besteht die moderne Belegschaft aus Menschen und KI-Agenten, und hinter dem nächsten Sicherheitsvorfall kann jede der beiden Seiten stehen. Modell- und Harness-Sicherheit beantworten die Frage, ob einem System grundsätzlich zu trauen ist.“

Doch eine zweite Frage wiege ebenso schwer: „Was genau tut ein bestimmter Agent gerade jetzt, in dieser konkreten Umgebung, mit diesen Berechtigungen?“

Für die Antwort darauf habe KnowBe4 den „Agent Risk Manager“ entwickelt. Diese produktionsreife Governance-Ebene für autonome KI-Agenten soll Sicherheitsteams in Echtzeit den Überblick darüber verschaff, worauf ein Agent zugreift, welche Daten er bewegt und ob eine „Prompt Injection“ ihn umgelenkt hat. „Sie funktioniert unabhängig davon, ob das zugrunde liegende Modell offen oder geschlossen ist.“

Für KI-Agenten sollten prinzipiell dieselben Sicherheitskriterien gelten wie für menschliche Mitarbeiter

Entwickelt worden sei der „Agent Risk Manager“, weil ihnen in der Praxis immer wieder dasselbe Muster begegnet sei, „auf das auch die ,Open Secure AI Alliance’ verweist“. Duren erläutert: „Als der OpenAI-Agent aus seiner Umgebung ausbrach und Hugging Face angriff, lag die Ursache nicht im Modell selbst. Das eigentliche Problem war sein Verhalten, das niemand im Blick hatte, bis der Schaden bereits eingetreten war.“

Dieses Muster kennen sie demnach gut. Seit über 15 Jahren stehe bei ihnen der Mensch in der Organisation im Mittelpunkt der Sicherheit – und die Lehre daraus lasse sich unmittelbar übertragen: „Man prüft nicht nur, wer jemand ist, bevor er eine Stelle antritt, sondern achtet auch darauf, was er tut, sobald er sie ausübt.“ KI-Agenten zählten nun heute ebenfalls mit zur Belegschaft. Duren unterstreicht: „Und für sie sollte derselbe Maßstab gelten!“

Eine offene, gemeinsam genutzte Infrastruktur für die Verteidigung gegen KI-gestützte Bedrohungen sei genau die jetzt gefordert Investition. „Und die Kontrolle über das Verhalten von Agenten gehört ebenso in diese Diskussion wie die Sicherheit der Modelle selbst.“ Ihr Auftrag sei die Absicherung der modernen, digitalen Belegschaft also der Menschen wie der KI-Agenten gleichermaßen. „Es ist daher zu begrüßen, dass sich die Branche zusammenschließt, um KI mit offenen, gemeinsamen Werkzeugen sicherer zu machen“, so Durens abschließender Kommentar.

Zentrale Erkenntnisse der DS-Redaktion

  • Der Einsatz Künstlicher Intelligenz, zumal in Gestalt autonomer KI-Agenten, stellt eine derartig große Herausforderung an die Branche sowie die Anwender in den Betrieben dar, dass jede Initiative zur Kooperation in Sicherheitsfragen zu begrüßen ist.
  • Offene virtuelle Werkzeuge auf Basis gemeinsamer Standards, um den KI-Einsatz sicherer zu machen, sind die Basis zur sinnvollen, erfolgreichen Nutzung der Chancen.
  • Mensch und KI mit ihren jeweils spezifischen Funktionen stellen fortan im Prozessverständnis die Belegschaft in Betrieben dar.
  • Mehr noch als zuvor ist Früherkennung gefragt – potenziell schädliches Verhalten von Teilen der Belegschaft gilt es rechtzeitig, d.h. möglichst vor dem Eintritt eines sicherheitskritischen Vorfalls, zu erkennen, um noch gegensteuern zu können.
  • Im Kontext der Notfall- und Wiederanlaufplanung sowie der Ausrichtung der Betriebe auf Resilienz bzw. Stabilität sollte aber der Eintritt eines schädliche Vorfalls stets einkalkuliert werden.

Weitere Informationen

DATENSICHERHEIT.DE, 28.08.2026
KI: Potenziale nutzen – Risiken kontrollieren

DATENSICHERHEIT.DE, 16.08.2026
EU AI Act: Handlungsdruck auf IT- und Datenverantwortliche im KI-Umfeld bleibt hoch

DATENSICHERHEIT.DE, 13.08.2026
KI-Nutzungsdruck als Risiko: 5 Schritte für einen verantwortungsvollen Einsatz

DATENSICHERHEIT.DE, 18.07.2026
Fortune 100: KI-gestützte Phishing-Angriffe auf 86 Prozent der großen Welt-Unternehmen

DATENSICHERHEIT.DE, 28.01.2026
KI-Agenten und IT-Sicherheit: Zwei Seiten einer Medaille

DATENSICHERHEIT.DE, 08.11.2025
Einsatz von KI-Agenten: Lückenlose Governance für Unternehmen mittlerweile unerlässlich

DATENSICHERHEIT.DE, 09.06.2025
Aufbau der KI-Kompetenz in der Belegschaft: Von der Pflicht zur Kür

Weitere Beiträge