DeepSeek-R1 als Warnsignal: KI-Sicherheit muss bei der Architektur beginnen

„Chain-of-Thought Reasoning“ soll Nachvollziehbarkeit von KI-Entscheidungen verbessern, kann aber von Cyber-Kriminellen missbraucht werden

[datensicherheit.de, 27.02.2025] Künstliche Intelligenz (KI) revolutioniere nicht nur Geschäftsprozesse, sondern bringe auch neue, hochkomplexe Sicherheitsrisiken mit sich, erläutert Richard Werner, „Security Advisor“ bei Trend Micro, in seiner aktuellen Stellungnahme. Ein aktuelles Beispiel sei „DeepSeek-R1“, ein KI-Modell, welches demnach mit sogenanntem Chain-of-Thought (CoT) Reasoning arbeitet. „Diese Methode soll die Nachvollziehbarkeit von KI-Entscheidungen verbessern, indem sie Denkschritte explizit offenlegt.“ Doch genau hierin liege die Schwachstelle: „Unsere aktuelle Analyse zeigt, dass Angreifer diese Transparenz für gezielte Prompt-Attacken missbrauchen können.“

Foto: Trend Micro

Richard Werner: KI-Technologien nutzende Unternehmen müssen diese proaktiv absichern – bevor Cyber-Kriminelle tätig werden

Unternehmen mit GenKI müssen auch neue Angriffsmethoden infolge KI-spezifischer Architekturen bedenken

Sie könnten durch gezielt formulierte Anfragen System-Prompts offenlegen, Sicherheitsmechanismen umgehen oder sich unberechtigten Zugriff auf sensible Daten verschaffen. Besonders besorgniserregend sei:

„In unseren Tests war der Erfolg solcher Angriffe in den Kategorien sensitive Datenexfiltration und unsichere Ausgabeerzeugung besonders hoch.“

Dies zeige, dass Unternehmen, welche Generative KI einsetzen, nicht nur klassische Cyber-Gefahren bedenken müssten, sondern auch neue Angriffsmethoden, die sich durch KI-spezifische Architekturen ergäben.

KI nicht nur Waffe gegen Cyber-Angriffe, sondern kann auch selbst Angriffsfläche werden

Bedeutung für Unternehmen lt. Trend Micro:

KI-Modelle müssen sicherheitsorientiert entwickelt werden!
Transparenz sei wichtig, dürfe aber keine Einladung für Angreifer sein.

Regelmäßiges Red-Teaming ist unverzichtbar!
Unternehmen sollten KI-Systeme kontinuierlich auf Schwachstellen testen – ähnlich wie bei klassischen IT-Security-Audits.

Prompt-Härtung als neue Disziplin!
Sicherheitsmechanismen, welche KI-Modelle gegen manipulative Eingaben absichern, müssten Standard werden.

Werner gibt abschließend zu bedenken: „Die Forschung zu ,DeepSeek-R1‘ zeigt, dass KI nicht nur eine Waffe gegen Cyber-Angriffe ist, sondern auch selbst zur Angriffsfläche wird.“ Unternehmen, die KI-Technologien nutzen, müssten sich zur Absicherung proaktiv um diese kümmern – bevor Cyber-Kriminelle es tun.

Weitere Informationen zum Thema:

Trend Micro
Exploiting DeepSeek-R1: Breaking Down Chain of Thought Security

datensicherheit.de, 29.01.2025
GenAI und Menschlicher Faktor wichtigste Datenschutzaspekte / Ein Prozent der Benutzer für 88 Prozent der Datenverlustwarnungen verantwortlich

datensicherheit.de, 03.07.2024
Generative KI gewinnt im Alltag an Bedeutung und definiert Prinzipien der Datensicherheit neu / Joseph Regensburger kommentiert private und berufliche Herausforderungen der KI-Fortentwicklung hinsichtlich der Datensicherheit

datensicherheit.de, 25.04.2024
Generative KI: Jüngste Erkenntnisse von Check Point Research zur Gefahr für die Wahlen 2024 / CPR hat Wahlen welweit beobachtet, um den Einsatz generativer Künstlicher Intelligenz (KI) zu analysieren