KI-generierter Code: Armis Labs meldet versteckte Sicherheitsrisiken

Eine aktuelle alarmierende Analyse der Armis Labs zeigt auf, welche Sicherheitsrisiken entstehen, wenn sich Entwickler zu stark auf durch KI generierten Code verlassen

[datensicherheit.de, 18.08.2025] „Der zunehmende Einsatz von KI-gestützten ,Tools’ in der Software-Entwicklung verspricht schnelleres Programmieren, weniger Routineaufgaben und eine gesteigerte Produktivität“, so Michael Freeman, „Head of Threat Intelligence“ bei Armis, in seiner aktuellen Stellungnahme. Eine aktuelle Analyse der Armis Labs zeige indes, welche Sicherheitsrisiken entstehen können, wenn sich Entwickler zu stark auf durch KI generierten Code verließen – „insbesondere dann, wenn manuelle Prüfungen entfallen und automatisierte Vorschläge ungeprüft übernommen werden“.

Foto: Armis

Michael Freeman: Automatisierung allein ersetzt keine Sicherheitsstrategie!

Armis-Entwicklerteam verwendete „DeepSeek“, um Code und externe Bibliotheken automatisch auszuwählen…

Ein interessantes Beispiel aus dem jüngsten Bericht sei „DeepSeek Coder“, ein KI-basierter Code-Assistent, welcher Entwicklungsprozesse beschleunigen solle.

• „In einem simulierten Szenario nutzte ein Entwicklerteam ,DeepSeek’, um Code und externe Bibliotheken automatisch auszuwählen – mit Fokus auf Geschwindigkeit statt Sorgfalt. Das Ergebnis: schwerwiegende Sicherheitslücken!“

Die Künstliche Intelligenz (KI) empfahl demnach Drittanbieter-Bibliotheken mit bekannten, ausnutzbaren Schwachstellen und erzeugte Quellcode mit zahlreichen gängigen Sicherheitsfehlern. „Insgesamt wies die resultierende Anwendung 18 verschiedene Probleme aus der CWE-Top-25-Liste der kritischsten Software-Schwachstellen auf.“

Zentrale Armis-Erkenntnis: KI-gestützte Code-Assistenten nur so verlässlich wie Trainingsdaten und ihr Design

Freeman führt aus: „Dazu gehörten veraltete PDF- und Logging-Bibliotheken mit Anfälligkeit für die Ausführung beliebigen Codes (CWE-94), unsichere Deserialisierung (CWE-502) und fehlerhafte kryptographische Implementierungen (CWE-321).“

• Noch besorgniserregender seien Schwachstellen direkt im generierten Code gewesen – darunter „Cross Site Scripting“ (CWE-79), „SQL Injection“ (CWE-89), „Buffer Overflows“ (CWE-119) sowie unzureichende Authentifizierung und Zugriffskontrolle (CWE-287, CWE-306). „All diese Sicherheitsprobleme sind bekannt und potenziell gravierend – doch die KI erkannte oder verhinderte sie nicht.“

Zentrale Erkenntnis laut Freeman: „KI-gestützte Code-Assistenten sind nur so verlässlich wie ihre Trainingsdaten und ihr Design. Sie können unbewusst unsichere Bibliotheken empfehlen oder schlechte Programmierpraktiken aus öffentlich zugänglichem Code übernehmen.“ Ohne manuelle Prüfungen oder automatisierte Sicherheitsscans verbreiteten sich diese Schwachstellen schnell über ganze Projekte – und erhöhten das Risiko, statt es zu senken.

Produktivitätsgewinne mittels KI erfordern zugleich erhöhte Wachsamkeit

Die Armis-Forscher empfehlen daher, Sicherheitsprüfungen fest in den Entwicklungsprozess zu integrieren. Dazu zählten verpflichtende Code-Reviews, insbesondere für KI-generierte Vorschläge, sowie automatisierte Scans, um riskante Abhängigkeiten oder unsichere Muster zu erkennen. Freeman betont: „Entwickler sollten zudem geschult werden, KI-Ergebnisse kritisch zu hinterfragen, statt sie als automatisch korrekt anzusehen. Ebenso sollten KI-Tools ausschließlich auf sicheren, aktuellen Quellen basieren, um bekannte Fehler nicht zu reproduzieren.“

• Für Softwareteams in Deutschland – vor allem in Kritischen Sektoren wie Industrie, Gesundheitswesen oder Finanzwesen – seien diese Erkenntnisse besonders relevant. Mit der zunehmenden KI-Verbreitung steige auch das Risiko, unsichtbare Schwachstellen in Kritische Infrastrukturen (KRITIS) einzuschleusen. „Der Komfort KI-generierten Codes darf nicht auf Kosten grundlegender Sicherheitsstandards gehen!“

KI werde zweifellos zu den prägenden Kräften der künftigen Softwareentwicklung gehören. Die Ergebnisse des vorliegenden Berichts machten jedoch deutlich: Produktivitätsgewinne erforderten zugleich erhöhte Wachsamkeit. Freeman gibt abschließend zu bedenken: „Automatisierung allein ersetzt keine Sicherheitsstrategie – und ohne belastbare Schutzmechanismen können Werkzeuge, die Entwicklern die Arbeit erleichtern, ebenso schnell zu einem erheblichen Risiko werden!“

Weitere Informationen zum Thema:

ARMIS LABS INSIGHTS
Armis Labs Finds New Security Risks From AI Coding

ARMIS
About Armis

YouTube, Armis, 17.07.2024
Armis Bad Actors Podcast / Powering Threat Detection Through AI with Andrew Grealy and Michael Freeman

datensicherheit.de, 17.08.2025
KI-Einsatz: Studie offenbart dringenden Handlungsbedarf für Schulungen und Richtlinien / Unternehmen im „KI-Blindflug“ bringen sich mangels Sicherheitsmaßnahmen in Gefahr

datensicherheit.de, 02.08.2025
KI hoch im Kurs bei deutschen Tech-Startups / Inzwischen nutzen 82 Prozent von ihnen KI, vor einem Jahr waren es 76 Prozent, 2023 sogar erst 49 Prozent

datensicherheit.de, 18.07.2025
EU-Verhaltenskodex für KI: Fragen zur Nutzung Künstlicher Intelligenz bleiben offen / KI ist ganz offensichtlich eines der Themen, welches die Gesellschaft, Wirtschaft und auch die Politik derzeit in unterschiedlicher Ausprägung sehr beschäftigt

datensicherheit.de, 04.07.2025
Intensive KI-Nutzung in Unternehmen – Entwicklung von Richtlinien und Governance fällt zurück / Nicht einmal ein Drittel der Unternehmen verfügt über eine formelle, umfassende KI-Richtlinie