Software mit KI entwickeln: 7 Sicherheitsrisiken

Mit KI Software zu entwickeln ist schnell und produktiv – aber KI-Assistenten schreiben nicht automatisch sicheren Code. Im Benchmark von Veracode (2026) bestand KI-generierter Code die Sicherheitstests im Schnitt nur in rund 56 % der Fälle. Die größten Risiken: ungeprüfter Code, erfundene Software-Pakete, Zugangsdaten im Code, fehlende Rechteprüfung, ungefilterte Eingaben, vertrauliche Daten in Cloud-Assistenten und KI-Agenten mit zu vielen Rechten.

Das betrifft längst nicht mehr nur Software-Firmen. Mit KI bauen heute auch Fachabteilungen, Gründer und Agenturen eigene Tools, Kundenportale oder Automatisierungen – oft ohne Entwicklerin oder Entwickler, die den Code verstehen. Genau dort entstehen die Lücken.

1. Code, den niemand geprüft hat

KI liefert Code, der läuft, und das wirkt überzeugend. Ob er sicher ist, zeigt der erste Eindruck nicht. Veracode fand 2025, dass Modelle in 45 % der Testaufgaben die unsichere statt der sicheren Variante wählten; besonders schwach waren sie bei Cross-Site-Scripting und Log-Injection. Die französische Behörde ANSSI und das BSI empfehlen deshalb ausdrücklich, KI-generierten Code von Menschen prüfen zu lassen.

2. Erfundene Software-Pakete

KI-Modelle schlagen manchmal Bibliotheken vor, die es gar nicht gibt. In einer Studie auf der Konferenz USENIX Security 2025 enthielten rund 19,7 % der generierten Code-Beispiele mindestens einen erfundenen Paketnamen. Angreifer registrieren solche Namen und füllen sie mit Schadcode („Slopsquatting“). Wer den Vorschlag ungeprüft installiert, holt sich die Schadsoftware selbst ins Haus.

3. Zugangsdaten im Code

API-Schlüssel, Datenbankpasswörter oder Tokens landen schnell direkt im Code – und mit ihm im Repository oder sogar im Browser der Nutzer. Zugangsdaten gehören in eine sichere Konfiguration, nie in den Quelltext.

4. Fehlende Rechteprüfung

Ein typisches Muster: Die Oberfläche blendet Funktionen für normale Nutzer aus, aber die Schnittstelle dahinter prüft nicht, wer anfragt. Wer die Adresse kennt, kann Daten anderer Kunden abrufen. KI baut solche Prüfungen nur ein, wenn man sie ausdrücklich verlangt.

5. Ungefilterte Eingaben

Formulareingaben, Datei-Uploads und URL-Parameter müssen geprüft und sicher verarbeitet werden. Fehlt das, drohen Klassiker wie SQL-Injection oder Cross-Site-Scripting – genau die Fehler, bei denen KI-Code im Veracode-Test besonders oft scheiterte.

6. Vertrauliche Daten im Cloud-Assistenten

Wer Kundendaten, Geschäftsgeheimnisse oder Zugangsdaten in einen Cloud-Assistenten kopiert, gibt sie an einen Dritten. ANSSI und BSI raten, keine sensiblen Daten an cloudbasierte Programmierassistenten zu geben und vor dem Einsatz eine Risikoanalyse zu machen. Was im Firmenkontext erlaubt ist, regelt am besten eine KI-Richtlinie.

7. KI-Agenten mit zu vielen Rechten

Programmier-Agenten können Befehle ausführen, Dateien ändern und Software installieren. Mit zu weitreichenden Rechten – etwa Zugriff auf Produktivdaten oder Server – kann ein Fehler oder eine manipulierte Anweisung großen Schaden anrichten. Mehr dazu in Prompt Injection.

So entwickeln Sie mit KI sicherer

Risiko	Gegenmaßnahme
Ungeprüfter Code	Menschliches Review vor jedem Livegang
Erfundene Pakete	Jede neue Abhängigkeit prüfen: Gibt es sie, wer pflegt sie?
Zugangsdaten im Code	Secrets-Verwaltung, automatische Prüfung im Repository
Fehlende Rechteprüfung	Rechte serverseitig prüfen, Tests mit fremden Konten
Ungefilterte Eingaben	Sicherheitsanforderungen im Prompt nennen, statische Analyse
Sensible Daten in der Cloud	Richtlinie, freigegebene Werkzeuge, ggf. lokale Modelle
Agenten mit zu vielen Rechten	Minimale Rechte, keine Produktivdaten, Freigaben für Befehle

Sie entwickeln Software mit KI-Unterstützung – selbst, mit Ihrem Team oder mit einem Dienstleister? Wir schauen drüber. Ein menschliches Review von Code, Abhängigkeiten, Zugriffsrechten und Konfiguration, bevor Ihre Anwendung live geht oder Kundendaten verarbeitet. Sprechen Sie uns an.

Häufig gestellte Fragen

Ist KI-generierter Code unsicher?

Nicht grundsätzlich, aber häufig. In Benchmarks von Veracode bestand KI-Code die Sicherheitstests im Schnitt nur in rund 56 % der Fälle. Entscheidend ist, ob der Code geprüft wird, bevor er produktiv geht.

Was ist Slopsquatting?

Angreifer registrieren Software-Pakete unter Namen, die KI-Modelle häufig erfinden, und füllen sie mit Schadcode. Wer einen solchen Vorschlag ungeprüft installiert, holt sich die Schadsoftware ins Projekt.

Darf ich Firmendaten in einen KI-Programmierassistenten eingeben?

Vertrauliche Daten, Kundendaten und Zugangsdaten sollten nicht in Cloud-Assistenten landen. ANSSI und BSI empfehlen eine Risikoanalyse vor dem Einsatz. Klare Regeln legt eine KI-Richtlinie fest.

Stand: Oktober 2026. Quellen: Veracode GenAI Code Security Report 2025 und 2026, Spracklen et al. (USENIX Security 2025), ANSSI/BSI: AI Coding Assistants.