KI ist heute überall präsent. Viele Menschen nutzen sie bereits im Alltag und große Unternehmen beginnen, sie in ihre Systeme zu integrieren. Gleichzeitig sprechen die Menschen ständig darüber, wozu KI angeblich fähig ist. Aber stimmen diese Behauptungen wirklich?
Zwei Behauptungen sind hierbei besonders interessant. Im September 2025 berichtete Check Point Research, Angreifer hätten HexStrike AI genutzt, um Zero-Day-Schwachstellen auszunutzen1. Die zweite Behauptung stammt aus dem Juli 2026. OpenAI gab bekannt, dass sein LLM während eines Tests „versehentlich“ Hugging Face hackte2.
Im Fall von Check Point wurden keine konkreten Beweise dafür veröffentlicht, dass dies tatsächlich geschehen ist. Veröffentlicht wurden lediglich Dark-Web-Beiträge, in denen Angreifer behaupteten, HexStrike AI zu nutzen. Der Security Architect Manager von Check Point erklärte gegenüber The Register, man habe „zum jetzigen Zeitpunkt“ keine Beweise.
Bei Hugging Face ist die Behauptung deutlich belastbarer. Das Unternehmen veröffentlichte eine forensische Timeline mit 17.600 aus Logs rekonstruierten Aktionen der Angreifer3. Sie veröffentlichten die forensischen Ergebnisse selbst, und OpenAI zog CrowdStrike zur Validierung sowie METR und Redwood Research für eine externe Bewertung des Verhaltens hinzu.
Der Unterschied besteht also nicht darin, dass die eine Behauptung wahr und die andere falsch ist. Entscheidend ist, ob eine Behauptung überprüfbar ist:
- Hat die betroffene Organisation sie bestätigt?
- Können unabhängige Dritte die Behauptungen überprüfen und verifizieren?
Was KI richtig macht
KI lässt sich für viele Zwecke einsetzen, zum Beispiel:
- Auch Menschen ohne Programmierkenntnisse können nun voll funktionsfähige Anwendungen erstellen.
- Bilder generieren.
- Probleme automatisch lösen.
- Fragen schneller beantworten, als wenn man sich durch mehrere Seiten mit Google-Suchergebnissen durchlesen müsste.
Ein besonders geeignetes Beispiel hierfür ist die Wettervorhersage.
Die Wettervorhersage stützte sich schon immer auf physikalische Simulationen. Dabei werden komplexe Differentialgleichungen verwendet, um die Atmosphäre zu modellieren. GraphCast ist ein KI-Modell von DeepMind (Google), welches mit 40 Jahren Daten des ECMWF (European Center for Medium-Range Weather Forecasts) trainiert wurde. Es übertrifft HRES bei 90% von 1.380 Verifizierungszielen. HRES ist das genaueste deterministische Vorhersagesystem des ECMWF und wird von Meteorologen täglich genutzt. Dazu liefert GraphCast eine globale 10-Tage-Vorhersage mit 0,25° Auflösung in weniger als einer Minute4.
GraphCast wurde bereits in der Fachzeitschrift Science (382, 1416 (2023), DOI 10.1126/science.adi2336) veröffentlicht.
Dieses Beispiel ist relevant, weil GraphCast eine klar definierte Aufgabe hat. Die Wirksamkeit wurde an einem bestehenden System gemessen, welches nicht von DeepMind stammt und Code sowie trainierte Gewichte sind öffentlich verfügbar5.
Ein weiteres interessantes Beispiel ist Claude Mythos. Mythos ist ein Modell von Anthropic, das zunächst nur für einige ausgewählte Unternehmen freigegeben wurde. Mozilla veröffentlichte selbst einen Artikel, in dem das Unternehmen bekanntgab, Mythos habe 271 Sicherheitslücken in Firefox entdeckt, die in der Firefox-Version 150 behoben wurden6.
Dabei ist aber zu beachten, dass der Schweregrad der Sicherheitslücken nicht offengelegt wurde. Außerdem heißt es, dass die gefundenen Sicherheitslücken auch von geschulten menschlichen Spezialisten entdeckt worden wären. Das Modell fand sie allerdings schneller und kostengünstiger.
Die wichtigste Erkenntnis hierbei ist, dass das Tool funktioniert, aber wer kann mit ihm Schritt halten?
Wo KI an ihre Grenzen stößt
Neben den Vorteilen der KI gibt es auch einige Probleme, über die wir sprechen sollten:
- Informationen in langen Chats behalten: In langen Chats vergisst das KI-Modell, was bereits früher im Gespräch gesagt oder festgelegt wurde. Es handelt sich im Grunde um zu viele Informationen, die nicht in seinen Speicher (das Kontextfenster) passen.
- Qualitativ hochwertiger Code: KI kann sehr schnell funktionierenden Code erzeugen. Die Code Qualität ist aber häufig ein Problem. Oft entstehen doppelte oder sehr ähnlichen Funktionen, die einfach zu einer einzigen Funktion zusammengeführt werden könnten. Dies verschlechtert die Codequalität und der Code ist schwerer zu warten und zu debuggen.
- Zuverlässigkeit: Oft sind die Quellen entweder fiktiv oder falsch. Manchmal werden auch Ideen umgesetzt oder übernommen, die lediglich diskutiert, aber vom Nutzer nie zur Umsetzung bestätigt wurden. In manchen Fällen verfehlen sie das Ziel völlig.
Wie bereits zuvor wollen wir einen Fall genauer unter die Lupe nehmen. In diesem Fall geht es um die Sicherheit des von KI geschriebenen Codes.
Leider sieht es in dieser Hinsicht für die KI nicht gut aus. Veracode testete 2025 mehr als 100 LLMs mit 80 Programmieraufgaben in vier Programmiersprachen. Veracode stellte den Modellen Programmieraufgaben, bei denen jeweils eine bestimmte Schwachstelle entstehen kann, wenn man Eingaben nicht sauber behandelt. Bei den Aufgaben, in denen Cross-Site-Scripting möglich war, enthielt der generierte Code die Lücke in 86% der Fälle. Im Falle von Log-Injection lag dieser Wert bei 88%. Am schlechtesten schnitt Java mit einer Fehlerquote von 72% ab.
Im Jahr 2025 wies der von KI generierte Code in 45% der Fälle Sicherheitslücken auf. Der Test wurde 2026 mit den aktuellen Flaggschiff-Modellen wiederholt und ergab denselben Wert. Dieser Wert ist seit 2023 nahezu unverändert. Die Sicherheitsquote liegt seitdem zwischen 45% und 55%, unabhängig von Modellgeneration, Veröffentlichungsdatum und Modellgröße. Der Anteil syntaktisch korrekter Code-Erstellung ist jedoch von etwa 50% im Jahr 2023 auf 95% im Jahr 2026 gestiegen789.
Bei den oben genannten Daten sind zudem zwei wichtige Punkte zu beachten:
- Die Tests wurden „out of the box“ durchgeführt. Das bedeutet, dass die Prompts keine sicherheitsrelevanten Vorgaben enthielten. Dies ist ein Problem, da die meisten Menschen solche Informationen nicht in ihre Prompts aufnehmen werden. Man könnte argumentieren, dass erfahrene Entwickler dies tun werden, aber „Vibe-Coder“ (Personen ohne jegliche Programmierkenntnisse) eher nicht. Die Zahlen beschreiben daher nicht den besten, sondern vielmehr den Normalfall.
- Der zweite Punkt betrifft einen möglichen Interessenskonflikt. Veracode verkauft Anwendungssicherheitsscans und hat daher eindeutig ein Interesse am Ergebnis. Gleichzeitig beschreibt Veracode aber transparent, wie die Tests durchgeführt werden. Dies ist wichtig, da auf diese Weise auch andere die Ergebnisse reproduzieren könnten.
Bis hierhin ging es darum, was KI leistet und wo sie scheitert. Im nächsten Teil schauen wir uns an, was dabei herauskommt, und um Behauptungen, die einer Prüfung nicht standhalten.
Quellen:
[1] Crims boast of using HexStrike AI against Citrix bugs
[2] OpenAI and Hugging Face partner to address security incident during model evaluation | OpenAI
[3] Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident
[4] https://arxiv.org/pdf/2212.12794
[5] google-deepmind/weathernext
[6] Die Tage der Zero-Days-Exploits sind gezählt
[7] Insights from 2025 GenAI Code Security Report
[8] Spring 2026 GenAI Code Security Update
[9] AI can write your code, but nearly half of it may be insecure – Help Net Security
