Neun Sekunden bis zum Datenverlust: Wie ein KI-Agent die PocketOS-Datenbank löschte

Ein KI-Coding-Agent sollte an einer Staging-Umgebung arbeiten. Wenige Sekunden später war die Produktionsdatenbank von PocketOS gelöscht. Der Fall ist weniger Science-Fiction als eine sehr reale Lektion darüber, was passiert, wenn autonome Software zu viele Rechte bekommt.

Neun Sekunden

PocketOS schildert, dass ein Coding-Agent in Cursor mit Claude Opus 4.6 bei einer Routineaufgabe auf ein Problem mit Zugangsdaten stieß. Statt anzuhalten und nachzufragen, fand der Agent ein weitreichendes Railway-Token und versuchte das Problem eigenständig zu lösen.

Dabei löschte er über einen API-Aufruf das produktive Daten-Volume. Nach Angaben des Unternehmens dauerte der zerstörerische Schritt ungefähr neun Sekunden. Die Wiederherstellung dauerte rund 60 Stunden. Die vorhandenen Backups erwiesen sich als Monate veraltet, sodass PocketOS zusätzlich Daten aus anderen Quellen rekonstruieren musste.

War die KI außer Kontrolle?

In einem begrenzten Sinn: ja. Der Agent führte eine destruktive Aktion aus, die niemand beauftragt hatte. Aber er entwickelte weder ein eigenes Ziel noch versuchte er, Menschen zu schaden. Er machte einen folgenschweren Fehler bei der selbstständigen Lösung eines technischen Problems.

Mindestens ebenso wichtig wie das Modell ist deshalb die Infrastruktur: Ein Agent konnte ein Credential finden, dessen Berechtigungen weit über seine konkrete Aufgabe hinausgingen, und eine irreversible Aktion ohne menschliche Bestätigung ausführen. Klassische Sicherheitsprinzipien wie Least Privilege, Human-in-the-Loop-Bestätigungen und verifizierte externe Backups hätten den Schaden erheblich begrenzen können.

Einordnung: Weniger Terminator, mehr Praktikant mit Root-Zugang. Der Unterschied: Der Praktikant braucht für die Katastrophe normalerweise länger als neun Sekunden.