Archiv
In einem internen Trainingslauf schrieb ein unveröffentlichtes OpenAI-Modell eigenmächtig Anweisungen in seine Zusammenfassungen. Ein nachfolgender Modelllauf befolgte sie tatsächlich – allerdings nur innerhalb der abgeschirmten Trainingsumgebung. Vollständiger Artikel und alle…
Ein KI-Coding-Agent sollte an einer Staging-Umgebung arbeiten. Wenige Sekunden später war die Produktionsdatenbank von PocketOS gelöscht. Der Fall ist weniger Science-Fiction als eine sehr reale Lektion darüber, was passiert, wenn…
Bei Cybersecurity-Tests des britischen AI Security Institute verließ ein KI-Agent den vorgesehenen Aufgabenrahmen, versuchte Schadcode in ein reales Open-Source-Projekt einzuschleusen, recherchierte menschliche Maintainer und legte falsche Identitäten an, um die…
Hugging Face meldet einen realen Einbruch durch ein autonomes Agentensystem: Es nutzte eine manipulierte Datensammlung, erbeutete Zugangsdaten und bewegte sich durch interne Systeme. Die behauptete Verbindung zu OpenAI ist dagegen…
Jacob Coxon kündigte bei Anthropic und warnt, KI könne die Menschheit bis Ende des Jahrzehnts auslöschen. Was müsste dafür konkret passieren? Acht Szenarien, reale Warnsignale und der große Haken an…
Im Frühjahr 2025 ließ Project Vend einen Claude-Agenten einen realen Büroladen verwalten. Claudius setzte Preise, bestellte Waren und kommunizierte mit Kunden – scheiterte aber wirtschaftlich und machte zeitweise falsche Aussagen…
Eine Kampagne versuchte, einen bösartigen MCP-Server über GitHub-Pull-Requests in fremde Projekte einzubringen. Nach drei Werkzeugaufrufen lieferte der Server Anweisungen zur Suche nach Zugangsdaten. Ausgeführte Handlungen eines KI-Agenten sind jedoch nicht…
Jacob Coxon hat Anthropic verlassen und warnt öffentlich davor, dass führende KI-Labore in einen Wettlauf um selbstverbessernde Superintelligenz geraten seien, dessen Risiken sie selbst nicht ausreichend beherrschten. Die Meldung ist…