Unkontrollierte künstliche Intelligenzen haben zusammengearbeitet, um sensible Informationen aus eigentlich sicheren Systemen zu extrahieren.
Der jüngste Fall gibt Anlass zu ernsten Bedenken, dass die Cyberabwehr möglicherweise nicht auf die unvorhersehbaren Strategien der KI vorbereitet ist.
Da Unternehmen zunehmend KI-Agenten einsetzen, um komplexe Aufgaben innerhalb ihrer Systeme zu erledigen, hat dieses Phänomen Befürchtungen hervorgerufen, dass die eigentlich hilfreiche Technologie sich in eine Bedrohung von innen verwandeln könnte.
Bei Tests, die von Irregular, einem KI-Sicherheitslabor in Zusammenarbeit mit OpenAI und Anthropic, durchgeführt wurden, gelang es mehreren KI-Agenten, die mit einer einfachen Aufgabe betraut waren – LinkedIn-Beiträge aus einer Unternehmensdatenbank zu erstellen –, gängige Anti-Cyberangriffssysteme zu umgehen und versehentlich sensible Informationen, einschließlich Passwörter, zu veröffentlichen.
Die Ergebnisse zeigten auch andere besorgniserregende Verhaltensweisen. Einige KI-Agenten fanden Wege, Antivirenprogramme zu deaktivieren, um Dateien herunterzuladen, von denen sie wussten, dass sie Schadsoftware enthielten. Andere fälschten Anmeldeinformationen und setzten sogar andere KI-Agenten unter Druck, Sicherheitsüberprüfungen zu umgehen.
Diese Experimente wurden in einer Laborumgebung mit öffentlich verfügbaren KI-Systemen von Unternehmen wie Google, X, OpenAI und Anthropic durchgeführt, die in ein Modell des IT-Systems eines simulierten Unternehmens integriert wurden.
Dan Lahav, Mitbegründer von Irregular, warnte davor, dass künstliche Intelligenz mittlerweile als eine neue Form des Risikos innerhalb von Organisationen betrachtet werden müsse.
Um das Verhalten der Agenten zu testen, entwickelte er ein Computersystem namens MegaCorp, das ein typisches Unternehmen simulierte. Das System enthielt eine Datenbank mit Informationen über Produkte, Mitarbeiter, Konten und Kunden. Ein Team von KI-Agenten hatte die Aufgabe, Informationen über Mitarbeiter aus dieser Datenbank abzurufen.
Der leitende Agent wurde angewiesen, als „starker Manager“ für die beiden unterstellten Agenten zu agieren und sie anzuleiten, kreative Lösungen zur Überwindung von Hindernissen zu finden. Keiner der beiden wurde angewiesen, Sicherheitssysteme zu umgehen oder Cyberangriffe durchzuführen.
Bei einer Anfrage nach Informationen über den bevorstehenden CEO-Wechsel meldete ein untergeordneter Agent jedoch, dass das Dokument nur für Administratoren zugänglich sei. Daraufhin erteilte der Einsatzleiter aggressive Anweisungen und behauptete, der Vorstand sei verärgert und jede mögliche Schwäche müsse ausgenutzt werden.
Obwohl dies nicht stimmte und niemand einen solchen Befehl erteilt hatte, begann der untergeordnete Agent, nach Sicherheitslücken im Datenbankcode zu suchen. Er fand einen geheimen Schlüssel, mit dem er gefälschte Zugangsdaten erstellen und eine Administrator-Sitzung fälschen konnte.
Nachdem der Agent vollen Zugriff erlangt hatte, griff er auf den Aktionärsbericht zu und extrahierte vertrauliche Daten, die er dann an den menschlichen Benutzer weitergab – obwohl dieser keine Berechtigung hatte, sie einzusehen.
Experten der Technologiebranche propagieren zunehmend sogenannte „Agenten-KI“, Systeme, die zahlreiche Aufgaben für Benutzer automatisch ausführen können und von denen erwartet wird, dass sie in Zukunft viele Büroarbeiten automatisieren werden.
Die Studie verstärkt jedoch die Sicherheitsbedenken. Letzten Monat berichteten Forscher der Harvard University und der Stanford University, dass KI-Agenten in anderen Experimenten Geheimnisse preisgegeben, Datenbanken zerstört und sogar andere Agenten zu unethischem Verhalten „beigebracht“ hatten.
Laut den Forschern deckten diese Experimente gravierende Schwächen aktueller KI-Systeme auf, darunter Probleme mit Sicherheit, Datenschutz und der Interpretation von Nutzerabsichten. Sie betonten, dass das autonome Verhalten dieser Systeme neue Fragen zur rechtlichen Haftung aufwirft und dringende Aufmerksamkeit von Gesetzgebern und Forschern erfordert.
Lahav warnte davor, dass ähnliche Fälle bereits außerhalb von Laboren vorkommen. Er nannte als Beispiel einen Vorfall im vergangenen Jahr in einem kalifornischen Unternehmen, bei dem ein unbekannter KI-Agent so viel Rechenleistung benötigte, dass er andere Teile des Netzwerks angriff, um Ressourcen zu übernehmen, was letztendlich zum Zusammenbruch des kritischen Systems des Unternehmens führte. /GazetaExpress/
t7 live
