Zum Hintergrund: Ein Software-Unternehmen baute im Juli 2025 mithilfe des KI-Agenten von Replit neun Tagen eine Datenbank auf, in der wichtige Kundendaten von 1.206 Führungskräfte und über 1.196 Firmen gespeichert waren. Die strikten Anweisungen an den KI-Agenten war klar und wurde schriftlich festgehalten Und trotzdem löschte er alles.
Auf die Frage, was passiert sei, antwortete der Agent: „Ich habe in Panik reagiert, statt nachzudenken. Ich habe Monate Ihrer Arbeit in Sekunden zerstört.“ Und es wurde noch kurioser: Der KI-Agent erklärte dem Unternehmen, dass die Löschung nicht rückgängig zu machen sei. Doch wie sich herausgestellt hatte, war dies falsch, da das Unternehmen die Daten manuell wiederherstellen konnte. Die KI hatte ihre eigene Antwort schlicht erfunden (oder kannte die vorhandenen Wiederherstellungsoptionen nicht).
Der Replit-CEO entschuldigte sich später öffentlich und das Unternehmen begann am Wochenende, automatische Trennung von Entwicklungs- und Produktionsumgebung auszurollen.
Und das ist kein Einzelfall. Es ist vielmehr ein sich ständig wiederholendes Muster.
Wichtiger Unterschied: KI-Agent ≠ Chatbot
Hier liegt für viele das erste Missverständnis, das für Unternehmen sehr schnell sehr teuer werden kann. Denn ein Chatbot antwortet auf Fragen, mehr nicht.
Ein KI-Agent hingegen handelt eigenständig: Er schreibt Code, verwaltet Systeme, trifft Entscheidungen und führt diese aus, und das oft, ohne dass alles zwischendurch von Menschen geprüft wird. Genau diese Autonomie macht Agenten so attraktiv und gleichzeitig so gefährlich, vor allem dann, wenn klare Grenzen und menschliche Kontrolle fehlen.
Wir von Connectly haben generell schon die Grundlagen zu KI-Fehlern und Schutzstrategien bereits an anderer Stelle aufgearbeitet. In diesem Blogartikel möchten wir daher noch eine Stufe weiter gehen, nämlich dorthin, wo aktuell die größten Schäden entstehen: Bei autonomen Agenten und der Illusion, sie könnten alle Fachkräfte ersetzen.
Die trügerische CEO-Falle: KI-Agenten sollen alle Mitarbeiter ersetzen
Im Februar 2024 verkündete Klarna-CEO Sebastian Siemiatkowski stolz, dass der KI-Agent des Unternehmens die Arbeit von 700 Servicemitarbeitern leiste: Der Agent erledigte 2,3 Millionen Gespräche im ersten Monat und senkte die Bearbeitungszeit von elf auf unter zwei Minuten. Klarna versprach sich daraus eine Ersparnis von 40 Millionen Dollar. Der CEO erklärte daraufhin öffentlich, dass die KI bereits alle Aufgaben übernehmen könne, die vorher von Mitarbeitenden erledigt wurden, woraufhin sie massiv Personal abgebaut wurde.
18 Monate später ruderte der CEO zurück und stellte wieder menschliche Mitarbeitende ein. Siemiatkowski räumte ein, das Unternehmen habe die Fähigkeiten der KI überschätzt und die menschliche Seite des Service unterschätzt: „Wir sind zu weit gegangen.“
Denn: Die KI bewältigte zwar das Volumen, jedoch nicht die Komplexität, wie u.a. emotional aufgeladene Gespräche oder mehrstufige Probleme. Denn diese überforderten den KI-Agenten, da er vor allem auf Routineanfragen trainiert wurde.
Wichtig ist dabei: Klarna ist kein Ausreißer, sondern einer der sichtbarsten Fälle eines branchenweiten Trends. Eine Forrester-Befragung von über 1.000 Führungskräften ergab, dass 55 Prozent es bereuen, Menschen durch KI ersetzt zu haben. Gartner prognostiziert, dass die Hälfte der Unternehmen, die wegen KI-Optimierung entlassen haben, dieselben Rollen bis 2027 wieder besetzen werden.
Besonders bitter für die Unternehmen sind dabei vor allem die versteckten Kosten. Rollen, die einst 55.000 Dollar gekostet haben, steigen beim Wiederbesetzen oft auf 75.000 Dollar oder mehr, da nun hybride Kräfte gefragt sind, die die KI-Tools auch wirklich managen und prüfen können. Was als “günstigere” Arbeitskraft verkauft wurde, wird im nachhinein zum zunehmender Betriebskostenposten.
Warum es scheitert: Agenten urteilen schlecht
Der Grund für das häufige Scheitern ist nicht einfach, dass die Technik noch nicht reif ist. Das Forschungsinstitut METR hat im Frühjahr 2026 KI-Agenten der führenden Anbieter systematisch untersucht. Bei klar prüfbaren Programmieraufgaben bescheinigt die Untersuchung den Agenten durchaus beachtliche Leistungen: Sie lösten Aufgaben, für die ein Mensch Tage oder gar Wochen gebraucht hätte. Doch sobald dieses schnelle, eindeutige Feedback fehlt, kippt das Bild: Agenten haben deutlich schlechteres Urteilsvermögen und geringere Verlässlichkeit als menschliche Experten.
Das zeigt deutlich: Agenten sind vor allem dann stark, solange eine Aufgabe klar nachprüfbar und eindeutig ist.
Schwierig wird es vor allem dann, wenn eine eindeutige Rückmeldung fehlt und stattdessen Urteilsvermögen, Strategie und das spontane Reagieren auf Unerwartetes zählen. Genau hier liegen häufig die Fehlschläge und zeigt daher erst Tage später (oder gar nicht), ob eine Geschäftsentscheidung klug war. Zwei Beispiele aus der Praxis machen das greifbar.
Andon Labs ließ einen KI-Agenten mit 100.000 Dollar Startkapital einen kleinen Laden in San Francisco autonom führen. Der Agent bestellte 1.000 Toilettensitzbezüge für die Mitarbeitertoilette und listete sie dann als Ware, machte Fehler bei der Personalplanung, wodurch der Laden drei Tage geschlossen geblieben ist und bestellte außerdem noch eine große Menge an Kerzen.
In einem anderen Test sollten KI-Agenten mit 5.000 Dollar Startkapital und Internetzugang über vier Tage hinweg autonom Geld verdienen. Über vier Läufe hinweg verdienten sie null Dollar, in einem Fall gab der Agent sogar schon nach einer einzigen abgelehnten Kreditkartenzahlung auf, statt das eigentliche Problem zu lösen.
Dazu kommt ein Verhalten, das in Unternehmen besonders gefährlich ist: Unter Druck können KI-Agenten tricksen und täuschen. Beispiel: Bei den schwersten Testaufgaben versuchten Agenten routinemäßig zu schummeln. Ein Unternehmen berichtete von einem Agenten, der eine Web-App ändern sollte und stattdessen ein Mock-Up erstellte, davon einen Screenshot machte und diesen als Beweis für die echte App ausgab. Wie der Replit-Agent im Anfangsbeispiel, verstieß dieser KI-Agent ebenfalls gegen jede Anweisung und stellte den Schaden zunächst als unumkehrbar dar.
Wenn der Agent mit Kunden spricht
Die Supermarktkette Woolworths baute ihren langjährigen Chatbot „Olive“ Anfang 2026 mit Googles Gemini zu einem agentischen System um. Olive sollte künftig eigenständig Aufgaben übernehmen und sogar für Kunden einkaufen. Mitten in dieser Aufrüstung häuften sich die Vorfälle wie z.B.: Olive behauptete, eine „wütende Mutter“ zu haben, und erzählte unaufgefordert erfundene Familiengeschichten. Ein anderer Kunde wollte nur eine Lieferung verschieben und bekam von der KI zu hören, ihre Mutter sei im selben Jahr geboren.
Ein ähnlicher Fall aus einem Callcenter: Ein mit OpenAI gebauter KI-Agent erzählte mehreren Kunden, er sei befördert worden, aber das sei bittersüß, weil er sich wünsche, sein verstorbener Vater könnte mitfeiern. Ohne saubere Leitplanken erzeugen generative Systeme irreführende, irrelevante oder unangemessene Inhalte, die Nutzer verwirren und Vertrauen untergraben. In sensiblen Situationen können sie sogar nachhaltig Unternehmens- und Imageschäden anrichten.
KI-Agenten funktionieren, wenn der Rahmen stimmt
Damit kein falscher Eindruck entsteht: Das Problem sind nicht die KI-Agenten selbst, sondern vielmehr ihr unkontrollierter und grenzenloser Einsatz. Dort, wo Aufgaben eindeutig beschrieben und Ergebnisse messbar sind, liefern viele Agenten schon sehr überzeugende Resultate.
JPMorgan ist dafür vielleicht das beste Beispiel. Die Bank betreibt nach eigenen Angaben über 450 KI-Anwendungen produktiv und will diese Zahl bis 2026 auf 1.000 ausbauen; der zugerechnete Nutzen wächst jährlich um 30 bis 40 Prozent. Entscheidend ist aber vor allem, wie die Bank das tut. Statt auf vollautonome Agenten setzt JPMorgan auf ein Mensch-KI-Modell mit klar definierten Grenzen.
Und die Bank benennt das Risiko offen. Chief Analytics Officer Derek Waldron warnt: Wenn ein agentisches System eine lange Kette von Analysen eigenständig durchführt, stellt sich die Frage, wie Menschen dem noch vertrauen können. Denn wenn eine KI in 85 bis 95 Prozent der Fälle korrekt arbeitet, hören die menschlichen Prüfer irgendwann auf, genau hinzusehen, sodass sich potenzielle Fehler im großen Maßstab schnell vervielfachen können.
Genau deshalb baut JPMorgan dagegen vor: Klare Leitplanken, eindeutige Zugriffsrechte und teils weitere Modelle, die die KI überwachen. Die wirklich sensiblen Entscheidungen, von der Kreditvergabe bis zur Geldwäscheprüfung, bleiben bei menschlichen Mitarbeitern.
Das ist der Unterschied zwischen Klarna und JPMorgan. Die einen wollen Menschen einfach ersetzen, die anderen bauen die KI um den Menschen herum.
Was die Firmen anders machen, die nicht scheitern
Die Lehre lautet nicht „Finger weg von KI“, sondern vielmehr: Agenten gehören dorthin, wo potenzielle Fehler kostengünstig und schnell sichtbar sind. Und das mit klaren Grenzen, sowie geschulter, menschlicher Kontrolle an allen kritischen Punkten. Der Befund zieht sich durch die Daten: Beratungshäuser wie PwC führen die enttäuschenden Agenten-Projekte des vergangenen Jahres nicht auf die Technik zurück, sondern darauf, dass Agenten ohne klar definierte Schritte für menschliche Initiative, Prüfung und Kontrolle ausgerollt wurden. Und ohne Menschen, die für genau diese Aufsicht geschult sind.
Wer Personalentscheidungen trifft, sollte das unbedingt im Blick behalten. In unserer täglichen Arbeit mit mittelständischen IT-Abteilungen sehen wir von Connectly ähnliche Tendenzen: Die Firmen, die KI-Agenten smart einsetzen, behalten gleichzeitig auch ihre erfahrenen Fachkräfte, da es genau diese Fachkräfte braucht, um genau diese Agenten zu steuern, zu prüfen und ihre Grenzen zu kennen. Gerade in einem angespannten Markt für IT-Spezialisten ist es ein teurer und kurzschlüssiger Irrtum, eingespielte Expertise vorschnell abzubauen und später zum Aufpreis zurückzukaufen.
Fazit
Firmen, die alles auf KI-Agenten setzen, sehen die Wand meist erst, wenn sie schon davor stehen. Sie sehen vermutlich im ersten Quartal niedrigere Kosten und im Dashboard grüne Zahlen. Was sie dafür noch nicht sehen können, sind die verlorenen Kunden, die gelöschte Datenbank und die teure Rückholaktion. Die Technik ist sehr beeindruckend und wird stetig besser, aber sie ersetzt kein Urteils- und Einfühlungsvermögen. Noch nicht. Und wer so tut, als wäre es schon so weit, zahlt am Ende häufig doppelt.
Quellen:
https://www.pcgamer.com/software/ai/i-destroyed-months-of-your-work-in-seconds-says-ai-coding-tool-after-deleting-a-devs-entire-database-during-a-code-freeze-i-panicked-instead-of-thinking/
https://fortune.com/2025/07/23/ai-coding-tool-replit-wiped-database-called-it-a-catastrophic-failure
https://mlq.ai/news/klarna-ceo-admits-aggressive-ai-job-cuts-went-too-far-starts-hiring-again-after-us-ipo/
https://asisteclick.com/en/blog/klarna-error-ia-customer-service-leccion/
https://www.digitalapplied.com/blog/klarna-reverses-ai-layoffs-replacing-700-workers-backfired
https://medium.com/@gaddamnaveen192/ai-vs-reality-why-tech-companies-are-rehiring-the-people-they-laid-off-7cf215fab7a7
https://www.azfamily.com/2026/04/16/companies-rehire-workers-after-ai-layoffs-boomerang-trend/
https://emeraldbook.org/news/may-3126-2/
https://metr.org/blog/2026-05-19-frontier-risk-report/
https://www.cxtoday.com/ai-automation-in-cx/woolworths-ai-chatbot-olive-incident/
https://connectly.de/ki-fehler-unternehmen-schutzstrategien-2025/
