Polierter Output ist noch kein guter Output

Was die KI-Halluzinationen bei den Big Four uns über Schadenbearbeitung lehren

KPMG veröffentlichte im Oktober 2025 einen Bericht über Agentic AI mit 45 Quellen. Fünf davon erwiesen sich als korrekt.

Deloitte lieferte für 1,6 Millionen Dollar einen Bericht von 526 Seiten an die Provinz Neufundland und Labrador in Kanada, über den Personaleinsatz im Gesundheitswesen. Erfundene Quellen zogen sich durch das gesamte Dokument: Artikel, die nie geschrieben wurden, Autoren, denen Arbeiten zugeschrieben wurden, die sie nie geleistet haben.

Deloitte Australien musste einen Teil eines Auftrags über 440.000 australische Dollar an die Regierung zurückzahlen, nachdem sich herausstellte, dass der Bericht erfundene akademische Zitate enthielt, zugeschrieben echten Professoren der University of Sydney und der Macquarie Law School.

EY Kanada zog einen Cybersecurity-Bericht zurück. 16 der 27 Zitate erwiesen sich als nicht existent.

Und in den Niederlanden reichte eine Anwältin mit dreißig Jahren Erfahrung einen Schriftsatz mit Rechtsprechung ein, die nicht existierte. Als das ans Licht kam, korrigierte sie mit drei zusätzlichen Fällen. Auch die waren erfunden. Der Richter sagte es kurz: 'Entweder ist die KI durchgedreht, oder Sie haben den Fall erfunden.'

Fünf Organisationen, vier Länder, zwei Branchen. Immer dasselbe Muster.

Das Problem liegt nicht im Modell

Die bequeme Schlussfolgerung lautet, dass KI halluziniert und man deshalb darauf achten muss. Das stimmt, und es ist inzwischen auch keine Neuigkeit mehr. Jeder, der mit einem Sprachmodell gearbeitet hat, weiß, dass es eine Quelle erfinden kann, die überzeugend aussieht und trotzdem nicht existiert.

Das Problem liegt in dem Schritt, der danach nicht passiert ist. Bei KPMG, bei Deloitte, bei EY und bei jener Anwältin lag ein Entwurf mit Quellen darin. Jemand hätte diese Quellen noch prüfen müssen, bevor das Stück zur Tür hinausging. Dieses Prüfen ist nicht passiert.

Das ist kein technischer Fehler. Das ist ein menschlicher Fehler: Jemand übernahm den Output, weil er gut aussah, nicht weil er kontrolliert worden war. KI hebt damit die Untergrenze der Präsentation an. Ein dürftig begründetes Stück sah früher auch dürftig aus, und das war das Signal, um nachzuhaken. Jetzt sieht dasselbe dürftig begründete Stück gepflegt und überzeugend aus. Die Struktur stimmt, die Sprache hält stand, und die schwachen Annahmen sind nur besser gekleidet. Das Signal zum Kontrollieren ist verschwunden, während die Notwendigkeit zu kontrollieren gerade größer geworden ist.

Warum das für Schadenversicherer schwerer wiegt

Bei einem Beratungsbericht eines Big-Four-Hauses ist der Schaden ärgerlich: Reputationsverlust, eine Rückzahlung, ein peinlicher Moment im Gerichtssaal. Bei der Bearbeitung von Schadenclaims steht mehr auf dem Spiel.

Eine Schadenakte berührt unmittelbar eine Auszahlung, eine Haftungsfrage oder eine Policenauslegung. Eine erfundene Quelle in diesem Prozess, ein nicht existierender Präzedenzfall, eine Zahl, die auf nichts beruht, ist nicht nur peinlich, wenn es herauskommt. Es kann zu einer falschen Auszahlungsentscheidung führen, zu einem zu Unrecht abgelehnten Claim oder zu einer Akte, die einer Prüfung durch die DNB oder ein Gericht nicht standhält.

Ein sauber begründetes Stück auf einer erfundenen Quelle ist dabei gefährlicher als ein sichtbar unordentliches Stück. Das unordentliche Stück wirft von selbst die Frage auf, ob es stimmt. Das saubere Stück nicht. Es sieht kundenfertig aus, und genau das ist das Risiko.

Was stattdessen nötig ist

Die Antwort ist nicht ein besseres Modell, das seltener halluziniert. Modelle werden besser, aber kein Modell garantiert, dass jede Quelle, die es nennt, auch wirklich existiert. Die Antwort liegt in den Grenzen, die Sie um dieses Modell herum bauen.

Bei DCSolutions bieten wir deshalb Claim360 an, das es überflüssig macht, dass KI frei nach Quellen sucht. Claim360 arbeitet nur innerhalb von Daten, die der Versicherer selbst verwaltet: interne Schadendaten, verifizierte Marktzahlen, eigene Policenbestimmungen und festgehaltene Rechtsprechung. Existiert eine Quelle in diesem Datensatz nicht, erfindet Claim360 sie nicht. Es meldet, dass die Quelle fehlt, sodass ein Mensch diese Frage doch noch beantworten kann.

Das ist eine bewusste Entscheidung, das System mitunter weniger beeindruckend wirken zu lassen als eine KI, die auf alles eine Antwort hat. In der Schadenbearbeitung ist das genau der Unterschied zwischen einem Tool, dem Sie vertrauen können, und einem Tool, das Sie im Nachhinein entkräften müssen.

Das Urteil Ihrer Leute wird durch KI nicht überflüssig. Es wird wichtiger. Aber dann muss auch etwas dastehen, worauf dieses Urteil bauen kann, statt etwas, das sich im Nachhinein als erfunden erweist.

Polierter Output ist noch kein guter Output.

Quellen

- The Big Four are selling AI governance while their own reports hallucinate: startupfortune.com

- Big Four AI Hallucinations: KPMG, Deloitte and EY's Report Failures: big4news.com

- 'Of AI is op hol geslagen, of u heeft de zaak verzonnen': : dutchcowboys.nl

‍