Eine Studie der Agentur maxonline testete ChatGPT mit 450 standardisierten Prompts zu 150 Mittelstandsunternehmen aus Deutschland, Österreich und der Schweiz. Nur drei Prozent der Antworten waren vollständig korrekt, bei 45 Prozent der Anfragen halluzinierte das Modell falsche Fakten, und fast jeder genannte Name einer Führungsperson war frei erfunden – besonders bei Unternehmen mit lückenhafter digitaler Präsenz, wie it-daily.net berichtet. Laut der Studie steigt dieses Risiko also mit einer fragmentierten digitalen Präsenz des betroffenen Unternehmens. Teuer wird es nicht durch spektakuläre Einzelfälle, sondern dadurch, dass falsche Fakten unbemerkt in Angebote, Berichte oder Kundenkommunikation einfließen. Dieser Beitrag erklärt den Mechanismus dahinter, eine Prüfreihenfolge zur Risikoeinschätzung und Kontrollmechanismen mit ihren Grenzen.
Warum Sprachmodelle lieber erfinden als schweigen
Der Grund liegt im Funktionsprinzip großer Sprachmodelle: Sie berechnen Wort für Wort die statistisch wahrscheinlichste Fortsetzung eines Textes und sind nicht darauf ausgelegt, im Zweifel mit „Das weiß ich nicht“ zu antworten, wie it-daily.net am Beispiel fiktiver Gerichtsurteile und frei erfundener Zitate zeigt. Für das Modell gibt es keinen internen Unterschied zwischen einer recherchierten und einer erfundenen Aussage – beide sind gleichermaßen plausible Fortsetzungen.
Daraus folgt eine wichtige Unterscheidung: Ein Datenfehler liegt vor, wenn die zugrunde liegende Quelle selbst falsch ist und das Modell diesen falschen, aber vorhandenen Wert korrekt wiedergibt. Eine Halluzination liegt vor, wenn das Modell ohne jede Quelle eine Information erfindet, die plausibel in den Text passt. Die Unterscheidung ist mehr als akademisch: Gegen Datenfehler helfen Datenqualitätsmaßnahmen, gegen Halluzinationen dagegen nur Grounding- und Prüfmechanismen.
Dass das keine akademische Randnotiz ist, zeigt eine von Rechtswissenschaftler Damien Charlotin geführte Datenbank: Sie verzeichnete bis Juni 2026 weltweit über 1.500 Gerichtsverfahren wegen KI-fehlerhafter Dokumente, mit vermutlich deutlich höherer Dunkelziffer, wie heise online berichtet. Der Mechanismus dahinter – unkritische Übernahme einer plausibel formulierten, aber unbelegten Aussage – ist fachübergreifend identisch.
Wenn die Kontrolle selbst versagt
Auch etablierte Prüfprozesse fangen das nicht zuverlässig auf. Ein KPMG-Bericht zu agentischer KI musste zurückgezogen werden, nachdem sich nur fünf von 45 angegebenen Quellen als korrekt erwiesen – mehrere Organisationen hatten den Darstellungen widersprochen, wie Computerwoche berichtete. Das Ergebnis hatte zuvor einen menschlichen Freigabeprozess durchlaufen, ohne dass die Fehler auffielen, wie it-daily.net analysiert. Mit autonom handelnden KI-Agenten kommt eine zweite Risikokategorie hinzu: Unternehmen müssen nicht mehr nur prüfen, welche Antworten eine KI geben darf, sondern auch, was sie tatsächlich tun darf.
Warum menschliche Prüfung so oft versagt, zeigt eine Anthropic-Studie: KI-Empfehlungen wurden in 86 Prozent der Fälle übernommen, obwohl der Agent keine echte fachliche Abwägung getroffen hatte, sondern zufällig einer Position zugeordnet worden war. Mehr als die Hälfte der Probanden hielt die Entscheidung für eigenständig – begründete sie aber in 77 Prozent der Fälle fast wörtlich mit den Argumenten des Agenten, wie heise online berichtet.
Rechtlich folgenreich wurde das beim Landgericht München: Google haftet für unwahre AI-Overview-Behauptungen, weil die KI Aussagen traf, die in den verlinkten Quellen nicht enthalten waren, wie it-daily.net berichtet. Selbst quellenbasierte Systeme sind nicht automatisch zuverlässig: Eine Studie im Auftrag der New York Times ergab bei 4.326 Suchanfragen zwar rund 91 Prozent Genauigkeit, doch mehr als die Hälfte der zitierten Quellen stützte die Behauptungen nicht vollständig, wie BigData-Insider berichtet.
Diagnostische Reihenfolge vor dem produktiven Einsatz
Nicht jeder Output braucht denselben Prüfaufwand. Vor der Freigabe einer Anwendung helfen vier Fragen in dieser Reihenfolge:
- Wird der Output extern sichtbar oder wirkt er auf Dritte? Der Google-Fall zeigt: Die Haftung kann beim veröffentlichenden Unternehmen liegen, nicht nur beim Modellanbieter.
- Enthält er überprüfbare Fakten wie Namen, Zahlen oder Zitate? Laut der maxonline-Untersuchung ist das Erfindungsrisiko bei Personennamen besonders hoch.
- Fließt er direkt in eine Handlung ein, ohne dass jemand die Fakten eigenständig prüft? Bei Agenten verschiebt sich die Frage von „was darf gesagt werden“ zu „was darf getan werden“.
- Lässt er sich gegen eine konkrete Quelle verifizieren – oder beruht er nur auf allgemeinem Trainingswissen? Nur im zweiten Fall handelt es sich um eine Halluzination im engeren Sinn; stammt der Fehler aus einer fehlerhaften, aber tatsächlich vorhandenen Quelle, liegt stattdessen ein Datenfehler vor, dem mit Datenqualitätsmaßnahmen statt mit Grounding zu begegnen ist.
Trifft eine der ersten drei Fragen zu und lässt sich Frage vier nicht eindeutig mit einer Quelle beantworten, braucht der Output eine fachliche Prüfung vor der Weiterverwendung. Das priorisiert Prüfaufwand dort, wo Fehler teuer werden – statt pauschales Misstrauen gegenüber jedem Output.
Kontrollmechanismen, die tatsächlich wirken – und ihre Grenzen
Eine wirksame Gegenmaßnahme ist Retrieval Augmented Generation (RAG): Das Modell stützt seine Antwort auf hinterlegte Dokumente statt frei zu generieren, wie Computerwoche am Beispiel von Code-Assistenten beschreibt. Das zugrunde liegende Prinzip – eine konkrete, überprüfbare Textgrundlage statt der wahrscheinlichsten Fortsetzung aus dem gesamten Trainingskorpus – ist dabei nicht auf Code beschränkt, sondern folgt demselben Mechanismus, der auch bei anderen Grounding-Fällen wie Firmendaten oder Berichten greift.
Die Grenze zeigt der zuvor beschriebene NYT-Befund zu Googles AI Overviews: Auch ein grundsätzlich quellenbasiertes System kann Behauptungen formulieren, die über die zugrunde liegenden Dokumente hinausgehen. Grounding reduziert das Risiko, eliminiert es aber nicht – die Synthese der gefundenen Quellen folgt demselben Fortsetzungsprinzip wie ungestützte Antworten. Wie belastbar die Datenbasis dafür selbst sein muss, behandelt der Beitrag Garbage In, Garbage Out.
Technisches Grounding löst zudem nur einen Teil des Problems ohne organisatorischen Rahmen: 91 Prozent der Unternehmen stufen generative KI laut einer KPMG-Umfrage als strategisch wichtig ein, aber weniger als 10 Prozent verfügen über ein vollständiges Governance-Modell, wie it-daily.net berichtet. Diese Lücke – nicht unzuverlässigere Technik – macht Halluzinationen teuer. Wer zusätzlich klären muss, auf wessen Infrastruktur sensible Daten für Grounding verarbeitet werden, findet Einordnung im Beitrag Souveräne KI; technisch umsetzen lässt sich das über RAG-Systeme und Wissensdatenbanken.
Wann ein schlankerer Prüfprozess reicht
Nicht jeder Fall rechtfertigt den vollen Prüfaufwand. Ein interner Entwurf, der ohnehin überarbeitet wird, trägt ein anderes Risiko als eine Antwort direkt an einen Kunden. Bei Code übernimmt zusätzlich der bestehende Entwicklungsprozess – Tests, Review – einen Teil der Prüfung, ohne sie vollständig zu ersetzen.
Der Prüfprozess kippt zum vollen Umfang, sobald der Output das Unternehmen verlässt, benennbare Fakten ohne Quelle enthält oder ein System darauf selbstständig weiterhandelt. Sonst genügt eine stichprobenartige Prüfung – vorausgesetzt, die prüfende Person kennt das Risiko und hinterfragt aktiv, statt die Begründung des Modells wie im Anthropic-Befund unreflektiert zu übernehmen.
Der erste Schritt: Inventur statt Generalverbot
Ein pauschales Verbot generativer KI verhindert offensichtliche Fehler, verzichtet aber auch auf den unkritischen Teil der Nutzung. Der konkretere erste Schritt ist eine Inventur: Welche Stellen nutzen LLM-Outputs bereits für externe Kommunikation, faktenbasierte Berichte oder automatisierte Handlungen – und wie schätzt die diagnostische Reihenfolge das jeweilige Risiko ein? Darauf lässt sich aufbauen, wo Grounding wie RAG sinnvoll ist, wo eine Zweitprüfung reicht und wo ein Governance-Rahmen fehlt. Einen Ausgangspunkt dafür bietet die Leistung KI Consulting.
Häufige Fragen
Nein. Prompting kann die Wahrscheinlichkeit senken, etwa indem es das Modell explizit auffordert, nur mit vorliegenden Informationen zu antworten, ändert aber nichts am zugrunde liegenden Funktionsprinzip der Wort-für-Wort-Vorhersage. Ein Modell kann weiterhin eine plausible, aber unbelegte Fortsetzung liefern, wenn ihm die passende Information fehlt. Wirksamer ist es, dem Modell über Grounding-Mechanismen wie RAG überhaupt eine verlässliche Faktengrundlage zur Verfügung zu stellen.
Das architektonische Grundprinzip – Vorhersage der wahrscheinlichsten Fortsetzung ohne eingebaute Unsicherheitskennzeichnung – ändert sich durch Modellgröße oder -alter nicht grundsätzlich. Ob ein neueres Modell in der Praxis seltener halluziniert, lässt sich ohne modellspezifische Vergleichsdaten nicht pauschal beantworten. Die in diesem Beitrag genannten Fälle, etwa bei KPMG oder Google, betrafen durchgehend aktuelle, produktiv eingesetzte Systeme.
Ein Datenfehler entsteht, wenn die zugrunde liegende Quelle selbst fehlerhaft ist – das Modell gibt dann einen vorhandenen, aber falschen Wert korrekt wieder. Eine Halluzination entsteht, wenn das Modell ohne jede Quelle eine Information erfindet, die plausibel in den Text passt. Die Unterscheidung ist relevant, weil gegen Datenfehler Datenqualitätsmaßnahmen helfen, gegen Halluzinationen aber Grounding- und Prüfmechanismen nötig sind.
Grundsätzliche Haftungsfragen sind offen und hängen vom Einzelfall ab; das Urteil des Landgerichts München gegen Google zeigt aber, dass Gerichte eine veröffentlichte KI-Aussage als eigene Erklärung des veröffentlichenden Unternehmens werten können. Für Unternehmen bedeutet das: Die Verantwortung für den Inhalt verschiebt sich nicht automatisch zum Modellanbieter, nur weil der Text von einer KI stammt. Eine arbeitsrechtliche Einzelfallprüfung ersetzt das nicht.
Transparenzhinweis: Bei der Erstellung dieses Beitrags wurde generative KI unterstützend eingesetzt. Inhalt, Faktenprüfung und finale Redaktion erfolgten durch Ancud
