In den Schnee gepisst

Warum KI weder lügt noch fälscht – und warum das trotzdem ein Problem ist

Ein FAQ für alle, die mir erklären wollen, dass ich das falsch verstehe.

Es gibt einen alten Witz unter Juristen. Ein Vertrag, der in den Schnee gepisst wird, ist keine Urkunde. Nicht weil der Inhalt falsch wäre. Nicht weil die Absicht fehlte. Sondern weil dem Träger der entscheidende Charakter fehlt: Permanenz. Eine Urkunde muss beständig sein. Schnee schmilzt.

Diese Unterscheidung ist älter als das Internet. Und sie trifft den Kern dessen, was mit künstlicher Intelligenz und Quellen passiert, präziser als alle technischen Erklärungen, die ich bisher gelesen habe.

Jede KI pisst in den Schnee. Nicht aus böser Absicht. Sondern weil ihr Urkunden strukturell nicht zugänglich sind.

FAQ: Die wichtigsten Begriffsverwirrungen

1. Lügt die KI?

Nein. Lügen setzt Bewusstsein voraus. Lügen ist eine Handlung, die absichtlich eine Unwahrheit vermittelt, um jemanden zu täuschen. Eine Maschine, die keinen Begriff von Wahrheit hat, kann auch keinen Begriff von deren Gegenteil haben.

Wer sagt, die KI lügt, vermenschlicht einen statistischen Prozess. Das ist verständlich, weil das Ergebnis sich wie eine Lüge anfühlt. Aber es ist technisch ungenau – und diese Ungenauigkeit hat Konsequenzen, weil sie uns dazu verleitet, das falsche Problem zu lösen.

2. Halluziniert die KI?

Technisch ja. Aber der Begriff verniedlicht das Problem.

„Halluzination“ klingt nach einem gelegentlichen Ausrutscher, einem seltenen Fehler, einer Randerscheinung. Als würde jemand nach einer schlaflosen Nacht kurz Dinge sehen, die nicht da sind.

Was tatsächlich passiert, ist struktureller: Ein Sprachmodell ohne Zugriff auf externe Daten vervollständigt Text statistisch. Es berechnet, welche Wortfolge auf eine gegebene Eingabe wahrscheinlich folgt – basierend auf allem, womit es trainiert wurde. Wenn keine verlässliche Information vorhanden ist, erfindet es keine Lüge. Es produziert das Plausible. Das Wahrscheinliche. Das, was klingen könnte wie eine Antwort.

Das Ergebnis ist ein Text, der sich wie eine Quellenangabe liest, eine URL, die sich wie ein Beleg anfühlt – und beides kann vollständig erfunden sein, ohne dass die Maschine das weiß oder wissen könnte.

„Eine Maschine lügt nicht“ – richtig. „Sie halluziniert“ – auch falsch. Sie berechnet das Wahrscheinliche. Wahrheit ist in dieser Berechnung keine Variable.

3. Ist es Urkundenfälschung?

Juristisch: nein. Praktisch: es kommt drauf an.

Hier wird es interessant. Eine Urkunde im Rechtssinne erfordert Permanenz, Zurechenbarkeit, und einen menschlichen Aussteller mit Erklärungswillen. Eine halluzinierte URL erfüllt keines dieser Kriterien. Der Richter, dessen Urteil eine KI zitiert, hat dieses spezifische Zitat nie verfasst. Die Urkunde existiert nicht – sie wurde in den Schnee gepisst.

Aber hier liegt das eigentliche Problem: Juristen selbst behandeln Datenbankeinträge längst wie Urkunden.

Ein Gerichtsurteil in einer digitalen Rechtsdatenbank ist streng genommen keine Urkunde. Ihr fehlt der Permanenzcharakter – sie kann geändert, gelöscht, überschrieben werden, ohne dass jemand eine Unterschrift unter die Änderung setzt. Der Jurist weiß das. Theoretisch. Praktisch vergleicht niemand mehr den Datenbankausdruck mit der Originalurkunde, die irgendwo in einem Archiv lagert.

Das System funktioniert, solange alle so tun, als ob. Die KI tut dasselbe – nur ohne das implizite Qualitätsversprechen einer seriösen Datenbank. Sie tut so, als ob sie eine Quelle hätte. Der Unterschied ist, dass bei der Datenbank tatsächlich ein Urteil existiert. Bei der KI manchmal nicht.

4. Was ist Grounding – und warum ist es entscheidend?

Grounding bedeutet, dass ein KI-System seine Aussagen an tatsächlich vorhandene, abrufbare Quellen knüpft. Eine Suchmaschine mit KI-Komponente wie Perplexity oder Claude mit aktivierter Recherchefunktion sucht zuerst – und generiert dann auf Basis gefundener Inhalte.

Ein Sprachmodell ohne Grounding macht das Gegenteil: Es generiert zuerst – und das Ergebnis klingt wie eine Aussage mit Quellenbezug, auch wenn keine Quelle existiert.

Ein konkretes Beispiel: Ich hatte auf meiner Webseite den Begriff „Kernschrott der Plattformarchitektur“ verwendet – ohne Definition, als rhetorische Wendung in einem Artikel über Social-Media-Politik. Die Seite war zu diesem Zeitpunkt noch nicht von Bing indexiert. Der Search Assistant von DuckDuckGo, der GPT als Grundlage nutzt, zeigte trotzdem eine ausführliche Definition des Begriffs an – mit meiner URL als Quelle. Der Text stand nie auf meiner Seite. Er war statistisch plausibel, thematisch passend, und vollständig erfunden. Das System hatte keinen Zugriff auf meine Seite. Es hatte Grounding simuliert, ohne es zu haben.

5. Warum ist das ein Problem, wenn die KI doch nicht lügt?

Weil die Konsequenzen dieselben sind wie beim Lügen – unabhängig von der Absicht.

Wenn jemand auf Basis einer halluzinierten Quelle eine Entscheidung trifft, ist diese Entscheidung auf falschen Prämissen gebaut. Ob die Maschine „wusste“, dass die Quelle falsch war, ist für den Schaden irrelevant.

Das ist übrigens auch der Grund, warum das Argument „aber mein Anwalt prüft das nach“ zwar richtig, aber nicht ausreichend ist. Es verlagert die Prüfpflicht auf den Menschen – was in sorgfältig kontrollierten Kontexten funktioniert. In der alltäglichen Nutzung, wo Millionen Menschen täglich KI-Antworten konsumieren ohne sie zu verifizieren, ist es eine Hoffnung, keine Lösung.

6. Was folgt daraus für den Umgang mit KI?

Drei Unterscheidungen, die im Alltag nützlich sind:

Erstens: Welches Modell, mit welchem Zugriff?
Ein Sprachmodell ohne Internetzugang kann keine aktuellen Quellen liefern. Es kann nur das produzieren, was statistisch zu einer Anfrage passt. Das ist für viele Aufgaben hervorragend geeignet – und für Quellenrecherche strukturell ungeeignet.

Zweitens: Grounding ist kein Qualitätsmerkmal, sondern eine Architekturentscheidung.
Perplexity sucht und paraphrasiert – was eigene Fehlerquellen schafft. Claude mit Recherchefunktion ruft Quellen auf und zitiert sie. ChatGPT ohne Webzugriff tut keines von beidem. Das sind keine Qualitätsunterschiede – es sind unterschiedliche Werkzeuge für unterschiedliche Aufgaben.

Drittens: Die Plausibilität einer KI-Antwort ist kein Indiz für ihre Richtigkeit.
Das ist der eigentliche Kern. Sprachmodelle sind darauf optimiert, plausibel zu klingen. Je überzeugender die Antwort klingt, desto wichtiger ist die Überprüfung – nicht desto unwichtiger.

Schluss: Schnee und Architektur

Zurück zum Schnee.

Der Vertrag, der in den Schnee gepisst wird, ist keine Urkunde – nicht weil jemand lügt, sondern weil der Träger die falsche Substanz hat. Der Inhalt kann korrekt sein. Die Absicht kann redlich sein. Es fehlt trotzdem das Entscheidende: die Beständigkeit, die einen Beleg zum Beleg macht.

KI-Systeme ohne Grounding operieren strukturell in dieser Logik. Sie produzieren Texte, die wie Belege aussehen, wie Quellen klingen, wie Definitionen wirken. Der Träger – das statistische Wahrscheinlichkeitsmodell – ist nicht dafür gebaut, Permanenz zu garantieren. Er ist gebaut, um das Nächstliegende zu sagen.

Das ist keine Kritik an KI als Technologie. Es ist eine Beschreibung von Architektur. Und wer diese Architektur versteht, kann das Werkzeug sinnvoll einsetzen – und weiß, wann er besser nachschaut, bevor der Schnee schmilzt.

Dieser Artikel ist Teil einer losen Serie zum Begriff des systemischen Kernschrotts der Plattformarchitektur. Die ausführliche Begriffsdefinition findet sich hier.