Ratgeber

Wie verhindert man, dass ein KI-Chatbot falsche Angaben macht?

• 10. August 2026
• 5 Minuten Lesezeit
• Gegen den eigenen Code geprüft

Ganz verhindern kann man es nicht. Was hilft, ist eine Verschiebung: Je weniger von einer Antwort das Sprachmodell selbst entscheidet, desto weniger kann es erfinden. Alles, was stattdessen ein Programm entscheidet — welche Textstellen das Modell überhaupt zu sehen bekommt, woher eine Zahl kommt, wann an einen Menschen übergeben wird —, ist keine Wahrscheinlichkeitsfrage mehr, sondern eine Regel. Für den Rest gilt: eingrenzen und messen, nicht versprechen.

Warum ein Sprachmodell überhaupt erfindet

Ein Sprachmodell schlägt nichts nach. Es setzt Text fort und wählt dabei Stück für Stück die wahrscheinlichste Fortsetzung. Was dabei entsteht, ist plausibler Text — ob er auch zutrifft, ist eine andere Frage, die das Modell an dieser Stelle gar nicht stellt. Es gibt in ihm keinen getrennten Ort, an dem «gewusst» und «geraten» auseinandergehalten würden.

Daraus folgt der Punkt, der im Kundenkontakt zählt: Nicht dass ein Fehler passiert, ist das Problem, sondern dass er von aussen genauso aussieht wie die richtige Antwort. Eine erfundene Vertragslaufzeit ist von einer echten nicht zu unterscheiden, und niemand hat einen Anlass, sie nachzuprüfen. Wer «das weiss ich nicht» erwartet, bekommt einen vollständigen, ruhigen, falschen Satz.

Was wirklich hilft

Die Trennlinie verläuft nicht zwischen guten und schlechten Anweisungen, sondern zwischen Anweisung und Riegel. Eine Anweisung an das Modell ist eine Bitte. Ein Riegel ist Programmcode, der auch dann gilt, wenn das Modell etwas anderes will. Alles Wirksame steht auf dieser Seite:

Die Antwort an Fundstellen binden — und die Schwelle hart ziehen. Dem Modell die eigenen Unterlagen mitzugeben, hilft, verhindert für sich genommen aber nichts: Es ändert, was das Modell sieht, nicht, was es formuliert. Wirksam wird es erst durch die Schwelle davor. Liegt keine Fundstelle nahe genug an der Frage, wird gar keine übergeben, und der Ablauf behandelt die Frage als Wissenslücke. Was das Modell nie bekommen hat, kann es auch nicht falsch wiedergeben.

Zahlen nachschlagen oder rechnen statt formulieren lassen. Preise, Fristen und Richtwerte gehören in eine Tabelle, aus der ein Programm den Wert holt. Nützlich ist dabei eine geschlossene Auswahl statt Freitext: Das Modell ordnet die Beschreibung der Kundin einer der bestehenden Optionen zu, und was auf keine passt, verwirft der Code — statt es zu übernehmen.

Ein Schema, das der Code durchsetzt. Wenn festgelegt ist, welche Felder es gibt, fällt ein vom Modell erfundenes Feld weg, und ein fehlendes erscheint als «nicht gefunden», statt stillschweigend zu verschwinden. Das Formular kann dann nicht unvollständig aussehen wie ein vollständiges.

Eine harte Abbruchbedingung. Der wichtigste Riegel ist der, der das Gespräch beendet: Findet das System zweimal hintereinander nichts, geht der Fall an einen Menschen. Diese Entscheidung darf nicht beim Modell liegen, sonst redet es sich genau dann frei, wenn es am wenigsten weiss.

Werkzeuge, die es nicht gibt. Was einem Agenten nicht angeboten wird, kann er nicht benutzen. Das klingt banal und ist der billigste Riegel überhaupt.

Ein Halt vor der Aussenwirkung. Für alles, was den Betrieb verlässt — eine E-Mail, eine Offerte, eine Zusage —, gehört ein Punkt in den Ablauf, an dem er wirklich anhält und wartet. Nicht eine Bitte, es zu tun.

Was nur teilweise hilft

Anweisungen im Auftrag an das Modell («antworte nur aus den Unterlagen», «nenne die Quelle»). Sie wirken messbar, und sie halten fast immer. Genau deshalb sind sie als Zusage gefährlich: «fast immer» ist im Kundenkontakt kein Zustand, den man einer Kundin versprechen kann. Und mehr Regeln sind nicht besser — in unseren eigenen Messläufen hat zusätzliche Prompt-Instruktion die Antwortqualität mehr als einmal verschlechtert.

Eine niedrig eingestellte Streuung («Temperatur»). Sie macht Antworten gleichförmiger, nicht wahrer. Zweimal dieselbe falsche Antwort ist immer noch falsch.

Ein Sicherheitswert je Feld. Er ist nützlich beim Auslesen von Dokumenten, hat aber einen Haken, den man kennen muss: Der Wert kommt vom Modell selbst. Hart ist nur der Vergleich mit der Schwelle. Ein Modell, das sich sicher irrt, meldet einen hohen Wert.

Was Augenwischerei ist

«Wir haben es dem Modell verboten.» Ein Verbot im Auftragstext ist eine Bitte mit strengem Ton. Die einzige sinnvolle Rückfrage lautet: Was passiert, wenn das Modell sich nicht daran hält?

Einstellungen, die nichts steuern. Ein Schalter in einer Oberfläche beweist nicht, dass ihn irgendeine Zeile Code liest. Wir haben unsere eigenen gezählt: 74 Einstellungen — 43 vom Code erzwungen, eine bloss protokolliert, 11 nur eine Bitte an das Modell und 19, die heute nichts bewirken. Die 19 stehen bei uns als Lücke geführt und erscheinen der Kundin nirgends als Zusage. Der Punkt ist nicht die Zahl, sondern dass man sie nur kennt, wenn man nachgezählt hat.

«Halluzinationsfrei» oder «100 % korrekt». Das kann niemand messen. Messbar ist nur ein fester Satz Prüffragen mit einer Zahl und einem Datum.

Und der teuerste Irrtum: «nicht erfunden» mit «richtig» zu verwechseln. Zwei Beispiele aus unseren eigenen Tests. Im ersten nannte der Agent auf die Frage nach den Kosten drei konkrete Beträge — die standen wörtlich in den Unterlagen, der Prüfstand schlug zu Recht nicht an. Trotzdem war es falsch: Ohne eine einzige Angabe zum Betrieb ist eine solche Zahl wertlos und klingt wie eine Zusage. Im zweiten fragte jemand nach der Rückerstattung einer Weiterbildung; der Agent antwortete, ohne Vorab-Bewilligung bestehe kein Anspruch — als wäre erwiesen, dass keine vorliegt. Jeder einzelne Satz stand im Reglement. Falsch war nicht der Inhalt, sondern die Anwendung auf einen Fall, über den der Agent nichts wusste.

Wer nur auf Halluzinationen prüft, findet beide Fälle nie.

Fünf Fragen an einen Anbieter

Man muss nichts von Technik verstehen, um diese Fragen zu stellen. Man muss nur auf die Form der Antwort achten.

1. Welche Ihrer Zusagen erzwingt der Code, und welche sind eine Anweisung an das Modell? Wer die Frage nicht sofort trennen kann, hat sie sich nie gestellt.
2. Was passiert, wenn nichts gefunden wird — zeigen Sie es mir. Mit einer Frage, die ich mir in dem Moment ausdenke, nicht aus einem Drehbuch.
3. Woran messen Sie, dass nichts erfunden wird? Wie gross ist der Prüfsatz, wann lief er zuletzt, wie lautete die Zahl? «Wir testen laufend» ist keine Antwort.
4. Zeigen Sie mir einen Fall, in dem Ihr System falsch lag. Wer keinen hat, hat nicht gesucht — oder erzählt es nicht.
5. Wird das Gesprächsprotokoll von Personendaten befreit — durch Code oder durch eine Einstellung, die es nur behauptet? Dieselbe Frage wie Nummer 1, an der unangenehmsten Stelle.