KI-Antworten prüfen: Quellen, Lücken und scheinbare Gewissheit

Kurz gesagt

Wie sicher eine KI-Antwort klingt, sagt nichts darüber, ob sie stimmt. Eine Antwort kann Aussagen aus Ihrem Material, allgemeines Wissen mit unklarem Stand und Behauptungen ohne erkennbare Grundlage enthalten, und alle drei sehen gleich aus. Prüfen heißt deshalb, für die Aussagen, die Ihre Entscheidung tragen, die Herkunft zu klären, Quellen im Original zu lesen und Zahlen nachzurechnen. Für Ihr Unternehmen heißt das: Wie gründlich Sie prüfen, richtet sich danach, wie schwer sich die Entscheidung umkehren lässt, von der Stichprobe bis zur Prüfung jeder tragenden Aussage.

Sicherheit im Ton ist kein Beleg

Eine KI-Antwort kann gut formuliert, gegliedert und frei von Zögern sein, auch dort, wo sie nicht stimmt. Das ist angenehm zu lesen und zugleich die Eigenschaft, die zur Vorsicht mahnen sollte. Bei einem Menschen kann der Ton verraten, wie sicher er sich ist: Er zögert, schränkt ein, sagt „soweit ich weiß". Bei einer KI-Antwort kann dieses Signal fehlen oder an Stellen stehen, an denen es nichts bedeutet. Eine Zahl, die aus einer geprüften Quelle stammt, und eine Zahl, für die es keine Quelle gibt, können im selben Satz im selben Ton stehen.

Daraus folgt eine einfache Haltung: Behandeln Sie eine KI-Antwort wie den Entwurf einer fähigen Mitarbeiterin, die Sie noch nicht lange kennen. Sie kann nützlich sein und Arbeit sparen, und bevor eine Entscheidung darauf gestützt wird, sehen Sie sich die tragenden Stellen selbst an.

Dieser Baustein beschreibt, wie das geht und wie viel Prüfung welche Aussage braucht. Wie er sich in den gesamten Ablauf einer Entscheidungsvorbereitung einfügt, steht im Leitfaden Entscheidungen mit KI vorbereiten, ohne sie abzugeben.

Drei Herkünfte einer Aussage

Jede Aussage in einer KI-Antwort stammt aus einer von drei Quellen, und die Prüfung beginnt damit, sie auseinanderzuhalten.

Aus Ihrem Material. Die Aussage gibt wieder, was im Kontextbriefing oder in den mitgegebenen Unterlagen steht: Ihr Angebotspreis, Ihre Vertragslaufzeit, Ihre Kriterien. Sie lässt sich am Material prüfen, und die Prüfung ist schnell. Achten Sie dabei darauf, ob die Aussage das Material richtig wiedergibt oder ob aus einer Annahme im Briefing eine Tatsache geworden ist.

Aus allgemeinem Wissen. Die Aussage stammt nicht aus Ihrem Material, sondern aus dem, was das Modell über die Welt gelernt hat oder was ein Suchdienst geliefert hat: eine Eigenschaft eines Produkts, ein üblicher Preis, eine Marktentwicklung, eine Rechtslage. Solche Aussagen können zutreffen. Ihr Stand ist aber nicht ohne Weiteres erkennbar, und was vor einem Jahr galt, kann heute überholt sein.

Ohne erkennbare Grundlage. Die Aussage lässt sich weder auf Ihr Material noch auf eine auffindbare Quelle zurückführen. Eine KI-Antwort kann Zahlen, Quellenangaben oder Zitate enthalten, die sich nicht belegen lassen, und sie sehen genauso aus wie die belegten.

Den ersten Schritt kann die KI selbst übernehmen. Bitten Sie darum, bei jeder wesentlichen Aussage anzugeben, ob sie aus Ihrem Material stammt, aus einer genannten Quelle oder aus allgemeinem Wissen. Das ersetzt die Prüfung nicht, denn auch diese Zuordnung kann falsch sein. Es zeigt Ihnen aber, wo Sie mit der Prüfung beginnen.

Die tragenden Aussagen finden

Nicht jede Aussage einer Antwort verdient dieselbe Aufmerksamkeit. Prüfen Sie zuerst die, an denen die Entscheidung hängt.

Die Frage dafür ist dieselbe wie bei den Annahmen: Würde sich die Entscheidung ändern, wenn diese Aussage falsch wäre? Eine Antwort über einen Anbieterwechsel kann zwanzig Aussagen enthalten, und vielleicht drei davon tragen die Empfehlung. Wie Sie solche Stellen in der eigenen Argumentation finden, steht in Annahmen und Gegenargumente mit KI prüfen. Für die KI-Antwort gilt dasselbe Verfahren.

Markieren Sie die tragenden Aussagen, bevor Sie mit der Prüfung beginnen. Wer ohne diese Auswahl prüft, prüft entweder alles und verliert den Nutzen der KI, oder er prüft das, was sich leicht prüfen lässt, und nicht das, worauf es ankommt.

Fünf Prüfschritte

Die Quelle im Original lesen

Wenn eine Aussage sich auf eine Quelle beruft, prüfen Sie drei Dinge: ob es die Quelle gibt, ob sie das sagt, was behauptet wird, und ob sie aktuell ist. Die erste Frage klingt überflüssig und ist es nicht. Die zweite ist die tückischste: Eine Quelle existiert, behandelt das Thema, sagt aber etwas anderes, Engeres oder unter anderen Bedingungen.

Lesen Sie die Stelle selbst, nicht die Zusammenfassung der KI und nicht die Zusammenfassung einer anderen Website. Eine Zusammenfassung der Zusammenfassung ist kein Beleg.

Zahlen nachrechnen

Rechnen Sie jede Zahl nach, die aus einer Berechnung stammt: Summen, Differenzen, Hochrechnungen auf mehrere Jahre, Prozentangaben. Das kostet wenig Zeit, und das Verhältnis von Aufwand zu Nutzen ist gut. Prüfen Sie dabei auch die Eingangswerte: Eine korrekt gerechnete Summe aus einem falschen Angebotspreis ist falsch.

Den Stand klären

Bei allem, was sich ändern kann, fragen Sie nach dem Stand: Preise, Produkteigenschaften, Rechtslage, Anbieterangaben, Marktzahlen. Eine Aussage ohne Stand ist für eine Entscheidung nur so viel wert wie die Annahme, dass sich seither nichts geändert hat. Bei Rechtsfragen gilt zusätzlich: Was eine Vorschrift in Ihrem Fall bedeutet, ist eine Frage für Ihre Rechtsberatung und nicht für eine KI-Antwort.

Die Gegenprobe machen

Stellen Sie dieselbe Frage anders. Fragen Sie nach Belegen gegen die Aussage statt nach Belegen für sie. Bitten Sie in einem neuen Gespräch um eine Einschätzung, ohne Ihre bisherige Richtung zu nennen. Weichen die Antworten an einer tragenden Stelle voneinander ab, ist diese Stelle ungeklärt, und zwar gleichgültig, welche der Antworten überzeugender klingt.

Eine übereinstimmende Antwort ist dagegen kein Beleg. Zwei Durchläufe können dieselbe unbelegte Angabe liefern. Die Gegenprobe findet Widersprüche, sie bestätigt nichts.

Nach dem Fehlenden fragen

Die letzte Prüfung richtet sich nicht auf das, was in der Antwort steht, sondern auf das, was fehlt. Fragen Sie: Welche Information würde diese Einschätzung ändern? Welche Einschränkungen gelten für diese Aussage? Was wissen wir nicht? Eine Antwort, die auf diese Fragen nichts Neues liefert, hatte womöglich tatsächlich keine Lücken. Eine Antwort, die jetzt erst Einschränkungen nennt, hatte sie vorher nicht genannt.

Warnzeichen

Einige Merkmale sollten die Prüftiefe erhöhen, weil sie auf eine Aussage hindeuten können, die genauer klingt, als sie belegt ist.

• Sehr genaue Zahlen ohne Quelle. Eine Angabe auf die Kommastelle wirkt verlässlicher als eine Größenordnung, ist es aber nur, wenn sie eine Quelle hat.
• Quellen, die sich nicht auffinden lassen. Ein Titel, eine Studie, ein Paragraf, der in der genannten Form nicht existiert.
• Aussagen über den aktuellen Stand. Preise, Produktfunktionen, Anbieterbedingungen und Rechtslagen ändern sich; eine Antwort ohne Datum sagt nicht, wann sie galt.
• Eine Antwort, die genau zu Ihrer Meinung passt. Das kann bedeuten, dass Sie recht haben. Es kann auch bedeuten, dass die Frage die Antwort vorgegeben hat.
• Fehlende Einschränkungen. Aussagen ohne „unter der Bedingung, dass" können bei komplexen Fragen unvollständig sein.

Keines dieser Zeichen beweist einen Fehler. Jedes ist ein Grund, die betreffende Aussage vor der Entscheidung selbst anzusehen.

Prüftiefe nach Tragweite

Die Prüfung soll zur Entscheidung passen. Eine Entscheidung, die sich leicht korrigieren lässt, verträgt eine Antwort, deren tragende Aussagen stichprobenartig geprüft sind. Eine Entscheidung, die sich schwer rückgängig machen lässt, etwa eine Investition, ein Anbieterwechsel oder ein langer Vertrag, verlangt, dass jede tragende Aussage geprüft ist.

Dazwischen liegt eine einfache Regel: Je schwerer die Entscheidung umzukehren ist, desto weniger darf sie auf ungeprüften Aussagen ruhen. Wenn die Zeit für eine vollständige Prüfung fehlt, schreiben Sie auf, welche tragenden Aussagen ungeprüft geblieben sind. Das ist keine Nachlässigkeit, sondern eine bewusst getragene Annahme, und sie gehört ins Entscheidungsjournal.

Was geprüft ist, bleibt markiert

Halten Sie das Ergebnis der Prüfung fest, und zwar je tragender Aussage. Drei Markierungen genügen.

Die dritte Markierung ist wichtiger, als sie aussieht. Eine verworfene Aussage, die nicht festgehalten wird, taucht bei der nächsten Frage an die KI womöglich wieder auf, und dann muss sie noch einmal geprüft werden. Wie Sie diese Markierungen zusammen mit der Entscheidung aufbewahren, steht in Das Entscheidungsjournal: Gründe festhalten und später prüfen.

Wie zwei tragende Aussagen einer KI an einem konkreten Fall der Prüfung nicht standhalten, eine Rechnung und eine Produktbehauptung, zeigt das konstruierte Beispiel in Eine Investitionsentscheidung mit KI vorbereiten: ein Beispiel.

Häufige Fragen

Kann ich die KI nicht einfach anweisen, nur Belegtes zu sagen?

Eine solche Anweisung kann helfen, die KI zum Nennen von Quellen und zum Kennzeichnen von Unsicherheit anzuhalten. Sie ersetzt die Prüfung nicht: Auch eine genannte Quelle muss existieren und das Behauptete sagen. Nutzen Sie die Anweisung, um die Prüfung zu erleichtern, nicht, um sie zu überspringen.

Wer im Unternehmen sollte die Prüfung übernehmen?

Die Person, die die Aussage am besten beurteilen kann, und nicht zwingend die, die die KI befragt hat. Eine Aussage über Vertragsbedingungen prüft jemand, der den Vertrag kennt; eine Aussage über ein technisches Format prüft die IT. Die Geschäftsführung muss nicht alles selbst prüfen, aber sie muss wissen, was geprüft ist und was nicht.

Was, wenn sich eine tragende Aussage nicht prüfen lässt?

Dann ist sie offen, und die Entscheidung trägt dieses Risiko. Schreiben Sie auf, welche Aussage das ist und was geschähe, wenn sie nicht zutrifft. Manchmal zeigt sich dabei, dass die Entscheidung auch ohne diese Aussage trägt. Manchmal zeigt sich, dass eine Nachfrage beim Anbieter oder ein Probeexport die Aussage doch prüfbar macht. Wie Sie das für eine Wechselfrage tun, steht in Wechselmöglichkeit prüfen: Export, Weiterverwendung, Betrieb.