Kurz gesagt
Ein KI-Vorhaben lässt sich nur dann ehrlich bewerten, wenn vor dem Start feststeht, woran es gemessen wird und wer über seine Fortsetzung entscheidet. Der erwartete Nutzen ist dabei eine Annahme, keine Tatsache, und zu der Zeit, die KI einspart, gehört die Zeit, die das Prüfen ihrer Ergebnisse kostet. Am Bewertungstermin gibt es drei gleichwertige Ergebnisse: fortsetzen, ändern oder beenden. Für Ihr Unternehmen heißt das: Schreiben Sie die Kriterien auf, bevor das Vorhaben beginnt, oder, wenn es schon läuft, jetzt für den nächsten Zeitraum.
Warum Vorhaben ohne Bewertung weiterlaufen
Ein KI-Vorhaben, das einmal läuft, kann Fürsprecher haben. Menschen haben Zeit hineingesteckt, Anweisungen entwickelt, Abläufe umgestellt. Wenn niemand vorher gesagt hat, woran sich das Vorhaben messen lassen muss, liegt es nahe, es an den gelungenen Beispielen zu messen, die es vorzeigen kann. Misslungene Fälle und die Zeit, die das Prüfen gekostet hat, stehen in keiner Übersicht, solange niemand sie erfasst.
So entsteht ein Vorhaben, das weiterläuft, weil niemand einen Anlass hat, es zu beenden. Das ist nicht dasselbe wie ein Vorhaben, das sich lohnt.
Die Bewertung setzt deshalb nicht am Ende an, sondern am Anfang. Dasselbe Prinzip gilt für einen Anbieterwechsel, beschrieben in Einen Umstieg planen: Reihenfolge, Aufwand, Prioritäten: Abbruchkriterien, Rückweg und Entscheidungsbefugnis stehen fest, bevor das Vorhaben beginnt.
Vor dem Start: Was feststehen muss
Fünf Angaben gehören in den Beschluss, mit dem ein Vorhaben beginnt.
Die Aufgabe. Welche Arbeit soll mit KI besser werden, in einem Satz, der eine Aufgabe beschreibt und keine Technik. Das Vorhaben leitet sich aus der Richtung ab, die das Unternehmen festgelegt hat; wie sie entsteht, steht in Wofür wir KI einsetzen wollen: eine gemeinsame Richtung finden.
Die Erwartung. Was soll sich verbessern, und woran würde man es sehen? Weniger Zeit für eine Aufgabe, weniger Fehler, eine breitere Grundlage für eine Entscheidung, eine Aufgabe, die bisher gar nicht erledigt wurde. Die Erwartung wird so formuliert, dass sie sich am Bewertungstermin prüfen lässt.
Die Kriterien für die drei Ergebnisse. Woran erkennen wir, dass wir fortsetzen, dass wir ändern, dass wir beenden? Ein Abbruchkriterium, das erst am Bewertungstermin formuliert wird, ist keines mehr, weil es dann an das Ergebnis angepasst wird.
Der Termin. Wann wird bewertet? Früh genug, dass eine Korrektur noch leicht ist, und spät genug, dass sich die Erwartung gezeigt haben kann.
Die Zuständigkeit. Wer führt das Vorhaben, und wer entscheidet am Termin? Bei einem geschäftsnahen Vorhaben mit vertraulichen Daten ist das die Geschäftsführung; warum, steht in Was die Geschäftsführung beim KI-Einsatz selbst klären muss.
Diese fünf Angaben passen in einen einzigen Eintrag. Eine Vorlage, die Annahmen, Erwartungen und einen Termin zur Überprüfung zusammen festhält, beschreibt Das Entscheidungsjournal: Gründe festhalten und später prüfen.
Den Nutzen ehrlich rechnen
Der erwartete Nutzen eines KI-Vorhabens ist eine Annahme, und sie verdient dieselbe Prüfung wie jede andere Annahme einer Entscheidung.
Die Prüfzeit gehört dazu. Wenn eine KI einen Entwurf in Minuten liefert, für den ein Mensch eine Stunde gebraucht hätte, ist das nicht die Ersparnis. Die Ersparnis ist die Stunde abzüglich der Zeit, die das Prüfen und Überarbeiten des Entwurfs kostet. Wer nur die erste Zahl rechnet, rechnet die Entlastung zu groß. Derselbe Gedanke steht für einzelne Entscheidungen im Leitfaden Entscheidungen mit KI vorbereiten, ohne sie abzugeben.
Auch der Aufwand um das Vorhaben herum zählt. Anweisungen und Vorlagen müssen gepflegt werden, Menschen brauchen Zeit zum Lernen, der Dienst kostet Geld. Diese Kosten entstehen, auch wenn sie in keiner Projektübersicht stehen.
Nicht jeder Nutzen ist Zeit. Ein Vorhaben kann sich lohnen, obwohl es keine Zeit spart, etwa wenn es eine Prüfung ermöglicht, die vorher niemand gemacht hat, oder wenn es Wissen zugänglich macht, das bisher an einer Person hing. Solche Nutzen gehören in die Erwartung, und zwar so konkret, dass sie sich am Termin prüfen lassen.
Die misslungenen Fälle zählen mit. Sammeln Sie während des Vorhabens nicht nur gelungene Beispiele, sondern auch die Fälle, in denen das Ergebnis unbrauchbar war oder ein Fehler erst spät auffiel. Ohne sie ist die Bewertung eine Auswahl.
Der Vergleich braucht einen Ausgangspunkt. Ob KI etwas verbessert hat, lässt sich nur gegen den Zustand ohne sie sagen. Halten Sie deshalb vor dem Start fest, wie es heute aussieht: wie lange eine Aufgabe dauert, wie viele Fehler an einer späteren Stelle auffallen, wie vollständig eine Vorlage ist. Wo sich das nicht messen lässt, hilft eine Stichprobe, in der einige Fälle parallel mit und ohne KI bearbeitet werden. Ohne einen solchen Ausgangspunkt ist jedes Fortsetzungskriterium nur scheinbar messbar.
Am Termin: Drei gleichwertige Ergebnisse
Am Bewertungstermin legt die Person, die das Vorhaben führt, zusammen, was sich gezeigt hat: die Erwartung und was tatsächlich eingetreten ist, die gelungenen und misslungenen Fälle, den Aufwand einschließlich der Prüfzeit. Entschieden wird dann auf Grundlage der Kriterien, die vorher feststanden.
Fortsetzen. Die Erwartung ist eingetreten oder auf dem Weg dorthin, und der Aufwand steht in einem vertretbaren Verhältnis. Dann wird ein nächster Termin festgelegt; auch ein fortgesetztes Vorhaben wird wieder bewertet.
Ändern. Das Vorhaben zeigt Nutzen, aber an einer anderen Stelle als erwartet, oder der Aufwand ist zu hoch, weil ein bestimmter Teil nicht trägt. Dann wird das Vorhaben neu zugeschnitten, mit neuen Kriterien und einem neuen Termin. Ändern ist kein halbes Scheitern, sondern die Folge dessen, dass die Bewertung etwas gelernt hat.
Beenden. Die Erwartung ist nicht eingetreten, und es gibt keinen begründeten Anlass anzunehmen, dass sie mit mehr Zeit eintritt. Ein beendetes Vorhaben ist ein Ergebnis: Das Unternehmen weiß jetzt, dass diese Aufgabe mit diesem Ansatz unter diesen Bedingungen nicht besser geworden ist. Diese Erkenntnis gehört festgehalten, damit sie nicht in einem Jahr mit demselben Ansatz erneut erworben wird.
Die drei Ergebnisse sind gleichwertig, und das sollte die Geschäftsführung ausdrücklich sagen. Gilt ein Ende als Versagen der Person, die das Vorhaben geführt hat, liegt es nahe, Vorhaben zu schönen statt zu bewerten.
Wenn ein Vorhaben schon läuft
Nicht jedes Vorhaben beginnt mit einem Beschluss. Ein Team nutzt einen KI-Dienst seit Monaten, ohne dass jemand Erwartung, Kriterien oder Termin festgehalten hat. Für diesen Fall lässt sich die Bewertung nicht nachholen, als hätte es den Anfang gegeben. Sie lässt sich aber ehrlich beginnen, in vier Schritten.
Die Erwartung nachträglich aufschreiben, und als nachträglich kennzeichnen. Was sollte der Einsatz leisten, als er begann? Die Beteiligten können das sagen, aber ihre Antwort ist von dem gefärbt, was sich inzwischen gezeigt hat. Halten Sie sie trotzdem fest, mit dem Vermerk, dass sie im Rückblick entstanden ist.
Den heutigen Stand erheben, mit den misslungenen Fällen. Was hat der Einsatz bisher gebracht, was hat er gekostet, einschließlich der Prüfzeit, und wo war ein Ergebnis unbrauchbar? Wo sich der Zustand vor dem Einsatz noch rekonstruieren lässt, etwa aus Aufzeichnungen des Vorjahres, ist er der Vergleichspunkt.
Jetzt entscheiden, was bis zum nächsten Termin gilt. Auf dieser Grundlage wird ein erstes Mal entschieden, fortsetzen, ändern oder beenden, im Wissen, dass die Grundlage schwächer ist als bei einem Vorhaben mit Kriterien von Anfang an.
Ab jetzt wie ein neues Vorhaben. Wird der Einsatz fortgesetzt oder geändert, bekommt er einen Eintrag mit den fünf Angaben oben, und ab diesem Tag gelten die Kriterien, die vor dem nächsten Zeitraum feststehen. Der Rückblick ersetzt sie nicht.
Was beim Beenden zu klären ist
Ein beendetes KI-Vorhaben hinterlässt etwas: Anweisungen, Vorlagen, Wissenssammlungen, möglicherweise Daten beim Anbieter des Dienstes. Drei Fragen gehören deshalb zum Beenden.
Was davon ist auch ohne das Vorhaben wertvoll und wird aufbewahrt, als maßgebliches Exemplar in der Ablage des Unternehmens, wie es Den Kontext behalten: Wissen, Zugriff und Weiternutzung beschreibt? Welche Daten liegen beim Anbieter, und wie werden sie gelöscht oder zurückgeholt? Und wer informiert die Menschen, die mit dem Vorhaben gearbeitet haben, damit sie nicht auf eigene Faust weitermachen, etwa mit einem privaten Konto?
Die Antworten gehören in denselben Eintrag, mit dem das Vorhaben beschlossen wurde. Dort stehen dann Beschluss, Erwartung, Bewertung und Ende beieinander, und wer in einem Jahr einen ähnlichen Ansatz vorschlägt, findet an einer Stelle, was damals versucht wurde, woran es gemessen wurde und warum es endete.
Mehrere Vorhaben im Blick
Laufen mehrere KI-Vorhaben, lohnt es, ihre Bewertungen gelegentlich nebeneinanderzulegen; wie man aus mehreren Einträgen lernt, beschreibt Das Entscheidungsjournal: Gründe festhalten und später prüfen. Ein Muster, etwa eine durchgehend unterschätzte Prüfzeit, gehört in die Überprüfung der Richtung und zeigt, wo das Befähigen ansetzen sollte; dazu mehr in Führungskräfte und Mitarbeitende für KI befähigen.
Ein konstruiertes Beispiel
Beim erfundenen Maschinenbauer mit 180 Mitarbeitenden, der durch die Stränge dieses Portals führt, prüft ein Team in der Konstruktion seit Monaten Varianten von Standardbaugruppen mit einem KI-Dienst, ohne dass jemand Kriterien festgelegt hätte. Weil dabei Konstruktionsdaten in den Dienst gehen, bewertet die Geschäftsführerin diesen Einsatz zuerst, gemeinsam mit dem Konstruktionsleiter.
Die Erwartung, im Rückblick aufgeschrieben: Widersprüche zu früheren Konstruktionen, die heute erst in der Montage auffallen, sollten früher gefunden werden. Der heutige Stand: Die KI hat einige solcher Widersprüche gefunden, aber ein großer Teil ihrer Hinweise betrifft Abweichungen, die gewollt sind, und die Konstrukteure verbringen viel Zeit damit, sie abzuhaken. Als Vergleichspunkt dienen die Änderungsmeldungen aus der Montage im Jahr vor dem Einsatz.
Die erste Entscheidung lautet ändern, nicht beenden: Künftig prüft die KI nur Baugruppen, für die es eine freigegebene Vorgängerkonstruktion gibt, und gewollte Abweichungen werden vorher markiert. Ab jetzt hat das Vorhaben einen Eintrag. Fortsetzen, wenn bis zum nächsten Termin weniger Änderungsmeldungen aus der Montage kommen als im Vergleichszeitraum und das Abhaken der Hinweise weniger Zeit kostet als eine spätere Korrektur. Ändern, wenn Widersprüche gefunden werden, das Abhaken aber weiter zu viel Zeit kostet. Beenden, wenn die Hinweise überwiegend falsch bleiben oder die Konstrukteure sie nicht mehr lesen. Der Konstruktionsleiter führt das Vorhaben; über Fortsetzung, Änderung oder Ende entscheidet die Geschäftsführerin.
Häufige Fragen
Wie lange sollte ein KI-Vorhaben laufen, bevor es bewertet wird?
Es gibt keine Dauer, die für alle Vorhaben passt. Der Termin sollte so liegen, dass sich die Erwartung gezeigt haben kann, und so früh, dass eine Korrektur noch leicht ist. Bei einer Aufgabe, die täglich anfällt, zeigt sich früher etwas als bei einer, die einmal im Quartal vorkommt. Entscheidend ist, dass der Termin vor dem Start feststeht und nicht verschoben wird, weil das Ergebnis noch nicht gefällt.
Was, wenn sich der Nutzen nicht in Zahlen fassen lässt?
Dann beschreiben Sie ihn so, dass er sich trotzdem prüfen lässt. „Die Vorlagen für die Geschäftsleitung sind vollständiger" lässt sich prüfen, wenn vorher feststeht, was vollständig heißt, etwa dass jede Vorlage die stärksten Gegenargumente enthält. Wichtig ist, dass die Beschreibung vor dem Start feststeht. Ein Nutzen, der erst am Bewertungstermin formuliert wird, passt sich dem an, was sich gezeigt hat.
Wer sollte die Bewertung vorbereiten?
Die Person, die das Vorhaben führt, weil sie weiß, was sich gezeigt hat. Hilfreich ist, wenn jemand, der nicht beteiligt war, die Vorlage vor der Entscheidung liest und fragt, was fehlt, insbesondere bei den misslungenen Fällen und beim Aufwand. KI kann beim Zusammenstellen helfen. Die Entscheidung über ein geschäftsnahes Vorhaben mit vertraulichen Daten trifft die Geschäftsführung auf Grundlage der vereinbarten Kriterien.
