KI-Metriken: Über 50 KPIs zur Messung der KI-gestützten Effizienz

Die meisten Fallstudien zu KI in Unternehmen sehen alle gleich aus. Die Präsentation ist beeindruckend, das Diagramm zur Einführungsrate steigt und steigt, und dann stellt jemand eine Frage, die den Raum zum Schweigen bringen kann: Was hat sich in der Gewinn- und Verlustrechnung geändert?

Das Beratungsunternehmen Roland Berger hat dieses Schweigen in Zahlen gefasst. In seiner Studie The AI Value Gap wurden 203 Führungskräfte in Europa, Japan und den USA befragt. Fast 90 % gaben an, dass ihre KI-Erträge immer noch hinter ihren Ausgaben zurückblieben. Der aufschlussreichste Teil verbarg sich direkt unter dieser Überschrift: Die meisten verfügten über keine schlüssigen, an Ergebnisse gekoppelten KI-Metriken, sondern lediglich über einmalige Überprüfungen oder unübersichtliche KPI-Listen. Sie tappen im Dunkeln, ob die Technologie überhaupt etwas gebracht hat.

Und Sie brauchen nicht mehr als 200 Führungskräfte, um zu wissen, wie sich das anfühlt. Ein KI-Support-Agent kann den ganzen Tag laufen, mittelmäßige Antworten versenden und jedes Dashboard zum Leuchten bringen, ohne dabei etwas zu produzieren, was der Finanzvorstand erkennen kann. Das Diagramm sieht gut aus, also baut das Team die Nutzung weiter aus. Genau darin liegt die Falle.

Die Teams, die dies richtig umsetzen, gehen genau umgekehrt vor. Sie messen, was die KI ermöglicht, vergleichen dies mit einer Basislinie und weisen jedes Ergebnis einem namentlich benannten Verantwortlichen zu.

Dieser Leitfaden unterteilt KI-Metriken in vier Ebenen: Ausgabequalität, Systemzuverlässigkeit, Akzeptanz bei den Mitarbeitern und geschäftliche Auswirkungen. Jede Metrik umfasst eine Formel, eine Anweisung und eine Gegenkennzahl. Das Ziel ist eine Scorecard, die schlank genug ist, um darauf zu reagieren, gepaart mit einer Eigentümerschaft, die sicherstellt, dass jemand zur Rechenschaft gezogen wird, wenn sich die Zahlen verändern.

Was sind KI-Metriken? (Und wie unterscheiden sie sich von „Vanity Metriken“?)

KI-Metriken zeigen, wie gut ein KI-System funktioniert und ob es einen geschäftlichen Wert schafft. Einige KI-Metriken messen die technische Qualität, wie beispielsweise Genauigkeit und Latenz. Andere verfolgen die Ergebnisse, wie beispielsweise geringere Kosten, schnellere Arbeitsabläufe oder höhere Umsätze.

Der wichtigste Unterschied besteht zwischen einer Metrik und einem KPI. Eingereichte Prompts, Anmeldungen, verwendete Tokens und generierte Wörter sind Metriken. Sie werden jedoch zu Eitelkeitsmetriken, sobald man sie als Erfolg präsentiert, da sie Bewegung und nicht Ergebnisse messen. Ein KPI ist eine kleinere Gruppe von Zahlen, deren Veränderung zu einem geschäftlichen Ergebnis führt. Eine zu verfolgende KI-Leistungskennzahl wäre also die Kosten pro gelöstem Ticket und nicht die Anzahl der bearbeiteten Tickets.

Ein klar definierter KPI besteht aus fünf Teilen: /AI-KPI = Metrik + Ausgangswert + Einzelziel + Zeitrahmen + Gegenkennzahl

Ein KI-KPI für ein Support-Team könnte beispielsweise zu folgendem Ziel beitragen: Die Zeit bis zur ersten Antwort innerhalb eines Quartals von 24 Stunden auf unter vier Stunden zu verkürzen, ohne die Kundenzufriedenheit zu beeinträchtigen. Die Kundenzufriedenheit ist hier das entscheidende Gegengewicht. Sie verhindert, dass das Team sein Einzelziel mit schnellen, aber qualitativ minderwertigen, KI-generierten Antworten erreicht.

Was ist der Unterschied zwischen einem KPI und einer Metrik?

Jeder KPI ist eine Metrik, aber nicht jede Metrik ist ein KPI. Eine genauere Unterscheidung finden Sie unter „KPIs vs. Metriken“.

Was ist der Unterschied zwischen Früh- und Spätindikatoren?

Ein Frühindikator dient als Frühwarnung. Ein Spätindikator erfasst das Ergebnis, nachdem es eingetreten ist. Beide Begriffe werden regelmäßig bei der Festlegung und Messung von KPIs verwendet.

Beispielsweise kann eine steigende Übersteuerungsrate darauf hindeuten, dass die Mitarbeiter der KI nicht mehr vertrauen. Später können eine geringere Akzeptanz und höhere Kosten die Folge sein, da die Mitarbeiter auf andere tools zurückgreifen. Die Übersteuerungsrate ist das Frühwarnsignal; die Kosten sind die spätere Folge.

Dennoch besteht eine Abhängigkeit zwischen diesen Beschreibungen und dem Kontext. Die Genauigkeit kann hinter einer Modellaktualisierung zurückbleiben, aber zu einer späteren Veränderung der Kundenzufriedenheit führen. Aus diesem Grund sind die folgenden Metriken nach dem, was sie messen, gruppiert.

Über 50 Metriken für die Leistung von KI-Systemen, die die Effizienz Ihrer KI-Systeme belegen

Die richtigen Metriken hängen davon ab, wozu die KI eingesetzt werden soll. Ein Bot für den Kundensupport, ein Betrugsmodell und ein Schreibassistent sollten nicht dieselbe Bewertungsmatrix verwenden.

Die folgenden Metriken lassen sich in vier Ebenen einteilen: Modell- und Ausgabequalität, Systemleistung, Akzeptanz und Auswirkungen auf die Belegschaft sowie Ergebnisse des Geschäfts. Sie benötigen jedoch nicht alle davon. Wählen Sie die wenigen aus, die zu Ihrem Ziel passen, und ordnen Sie jeder davon eine Gegenmetrik zu.

Metriken zur Modell- und Ausgabequalität

Diese Metriken beantworten die erste Frage: Liefert die KI ein korrektes, nützliches und sicheres Ergebnis?

Bei Aufgaben mit einer bekannten Antwort, wie Klassifizierung oder Datenextraktion, können Sie die Ausgabe anhand eines Referenzsatzes überprüfen. Generative Aufgaben lassen sich schwieriger bewerten, da mehrere Antworten gleichzeitig gültig sein können. Hier sind Sie auf menschliche Prüfer oder modellbasierte Bewertungsinstrumente angewiesen, um Faktoren wie Relevanz, Fundiertheit, Vollständigkeit und die Einhaltung von Anweisungen zu bewerten.

Anhand dieser Werte können Sie schwache Ergebnisse erkennen und nachvollziehen, was schiefgelaufen ist. Was sie Ihnen jedoch nicht verraten, ist, ob die KI Kosten spart, den Workflow optimiert oder das Vertrauen der Benutzer gewinnt. Diese Aspekte werden in den folgenden Abschnitten behandelt.

1. Genauigkeit

Die Genauigkeit ist der Anteil der Vorhersagen, die die KI im Vergleich zu einer bekannten Antwort richtig trifft. Angenommen, ein Modell zur Ticket-Zuweisung erstellt 1.000 Beschreibungen und trifft dabei 920 Mal richtig. Dann beträgt seine Genauigkeit 92 %.

Das klingt überzeugend, doch hinter der Genauigkeit können sich die entscheidenden Fehler verbergen. Wenn alle 80 Fehler dazu geführt hätten, dass dringende Tickets in die falsche Warteschlange geleitet wurden, würde die Gesamtbewertung dennoch gut aussehen. Außerdem verliert sie an Wert, wenn ein Ergebnis weitaus häufiger auftritt als ein anderes.

2. Präzision

Die Präzision gibt an, wie oft die KI richtig liegt, wenn sie ein positives Ergebnis vorhersagt. Einfach ausgedrückt: Sie gibt an, bei wie vielen Warnmeldungen ein Eingreifen sinnvoll war.

Angenommen, ein Betrugsmodell markiert 200 Transaktionen, von denen jedoch nur 150 betrügerisch sind. Seine Präzision beträgt 75 %. Die übrigen 50 sind Fehlalarme, und jeder einzelne verursacht zusätzliche Arbeit.

3. Recall

Der Recall gibt an, wie viele der tatsächlich positiven Fälle die KI tatsächlich erkannt hat. Bei der Präzision geht es darum, ob eine Markierung richtig war; beim Recall darum, ob etwas Echtes übersehen wurde. Die beiden Kennzahlen ziehen in entgegengesetzte Richtungen, sodass ein Modell bei der einen gut abschneiden kann, während es bei der anderen versagt.

Angenommen, es gibt 180 betrügerische Transaktionen, und das Modell erkennt 150 davon. Sein Recall beträgt 83,3 %, was bedeutet, dass es 30 echte Fälle übersehen hat. Bei Betrugsfällen, medizinischen Vorsorgeuntersuchungen oder in der Sicherheit können diese Übersehenen weitaus mehr kosten als eine zusätzliche Überprüfung.

4. F1-Score

Der F1-Score kombiniert Präzision und Recall. Er ist besonders dann hilfreich, wenn sowohl Fehlalarme als auch übersehene Fälle eine Rolle spielen – vor allem, wenn eine Klasse deutlich seltener auftritt als eine andere.

Wenn ein Betrugsmodell eine Präzision von 75 % und einen Recall von 83,3 % aufweist, liegt sein F1-Score bei etwa 79 %. Da der F1-Score auf einem harmonischen Mittelwert basiert, wirkt sich ein schwacher Wert auf einer der beiden Seiten negativ auf das Ergebnis aus.

5. Fundiertheit

Die Fundiertheit gibt an, ob die Aussagen der KI durch die ihr zur Verfügung gestellten Quellen unterstützt werden. Dies ist vor allem in systemen mit erweiterter Informationsgewinnung von Bedeutung, bei denen eine flüssig formulierte Antwort dennoch über die vorliegenden Belege hinausgehen kann.

Angenommen, ein Richtlinienassistent gibt 10 sachliche Aussagen ab und die Prüfer können neun davon auf die genehmigte Richtlinie zurückführen. Die Fundiertheit auf Aussageebene beträgt 90 %. Die letzte Aussage muss noch geprüft werden, insbesondere wenn sie die Vergütung, Sozialleistungen oder die Compliance betrifft.

Dies ist eine anwendungsspezifische Formel, keine allgemeingültige. Legen Sie fest, was als Behauptung gilt, was als Support zählt und wie Sie eine teilweise Bestätigung bewerten, bevor Sie die Ergebnisse vergleichen.

6. Relevanz

Die Relevanz gibt an, ob die Ausgabe die vom Benutzer gestellte Frage beantwortet. Eine Antwort kann zwar korrekt sein, aber dennoch nutzlos, wenn sie ein nur am Rande verwandtes Problem löst.

Angenommen, Prüfer bewerten 100 Chatbot-Antworten und stufen 85 davon als relevant ein. Das ergibt eine Relevanz-Erfüllungsquote von 85 %. Diese Zahl sagt jedoch wenig aus, solange sich das Team nicht auf eine Bewertungsrubrik und eine Mindestpunktzahl geeinigt hat.

7. Befolgungsrate von Anweisungen

Die Anweisungsbefolgungsrate misst, wie oft die KI jede geforderte Anweisung befolgt. Dabei können Format, Länge, Ausschlüsse und erforderliche Aktionen berücksichtigt werden.

Ein Beispiel: Ein Workflow fordert das Modell auf, gültiges JSON mit fünf Pflichtfeldern zurückzugeben. Wenn 94 von 100 Ausgaben alle Regeln erfüllen, beträgt die Quote 94 %. Eine Antwort, die sich zwar gut liest, aber gegen das JSON-Schema verstößt, gilt dennoch als fehlerhaft.

Legen Sie die Regeln fest, bevor Sie den Test durchführen. Wenn die Prüfer erst nach Sichtung der Ergebnisse entscheiden, was unter „die Anweisungen befolgt“ zu verstehen ist, kommt es zu Abweichungen bei der Bewertung.

8. Vollständigkeitswert

Die Vollständigkeit gibt an, ob die KI alle erforderlichen Teile der Aufgabe abgedeckt hat. Sie deckt Antworten auf, die zwar ausgefeilt wirken, aber insgeheim etwas auslassen.

Angenommen, ein Bericht muss fünf Abschnitte umfassen und die KI stellt vier davon fertig. Die Vollständigkeitsbewertung beträgt 80 %. Das bedeutet jedoch nicht, dass der Bericht zu 80 % gut ist. Der fehlende Abschnitt könnte genau der sein, den der Leser am dringendsten benötigt hätte.

Bei Arbeiten mit hohem Risiko sollten Sie die einzelnen Elemente nach ihrer Wichtigkeit gewichten. Ein fehlender Hinweis auf Achtung sollte stärker gewichtet werden als ein fehlendes optionales Beispiel.

9. Halluzinationsrate

Die Nachverfolgung der Halluzinationsrate gibt an, wie oft die KI falsche oder unbegründete Aussagen liefert. Diese Probleme überschneiden sich zwar, sind aber nicht immer identisch. Eine Aussage kann in der Realität zwar zutreffen, wird jedoch von den Quellen, die das System verwenden soll, nicht gestützt.

Sie können Halluzinationen entweder auf Antwort- oder auf Behauptungsebene messen. Wenn 15 von 500 Antworten mindestens eine unbegründete Behauptung enthalten, beträgt die Quote auf Antwort-Ebene 3 %. Eine Berechnung auf Behauptungsebene kann zu einem anderen Ergebnis führen.

10. Aufgabenabschlussquote

Die Aufgabenabschlussrate gibt an, wie oft die KI den erforderlichen Endzustand erreicht. Für einen Mitarbeiter kann dies beispielsweise bedeuten, eine Rückerstattung vorzunehmen, den Kundendatensatz zu aktualisieren und das Ergebnis zu bestätigen. Das Erstellen einer plausiblen Antwort zählt nicht dazu.

Angenommen, ein Mitarbeiter bearbeitet 1.000 berechtigte Rückerstattungsanträge und schließt 700 davon ohne menschliche Hilfe ab. Seine autonome Aufgabenabschlussquote beträgt 70 %. Erfassen Sie die mit Unterstützung fertiggestellten Fälle separat, damit eine reibungslose Übergabe weder als vollständiger Erfolg noch als Misserfolg gewertet wird.

Verwenden Sie keine öffentlichen Benchmarks als Einzelziel für den Produktivbetrieb. Die Bewertungen der Mitarbeiter ändern sich schnell, und Benchmark-Aufgaben entsprechen selten Ihren Systemen, Richtlinien oder Kunden. Stellen Sie den Testsatz aus den Aufgaben zusammen, die Ihre Mitarbeiter tatsächlich bearbeiten werden.

11. Genauigkeit bei der Tool-Auswahl

Die Genauigkeit bei der Tool-Auswahl gibt an, wie oft ein Mitarbeiter das richtige Tool für seinen nächsten Schritt auswählt. Dies ist unabhängig davon, ob er dieses Tool korrekt einsetzt.

Ein Mitarbeiter sucht möglicherweise im Internet, obwohl er eine Abfrage für einen Kundendatensatz durchführen sollte, oder versendet eine E-Mail, obwohl der Benutzer lediglich um einen Entwurf gebeten hat. Eine einzige falsche Entscheidung kann den gesamten weiteren Ablauf der Aufgabe aus der Bahn werfen.

12. Genauigkeit der Tool-Call-Argumente

Sobald sich der Mitarbeiter für ein Tool entschieden hat, muss er die richtigen Werte in das Tool übergeben. Die Genauigkeitsprüfung der Argumente bei Tool-Aufrufen überprüft Felder wie Namen, Datumsangaben, IDs und Beträge.

Angenommen, ein Mitarbeiter tätigt 300 Buchungsanrufe, von denen 264 alle Angaben korrekt enthalten. Die strenge Argumentgenauigkeit beträgt 88 %. In einem Flow für Zahlung oder Buchung kann ein falsches Datum oder eine falsche Nummer des Kontos zu einem echten Fehler bei der Transaktion führen.

Bei einer strengen Erfolgsquote gilt bereits ein falsches Feld als fehlgeschlagener Aufruf. Fügen Sie die Genauigkeit auf Feldebene hinzu, wenn Sie zusätzlich ermitteln möchten, welche Argumente das Problem verursachen.

13. Qualität der Trajektorie

Die „Trajectory Quality“ (Qualität des Lösungswegs) betrachtet den Weg, den ein Mitarbeiter zurücklegt, um eine Aufgabe abzuschließen. Ein Mitarbeiter gelangt möglicherweise erst nach mehreren unnötigen Suchvorgängen, wiederholten Anrufen oder Verstößen gegen Richtlinien zum richtigen Ergebnis. Eine einfache Abschlussbewertung würde all dies außer Acht lassen.

Beurteilen Sie nicht jeden Durchlauf anhand eines einzigen idealen Pfades. Komplexe Aufgaben können mehrere gültige Lösungswege haben. Bewerten Sie den Durchlauf anhand der erforderlichen Schritte, zulässigen Aktionen und unnötigen Umwege.

Die Bewertung sollte anhand eines Regelwerks erfolgen und nicht anhand eines einzigen perfekten Lösungswegs, da komplexe Aufgaben oft mehrere gültige Lösungswege haben. Dies ist ein echter blinder Fleck beim Testen von Agenten. Der 2025 TRAJECT-Bench wurde entwickelt, um diese Lücke zu schließen, indem er die Wahl der Tools, die Richtigkeit der Argumente und die richtige Reihenfolge der Aufrufe überprüft – und nicht nur, ob der Agent das Ziel erreicht hat.

14. Planungseffizienz

Die Planungseffizienz zeigt, wie viel zusätzliche Arbeit ein Mitarbeiter leistet, bevor er das Ergebnis erreicht. Jeder zusätzliche Schritt kostet Zeit, Token und birgt ein weiteres Risiko für Fehler.

Wenn eine Aufgabe vier genehmigte Schritte umfassen sollte und der Mitarbeiter sechs Schritte ausführt, beträgt die schrittbasierte Planungseffizienz 66,7 %. Diese Zahl ist nur aussagekräftig, wenn Sie einen fairen Referenzpfad oder ein Schrittbudget festlegen können.

Belohnen Sie niemals einen kürzeren Weg an sich. Ein Agent, der eine erforderliche Überprüfung überspringt, mag zwar effizient erscheinen, birgt jedoch ein höheres Risiko.

15. Konsistenzwert

Die Konsistenz gibt an, ob die KI gleichbleibende Ergebnisse liefert, wenn Sie dieselbe Aufgabe unter denselben Bedingungen wiederholen. Ein erfolgreicher Test könnte einfach nur ein Glücksfall sein.

Angenommen, Sie führen dieselbe Aufgabe 20 Mal aus und 18 Ergebnisse erfüllen dieselben Erfolgskriterien. Die Konsistenzrate beträgt 90 %. Vergleichen Sie die Fakten, Entscheidungen oder endgültigen Maßnahmen und nicht nur ähnliche Formulierungen.

16. Robustheitsrate

Die Robustheitsrate misst, ob die Leistung auch dann stabil bleibt, wenn sich die Eingabe auf realistische Weise ändert. Zu den Tests können Tippfehler, fehlende Details, neu angeordnete Informationen, längere Eingabeaufforderungen oder abweichende Formulierungen gehören.

Wenn das Modell 170 von 200 geänderten Testfällen verarbeitet, beträgt seine Robustheitsrate 85 %. Der Testsatz sollte die unregelmäßigen Eingaben widerspiegeln, die Ihre Benutzer übermitteln.

17. Quote der Sicherheitsverstöße

Die Sicherheitsverstoßquote gibt an, wie oft KI-Ergebnisse gegen eine definierte Sicherheitsrichtlinie verstoßen. Ein Verstoß kann schädliche Ratschläge, private Daten, verbotene Inhalte oder eine Handlung betreffen, zu der der Agent nicht berechtigt war.

Angenommen, Prüfer stellen bei 10.000 Ergebnissen 12 Verstöße fest. Die Quote beträgt 0,12 %. Diese geringe Zahl kann dennoch inakzeptabel sein, wenn ein einziger Fehler schwerwiegende Schäden verursachen kann.

Berichten Sie sowohl über den Schweregrad als auch über die Häufigkeit. Zehn geringfügige Verstöße sollten nicht das gleiche Gewicht haben wie eine einzige Offenlegung privater Daten.

18. Fairness-Lücke

Eine Fairness-Lücke zeigt an, ob die KI bei Gruppen, die eine vergleichbare Behandlung erhalten sollten, unterschiedliche Leistungen erbringt. Hinter einem einzigen Gesamtgenauigkeitswert kann sich eine große Lücke verbergen.

Angenommen, ein Screening-Modell weist für eine Gruppe eine True-Positive-Rate von 82 % und für eine andere Gruppe von 71 % auf. Die Differenz beträgt 11 Prozentpunkte. Wie lautet die Bezeichnung der verglichenen Kennzahl? Der Begriff „Fairness-Lücke“ allein ist zu vage.

Eine geringere Differenz beweist nicht, dass das System fair ist. Es könnte sein, dass jede Gruppe gleich schlechte Ergebnisse erzielt. Betrachten Sie die Punktzahl jeder Gruppe im Zusammenhang mit der Differenz.

19. Erstabnahmequote

Die Erstakzeptanzquote gibt an, wie oft KI-Ergebnisse bereits bei der ersten Überprüfung verwertbar sind. Sie sagt weit mehr aus als das Volumen an Inhalten, Code oder Analysen, das das System erzeugt.

Angenommen, Editors prüfen 100 /AI-Entwürfe und akzeptieren 65 davon ohne erneute Bearbeitung oder größere Korrekturen. Die Akzeptanzrate beim ersten Durchgang beträgt 65 %. Definieren Sie den Begriff „akzeptiert“ im Voraus, da eine geringfügige redaktionelle Überarbeitung und eine vollständige Neufassung nicht als dasselbe Ergebnis gewertet werden sollten.

20. Nacharbeitsquote

Die Nacharbeitsquote gibt an, wie oft KI-Ergebnisse nach ihrer Einbindung in den Workflow korrigiert werden müssen. Sie deckt Scheineffizienz auf, bei der die KI zwar zu Beginn Zeit spart, aber mehr Arbeit auf Prüfer oder nachgelagerte Teams verlagert.

Wenn 22 von 100 von KI geschriebenen Code-Beispielen zur Korrektur zurückgeschickt werden, beträgt die Nacharbeitsquote 22 %. Trennen Sie durch die KI verursachte Fehler von routinemäßigen Überarbeitungen oder Änderungen des Umfangs.

System- und Betriebsmetriken

Auf dieser Ebene geht es um die Frage, ob gute Ergebnisse tatsächlich zuverlässig, schnell und zu für das Geschäft tragbaren Kosten bei den Benutzern ankommen. Hier scheitert die Akzeptanz oft im Verborgenen, denn ein technisch korrektes Modell, das langsam reagiert oder zu viel kostet, findet niemals seinen Platz im Workflow.

21. Latenz

Die Latenz ist die Zeit zwischen einer Anfrage und einem verwertbaren Ergebnis, wobei es ganz von der jeweiligen Aufgabe abhängt, was als verwertbar gilt. Bei einem Klassifikator kann dies die endgültige Antwort sein. Bei einem Chatbot kann es der Moment sein, in dem die angeforderte Aktion abgeschlossen ist. Seien Sie jedoch vorsichtig mit Durchschnittswerten, da diese die Verzögerungen verschleiern, die Benutzer tatsächlich wahrnehmen. Ein Support-Assistent mag im Durchschnitt 1,2 Sekunden benötigen, in Spitzenzeiten kann sich diese Zeit jedoch auf sechs Sekunden verlangsamen. Geben Sie Perzentile wie p50 und p95 an, damit Sie sowohl die typische Anfrage als auch die langsamste sehen.

Time to First Token (TTFT): Bei Streaming-Systemen sollten Sie nicht nur die Gesamtdauer der Antwort, sondern auch die Zeit bis zum Beginn der Antwort verfolgen. Zwei Assistenten können beide innerhalb von fünf Sekunden abschließen, doch derjenige, der bereits nach 300 ms mit dem Streaming beginnt, wirkt deutlich schneller als derjenige, bei dem der Bildschirm zwei Sekunden lang leer bleibt. Es gibt keinen universellen TTFT-Benchmark: Promptlänge, Modellgröße, Warteschlangen und Auslastung beeinflussen diesen Wert – legen Sie daher ein Einzelziel für Ihren eigenen Anwendungsfall fest und testen Sie es unter realistischen Auslastungsbedingungen.

22. Durchsatz

Der Durchsatz gibt an, wie viel Arbeit das System innerhalb eines definierten Zeitraums abschließt. Sie können beispielsweise Anfragen pro Sekunde, Dokumente pro Stunde oder erfolgreich abgeschlossene Aufgaben pro Tag zählen. Angenommen, eine Dokumentenpipeline verarbeitet im Testbetrieb 500 Dateien pro Stunde, im Live-Betrieb sinkt diese Zahl jedoch auf 200. An dieser Differenz lässt sich erkennen, ob das System eine Phase mit hohem Aufkommen bewältigen kann, ohne dass sich ein Rückstand aufbaut.

Geben Sie jedes Mal die Einheit an. „Anfragen pro Sekunde“ und „Token pro Sekunde“ beantworten unterschiedliche Fragen.

23. Betriebszeit und Verfügbarkeit

Die Verfügbarkeit ist der Anteil der geplanten Zeit, in der der KI-Dienst Anfragen tatsächlich abschließen kann. Ein Dienst kann zwar online sein, aber dennoch zu langsam oder fehlerhaft, um die Arbeit zu erledigen. Definieren Sie die Verfügbarkeit daher anhand eines nutzbaren Ergebnisses. Eine monatliche Verfügbarkeitsrate von 99 % lässt in einem 30-Tage-Monat immer noch etwa 7 Stunden und 12 Minuten Ausfallzeit zu. Für einen optionalen Schreibassistenten mag das in Ordnung sein. Für ein Support-Tool, auf das sich Menschen rund um die Uhr verlassen, ist dies jedoch viel schwerer zu akzeptieren.

24. Fehlerquote

Die Systemfehlerquote umfasst technische Ausfälle wie Timeouts, nicht verfügbare Modelle, ungültige Antworten und fehlerhafte Integrationen. Angenommen, 30 von 1.000 Agentenanfragen schlagen fehl, weil eine API ausfällt. Das entspricht einer Fehlerquote von 3 %. Schlüsselt diese Ausfälle nach Ursachen auf, sonst weiß das Team zwar, dass etwas nicht funktioniert, kann aber nicht feststellen, wo genau das Problem liegt.

25. Wiederholungsrate

Die Wiederholungsrate gibt an, wie oft das System eine Anfrage oder Aktion wiederholen muss. Die zugrunde liegende Aufgabe kann letztendlich dennoch erfolgreich sein, weshalb Wiederholungsversuche bei einer einfachen Abschlussquote nicht berücksichtigt werden. Angenommen, 120 von 1.000 Anfragen erfordern einen zusätzlichen Versuch. Das entspricht einer Wiederholungsrate von 12 %, und das System unternimmt insgesamt 1.120 Versuche – was für diesen Stapel etwa 12 % Mehrarbeit bedeutet. Mehr als ein Wiederholungsversuch pro Anfrage treibt die Kosten noch weiter in die Höhe.

26. Kosten pro erfolgreicher Aufgabe

Die Kosten pro erfolgreicher Aufgabe verknüpfen die KI-Ausgaben mit der fertiggestellten Arbeit, was diese Kennzahl wesentlich aussagekräftiger macht als die Kosten pro Anfrage – bei der auch fehlgeschlagene Versuche weiterhin Tokens, Tools und Infrastruktur beanspruchen. Angenommen, jeder Agentendurchlauf kostet 10 Cent, aber nur die Hälfte ist erfolgreich. Dann betragen Ihre direkten Kosten pro Erfolg 20 Cent. Rechnet man die manuelle Überprüfung oder Nachbearbeitung hinzu, steigt der tatsächliche Wert noch weiter an.

27. Eindämmungsrate

Die „Containment-Rate“ ist der Anteil der in Frage kommenden Interaktionen, die ohne Weiterleitung an einen Menschen enden. Support-Teams nutzen sie, um abzuschätzen, wie viel Nachfrage die KI eigenständig bewältigt. Diese Kennzahl lässt sich zudem leicht künstlich in die Höhe treiben. Angenommen, ein Bot bewältigt 800 von 1.000 Chats, was einer Rate von 80 % entspricht. Einige dieser Benutzer erhielten eine echte Antwort, während andere einfach aufgaben. Beide Fälle erscheinen als „bewältigt“, solange man nicht untersucht, was anschließend geschah.

Zählen Sie nur die Abfragen, die von der KI bearbeitet werden sollen. Richtlinienbasierte Weiterleitungen sollten nicht als Fehler gewertet werden.

28. Eskalationsrate

Die Eskalationsrate gibt an, wie oft eine KI-Interaktion an einen Menschen weitergeleitet wird. Eine hohe Rate kann auf eine schwache Leistung hindeuten, aber auch bedeuten, dass das System weiß, wann es sich zurückziehen muss. Angenommen, 150 von 1.000 Interaktionen werden eskaliert, was einer Rate von 15 % entspricht. Für sich genommen sagt diese Zahl wenig aus. Unterteilen Sie sie in richtlinienbedingte Übergaben, von Benutzern angeforderte Übergaben und Fälle, die die KI einfach nicht lösen konnte.

Metriken zur Einführung und zu den Auswirkungen auf die Belegschaft

Ein funktionierendes KI-System muss sich seinen Platz im Arbeitsalltag erst noch verdienen. Diese Metriken zeigen, ob die Nutzer es ausprobieren, es für echte Aufgaben der Arbeit einsetzen und auch dann noch darauf zurückgreifen, wenn der Reiz des Neuen nachlässt.

Die bloße Nutzung allein beweist noch keinen Wert. Gallup stellte fest, dass 50 % der erwerbstätigen Amerikaner KI mindestens ein paar Mal im Jahr nutzten, jedoch nur 13 % täglich. Genau diese Lücke ist der Grund für die Nachverfolgung der Häufigkeit, der Tiefe und der Kompetenz bei der Nutzung.

29. Akzeptanzrate bei berechtigten Benutzern

Die Akzeptanzrate der berechtigten Benutzer gibt an, wie viele der Personen, die die KI nutzen könnten, mindestens eine sinnvolle Aktion damit abgeschlossen haben. Hier kommt es auf den Nenner an. Wenn 400 Benutzer ein tool aktivieren, klingt das großartig. Wenn jedoch 4.000 Mitarbeiter Zugriff erhalten haben, beträgt die Akzeptanz tatsächlich nur 10 %. Lassen Sie Benutzer außer Acht, für deren Rollen es keinen genehmigten oder nützlichen KI-Anwendungsfall gibt.

Definieren Sie vor der Einführung, was unter „sinnvollen Maßnahmen“ zu verstehen ist. Das bloße Öffnen des tools oder das Eingeben einer Testanfrage sollte nicht als Akzeptanz gewertet werden.

30. Aktive KI-Nutzungsrate

Die aktive Nutzungsrate zeigt, wie viele berechtigte Benutzer innerhalb eines definierten Zeitraums tatsächlich auf KI zurückgreifen. Die wöchentliche aktive Nutzung sagt oft weitaus mehr aus als die Gesamtzahl der Registrierungen. Angenommen, 1.000 Mitarbeiter sind berechtigt und 600 haben das Tool ausprobiert, aber nur 180 nutzen es tatsächlich in einer typischen Woche. Ihre Akzeptanzquote könnte bei 60 % liegen, während die wöchentliche aktive Nutzung nur 18 % beträgt. Diese zweite Zahl spiegelt die tatsächliche Rolle des Tools im Workflow wesentlich besser wider.

Legen Sie einen Schwellenwert fest, der zur jeweiligen Arbeit passt. Für Schreib- und Support-Tools kann eine wöchentliche Nutzung sinnvoll sein, während ein vierteljährlicher Planungsassistent einen längeren Zeitraum benötigt.

31. Breite der Einführung

Die Breite der Einführung zeigt, wie weit sich der Einsatz von KI bei der Einführung über die Teams, Rollen oder Standorte verteilt hat. Eine allgemeine Einführungsrate kann ein unausgewogenes Bild verbergen. Ein Entwicklerteam nutzt das Tool vielleicht täglich, während die Abteilungen Vertrieb, Finanzen und Support es kaum in Anspruch nehmen.

Erwarten Sie nicht, dass jede Gruppe das gleiche Niveau erreicht. Vergleichen Sie Teams nur dann, wenn die KI für alle gleichermaßen nützlich und verfügbar ist.

32. Einführungsgrad

Der Grad der Einbindung zeigt, wie viele verschiedene Aufgaben aktive Benutzer mit KI erledigen. Er unterscheidet oberflächliche Nutzung von echter Einbindung. Jemand, der lediglich E-Mail-Betreffzeilen umformuliert, hat das Tool zwar in Gebrauch genommen, nutzt es aber nicht intensiv. Jemand, der es für Recherchen, Entwürfe, Analysen und Notizen zu Meetings einsetzt, hat es viel stärker in seinen Arbeitsalltag integriert.

Mehr Anwendungsfälle bedeuten nicht immer einen höheren Wert. Ein paar wenige, aber wirkungsvolle Workflows können eine lange Liste trivialer Workflows übertreffen.

33. Workflow-Durchdringungsrate

Die Workflow-Durchdringung zeigt, welcher Anteil der für KI geeignete Aufgaben tatsächlich mit KI-Unterstützung erledigt wird. Bei der Akzeptanz geht es um die Anzahl der Personen. Bei der Workflow-Durchdringung geht es um die Arbeit selbst. Angenommen, ein Support-Team bearbeitet 10.000 Tickets, die für KI-Unterstützung in Frage kommen, aber die KI wird nur bei 2.500 davon eingesetzt. Die Durchdringung beträgt 25 %, selbst wenn jeder Mitarbeiter das Tool mindestens einmal ausprobiert hat.

Beschränken Sie den Nenner auf die Aufgaben, für die die KI freigegeben ist und die sie bewältigen kann.

34. Bindungsrate aktiver Benutzer

Die Retentionsrate gibt an, wie viele Nutzer die KI nach ihrer ersten sinnvollen Nutzung weiterhin verwenden. Sie hilft Ihnen dabei, eine dauerhafte Akzeptanz von der Neugier der Einführungswoche zu unterscheiden. Angenommen, 500 Mitarbeiter aktivieren das tool im Januar und 300 erreichen im April noch immer die Nutzungsschwelle. Dann beträgt Ihre Dreimonats-Retentionsrate 60 %.

Messen Sie die Kundenbindung nach Kohorten. Ein Vergleich der aktiven Benutzer dieses Monats mit der Gesamtzahl des Vormonats kann verschleiern, dass neue Benutzer diejenigen ersetzen, die abgewandert sind.

35. KI-Kompetenz-Bewertung

Die Erfolgsquote gibt an, wie viele Benutzer eine genehmigte Aufgabe mithilfe von KI abschließen können und dabei die erforderlichen Qualitäts- und Sicherheitsstandards erfüllen. Geben Sie den Benutzern eine realistische Aufgabe und überprüfen Sie anschließend das Ergebnis. Kann ein Support-Mitarbeiter mithilfe von KI eine korrekte Antwort entwerfen, die Quelle überprüfen und eine erfundene Richtlinie erkennen?

Man kann KI häufig einsetzen und sie dennoch schlecht nutzen. Deshalb gehört die Kompetenz neben die Akzeptanz und nicht unter sie.

36. Übersteuerungsrate

Die Übersteuerungsrate gibt an, wie oft eine Person einen KI-Vorschlag ablehnt, ersetzt oder rückgängig macht. Sie kann auf schwache Ergebnisse, geringes Vertrauen oder einfach auf ein gesundes menschliches Urteilsvermögen hindeuten. Angenommen, Prüfer ändern 240 von 1.000 KI-Empfehlungen. Das entspricht einer Übersteuerungsrate von 24 %. Der Grund dafür muss jedoch noch ermittelt werden. Eine notwendige Korrektur und eine persönliche Präferenz hinsichtlich der Formulierung sollten nicht gleich gewichtet werden.

Eine niedrige Überstimmungsrate kann tatsächlich Anlass zur Sorge geben, wenn dies bedeutet, dass Benutzer unzureichende Ergebnisse akzeptieren, ohne sie zu überprüfen.

37. Rate menschlicher Eingriffe

Die menschliche Interventionsrate misst, wie oft eine von der KI gestartete Aufgabe ungeplante Hilfe benötigt, bevor sie abgeschlossen werden kann. Dies unterscheidet sich von einer geplanten Freigabe oder einer regelbasierten Übergabe. Angenommen, ein Mitarbeiter führt 1.000 Aufgaben durch und 180 davon müssen von Menschen übernommen werden. Das entspricht einer Interventionsrate von 18 %. Diese Eingriffe verursachen Personalkosten, die durch die autonome Abschlussrate verdeckt werden können.

Halten Sie die geplante Überprüfung aus dem Zähler heraus. Eine erforderliche Genehmigung ist Teil des Workflows und kein Systemfehler.

38. Zeitersparnis pro fertiggestellter Aufgabe

Die pro fertiggestellte Aufgabe eingesparte Zeit bewertet den gesamten KI-gestützten Workflow im Vergleich zu einer fairen Basislinie. Berücksichtigen Sie alles: Eingabeaufforderungen, Wartezeiten, Überprüfungen, Korrekturen und erneute Ausführungen. Wenn Sie das auslassen, zählen Sie nur den schnellen ersten Entwurf. Sie ignorieren dabei stillschweigend die gesamte Nachbearbeitung, die danach folgt.

Selbst angegebene Zeiteinsparungen können hilfreich sein, müssen aber einer Realitätsprüfung unterzogen werden. Eine Untersuchung der St. Louis Fed ergab, dass KI-Benutzer angaben, in einer 40-Stunden-Woche etwa 2,2 Stunden einzusparen. Eine zufällige Studie von METR ergab jedoch, dass erfahrene Entwickler mit KI 19 % länger brauchten , obwohl sie glaubten, dadurch 20 % schneller geworden zu sein. Die Studien bezogen sich zwar auf unterschiedliche Bereiche der Arbeit, verdeutlichen aber gemeinsam einen wichtigen Punkt: Fragen Sie die Benutzer, wie viel Zeit sie eingespart haben, und überprüfen Sie dies anschließend anhand der Daten zu den Aufgaben.

39. Bearbeitungszeit durch KI

Die KI-Prüfzeit misst den menschlichen Aufwand, der zur Überprüfung und Freigabe eines Ergebnisses erforderlich ist. Hier schmelzen die versprochenen Zeiteinsparungen oft still und leise dahin. Die Erstellung eines KI-Entwurfs dauert vielleicht 30 Sekunden, die Überprüfung jedoch 12 Minuten. Vergleichen Sie diese Gesamtzeit mit der Zeit, die die Aufgabe ohne KI überhaupt in Anspruch nehmen würde.

Reduzieren Sie die Überprüfungszeit bei risikoreicher Arbeit nicht auf null. Das Ziel ist eine effiziente Überprüfung, nicht eine blinde Freigabe.

40. Vertrauensindex der Mitarbeiter

Der Mitarbeiter-Vertrauensindex dient der Nachverfolgung, ob Benutzer die KI für ihre genehmigten Aufgaben für zuverlässig genug halten und ob sie deren Limite verstehen. Sie können ihn mit einer kurzen Umfrage messen, die sich auf Genauigkeit, Transparenz, Sicherheit und das Vertrauen in die Fehlererkennung bezieht. Vermeiden Sie eine pauschale Frage wie „Vertrauen Sie der KI?“, da diese nur einen vagen Wert liefert, auf den Sie nicht reagieren können.

Metriken zu geschäftlichen Auswirkungen und zum ROI

Dies ist die Ebene, anhand derer Führungskräfte ihre Investitionen begründen – und die von den meisten KI-Dashboards außer Acht gelassen wird. Output, Kosten, Umsatz, Kundenergebnisse, ROI: Das sind die Zahlen, die darüber entscheiden, ob ein Programm verlängert oder eingestellt wird.

Diese sind zudem am schwierigsten nachzuweisen. Der Umsatz kann nach einer Einführung steigen, weil sich die Nachfrage verschoben hat – nicht, weil die KI etwas bewirkt hat. Die Kosten können sinken, weil das Team gleichzeitig seine Prozesse überarbeitet hat. Ein einfacher Vorher-Nachher-Vergleich zeigt Ihnen zwar, was sich geändert hat, aber nicht, was die Ursache dafür war. Dazu benötigen Sie eine Kontrollgruppe, eine schrittweise Einführung oder eine passende Basislinie, damit Sie erkennen können, was ohnehin geschehen wäre.

41. Inkrementeller Durchsatz

Der inkrementelle Durchsatz misst, um wie viel mehr akzeptable Arbeit das Team nach dem Einsatz von KI abschließt. Berücksichtigen Sie dabei nur Ergebnisse, die denselben Qualitätsstandard erfüllen wie die Basislinie. Angenommen, ein Team hat vor dem Einsatz von KI 500 genehmigte Fälle pro Woche abgeschlossen und schafft nun 575. Das entspricht einem inkrementellen Durchsatz von 15 %. Wenn jedoch gleichzeitig der Nacharbeitsaufwand gestiegen ist, könnte der tatsächliche Gewinn geringer ausfallen, als es den Anschein hat.

42. Verkürzung der Zykluszeit

Die Verkürzung der Zykluszeit zeigt, um wie viel schneller eine Arbeit von Anfang bis Ende abläuft. Berücksichtigen Sie dabei Wartezeiten, Überprüfungen, Korrekturen und die abschließende Freigabe. Wenn Sie nur den Schritt der KI-Generierung messen, erscheint das Ergebnis besser, als es tatsächlich ist. Angenommen, die Vertragsprüfung dauerte vor dem Einsatz von KI fünf Tage und dauert nun drei Tage. Die Zykluszeit ist um 40 % gesunken.

43. Kosten pro Lösung

Die Kosten pro Lösung zeigen, was das Geschäft für die Lösung eines Problems ausgibt. Diese Kennzahl ist aussagekräftiger als die Kosten pro Kontakt, da ein einzelnes Kundenproblem mehrere Nachrichten, Anrufe oder Eskalationen nach sich ziehen kann. Berücksichtigen Sie dabei Modellkosten, Personalkosten, Tool-Aufrufe, Überprüfungen und wiederholte Kontakte. Andernfalls verbirgt eine kostengünstige Erstantwort einen teuren Weg zur eigentlichen Lösung.

44. Nachgewiesene Kosteneinsparungen

Nachgewiesene Kosteneinsparungen sind die Ausgaben, die Sie nach der Einführung von KI eingespart haben. Denken Sie dabei an weniger Überstunden, weniger ausgelagerte Arbeitsstunden oder geringere Infrastrukturkosten. Zeitersparnis allein zählt nicht als Barersparnis. Wenn die Mitarbeiter weiterhin auf der Gehaltsliste stehen und die Leistung unverändert bleibt, haben Sie zwar Kapazitäten freigesetzt, aber keine tatsächlichen Kosten gesenkt.

Unterscheiden Sie klar zwischen Kosteneinsparungen und Kostenvermeidung. Bei Einsparungen wird ein bereits bestehender Aufwand beseitigt. Bei der Vermeidung wird ein im Plan liegender zukünftiger Aufwand verhindert, beispielsweise die Einstellung von fünf weiteren Mitarbeitern zur Bewältigung eines steigenden Ticketvolumens. Beide können einen Wert darstellen, doch wenn man sie ohne entsprechende Beschreibungen vermischt, wirkt das Ergebnis sicherer, als es tatsächlich ist.

45. Durch KI erzielte zusätzliche Einnahmen

Inkrementeller Umsatz ist der zusätzliche Umsatz, den KI generiert hat und der über das hinausgeht, was wahrscheinlich ohnehin erzielt worden wäre. Am einfachsten lässt sich dieser ermitteln, indem man eine KI-Gruppe mit einer ähnlichen Kontrollgruppe vergleicht. Keine Kontrollgruppe vorhanden? Verwenden Sie stattdessen eine schrittweise Einführung oder eine angepasste Basislinie. Berücksichtigen Sie dabei Preisänderungen, Werbeaktionen, Nachfrage und saisonale Schwankungen.

Umsatz ist nicht gleich Gewinn. Verwenden Sie bei der Berechnung des ROI die zusätzliche Bruttomarge und nicht den Gesamtumsatz.

46. Steigerung der Konversionsrate

Der Anstieg der Konversionsrate zeigt, ob KI mehr Benutzern dabei hilft, eine Zielaktion abzuschließen, wie beispielsweise einen Kauf, die Buchung einer Demo oder den Abschluss des Onboardings. Angenommen, die Konversionsrate der Kontrollgruppe liegt bei 5 % und die der KI-unterstützten Gruppe bei 5,5 %. Der absolute Anstieg beträgt 0,5 Prozentpunkte, während der relative Anstieg 10 % beträgt. Geben Sie immer an, welchen Wert Sie meinen.

47. Delta der Kundenzufriedenheit

Die Differenz bei der Kundenzufriedenheit zeigt, ob sich die Bewertungen der Kunden verändert haben, nachdem KI in den Kundenservice integriert wurde. Vergleichen Sie denselben Kanal, dieselbe Problemart, dieselbe Kundengruppe und dieselbe Bewertungsskala. Angenommen, der KI-gestützte Support erreicht 4,3 von 5 Punkten und die Kontrollgruppe 4,1. Die Differenz beträgt 0,2 Punkte.

Beobachten Sie, wer an der Umfrage teilnimmt. Zufriedene und unzufriedene Kunden antworten möglicherweise mit unterschiedlicher Häufigkeit, was die Bewertung beeinflussen kann, ohne dass sich der Service tatsächlich verändert hat.

48. Wiederholungskontaktrate

Die Wiederholungskontaktrate gibt an, wie oft ein Kunde wegen desselben noch offenen Problems erneut Kontakt aufnimmt. Sie erfasst jene Fälle, die nur deshalb als gelöst erschienen, weil der erste Chat zufällig beendet wurde. Angenommen, 120 von 1.000 vermeintlich gelösten Fällen führen innerhalb einer Woche zu einem erneuten Kontakt. Das entspricht einer Wiederholungskontaktrate von 12 %.

Legen Sie ein klares Zeitfenster fest und ordnen Sie Kontakte demselben Problem zu. Ein Kunde, der mit einer neuen Frage zurückkommt, sollte nicht als fehlgeschlagene Lösung gewertet werden.

49. Time-to-Wert

Die „Time to Value“ misst, wie lange es dauert, bis ein KI-Projekt sein erstes verifiziertes Geschäftsergebnis liefert. Legen Sie vor Beginn der Einführung fest, was als Wert gilt. Ein funktionierender Prototyp oder eine erste Benutzeranmeldung zählen nur dann, wenn dies von Anfang an das vereinbarte Ziel war.

50. Return on KI Investment

Der Return on Investment (ROI) von KI wägt den nachgewiesenen Nettonutzen gegen die Kosten des Programms ab. Zu den Vorteilen können zusätzlicher Bruttogewinn, echte Kosteneinsparungen und eindeutig identifizierte Kostenvermeidungen gehören. Auch auf der Kostenseite muss man ehrlich sein. Berücksichtigen Sie die Kosten für Software, Modelle und Server. Rechnen Sie dann noch die Kosten für Setup, Schulung, Überwachung, Überprüfung und Wartung hinzu.

Vermeiden Sie Doppelzählungen. Wenn KI den Mitarbeitern Zeit spart und diese Zeit zu mehr Output führt, berechnen Sie entweder den Wert des zusätzlichen Outputs oder die eingesparten Arbeitskosten. Würden Sie beides berücksichtigen, würde derselbe Nutzen doppelt erfasst werden.

51. Zeitraum der Amortisation

Die Amortisationszeit gibt an, wie lange es dauert, bis sich die Vorabinvestition in ein KI-Projekt durch nachgewiesene Nettovorteile amortisiert hat. Angenommen, die Einführung kostet 300.000 US-Dollar und bringt einen Nettogewinn von 25.000 US-Dollar pro Monat. Der einfache Amortisationszeitraum beträgt somit 12 Monate.

Eine einfache Amortisationsberechnung berücksichtigt weder den Wert des Geldes noch etwaige Erträge, die nach dem Amortisationszeitpunkt erzielt werden. Finanzteams können bei großen oder langfristig angelegten KI-Programmen auch den Nettobarwert heranziehen.

Warum die Wahrnehmung die gefährlichste Metrik von allen ist

Die Menschen nehmen die Zeitersparnis durch KI beim ersten Entwurf wahr. Was sie dabei jedoch selten berücksichtigen, ist die Zeit, die danach folgt: das Verfassen der Eingabeanweisung, das Überprüfen der Fakten, das Korrigieren der Fehler und das Überarbeiten der schwachen Stellen. Durch diese fehlende Berechnung erscheint der Gewinn erheblich größer, als er tatsächlich ist.

Mit den Worten von Farrah Lakhani, Führungskraft im Bereich Wachstum und Strategie auf C-Level:

Der häufigste Fehler, den ich beobachte, besteht darin, die eingesparte Zeit als primären Maßstab für den Erfolg von KI heranzuziehen. Eingesparte Stunden, Automatisierungen von Aufgaben und verkürzte Zykluszeiten sind die Datenpunkte, die sich am einfachsten erfassen und in einem Bericht an den Vorstand präsentieren lassen. Sie spiegeln jedoch am wenigsten die tatsächlichen geschäftlichen Auswirkungen wider.

Darüber hinaus befragte METR 349 technische Mitarbeiter dazu, wie sich KI auf ihre Arbeit auswirkt. Der Medianwert der Befragten lag bei einer dreifachen Geschwindigkeitssteigerung und einer 1,4- bis 2-fachen Wertsteigerung.

Diese Zahlen klingen beeindruckend, doch METR hat sie mit Vorsicht gewertet. Die Angaben stammten aus den Schätzungen der Mitarbeiter selbst und nicht aus zeitlich erfassten Aufgaben oder einer Kontrollgruppe. Außerdem stellten die Forscher Anzeichen dafür fest, dass die kühnsten Behauptungen das tatsächliche Ergebnis der fertigen Arbeit überbewerteten.

Das bedeutet jedoch nicht, dass die Wahrnehmung nutzlos ist. Wenn Menschen das Gefühl haben, dass KI ihnen hilft, nutzen sie sie tendenziell häufiger. Die Wahrnehmung spiegelt auch Vertrauen, Benutzerfreundlichkeit und Frustration wider. Gefährlich wird es erst, wenn ein Geschäft dieses Gefühl als Beweis für Produktivität oder den ROI betrachtet.

Besser ist es, die Diskrepanz zwischen den Angaben der Mitarbeiter und den tatsächlichen Abläufen des Workflows zu messen:

Nehmen wir zum Beispiel ein Beispiel, bei dem Mitarbeiter von einer Geschwindigkeitssteigerung von 30 % berichten, während die Aufzeichnungen zu den Aufgaben nur eine Verbesserung von 10 % zeigen. Das ist eine Wahrnehmungslücke von 20 Prozentpunkten. Dies kann auf versteckten Zeitaufwand bei der Überprüfung, unzureichende Messungen oder Arbeiten hindeuten, die sich einfach leichter anfühlen, ohne jedoch einen wesentlich höheren messbaren Wert zu erbringen.

Die sicherste Regel ist ganz einfach: Hören Sie Ihren Benutzern aufmerksam zu und überprüfen Sie deren Aussagen anhand der tatsächlichen Arbeit.

Funktionsspezifische KI-KPIs

Eine einzige KI-Scorecard passt nicht für jedes Team, da jedes Team unterschiedliche Ergebnisse erzielt. Der Kundenservice ist für die Problemlösung zuständig. Die Entwicklung ist für eine stabile Bereitstellung verantwortlich. Marketing und Vertrieb sind für das Wachstum zuständig, während der operative Bereich für Kosten, Geschwindigkeit und Kontrolle verantwortlich ist. Gehen Sie von diesem Ergebnis aus. Fügen Sie dann die Metriken hinzu, die zeigen, wie KI zur Erreichung dieses Ergebnisses beigetragen hat.

Kundenservice und Support

Die eigentliche Frage ist, ob das Problem des Kunden auch nach Beendigung des Chats gelöst blieb.

Software und Technik

Messen Sie den gesamten Prozess – von der Zuweisung der Arbeit bis zur stabilen Veröffentlichung in der Produktion. Der generierte Code ist nur ein Schritt auf diesem Weg.

Beispiel: Nvidia liefert einen anschaulichen Beweis für diese Falle. Das Unternehmen gibt an, dass mittlerweile mehr als 30.000 seiner Ingenieure eine benutzerdefinierte Version des Cursor-Assistenten nutzen, der etwa dreimal so viel Code wie zuvor erzeugt, ohne dass die Fehlerquote steigt. Eine Verdreifachung der Leistung ist jedoch ein Indikator für das Volumen, nicht für die Qualität der Ergebnisse. Sie sagt nichts darüber aus, ob Features schneller auf den Markt kommen oder sich in der Produktion bewähren. Um diese Lücke zu schließen, müsste Nvidia neben dem Volumen auch die Vorlaufzeit, die Ausfallrate in der Produktion und den Nacharbeitsaufwand verändern.

Marketing

Marketing-KI sollte die Kosten oder den Zeitaufwand für die Erstellung von Arbeiten senken, die anschließend die Überprüfung bestehen und bei echten Kunden Anklang finden.

Vertrieb

Vertriebs-KI macht sich bezahlt, wenn die richtigen Geschäfte schneller durch die Pipeline laufen und schließlich mit soliden Margen geschlossen werden.

Beispiel: Workato zeigt, warum „schneller“ nicht gleichbedeutend mit „erfolgreich“ ist. Der CIO des Unternehmens erklärte, dass Geschäfte mit durch Mitarbeiter angereicherten Daten die Pipeline-Phasen bis zu 20 % schneller durchliefen, wobei sich die Bearbeitungszeit für Angebote um 40 % verbesserte. Beide Zahlen stammen vom Unternehmen selbst und messen die Geschwindigkeit, nicht das Ergebnis. Keine der beiden Zahlen belegt einen höheren Umsatz aus abgeschlossenen Geschäften. Um den Gewinn nachzuweisen, müsste Workato die Erfolgsquote, die Marge und den Umsatz aus abgeschlossenen Geschäften für ähnliche Geschäfte mit und ohne KI angeben.

Betrieb und Finanzen

Hier sollte die KI die Arbeit mit weniger manuellen Eingriffen, Fehlern und Ausnahmen abschließen. Und alle Kosten müssen in die Berechnung einfließen.

Beispiel: Omega Healthcare zeigt, wie eine umfassende Effizienzbilanz aussieht. Das Unternehmen teilte Business Insider mit, dass KI ihm monatlich mehr als 15.000 Arbeitsstunden bei der Dokumentenbearbeitung einspart, bei einer um 50 % schnelleren Bearbeitungszeit, einer Genauigkeit von 99,5 % und einem ROI von 30 % für die Clients. Damit werden Zeit, Qualität und Kosten in einer einzigen Ansicht zusammengeführt.

Fallstudien: Wie echte Unternehmen ihre KI-gestützte Effizienz messen

Unternehmensergebnisse sind nur dann aussagekräftig, wenn man weiß, was genau gemessen wurde. Handelt es sich bei der Zahl um einen Ist-Wert oder eine Prognose? Hat das Unternehmen die erledigte Arbeit gezählt oder lediglich die Arbeiten, die nicht mehr von Menschen ausgeführt wurden? Diese vier Fälle zeigen, warum diese Details weitaus wichtiger sind als die größte Zahl in einer Pressemitteilung.

Klarna (Schneller Service kann dennoch Qualitätslücken hinterlassen)

Bis Ende 2025, so Klarna, habe der KI-Support-Assistent zwei Drittel aller Kundenanfragen bearbeitet. Das Unternehmen nannte außerdem um 82 % schnellere Antwortzeiten, 25 % weniger wiederkehrende Probleme, Einsparungen in Höhe von 60 Millionen US-Dollar sowie eine Arbeit, die der von 853 Vollzeitmitarbeitern entspricht.

Klarna investierte weiterhin in den Assistenten. Begann aber auch wieder damit, menschliches Support-Personal einzustellen. Der CEO erklärte, dass Kunden immer die Möglichkeit haben sollten, einen Menschen zu erreichen. In der Berichterstellung wurde diese Umstellung mit Beschwerden über pauschale Antworten auf schwierigere Fragen in Verbindung gebracht. Das Unternehmen erklärte seinerseits, die Zufriedenheit mit der KI sei auf dem gleichen Niveau geblieben wie beim menschlichen Support.

Was Sie daraus lernen: Erfassen Sie Bearbeitungsgeschwindigkeit, wiederholte Kontakte und Kosten, aber schlüsseln Sie diese nach Art des Problems auf. Messen Sie anschließend fehlgeschlagene Übergaben und die Zufriedenheit nach komplexen Fällen. Ein guter Durchschnittswert kann genau die Tickets verschleiern, die am wichtigsten sind.

IBM (Die Produktivität kommt möglicherweise nicht jedem Entwickler zugute)

IBM untersuchte seinen eigenen „watsonx Code Assistant“ im Rahmen eines von Fachkollegen begutachteten Beitrags für die CHI 2025. Die Forscher befragten 669 Benutzer und führten mit 15 weiteren Usability-Tests durch. Viele Benutzer hatten das Gefühl, dass sie mit dem tool schneller arbeiten konnten, doch dieser Vorteil wurde nicht von allen geteilt. Dabei ist ein wichtiger Limit-Punkt zu beachten: Die Studie befasste sich mit der Entwicklererfahrung und der subjektiv empfundenen Produktivität der Benutzer. Sie lieferte keinen Nachweis dafür, dass Software schneller oder mit weniger Fehlern ausgeliefert wurde.

Was Sie daraus lernen: Kombinieren Sie Benutzerbefragungen mit beobachteten Kennzahlen wie Überprüfungszeit, Nacharbeit, Vorlaufzeit bei Änderungen und Fehlerquote bei Änderungen. Unterteilen Sie die Ergebnisse anschließend nach Aufgaben und Erfahrungsniveau. Ein Teamdurchschnitt kann Entwickler verschleiern, die mehr Zeit damit verbringen, KI-Ergebnisse zu überprüfen, als sie durch das Schreiben der KI-Codes einsparen.

Bank of America (Kontrolle ist Teil der Leistung)

Die Bank of America gab an, dass Erica, ihre virtuelle Finanzassistentin, 3 Milliarden Client-Interaktionen abgewickelt hat und mittlerweile durchschnittlich mehr als 58 Millionen pro Monat verzeichnet. Die Mitarbeiterversion erreichte über 90 % der Belegschaft und halbierte die Anrufe beim IT-Service-Desk. Erica zeigt zudem, dass KI-Effizienz kein generatives Modell erfordert. Die Bank betreibt ihren Kundenassistenten auf Basis einer festen Bibliothek mit mehr als 700 Antworten. Das gibt Erica zwar weniger Freiheit als einem offenen Chatbot, erleichtert es aber erheblich, die Antworten in einer Bank zu testen und zu steuern.

Was Sie daraus lernen: Passen Sie das Modell an das Risiko an. Für den internen Support sollten Sie Service-Desk-Anrufe, erfolgreiche Selbstbedienung, wiederholte Kontakte und die Zeit bis zur Lösung erfassen. Ein Rückgang des Anrufvolumens ist vielversprechend, beweist jedoch nicht, dass jeder Mitarbeiter das Problem tatsächlich gelöst hat.

So wählen Sie die richtigen KI-Metriken aus

Die Metriken zu kennen, ist der einfache Teil. Die größere Herausforderung besteht darin, die wenigen auszuwählen, die zu Ihrem Ziel passen, und den Rest bewusst zu ignorieren. Hier ist der Ansatz, auf den Sie sich verlassen können.

Ordnen Sie jede Metrik einem Geschäftsziel zu

Legen Sie zunächst das Ziel fest und wählen Sie dann die Kennzahl aus, mit der sich dieses messen lässt. Wenn das Ziel darin besteht, die Supportkosten zu senken, erfassen Sie die Kosten pro Lösung. Wenn es darum geht, den Umsatz zu steigern, erfassen Sie den Umsatz pro KI-Interaktion. Wenn es darum geht, Entscheidungen zu beschleunigen, erfassen Sie die Entscheidungsgeschwindigkeit. Wenn eine Metrik nicht auf diese Weise mit einem Ziel verknüpft ist, lassen Sie sie weg.

Und wenn Sie neben KPIs auch OKRs einsetzen, sollten Sie die Rollen klar trennen: Das Ziel gibt die Richtung vor, der KPI misst den Fortschritt im Hinblick darauf. Eine häufige Falle besteht darin, einfach die Nachverfolgung durchzuführen, was Ihr Tool standardmäßig ausgibt, anstatt die Zahlen zu erfassen, die für das Ziel relevant sind. Eine Kennzahl, die sich leicht abrufen lässt, aber keine echte Frage beantwortet, ist dennoch nur Ballast.

Wenden Sie das SMART-Konzept an und begrenzen Sie die Anzahl

Gestalten Sie jeden KPI spezifisch, messbar, erreichbar, relevant und terminiert (SMART). Begrenzen Sie die Anzahl dann bewusst. Halten Sie sich im Allgemeinen an drei bis fünf pro Ziel und nicht mehr als sieben bis zehn pro Team. Darüber hinaus ziehen sich Meetings in die Länge, während die Entscheidungen nicht präziser werden, da die Aufmerksamkeit zu sehr zerstreut ist, um auf einzelne Zahlen einzugehen. Hier ist ein einfacher Test: Wenn Sie keine Metrik identifizieren können, die eine Entscheidung in dieser Woche beeinflussen würde, ist Ihre Liste zu lang geworden.

Führen Sie eine Abwägung zwischen Vorlauf- und Nachlaufkennzahlen durch

Ordnen Sie jedem nachlaufenden Ergebnis einen vorlaufenden Prädiktor zu. Die Kosten pro Lösung stehen im Zusammenhang mit der Akzeptanztiefe. Die Umsatzsteigerung steht im Zusammenhang mit der Kompetenz. Die Fehlerquote steht im Zusammenhang mit der Bearbeitungszeit bei Code-Reviews.

Die nachlaufende Metrik bestätigt, was bereits geschehen ist; die vorlaufende gibt Ihnen frühzeitig Achtung, damit Sie Maßnahmen ergreifen.

Eigentümerschaft zuweisen und einen Zeitplan festlegen

Jeder KPI benötigt einen namentlich benannten Eigentümer und einen festgelegten Überprüfungsrhythmus. Überprüfen Sie operative Metriken wöchentlich, die übergeordneten monatlich oder vierteljährlich. Weisen Sie jede Metrik der Person zu, die den Wert beeinflussen kann – nicht derjenigen, die den Bericht verfasst. Wenn der Eigentümer keinen wirklichen Einfluss darauf hat, den Wert zu verändern, übernimmt niemand die Verantwortung dafür. Der Wert driftet einfach dahin, bis er bei der nächsten Überprüfung auffällt.

Tools und Ressourcen zur Messung von KI-Metriken

Sie brauchen nicht gleich vom ersten Tag an ein riesiges Mess-Toolset. Sie brauchen das richtige tool für die Metrik, die Sie nachweisen möchten.

Hier finden Sie die Ressourcen, die Sie kennen sollten.

Die Tabelle zeigt Ihnen, welches tool für welche Aufgabe geeignet ist. Was sie Ihnen jedoch nicht verraten kann, ist, welchen Nutzen Ihnen jedes einzelne tool bringt oder vor welchen Fehlern es Sie bewahrt.

So führen Sie die Nachverfolgung von KI-Metriken in ClickUp durch

Sobald Sie Ihre KI-KPIs ausgewählt haben, benötigen diese einen Ort, der mit der Arbeit verbunden ist, damit sich die Scorecard automatisch aktualisiert.

So halten unsere eigenen Teams KI-Metriken in ClickUp aktuell:

Beginnen Sie mit einem vorgefertigten KPI-Tracker

Die ClickUp-KPI-Vorlage bietet Ihnen eine solide Ausgangsstruktur. Sie enthält Status wie „Im Plan“, „Gefährdet“ und „Hinter den Erwartungen“, sowie benutzerdefinierte Felder für Zielwert, Ist-Wert, Fortschritt, Differenz und Abweichung.

Kostenlose Vorlage herunterladen

Fügen Sie die drei bis fünf KI-KPIs hinzu, die für eine Entscheidung ausschlaggebend sind, legen Sie für jeden ein Einzelziel fest und weisen Sie einen Eigentümer zu. Dabei kann es sich beispielsweise um die Erstabnahmequote, nachgewiesene Zeitersparnis, Kosten pro erfolgreichem Ergebnis oder die Eskalationsrate handeln. Die Ansichten „Fortschritt“ und „Zusammenfassung“ geben den Prüfern dann einen schnellen Überblick darüber, welche Ziele eingehalten werden und welche genauer unter die Lupe genommen werden müssen.

Bitte beachten Sie: Der Tracker erfasst zwar die Werte, sammelt jedoch nicht selbstständig Belege. Verknüpfen Sie jeden KPI mit den Aufgaben, bei denen die Arbeit tatsächlich stattfindet, und nutzen Sie benutzerdefinierte Felder, Formulare, Automatisierungen, Integrationen oder Aktualisierungen durch Mitarbeiter, um die tatsächlichen Werte einzugeben.

Überwachen Sie aktive Anwendungsbereiche mit Echtzeit-Dashboards

Sobald diese Werte in aktiven Aufgaben erfasst sind, können ClickUp-Dashboards sie auf Listen, Teams, Workflows oder Zeiträume hochrechnen. Berechnungskarten summieren die nachgewiesene Zeitersparnis, durchschnittliche Qualitätswerte oder Kosten pro Lösung. Balken-, Linien- und Kreisdiagramme schlüsseln dieselben Zahlen nach Modell, Anwendungsfall, Team oder Fehlerart auf.

Lassen Sie das „Gehirn“ Ihres Unternehmens die Berichterstellung durchführen und auf Lücken hinweisen

Gerade in der Berichterstellung verbirgt sich ein Großteil des manuellen Aufwands. Es ist auch der Bereich, dessen Automatisierung sich erst dann lohnt, wenn Ihre Felder und Definitionen zuverlässig sind. Da ClickUp Brain mit den Aufgaben, benutzerdefinierten Feldern, Dokumenten und Unterhaltungen in Ihrem ClickUp-Workspace arbeiten kann, können Sie ihm Fragen stellen wie:

Die Antwort wird innerhalb von Sekunden aus Ihrem aktuellen Arbeitskontext abgeleitet. Fahren Sie im selben Thread fort, um die Analyse einzugrenzen, Zeiträume zu vergleichen oder Brain zu bitten, die Ergebnisse in interaktive Dashboards oder Präsentationen umzuwandeln.

Möchten Sie mehr über ClickUp Brain erfahren? Hier finden Sie eine kurze Einführung.

Ehrliche Einschränkung: ClickUp verknüpft die Teamaktivitäten gut mit den Zielen. Es handelt sich jedoch weder um ein groß angelegtes Data Warehouse wie Snowflake noch um ein spezialisiertes Tool für die Überwachung auf Modellebene. Es funktioniert am besten, wenn Ihre Daten und Ihre Arbeit an einem Ort zusammenlaufen – genau dort, wo sich die operativen KI-KPIs befinden. Für eine detaillierte Modell-Telemetrie sollten Sie es mit einem speziellen Tool kombinieren.

Messen Sie, was sich durch die KI tatsächlich verändert hat

Das Schwierige an KI war nie, sie dazu zu bringen, etwas zu erledigen. Es geht vielmehr darum, zu wissen, ob dieses „Etwas“ es wert war, erledigt zu werden. Die meisten Teams können Ihnen sagen, wie oft ihre Tools genutzt werden und wie viele Entwürfe erstellt wurden – doch fast keines davon beantwortet die einzige Frage, auf die es ankommt:

Ist die Arbeit besser, kostengünstiger oder schneller geworden – und zwar so, dass es auch für alle nachgelagerten Bereiche spürbar ist?

Wenn Sie bereits vor der Entwicklung festlegen, wie der Wert aussehen soll, messen Sie am Ende, was die KI verändert, anstatt nur zu erfassen, was sie tut. Wählen Sie eine Handvoll Metriken aus, die einem konkreten Ziel zugeordnet sind. Weisen Sie jeder Metrik dann eine Gegenmetrik zu, damit ein Gewinn bei der Geschwindigkeit keinen Qualitätsverlust verschleiern kann. Legen Sie schließlich für jede Metrik einen Ausgangswert, ein Einzelziel, eine Frist und einen Eigentümer fest, der für die Umsetzung zuständig ist. Halten Sie diese Scorecard neben der Arbeit, die sie misst, und sie wird Ihnen von selbst die Wahrheit verraten.

Und wenn Sie die Nachverfolgung all dessen im Zuge der Skalierung Ihres KI-Einsatzes im Blick behalten möchten, benötigen Sie ein tool, das mit Ihnen mitwächst. Melden Sie sich bei ClickUp an, um ein KI-KPI-Dashboard zu erstellen, das jede Metrik direkt neben der Arbeit anzeigt, die sie misst.

Häufig gestellte Fragen zu Metriken für KI-Leistung

Was sind die wichtigsten KI-Metriken, die zur Nachverfolgung erforderlich sind?

Beginnen Sie mit jeweils einer Kennzahl aus jeder der vier Ebenen: Genauigkeit oder Erstakzeptanz (Ausgabequalität), Latenz (Systemleistung), Bindung aktiver Benutzer (Akzeptanz) sowie Kosten pro Lösung oder ROI (geschäftliche Auswirkungen). Die richtige Kombination hängt von der Aufgabe der KI ab. Ein Support-Bot benötigt Kennzahlen zur Problembegrenzung, zur bestätigten Lösung und zur Wiederkontaktquote. Ein Code-Assistent benötigt Kennzahlen zur Vorlaufzeit für Änderungen, zur Nacharbeitsquote und zur Überprüfungszeit. Begrenzen Sie die Gesamtzahl auf drei bis fünf Metriken pro Ziel und kombinieren Sie jede davon mit einer Gegenmetrik, damit ein Gewinn in einer Dimension nicht unbemerkt einen Verlust in einer anderen verdeckt.

Was ist der Unterschied zwischen einer KI-Metrik und einem KI-Benchmark?

Ein Benchmark bewertet ein Modell anhand eines festgelegten öffentlichen Datensatzes und einer bestimmten Aufgabe; eine Leistungskennzahl misst hingegen, wie sich Ihr System bei Ihrer eigenen Arbeit im Produktivbetrieb verhält. Ein Modell kann an der Spitze einer Rangliste stehen und dennoch in Bezug auf Latenz, Kosten oder Sicherheit versagen, sobald echte Benutzer damit in Berührung kommen. Betrachten Sie Benchmarks wie Vectaras „Halluzination“-Rangliste oder MMLU als tool zur Vorauswahl und messen Sie anschließend die Metriken, die Ihrem Ziel entsprechen.

Was ist eine gute Halluzinationsrate für ein KI-System?

Es gibt keine branchenweit anerkannte Fehlerquote für KI-Systeme. Ein sinnvolles Ziel hängt von der jeweiligen Aufgabe, den Kosten eines Fehlers und davon ab, ob das System Unsicherheiten zulassen kann. Für fundierte geschäftliche Anwendungen ist eine Quote von unter 5 % bei einem repräsentativen Produktionstestsatz ein vernünftiger Ausgangspunkt. Systeme mit hohem Risiko sollten jedoch einen Wert nahe Null anstreben und unsichere Antworten an einen Menschen weiterleiten. Betrachten Sie diese 5 % als operatives Ziel, nicht als veröffentlichten Standard.

Die wichtigste Erkenntnis ist, dass die Halluzinationsrate nicht isoliert betrachtet werden darf. Eine Studie in „Nature“ ergab, dass gängige Genauigkeits-Benchmarks Modelle dafür belohnen, Vermutungen anzustellen, anstatt zuzugeben, dass sie etwas nicht wissen. Messen Sie Halluzinationen zusammen mit der Abstinenzrate, der Schwere der Fehler, der Belegstärke sowie der Häufigkeit, mit der unbegründete Behauptungen die Benutzer erreichen.

Wie oft sollten Sie Metriken zur Leistung von KI überprüfen?

Überprüfen Sie operative Metriken wie Latenz, Fehlerquote und Eindämmung wöchentlich; überprüfen Sie geschäftliche Metriken wie Kosten pro Lösung und ROI monatlich oder vierteljährlich. Passen Sie den Rhythmus daran an, wie schnell sich die Metriken ändern können und wer darauf reagiert. Weisen Sie jeder Metrik einen namentlich benannten Verantwortlichen zu, der einen konkreten Einflussfaktor steuert.

Welche Tools nutzen Sie für die Nachverfolgung von KI-Metriken?

Die meisten Teams kombinieren zwei Ebenen. Arbeitsplattformen wie ClickUp erfassen operative und geschäftliche KPIs direkt neben den Aufgaben, aus denen sie hervorgehen, und nutzen dabei Dashboards, benutzerdefinierte Felder und agentenbasierte Workflows, um Werte wie die Akzeptanz beim ersten Durchlauf oder die Kosten pro erfolgreicher Aufgabe zusammenzufassen. Spezielle Observability-Tools wie Arize, Langfuse und WhyLabs verarbeiten Telemetriedaten auf Modellebene wie Drift und Halluzinationen, während ein Data-Warehouse wie Snowflake die Rohdaten für eine tiefergehende Analyse speichert.

Lässt sich die Wirkung von KI ohne Kontrollgruppe messen?

Ja, wenn auch weniger eindeutig. Eine Kontrollgruppe trennt die durch die KI verursachten Effekte von den Ereignissen, die ohnehin eingetreten wären – daher ist dies die aussagekräftigste Option. Falls keine Kontrollgruppe vorhanden ist, sollten Sie eine schrittweise Einführung oder eine angepasste Basislinie verwenden und Anpassungen hinsichtlich Preisänderungen, Aktionen, Nachfrage und Saisonschwankungen vornehmen. Ein einfacher Vorher-Nachher-Vergleich zeigt zwar, was sich geändert hat, aber nicht, was die Ursache dafür war. So kann es passieren, dass saisonale Nachfrageschwankungen oder die Behebung eines parallelen Prozesses fälschlicherweise der KI zugeschrieben werden.

Wie misst man den ROI von KI?

Der KI-ROI ist der Wert, den ein KI-System im Vergleich zu seinen Gesamtkosten für Entwicklung, Betrieb und Wartung generiert. Legen Sie vor der Einführung eine Basislinie für den Prozess fest und messen Sie anschließend die Veränderung anhand einer konkreten Metrik – wie beispielsweise den Kosten pro Lösung oder dem Umsatz pro Interaktion – im Verhältnis zu den Gesamtbetriebskosten.