Track project progress with ClickUp Dashboards
KI & Automatisierung

Was ist „Tokenmaxxing“? Die KI-Metrik, die sich selbst zunichte gemacht hat

Innerhalb von 30 Tagen schickten Meta-Mitarbeiter etwa 60 Billionen KI-Token durch eine interne Rangliste, die sie nach ihrem Verbrauch einstufte; eine Rechnung, die vermutlich 100 Millionen Dollar überstieg, um Arbeit zu produzieren, die größtenteils nur der Show diente. Neunzig Tage später war die Rangliste verschwunden, und das Unternehmen rationierte den KI-Einsatz streng.

Dieser Entwicklungsbogen wird als „Tokenmaxxing“ bezeichnet: Dabei wird die Maximierung des KI-Token-Verbrauchs zu einem Leistungswert und einem Indikator für Produktivität erhoben. Unternehmen sind inzwischen klüger geworden, und einige haben im Rahmen eines Phänomens, das als „Tokenminning“ bezeichnet wird, überkorrigiert: Sie verwenden so wenige KI-Token wie möglich, um die Rechenkosten zu senken. Beide Ansätze scheitern, weil sie die Anzahl der Token als zuverlässigen Indikator für KI-getriebenes Wachstum betrachten.

In diesem Artikel gehen wir darauf ein, was „Tokenmaxxing“ tatsächlich kostet, wie Entwickler das System ausgenutzt haben und welches Setup es gibt, das auch vor Leuten Bestand hat, die gut darin sind, Zahlen zu manipulieren.

TL;DR: „Tokenmaxxing“ – also die Betrachtung der Nutzung von KI-Token als Zeichen für Produktivität – scheitert als Managementpraxis, da der Tokenverbrauch ein Kostensignal ist. Dennoch wurde es als Metrik behandelt. Die zuverlässige Alternative zum „Tokenmaxxing“ ist eine Paarungsregel: Jedes Nutzungssignal, das ein Team veröffentlicht, muss zusammen mit einem echten Ergebnis erscheinen, das es nicht aufbauschen kann.

Zu erledigen ist es erforderlich, dass Führungskräfte aus dem Geschäft und der KI die Daten auf Team-Ebene aggregieren, sie aus Leistungsbeurteilungen heraushalten und Anomalien bei den Ausgaben als Ausgangspunkt für Untersuchungen nutzen. Unternehmen, die diesem Muster folgten, behielten ein funktionsfähiges Signal bei. Diejenigen, die Einzelpersonen bewerteten, verloren es innerhalb eines Quartals.

Was ist „Tokenmaxxing“?

Tokenmaxxing bezeichnet die Praxis, den Verbrauch von KI-Tokens zu maximieren und eine höhere Nutzung als Beweis für größere Produktivität oder eine stärkere KI-Einführung zu werten. Tokens sind die Einheiten, die ein KI-Modell als Eingabe verarbeitet und als Ausgabe produziert.

Die Token-Nutzung wurde zu einer attraktiven Metrik, da sie sichtbar und quantifizierbar ist und bereits von vielen KI-Plattformen nachverfolgt wird. Das erleichtert die Berichterstellung im Vergleich zu Ergebnissen wie Zeitersparnis, verbesserten Entscheidungen oder erzielten Umsätzen. Doch Token messen Rechenaktivität, nicht nützliche Arbeit. Sich wiederholende Eingabeaufforderungen, fehlgeschlagene Agenten-Schleifen und sinnlose Ausgaben treiben die Zahl in die Höhe, ohne dass dabei etwas entsteht.

KI-Agenten verschlimmern diese Situation noch. Ein Agent liest den Kontext, ruft Tools auf, überarbeitet seine eigene Arbeit und gibt Aufgaben an andere Agenten weiter. Jeder Schritt verbraucht Token. Mehr Aktivität kann zwar nützliche Arbeit bedeuten, aber auch ineffiziente Workflows und steigende Kosten.

Einfach ausgedrückt besteht der zentrale Fehler von „Tokenmaxxing“ darin, dass Teams die sichtbare Zahl maximieren, während Produktivität, Qualität und Kapitalrendite unverändert bleiben.

Tokenmaxxing wurde populär, weil die Unternehmensführung eine Nummer benötigte, um nachzuweisen, dass die Einführung von KI in den Unternehmen tatsächlich stattfand. Und die Token-Nutzung war die einzige Metrik, die in der Abrechnungskonsole angezeigt wurde.

Nvidia-CEO Jensen Huang gab Anfang 2026 im „All-In“-Podcast mit einem Gedankenexperiment über die Token-Rechnung eines hochbezahlten Ingenieurs den Ton an.

„Wenn dieser 500.000-Dollar-Ingenieur nicht mindestens Token im Wert von 250.000 Dollar verbraucht hat, werde ich zutiefst beunruhigt sein“, sagte er. Und wenn die Antwort 5.000 Dollar lauten würde? Dann würde er durchdrehen.

„Wenn dieser 500.000-Dollar-Ingenieur nicht mindestens Token im Wert von 250.000 Dollar verbraucht hat, werde ich zutiefst beunruhigt sein“, sagte er. Und wenn die Antwort bei 5.000 Dollar läge? Dann würde er durchdrehen.

Die KI-Nutzung war zu einem sichtbaren Indikator dafür geworden, wer mit der Entwicklung Schritt hielt. Dies geschah zu einer Zeit, in der bei jedem Meeting die Frage aufkam, welche Rollen von der KI übernommen werden würden. Ingenieure, die Token ausgaben, wirkten so, als würden sie sich an das neue Paradigma anpassen, während diejenigen, die dies nicht taten, Gefahr liefen, als Problemfall zu gelten.

Die Ironie dabei: Die erste Token-Rangliste war nie als Wettbewerb gedacht. Shopify entwickelte sie, um zu verstehen, warum seine Top-Kunden so viel ausgaben – und nicht, um sie gegeneinander zu bewerten. Farhan Thawar, Vice President und Head of Engineering, beschrieb später, wie sich das tool weiterentwickelte.

Das Unternehmen benannte es in „Nutzungs-Dashboard“ um, fügte Sicherheitsabschaltungen und Ausgabenwarnungen hinzu und nutzte die Daten, um außer Kontrolle geratene Agenten und Infrastrukturfehler aufzuspüren. Farhan schrieb:

Tokenmaxxing ist ein heißes Thema. Mehr bedeutet nicht unbedingt besser. Wir haben die erste Rangliste für KI-Token erstellt. Dann haben wir unser Denken weiterentwickelt. Daraus wurde ein Dashboard. Dieselben Daten, aber in einem anderen Rahmen. Wir haben Circuit Breaker und Ausgabenspitzen hinzugefügt. Wir haben außer Kontrolle geratene Agenten eingefangen. Wir haben Fehler in unserer eigenen Infrastruktur gefunden. Das eigentliche Signal: Es geht nicht darum, wer am meisten ausgegeben hat, sondern darum, wessen Token die größte Wirkung erzielt haben. Das sind die Ingenieure, mit denen ich sprechen möchte.

Tokenmaxxing ist ein brisantes Thema. Mehr bedeutet nicht unbedingt besser. Wir haben die erste Rangliste für KI-Token erstellt. Dann haben wir unser Denken weiterentwickelt. Daraus wurde ein Dashboard. Dieselben Daten, aber in einem anderen Rahmen. Wir haben Circuit Breaker und Ausgabenspitzen hinzugefügt. Wir haben außer Kontrolle geratene Agenten abgefangen. Wir haben Fehler in unserer eigenen Infrastruktur gefunden. Das eigentliche Signal: nicht, wer am meisten ausgegeben hat, sondern diejenigen, deren Token die größte Wirkung erzielt haben. Das sind die Ingenieure, mit denen ich sprechen möchte.

Die meisten Unternehmen, die die Rangliste von Shopify kopierten, nutzten sie, um Mitarbeiter zu bewerten, anstatt die KI-Ausgaben zu untersuchen. Die folgende Tabelle zeigt, wie sich das bei den einzelnen Unternehmen ausgewirkt hat.

UnternehmenDer MechanismusWas dann geschah
ShopifyDie erste bekannte Token-Rangliste, die zur Ermittlung von Großausgebern genutzt wurdeIn „Nutzungs-Dashboard“ umbenannt, mit zusätzlichen Schutzmechanismen, um außer Kontrolle geratene Agenten abzufangen
Meta„Claudeonomics“, eine von Mitarbeitern erstellte Rangliste der 250 Besten unter mehr als 85.000 Mitarbeitern, mit Titeln wie „Token-Legende“60. 2 Billionen Token in 30 Tagen; innerhalb weniger Tage nach der Berichterstattung in den Medien abgeschaltet
AmazonKirorank, eine inoffizielle Rangliste, die Entwickler anhand ihrer Kiro-KI-Aktivitäten bewertet und als Preise „PhoneTool“-Abzeichen vergibtDie Mitarbeiter fütterten die Agenten mit trivialen und erfundenen Aufgaben, und die Rangliste wurde abgeschafft.
UberKeine Rangliste; Claude Code wurde für rund 5.000 Entwickler eingeführtDas jährliche KI-Budget war innerhalb von vier Monaten aufgebraucht, woraufhin eine monatliche Obergrenze von 1.500 Dollar pro tool eingeführt wurde
WalmartCode Puppy, ein hauseigener KI-Agent mit anfangs unbegrenzter Anzahl von TokenFeste Token-Zuteilung pro Mitarbeiter, nachdem doppelte Anträge die Kosten in die Höhe getrieben hatten

Das Muster in dieser Tabelle ist einheitlich. Unternehmen, die Token-Daten nutzten, um hohe Ausgaben zu untersuchen, behielten ein aussagekräftiges Signal bei. Andere, die sie zur Bewertung von Mitarbeitern einsetzten, verloren dieses Signal innerhalb eines Quartals.

Wie haben Ingenieure ihre Token-Nutzung künstlich in die Höhe getrieben?

Entwickler blähten ihre Token-Nutzung auf, indem sie teure KI-Aktivitäten generierten, deren Auslieferung sie nie geplant hatten. The Pragmatic Engineer berichtete über dieses Verhalten bei Meta, Microsoft und Salesforce und identifizierte vier gängige Taktiken. Keine davon war böswillig. Die Mitarbeiter sahen einfach eine sichtbare Zahl, machten sich Sorgen um Entlassungen und gingen davon aus, dass eine intensive KI-Nutzung sie schützen würde:

  • Unnötige Fragen an den Agenten: Ingenieure befragten die KI zu Code, der bereits dokumentiert war. Das Modell las die Dokumente durch und lieferte repetitive und falsche Antworten, während es eine große Anzahl an Tokens verbrauchte.
  • Erstellung von Wegwerf-Prototypen: Sie entwickelten Features, die sie nie nutzen wollten, führten noch ein paar zusätzliche Iterationen durch und löschten dann den Bereich.
  • Den Agenten für Alles einsetzen: Sie übertrugen der KI Aufgaben, die sie von Hand schneller erledigen konnten, nur um deren Einsatz zu steigern
  • Parallele Agenten: Sie richteten mehrere Agenten ein, die die Arbeit der anderen überprüfen und diskutieren sollten, was zu langen Protokollen, aber keiner funktionierenden Software führte

Viele Ingenieure schauten nach, wie viel ihre Kollegen ausgaben. Dann verbrauchten sie gerade so viel, dass sie knapp über dem Durchschnitt lagen. Es ging ihnen nicht darum, an der Spitze zu stehen, sondern sie wollten nicht als diejenigen auffallen, die KI nicht ausreichend nutzten.

Bei Amazon wiesen Mitarbeiter KI-Agenten belanglose und erfundene Aufgaben zu, um deren Kirorank-Werte zu erhöhen. Dies führte zu höheren Cloud-Kosten, ohne dass ein geschäftlicher Nutzen entstand. Als Amazon die Rangliste abschaffte, erklärte Senior Vice President Dave Treadwell den Mitarbeitern, dass sie mit guten Absichten erstellt worden sei. Anschließend forderte er unmissverständlich: „Bitte setzt KI nicht nur um der KI willen ein.“

Im Rahmen dieser Umstellung erfolgt nun die Nachverfolgung, ob KI-generierter Code funktioniert und einen Wert liefert. Der Token-Verbrauch hat keine Priorität.

Wie viel hat „Tokenmaxxing“ die Unternehmen gekostet?

Tokenmaxxing hat Meta vermutlich in einem einzigen Monat mehr als 100 Millionen Dollar gekostet und das jährliche KI-Budget von Uber in vier Monaten aufgebraucht. Die Schätzung von Meta basiert auf einfacher Arithmetik. Nach den Listenpreisen der Claude Opus-API (zum Zeitpunkt der Veröffentlichung der Nachricht) würden 60,2 Billionen Token etwa 900 Millionen Dollar kosten. Ein Unternehmen von der Größe von Meta handelt zwar erhebliche Rabatte aus, doch selbst dann könnte die Rechnung einen neunstelligen Betrag erreichen.

Uber liefert das klarste Bild der Kosten, da das Unternehmen nie eine Rangliste geführt hat. Das Unternehmen stellte rund 5.000 Entwicklern agentische Programmiertools ohne Ausgabenmodell zur Verfügung. Innerhalb eines Monats stieg der Anteil der Entwickler, die als agentische Benutzer eingestuft wurden, von 32 % auf 84 %. Das gesamte Jahresbudget war nach vier Monaten aufgebraucht .

Der CTO, Praveen Neppalli Naga, räumte ein, dass das Unternehmen hinsichtlich seiner Annahmen „wieder ganz von vorne anfangen“ müsse. Die monatlichen Kosten lagen im Bereich von 500 bis 2.000 US-Dollar pro Entwickler, und die Lösung war drastisch: eine monatliche Obergrenze von 1.500 US-Dollar pro Programmiertool und Entwickler.

Wenn Ingenieure, die vergleichbare Arbeit verrichten, so unterschiedliche Beträge ausgeben, zeigt diese Abweichung, dass niemand definiert hatte, wie eine sinnvolle Nutzung aussieht. Daher hat jeder Ingenieur seine eigene Definition entwickelt. Uber-COO Andrew Macdonald räumte diesen Punkt ein und erklärte gegenüber Fortune, es sei „sehr schwer, eine Grenze zu ziehen“ zwischen KI-gestütztem Code und tatsächlich veröffentlichten nützlichen Features.

Der „AI Impact Report“ von LeadDev ergab, dass nur 19 % der Führungskräfte im Engineering-Bereich „Tokenmaxxing“ als effektiv bewerten. 57 % von ihnen geben an, dass es den tatsächlichen Wert nicht richtig einschätzt.

Hier ist der Grund, warum das Geld so schnell fließt: Ein Agent, der einen Code-Change plant, liest das Repository, ruft tools auf, führt Tests durch und versucht es so lange erneut, bis es klappt. Eine einzige Schleife kann Zehntausende von Tokens verbrauchen, und Lesevorgänge aus dem Prompt-Cache treiben diese Zahl noch weiter in die Höhe.

Finanzteams haben KI so budgetiert, als handele es sich um eine Ein-Platz-Lizenz. Tatsächlich verhält sie sich jedoch wie Cloud-Computing. Die gleiche Buchhaltungslücke entsteht, wenn Teams einen KI-Stack aus mehreren Anbietern zusammenstellen, ohne dass jemand die Eigentümerschaft über die Rechnung übernimmt. Dies ist derselbe Fehlermechanismus wie bei unkontrolliertem Tool-Wahn, nur eine Ebene höher.

Was ist „Tokenminning“?

Tokenminning ist die Praxis, den Verbrauch von KI-Token zu minimieren und eine geringe Nutzung als Ziel anzustreben. Wie wir in der Einleitung bereits besprochen haben, handelt es sich dabei um eine Überkorrektur, die ähnlich schlechte Ergebnisse mit sich bringt. Der Name ist eine Abkürzung für „Token Minimizing“ und entstand als Gegenmaßnahme zum Tokenmaxxing. Die New York Times berichtete über diesen Wandel in mehreren Unternehmen.

Meta teilte seinen Mitarbeitern mit, dass es den KI-Einsatz nach einem „exponentiellen Anstieg“ der Kosten einschränken werde. Uber legte ein Limit für die monatlichen Ausgaben fest, Walmart setzte Nutzungsbeschränkungen für die tools fest, und sowohl Amazon als auch Meta nahmen ihre Ranglisten vom Netz. Innerhalb weniger Wochen lehrten dieselben Unternehmen, die zuvor noch ihre intensivsten KI-Benutzer gefeiert hatten, nun alle, sparsam damit umzugehen.

Diese Korrektur wiederholt genau den Fehler, den sie eigentlich beheben sollte. Goodharts Gesetz erklärt dies am besten: Wenn eine Kennzahl zum Einzelziel wird, ist sie keine gute Kennzahl mehr. Wenn man also die Nutzung von KI-Token als Ziel festlegt, werden die Menschen Wege finden, diese Metrik zu optimieren – selbst auf Kosten der ursprünglichen Absicht. Goodharts Gesetz warnt vor „Tokenmaxxing“ und „Tokenminning“.

Belohnen Sie ein Team dafür, Token zu verbrennen, und es wird Token verbrennen, die es gar nicht braucht. Belohnen Sie ein Team dafür, Token zu sparen, und es wird den KI-Lauf überspringen, der einen Fehler aufgedeckt hätte. Oder es teilt eine gründliche Sitzung in drei billige auf, von denen jede nur eine oberflächliche Antwort liefert. Beide Teams erreichen ihre Token-Einzelziele, während die eigentliche Arbeit schlechter wird.

Die Kostenkontrolle an sich ist nicht der Fehler. Wie im Beispiel von Uber ist die monatliche Obergrenze von 1.500 Dollar eine Budgetentscheidung, nachdem das Unternehmen das Jahresbudget in vier Monaten aufgebraucht hatte. Doch die Einstellung eines Limits löst lediglich ein finanzielles Problem. Sie gibt keine Antwort darauf, ob mit den Token etwas Nützliches erworben wurde.

Der Ausweg besteht darin, zwei Arten von Zahlen voneinander zu trennen: Signale, die Sie beobachten, und Ergebnisse, die Sie anstreben. Token-Nutzung, Akzeptanzrate und der Anteil von KI-geschriebenem Code sind Signale, die zeigen, was innerhalb des Systems geschieht. Sie sind nützlich, wenn Sie ein Problem untersuchen, eignen sich jedoch schlecht als Ziele. Denn jeder dieser Werte kann sich stark verändern, ohne dass der Kunde einen Unterschied bemerkt.

Ein Unternehmen sollte stattdessen auf Ergebnisse abzielen. Diese folgen derselben Logik wie jeder gut konzipierte Satz von KPIs für die Softwareentwicklung: Man erstellt eine Verbindung zwischen einem Frühwarnsignal und dem Ergebnis, das es vorhersagen soll. Die Conversion-Anzeige im Shopify-Dashboard dient als Vorlage: gleiche Daten, ohne dass jemand in einer Rangliste aufgeführt wird.

Neil Dhar, Senior Vice President bei IBM Consulting, beschrieb in einem Essay über KI-Kosten, wie sich die Verwirrung ausbreitet.

#Tokenmaxxing war in letzter Zeit in allen Schlagzeilen zu finden. Der organisatorische Drang, so viel KI wie möglich und so schnell wie möglich einzusetzen, wobei die Nutzung als Indikator für den Wert herangezogen wurde. Nun wird die Rechnung fällig. Da die KI-Kosten die Erträge übersteigen, ist der erste Reflex, zu kürzen. Doch eine bloße Kürzung der Ausgaben wird das zugrunde liegende ROI-Problem nicht lösen.

#Tokenmaxxing war in letzter Zeit in allen Schlagzeilen. Der organisatorische Drang, so viel KI wie möglich und so schnell wie möglich einzusetzen, wobei die Nutzung als Indikator für den Wert herangezogen wurde. Nun wird die Rechnung fällig. Da die KI-Kosten die Erträge übersteigen, ist der erste Reflex, zu kürzen. Doch eine reine Kürzung der Ausgaben allein wird das zugrunde liegende ROI-Problem nicht lösen.

Laut IBM besteht die Lösung darin, die Nutzung als Signal zu betrachten und sie mit einem Ergebnis zu verknüpfen, das sich nicht vortäuschen lässt.

Bedeutet eine stärkere Token-Nutzung auch höhere Produktivität?

Nein, eine hohe Token-Nutzung bedeutet nicht automatisch hohe Produktivität. Die größten verfügbaren Datensätze zeigen, dass sich beide Faktoren unabhängig voneinander entwickeln. Untersuchungen der Entwickler-Intelligence-Plattform DX ergaben, dass die KI-Einführung nahezu gesättigt ist, während die gemessenen Produktivitätsgewinne stagnierten.

Laura Tacho, CTO bei DX, gab die Zahlen frei. Unter den Entwicklern nutzen mittlerweile 92,6 % mindestens einmal im Monat einen KI-Programmierassistenten, und rund 75 % nutzen einen wöchentlich. KI schreibt 26,9 % des Produktionscodes. Dennoch liegen die selbst angegebenen Zeiteinsparungen seit über einem Jahr bei etwa vier Stunden pro Woche. Und der anfängliche Gewinn an Produktivität von 10 % hat sich nie weiter erhöht.

Die Nutzung stieg weiter an, während die Ergebnisse stagnierten. Jede Metrik, die ausschließlich die Nutzung nachverfolgt, hat einen Erfolg ausgewiesen, der nie stattgefunden hat.

Der DORA-Bericht von Google Cloud erklärt, warum dieselben Tools so unterschiedliche Ergebnisse liefern. Er kam zu dem Ergebnis, dass der Einsatz von KI zwar die Bereitstellungsgeschwindigkeit verbesserte, aber die Stabilität der Bereitstellung beeinträchtigte. Der Bericht beschreibt KI als Verstärker: Sie verstärkt die Stärken gut geführter Unternehmen und die Schwächen von Unternehmen, die mit Schwierigkeiten zu kämpfen haben.

Die eigenen Daten von DX belegen die Wirkung dieses Verstärkungseffekts. In einer Gruppe von 67.000 Entwicklern verzeichneten einige Unternehmen eine Verdopplung der kundenrelevanten Incidents, während andere diese im gleichen Zeitraum mit denselben Tools halbieren konnten. Tacho weist die Verantwortung dort zu, wo die Daten darauf hindeuten:

Das ist eigentlich ein Managementproblem. Der Hype hat den Eindruck erweckt, als würde sich der Einsatz von KI automatisch auszahlen. Bislang wurden die meisten tools jedoch für einzelne Programmieraufgaben genutzt. Um echte Auswirkungen zu erzielen, müssen wir KI auf Organisationsebene einsetzen, nicht nur für einzelne Aufgaben.

Das ist eigentlich ein Managementproblem. Der Hype hat den Eindruck erweckt, als würde sich der Einsatz von KI automatisch auszahlen. Bislang wurden die meisten tools jedoch für einzelne Programmieraufgaben genutzt. Um echte Auswirkungen zu erzielen, müssen wir KI auf Organisationsebene einsetzen, nicht nur für einzelne Aufgaben.

Hinter dem ersten Problem verbirgt sich ein zweites: Menschen schätzen den eigenen Geschwindigkeitsgewinn durch KI falsch ein. Das gemeinnützige Forschungslabor METR führte einen randomisierten kontrollierten Test durch. 16 erfahrene Open-Source-Entwickler schlossen 246 reale Probleme in Repositorys ab, die sie durchschnittlich seit fünf Jahren betreuten. Vor Beginn des Tests schätzten die Entwickler, dass KI sie um 24 % schneller machen würde. Nach Abschluss des Tests schätzten sie, dass sie dadurch etwa 20 % schneller geworden seien. Die Stoppuhr zeigte jedoch an, dass sie 19 % langsamer waren.

Hinter dem ersten Problem verbirgt sich ein zweites: Menschen schätzen die durch KI erzielte Zeitersparnis falsch ein. Das gemeinnützige Forschungslabor METR führte einen randomisierten kontrollierten Test durch. 16 erfahrene Open-Source-Entwickler schlossen 246 reale Probleme in Repositorys ab, die sie im Durchschnitt seit fünf Jahren betreuten. Vor Beginn des Tests schätzten die Entwickler, dass KI sie um 24 % schneller machen würde. Nach Abschluss des Tests schätzten sie, dass sie dadurch etwa 20 % schneller geworden waren. Die Stoppuhr zeigte jedoch an, dass sie 19 % langsamer waren.

In einem Folge-Update erklärte das Labor, dass sein nächstes Experiment auf Auswahl-Effekte stieß, die es nicht korrigieren konnte. Es hieß außerdem, dass Entwickler heute dank agentischer Tools wahrscheinlich tatsächlich schneller mit KI arbeiten. Was bleibt: Selbstangabe zur Produktivität ist kein Ersatz für gemessene Produktivität, und die Diskrepanz zwischen beiden kann in beide Richtungen gehen.

Was sollten Sie anstelle der Token-Nutzung messen?

Messen Sie statt der Token-Nutzung die Ergebnisse auf Team- und anschließend auf Unternehmensebene. Betrachten Sie die Token-Nutzung als Kostensignal, anhand dessen niemand bewertet wird. Was zählt, sind die erzielten Ergebnisse.

Eine praktische Faustregel: Verknüpfen Sie jedes von Ihnen veröffentlichte Signal mit einem Ergebnis, das es nicht aufblähen kann. Ein Team kann Token verbrennen, ohne etwas auf den Markt zu bringen. Es kann jedoch keine sinkende Fehlerquote vortäuschen.

KennzahlTypSo wird es genutzt
Pro Team verbrauchte TokensSignalAchten Sie auf Kostenspitzen und außer Kontrolle geratene Agenten-Schleifen; bewerten Sie Einzelpersonen niemals danach.
Akzeptanzrate von KI-ToolsSignalVergewissern Sie sich, dass die Einführung die Zielgruppe erreicht hat, und hören Sie dann auf, sich damit zu beschäftigen
Anteil des von KI verfassten CodesSignalHintergrund zur Kapazitätsplanung für Code-Reviews
Ändern Sie die AusfallrateErgebnisVergleichen Sie dies mit jedem behaupteten Geschwindigkeitsgewinn; hier treten Probleme als Erstes zutage
Pro Team zusammengeführte Pull RequestsErgebnisNur auf Team-Ebene, stets im Gleichgewicht mit einer Qualitätsmetrik
EntwicklererfahrungsindexErgebnisErkennt kulturelle Probleme, bevor Mitarbeiter das Unternehmen verlassen
Prozentualer Zeitaufwand für neue FunktionenErgebnisSchafft eine Verbindung zwischen dem technischen Aufwand und dem geschäftlichen Wert

Diese Struktur basiert auf Messrahmenwerken, auf die sich Führungskräfte im Engineering bereits verlassen. DORA erfasst Liefergeschwindigkeit und Stabilität, und die Erkenntnis, dass KI beides verstärkt, ist der Grund, warum diese Kombination von Bedeutung ist.

Der „DX Core 4“ misst vier Dimensionen: Geschwindigkeit, Effektivität, Qualität und geschäftliche Auswirkungen. Abi Noda und Laura Tacho haben ihn gemeinsam mit Nicole Forsgren und Margaret-Anne Storey entwickelt, den Forscherinnen hinter DORA, Space und DevEx. Die vier Dimensionen stehen bewusst in einem Spannungsverhältnis zueinander.

Ein Team, das einen Aspekt auf Kosten eines anderen verbessert, macht diesen Kompromiss sofort deutlich. Keines der beiden Frameworks enthält eine Token-Metrik, und keines hat eine hinzugefügt.

Drei Regeln sorgen dafür, dass die Kombination in der Praxis funktioniert:

  1. Fassen Sie die Daten immer auf Teamebene zusammen. Wenn ein Signal mit einem einzelnen Namen verknüpft wird, wird dieser zum Einzelziel, und schon nach einem Sprint kehrt die Ära der Ranglisten zurück. Teams können Unterschiede in der Art und Weise, wie ihre Mitglieder KI nutzen, ausgleichen. Einzelpersonen werden stattdessen die Zahlen verwalten
  2. Zeigen Sie niemals ein Signal an, ohne das dazugehörige Ergebnis in derselben Ansicht darzustellen. Ein Dashboard, das nur die Token-Ausgaben anzeigt, lädt zu Optimierungen ein. Werden die Token-Ausgaben neben der Fehlerquote bei Änderungen dargestellt, ergibt sich eine bessere Frage: Sind die Ausgaben sinnvoll?
  3. Halten Sie Signale vollständig aus Leistungsbeurteilungen heraus. Sobald Nutzungszahlen mit Vergütung oder Aktion in Verbindung gebracht werden, greift das Goodhart-Gesetz – ganz gleich, in welche Richtung der Anreiz weist. Nutzen Sie Nutzungsdaten zur Untersuchung, nicht zur Beurteilung individueller Leistungen.

Wie legt man Richtlinien für die KI-Nutzung fest, die von den Mitarbeitern nicht manipuliert werden können?

Um eine Richtlinie zur KI-Nutzung festzulegen, die von den Mitarbeitern nicht manipuliert werden kann, entfernen Sie alle sichtbaren Nummern aus der individuellen Leistungsbewertung und treffen Sie fünf Entscheidungen:

1. Legen Sie fest, wozu die Nummer dient, bevor Sie sie erfassen

Jede Metrik in der Richtlinie benötigt einen schriftlich festgelegten Zweck, bevor das erste Dashboard veröffentlicht wird. Das Leaderboard von Shopify funktionierte in seiner ersten Phase. Die Führungskräfte nutzten es, um mit den Top-Ausgebern eine Unterhaltung darüber zu führen, was sie aufbauten. Die Nummer war der Ausgangspunkt für eine Untersuchung. Sobald dieselbe Nummer jedoch eine Untersuchung schließt und dabei eine Schlussfolgerung über eine Person zieht, anstatt Fragen zur Arbeit zu stellen, wird sie zu einer Bewertung. Und Bewertungen werden verwaltet.

Notieren Sie sich zu jeder Metrik drei Punkte:

  • Der Auslöser: Welche Veränderung bei den Token-Ausgaben löst Maßnahmen aus (ein dreifacher Anstieg gegenüber der Vorwoche oder eine Verdopplung des Basiswerts durch ein Team)?
  • Die Maßnahme: Wer fragt was und wen („der EM fragt das Team, was es gerade entwickelt“, nicht „der Bericht geht an den VP“)
  • Die Nicht-Maßnahme: Wofür die Nummer niemals verwendet werden wird – ebenso ausdrücklich dargelegt

Die „Nicht-Handlungs-Linie“ leistet die meiste Arbeit, da die Mitarbeiter die Richtlinie daran messen. Wenn die ehrliche Antwort auf die Frage „Was passiert, wenn die Ausgaben sprunghaft ansteigen?“ die Position einer Person betrifft, haben Sie eine Rangliste mit zusätzlichen Schritten geschaffen.

2. Legen Sie das Budget auf Team-Ebene fest

Ein gemeinsames Team-Budget ersetzt die Obergrenze pro Person, und der Unterschied liegt im Verhalten, nicht in der Buchhaltung. Die monatliche Spanne von 500 bis 2.000 US-Dollar bei Uber unter Ingenieuren, die vergleichbare Arbeit leisten, zeigt, was passiert, wenn es keinen gemeinsamen Bezugspunkt gibt. Jeder erfindet seine eigene Definition von „angemessen“. Budgetrahmen funktionieren genauso wie alle anderen Aufwände, verstreute KI-Ausgaben an einem einzigen, nachweisbaren Ort zu bündeln.

Mit dem „Envelope“ erhalten Sie drei Dinge, die eine Obergrenze pro Person nicht bieten kann:

  • Elastizität: Eine wirklich aufwendige Migration kann in diesem Monat mehr Ressourcen verbrauchen, während ein Routinesprint weniger verbraucht.
  • Psychologische Sicherheit: Niemand betrachtet sein eigenes Element als Leistungsbeurteilung, da es kein Element gibt, auf dem sein Name steht.
  • Selbstkontrolle: Ausufernde Ausgaben werden vom Team selbst aufgefangen, da der Geldrahmen gemeinsam genutzt wird und für alle Beteiligten sichtbar ist.

Legen Sie das erste Budgetlimit anhand der beobachteten Daten fest. Nehmen Sie den gleitenden Dreimonatsdurchschnitt des Teams und fügen Sie einen Spielraum für ein kostspieliges Projekt hinzu. Ein auf Vermutungen basierendes Budgetlimit wird bereits in der zweiten Woche überschritten, was allen verdeutlicht, dass die Richtlinie nur zur Zierde dient.

3. Machen Sie den teuren Weg sichtbar

Zeigen Sie den Entwicklern die Kosten jedes Durchlaufs an, anstatt ihre Ausgaben zu begrenzen. Bei Agent-basierten Durchläufen, die bei fehlgeschlagenen Tests in einer Schleife hängen bleiben, schwinden die Budgets, was eine feste Obergrenze in den Vordergrund rückt. Eine weitere Möglichkeit besteht darin, dem Entwickler, der den Durchlauf als Auslöser ausgelöst hat, die Kosten pro Durchlauf anzuzeigen, ohne dabei eine Berichterstellung durchzuführen.

Ein Entwickler, der zusieht, wie eine Wiederholungsschleife 40 Dollar verschwendet, wird die Schleife beheben. Ein Entwickler hingegen, der einen Bericht fürchtet, wird den Agenten komplett nicht mehr nutzen – auch in den Fällen, in denen der teure Lauf die richtige Entscheidung war.

Die Circuit-Breaker von Shopify funktionieren folgendermaßen: Das System erkennt die Anomalie, und die Person, die am nächsten am Geschehen ist, entscheidet, was zu erledigen ist. Sichtbarkeit verändert das Verhalten schneller als eine Obergrenze, und sie sorgt dafür, dass der teure, aber korrekte Ablauf verfügbar bleibt, wenn die Arbeit die Kosten rechtfertigt.

4. Trennen Sie das Ziel der KI-Einführung von der Leistungsbeurteilung

Halten Sie die Trennung schriftlich fest, denn mündliche Zusicherungen überstehen einen Entlassungszyklus nicht. Der Microsoft-Ingenieur, der gegenüber „The Pragmatic Engineer“ beschrieb, wie er seine eigenen Metriken aufgebläht hatte, war nicht auf einen Preis aus. Er wollte lediglich vermeiden, in einem Jahr, das von KI-bedingten Entlassungen geprägt war, in eine Beschreibung gesteckt zu werden.

Wenn die Leute glauben, dass Nutzungsdaten in ein KalibrierungsMeeting einfließen, werden sie die Daten verwalten – ganz gleich, was irgendjemand laut sagt.

Der Wortlaut der Richtlinie umfasst genau zwei Zeilen:

  • Ob Nutzungsdaten in Unterhaltungen über Leistung zur Sprache kommen dürfen (ein Ja oder ein Nein, nicht „kontextabhängig“)
  • Wohin die Daten tatsächlich fließen, damit niemand die Stille mit einer noch schlechteren Vermutung füllt

Beachten Sie dann beides. Der erste Entwickler, der bei einer Überprüfung Nutzungsdaten sieht, wird es allen erzählen und damit beweisen, dass die Metriken überflüssig sind.

5. Überprüfen Sie die Paarung vierteljährlich

Fragen Sie jedes Quartal, ob jede Diagnose noch immer das Ergebnis erklärt, mit dem sie verknüpft ist. Die Preisgestaltung von Modellen, das Caching-Verhalten und die Agentenarchitektur ändern sich schneller als ein jährlicher Zyklus der Planung.

Die Art und Weise, wie Teams KI bei der Planung und Berichterstellung einsetzen, verändert sich ständig. Eine Token-Anzahl, die im Januar noch eine bestimmte Bedeutung hatte, hat im Juni – nach zwei Preissenkungen und einem Agent-Upgrade – bereits eine ganz andere Bedeutung.

Die Bewertung liefert ehrliche Ergebnisse für jede Metrik: Entweder prognostiziert sie weiterhin das erwartete Ergebnis, muss anhand neuer Preise neu kalibriert werden oder liefert überhaupt keine Erklärungen mehr und wird ohne großes Aufsehen ausgemustert. Teams wehren sich am stärksten gegen eine Ausmusterung. Dennoch ist dies ein wichtiger Schritt, denn eine Metrik, die ihre Bedeutung überdauert, ist genau die Art von Nummer, auf der die Ära der Ranglisten aufgebaut war.

Häufige Fehler, die Teams bei der Messung der KI-Einführung machen

Die vier häufigsten Fehler sind: die Einführung als Endziel zu betrachten, selbst gemeldeten Zeiteinsparungen zu vertrauen, individuelle Ranglisten zu veröffentlichen und die Geschwindigkeit zu messen, ohne die Stabilität zu berücksichtigen. Sie können jeden dieser Fehler erkennen, bevor er teuer wird.

1. Die Akzeptanz als Ziellinie betrachten

Das Rollout-Dashboard zeigt 90 % an, die Führungsetage erklärt die KI-Initiative für abgeschlossen, und niemand fragt, was sich nachgelagert verändert hat. Die Daten von DX haben diese Falle in großem Maßstab aufgedeckt: 92,6 % Akzeptanz bei einer Produktivität, die unverändert bei 10 % liegt. Die Akzeptanz bestätigt lediglich, dass die Tools die Nutzer erreicht haben. Sie sagt nichts darüber aus, was die Tools verändert haben.

Die Lösung: Nehmen Sie das Akzeptanz-Diagramm nach Abschluss der Einführung aus dem Verkehr und ersetzen Sie es durch eine Kombination aus Signal und Ergebnis.

2. Vertrauen in selbst angegebene Zeitersparnisse

Eine Umfrage ergab, dass das Team fünf Stunden pro Woche einspart, doch die Zykluszeit hat sich seit zwei Quartalen nicht verändert. Der Test der Testversion von METR zeigt, warum diese beiden Zahlen voneinander abweichen: Entwickler, die mit KI messbar langsamer arbeiteten, schätzten die Geschwindigkeitssteigerung im Nachhinein dennoch auf 20 %. Was Menschen glauben und was die Uhr misst, sind zwei unterschiedliche Größen.

Die Lösung: Behalten Sie die Umfrage zur Entwicklererfahrung bei, wo die Wahrnehmung eine Rolle spielt. Verwenden Sie Systemdaten für alle Aussagen, die sich auf Zeit beziehen.

3. Veröffentlichung einer individuellen Rangliste nur zum Spaß

Jemand baut es an einem Nachmittag auf einem internen Wiki auf, gibt ihm verspielte Titel, und das Team hat etwa drei Wochen lang wirklich Spaß daran. Dann übernimmt der Anreiz die Oberhand. Metas „Claudeonomics“ und Amazons „Kirorank“ begannen beide als Spaß an der Basis. Beide Unternehmen haben sie eingestellt, sobald das Spiel den Enthusiasmus überstieg.

Die Lösung: Aggregieren Sie die Daten auf Team-Ebene – oder veröffentlichen Sie sie gar nicht erst.

4. Geschwindigkeit messen, ohne die Stabilität zu berücksichtigen

Der Durchsatz steigt, alle jubeln, und gleichzeitig klettert die Anzahl der Incidents im Dashboard eines anderen Teams in die Höhe. Der DORA-Bericht hat genau diese Diskrepanz aufgezeigt: Die Geschwindigkeit verbessert sich, während die Stabilität abnimmt. Indem man die beiden Kennzahlen auf getrennten Dashboards anzeigt, bleibt das Problem unsichtbar.

Die Lösung: Zeigen Sie die Fehlerquote bei Änderungen auf demselben Bildschirm an wie alle Metriken zur Geschwindigkeit – und nicht in einem separaten Zuverlässigkeitsbericht, den niemand heranzieht.

So führen Sie die Nachverfolgung der Auswirkungen von KI in ClickUp durch

Visualisieren Sie komplexe Daten mit ClickUp-Dashboards und lassen Sie ClickUp Brain diese für Sie auswerten.
Visualisieren Sie komplexe Daten mit ClickUp-Dashboards und lassen Sie ClickUp Brain diese für Sie auswerten

Um die Auswirkungen der KI in ClickUp zu verfolgen, messen Sie die Ergebnisse direkt neben der eigentlichen Arbeit: den Aufgaben, Sprints und Ergebnissen, die die KI eigentlich beschleunigen sollte. Die meisten Token-Dashboards befinden sich in einer Anbieter-Konsole, weit entfernt von der Arbeit, die sie beschreiben. Indem Sie die Ergebnismetriken in den Arbeitsbereich verlagern, schließen Sie diese Lücke.

Die zuvor beschriebene Zuordnung von Signal und Ergebnis lässt sich direkt auf die Plattform übertragen:

  • Sehen Sie Geschwindigkeit und Qualität auf einem Bildschirm. Erstellen Sie in ClickUp Dashboards eine Ansicht mit Karten zu Sprint-Geschwindigkeit, Zykluszeit und kumulativem Durchsatz neben einer Liste von Aufgaben, die nach Nachbesserungen und Fehlerbehebungen gefiltert ist. Ein behaupteter Geschwindigkeitsgewinn und die damit verbundenen Qualitätskosten werden nicht mehr in getrennten Berichten aufgeführt – genau das ist in der Praxis die Regel für die Kombination beider Faktoren.
  • Vergleichen Sie KI-gestützte Arbeit mit den übrigen Aufgaben. Fügen Sie über „Benutzerdefinierte Felder“ ein Dropdown-Menü hinzu, mit dem Aufgaben als KI-gestützt gekennzeichnet werden können. Vergleichen Sie anschließend die Zykluszeiten und Nacharbeitsquoten zwischen den beiden Gruppen. Dies liefert Belege, die keine Abrechnungskonsole liefern kann, da die Konsole nur weiß, was ausgegeben wurde, nicht aber, was ausgeliefert wurde.
  • Überprüfen Sie Zeitersparnisangaben anhand der aufgezeichneten Zeit. Vergleichen Sie Zeitschätzungen mit der tatsächlich für Aufgaben durchgeführten Zeiterfassung und fassen Sie beides in einem Timesheet oder einer Zeitberichts-Karte auf demselben Dashboard zusammen. Wenn KI einen Workflow tatsächlich beschleunigt, sinkt die erfasste Zeit im Vergleich zu ähnlichen Aufgaben. Falls es sich nur schneller anfühlt, bestätigen dies die Zahlen.
  • Erhalten Sie Antworten direkt aus der Arbeit, anstatt Berichte zu erstellen. Stellen Sie ClickUp Brain, einer kontextbezogenen KI für Arbeitsbereiche, eine Frage wie „Welche Projekte sind ins Stocken geraten, nachdem wir den Überprüfungsprozess geändert haben?“. Die Antwort wird anhand von aktuellen Aufgaben, Dashboards, Dokumenten, Chats und verbundenen Apps ermittelt – und nicht anhand einer vierteljährlichen Präsentation.
  • Halten Sie den Agenten und das Ergebnis in einem System zusammen. Teams, die KI-Agenten für routinemäßige operative Aufgaben einsetzen, können „Super Agents“ innerhalb des Workspace ausführen. Die KI-gestützten Teammitglieder aktualisieren Status, veröffentlichen Folgeaktionen und verfassen Berichte über den Fortschritt nach Zeitplan oder auf Abruf. Die Arbeit des Agenten und die Aufzeichnung darüber, ob sie geholfen hat, befinden sich an ein und demselben Ort, wodurch ein Abgleichschritt entfällt.

Wenn Ihr Team Agenten einführt, zeigt dieser Beitrag, wie man einen Agenten mit einer definierten Aufgabe erstellt:

Beobachten Sie die Anzahl der Token, ohne die Beteiligten zu bewerten

Die ganze Geschichte lässt sich auf eine Regel reduzieren: Nutze Token-Daten, um Fragen zu stellen, niemals, um Menschen zu bewerten. Shopify fragte: „Was entwickeln unsere Top-Kunden?“ und stieß dabei auf außer Kontrolle geratene Agenten und Infrastrukturfehler. Meta und Amazon fragten: „Wer nutzt KI am meisten?“ und erhielten gefälschte Aufgaben, verschwendeten Millionen und erhielten unbrauchbare Ranglisten.

Erledigen Sie daher in diesem Quartal drei Dinge: Verlagern Sie die Token-Nachverfolgung auf die Team-Ebene und löschen Sie alles, was den Namen einer einzelnen Person enthält. Halten Sie in der Richtlinie fest, dass Nutzungsdaten niemals in Leistungsbeurteilungen einfließen dürfen. Und platzieren Sie eine Qualitätskennzahl (die Fehlerquote bei Änderungen ist am einfachsten) auf demselben Bildschirm wie alle Metriken zur Geschwindigkeit, die Sie melden.

Wenn Sie möchten, dass dieser Bildschirm direkt neben der eigentlichen Arbeit angezeigt wird und nicht in einem separaten Tool für die Berichterstellung, starten Sie kostenlos mit ClickUp und erstellen Sie das Dashboard, bevor Sie es benötigen.

Häufig gestellte Fragen zu Tokenmaxxing (FAQs)

Was ist die 30-Prozent-Regel beim „Tokenmaxxing“?

Es gibt keine offizielle „30-Prozent-Regel“, die speziell für Tokenmaxxing gilt. Der Begriff ist in der Regel eine Kurzform für zwei separate Erkenntnisse, die oft miteinander verwechselt werden: Erstens , dass KI die gemessene Produktivität im Engineering in der Regel um etwa 10 % steigert – nicht um 30 % –, und zweitens, dass Entwickler regelmäßig Zuwächse von etwa 20–30 % prognostizieren , die sich nicht einstellen. Betrachten Sie jeden festen Prozentsatz als Anhaltspunkt für weitere Untersuchungen, niemals als Einzelziel, das es zu erreichen gilt.

Eine Million Token entsprechen etwa 750.000 Wörtern englischen Textes, da ein Token im Durchschnitt etwa drei Viertel eines Wortes ausmacht. Die Kosten hängen vollständig vom Modell und der Aufteilung zwischen Eingabe und Ausgabe ab. Bei den Preisen für „Frontier“-Modelle im Jahr 2026 liegen sie im Bereich von einigen Dollar bis zu niedrigen Zehnern pro Million. Agente-Sitzungen verbrauchen schnell Millionen von Token, da bei jeder Schleife der Kontext erneut gelesen wird und Lesezugriffe auf den Prompt-Cache die Zählung erhöhen.

„Tokenmaxxing“ kombiniert „Token“ mit der Internet-Endung „-maxxing“, was so viel bedeutet wie „eine Eigenschaft maximieren“. Der Begriff verbreitete sich Anfang 2026 in Ingenieurskreisen, nachdem interne Token-Ranglisten bei Meta und Amazon an die Presse durchgesickert waren. Business Insider bezeichnete es im April 2026 als „die neue KI-Debatte im Silicon Valley “. Öffentliche Ranglisten wie Viberank und tokenmaxxing.sh übernahmen daraufhin die Beschreibung und stuften einzelne Entwickler weltweit nach ihrem API-Verbrauch ein.

Im Großen und Ganzen ja. Fortune erklärte das „Tokenmaxxing“ im Mai 2026 für beendet, nachdem Meta, Amazon, Microsoft und Uber ihre Token-Ranglisten zurückgenommen oder eingestellt hatten. Der „AI Impact Report“ von LeadDev ergab, dass nur 19 % der Befragten eine Bewertung von „Tokenmaxxing“ als wirksames Mittel zur Messung des KI-Werts abgeben, während 57 % sagen, dass es völlig versagt. Öffentliche Ranglisten von Hobbyisten gibt es zwar weiterhin, aber als Spiel und nicht als Managementpraxis.

Es gibt keinen etablierten Maßstab. Bei der Einführung bei Uber lag der Bereich der monatlichen Kosten zwischen 500 und 2.000 US-Dollar pro Ingenieur, bevor das Unternehmen die Ausgaben auf 1.500 US-Dollar pro tool begrenzte. Jensen Huang, CEO von Nvidia, hat argumentiert, dass ein Ingenieur mit einem Gehalt von 500.000 US-Dollar jährlich 250.000 US-Dollar an Token verbrauchen sollte, doch das ist höchstwahrscheinlich eher eine Provokation als ein Standard. Die Ergebnisse zeigen große Unterschiede bei vergleichbaren Arbeiten, was bedeutet, dass noch niemand definiert hat, wie eine angemessene Nutzung aussieht.

„Vibe-Coding“ ist eine Arbeitsweise: Die Umsetzung wird an einen KI-Agenten delegiert und anhand der Ergebnisse gesteuert. „Tokenmaxxing“ ist eine Messmethode: Die verbrauchten Token werden als Nachweis für die Produktivität gewertet. Man kann „Vibe-Coding“ effizient oder verschwenderisch betreiben; „Tokenmaxxing“ belohnt die verschwenderische Variante, da es ausschließlich den Verbrauch berücksichtigt. Unternehmen, die Token begrenzt haben, um „Tokenmaxxing“ zu unterbinden, haben dabei oft legitime agentische Arbeit benachteiligt.