Track project progress with ClickUp Dashboards
AI i Automatyzacja

Czym jest tokenmaxxing? Wskaźnik oparty na AI, który sam się zniweczył

W ciągu 30 dni pracownicy Meta wykorzystali około 60 bilionów tokenów AI w ramach wewnętrznej tabeli wyników, która klasyfikowała ich według zużycia; koszt tej operacji prawdopodobnie przekroczył 100 milionów dolarów, a wygenerowana praca miała w dużej mierze charakter pokazowy. Dziewięćdziesiąt dni później tabela wyników zniknęła, a firma wprowadziła ścisłe racjonowanie wykorzystania AI.

Ten cykl nazywa się „tokenmaxxingiem”: polega on na tym, że maksymalizacja wykorzystania tokenów AI zostaje przekształcona w wskaźnik wydajności i miarę produktywności. Od tego czasu firmy stały się bardziej rozważne, a niektóre z nich posunęły się zbyt daleko w kierunku zjawiska nazwanego „tokenminningiem”: wykorzystywania jak najmniejszej liczby tokenów AI w celu obniżenia kosztów obliczeniowych. Oba podejścia zawodzą, ponieważ traktują liczbę tokenów jako wiarygodny wskaźnik wzrostu napędzanego przez AI.

W tym artykule omówimy, ile faktycznie kosztuje tokenmaxxing, w jaki sposób inżynierowie wykorzystywali tę lukę oraz ustawienia systemu pomiarowego, które nie da się oszukać osobom biegłym w manipulowaniu danymi.

TL;DR: Tokenmaxxing, czyli traktowanie wykorzystania tokenów AI jako wskaźnika wydajności, zawodzi jako praktyka zarządzania, ponieważ zużycie tokenów jest sygnałem kosztowym. Było ono jednak traktowane jako wskaźnik wydajności. Wiarygodną alternatywą dla tokenmaxxingu jest zasada powiązania: każdy sygnał dotyczący wykorzystania publikowany przez zespół musi pojawić się obok rzeczywistego wyniku, którego nie da się zawyżyć.

Do zrobienia jest to, że liderzy biznesowi i specjaliści ds. AI muszą agregować dane na poziomie zespołów, nie uwzględniać ich w ocenach wyników oraz wykorzystywać anomalie w wydatkach do wszczynania dochodzeń. Firmy, które postępowały zgodnie z tym schematem, zachowały użyteczny sygnał. Te, które oceniały poszczególnych pracowników, utraciły go w ciągu jednego kwartału.

Czym jest tokenmaxxing?

Tokenmaxxing to praktyka polegająca na maksymalizacji zużycia tokenów AI i traktowaniu wyższego zużycia jako dowodu większej wydajności lub stopnia wdrożenia sztucznej inteligencji. Tokeny to jednostki, które model AI przetwarza jako dane wejściowe i generuje jako dane wyjściowe.

Wykorzystanie tokenów stało się atrakcyjnym wskaźnikiem wydajności, ponieważ ma widoczność, jest mierzalne i już śledzone przez wiele platform AI. Dzięki temu łatwiej jest je przedstawiać w raportach niż takie wyniki, jak zaoszczędzony czas, lepsze decyzje czy wygenerowane przychody. Jednak tokeny mierzą aktywność obliczeniową, a nie użyteczną pracę. Powtarzające się podpowiedzi, nieudane pętle agentów i bezsensowne wyniki – wszystko to podnosi tę liczbę, nie przynosząc przy tym żadnych korzyści.

Agenci AI pogarszają tę sytuację. Agent analizuje kontekst, uruchamia narzędzia AI, weryfikuje własną pracę i przekazuje zadania innym agentom. Każdy krok zużywa tokeny. Chociaż większa aktywność może oznaczać więcej użytecznej pracy, może również oznaczać nieefektywne cykle pracy i rosnące koszty.

Mówiąc prościej, główną wadą tokenmaxxingu jest to, że zespoły maksymalizują widoczną liczbę, podczas gdy wydajność, jakość i zwrot z inwestycji pozostają na tym samym poziomie.

Tokenmaxxing zyskał popularność, ponieważ kierownictwo potrzebowało wskaźnika, który potwierdzałby, że w firmach rzeczywiście wdrażana jest AI. A wykorzystanie tokenów było jedynym wskaźnikiem widocznym w konsoli rozliczeniowej.

Prezes Nvidii, Jensen Huang, nadał ton dyskusji na początku 2026 roku w podcaście „All-In”, przedstawiając eksperyment myślowy dotyczący rachunku za tokeny wysoko opłacanego inżyniera.

„Gdyby ten inżynier zarabiający 500 000 dolarów nie zużył tokenów o wartości co najmniej 250 000 dolarów, byłbym głęboko zaniepokojony” – powiedział. A gdyby odpowiedź brzmiała: 5 000 dolarów? Wpadłby w szał.

„Gdyby ten inżynier zarabiający 500 000 dolarów nie zużył tokenów o wartości co najmniej 250 000 dolarów, byłbym głęboko zaniepokojony” – powiedział. A gdyby odpowiedź brzmiała: 5 000 dolarów? Wpadłby w szał.

Wykorzystanie AI stało się widocznym wyznacznikiem tego, kto nadążał za zmianami. Działo się to w czasie, gdy na każdym spotkaniu planistycznym pojawiały się pytania o to, jakie role przejmie AI. Inżynierowie, którzy wydawali tokeny, sprawiali wrażenie, jakby dostosowywali się do nowego paradygmatu, podczas gdy ci, którzy tego nie robili, ryzykowali, że zostaną uznani za problem.

Oto ironia losu: pierwszy ranking tokenów nigdy nie miał być konkurencją. Shopify stworzyło go, aby zrozumieć, dlaczego jego najlepsi klienci wydają tak dużo, a nie po to, by ich ze sobą porównywać. Wiceprezes i dyrektor ds. inżynierii Farhan Thawar opisał później, jak ewoluowało to narzędzie.

Firma przemianowała to narzędzie na „pulpit nawigacyjny użytkowania”, dodała mechanizmy zabezpieczające i alerty dotyczące wydatków, a także wykorzystała dane do wykrywania niekontrolowanych agentów i błędów infrastruktury. Farhan napisał:

Tokenmaxxing to kontrowersyjny temat. Więcej nie oznacza lepiej. Stworzyliśmy pierwszy ranking tokenów AI. Potem zmieniliśmy nasze podejście. Stało się to pulpitem nawigacyjnym wykorzystania. Te same dane, ale w innym ujęciu. Dodaliśmy mechanizmy zabezpieczające i wskaźniki skoków wydatków. Wyłapaliśmy niekontrolowane agenty. Znaleźliśmy błędy w naszej własnej infrastrukturze. Prawdziwy sygnał: nie chodzi o to, kto wydał najwięcej, ale o tych, których tokeny wywarły największy wpływ. To właśnie z tymi inżynierami chcę rozmawiać.

Tokenmaxxing to gorący temat. Więcej nie oznacza lepiej. Stworzyliśmy pierwszy ranking tokenów AI. Potem zmieniliśmy nasze podejście. Stało się to pulpitem nawigacyjnym wykorzystania. Te same dane, ale w innym ujęciu. Dodaliśmy mechanizmy zabezpieczające i wskaźniki skoków wydatków. Wyłapaliśmy niekontrolowane agenty. Znaleźliśmy błędy w naszej własnej infrastrukturze. Prawdziwy sygnał: nie chodzi o to, kto wydał najwięcej, ale o tych, których tokeny wywarły największy wpływ. To właśnie z tymi inżynierami chcę rozmawiać.

Większość firm, które skopiowały tabelę wyników Shopify, wykorzystywała ją do klasyfikowania pracowników zamiast do analizy wydatków na AI. Poniższa tabela pokazuje, jak to wyglądało w przypadku każdej z nich.

FirmaMechanizmCo stało się później
ShopifyPierwszy znany ranking tokenów, wykorzystywany do identyfikacji użytkowników o wysokich wydatkachNazwano to „pulpitem użytkowania”, dodając mechanizmy zabezpieczające przed niekontrolowanym działaniem agentów
Meta„Claudeonomics” – stworzony przez pracowników ranking 250 najlepszych spośród ponad 85 000 pracowników, z tytułami takimi jak „Token Legend”60. 2 biliony tokenów w ciągu 30 dni; serwis został zamknięty w ciągu kilku dni od pojawienia się informacji w mediach
AmazonKirorank – nieoficjalna tabela wyników oceniająca aktywność programistów w serwisie Kiro AI, w której nagrodami są odznaki PhoneToolPracownicy zlecali agentom błahostkowe i zmyślone zadania, w wyniku czego ranking został zniesiony
UberBrak tabeli wyników; Claude Code został udostępniony około 5 000 inżynieromRoczny budżet na AI wyczerpał się w ciągu czterech miesięcy, po czym wprowadzono limit 1 500 dolarów miesięcznie na każde narzędzie
WalmartCode Puppy – wewnętrzny agent AI z początkowo nieograniczoną liczbą tokenówUstalono stały limit tokenów na pracownika po tym, jak powtarzające się wnioski spowodowały wzrost kosztów

Wzorzec widoczny w tej tabeli jest spójny. Organizacje, które wykorzystywały dane dotyczące tokenów do analizy wysokich wydatków, zachowały użyteczny sygnał. Inne, które wykorzystywały je do klasyfikowania pracowników, utraciły ten sygnał w ciągu jednego kwartału.

W jaki sposób inżynierowie zawyżali swoje zużycie tokenów?

Inżynierowie zawyżali swoje zużycie tokenów, generując kosztowne działania związane ze sztuczną inteligencją, których nigdy nie planowali wdrożyć. Serwis „The Pragmatic Engineer” opisał takie zachowania w firmach Meta, Microsoft i Salesforce oraz zidentyfikował cztery typowe taktyki. Żadna z nich nie wynikała ze złych intencji. Ludzie po prostu widzieli widoczną liczbę, martwili się o zwolnienia i zakładali, że intensywne korzystanie z AI zapewni im ochronę:

  • Zadawanie agentowi niepotrzebnych pytań: Inżynierowie pytali AI o kod, który był już udokumentowany. Model przeglądał dokumentację i zwracał powtarzające się oraz błędne odpowiedzi, zużywając przy tym dużą liczbę tokenów
  • Tworzenie prototypów jednorazowego użytku: Stworzyli funkcje, z których nigdy nie zamierzali korzystać, otrzymali kilka podpowiedzi, a następnie usunęli branch
  • Wykorzystywanie agenta do wszystkiego: Powierzali AI zadania, które sami mogliby wykonać szybciej ręcznie, tylko po to, by zwiększyć jej wykorzystanie
  • Uruchamianie równoległych agentów: Skonfigurowano wiele agentów, aby wzajemnie weryfikowały i omawiały swoją pracę, co generowało obszerne logi, ale nie przyniosło działającego oprogramowania

Wielu inżynierów sprawdzało, ile wydają ich koledzy. Następnie zużywali tyle, by plasować się nieco powyżej średniej. Bardziej niż zajęcie pierwszego miejsca zależało im na tym, by nie zostać oznaczonymi jako osoby niewykorzystujące AI w wystarczającym stopniu.

W firmie Amazon pracownicy przydzielali agentom AI błahostkowe i zmyślone zadania, aby podnieść swoje wyniki w rankingu Kirorank. Spowodowało to wzrost kosztów chmury obliczeniowej bez generowania żadnych korzyści biznesowych. Kiedy Amazon wycofał tabelę wyników, wiceprezes Dave Treadwell powiedział pracownikom, że została ona stworzona w dobrych intencjach. Następnie poprosił wprost: „Proszę, nie używajcie sztucznej inteligencji tylko dla samego jej używania.”

W ramach tej zmiany Amazon przeprowadza obecnie śledzenie, czy kod generowany przez AI działa i przynosi wartość. Zużycie tokenów nie jest dla firmy priorytetem.

Ile kosztowało firmy zjawisko „tokenmaxxingu”?

Tokenmaxxing prawdopodobnie kosztował firmę Meta ponad 100 milionów dolarów w ciągu jednego miesiąca, a roczny budżet Ubera przeznaczony na AI wyczerpał się w ciągu czterech miesięcy. Szacunki firmy Meta wynikają z prostej arytmetyki. Według cennika API serwisu Claude Opus (w momencie pojawienia się wiadomości) 60,2 biliona tokenów kosztowałoby około 900 milionów dolarów. Firma wielkości Meta negocjuje znaczne rabaty, ale nawet w takim przypadku rachunek mógłby sięgać dziewięciu cyfr.

Najbardziej przejrzysty obraz kosztów daje przykład Ubera, ponieważ firma ta nigdy nie prowadziła rankingu. Firma udostępniła około 5 000 inżynierom narzędzia do programowania agentycznego bez modelu rozliczeniowego. W ciągu miesiąca odsetek inżynierów sklasyfikowanych jako użytkownicy agentyczni wzrósł z 32% do 84%. Cały roczny budżet wyczerpał się w ciągu czterech miesięcy.

Dyrektor ds. technologii, Praveen Neppalli Naga, przyznał, że firma „wróciła do punktu wyjścia” w kwestii swoich założeń. Zakres miesięcznych rachunków wynosił od 500 do 2 000 dolarów na inżyniera, a rozwiązanie było bezkompromisowe: miesięczny limit 1 500 dolarów na narzędzie programistyczne na inżyniera.

Kiedy inżynierowie wykonujący podobną pracę wydają tak różne kwoty, ta rozbieżność wskazuje, że nikt nie zdefiniował, jak powinno wyglądać właściwe wykorzystanie. Dlatego każdy inżynier stworzył własną definicję. Dyrektor operacyjny Ubera, Andrew Macdonald, przyznał to w rozmowie z magazynem „Fortune”, mówiąc, że „bardzo trudno jest wyznaczyć granicę” między kodem tworzonym przy pomocy AI a faktycznie wdrażanymi, użytecznymi funkcjami.

Raport LeadDev dotyczący wpływu AI wykazał, że tylko 19% liderów inżynierii udzielili oceny tokenmaxxing jako skutecznego. 57% z nich twierdzi, że nie pozwala on ocenić rzeczywistej wartości.

Oto dlaczego pieniądze krążą tak szybko: agent planujący zmianę w kodzie odczytuje repozytorium, uruchamia narzędzia, przeprowadza testy i powtarza próby, aż osiągnie sukces. Pojedyncza pętla może zużyć dziesiątki tysięcy tokenów, a odczyty z pamięci podręcznej podpowiedzi jeszcze bardziej zwiększają tę liczbę.

Zespoły finansowe planowały budżet na sztuczną inteligencję tak, jakby była to licencja na stanowisko użytkownika. W rzeczywistości jednak działa ona jak moc obliczeniowa w chmurze. Ta sama luka księgowa pojawia się, gdy zespoły tworzą stos rozwiązań AI z wykorzystaniem kilku dostawców, nie przypisując nikomu własności rachunku. Jest to ten sam rodzaj niepowodzenia, co niekontrolowane rozrost narzędzi, ale o jeden poziom wyżej.

Czym jest „tokenminning”?

Tokenminning to praktyka polegająca na minimalizowaniu zużycia tokenów AI, której celem jest jak najniższe zużycie. Jak wspomnieliśmy we wstępie, jest to nadmierna korekta, która przynosi równie słabe wyniki. Nazwa ta jest skrótem od „token minimizing” i pojawiła się jako odpowiedź na tokenmaxxing. „The New York Times” poinformował o tej zmianie w kilku firmach.

Meta poinformowała pracowników, że ograniczy korzystanie z AI po „gwałtownym wzroście” kosztów. Uber wprowadził limit miesięcznych wydatków, Walmart ustalił limity korzystania z narzędzi, a zarówno Amazon, jak i Meta usunęły swoje rankingi. W ciągu kilku tygodni te same firmy, które wcześniej chwaliły się swoimi największymi użytkownikami AI, uczyły wszystkich oszczędzania.

Ta korekta powtarza błąd, który miała naprawić. Najlepiej wyjaśnia to prawo Goodharta : kiedy miara staje się celem, przestaje być dobrą miarą. Jeśli więc ustawisz wykorzystanie tokenów AI jako cel, ludzie znajdą sposoby na optymalizację pod kątem tego wskaźnika, nawet kosztem podważenia pierwotnego zamysłu. Prawo Goodharta ostrzega przed „tokenmaxxingiem” i „tokenminningiem”.

Nagradzaj zespół za spalanie tokenów, a będzie on spalał tokeny, których nie potrzebuje. Nagradzaj zespół za oszczędzanie tokenów, a pominie on uruchomienie AI, które wykryłoby błąd. Albo podzieli jedną dokładną sesję na trzy tańsze, z których każda da mniej szczegółową odpowiedź. Oba zespoły osiągną swoje cele w zakresie wykorzystania tokenów, podczas gdy jakość rzeczywistej pracy ulegnie pogorszeniu.

Sama kontrola kosztów nie jest błędem. Podobnie jak w przypadku Ubera, miesięczny limit w wysokości 1 500 dolarów to decyzja budżetowa podjęta po tym, jak firma wyczerpała roczny budżet w ciągu czterech miesięcy. Jednak ustawienie limitu wydatków rozwiązuje jedynie problem finansowy. Nie odpowiada na pytanie, czy zakupione tokeny przyniosły jakąkolwiek korzyść.

Rozwiązaniem jest rozróżnienie dwóch rodzajów wskaźników: sygnałów, na które zwracasz uwagę, oraz wyników, do których dążysz. Wykorzystanie tokenów, wskaźnik adopcji oraz udział kodu napisanego przez AI to sygnały pokazujące, co dzieje się wewnątrz systemu. Są one przydatne podczas analizowania problemu, ale nie nadają się na cele. Każdy z nich może bowiem ulec znacznej zmianie, a klient nie zauważy żadnej różnicy.

Organizacja powinna zamiast tego skupić się na wynikach. Działa to na tej samej zasadzie, co każdy dobrze skonstruowany zestaw wskaźników KPI w rozwoju oprogramowania: należy nawiązać połączenie między wczesnym sygnałem a wynikiem, który ma on przewidywać. Szablonem jest pulpit nawigacyjny Shopify dotyczący konwersji: te same dane, ale nie jest to załącznik do żadnej rankingowej pozycji.

Neil Dhar, starszy wiceprezes IBM Consulting, opisał w eseju poświęconym kosztom AI, w jaki sposób rozprzestrzenia się to zamieszanie.

#Tokenmaxxing ostatnio pojawia się we wszystkich nagłówkach. Dążenie organizacji do jak najszybszego i jak najszerszego wykorzystania AI, traktując to wykorzystanie jako wskaźnik wartości. Teraz nadszedł czas zapłaty. Ponieważ koszty AI przewyższają zyski, naturalną reakcją jest cięcie wydatków. Jednak samo ograniczenie wydatków nie rozwiąże podstawowego problemu związanego ze zwrotem z inwestycji.

#Tokenmaxxing ostatnio pojawia się we wszystkich nagłówkach. Chodzi o dążenie organizacji do jak najszybszego i jak najszerszego wykorzystania AI, traktując to wykorzystanie jako wskaźnik wartości. Teraz nadszedł czas rozliczenia. Ponieważ koszty AI przewyższają zyski, naturalną reakcją jest cięcie wydatków. Jednak samo ograniczenie wydatków nie rozwiąże podstawowego problemu związanego ze zwrotem z inwestycji.

Według IBM rozwiązaniem jest traktowanie wykorzystania jako sygnału i powiązanie go z wynikiem, którego nie da się sfałszować.

Czy większe wykorzystanie tokenów oznacza wyższą wydajność?

Nie, wysokie wykorzystanie tokenów nie oznacza wysokiej wydajności. Największe dostępne zbiory danych pokazują, że te dwa czynniki zmieniają się niezależnie od siebie. Badania przeprowadzone przez platformę analityczną dla programistów DX wykazały, że wdrażanie AI zbliża się do nasycenia, podczas gdy zmierzone wzrosty wydajności pozostają na niezmienionym poziomie.

Dyrektor ds. technologii w DX, Laura Tacho, udostępniła dane. Wśród programistów 92,6% korzysta obecnie z asystenta programistycznego opartego na AI co najmniej raz w miesiącu, a około 75% korzysta z niego co tydzień. AI pisze 26,9% kodu produkcyjnego. Jednak deklarowana przez użytkowników oszczędność czasu utrzymuje się na poziomie około czterech godzin tygodniowo od ponad roku. A początkowy 10-procentowy wzrost wydajności nigdy nie wzrósł.

Wykorzystanie stale rosło, podczas gdy wyniki pozostawały na niezmiennym poziomie. Każdy wskaźnik, który prowadzi śledzenie wyłącznie wykorzystania, dokonywał raportowania sukcesu, który nigdy nie miał miejsca.

Raport DORA firmy Google Cloud wyjaśnia, dlaczego te same narzędzia dają tak różne wyniki. Stwierdzono w nim, że wdrożenie sztucznej inteligencji poprawiło szybkość dostarczania, ale pogorszyło jego stabilność. Raport opisuje sztuczną inteligencję jako wzmacniacz: potęguje ona mocne strony dobrze zarządzanych organizacji i słabe strony tych, które borykają się z trudnościami.

Własne dane DX pokazują działanie tego wzmacniacza. W grupie 67 000 programistów niektóre organizacje odnotowały podwojenie liczby incydentów dotyczących klientów, podczas gdy inne zmniejszyły je o połowę, korzystając z tych samych narzędzi w tym samym okresie. Tacho przypisuje odpowiedzialność tam, gdzie wskazują na to dane:

To tak naprawdę problem zarządzania. Szum medialny sprawił, że wydawało się, jakby samo wypróbowanie AI automatycznie się opłacało. Jednak jak dotąd większość narzędzi była wykorzystywana do pojedynczych zadań programistycznych. Aby dostrzec rzeczywisty wpływ, musimy wykorzystywać AI na poziomie organizacyjnym, a nie tylko do pojedynczych zadań.

To tak naprawdę problem zarządzania. Szum medialny sprawił, że wydawało się, jakby samo wypróbowanie AI automatycznie się opłacało. Jednak jak dotąd większość narzędzi była wykorzystywana do pojedynczych zadań programistycznych. Aby dostrzec rzeczywisty wpływ, musimy wykorzystywać AI na poziomie organizacyjnym, a nie tylko do pojedynczych zadań.

Pod pierwszym problemem kryje się drugi: ludzie błędnie oceniają stopień przyspieszenia pracy przez AI. Laboratorium badawcze METR, działające jako organizacja non-profit, przeprowadziło randomizowane badanie kontrolowane. 16 doświadczonych programistów open source rozwiązało 246 rzeczywistych problemów w repozytoriach, które utrzymywali średnio od pięciu lat. Przed rozpoczęciem programiści przewidywali, że AI przyspieszy ich pracę o 24%. Po zakończeniu oszacowali, że AI przyspieszyła ją o około 20%. Stoper wykazał jednak, że pracowali o 19% wolniej.

Pod pierwszym problemem kryje się drugi: ludzie błędnie oceniają stopień przyspieszenia pracy przez AI. Laboratorium badawcze METR, działające jako organizacja non-profit, przeprowadziło losowe badanie kontrolowane. 16 doświadczonych programistów open source rozwiązało 246 rzeczywistych problemów w repozytoriach, które utrzymywali średnio od pięciu lat. Przed rozpoczęciem programiści przewidywali, że AI przyspieszy ich pracę o 24%. Po zakończeniu oszacowali, że przyspieszyła ją o około 20%. Stoper wykazał jednak, że pracowali o 19% wolniej.

W kolejnej aktualizacji laboratorium wyjaśniło, że w kolejnym eksperymencie napotkało efekty selekcji, których nie udało się skorygować. Stwierdzono również, że programiści prawdopodobnie rzeczywiście pracują teraz szybciej dzięki AI, głównie dzięki narzędziom opartym na agentach. Co pozostaje faktem: deklarowana przez samych użytkowników wydajność nie zastępuje wydajności zmierzonej, a różnica między nimi może wychodzić w obu kierunkach.

Co należy mierzyć zamiast wykorzystania tokenów?

Zamiast skupiać się na wykorzystaniu tokenów, mierz wyniki na poziomie zespołu, a następnie całej organizacji. Traktuj wykorzystanie tokenów jako sygnał kosztowy, na podstawie którego nikt nie jest oceniany. Liczą się osiągnięte wyniki.

Jedna praktyczna zasada, którą warto stosować: każdy publikowany sygnał należy powiązać z wynikiem, którego nie da się zawyżyć. Zespół może spalać tokeny, nie dostarczając przy tym żadnego produktu. Nie może jednak sfałszować spadku wskaźnika niepowodzeń zmian.

WskaźnikTypJak z tego korzystać
Liczba tokenów zużytych przez każdy zespółSygnałUważaj na gwałtowne wzrosty kosztów i niekontrolowane pętle agentów; nigdy nie oceniaj na tej podstawie poszczególnych osób
Wskaźnik wdrażania narzędzi AISygnałUpewnij się, że wdrożenie dotarło do odbiorców, a potem przestań się tym zajmować
Odsetek kodu napisanego przez AISygnałKontekst planowania obciążenia w zakresie przeglądu kodu
Zmiana wskaźnika awaryjnościWynikPorównaj to z wszelkimi deklarowanymi wzrostami prędkości; problemy ujawniają się właśnie tutaj jako pierwsze
Scalone pull requests w podziale na zespołyWynikDotyczy wyłącznie poziomu zespołu, zawsze zrównoważone wskaźnikiem jakości
Wskaźnik satysfakcji programistówWynikWykrywa szkody kulturowe, zanim ludzie zaczną odchodzić
Odsetek czasu poświęconego na nowe funkcjeWynikPołącza wysiłek inżynieryjny z wartością biznesową

Struktura ta wywodzi się z ram pomiarowych, którym liderzy inżynierii już ufają. DORA obejmuje szybkość dostarczania i stabilność, a jej ustalenie, że AI wzmacnia obie te cechy, jest powodem, dla którego połączenie tych elementów ma znaczenie.

DX Core 4 mierzy cztery wymiary: szybkość, skuteczność, jakość i wpływ na biznes. Abi Noda i Laura Tacho opracowały go wspólnie z Nicole Forsgren i Margaret-Anne Storey, badaczkami stojącymi za projektami DORA, SPACE i DevEx. Te cztery wymiary celowo wzajemnie się wykluczają.

Zespół, który poprawia jeden wskaźnik kosztem drugiego, od razu ujawnia ten kompromis. Żadna z tych platform nie zawiera wskaźnika dotyczącego tokenów i żadna z nich go nie dodała.

Trzy zasady sprawiają, że połączenie to sprawdza się w praktyce:

  1. Zawsze agreguj dane na poziomie zespołu. Gdy sygnał jest powiązany z konkretną osobą, staje się ona celem, a era rankingów powraca w ciągu jednego sprintu. Zespoły potrafią zniwelować różnice w sposobie korzystania z AI przez poszczególnych członków. Poszczególne osoby będą natomiast zarządzać samymi liczbami
  2. Nigdy nie pokazuj sygnału bez powiązanego z nim wyniku w tym samym widoku. Pulpit nawigacyjny, który wyświetla wyłącznie wydatki na tokeny, zachęca do optymalizacji. Wydatki na tokeny obok wskaźnika niepowodzeń zmian skłaniają do zadania lepszego pytania: czy te wydatki przynoszą efekty?
  3. Sygnały te należy całkowicie wykluczyć z ocen wyników pracy . Gdy wskaźnik wykorzystania ma wpływ na wynagrodzenie lub promocję, zaczyna obowiązywać prawo Goodharta, niezależnie od tego, w którą stronę zmierza zachęta. Dane dotyczące wykorzystania należy wykorzystywać do analizy, a nie do oceny indywidualnych zasług.

Jak ustalić zasady korzystania z AI, których pracownicy nie będą obchodzić?

Aby ustalić zasady korzystania z AI, których pracownicy nie będą manipulować, usuń wszystkie widoczne liczby z indywidualnych wyników i podejmij pięć decyzji:

1. Zanim zaczniesz gromadzić dane, zdecyduj, do czego ta liczba ma służyć

Każdy wskaźnik w polityce wymaga sformułowania celu na piśmie przed opublikowaniem pierwszego pulpitu nawigacyjnego. Tabela wyników Shopify sprawdzała się w początkowej fazie. Kierownictwo wykorzystywało ją do nawiązywania rozmów z osobami generującymi wysokie wydatki na temat tego, co tworzyły. Liczba ta stała się punktem wyjścia do analizy. Gdy tylko ta sama liczba zamyka proces, wyciągając wnioski na temat osoby zamiast zadawać pytania dotyczące jej pracy, staje się oceną. A ocenami się zarządza.

Zapisz trzy rzeczy dla każdego wskaźnika:

  • Wyzwalacz: Jaka zmiana w wydatkach na tokeny daje podpowiedź do podjęcia działań (trzykrotny wzrost w ujęciu tygodniowym lub podwojenie przez zespół wartości bazowej)?
  • Działanie: Kto o co pyta i kogo („dyrektor wykonawczy pyta zespół, nad czym pracują”, a nie „raport trafia do wiceprezesa”)
  • Brak działania: Do czego ta liczba nigdy nie zostanie wykorzystana – powiedziane równie wyraźnie

Linia „braku działania” wymaga najwięcej pracy, ponieważ pracownicy sprawdzają zgodność z polityką właśnie w oparciu o nią. Jeśli szczera odpowiedź na pytanie „co się stanie, gdy wydatki gwałtownie wzrosną” wiąże się z pozycją kogokolwiek, oznacza to, że stworzyłeś ranking z dodatkowymi krokami.

2. Ustaw budżet na poziomie zespołu

Wspólna pula budżetowa dla zespołu zastępuje limit na osobę, a różnica ma charakter behawioralny, a nie księgowy. Różnica w miesięcznych wydatkach inżynierów Ubera wykonujących porównywalną pracę, wynosząca od 500 do 2000 dolarów, pokazuje, co się dzieje bez wspólnego punktu odniesienia. Każdy sam wymyśla własną definicję tego, co jest rozsądne. Pule budżetowe działają tak samo, jak każdy inny wysiłek mający na celu zebranie rozproszonych wydatków na AI w jednym, podlegającym rozliczeniu miejscu.

Ta kwota pozwala uzyskać trzy rzeczy, których nie zapewnia limit na osobę:

  • Elastyczność: Naprawdę kosztowna migracja może pochłonąć więcej zasobów w tym miesiącu, podczas gdy rutynowy sprint zużywa mniej
  • Bezpieczeństwo psychologiczne: Nikt nie traktuje własnego elementu w zestawieniu jako oceny wyników, ponieważ nie ma tam elementu z jego imieniem i nazwiskiem
  • Samokontrola: Niekontrolowane wydatki są wychwytywane przez sam zespół, ponieważ budżet jest udostępniany i widoczny dla wszystkich jego członków

Określ wielkość pierwszej koperty na podstawie danych obserwacyjnych. Weź średnią z ostatnich trzech miesięcy zespołu i dodaj rezerwę na jeden kosztowny projekt. Koperta ustalona na podstawie domysłów zostaje przekroczona już w drugim tygodniu, co uświadamia wszystkim, że ta zasada ma charakter wyłącznie symboliczny.

3. Uwidoczni widoczność drogi, która wiąże się z wysokimi kosztami

Pokaż inżynierom koszt każdego uruchomienia zamiast nakładać ograniczenia na to, ile mogą wydać. Uruchomienia typu „agentycznego”, które powtarzają się w pętli po nieudanych testach, są przyczyną wyczerpywania się budżetów, co sprawia, że twarde ograniczenia stają się priorytetem. Inną opcją jest ujawnianie kosztu każdego uruchomienia inżynierowi, który jest jego wyzwalaczem, bez raportowania tego wyżej.

Inżynier, który obserwuje, jak pętla ponownych prób pochłania 40 dolarów, naprawi tę pętlę. Z drugiej strony inżynier, który obawia się raportu, całkowicie zaprzestanie korzystania z agenta – nawet w sytuacjach, w których kosztowne uruchomienie było słusznym posunięciem.

Mechanizmy zabezpieczające Shopify działają w następujący sposób: system wykrywa anomalię, a osoba najbliżej związana z danym zadaniem decyduje, co należy zrobić. Widoczność zmienia zachowanie szybciej niż ograniczenie, a także pozwala na utrzymanie kosztownego, ale prawidłowego przebiegu operacji, gdy zadanie uzasadnia ten wydatek.

4. Oddziel cel wdrożenia AI od oceny wyników

Utrwal to na piśmie, ponieważ ustne zapewnienia nie przetrwają cyklu zwolnień. Inżynier z Microsoftu, który opisał zawyżanie własnych wskaźników wykorzystania w serwisie „The Pragmatic Engineer”, nie dążył do zdobycia nagrody. Chciał uniknąć etykiety w roku zwolnień związanych z AI.

Jeśli ludzie uwierzą, że dane dotyczące wykorzystania trafiają na spotkanie kalibracyjne, będą dbać o te dane, bez względu na to, co ktokolwiek głośno powie.

Tekst reguły musi składać się dokładnie z dwóch wierszy:

  • Czy dane dotyczące wykorzystania mogą pojawiać się w rozmowach dotyczących wyników (tak lub nie, a nie „w zależności od kontekstu”)
  • Dokąd trafiają dane, aby nikt nie wypełniał ciszy jeszcze gorszymi przypuszczeniami

Następnie uwzględnij oba te aspekty. Pierwszy inżynier, który podczas przeglądu zauważy pojawienie się danych dotyczących wykorzystania, poinformuje o tym wszystkich, udowadniając tym samym, że ten wskaźnik jest zbędny.

5. Co kwartał weryfikuj pary walutowe

Co kwartał sprawdzaj, czy każda diagnoza nadal wyjaśnia wynik, z którym jest powiązana. Ceny modeli, zachowanie związane z buforowaniem oraz architektura agentów zmieniają się szybciej niż roczny cykl planowania.

Sposób, w jaki zespoły wykorzystują AI do planowania i raportowania, nieustannie się zmienia. Liczba tokenów, która w styczniu miała jedno znaczenie, w czerwcu – po dwóch obniżkach cen i aktualizacji agenta – oznacza już coś zupełnie innego.

Przegląd przedstawia rzetelne wyniki dla poszczególnych wskaźników: czy nadal przewidują one wynik pary walut, czy wymagają ponownej kalibracji w oparciu o nowe ceny, czy też przestały cokolwiek wyjaśniać i zostają wycofane bez zbędnych ceregieli. Zespoły najbardziej opierają się wycofaniu wskaźników. Jest to jednak ważna kwestia, ponieważ wskaźnik, który przestał mieć znaczenie, jest dokładnie tym rodzajem liczby, na której zbudowano erę rankingów.

Typowe błędy popełniane przez zespoły podczas pomiaru stopnia wdrożenia AI

Cztery najczęstsze błędy to traktowanie wdrożenia jako mety, poleganie na deklarowanych przez użytkowników oszczędnościach czasu, publikowanie indywidualnych rankingów oraz mierzenie szybkości bez uwzględnienia stabilności. Każdy z nich można wykryć, zanim spowoduje wysokie koszty.

1. Traktowanie wdrożenia jako mety

Wskaźnik wdrożenia wskazuje 90%, kierownictwo ogłasza, że inicjatywa związana ze sztuczną inteligencją jest zakończona, a nikt nie pyta, co zmieniło się na dalszych etapach. Dane DX ujawniły tę pułapkę na dużą skalę: wskaźnik wdrożenia wyniósł 92,6%, a wydajność utrzymała się na stałym poziomie 10%. Wskaźnik wdrożenia potwierdza jedynie, że narzędzia dotarły do użytkowników. Nie mówi nic o tym, co te narzędzia zmieniły.

Rozwiązanie: Po zakończeniu wdrażania wycofaj wykres adopcji i zastąp go parami sygnałów i wyników.

2. Wiara w deklarowane przez samych użytkowników oszczędności czasu w procesie raportowania

Z ankiety wynika, że zespół oszczędza pięć godzin tygodniowo, ale czas cyklu nie zmienił się od dwóch kwartałów. Wersja próbna przeprowadzona przez METR pokazuje, dlaczego te dwie wartości się rozchodzą: programiści, którzy pracowali zauważalnie wolniej z wykorzystaniem AI, nadal szacowali, że po jej wdrożeniu prędkość pracy wzrosła o 20%. To, w co wierzą ludzie, a to, co rejestruje zegar, to dwie różne miary.

Rozwiązanie: Zachowaj ankietę dotyczącą doświadczeń programistów, gdzie liczy się postrzeganie. Wykorzystuj dane systemowe do wszelkich stwierdzeń dotyczących czasu.

3. Publikowanie indywidualnej tabeli wyników wyłącznie dla zabawy

Ktoś tworzy to na wewnętrznej wiki w jedno popołudnie, nadaje temu zabawne tytuly, a zespół naprawdę dobrze się tym bawi przez około trzy tygodnie. Potem jednak na pierwszy plan wysuwa się chęć zysku. Zarówno „Claudeonomics” firmy Meta, jak i „Kirorank” Amazona zaczęły się jako oddolna zabawa. Obie firmy zrezygnowały z nich, gdy element gry przestał budzić entuzjazm.

Rozwiązanie: Zagreguj dane na poziomie zespołu albo w ogóle ich nie wysyłaj.

4. Pomiar szybkości bez uwzględnienia stabilności

Wydajność rośnie, wszyscy świętują, a liczba incydentów wzrasta na pulpicie nawigacyjnym innego zespołu. Raport DORA wskazał właśnie na ten rozdźwięk: prędkość rośnie, a stabilność spada. Umieszczenie tych dwóch wskaźników na oddzielnych pulpitach nawigacyjnych sprawia, że problem pozostaje niewidoczny.

Rozwiązanie: Umieść wskaźnik awaryjności zmian na tym samym ekranie co wszelkie wskaźniki szybkości, a nie w oddzielnym raporcie dotyczącym niezawodności, do którego nikt nie odwołuje się.

Jak śledzić wpływ AI w ClickUp

Wizualizuj złożone dane za pomocą pulpitów nawigacyjnych ClickUp i poproś ClickUp Brain, aby je dla Ciebie zinterpretował
Wizualizuj złożone dane za pomocą pulpitów nawigacyjnych ClickUp i poproś ClickUp Brain, aby je dla Ciebie zinterpretował

Aby śledzić wpływ sztucznej inteligencji w ClickUp, mierz wyniki w kontekście samej pracy: zadań, sprintów i wyników, które sztuczna inteligencja miała przyspieszyć. Większość pulpitów nawigacyjnych dotyczących tokenów znajduje się w konsoli dostawcy, z dala od pracy, którą opisują. Przeniesienie wskaźników wyników do obszaru roboczego ClickUp pozwala wypełnić tę lukę.

Powiązanie sygnału i wyniku z wcześniejszych map odnosi się bezpośrednio do platformy:

  • Zobacz szybkość i jakość na jednym ekranie. Stwórz widok w ClickUp Dashboards, w którym obok listy zadań przefiltrowanej pod kątem poprawek i usuwania błędów znajdują się karty prędkości sprintu, czasu cyklu i przepływu skumulowanego. Deklarowany wzrost szybkości i związany z nim koszt jakości nie są już oddzielnymi raportami – zgodnie z zasadą łączenia w praktyce.
  • Porównaj pracę wspomaganą przez AI z pozostałymi zadaniami. Dodaj listę rozwijaną w sekcji „Pola niestandardowe”, która oznaczy zadania jako „wspomagane przez AI”. Następnie porównaj czas cyklu i wskaźniki poprawek między tymi dwiema grupami. W ten sposób uzyskasz dowody, których nie dostarczy żadna konsola rozliczeniowa, ponieważ konsola ta zna jedynie kwoty wydatków, a nie wyniki dostarczonych usług.
  • Zweryfikuj deklaracje dotyczące oszczędności czasu, porównując je z zarejestrowanym czasem. Porównaj szacowany czas z rzeczywistym czasem zarejestrowanym dla poszczególnych zadań i zestaw oba wyniki w karcie czasu pracy lub karcie raportowania czasu na tym samym pulpicie nawigacyjnym. Jeśli AI rzeczywiście przyspiesza cykl pracy, czas zarejestrowany dla porównywalnych zadań ulegnie skróceniu. Jeśli tylko wydaje się, że praca przebiega szybciej, liczby to potwierdzą.
  • Zdobądź odpowiedzi bezpośrednio z pracy, zamiast tworzyć raporty. Zadaj ClickUp Brain – kontekstowej sztucznej inteligencji w obszarze roboczym ClickUp – pytanie typu: „Które projekty opóźniły się po zmianie procesu weryfikacji?”. Odpowiedź zostanie wygenerowana na podstawie aktualnych zadań, pulpitów nawigacyjnych, dokumentów, czatów i połączonych aplikacji, a nie na podstawie kwartalnej prezentacji.
  • Zintegruj agenta i wynik w jednym systemie. Zespoły korzystające z agentów AI do rutynowych zadań operacyjnych mogą uruchamiać Super Agentów w obrębie obszaru roboczego. Wspomagani przez sztuczną inteligencję członkowie zespołu aktualizują statusy, publikują działania następcze i sporządzają raporty z postępów zgodnie z harmonogramem lub na żądanie. Praca agenta oraz informacja o tym, czy okazała się pomocna, znajdują się w jednym miejscu, co eliminuje konieczność uzgadniania danych.

Jeśli Twój zespół wdraża agentów, poniżej pokazano, jak stworzyć agenta z określonym zadaniem:

Obserwuj liczbę tokenów bez oceniania osób, które je wykorzystują

Cała historia sprowadza się do jednej zasady: wykorzystuj dane dotyczące tokenów do zadawania pytań, a nie do oceniania ludzi. Shopify zadało pytanie „co tworzą nasi najwięksi wydawcy?” i odkryło niekontrolowanych agentów oraz błędy w infrastrukturze. Meta i Amazon zapytały „kto najczęściej korzysta z AI?” i otrzymały fałszywe zadania, zmarnowały miliony oraz bezużyteczne rankingi.

W tym kwartale zrób więc trzy rzeczy. Przenieś śledzenie tokenów na poziom zespołu i usuń wszystko, co zawiera imię i nazwisko konkretnej osoby. Zapisz w polityce, że dane dotyczące wykorzystania nigdy nie mają wpływu na ocenę wyników. I umieść jeden wskaźnik jakości (najłatwiejszy to wskaźnik zmian w liczbie niepowodzeń) na tym samym ekranie, co wszystkie wskaźniki szybkości, które raportujesz.

Jeśli chcesz, aby ten ekran znajdował się tuż obok rzeczywistej pracy, a nie w oddzielnym narzędziu do raportowania, zacznij korzystać z ClickUp za darmo i stwórz pulpit nawigacyjny, zanim będzie Ci potrzebny.

Najczęściej zadawane pytania dotyczące tokenmaxxingu (FAQ)

Czym jest zasada 30% w tokenmaxxingu?

Nie ma oficjalnej „zasady 30%” odnoszącej się konkretnie do tokenmaxxingu. Termin ten jest zazwyczaj skrótem od dwóch odrębnych spostrzeżeń, które ludzie łączą w jedno: po pierwsze, AI zazwyczaj podnosi mierzoną wydajność inżynierów o około 10%, a nie 30%, a po drugie, programiści rutynowo przewidują wzrosty rzędu 20–30%, które się nie materializują. Każdy stały procent należy traktować jako wskazówkę do zbadania, a nigdy jako cel do osiągnięcia.

Milion tokenów to w przybliżeniu 750 000 słów tekstu w języku angielskim, ponieważ jeden token odpowiada średnio około trzech czwartych słowa. Koszt zależy wyłącznie od modelu oraz podziału na dane wejściowe i wyjściowe. Przy stawkach za modele typu frontier z 2026 r. zakres kosztu wynosi od kilku dolarów do kilkudziesięciu dolarów za milion. Sesje typu „agentyczne” szybko zużywają miliony tokenów, ponieważ każda pętla ponownie odczytuje kontekst, a odczyty z pamięci podręcznej podpowiedzi zwiększają liczbę tokenów.

Termin „tokenmaxxing” łączy słowo „token” z internetowym przyrostkiem „-maxxing”, oznaczającym maksymalizację danej cechy. Rozpowszechnił się on w kręgach inżynierów na początku 2026 r. po tym, jak do prasy wyciekły informacje o wewnętrznych rankingach tokenów w firmach Meta i Amazon. W kwietniu 2026 r. serwis Business Insider nazwał to zjawisko „nową debatą na temat AI w Dolinie Krzemowej ”. Publiczne rankingi, takie jak Viberank i tokenmaxxing.sh, przyjęły następnie tę etykietę, klasyfikując poszczególnych programistów na całym świecie według nakładów na API.

W dużej mierze tak. Magazyn „Fortune” ogłosił koniec tokenmaxxingu w maju 2026 r. po tym, jak Meta, Amazon, Microsoft i Uber wycofały się z prowadzenia rankingów tokenowych lub całkowicie je zlikwidowały. Raport LeadDev dotyczący wpływu sztucznej inteligencji wykazał, że tylko 19% respondentów oceniają tokenmaxxing jako skuteczny sposób pomiaru wartości sztucznej inteligencji, a 57% twierdzą, że jest on całkowicie nieskuteczny. Amatorskie publiczne rankingi nadal istnieją, ale jako gra, a nie praktyka zarządzania.

Nie ma ustalonego punktu odniesienia. W przypadku wdrożenia w firmie Uber zakres miesięcznych rachunków wynosił od 500 do 2 000 dolarów na inżyniera, zanim firma ograniczyła wydatki do 1 500 dolarów na narzędzie. Dyrektor generalny Nvidii, Jensen Huang, twierdził, że inżynier zarabiający 500 000 dolarów powinien zużywać rocznie tokeny o wartości 250 000 dolarów, ale jest to najprawdopodobniej prowokacja, a nie standard. Wyniki badań wskazują na duże zróżnicowanie w przypadku porównywalnych zadań, co oznacza, że nikt nie zdefiniował, jak powinno wyglądać właściwe wykorzystanie.

Programowanie typu „vibe coding” to sposób pracy: delegowanie wdrażania na agenta AI i kierowanie procesem na podstawie wyników. „Tokenmaxxing” to sposób pomiaru: traktowanie zużywanych tokenów jako dowodu wydajności. Można programować w stylu „vibe coding” efektywnie lub marnotrawnie; „tokenmaxxing” nagradza wersję marnotrawną, ponieważ liczy się wyłącznie zużycie. Firmy, które wprowadziły limity tokenów, aby powstrzymać „tokenmaxxing”, często karały przy tym uzasadnioną pracę agentów.