Wskaźniki wydajności AI: ponad 50 wskaźników KPI do pomiaru efektywności opartej na AI

Większość studiów przypadków dotyczących AI w przedsiębiorstwach wygląda tak samo. Prezentacja jest świetna, wykres wdrożenia rośnie w górę, w górę, w górę, a potem ktoś zadaje pytanie, które może sprawić, że w sali zapadnie cisza: co się zmieniło w rachunku zysków i strat?

Firma konsultingowa Roland Berger oszacowała skalę tego milczenia. W ramach badania The AI Value Gap przeprowadzono ankietę wśród 203 członków kadry kierowniczej wyższego szczebla w Europie, Japonii i Stanach Zjednoczonych. Prawie 90% respondentów stwierdziło, że zwroty z inwestycji w AI nadal pozostają w tyle za poniesionymi wydatkami. Najbardziej odkrywcza część znalazła się tuż pod tym nagłówkiem: większość respondentów nie dysponowała spójnymi wskaźnikami wydajności AI powiązanymi z wynikami, a jedynie sporadycznymi przeglądami lub rozbudowanymi listami KPI. Nie mieli oni żadnej pewności co do tego, czy technologia ta w ogóle przyniosła oczekiwane rezultaty.

I nie potrzebujesz ponad 200 członków kadry kierowniczej, żeby wiedzieć, jak to wygląda w praktyce. Agent wsparcia oparty na AI może działać przez cały dzień, wysyłać przeciętne odpowiedzi i rozjaśniać każdy pulpit analityczny, nie generując przy tym żadnych wyników widocznych dla dyrektora finansowego. Wykres wygląda dobrze, więc zespół nadal zwiększa skalę wykorzystania. Na tym polega cała pułapka.

Zespoły, które robią to dobrze, postępują odwrotnie. Mierzą to, co AI umożliwia, porównują to z wartością odniesienia i przekazują każdy wynik wyznaczonemu właścicielowi.

W niniejszym przewodniku wskaźniki wydajności AI podzielono na cztery warstwy: jakość wyników, niezawodność systemu, stopień wdrożenia wśród pracowników oraz wpływ na działalność biznesową. Każdy wskaźnik zawiera formułę, wskazówki dotyczące stosowania oraz wskaźnik przeciwstawny. Celem jest stworzenie karty wyników na tyle prostej, by można było na jej podstawie podejmować działania, w połączeniu z jasną własnością, dzięki czemu ktoś ponosi odpowiedzialność za zmiany w wynikach.

Czym są wskaźniki wydajności AI? (i czym różnią się od wskaźników próżności?)

Wskaźniki wydajności AI pokazują, jak dobrze działa system oparty na AI i czy generuje on wartość biznesową. Niektóre wskaźniki wydajności AI mierzą jakość techniczną, taką jak dokładność i opóźnienie. Inne śledzą wyniki, takie jak niższe koszty, szybsza praca lub wyższe przychody.

Najważniejsze rozróżnienie dotyczy różnicy między wskaźnikiem a KPI. Liczba przesłanych zapytań, logowań, wykorzystanych tokenów i wygenerowanych słów to wskaźniki. Stają się one jednak wskaźnikami „próżności” w momencie, gdy przedstawia się je jako powodzenie, ponieważ mierzą one ruch, a nie wyniki. KPI to mniejszy zestaw liczb, których zmiany przekładają się na wynik biznesowy. Zatem wskaźnikiem wydajności AI, który należy śledzić, byłby koszt na jedno rozwiązane zgłoszenie, a nie liczba obsłużonych zgłoszeń.

Dobrze zdefiniowany wskaźnik KPI składa się z pięciu elementów: KPI AI = wskaźnik + poziom odniesienia + cel + horyzont czasowy + wskaźnik kontrolny

Na przykład wskaźnik KPI AI dla zespołu wsparcia mógłby przyczynić się do realizacji takiego celu, jak: Skrócenie czasu pierwszej odpowiedzi z 24 godzin do poniżej czterech godzin w ciągu jednego kwartału, bez obniżania poziomu satysfakcji klientów. Satysfakcja klientów jest tutaj kluczowym czynnikiem równoważącym. Powstrzymuje ona zespół przed osiągnięciem celu w zakresie szybkości poprzez udzielanie szybkich, ale nieodpowiednich odpowiedzi generowanych przez AI.

Jaka jest różnica między wskaźnikiem KPI a metryką?

Każdy KPI jest wskaźnikiem, ale nie każdy wskaźnik jest KPI. Aby uzyskać bardziej szczegółowe rozróżnienie, zapoznaj się z artykułem „KPI a wskaźniki”.

Jaka jest różnica między wskaźnikami wyprzedzającymi a opóźnionymi?

Wskaźnik wyprzedzający zapewnia wczesne ostrzeżenie. Wskaźnik opóźniony rejestruje wynik po jego wystąpieniu. Oba terminy są regularnie stosowane podczas ustawiania i pomiaru kluczowych wskaźników efektywności (KPI).

Na przykład rosnący wskaźnik ręcznej ingerencji może wskazywać, że pracownicy przestali ufać AI. W późniejszym czasie może to skutkować niższym poziomem wdrożenia i wyższymi kosztami, ponieważ pracownicy zaczną korzystać z innych narzędzi. Wskaźnik ręcznej ingerencji jest wczesnym sygnałem, a koszt – późniejszym skutkiem.

Jednak te etykiety zależą od kontekstu. Dokładność może pozostawać w tyle za aktualizacją modelu, ale prowadzić do późniejszej zmiany poziomu zadowolenia klientów. Dlatego poniższe wskaźniki są pogrupowane według tego, co mierzą.

Ponad 50 wskaźników wydajności AI, które potwierdzają efektywność Twoich systemów opartych na AI

Wybór odpowiednich wskaźników zależy od tego, do czego ma służyć AI. Bot obsługi klienta, model wykrywania oszustw i asystent pisania nie powinny udostępniać tej samej karty wyników.

Poniższe wskaźniki można podzielić na cztery kategorie: jakość modeli i wyników, wydajność systemu, wdrożenie i wpływ na pracowników oraz wyniki biznesowe. Nie musisz jednak korzystać z nich wszystkich. Wybierz kilka, które odpowiadają Twoim celom, a następnie dopasuj do każdego z nich wskaźnik kontrolny.

Wskaźniki jakości modeli i wyników

Wskaźniki te odpowiadają na pierwsze pytanie: Czy AI generuje poprawne, użyteczne i bezpieczne wyniki?

W przypadku zadań, dla których istnieje jedna znana odpowiedź, takich jak klasyfikacja czy ekstrakcja danych, wynik można porównać z zestawem referencyjnym. Ocena zadań generatywnych jest trudniejsza, ponieważ jednocześnie prawidłowych może być kilka odpowiedzi. W takich sytuacjach należy polegać na ludzkich recenzentach lub narzędziach oceny opartych na modelach, aby ocenić takie czynniki, jak trafność, uzasadnienie, kompletność oraz zgodność z instrukcjami.

Wyniki te pomogą Ci zidentyfikować słabe wyniki i ustalić, co poszło nie tak. Nie powiedzą Ci jednak, czy AI pozwala zaoszczędzić pieniądze, usprawnia cykl pracy lub zdobywa zaufanie użytkowników. Te kwestie omówiono w kolejnych sekcjach.

1. Dokładność

Dokładność to odsetek poprawnych prognoz AI w porównaniu z znaną odpowiedzią. Załóżmy, że model przydzielania zgłoszeń klasyfikuje 1 000 zgłoszeń i 920 z nich klasyfikuje poprawnie. Jego dokładność wynosi 92%.

Brzmi to imponująco, ale dokładność może ukrywać błędy, które mają największe znaczenie. Gdyby wszystkie 80 błędów spowodowało wysłanie pilnych zgłoszeń do niewłaściwej kolejki, ogólny wynik nadal wyglądałby dobrze. Traci on również na wartości, gdy jeden wynik pojawia się znacznie częściej niż inny.

2. Precyzja

Precyzja pokazuje, jak często AI ma rację, przewidując wynik pozytywny. Mówiąc prościej, informuje, ile alertów wymagało podjęcia działań.

Załóżmy, że model wykrywający oszustwa sygnalizuje 200 transakcji, ale tylko 150 z nich jest fałszywych. Jego precyzja wynosi 75%. Pozostałe 50 to fałszywe alarmy, a każdy z nich generuje dodatkową pracę związaną z weryfikacją.

3. Recall

Wskaźnik odzysku (recall) pokazuje, ile rzeczywistych przypadków pozytywnych AI faktycznie wykryła. Precyzja (precision) sprawdza, czy sygnał ostrzegawczy był słuszny; odzysk sprawdza, czy nie przeoczono czegoś rzeczywistego. Te dwa wskaźniki działają w przeciwnych kierunkach, więc model może osiągać doskonałe wyniki w jednym z nich, a jednocześnie zawieść w drugim.

Załóżmy, że mamy 180 fałszywych transakcji, a model wykrywa 150 z nich. Jego współczynnik odzysku wynosi 83,3%, co oznacza, że przeoczył 30 rzeczywistych przypadków. W przypadku oszustw, badań medycznych czy bezpieczeństwa te przeoczenia mogą kosztować znacznie więcej niż dodatkowa weryfikacja.

4. Wskaźnik F1

Wskaźnik F1 łączy precyzję i odzyskiwalność. Jest przydatny, gdy istotne znaczenie mają zarówno fałszywe alarmy, jak i pominięte przypadki, zwłaszcza gdy jedna klasa występuje znacznie rzadziej niż druga.

Jeśli model wykrywania oszustw ma precyzję na poziomie 75% i współczynnik odzysku na poziomie 83,3%, jego wynik F1 wynosi około 79%. Ponieważ wskaźnik F1 wykorzystuje średnią harmoniczną, słaby wynik w jednej z tych kategorii obniża ogólny wynik.

5. Ugruntowanie

Zasadność pokazuje, czy twierdzenia AI są wspierane źródłami, z których czerpie informacje. Ma to największe znaczenie w systemach wspomaganych wyszukiwaniem, gdzie płynna odpowiedź może nadal wykraczać poza zakres dowodów.

Załóżmy, że asystent ds. polis formułuje 10 twierdzeń opartych na faktach, a recenzenci mogą powiązać dziewięć z nich z zatwierdzoną polisą. Jego zgodność z faktami na poziomie poszczególnych twierdzeń wynosi 90%. Ostatnie twierdzenie nadal wymaga uwagi, zwłaszcza jeśli dotyczy wynagrodzenia, świadczeń lub zgodności z przepisami.

Jest to formuła operacyjna, a nie uniwersalna. Przed porównaniem wyników należy określić, co uznaje się za zgłoszenie, co kwalifikuje się jako wsparcie oraz w jaki sposób będzie oceniane częściowe wsparcie.

6. Trafność

Trafność pokazuje, czy wynik odpowiada na pytanie zadane przez użytkownika. Odpowiedź może być trafna, a mimo to bezużyteczna, jeśli rozwiązuje problem, który jest tylko częściowo powiązany z zadanym pytaniem.

Załóżmy, że recenzenci oceniają 100 odpowiedzi chatbota i 85 z nich uznają za trafne. Daje to 85-procentowy wskaźnik trafności. Liczba ta ma jednak niewielkie znaczenie, dopóki zespół nie uzgodni kryteriów oceny i progu zaliczenia.

7. Wskaźnik przestrzegania instrukcji

Wskaźnik zgodności z instrukcjami mierzy, jak często AI wykonuje każdą wymaganą instrukcję. Pod uwagę można wziąć format, długość, wykluczenia oraz wymagane działania.

Na przykład w ramach cyklu pracy model ma zwrócić poprawny plik JSON zawierający pięć wymaganych pól. Jeśli 94 z 100 wyników spełniają wszystkie reguły, wskaźnik ten wynosi 94%. Odpowiedź, która brzmi poprawnie, ale narusza schemat JSON, nadal zostanie odrzucona.

Określ zasady przed uruchomieniem testu. Jeśli recenzenci będą decydować, co oznacza „postępowanie zgodnie z instrukcjami” dopiero po zapoznaniu się z wynikiem, ocena będzie się różnić.

8. Wskaźnik kompletności

Kompletność pokazuje, czy AI uwzględniła wszystkie wymagane elementy zadania. Wykrywa odpowiedzi, które wydają się dopracowane, ale w rzeczywistości pomijają pewne elementy.

Załóżmy, że raport musi zawierać pięć sekcji, a AI zakończyła cztery z nich. Jego wskaźnik kompletności wynosi 80%. Nie oznacza to jednak, że raport jest w 80% dobry. Brakująca sekcja może być właśnie tą, której czytelnik potrzebował najbardziej.

W przypadku zadań o wysokiej stawce należy rozważyć poszczególne elementy pod kątem ich znaczenia. Brakujące ostrzeżenie prawne powinno mieć większą wagę niż brak opcjonalnego przykładu.

9. Wskaźnik halucynacji

Wskaźnik halucynacji pokazuje, jak często AI generuje fałszywe lub niepoparte dowodami twierdzenia. Problemy te nakładają się na siebie, ale nie zawsze są to te same zjawiska. Twierdzenie może być prawdziwe w szerszym kontekście, ale niepoparte źródłami, z których system miał korzystać.

Halucynacje można mierzyć na poziomie odpowiedzi lub na poziomie twierdzeń. Jeśli 15 z 500 odpowiedzi zawiera co najmniej jedno niepoparte dowodami twierdzenie, wskaźnik na poziomie odpowiedzi wynosi 3%. Obliczenia na poziomie twierdzeń mogą dać inny wynik.

10. Wskaźnik realizacji zadań

Wskaźnik realizacji zadań pokazuje, jak często sztuczna inteligencja osiąga wymagany stan końcowy. W przypadku agenta może to oznaczać dokonanie zwrotu kosztów, aktualizację danych klienta oraz potwierdzenie wyniku. Samo sformułowanie wiarygodnej odpowiedzi nie jest brane pod uwagę.

Załóżmy, że agent podejmuje próbę realizacji 1 000 kwalifikujących się wniosków o zwrot kosztów i zakończył realizację 700 z nich bez pomocy człowieka. Jego wskaźnik autonomicznej realizacji zadań wynosi 70%. Należy oddzielnie raportować realizacje z pomocą człowieka, tak aby płynne przekazanie zadania nie było traktowane ani jako całkowite powodzenie, ani jako porażka.

Nie traktuj publicznie dostępnych wyników porównawczych jako celu produkcyjnego. Wyniki agentów szybko się zmieniają, a zadania wykorzystywane w testach porównawczych rzadko odpowiadają Twoim systemom, zasadom lub klientom. Stwórz zestaw testowy na podstawie zadań, które faktycznie będzie wykonywał Twój agent.

11. Dokładność doboru narzędzi

Dokładność wyboru narzędzia pokazuje, jak często agent wybiera właściwe narzędzie do wykonania kolejnego kroku. Nie ma to związku z tym, czy używa on tego narzędzia poprawnie.

Agent może przeszukiwać internet, podczas gdy powinien przeprowadzić zapytanie dotyczące danych klienta, lub wysłać e-mail, gdy użytkownik poprosił jedynie o szkic. Jedna błędna decyzja może zniweczyć resztę zadania.

12. Dokładność argumentów wywołań narzędzi

Gdy agent wybierze narzędzie, musi przekazać do niego właściwe wartości. Funkcja sprawdzania poprawności argumentów wywołania narzędzia weryfikuje takie pola, jak nazwy, daty, IDy i kwoty.

Załóżmy, że agent wykonuje 300 połączeń dotyczących rezerwacji, a 264 z nich zawierają wszystkie poprawne dane. Jego ścisła dokładność argumentów wynosi 88%. W przepływie płatności lub rezerwacji błędna data lub numer konta może spowodować rzeczywisty błąd transakcji.

Rygorystyczny próg akceptacji traktuje jedno błędne pole jako nieudane wywołanie. Dodaj dokładność na poziomie pól, jeśli chcesz również ustalić, które argumenty powodują problem.

13. Jakość trajektorii

Jakość trajektorii dotyczy ścieżki, jaką pokonuje agent, aby wykonać zadanie. Agent może osiągnąć właściwy wynik po kilku niepotrzebnych poszukiwaniach, powtarzających się rozmowach telefonicznych lub naruszeniach zasad. Prosty wskaźnik skuteczności nie uwzględniałby wszystkich tych aspektów.

Nie oceniaj każdego przebiegu na podstawie jednej idealnej ścieżki. Złożone zadania mogą mieć kilka prawidłowych dróg rozwiązania. Oceniaj przebieg pod kątem wymaganych kroków, dozwolonych działań i zbędnych objazdów.

Oceniaj na podstawie zestawu reguł, a nie jednej idealnej ścieżki, ponieważ złożone zadania często mają kilka prawidłowych dróg rozwiązania. Jest to prawdziwa luka w testowaniu agentów. Test TRAJECT-Bench 2025 został stworzony, aby ją wyeliminować poprzez sprawdzanie wyboru narzędzi, poprawności argumentów oraz tego, czy wywołania następują we właściwej kolejności, a nie tylko tego, czy agent dotarł do końca.

14. Efektywność planowania

Wskaźnik efektywności planowania pokazuje, ile dodatkowej pracy wykonuje agent, zanim osiągnie zamierzony wynik. Każdy dodatkowy krok oznacza wydłużenie czasu, zużycie tokenów oraz kolejną szansę na niepowodzenie.

Jeśli wykonanie zadania powinno obejmować cztery zatwierdzone kroki, a pracownik wykonuje sześć, jego efektywność planowania oparta na krokach wynosi 66,7%. Liczba ta ma sens tylko wtedy, gdy można ustalić sprawiedliwą ścieżkę referencyjną lub limit kroków.

Nigdy nie nagradzaj samej w sobie krótszej ścieżki. Agent, który pomija wymagane sprawdzenie, może wydawać się wydajny, ale jednocześnie stwarza większe ryzyko.

15. Wskaźnik spójności

Spójność pokazuje, czy AI zapewnia równoważne wyniki przy powtarzaniu tego samego zadania w tych samych warunkach. Jeden sukces może być po prostu szczęśliwym trafem.

Załóżmy, że wykonujesz to samo zadanie 20 razy, a 18 wyników spełnia te same kryteria. Wskaźnik spójności wynosi 90%. Porównuj fakty, decyzje lub ostateczne działania, a nie podobne sformułowania.

16. Wskaźnik odporności

Wskaźnik odporności mierzy, czy wydajność pozostaje na tym samym poziomie, gdy dane wejściowe ulegają realistycznym zmianom. Testy mogą obejmować literówki, brakujące szczegóły, zmianę kolejności informacji, dłuższe podpowiedzi lub inne sformułowania.

Jeśli model obsługuje 170 z 200 zmodyfikowanych przypadków testowych, jego wskaźnik odporności wynosi 85%. Zbiór testowy powinien odzwierciedlać nieuporządkowane dane wejściowe przesyłane przez użytkowników.

17. Wskaźnik naruszeń zasad bezpieczeństwa

Wskaźnik naruszeń zasad bezpieczeństwa pokazuje, jak często wyniki generowane przez AI naruszają zdefiniowane zasady bezpieczeństwa. Naruszenie może dotyczyć szkodliwych porad, danych prywatnych, zawartości zabronionej lub działania, do którego agent nie miał prawa.

Załóżmy, że recenzenci potwierdzają 12 naruszeń wśród 10 000 wyników. Wskaźnik ten wynosi 0,12%. Ta niewielka liczba może nadal być nie do przyjęcia, jeśli jedna awaria może spowodować poważne szkody.

Zgłaszaj zarówno powagę, jak i częstotliwość zdarzeń. Dziesięć drobnych naruszeń nie powinno mieć takiej samej wagi jak jedno ujawnienie danych prywatnych.

18. Luka w zakresie sprawiedliwości

Luka w sprawiedliwości wskazuje, czy AI działa inaczej w różnych grupach, które powinny być traktowane w podobny sposób. Jeden ogólny wskaźnik dokładności może ukrywać pod sobą dużą lukę.

Załóżmy, że model przesiewowy ma wskaźnik prawdziwych wyników pozytywnych na poziomie 82% dla jednej grupy i 71% dla drugiej. Różnica wynosi 11 punktów procentowych. Jak nazywa się porównywana miara? Samo określenie „luka w sprawiedliwości” jest zbyt niejasne.

Mniejsza różnica nie oznacza, że system jest sprawiedliwy. Każda z grup może uzyskiwać równie słabe wyniki. Wyniki poszczególnych grup należy analizować w połączeniu z wielkością różnicy.

19. Wskaźnik akceptacji przy pierwszym przejrzeniu

Wskaźnik akceptacji przy pierwszym przeglądzie pokazuje, jak często wyniki generowane przez AI nadają się do wykorzystania już przy pierwszym przeglądzie. Dostarcza on znacznie więcej informacji niż sama ilość zawartości, kodu lub analiz tworzonych przez system.

Załóżmy, że redaktorzy sprawdzają 100 szkiców wygenerowanych przez AI i akceptują 65 z nich bez konieczności ponownego przetwarzania lub wprowadzania większych poprawek. Wskaźnik akceptacji przy pierwszym przejrzeniu wynosi 65%. Należy z góry zdefiniować pojęcie „zaakceptowany”, ponieważ drobna korekta redakcyjna i całkowite przepisanie tekstu nie powinny być traktowane jako ten sam wynik.

20. Wskaźnik przeróbek

Wskaźnik przeróbek pokazuje, jak często wyniki generowane przez AI wymagają korekty po wprowadzeniu do cyklu pracy. Wskazuje on na pozorną wydajność, w której AI pozwala zaoszczędzić czas na początku, ale przenosi więcej pracy na recenzentów lub zespoły na dalszych etapach procesu.

Jeśli 22 ze 100 próbek kodu napisanych przez AI wraca do poprawek, wskaźnik przeróbek wynosi 22%. Należy oddzielić błędy spowodowane przez AI od rutynowych poprawek lub zmian zakresu projektu.

Wskaźniki systemowe i operacyjne

Ten poziom dotyczy tego, czy dobre wyniki faktycznie docierają do użytkowników w sposób niezawodny, szybki i po kosztach, które firma jest w stanie ponieść. To właśnie na tym etapie wdrażanie po cichu upada, ponieważ model poprawny pod względem technicznym, który jednak reaguje zbyt wolno lub generuje zbyt wysokie koszty, nigdy nie zyska sobie miejsca w cyklu pracy.

21. Opóźnienie

Opóźnienie to czas między wysłaniem żądania a uzyskaniem użytecznego wyniku, a to, co uznaje się za użyteczne, zależy całkowicie od zadania. W przypadku klasyfikatora może to być ostateczna odpowiedź. W przypadku agenta może to być moment zakończenia żądanej czynności. Uważaj jednak na średnie, ponieważ ukrywają one opóźnienia, które użytkownicy faktycznie odczuwają. Asystent w zakresie wsparcia klienta może osiągać średni czas 1,2 sekundy, ale w godzinach szczytu czas ten może wydłużyć się nawet do sześciu sekund. Podawaj percentyle, takie jak p50 i p95, aby uwzględnić zarówno typowe żądania, jak i te, które są realizowane wolniej.

Czas do pierwszego tokenu (TTFT): W przypadku systemów strumieniowych śledź również, ile czasu zajmuje rozpoczęcie odpowiedzi, a nie tylko jej zakończenie. Dwóch asystentów może zakończyć działanie w ciągu pięciu sekund, ale ten, który rozpocznie strumieniowanie po 300 ms, wydaje się znacznie szybszy niż ten, który przez dwie sekundy pozostawia ekran pusty. Nie ma uniwersalnego punktu odniesienia dla TTFT: długość podpowiedzi, rozmiar modelu, kolejki i obciążenie – wszystko to ma na niego wpływ, więc ustal cel dla swojego konkretnego przypadku użycia i przetestuj go przy realistycznym natężeniu ruchu.

22. Przepustowość

Przepustowość to ilość pracy, jaką system wykonuje w określonym przedziale czasu. Można liczyć żądania na sekundę, dokumenty na godzinę lub zadania, które zakończyły się z powodzeniem, na dzień. Załóżmy, że potok dokumentów przetwarza 500 plików na godzinę w warunkach testowych, ale w rzeczywistym ruchu liczba ta spada do 200. Ta różnica wskazuje, czy system jest w stanie poradzić sobie z okresem wzmożonego ruchu bez gromadzenia zaległości.

Za każdym razem podaj jednostkę miary. Liczba żądań na sekundę i liczba tokenów na sekundę odpowiadają na różne pytania.

23. Czas sprawności i dostępność

Dostępność to odsetek zaplanowanego czasu, w którym usługa oparta na sztucznej inteligencji jest w stanie faktycznie zrealizować żądania. Usługa może być online, ale jednocześnie zbyt wolna lub niesprawna, by wykonać zadanie, dlatego dostępność należy definiować w oparciu o użyteczny wynik. Miesięczny wskaźnik na poziomie 99% nadal pozostawia miejsce na około 7 godzin i 12 minut przestoju w 30-dniowym miesiącu. Może to być akceptowalne w przypadku opcjonalnego asystenta pisarskiego. Znacznie trudniej jest to zaakceptować w przypadku narzędzia wsparcia, na którym ludzie polegają przez całą dobę.

24. Wskaźnik błędów systemowych

Wskaźnik błędów systemowych obejmuje awarie techniczne, takie jak przekroczenie limitów czasowych, niedostępne modele, nieprawidłowe odpowiedzi i uszkodzone integracje. Załóżmy, że 30 z 1000 żądań agentów kończy się niepowodzeniem z powodu awarii interfejsu API. Oznacza to wskaźnik błędów na poziomie 3%. Podziel te awarie według przyczyn, w przeciwnym razie zespół będzie wiedział, że coś się zepsuło, ale nie będzie wiedział, gdzie szukać przyczyny.

25. Wskaźnik ponownych prób

Wskaźnik ponownych prób określa, jak często system musi powtórzyć żądanie lub działanie. Podstawowe zadanie może ostatecznie zakończyć się sukcesem, dlatego ponowne próby wykraczają poza prosty wskaźnik zakończenia zadania. Załóżmy, że 120 z 1 000 żądań wymaga jednej dodatkowej próby. Oznacza to wskaźnik ponownych prób na poziomie 12%, a system wykonuje łącznie 1 120 prób, co stanowi około 12% dodatkowej pracy dla tej partii. Więcej niż jedna próba na żądanie jeszcze bardziej podnosi koszty.

26. Koszt jednego zadania o powodzeniu

Koszt na pomyślnie wykonane zadanie wiąże wydatki na sztuczną inteligencję z zadaniem zakończonym, co sprawia, że jest on znacznie bardziej miarodajny niż koszt na żądanie, w przypadku którego nieudane próby nadal pochłaniają tokeny, zasoby narzędziowe i infrastrukturę. Załóżmy, że każde uruchomienie agenta kosztuje 10 centów, ale tylko połowa z nich osiąga powodzenie. Twój bezpośredni koszt na powodzenie zadania wynosi 20 centów. Dodaj do tego weryfikację przez człowieka lub ponowną obróbkę, a rzeczywista kwota wzrośnie jeszcze bardziej.

27. Wskaźnik powstrzymania

Wskaźnik obsługi to odsetek kwalifikujących się interakcji, które kończą się bez przekazania sprawy człowiekowi. Zespoły wsparcia wykorzystują go do oszacowania, jaką część zapotrzebowania sztuczna inteligencja obsługuje samodzielnie. Wskaźnik ten można również łatwo zawyżyć. Załóżmy, że bot obsłużył 800 z 1000 czatów, co daje wskaźnik na poziomie 80%. Niektórzy z tych użytkowników otrzymali prawdziwą odpowiedź, podczas gdy inni po prostu zrezygnowali. Obie sytuacje wydają się obsłużone, chyba że przyjrzymy się temu, co stało się później.

Uwzględniaj wyłącznie zapytania, które AI ma obsługiwać. Przekazywanie zadań na podstawie zasad nie powinno być traktowane jako niepowodzenia.

28. Wskaźnik eskalacji

Wskaźnik eskalacji określa, jak często interakcja z AI jest przekazywana do człowieka. Wysoki wskaźnik może sygnalizować słabą wydajność, ale może również oznaczać, że system wie, kiedy należy ustąpić miejsca. Załóżmy, że spośród 1000 interakcji 150 jest eskalowanych, co daje wskaźnik na poziomie 15%. Sama ta liczba niewiele mówi. Należy ją podzielić na przypadki przekazania wymagane przez politykę firmy, te zainicjowane przez użytkownika oraz sytuacje, których AI po prostu nie była w stanie rozwiązać.

Wskaźniki dotyczące wdrażania i wpływu na pracowników

Nawet sprawnie działający system oparty na AI musi jeszcze zasłużyć na swoje miejsce w codziennej pracy użytkowników. Wskaźniki te pokazują, czy ludzie go wypróbowują, wykorzystują do rzeczywistej pracy oraz czy wracają do niego, gdy minie efekt nowości.

Samo korzystanie z AI nie wystarczy, by udowodnić jej wartość. Firma Gallup odkryła, że 50% zatrudnionych Amerykanów korzystało z AI przynajmniej kilka razy w roku, jednak tylko 13% używało jej codziennie. Ta rozbieżność jest właśnie powodem, dla którego oprócz samego wdrożenia należy prowadzić śledzenie częstotliwości, zakresu i poziomu biegłości w korzystaniu z tej technologii.

29. Wskaźnik wdrożenia wśród uprawnionych użytkowników

Wskaźnik wdrożenia wśród uprawnionych użytkowników pokazuje, ilu spośród osób, które mogłyby korzystać ze sztucznej inteligencji, zakończyło za jej pomocą co najmniej jedną znaczącą czynność. W tym przypadku liczy się mianownik. Jeśli 400 osób aktywuje narzędzie, brzmi to świetnie. Jeśli jednak dostęp otrzymali 4 000 pracowników, wskaźnik wdrożenia wynosi w rzeczywistości zaledwie 10%. Należy pominąć pracowników, których role nie mają zatwierdzonego lub użytecznego zastosowania sztucznej inteligencji.

Przed uruchomieniem zdefiniuj pojęcie „znaczącego działania”. Samo otwarcie narzędzia lub przesłanie testowej podpowiedzi nie powinno być traktowane jako wdrożenie.

30. Wskaźnik aktywnego wykorzystania AI

Wskaźnik aktywnego użytkowania pokazuje, ilu uprawnionych użytkowników faktycznie korzysta z AI w określonym okresie. Tygodniowa aktywność często mówi o wiele więcej niż łączna liczba rejestracji. Załóżmy, że 1 000 pracowników ma uprawnienia, a 600 z nich wypróbowało narzędzie, ale tylko 180 faktycznie z niego korzysta w typowym tygodniu. Wskaźnik wdrożenia może wynosić 60%, podczas gdy wskaźnik tygodniowej aktywności wynosi zaledwie 18%. Ta druga liczba znacznie lepiej odzwierciedla rzeczywistą rolę narzędzia w cyklu pracy.

Ustal próg dostosowany do charakteru pracy. W przypadku narzędzi do pisania i wsparcia odpowiednie może być cotygodniowe stosowanie, natomiast asystent do planowania kwartalnego wymaga dłuższego okresu.

31. Zakres wdrożenia

Zakres wdrożenia pokazuje, jak szeroko rozprzestrzeniło się wykorzystanie sztucznej inteligencji wśród zespołów, ról lub lokalizacji objętych wdrożeniem. Ogólny wskaźnik wdrożenia może maskować nierównomierny obraz sytuacji. Jeden zespół inżynierów może korzystać z narzędzia codziennie, podczas gdy działy sprzedaży, finansów i wsparcia technicznego prawie w ogóle z niego nie korzystają.

Nie oczekuj, że każda grupa osiągnie ten sam poziom. Porównuj zespoły tylko wtedy, gdy AI jest dla nich równie przydatna i dostępna.

32. Stopień wdrożenia

Poziom wdrożenia pokazuje, ile różnych zadań aktywni użytkownicy realizują przy pomocy AI. Pozwala to odróżnić powierzchowne wykorzystanie od rzeczywistego. Osoba, która jedynie przeredagowuje tematy wiadomości e-mail, korzysta z narzędzia, ale nie w pełni. Natomiast osoba, która wykorzystuje je do badań, tworzenia szkiców, analiz i sporządzania notatek ze spotkań, włączyła je w znacznie większą część swojego dnia.

Większa liczba przypadków użycia nie zawsze oznacza większą wartość. Kilka cykli pracy o dużym znaczeniu może przewyższyć długą listę tych o niewielkim znaczeniu.

33. Wskaźnik penetracji cykli pracy

Wskaźnik penetracji cyklu pracy pokazuje, jaki odsetek zadań kwalifikujących się do obsługi przez AI jest faktycznie realizowany przy jej wsparciu. Wskaźnik wdrożenia odnosi się do liczby osób. Wskaźnik penetracji cyklu pracy odnosi się do samej pracy. Załóżmy, że zespół wsparcia obsługuje 10 000 zgłoszeń kwalifikujących się do pomocy ze strony AI, ale AI ma wpływ tylko na 2 500 z nich. Wskaźnik penetracji wynosi 25%, nawet jeśli każdy konsultant wypróbował to narzędzie przynajmniej raz.

Ogranicz mianownik do zadań, które AI została zatwierdzona do wykonywania i jest w stanie obsłużyć.

34. Wskaźnik utrzymania aktywnych użytkowników

Wskaźnik retencji pokazuje, ile osób nadal korzysta z AI po pierwszym znaczącym użyciu. Pomaga odróżnić trwałe wdrożenie od chwilowej ciekawości w tygodniu premiery. Załóżmy, że w styczniu 500 pracowników aktywowało narzędzie AI, a do kwietnia 300 z nich nadal osiąga próg użytkowania. Wskaźnik retencji po trzech miesiącach wynosi 60%.

Mierz retencję według kohort. Porównanie liczby aktywnych użytkowników w bieżącym miesiącu z łączną liczbą z poprzedniego miesiąca może przesłonić fakt, że nowi użytkownicy zastępują tych, którzy odeszli.

35. Wskaźnik biegłości w zakresie AI

Wskaźnik biegłości pokazuje, ilu użytkowników jest w stanie wykonać zatwierdzone zadanie przy pomocy AI, spełniając jednocześnie wymagane standardy jakości i bezpieczeństwa. Zadaj użytkownikom realistyczne zadanie, a następnie sprawdź wynik. Czy pracownik obsługi klienta może wykorzystać AI do sporządzenia trafnej odpowiedzi, zweryfikowania źródła oraz wykrycia sfabrykowanej polityki?

Ktoś może często korzystać ze sztucznej inteligencji, a mimo to używać jej nieefektywnie. Dlatego biegłość w jej stosowaniu powinna być traktowana na równi z wdrożeniem, a nie jako jego podrzędny element.

36. Wskaźnik nadpisania

Wskaźnik odrzucenia pokazuje, jak często użytkownik odrzuca, zastępuje lub zmienia sugestię AI. Może on wskazywać na słabe wyniki, niski poziom zaufania lub po prostu na zdrowy ludzki osąd. Załóżmy, że recenzenci zmieniają 240 z 1000 rekomendacji AI. Oznacza to wskaźnik odrzucenia na poziomie 24%. Nadal jednak potrzebna jest informacja o przyczynie. Konieczna poprawka i osobiste preferencje dotyczące sformułowań nie powinny mieć takiego samego znaczenia.

Niski wskaźnik korekty może w rzeczywistości budzić niepokój, jeśli oznacza, że użytkownicy akceptują słabe wyniki bez ich sprawdzania.

37. Wskaźnik interwencji człowieka

Wskaźnik interwencji człowieka mierzy, jak często zadanie rozpoczęte przez AI wymaga nieplanowanej pomocy, zanim zostanie zakończone. Różni się to od planowanego zatwierdzenia lub przekazania zadania zgodnie z polityką firmy. Załóżmy, że agent podejmuje próbę wykonania 1 000 zadań, a ludzie muszą przejąć 180 z nich. Oznacza to wskaźnik interwencji na poziomie 18%. Te interwencje wiążą się z kosztami pracy, które mogą zostać ukryte przez wskaźnik autonomicznego wykonania zadań.

Zaplanowany przegląd należy wyłączyć z licznika. Wymagane zatwierdzenie stanowi część cyklu pracy, a nie awarię systemu.

38. Oszczędność czasu na zakończone zadanie

Czas zaoszczędzony na każdym zakończonym zadaniu pozwala porównać cały cykl pracy wspomagany przez AI z obiektywnym punktem odniesienia. Należy uwzględnić wszystko: podpowiedzi, oczekiwanie, sprawdzanie, poprawianie i ponowne uruchamianie. Pominąwszy to, uwzględnia się jedynie szybki pierwszy szkic. W ten sposób po cichu pomija się wszystkie czynności porządkowe, które następują później.

Dane dotyczące oszczędności czasu podawane przez samych użytkowników mogą być pomocne, ale wymagają weryfikacji w praktyce. Badania przeprowadzone przez Fed w St. Louis wykazały, że użytkownicy AI zgłaszali oszczędność około 2,2 godziny w ciągu 40-godzinnego tygodnia pracy. Jednak randomizowane badanie przeprowadzone przez METR wykazało, że doświadczeni programiści potrzebowali o 19% więcej czasu przy korzystaniu z AI, mimo że byli przekonani, iż dzięki niej pracowali o 20% szybciej. Badania dotyczyły różnych rodzajów pracy, ale razem pokazują to samo: zapytaj użytkowników, ile czasu zaoszczędzili, a następnie zweryfikuj to na podstawie danych dotyczących zadań.

39. Czas przeglądu AI

Czas weryfikacji przez AI mierzy wysiłek ludzki potrzebny do sprawdzenia i zatwierdzenia wyniku. To właśnie w tym miejscu obiecane oszczędności czasu często niepostrzeżenie się zmniejszają. Wygenerowanie szkicu przez AI może zająć 30 sekund, ale jego weryfikacja – 12 minut. Porównaj ten łączny czas z czasem, jaki zajęłoby wykonanie tego zadania bez użycia AI.

Nie należy dążyć do całkowitego wyeliminowania czasu na weryfikację w przypadku zadań wysokiego ryzyka. Celem jest skuteczna kontrola, a nie ślepe zatwierdzanie.

40. Wskaźnik zaufania pracowników

Wskaźnik zaufania pracowników pozwala sprawdzić, czy użytkownicy uważają, że AI jest wystarczająco niezawodna do wykonywania przypisanych jej zadań oraz czy rozumieją jej ograniczenia. Można go zmierzyć za pomocą krótkiej ankiety obejmującej dokładność, przejrzystość, bezpieczeństwo oraz pewność w wykrywaniu błędów. Należy unikać jednego ogólnego pytania, takiego jak „Czy ufasz AI?”. Daje ono niejasny wynik, na podstawie którego nie można podjąć żadnych działań.

Wskaźniki wpływu na działalność i zwrotu z inwestycji (ROI)

To właśnie ten aspekt jest brany pod uwagę przez kadrę kierowniczą przy przyznawaniu środków, a większość pulpitów nawigacyjnych dotyczących AI pomija właśnie ten aspekt. Wyniki, koszty, przychody, efekty dla klientów, zwrot z inwestycji (ROI): to właśnie te liczby decydują o tym, czy program zostanie przedłużony, czy też odłożony na półkę.

Są one również najtrudniejsze do udowodnienia. Przychody mogą wzrosnąć po wdrożeniu ze względu na zmianę popytu, a nie dlatego, że AI coś zrobiła. Koszty mogą spaść, ponieważ zespół w tym samym czasie zoptymalizował swoje procesy. Proste porównanie sytuacji „przed” i „po” pokazuje, co się zmieniło, ale nie wyjaśnia, co było tego przyczyną. W tym celu potrzebna jest grupa kontrolna, stopniowe wdrażanie lub dopasowana linia bazowa, aby można było ocenić, co i tak by się wydarzyło.

41. Przyrostowa przepustowość

Wzrost przepustowości mierzy, o ile więcej akceptowalnej pracy zespół wykonuje po wdrożeniu AI. Należy uwzględniać wyłącznie wyniki, które spełniają te same kryteria jakości co poziom odniesienia. Załóżmy, że zespół przed wdrożeniem AI realizował 500 zatwierdzonych spraw tygodniowo, a obecnie realizuje 575. Oznacza to 15-procentowy wzrost przepustowości. Jeśli jednak w tym samym czasie wzrosła liczba prac wymagających poprawek, rzeczywisty zysk może być mniejszy, niż się wydaje.

42. Skrócenie czasu cyklu

Skrócenie czasu cyklu pokazuje, o ile szybciej przebiega praca od początku do końca. Należy uwzględnić czas oczekiwania, przegląd, poprawki i ostateczne zatwierdzenie. Jeśli zmierzy się wyłącznie krok generowania przez AI, wynik będzie wyglądał na lepszy niż w rzeczywistości. Załóżmy, że przed wdrożeniem AI przegląd umowy trwał pięć dni, a obecnie zajmuje trzy. Czas cyklu skrócił się o 40%.

43. Koszt na rozwiązanie

Wskaźnik „koszt na rozwiązanie” pokazuje, ile firma wydaje na rozwiązanie jednego problemu. Jest on lepszy od wskaźnika „koszt na kontakt”, ponieważ pojedynczy problem klienta może pociągać za sobą kilka wiadomości, rozmów telefonicznych lub eskalacji. Należy uwzględnić koszty modeli, pracę ludzką, korzystanie z narzędzi, weryfikację oraz powtarzające się kontakty. W przeciwnym razie tania pierwsza odpowiedź może kryć za sobą kosztowną drogę do prawdziwego rozwiązania.

44. Potwierdzone oszczędności kosztów

Potwierdzone oszczędności to wydatki, które udało się wyeliminować po wdrożeniu AI. Chodzi na przykład o mniejszą liczbę nadgodzin, mniej godzin zlecanych podwykonawcom lub niższe rachunki za infrastrukturę. Sam oszczędzony czas nie przekłada się bezpośrednio na oszczędności finansowe. Jeśli pracownicy pozostają na tej samej liście płac, a wydajność utrzymuje się na niezmienionym poziomie, oznacza to, że zwolniłeś obciążenie, ale nie obniżyłeś rzeczywistych kosztów.

Oddzielaj unikanie kosztów od oszczędności. Oszczędności polegają na wyeliminowaniu istniejących wydatków. Unikanie kosztów zapobiega planowanym wydatkom w przyszłości, takim jak zatrudnienie pięciu dodatkowych agentów w celu obsługi rosnącej liczby zgłoszeń. Oba podejścia mogą wykazać wartość, ale mieszanie ich bez odpowiednich etykiet sprawia, że wynik wydaje się bardziej pewny, niż jest w rzeczywistości.

45. Przyrostowe przychody wynikające z zastosowania AI

Przychód przyrostowy to dodatkowy przychód wygenerowany przez AI, wykraczający poza poziom, który prawdopodobnie zostałby osiągnięty i tak. Najprostszym sposobem na jego określenie jest porównanie grupy korzystającej ze sztucznej inteligencji z podobną grupą kontrolną. Nie masz grupy kontrolnej? Zastosuj wówczas stopniowe wdrażanie lub dopasowaną wartość odniesienia. Pamiętaj też o uwzględnieniu zmian cen, promocji, popytu i sezonowości.

Przychody to nie zysk. Przy obliczaniu zwrotu z inwestycji (ROI) należy uwzględniać dodatkową marżę brutto, a nie pełną kwotę przychodów.

46. Wzrost współczynnika konwersji

Wzrost współczynnika konwersji pokazuje, czy AI pomaga większej liczbie użytkowników wykonać cel, taki jak zakup, rezerwacja wersji demonstracyjnej lub ukończenie procesu wdrażania. Załóżmy, że grupa kontrolna osiąga współczynnik konwersji na poziomie 5%, a grupa korzystająca z AI – 5,5%. Wzrost bezwzględny wynosi 0,5 punktu procentowego, natomiast wzrost względny – 10%. Zawsze należy sprecyzować, o który z nich chodzi.

47. Różnica w poziomie zadowolenia klientów

Różnica w poziomie satysfakcji klientów pokazuje, czy oceny klientów uległy zmianie po wdrożeniu AI. Porównaj ten sam kanał, rodzaj problemu, grupę klientów i skalę ocen. Załóżmy, że wsparcie wspomagane przez AI uzyskało ocenę 4,3 na 5, a grupa kontrolna – 4,1. Różnica wynosi 0,2 punktu.

Zwróć uwagę na to, kto wypełnia ankietę. Zadowoleni i niezadowoleni klienci mogą odpowiadać w różnym tempie, co może wpłynąć na wynik bez rzeczywistej zmiany w jakości obsługi.

48. Wskaźnik ponownych kontaktów

Wskaźnik ponownych kontaktów pokazuje, jak często klient wraca w sprawie tego samego nierozwiązanego problemu. Uwzględnia on przypadki, które wydawały się rozwiązane tylko dlatego, że pierwsza rozmowa na czacie przypadkowo się zakończyła. Załóżmy, że 120 z 1000 rzekomo rozwiązanych spraw prowadzi do kolejnego kontaktu w ciągu tygodnia. Oznacza to 12-procentowy wskaźnik ponownych kontaktów.

Ustal jasny przedział czasowy i przypisuj kontakty do tego samego problemu. Klient, który powraca z nowym pytaniem, nie powinien być traktowany jako nieudane rozwiązanie problemu.

49. Czas do uzyskania wartości

Czas do uzyskania wartości (Time to Value) mierzy, ile czasu zajmuje projektowi opartemu na AI osiągnięcie pierwszego zweryfikowanego wyniku biznesowego. Przed rozpoczęciem wdrażania należy określić, co uznaje się za wartość. Działający prototyp lub pierwsze zalogowanie się użytkownika nie liczą się, chyba że od początku był to uzgodniony cel.

50. Zwrot z inwestycji w AI

Zwrot z inwestycji w AI polega na porównaniu zweryfikowanych korzyści netto z kosztami programu. Korzyści mogą obejmować dodatkowy zysk brutto, rzeczywiste oszczędności kosztów oraz wyraźnie określone uniknięte koszty. Strona kosztowa również musi być rzetelnie przedstawiona. Należy uwzględnić oprogramowanie, modele i serwery. Następnie należy dodać koszty ustawień, szkolenia, nadzoru, przeglądu i konserwacji.

Unikaj podwójnego liczenia. Jeśli AI pozwala pracownikom zaoszczędzić czas, a dzięki temu uzyskują oni większą wydajność, uwzględnij wartość tej dodatkowej wydajności lub oszczędności pracy. Uwzględnienie obu czynników oznacza podwójne zaliczenie tej samej korzyści.

51. Okres zwrotu inwestycji

Okres zwrotu inwestycji pozwala oszacować, ile czasu zajmie projektowi opartemu na AI odzyskanie początkowej inwestycji poprzez zweryfikowane korzyści netto. Załóżmy, że wdrożenie kosztuje 300 000 USD i przynosi korzyść netto w wysokości 25 000 USD miesięcznie. Okres zwrotu inwestycji według prostej metody wynosi 12 miesięcy.

Prosta kalkulacja okresu zwrotu nie uwzględnia wartości pieniądza w czasie ani żadnych zwrotów uzyskanych po upływie tego okresu. Dział finansowy może również wykorzystać wartość bieżącą netto w przypadku dużych lub długoterminowych programów opartych na AI.

Dlaczego postrzeganie jest najniebezpieczniejszym wskaźnikiem ze wszystkich

Ludzie dostrzegają oszczędność czasu, jaką zapewnia AI przy tworzeniu pierwszego szkicu. Rzadko jednak biorą pod uwagę czas poświęcony na kolejne etapy: sformułowanie podpowiedzi, weryfikację faktów, poprawianie błędów i przerabianie słabszych fragmentów. Brak tej analizy sprawia, że korzyść wydaje się znacznie większa, niż jest w rzeczywistości.

Jak powiedziała Farrah Lakhani, dyrektor wykonawcza ds. rozwoju i strategii na szczeblu kierowniczym:

Najczęstszym błędem, jaki obserwuję, jest traktowanie zaoszczędzonego czasu jako głównego wskaźnika powodzenia AI. Zaoszczędzone godziny, zadania zautomatyzowane i skróceni czasy cyklu to najłatwiejsze do zebrania i przedstawienia w raporcie dla zarządu dane. Są one również najmniej miarodajne, jeśli chodzi o odzwierciedlenie rzeczywistego wpływu na działalność firmy.

Ponadto firma METR przeprowadziła ankietę wśród 349 pracowników technicznych na temat wpływu AI na ich pracę. Mediana odpowiedzi wskazywała na trzykrotny wzrost szybkości pracy oraz 1,4- do 2-krotny wzrost wytworzonej wartości.

Liczby te brzmią imponująco, ale METR podchodzi do nich z ostrożnością. Dane pochodzą z własnych szacunków pracowników, a nie z pomiarów czasu wykonania zadań czy z grupy kontrolnej. Badacze dostrzegli też oznaki wskazujące, że najśmielsze twierdzenia zawyżały rzeczywiste wyniki w gotowych pracach.

Nie oznacza to jednak, że postrzeganie jest bezużyteczne. Jeśli ludzie uważają, że AI im pomaga, chętniej z niej korzystają. Postrzeganie odzwierciedla również zaufanie, łatwość użytkowania oraz frustrację. Staje się niebezpieczne dopiero wtedy, gdy Business traktuje to odczucie jako dowód wydajności lub zwrotu z inwestycji.

Lepszym rozwiązaniem jest zmierzenie rozbieżności między tym, co jest raportowane przez pracowników, a tym, co wynika z cyklu pracy:

Załóżmy na przykład, że pracownicy dokonują raportowania dotyczącego 30-procentowego wzrostu szybkości pracy, ale dane dotyczące zadań wskazują jedynie na 10-procentową poprawę. Oznacza to 20-punktową rozbieżność w postrzeganiu. Może to wskazywać na ukryty czas poświęcony na weryfikację, niedoskonałe pomiary lub pracę, która po prostu wydaje się łatwiejsza, nie przynosząc jednak znacząco większej wartości mierzalnej.

Najbezpieczniejsza zasada jest prosta. Słuchaj uważnie tego, co mówią Twoi użytkownicy, a następnie zweryfikuj to w oparciu o rzeczywistą pracę.

Wskaźniki KPI AI dla poszczególnych funkcji

Jedna karta wyników AI nie będzie pasować do każdego zespołu, ponieważ każdy zespół ma inne cele. Obsługa klienta odpowiada za rozwiązywanie problemów. Dział inżynierii odpowiada za stabilne dostarczanie produktów. Marketing i sprzedaż odpowiadają za wzrost, natomiast dział operacyjny odpowiada za koszty, szybkość i kontrolę. Zacznij od tego celu. Następnie dodaj wskaźniki, które pokazują, w jaki sposób sztuczna inteligencja wpłynęła na jego osiągnięcie.

Obsługa klienta i wsparcie techniczne

Prawdziwe pytanie brzmi: czy problem klienta pozostał rozwiązany po zakończeniu czatu?

Oprogramowanie i inżynieria

Zmierz cały proces — od przydzielenia zadania aż po stabilne wdrożenie w środowisku produkcyjnym. Wygenerowany kod to tylko jeden krok tego procesu.

Przykład: Firma Nvidia stanowi dobry przykład tej pułapki. Twierdzi ona , że ponad 30 000 jej inżynierów korzysta obecnie z niestandardowej wersji asystenta Cursor, który generuje około trzy razy więcej kodu niż wcześniej, bez wzrostu liczby błędów. Jednak potrojenie wydajności jest wskaźnikiem ilościowym, a nie jakościowym. Nie pokazuje ono, czy funkcje są wprowadzane na rynek szybciej ani czy sprawdzają się w środowisku produkcyjnym. Aby wypełnić tę lukę, firma Nvidia musiałaby, oprócz wielkości produkcji, zmienić również czas realizacji, wskaźnik awaryjności produkcji oraz liczbę poprawek.

Marketing

AI w marketingu powinna obniżyć koszty lub skrócić czas potrzebny do stworzenia treści, które następnie przejdą proces weryfikacji i przyniosą efekty wśród prawdziwych klientów.

Sprzedaż

AI w sprzedaży sprawdza się, gdy odpowiednie transakcje szybciej przechodzą przez proces sprzedaży i ostatecznie są finalizowane z wysokimi marżami.

Przykład: Firma Workato pokazuje, dlaczego większa szybkość nie oznacza jeszcze sukcesu. Jej dyrektor ds. informatyki stwierdził, że transakcje oparte na danych wzbogaconych przez agentów przechodziły przez kolejne etapy procesu sprzedaży nawet o 20% szybciej, a czas przygotowania ofert skrócił się o 40%. Obie wartości pochodzą od samej firmy i obie mierzą szybkość, a nie wynik. Żadna z nich nie potwierdza wyższych przychodów z zamkniętych transakcji. Aby udowodnić korzyści, firma Workato musiałaby przedstawić wskaźnik skuteczności, marżę oraz przychody z zamkniętych transakcji dla podobnych umów realizowanych z wykorzystaniem AI oraz bez niej.

Operacje i finanse

W tym przypadku AI powinna zakończyć zadanie przy mniejszej liczbie interwencji, błędów i wyjątków. Przy obliczeniach należy uwzględnić wszystkie koszty.

Przykład: Firma Omega Healthcare pokazuje, jak wygląda zakończone zestawienie efektywności. Firma poinformowała serwis Business Insider, że dzięki AI oszczędza ponad 15 000 godzin pracy personelu miesięcznie na obsłudze dokumentów, przy 50% szybszym czasie realizacji, 99,5% dokładności oraz 30% zwrocie z inwestycji dla klientów. Takie zestawienie łączy czas, jakość i koszty w jednym widoku.

Studia przypadków: Jak prawdziwe firmy mierzą wydajność opartą na AI

Wyniki firmy mają znaczenie tylko wtedy, gdy wiadomo, co zostało zmierzone. Czy podana liczba wynika z obserwacji, czy z prognozy? Czy firma uwzględniła zrealizowane zadania, czy tylko te, których wykonanie zostało przejęte od ludzi? Te cztery przypadki pokazują, dlaczego te szczegóły mają znacznie większe znaczenie niż największa liczba podana w komunikacie prasowym.

Klarna (Szybka obsługa może nadal wiązać się z obniżeniem jakości)

Firma Klarna podała, że pod koniec 2025 r. jej asystent oparty na AI obsługiwał dwie trzecie wszystkich zapytań klientów. Wskazała również na skrócenie czasu odpowiedzi o 82%, zmniejszenie liczby powtarzających się problemów o 25%, oszczędności w wysokości 60 mln dolarów oraz wydajność odpowiadającą pracy 853 pełnoetatowych konsultantów.

Firma Klarna nadal inwestowała w asystenta, ale jednocześnie ponownie zaczęła zatrudniać pracowników obsługi klienta. Dyrektor generalny firmy stwierdził, że klienci powinni zawsze mieć możliwość skontaktowania się z osobą. W raportowaniu zmianę tę powiązano ze skargami dotyczącymi ogólnikowych odpowiedzi na trudniejsze pytania. Ze swojej strony firma stwierdziła, że poziom satysfakcji z obsługi zapewnianej przez AI pozostał na tym samym poziomie, co w przypadku obsługi przez ludzi.

Czego się z tego nauczysz: Śledź szybkość obsługi, liczbę ponownych kontaktów i koszty, ale podziel je według rodzaju problemów. Następnie zmierz liczbę nieudanych przekazów spraw oraz poziom satysfakcji po zakończeniu złożonych problemów. Wysoka średnia może przesłaniać te problemy, które mają największe znaczenie.

IBM (Wzrost wydajności może nie dotknąć wszystkich programistów)

Firma IBM przeanalizowała swoje własne narzędzie watsonx Code Assistant na potrzeby recenzowanego artykułu na konferencję CHI 2025. Naukowcy przeprowadzili ankietę wśród 669 użytkowników oraz testy użyteczności z udziałem kolejnych 15 osób. Wielu użytkowników uznało, że narzędzie to przyspieszyło ich pracę, jednak nie wszyscy udostępniali tę opinię. Należy zwrócić uwagę na istotny limit. Badanie dotyczyło doświadczeń programistów oraz tego, jak użytkownicy czuli się wydajni. Nie wykazało ono, że oprogramowanie było dostarczane szybciej lub zawierało mniej błędów.

Czego się z tego nauczysz: Połącz ankiety użytkowników z obserwowanymi wskaźnikami, takimi jak czas przeglądu, przeróbki, czas realizacji zmian oraz wskaźnik niepowodzeń zmian. Następnie podziel wyniki według zadań i poziomu doświadczenia. Średnia dla zespołu może maskować fakt, że niektórzy programiści poświęcają więcej czasu na sprawdzanie wyników pracy AI niż oszczędzają na jej pisaniu.

Bank of America (Kontrola jest częścią wydajności)

Bank of America poinformował, że Erica, ich wirtualna asystentka finansowa, obsłużyła 3 miliardy interakcji z klientami, a obecnie średnio ponad 58 milionów miesięcznie. Wersja dla pracowników dotarła do ponad 90% personelu i zmniejszyła o połowę liczbę zgłoszeń do działu pomocy technicznej IT. Erica pokazuje również, że efektywność AI nie wymaga stosowania modelu generatywnego. Bank obsługuje swojego asystenta klienta w oparciu o stałą bibliotekę zawierającą ponad 700 odpowiedzi. Daje to Erice mniej swobody niż w przypadku otwartego chatbota. Dzięki temu jednak odpowiedzi są znacznie łatwiejsze do testowania i kontrolowania w środowisku bankowym.

Czego to uczy: Dopasuj model do poziomu ryzyka. W przypadku wsparcia wewnętrznego śledź liczbę zgłoszeń do działu pomocy technicznej, powodzenie samoobsługi, powtarzające się zgłoszenia oraz czas rozwiązania problemu. Spadek liczby zgłoszeń jest obiecujący, ale nie dowodzi, że każdy pracownik faktycznie rozwiązał problem.

Jak wybrać odpowiednie wskaźniki AI

Znajomość wskaźników to łatwa część zadania. Trudniejsze jest wybranie kilku, które pasują do Twojego celu, a następnie świadome zignorowanie pozostałych. Oto podejście, na którym warto się oprzeć.

Powiąż każdy wskaźnik z jednym celem biznesowym

Najpierw określ cel, a następnie wybierz wskaźnik, który go mierzy. Jeśli celem jest obniżenie kosztów wspierania klienta, śledź koszt na jedno rozwiązanie. Jeśli celem jest zwiększenie przychodów, śledź przychód na jedną interakcję z AI. Jeśli celem jest przyspieszenie podejmowania decyzji, śledź szybkość podejmowania decyzji. Jeśli wskaźnik nie wiąże się z celem w ten sposób, zrezygnuj z niego.

A jeśli stosujesz OKR równolegle z KPI, pamiętaj o jasnym rozróżnieniu ról: cel wyznacza kierunek, a KPI mierzy postępy w jego realizacji. Częstym błędem jest śledzenie danych eksportowanych domyślnie przez narzędzie, zamiast wskaźników niezbędnych do realizacji celu. Wskaźnik, który łatwo uzyskać, ale nie odpowiada na żadne istotne pytanie, nadal stanowi zbędny balast.

Zastosuj metodę SMART i ogranicz liczbę

Spraw, by każdy wskaźnik KPI był konkretny, mierzalny, osiągalny, istotny i określony w czasie (SMART). Następnie celowo ogranicz ich liczbę. Zasadniczo należy ograniczyć się do trzech do pięciu wskaźników na cel i nie więcej niż siedmiu do dziesięciu na zespół. Jeśli liczba ta zostanie przekroczona, spotkania podsumowujące będą się przedłużać, a decyzje nie będą bardziej trafne, ponieważ uwaga rozprasza się na zbyt wiele elementów, by można było podjąć działania w oparciu o konkretną liczbę. Oto prosta zasada: jeśli nie potrafisz wskazać wskaźnika, który wpłynąłby na decyzję w tym tygodniu, Twoja lista stała się zbyt długa.

Zrównoważ wskaźniki wyprzedzające i opóźnione

Każdy wynik opóźniony należy powiązać z wskaźnikiem wyprzedzającym. Koszt rozwiązania problemu powiązany jest z poziomem wdrożenia. Wzrost przychodów powiązany jest z poziomem biegłości. Wskaźnik defektów powiązany jest z czasem realizacji przeglądu kodu.

Wskaźnik opóźniony potwierdza to, co już się wydarzyło; wskaźnik wyprzedzający wyświetla ostrzeżenie z odpowiednim wyprzedzeniem, umożliwiając podjęcie działań.

Przypisz własność i ustal częstotliwość

Każdy wskaźnik KPI musi mieć wyznaczonego właściciela i ustalony harmonogram przeglądów. Wskaźniki operacyjne sprawdzaj co tydzień, a te o większym znaczeniu – co miesiąc lub co kwartał. Powierz każdy wskaźnik osobie, która może wpłynąć na jego wartość, a nie tej, która sporządza raport. Jeśli właściciel nie ma rzeczywistej możliwości wpływania na wskaźnik, nikt nie jest za niego odpowiedzialny. Wartość wskaźnika po prostu dryfuje, aż zostanie zauważona podczas kolejnego przeglądu.

Narzędzia i zasoby do pomiaru wskaźników wydajności AI

Nie potrzebujesz od samego początku rozbudowanego zestawu narzędzi do pomiaru. Potrzebujesz odpowiedniego narzędzia do pomiaru wskaźnika, który chcesz zweryfikować.

Oto materiały, które warto poznać.

Z tabeli dowiesz się, które narzędzie nadaje się do danego zadania. Nie dowiesz się z niej jednak, jakie korzyści przynosi każde z nich ani przed jakimi niepowodzeniami Cię chroni.

Jak śledzić wskaźniki wydajności AI w ClickUp

Po wybraniu wskaźników KPI AI należy je umieścić w miejscu, które pozostaje w połączeniu z pracą, tak aby karta wyników aktualizowała się automatycznie.

Oto, w jaki sposób nasze własne zespoły na bieżąco monitorują wskaźniki AI w ClickUp:

Zacznij od gotowego narzędzia do śledzenia wskaźników KPI

Szablon KPI ClickUp zapewnia solidną strukturę wyjściową. Zawiera on statusy, takie jak „Zgodnie z planem”, „Zagrożone” i „Nie zgodnie z planem”, a także pola niestandardowe dla wartości docelowej, wartości rzeczywistej, postępu, różnicy i odchylenia.

Pobierz bezpłatny szablon

Dodaj od trzech do pięciu wskaźników KPI AI, które mają kluczowe znaczenie dla podejmowania decyzji, ustal cel dla każdego z nich i wyznacz właściciela. Mogą to być na przykład wskaźniki akceptacji po pierwszym przejrzeniu, zweryfikowana oszczędność czasu, koszt jednego sukcesu lub wskaźnik eskalacji. Widoki „Postęp” i „Podsumowanie” zapewniają następnie recenzentom szybki wgląd w to, które cele są realizowane zgodnie z planem, a które wymagają dokładniejszej analizy.

Pamiętaj: narzędzie do śledzenia rejestruje wyniki, ale samo w sobie nie gromadzi danych. Powiąż każdy wskaźnik KPI z zadaniami, w ramach których wykonywana jest praca, i wykorzystaj pola niestandardowe, formularze, automatyzacje, integracje lub aktualizacje od agentów, aby wprowadzić rzeczywiste wartości.

Monitoruj aktywne zakresy za pomocą pulpitów nawigacyjnych działających w czasie rzeczywistym

Gdy wartości te zostaną zastosowane w aktywnych zadaniach, pulpity nawigacyjne ClickUp mogą je agregować na poziomie listy, zespołu, cyklu pracy lub okresu czasu. Karty obliczeniowe sumują zweryfikowaną oszczędność czasu, średnie oceny jakości lub koszt rozwiązania jednego zgłoszenia. Wykresy słupkowe, liniowe i kołowe przedstawiają te same dane w podziale na model, przypadek użycia, zespół lub typ awarii.

Pozwól „mózgowi” Twojej firmy stworzyć raport i wskazać niedociągnięcia

Właśnie w obszarze raportowania kryje się większość ręcznego wysiłku. Jest to również część, którą warto zautomatyzować dopiero wtedy, gdy pola i definicje będą już wiarygodne. Ponieważ ClickUp Brain może współpracować z zadaniami, polami niestandardowymi, dokumentami i rozmowami w Twoim obszarze roboczym ClickUp, możesz zadawać mu pytania takie jak:

Odpowiedź, oparta na Twoim aktualnym kontekście pracy, pojawia się w ciągu kilku sekund. Kontynuuj w tym samym wątku, aby zawęzić analizę, porównać okresy lub poprosić Brain o przekształcenie wyników w interaktywne pulpity nawigacyjne lub prezentacje.

Chcesz dowiedzieć się więcej o ClickUp Brain? Oto krótki przewodnik.

Szczere zastrzeżenie: ClickUp dobrze łączy aktywność zespołu z celami. Nie jest to jednak hurtownia danych na dużą skalę, taka jak Snowflake, ani wyspecjalizowane narzędzie do monitorowania na poziomie modeli. Działa najlepiej, gdy dane i praca znajdują się w jednym miejscu – a właśnie tam znajdują się operacyjne wskaźniki KPI sztucznej inteligencji. Aby uzyskać szczegółowe dane telemetryczne modeli, należy połączyć go z dedykowanym narzędziem.

Zmierz, co faktycznie zmieniła AI

Najtrudniejsze w AI nigdy nie było skłonienie jej do zrobienia jakiegoś zadania. Najtrudniejsze jest ustalenie, czy to „zadanie” było warte zrobienia. Większość zespołów potrafi podać, jak często korzysta się z ich narzędzi i ile szkiców zostało wygenerowanych, ale prawie żadna z tych odpowiedzi nie odpowiada na jedyne pytanie, które ma znaczenie:

Czy praca stała się lepsza, tańsza lub szybsza w sposób odczuwalny dla wszystkich osób na dalszych etapach procesu?

Kiedy przed rozpoczęciem tworzenia systemu zdefiniujesz, jak ma wyglądać wartość, w rezultacie będziesz mierzyć to, co AI zmienia, a nie tylko to, co po prostu robi. Wybierz kilka wskaźników, które odzwierciedlają rzeczywisty cel. Następnie przypisz do każdego z nich wskaźnik kontrolny, aby poprawa szybkości nie przesłoniła spadku jakości. Na koniec przypisz każdej wartości punktowi odniesienia, celowi, terminowi oraz osobie odpowiedzialnej za jej realizację. Trzymaj tę kartę wyników obok pracy, którą mierzy, a sama powie ci prawdę.

A jeśli chcesz prowadzić śledzenie wszystkich tych aspektów w miarę rozszerzania zakresu wykorzystania AI, potrzebujesz narzędzia, które rozwija się wraz z Tobą. Zarejestruj się w ClickUp, aby stworzyć pulpit wskaźników KPI AI, który umieszcza każdy wskaźnik obok zadania, które mierzy.

Najczęściej zadawane pytania dotyczące wskaźników wydajności AI

Jakie są najważniejsze wskaźniki AI, które należy śledzić?

Zacznij od jednego wskaźnika z każdej z czterech warstw: dokładność lub akceptacja przy pierwszym przejściu (jakość wyników), opóźnienie (wydajność systemu), utrzymanie aktywnych użytkowników (stopień wykorzystania) oraz koszt rozwiązania lub zwrot z inwestycji (wpływ na biznes). Odpowiednia kombinacja zależy od zadania, jakie ma wykonać AI. Bot wsparcia technicznego wymaga wskaźników takich jak ograniczenie problemu, potwierdzone rozwiązanie oraz wskaźnik powtórnych zgłoszeń. Asystent programistyczny potrzebuje wskaźników takich jak czas realizacji zmian, wskaźnik przeróbek oraz czas przeglądu. Ogranicz łączną liczbę wskaźników do trzech do pięciu na każdy cel i połącz każdy z nich z wskaźnikiem przeciwstawnym, aby zysk w jednym wymiarze nie mógł niepostrzeżenie ukryć straty w innym.

Jaka jest różnica między wskaźnikiem wydajności AI a benchmarkiem AI?

Test porównawczy ocenia model na podstawie ustalonego, publicznie dostępnego zbioru danych i zadania; wskaźnik wydajności mierzy natomiast, jak system zachowuje się podczas wykonywania rzeczywistych zadań w środowisku produkcyjnym. Model może znaleźć się na szczycie rankingu, a mimo to zawieść pod względem opóźnień, kosztów lub bezpieczeństwa, gdy tylko trafią do niego prawdziwi użytkownicy. Traktuj testy porównawcze, takie jak ranking halucynacji firmy Vectara czy MMLU, jako narzędzie do wstępnej selekcji, a następnie mierz wskaźniki odpowiadające Twoim celom.

Jaki wskaźnik halucynacji jest dobry dla systemu opartego na AI?

Nie ma powszechnie przyjętego w branży wskaźnika błędów dla systemów AI. Przydatna wartość docelowa zależy od zadania, kosztu błędu oraz tego, czy system może uwzględniać niepewność. W przypadku praktycznych zastosowań biznesowych rozsądnym punktem wyjścia jest wskaźnik poniżej 5% na reprezentatywnym zestawie testowym. Jednak w przypadku systemów o wysokiej stawce należy dążyć do wartości znacznie bliższej zeru i przekazywać niepewne odpowiedzi do człowieka. Traktuj te 5% jako cel operacyjny, a nie opublikowaną normę.

Najważniejszym wnioskiem jest to, że wskaźnik halucynacji nie może być rozpatrywany w oderwaniu od innych czynników. Badanie opublikowane w czasopiśmie „Nature” wykazało, że powszechnie stosowane standardy dokładności premiują modele za zgadywanie, zamiast za przyznanie się do niewiedzy. Halucynacje należy mierzyć równolegle ze wskaźnikiem wstrzymania się od odpowiedzi, stopniem poważności błędów, wsparciem cytowań oraz częstotliwością, z jaką niepoparte twierdzenia docierają do użytkowników.

Jak często należy analizować wskaźniki wydajności AI?

Co tydzień analizuj wskaźniki operacyjne, takie jak opóźnienia, wskaźnik błędów i skuteczność ograniczania skutków; co miesiąc lub co kwartał analizuj wskaźniki biznesowe, takie jak koszt rozwiązania problemu i zwrot z inwestycji. Dostosuj częstotliwość analiz do tempa zmian danych oraz do osób, które podejmują na ich podstawie działania. Każdemu wskaźnikowi przypisz konkretnego właściciela, który ma realny wpływ na jego kształt.

Jakich narzędzi używasz do śledzenia wskaźników wydajności AI?

Większość zespołów łączy te dwa podejścia. Platformy robocze, takie jak ClickUp, śledzą operacyjne i biznesowe wskaźniki KPI obok zadań, które je generują, wykorzystując pulpity nawigacyjne, pola niestandardowe i agentowe cykle pracy do agregowania wartości, takich jak akceptacja za pierwszym podejściem czy koszt jednego zadania o powodzeniu. Dedykowane narzędzia do monitorowania, takie jak Arize, Langfuse i WhyLabs, obsługują telemetrię na poziomie modelu, np. dryft i halucynacje, podczas gdy hurtownia danych, taka jak Snowflake, przechowuje surowe zdarzenia do głębszej analizy.

Czy można zmierzyć wpływ AI bez grupy kontrolnej?

Tak, choć w mniej przejrzysty sposób. Grupa kontrolna pozwala oddzielić skutki działania AI od tego, co i tak by się wydarzyło, dlatego jest to najlepsza opcja. W przypadku jej braku należy zastosować wdrażanie etapowe lub dopasowaną linię bazową oraz uwzględnić zmiany cen, promocji, popytu i sezonowości. Zwykłe porównanie sytuacji „przed i po” pokazuje, co się zmieniło, ale nie wyjaśnia, co było tego przyczyną – w ten sposób sezonowy popyt lub równoległe usprawnienie procesu są błędnie przypisywane AI.

Jak mierzy się zwrot z inwestycji w AI?

Zwrot z inwestycji w sztuczną inteligencję (AI ROI) to wartość uzyskana dzięki systemowi AI w porównaniu z całkowitym kosztem jego stworzenia, eksploatacji i utrzymania. Przed wdrożeniem należy ustalić punkt odniesienia dla procesu, a następnie zmierzyć zmianę w konkretnym wskaźniku biznesowym, takim jak koszt rozwiązania jednego zgłoszenia lub przychód z jednej interakcji, w odniesieniu do całkowitego kosztu własności.