Metriche di prestazione dell’IA: oltre 50 KPI per misurare l’efficienza basata sull’IA

La maggior parte dei casi di studio sull’IA dell’azienda sembra sempre la stessa. La presentazione è splendida, il grafico sull’adozione sale, sale, sale, e poi qualcuno pone una domanda che può gelare l’atmosfera: cosa è cambiato nel conto economico?

La società di consulenza Roland Berger ha quantificato quel silenzio. Il suo studio, The AI Value Gap, ha effettuato un sondaggio su 203 dirigenti senior in Europa, Giappone e Stati Uniti. Quasi il 90% ha dichiarato che i rendimenti derivanti dall’IA erano ancora inferiori alla spesa sostenuta. La parte più rivelatrice si trovava proprio sotto quel titolo: la maggior parte non disponeva di metriche coerenti sulle prestazioni dell’IA legate ai risultati, ma solo di valutazioni sporadiche o di elenchi di KPI disorganizzati. Stavano procedendo alla cieca senza sapere se la tecnologia avesse effettivamente prodotto risultati.

E non servono più di 200 dirigenti per capire come funziona. Un agente di assistenza basato sull’IA può funzionare tutto il giorno, inviare risposte mediocri e illuminare ogni dashboard senza produrre nulla di concreto che il direttore finanziario possa vedere. Il grafico sembra positivo, quindi il team continua ad aumentare l’utilizzo. È proprio questa la trappola.

I team che ottengono risultati positivi fanno esattamente il contrario. Misurano ciò che l’IA consente di fare, lo confrontano con un valore di riferimento e assegnano ogni risultato a un titolare specifico.

Questa guida suddivide le metriche di prestazione dell’IA in quattro livelli: qualità dell’output, affidabilità del sistema, adozione da parte della forza lavoro e impatto aziendale. Ogni metrica include una formula, una linea guida e una contro-metrica. L’obiettivo è una scheda di valutazione sufficientemente snella da consentire di agire, abbinata a una titolarità che attribuisca a qualcuno la responsabilità quando i numeri cambiano.

Cosa sono le metriche di prestazione dell’IA? (E in cosa differiscono dalle metriche di vanità?)

Le metriche di prestazione dell’IA indicano l’efficacia di un sistema di IA e se questo genera valore aziendale. Alcune metriche di prestazione dell’IA misurano la qualità tecnica, come l’accuratezza e la latenza. Altre effettuano il monitoraggio dei risultati, quali la riduzione dei costi, l’accelerazione del lavoro o l’aumento dei ricavi.

La distinzione più importante è quella tra una metrica e un KPI. I prompt inviati, gli accessi, i token utilizzati e le parole generate sono metriche. Ma si trasformano in metriche di facciata nel momento stesso in cui le si presenta come un esito positivo, perché misurano il movimento, non i risultati. Un KPI è un insieme più ristretto di numeri che, quando variano, generano un risultato aziendale. Quindi, una metrica di prestazione dell’IA da monitorare sarebbe il costo per ticket risolto, non il numero di ticket gestiti.

Un KPI ben definito è composto da cinque parti: KPI dell’IA = Metrica + Valore di riferimento + Traguardo + Intervallo di tempo + Contro-metrica

Ad esempio, un KPI relativo all’IA per un team del supporto potrebbe contribuire a un obiettivo del tipo: Ridurre il tempo di prima risposta da 24 ore a meno di quattro ore entro un trimestre, senza compromettere la soddisfazione dei clienti. La soddisfazione dei clienti rappresenta in questo caso il contrappeso fondamentale. Impedisce al team di raggiungere il proprio traguardo di velocità ricorrendo a risposte rapide ma di scarsa qualità generate dall’IA.

Qual è la differenza tra un KPI e una metrica?

Ogni KPI è una metrica, ma non tutte le metriche sono KPI. Per una distinzione più approfondita, consulta la sezione " KPI vs. metriche".

Qual è la differenza tra indicatori anticipatori e indicatori ritardati?

Un indicatore anticipatore fornisce un avviso preventivo. Un indicatore ritardato registra il risultato dopo che si è verificato. Entrambi i termini vengono utilizzati regolarmente nell'impostazione e nella misurazione dei KPI.

Ad esempio, un aumento del tasso di override potrebbe indicare che i dipendenti non si fidano più dell’IA. Successivamente potrebbero verificarsi una minore adozione e costi più elevati, poiché i dipendenti si orientano verso altri strumenti. Il tasso di override è il segnale precoce; il costo è il risultato successivo.

Tuttavia, queste etichette dipendono dal contesto. L’accuratezza potrebbe registrare un ritardo rispetto all’aggiornamento di un modello, ma portare a un cambiamento successivo nella soddisfazione dei clienti. Ecco perché le metriche riportate di seguito sono raggruppate in base a ciò che misurano.

Oltre 50 metriche di prestazione dell’IA che dimostrano l’efficienza dei tuoi sistemi di IA

Le metriche giuste dipendono dallo scopo per cui è stata progettata l’IA. Un bot per il supporto clienti, un modello antifrode e un assistente alla scrittura non dovrebbero condividere la stessa scheda di valutazione.

Le metriche riportate di seguito si articolano in quattro livelli: qualità del modello e dell’output, prestazioni del sistema, adozione e impatto sulla forza lavoro, nonché risultati aziendali. Non è però necessario utilizzarle tutte. Scegli quelle che meglio si adattano al tuo obiettivo, quindi abbina a ciascuna una contro-metrica.

Metriche relative alla qualità dei modelli e dei risultati

Queste metriche rispondono alla prima domanda: L'IA produce un risultato corretto, utile e sicuro?

Per le attività con un'unica risposta nota, come la classificazione o l'estrazione dei dati, è possibile verificare l'output confrontandolo con un insieme di riferimento. Il lavoro generativo è più complesso da valutare perché possono esserci più risposte valide contemporaneamente. In questi casi, ci si affida a revisori umani o a valutatori basati su modelli per effettuare valutazioni di fattori quali la pertinenza, la fondatezza, la completezza e il rispetto delle istruzioni.

Questi punteggi ti aiutano a individuare i risultati insoddisfacenti e a capire cosa è andato storto. Ciò che non ti diranno, però, è se l’IA consente di risparmiare denaro, semplifica il flusso di lavoro o conquista la fiducia degli utenti. Le sezioni successive trattano proprio questi aspetti.

1. Accuratezza

L'accuratezza è la percentuale di previsioni corrette fornite dall'IA rispetto a una risposta nota. Supponiamo che un modello di smistamento dei ticket classifichi 1.000 ticket e ne indovini 920. La sua accuratezza è del 92%.

Sembra un risultato eccellente, ma l’accuratezza può nascondere gli errori più rilevanti. Se tutti gli 80 errori avessero inviato ticket urgenti alla coda sbagliata, il punteggio complessivo apparirebbe comunque soddisfacente. Inoltre, il valore di questo indicatore diminuisce quando un risultato si verifica con frequenza molto maggiore rispetto a un altro.

2. Precisione

La precisione indica la frequenza con cui l’IA ha ragione quando prevede un risultato positivo. In parole povere, ti dice quanti avvisi meritavano un intervento.

Supponiamo che un modello antifrode segnali 200 transazioni, ma che solo 150 siano effettivamente fraudolente. La sua precisione è del 75%. Le altre 50 sono falsi allarmi e ognuna di esse comporta un ulteriore carico di lavoro di verifica.

3. Recall

Il recall indica quanti dei casi positivi reali sono stati effettivamente individuati dall’IA. La precisione valuta se un segnale di allarme era corretto; il recall verifica se è stato tralasciato qualche caso reale. I due indicatori puntano in direzioni opposte, quindi un modello può risultare eccellente in uno dei due aspetti e fallire nell’altro.

Supponiamo che ci siano 180 transazioni fraudolente e che il modello ne individui 150. Il suo recall è dell’83,3%, il che significa che ha tralasciato 30 casi reali. In ambito di frodi, screening medico o sicurezza, tali omissioni potrebbero costare molto di più di una revisione aggiuntiva.

4. Punteggio F1

Il punteggio F1 combina precisione e richiamo. È utile quando sia i falsi allarmi che i casi non rilevati sono importanti, specialmente quando una classe appare con frequenza molto inferiore rispetto a un’altra.

Se un modello antifrode ha una precisione del 75% e un recall dell’83,3%, il suo punteggio F1 è pari a circa il 79%. Poiché l’F1 utilizza una media armonica, un punteggio basso in uno dei due parametri fa scendere il risultato complessivo.

5. Concretismo

La fondatezza indica se le affermazioni dell’IA sono supportate dalle fonti da cui ha attinto. È particolarmente importante nei sistemi basati sul recupero potenziato, dove una risposta fluida può comunque allontanarsi dalle prove a disposizione.

Supponiamo che un assistente alle politiche formuli 10 affermazioni fattuali e che i revisori possano ricondurne nove alla politica approvata. Il suo grado di fondatezza a livello di affermazione è del 90%. L’ultima affermazione richiede ancora attenzione, specialmente se riguarda la retribuzione, i benefici o la conformità.

Si tratta di una formula operativa, non universale. Prima di confrontare i risultati, stabilisci cosa si intende per "richiesta", cosa si qualifica come "supporto" e come valuterai il supporto parziale.

6. Rilevanza

La pertinenza indica se il risultato risponde alla domanda posta dall’utente. Una risposta può essere accurata ma comunque inutile se risolve un problema affine.

Supponiamo che i revisori valutino 100 risposte del chatbot e ne contrassegnino 85 come pertinenti. Ciò corrisponde a un tasso di superamento del test di pertinenza dell’85%. Tuttavia, questo numero ha poco significato finché il team non concorda su una griglia di valutazione e su una soglia minima di superamento.

7. Tasso di rispetto delle istruzioni

Il tasso di rispetto delle istruzioni misura la frequenza con cui l’IA obbedisce a ogni istruzione richiesta. Formato, lunghezza, esclusioni e azioni richieste possono tutti essere presi in considerazione.

Ad esempio, un flusso di lavoro richiede al modello di restituire un JSON valido con cinque campi obbligatori. Se 94 risultati su 100 soddisfano tutte le regole, la percentuale è del 94%. Una risposta che sembra corretta ma non rispetta lo schema JSON viene comunque considerata non valida.

Definisci le regole prima di eseguire il test. Se i valutatori decidono cosa significa «aver seguito le istruzioni» solo dopo aver visto il risultato, il punteggio risulterà variabile.

8. Punteggio di completezza

La «completezza» indica se l’IA ha coperto ogni parte richiesta dell’attività. Individua le risposte che sembrano curate ma che, in realtà, tralasciano silenziosamente qualcosa.

Supponiamo che un rapporto debba comprendere cinque sezioni e che l’IA ne completi quattro. Il suo punteggio di completezza è dell’80%. Ciò non significa che il rapporto sia valido all’80%. La sezione mancante potrebbe essere proprio quella di cui il lettore aveva più bisogno.

Per un lavoro di grande importanza, valuta gli elementi in base alla loro rilevanza. La mancanza di un avviso legale dovrebbe avere un peso maggiore rispetto alla mancanza di un esempio facoltativo.

9. Tasso di allucinazioni

Il tasso di allucinazione monitora la frequenza con cui l’IA formula affermazioni false o non supportate. Questi problemi si sovrappongono, ma non sono sempre la stessa cosa. Un’affermazione può essere vera nel contesto più ampio, ma non supportata dalle fonti che il sistema è stato programmato per utilizzare.

È possibile misurare le allucinazioni a livello di risposta o a livello di affermazione. Se 15 risposte su 500 contengono almeno un’affermazione non supportata, il tasso a livello di risposta è del 3%. Un calcolo a livello di affermazione potrebbe fornire un risultato diverso.

10. Tasso di completamento delle attività

Il tasso di completamento delle attività indica la frequenza con cui l’IA raggiunge lo stato finale richiesto. Per un agente, ciò può significare emettere un rimborso, aggiornare la scheda del cliente e confermare il risultato. Fornire una risposta plausibile non viene conteggiato.

Supponiamo che un agente elabori 1.000 richieste di rimborso ammissibili e ne porti a termine 700 senza l'aiuto umano. Il suo tasso di completamento autonomo delle attività è del 70%. Riporta separatamente i completamenti con assistenza, in modo che un passaggio di consegne senza intoppi non venga considerato né un esito positivo né un fallimento.

Non utilizzare un benchmark pubblico come traguardo di produzione. I punteggi degli agenti cambiano rapidamente e le attività di benchmark raramente corrispondono ai tuoi sistemi, alle tue politiche o ai tuoi clienti. Crea il set di test basandoti sul lavoro che il tuo agente dovrà effettivamente svolgere.

11. Accuratezza nella selezione degli strumenti

L'accuratezza nella selezione degli strumenti indica la frequenza con cui un operatore sceglie lo strumento giusto per il passaggio successivo. Questo dato è distinto dal fatto che lo strumento venga utilizzato correttamente.

Un operatore potrebbe effettuare una ricerca sul web quando invece dovrebbe queryare la scheda di un cliente, oppure inviare un’email quando l’utente ha chiesto solo una bozza. Una scelta sbagliata può far deragliare il resto dell’attività.

12. Accuratezza degli argomenti delle chiamate alle funzioni

Una volta che l'operatore ha scelto uno strumento, deve fornirgli i valori corretti. L'accuratezza degli argomenti della chiamata allo strumento verifica campi quali nomi, date, ID e importi.

Supponiamo che un operatore effettui 300 chiamate di prenotazione e che 264 di esse contengano tutti i dettagli corretti. La sua accuratezza rigorosa è dell’88%. In un flusso di pagamento o di prenotazione, una data o un numero di account errati possono causare un vero e proprio errore di transazione.

Una soglia di superamento rigorosa considera un campo errato come una chiamata fallita. Aggiungi l’accuratezza a livello di campo se hai anche bisogno di individuare quali argomenti causano il problema.

13. Qualità della traiettoria

La qualità della traiettoria esamina il percorso che un agente compie per portare a termine un'attività. Un agente potrebbe raggiungere il risultato corretto dopo diverse ricerche superflue, chiamate ripetute o violazioni delle politiche aziendali. Un semplice punteggio di completamento non terrebbe conto di tutto ciò.

Non valutare ogni esecuzione rispetto a un unico percorso ideale. Le attività complesse possono avere diversi percorsi validi. Valuta l’esecuzione in base ai passaggi richiesti, alle azioni consentite e alle deviazioni superflue.

Valuta i risultati in base a un insieme di regole anziché a un unico percorso perfetto, poiché le attività complesse presentano spesso diverse vie valide. Si tratta di un vero e proprio punto cieco nei test degli agenti. Il TRAJECT-Bench 2025 è stato creato per colmare questa lacuna, verificando la scelta degli strumenti, la correttezza degli argomenti e se le chiamate avvengono nell’ordine corretto, anziché limitarsi a verificare se l’agente ha raggiunto la fine.

14. Efficienza nella pianificazione del piano

L'efficienza della pianificazione indica la quantità di lavoro aggiuntivo che un operatore deve svolgere prima di raggiungere il risultato. Ogni passaggio in più comporta un aumento dei tempi, dei token e un'ulteriore possibilità di fallimento.

Se un'attività richiede quattro passaggi approvati e l'operatore ne utilizza sei, la sua efficienza di pianificazione basata sui passaggi è pari al 66,7%. Questo dato è valido solo se è possibile definire un percorso di riferimento equo o un budget di passaggi.

Non premiare mai un percorso più breve solo perché è più breve. Un agente che salta un controllo obbligatorio può sembrare efficiente, ma in realtà crea maggiori rischi.

15. Punteggio di coerenza

La coerenza indica se l’IA fornisce risultati equivalenti quando si ripete la stessa attività nelle stesse condizioni. Un test con esito positivo potrebbe semplicemente essere frutto della fortuna.

Supponiamo di eseguire la stessa attività 20 volte e che 18 risultati soddisfino gli stessi criteri di esito. Il tasso di coerenza è del 90%. Confronta i fatti, le decisioni o le azioni finali piuttosto che formulazioni simili.

16. Tasso di robustezza

Il tasso di robustezza misura se le prestazioni rimangono costanti quando l’input subisce variazioni realistiche. I test possono includere errori di battitura, dettagli mancanti, informazioni riorganizzate, prompt più lunghi o formulazioni diverse.

Se il modello gestisce 170 dei 200 casi di test modificati, il suo tasso di robustezza è dell’85%. Il set di test dovrebbe riflettere gli input errati inviati dagli utenti.

17. Tasso di violazioni delle norme di sicurezza

Il tasso di violazione della sicurezza indica con quale frequenza i risultati generati dall’IA violano una politica di sicurezza definita. Una violazione può riguardare consigli dannosi, dati privati, contenuti vietati o un’azione che l’agente non aveva il diritto di compiere.

Supponiamo che i revisori confermino 12 violazioni su 10.000 risultati. Il tasso è dello 0,12%. Anche un numero così basso potrebbe comunque essere inaccettabile se un singolo errore può causare gravi danni.

Segnalare sia la gravità che la frequenza. Dieci violazioni minori non dovrebbero avere lo stesso peso di una singola divulgazione di dati privati.

18. Divario di equità

Un divario di equità indica se l’IA agisce in modo diverso tra gruppi che dovrebbero ricevere un trattamento comparabile. Un unico punteggio di accuratezza complessivo può nascondere un ampio divario sottostante.

Supponiamo che un modello di screening abbia un tasso di veri positivi dell’82% per un gruppo e del 71% per un altro. Il divario è di 11 punti percentuali. Indica la misura oggetto del confronto. Il termine «divario di equità» da solo è troppo vago.

Un divario minore non dimostra che il sistema sia equo. Ogni gruppo potrebbe ottenere risultati ugualmente scarsi. Esamina il punteggio di ciascun gruppo insieme al divario.

19. Tasso di accettazione al primo passaggio

Il tasso di accettazione al primo controllo indica la frequenza con cui i risultati generati dall’IA sono utilizzabili già alla prima revisione. Questo dato fornisce informazioni ben più significative rispetto al semplice volume di contenuti, codice o analisi generati dal sistema.

Supponiamo che gli editor esaminino 100 bozze generate dall’IA e ne accettino 65 senza necessità di una seconda revisione o di correzioni sostanziali. Il tasso di accettazione al primo passaggio è del 65%. È importante definire in anticipo cosa si intende per “accettato”, poiché una correzione minore e una riscrittura completa non dovrebbero essere considerate lo stesso risultato.

20. Tasso di rilavorazione

Il tasso di rielaborazione indica con quale frequenza i risultati generati dall’IA necessitano di correzioni dopo essere stati inseriti nel flusso di lavoro. Questo indicatore mette in luce una falsa efficienza, in cui l’IA fa risparmiare tempo all’inizio ma trasferisce una maggiore mole di lavoro ai revisori o ai team a valle.

Se 22 su 100 campioni di codice scritti dall’IA vengono restituiti per la correzione, il tasso di rielaborazione è del 22%. Distingui i difetti causati dall’IA dalle revisioni di routine o dalle modifiche all’ambito di applicazione.

Metriche di sistema e operative

Questo livello verifica se i risultati di qualità raggiungono effettivamente gli utenti in modo affidabile, rapido e a un costo sostenibile per l’azienda. È qui che l’adozione si esaurisce silenziosamente, poiché un modello tecnicamente accurato che risponde lentamente o costa troppo non si guadagna mai un posto nel flusso di lavoro.

21. Latenza

La latenza è il tempo che intercorre tra una richiesta e un risultato utilizzabile, e ciò che viene considerato utilizzabile dipende interamente dall’attività. Per un classificatore, potrebbe essere la risposta finale. Per un agente, potrebbe essere il momento in cui l’azione richiesta viene completata. Attenzione però alle medie, perché nascondono i ritardi effettivamente percepiti dagli utenti. Un assistente di supporto potrebbe registrare una media di 1,2 secondi, ma arrivare a sei durante le ore di punta. Riporta i percentili come p50 e p95 in modo da vedere sia la richiesta tipica che quella più lenta.

Time to first token (TTFT): Per i sistemi di streaming, monitora anche il tempo necessario affinché la risposta inizi, non solo quello necessario per completarsi. Due assistenti possono entrambi completare l’operazione in cinque secondi, ma quello che inizia lo streaming a 300 ms sembra molto più veloce di quello che lascia lo schermo vuoto per due secondi. Non esiste un benchmark TTFT universale: la lunghezza del prompt, le dimensioni del modello, le code e il carico influiscono tutti su questo valore, quindi stabilisci un traguardo per il tuo caso d’uso specifico e testalo con un traffico realistico.

22. Throughput

La produttività indica la quantità di lavoro che il sistema completa entro un intervallo di tempo definito. Si possono contare le richieste al secondo, i documenti all’ora o le attività con esito positivo al giorno. Supponiamo che una pipeline di documenti gestisca 500 file all’ora in fase di test, ma scenda a 200 in condizioni di traffico reale. Questo divario indica se il sistema è in grado di far fronte a un periodo di picco senza accumulare un arretrato.

Indica ogni volta l'unità di misura. Le richieste al secondo e i token al secondo rispondono a domande diverse.

23. Tempo di funzionamento e disponibilità

La disponibilità è la percentuale del tempo programmato in cui il servizio di IA è effettivamente in grado di completare le richieste. Un servizio può essere online ma troppo lento o malfunzionante per completare il lavoro; pertanto, è necessario definire la disponibilità in base a un risultato utilizzabile. Un tasso mensile del 99% lascia comunque spazio a circa 7 ore e 12 minuti di inattività in un mese di 30 giorni. Ciò può andare bene per un assistente di scrittura facoltativo, ma è molto più difficile da accettare per uno strumento di supporto su cui le persone fanno affidamento 24 ore su 24.

24. Tasso di errore del sistema

Il tasso di errore del sistema comprende guasti tecnici quali timeout, modelli non disponibili, risposte non valide e integrazioni non funzionanti. Supponiamo che 30 richieste su 1.000 da parte degli agenti falliscano a causa di un'API non funzionante. Si tratta di un tasso di errore del 3%. Suddividi tali errori per causa, altrimenti il team saprà che qualcosa non ha funzionato ma non saprà dove cercare.

25. Tasso di riprova

Il tasso di riprova indica la frequenza con cui il sistema deve ripetere una richiesta o un'azione. L'attività sottostante potrebbe comunque andare a buon fine alla fine, motivo per cui le riprove sfuggono a una semplice valutazione del completamento. Supponiamo che 120 richieste su 1.000 richiedano un tentativo in più. Si tratta di un tasso di riprova del 12% e il sistema effettua complessivamente 1.120 tentativi, con un lavoro aggiuntivo pari a circa il 12% per quel batch. Più di una riprova per richiesta fa aumentare ulteriormente i costi.

26. Costo per attività completata con esito positivo

Il costo per attività completata con successo collega la spesa per l’IA al lavoro effettivamente completato, il che lo rende notevolmente più rappresentativo rispetto al costo per richiesta, dove i tentativi falliti continuano a consumare token, strumenti e infrastruttura. Supponiamo che ogni esecuzione dell’agente costi 10 centesimi, ma che solo la metà abbia esito positivo. Il costo diretto per ogni esito positivo è di 20 centesimi. Se si aggiungono la revisione umana o la rielaborazione, la cifra reale sale ancora di più.

27. Tasso di contenimento

Il tasso di contenimento è la percentuale di interazioni idonee che si concludono senza il passaggio a un operatore umano. I team del supporto lo utilizzano per stimare la quantità di richieste che l’IA è in grado di gestire autonomamente. È anche facile gonfiarne i valori. Supponiamo che un bot contenga 800 chat su 1.000, con un tasso dell’80%. Alcuni di quegli utenti hanno ricevuto una risposta vera e propria, mentre altri hanno semplicemente rinunciato. Entrambi sembrano essere stati gestiti, a meno che non si esamini cosa è successo in seguito.

Conta solo le query che l'IA è destinata a gestire. I trasferimenti basati su criteri non devono essere considerati come errori.

28. Tasso di escalation

Il tasso di escalation indica la frequenza con cui un'interazione gestita dall'IA viene trasferita a un operatore umano. Un tasso elevato può segnalare prestazioni insufficienti, ma può anche significare che il sistema sa quando è il momento di farsi da parte. Supponiamo che su 1.000 interazioni, 150 vengano trasferite, con un tasso del 15%. Di per sé, questo numero non dice molto. Suddividilo in trasferimenti richiesti dalle politiche aziendali, quelli richiesti dagli utenti e i casi che l'IA semplicemente non è riuscita a risolvere.

Metriche relative all'adozione e all'impatto sulla forza lavoro

Anche un sistema di IA funzionante deve ancora conquistarsi un posto nella routine quotidiana delle persone. Queste metriche mostrano se gli utenti lo provano, lo utilizzano per svolgere lavoro concreto e continuano a utilizzarlo una volta svanita la novità.

Il semplice utilizzo non è di per sé una prova del valore. Gallup ha rilevato che il 50% dei lavoratori americani utilizzava l’IA almeno un paio di volte all’anno, ma solo il 13% la utilizzava quotidianamente. Questo divario è esattamente il motivo per cui è necessario monitorare la frequenza, la profondità e la competenza d’uso, oltre alla semplice adozione.

29. Tasso di adozione da parte degli utenti idonei

Il tasso di adozione da parte degli utenti idonei indica quante delle persone che potrebbero utilizzare l’IA hanno completato almeno un’azione significativa con essa. In questo caso, è il denominatore a fare la differenza. Se 400 persone attivano uno strumento di IA, sembra un ottimo risultato. Ma se l’accesso è stato concesso a 4.000 dipendenti, l’adozione è in realtà solo del 10%. Escludete i lavoratori i cui ruoli non prevedono casi d’uso approvati o utili per l’IA.

Definisci cosa si intende per “azione significativa” prima del lancio. L’apertura dello strumento o l’invio di un prompt di prova non dovrebbero essere considerati come adozione.

30. Tasso di utilizzo attivo dell'IA

Il tasso di utilizzo attivo indica quanti utenti idonei si affidano effettivamente all’IA in un determinato periodo. L’utilizzo attivo settimanale spesso fornisce informazioni molto più significative rispetto al numero totale di registrazioni. Supponiamo che 1.000 dipendenti siano idonei e che 600 abbiano provato lo strumento, ma che solo 180 lo utilizzino effettivamente in una settimana tipo. Il numero relativo all’adozione potrebbe attestarsi al 60%, mentre l’utilizzo attivo settimanale è solo del 18%. Questo secondo numero riflette in modo molto più accurato il ruolo effettivo dello strumento nel flusso di lavoro.

Imposta una soglia adeguata al tipo di lavoro. Un utilizzo settimanale può essere adatto per strumenti di scrittura e supporto, mentre un assistente al piano trimestrale richiede un arco temporale più lungo.

31. Ampiezza dell'adozione

L’ampiezza dell’adozione mostra quanto sia diffuso l’uso dell’IA tra i team, i ruoli o le posizioni coinvolte nell’implementazione. Un tasso di adozione complessivo può nascondere un quadro sbilanciato. Un team di ingegneri potrebbe fare uso quotidiano dello strumento, mentre i reparti commerciali, di finanza e di supporto lo utilizzano a malapena.

Non aspettarti che ogni gruppo raggiunga lo stesso livello. Confronta i team solo quando l’IA è ugualmente utile e disponibile per tutti.

32. Grado di adozione

Il livello di adozione indica il numero di attività distinte che gli utenti attivi gestiscono con l’IA. Consente di distinguere un uso superficiale da uno vero e proprio. Chi si limita a riscrivere gli oggetti delle e-mail ha adottato lo strumento, ma non in modo approfondito. Chi invece lo utilizza per ricerche, bozze, analisi e note delle riunioni lo ha integrato in modo molto più ampio nella propria giornata lavorativa.

Un numero maggiore di casi d'uso non sempre significa un valore maggiore. Alcuni flussi di lavoro ad alto impatto possono rivelarsi più efficaci di un lungo elenco di flussi di lavoro banali.

33. Tasso di penetrazione del flusso di lavoro

La penetrazione nel flusso di lavoro indica quale percentuale del lavoro idoneo viene effettivamente terminato con il supporto dell’IA. L’adozione conta le persone. La penetrazione nel flusso di lavoro conta il lavoro stesso. Supponiamo che un team del supporto gestisca 10.000 ticket idonei all’assistenza tramite IA, ma che l’IA ne tratti solo 2.500. La penetrazione è del 25%, anche se ogni agente ha provato lo strumento almeno una volta.

Limita il denominatore al lavoro per il quale l’IA è stata approvata e in grado di gestire.

34. Tasso di fidelizzazione degli utenti attivi

La fidelizzazione indica quante persone continuano a utilizzare l’IA dopo il primo utilizzo significativo. Ti aiuta a distinguere l’adozione duratura dalla semplice curiosità della settimana di lancio. Supponiamo che 500 dipendenti attivino lo strumento a gennaio e che 300 continuino a soddisfare la soglia di utilizzo entro aprile. La tua fidelizzazione a tre mesi è del 60%.

Misura la fidelizzazione per coorte. Il confronto tra gli utenti attivi di questo mese e il totale del mese scorso può nascondere il fatto che i nuovi utenti stiano sostituendo quelli che se ne sono andati.

35. Tasso di competenza nell'IA

Il tasso di competenza indica quanti utenti sono in grado di completare un'attività approvata con l'IA, rispettando al contempo gli standard richiesti in termini di qualità e sicurezza. Assegnate alle persone un'attività realistica, quindi verificate il risultato. Un addetto all'assistenza è in grado di utilizzare l'IA per redigere una risposta accurata, verificare la fonte e individuare una politica inventata?

È possibile utilizzare l’IA frequentemente e tuttavia farne un uso inadeguato. Ecco perché la competenza va considerata alla pari dell’adozione, non subordinata ad essa.

36. Tasso di override

Il tasso di sovrascrittura indica la frequenza con cui una persona rifiuta, sostituisce o modifica un suggerimento dell’IA. Può rivelare risultati poco convincenti, scarsa fiducia o semplicemente un sano giudizio umano. Supponiamo che i revisori modifichino 240 delle 1.000 raccomandazioni dell’IA. Si tratta di un tasso di sovrascrittura del 24%. Tuttavia, è necessario conoscere il motivo. Una correzione necessaria e una preferenza personale nella formulazione non dovrebbero avere lo stesso peso.

Un basso tasso di modifica può effettivamente essere preoccupante, se significa che gli utenti accettano risultati scadenti senza verificarli.

37. Tasso di intervento umano

Il tasso di intervento umano misura la frequenza con cui un'attività avviata dall'IA necessita di un intervento non pianificato prima di poter essere completata. Ciò è diverso da un'approvazione pianificata o da un passaggio di consegne previsto dalle politiche aziendali. Supponiamo che un agente tenti di eseguire 1.000 attività e che sia necessario un intervento umano per 180 di esse. Si tratta di un tasso di intervento del 18%. Tali interventi comportano costi di manodopera che un tasso di completamento autonomo può nascondere.

Tieni la revisione pianificata fuori dal numeratore. Un'approvazione richiesta fa parte del flusso di lavoro, non è un errore del sistema.

38. Tempo risparmiato per ogni attività completata

Il tempo risparmiato per ogni attività completata mette a confronto l’intero flusso di lavoro assistito dall’IA con un punto di riferimento equo. Considera ogni fase: richiesta di input, attesa, verifica, correzione e riesecuzione. Se tralasci questo passaggio, conterai solo la rapidità della prima bozza, ignorando di fatto tutto il lavoro di rifinitura che viene dopo.

I risparmi di tempo dichiarati dagli utenti possono essere utili, ma devono essere verificati alla luce della realtà. Una ricerca della Federal Reserve di St. Louis ha rilevato che gli utenti dell’IA hanno dichiarato di risparmiare circa 2,2 ore in una settimana lavorativa di 40 ore. Tuttavia, uno studio randomizzato condotto da METR ha rilevato che gli sviluppatori esperti impiegavano il 19% di tempo in più utilizzando l’IA, anche se ritenevano che questa li avesse resi più veloci del 20%. Gli studi riguardavano attività diverse, ma nel loro insieme sottolineano lo stesso concetto: chiedete agli utenti quanto tempo hanno risparmiato, poi verificatelo con i dati relativi alle attività svolte.

39. Tempo di revisione dell’IA

Il tempo di revisione dell’IA misura il lavoro richiesto per controllare e approvare un risultato. È proprio qui che i risparmi di tempo promessi spesso si riducono silenziosamente. La generazione di una bozza tramite l’IA può richiedere 30 secondi, ma la sua verifica 12 minuti. Confronta questo tempo totale con quello che occorrerebbe per svolgere l’attività senza ricorrere affatto all’IA.

Non ridurre a zero i tempi di revisione nel lavoro ad alto rischio. L’obiettivo è una verifica efficiente, non un’approvazione cieca.

40. Punteggio di fiducia dei dipendenti

Il punteggio di fiducia dei dipendenti monitora se gli utenti ritengono che l’IA sia sufficientemente affidabile per le attività assegnate e se ne comprendono i limiti. È possibile misurarlo tramite un breve sondaggio che copra aspetti quali accuratezza, trasparenza, sicurezza e fiducia nell’individuazione degli errori. Evita domande generiche del tipo “Ti fidi dell’IA?”, poiché forniscono un punteggio vago su cui non è possibile agire.

Metriche relative all'impatto aziendale e al ROI

Questo è l’aspetto su cui i dirigenti basano i propri investimenti, e quello che la maggior parte dei dashboard dedicati all’IA trascura. Risultati, costi, ricavi, risultati per i clienti, ROI: questi sono i numeri che determinano se un programma verrà rinnovato o accantonato.

Sono anche gli aspetti più difficili da dimostrare. Il fatturato può aumentare dopo un lancio perché la domanda si è spostata, non perché l’IA abbia fatto qualcosa. I costi possono diminuire perché il team ha riorganizzato il proprio processo nello stesso periodo. Un semplice confronto «prima e dopo» indica cosa è cambiato, ma non cosa lo ha causato. Per questo è necessario un gruppo di controllo, un’implementazione graduale o una linea di base corrispondente, in modo da poter vedere cosa sarebbe successo comunque.

41. Throughput incrementale

La produttività incrementale misura la quantità aggiuntiva di lavoro accettabile che il team completa dopo l’introduzione dell’IA. Si tiene conto solo dei risultati che soddisfano gli stessi standard di qualità della linea di riferimento. Supponiamo che un team completasse 500 casi approvati a settimana prima dell’introduzione dell’IA e che ora ne completi 575. Si tratta di una produttività incrementale del 15%. Tuttavia, se contemporaneamente è aumentato il lavoro di rielaborazione, il guadagno effettivo potrebbe essere inferiore a quanto sembra.

42. Riduzione della durata ciclo

La riduzione della durata ciclo mostra di quanto sia più veloce il processo dall’inizio alla fine. Includi i tempi di attesa, revisione, correzioni e approvazione finale. Se misuri solo il passaggio di generazione tramite IA, il risultato apparirà migliore di quanto non sia in realtà. Supponiamo che la revisione di un contratto richiedesse cinque giorni prima dell’introduzione dell’IA e ora ne richieda tre. La durata ciclo è diminuta del 40%.

43. Costo per risoluzione

Il costo per risoluzione indica quanto l’azienda spende per risolvere un singolo problema. È un indicatore più significativo del costo per contatto, poiché un singolo problema di un cliente può generare diversi messaggi, chiamate o escalation. È necessario includere i costi dei modelli, la manodopera, le chiamate agli strumenti, la revisione e i contatti ripetuti. Altrimenti, una prima risposta a basso costo nasconde un percorso costoso verso la risposta definitiva.

44. Risparmi sui costi verificati

I risparmi sui costi verificati sono le spese che hai eliminato dopo aver implementato l’IA. Pensa a una riduzione degli straordinari, a un minor numero di ore esternalizzate o a una bolletta per l’infrastruttura più bassa. Il tempo risparmiato non equivale di per sé a denaro contante. Se i dipendenti rimangono nello stesso libro paga e la produzione rimane invariata, hai liberato capacità ma non hai ridotto un costo reale.

Tieni separata la prevenzione dei costi. I risparmi eliminano una spesa esistente. La prevenzione evita una spesa futura pianificata, come l’assunzione di altri cinque agenti per gestire il crescente volume di ticket. Entrambe possono dimostrare valore, ma mescolarle senza etichette fa sembrare il risultato più certo di quanto non sia in realtà.

45. Ricavi incrementali attribuibili all’IA

Il fatturato incrementale è il fatturato aggiuntivo generato dall’IA, al di là di quanto si sarebbe probabilmente verificato comunque. Il modo più chiaro per calcolarlo consiste nel confrontare un gruppo che utilizza l’IA con un gruppo di controllo simile. Non c’è un gruppo di controllo? Utilizza invece un’implementazione graduale o una linea di riferimento corrispondente. E apporta le opportune correzioni per tenere conto delle variazioni di prezzo, delle promozioni, della domanda e della stagionalità.

Il fatturato non equivale all'utile. Per calcolare il ROI, utilizza il margine lordo aggiuntivo, non il dato complessivo del fatturato.

46. Aumento del tasso di conversione

L'incremento del tasso di conversione indica se l'IA aiuta un numero maggiore di utenti a completare un'azione di traguardo, come un acquisto, la prenotazione di una demo o il completamento dell'onboarding. Supponiamo che il gruppo di controllo registri un tasso di conversione del 5% e il gruppo assistito dall'IA del 5,5%. L'incremento assoluto è di 0,5 punti percentuali, mentre quello relativo è del 10%. Specifica sempre a quale dei due ti riferisci.

47. Variazione della soddisfazione dei clienti

Il delta della soddisfazione dei clienti indica se le valutazioni dei clienti sono cambiate una volta che l’IA è stata integrata nell’esperienza. Confronta lo stesso canale, lo stesso tipo di problema, lo stesso gruppo di clienti e la stessa scala di valutazione. Supponiamo che l’assistenza supportata dall’IA ottenga un punteggio di 4,3 su cinque e che il gruppo di controllo ottenga un punteggio di 4,1. Il delta è pari a 0,2 punti.

Presta attenzione a chi risponde al sondaggio. I clienti soddisfatti e quelli insoddisfatti potrebbero rispondere con frequenza diversa, il che può influenzare il punteggio senza che vi sia un reale cambiamento nel servizio.

48. Tasso di contatti ripetuti

Il tasso di ricontatto indica la frequenza con cui un cliente torna a segnalare lo stesso problema irrisolto. Questo indicatore rileva i casi che sembravano risolti solo perché la prima chat si era casualmente conclusa. Supponiamo che 120 su 1.000 casi apparentemente risolti portino a un altro contatto entro una settimana. Si tratta di un tasso di ricontatto del 12%.

Definisci un intervallo di tempo ben preciso e abbina i contatti relativi allo stesso problema. Un cliente che torna con una nuova domanda non dovrebbe essere considerato come un caso di risoluzione fallita.

49. Tempo per il valore

Il "time to value" misura il tempo necessario affinché un progetto di IA produca il suo primo risultato aziendale verificato. Decidi cosa si intende per "valore" prima dell'avvio dell'implementazione. Un prototipo funzionante o il primo accesso di un utente non contano, a meno che non fossero stati fin dall'inizio l'obiettivo concordato.

50. Ritorno sull'investimento nell'IA

Il ritorno sull'investimento nell'IA mette a confronto i benefici netti verificati con il costo del programma. I benefici possono includere un aumento dell'utile lordo, risparmi reali sui costi e una riduzione dei costi chiaramente identificabile. Anche la voce dei costi deve essere considerata con onestà. Occorre considerare il software, i modelli e i server. A questi vanno poi aggiunti i costi di configurazione, formazione, supervisione, revisione e manutenzione.

Evita il doppio conteggio. Se l’IA fa risparmiare tempo ai dipendenti e tale tempo si traduce in una maggiore produttività, calcola il valore della produttività aggiuntiva o del risparmio di manodopera. Calcolare entrambi significa registrare lo stesso beneficio due volte.

51. Periodo di ammortamento

Il periodo di recupero dell’investimento indica il tempo necessario affinché un progetto di IA recuperi l’investimento iniziale attraverso benefici netti verificati. Supponiamo che l’implementazione costi 300.000 dollari e generi un beneficio netto di 25.000 dollari al mese. Il periodo di recupero semplice risulta pari a 12 mesi.

Un semplice calcolo del periodo di ammortamento non tiene conto del valore temporale del denaro né dei rendimenti ottenuti dopo la data di ammortamento. I team finanziari possono inoltre ricorrere al valore attuale netto per programmi di IA di grandi dimensioni o di lunga durata.

Perché la percezione è la metrica più pericolosa di tutte

Le persone notano il tempo che l’IA fa risparmiare nella stesura della prima bozza. Ciò di cui raramente tengono conto è il tempo che segue: scrivere il prompt, verificare i fatti, correggere gli errori e rielaborare le parti più deboli. Questo calcolo mancante fa sembrare il guadagno in termini di tempo notevolmente maggiore di quanto non sia in realtà.

Come afferma Farrah Lakhani, dirigente di alto livello responsabile della crescita e della strategia:

L’errore più comune che riscontro è quello di considerare il tempo risparmiato come il principale indicatore dell’esito positivo dell’IA. Le ore risparmiate, le attività automatizzate e la durata del ciclo sono i dati più facili da raccogliere e presentare in un aggiornamento al consiglio di amministrazione. Sono però anche quelli che meno riflettono il reale impatto aziendale.

Inoltre, METR ha condotto un sondaggio tra 349 professionisti tecnici per capire in che modo l’IA abbia influito sul loro lavoro. Il valore mediano riportato dagli intervistati indica un aumento della velocità pari a tre volte e una produzione di valore da 1,4 a 2 volte superiore.

Questi numeri sembrano impressionanti, ma METR li ha segnalati con cautela. Le cifre provengono dalle stime degli stessi lavoratori, non da attività cronometrate o da un gruppo di controllo. Inoltre, i ricercatori hanno riscontrato indizi secondo cui le affermazioni più audaci sopravvalutavano i risultati effettivamente ottenuti nel lavoro finito.

Nulla di tutto ciò rende la percezione inutile. Se le persone ritengono che l’IA sia loro d’aiuto, tendono a utilizzarla di più. La percezione mette inoltre in luce la fiducia, la facilità d’uso e la frustrazione. Diventa pericolosa solo quando un’azienda considera tale sensazione come prova della produttività o del ROI.

La mossa migliore è misurare il divario tra ciò che le persone riferiscono e ciò che emerge dal flusso di lavoro:

Ad esempio, supponiamo che i dipendenti segnalino un aumento della velocità del 30%, ma che i dati relativi alle attività mostrino solo un miglioramento del 10%. Si tratta di un divario di percezione di 20 punti. Ciò potrebbe indicare tempi di revisione nascosti, misurazioni inadeguate o un lavoro che sembra semplicemente più facile senza produrre un valore misurabile significativamente maggiore.

La regola più sicura è semplice: ascolta attentamente ciò che dicono i tuoi utenti, poi verifica se corrisponde al lavoro reale.

KPI specifici per le funzioni dell’IA

Un unico quadro di valutazione dell’IA non può adattarsi a tutti i team, poiché ogni team persegue un risultato diverso. Il servizio clienti punta alla risoluzione dei problemi. Il reparto di ingegneria punta alla stabilità delle consegne. Il marketing e il reparto commerciale puntano alla crescita, mentre il reparto operativo punta a costi, velocità e controllo. Parti da quel risultato. Quindi aggiungi le metriche che mostrano in che modo l’IA lo ha influenzato.

Servizio clienti e supporto

La vera domanda è se il problema del cliente sia rimasto risolto anche dopo la fine della chat.

Software e ingegneria

Misura l'intero percorso, dall'assegnazione del lavoro fino al rilascio stabile in produzione. Il codice generato rappresenta solo un passaggio di tale percorso.

Esempio: Nvidia offre una chiara dimostrazione di questa insidia. Afferma che oltre 30.000 dei suoi ingegneri utilizzano ora una versione personalizzata dell’assistente Cursor, che produce circa il triplo del codice rispetto a prima, senza alcun aumento dei bug. Ma un output triplicato è un indicatore di volume, non di consegna. Non mostra se le funzionalità vengano rilasciate più rapidamente o se reggano in produzione. Per colmare il divario, Nvidia dovrebbe modificare, oltre al volume, anche il Lead time, il tasso di difettosità in produzione e le rilavorazioni.

Marketing

L'IA applicata al marketing dovrebbe ridurre i costi o il tempo necessario per produrre il lavoro che superi la fase di revisione e ottenga risultati concreti con i clienti reali.

Commerciale

L'IA applicata alle vendite dimostra il proprio valore quando le trattative giuste avanzano più rapidamente lungo il percorso di vendita e alla fine si concludono con margini soddisfacenti.

Esempio: Workato dimostra perché “più veloce” non equivale a “vittoria”. Il suo CIO ha affermato che le trattative basate su dati arricchiti dagli agenti hanno attraversato le fasi della pipeline con una velocità superiore fino al 20%, con un miglioramento del 40% nei tempi di elaborazione dei preventivi. Entrambi i numeri provengono dall’azienda e misurano la velocità, non il risultato. Nessuno dei due conferma un aumento del fatturato derivante dalle trattative chiuse. Per dimostrare il vantaggio, Workato dovrebbe disporre del tasso di successo, del margine e del fatturato derivante da trattative simili, sia con che senza l’IA.

Operazioni e finanza

In questo contesto, l’IA dovrebbe completare il lavoro con un minor numero di interventi manuali, errori ed eccezioni. E ogni costo deve essere incluso nel calcolo.

Esempio: Omega Healthcare illustra come si presenta una valutazione completa dell’efficienza. L’azienda ha dichiarato a Business Insider che l’IA le consente di risparmiare oltre 15.000 ore di lavoro al mese in attività di gestione documentale, con tempi di elaborazione più rapidi del 50%, un’accuratezza del 99,5% e un ROI per i clienti del 30%. Questo insieme di dati riunisce tempi, qualità e costi in un’unica panoramica.

Casi di studio: come le aziende reali misurano l’efficienza ottenuta grazie all’IA

I risultati aziendali sono utili solo se si sa cosa è stato misurato. Il numero è stato osservato o effettuato come previsione? L’azienda ha conteggiato il lavoro risolto o semplicemente quello sottratto al personale umano? Questi quattro casi dimostrano perché tali dettagli contano molto più della cifra più alta riportata in un comunicato stampa.

Klarna (Un servizio veloce può comunque presentare lacune in termini di qualità)

Entro la fine del 2025, secondo quanto dichiarato da Klarna, il suo assistente di supporto basato sull’IA gestiva i due terzi di tutte le richieste dei clienti. L’azienda ha inoltre segnalato tempi di risposta più rapidi dell’82%, una riduzione del 25% dei problemi ricorrenti, un risparmio di 60 milioni di dollari e un carico di lavoro equivalente a quello di 853 agenti a tempo pieno.

Klarna ha continuato a investire nell’assistente, ma ha anche ricominciato ad assumere personale di assistenza in carne e ossa. Il suo CEO ha affermato che i clienti dovrebbero sempre poter parlare con una persona. Secondo la reportistica, questo cambiamento è stato determinato dai reclami relativi alle risposte generiche fornite alle domande più complesse. Da parte sua, l’azienda ha dichiarato che il livello di soddisfazione relativo all’IA è rimasto allo stesso livello di quello dell’assistenza umana.

Cosa si impara: monitora la velocità, i contatti ripetuti e i costi, ma suddividili per tipo di problema. Quindi misura i passaggi di mano non riusciti e la soddisfazione dopo i casi complessi. Una media elevata può nascondere proprio i ticket che contano di più.

IBM (Un aumento della produttività potrebbe non riguardare tutti gli sviluppatori)

IBM ha analizzato il proprio Watsonx Code Assistant per un articolo sottoposto a revisione paritaria presentato al CHI 2025. I ricercatori hanno condotto un sondaggio su 669 utenti e hanno condotto test di usabilità su altri 15. Molti utenti hanno ritenuto che lo strumento li rendesse più veloci, ma tale vantaggio non è stato condiviso da tutti. È importante sottolineare un limite significativo: lo studio ha esaminato l’esperienza degli sviluppatori e il loro percepito livello di produttività, ma non ha dimostrato che il software venisse rilasciato più rapidamente o con un minor numero di difetti.

Cosa si impara: Abbina i sondaggi tra gli utenti a metriche osservabili quali i tempi di revisione, le rielaborazioni, i tempi di Lead time per le modifiche e il tasso di fallimento delle modifiche. Quindi suddividi i risultati per attività e livello di esperienza. Una media di team può nascondere sviluppatori che impiegano più tempo a verificare i risultati dell’IA di quanto ne risparmino scrivendola.

Bank of America (Il controllo è parte integrante delle prestazioni)

Bank of America ha dichiarato che Erica, la propria assistente finanziaria virtuale, ha gestito 3 miliardi di interazioni con i clienti e ora ne registra in media oltre 58 milioni al mese. La versione destinata ai dipendenti ha raggiunto oltre il 90% del personale e ha dimezzato le chiamate al servizio di assistenza IT. Erica dimostra inoltre che l’efficienza dell’IA non richiede necessariamente un modello generativo. La banca gestisce il proprio assistente clienti basandosi su una libreria fissa di oltre 700 risposte. Ciò conferisce a Erica meno libertà rispetto a un chatbot aperto, ma rende le risposte molto più facili da testare e gestire in un contesto bancario.

Cosa si impara da questo: Adatta il modello al rischio. Per l’assistenza interna, monitora le chiamate al service desk, l’esito positivo del self-service, i contatti ripetuti e i tempi di risoluzione. Un calo del volume delle chiamate è promettente, ma non dimostra che ogni dipendente abbia effettivamente risolto il problema.

Come scegliere le metriche giuste per l’IA

Conoscere le metriche è la parte facile. La vera sfida sta nel selezionare quelle che meglio si adattano al tuo obiettivo, ignorando deliberatamente il resto. Ecco l’approccio su cui fare affidamento.

Collega ogni metrica a un obiettivo aziendale

Definisci prima l’obiettivo, poi scegli la metrica che lo misura. Se l’obiettivo è ridurre i costi dell’assistenza, effettua il monitoraggio del costo per risoluzione. Se è aumentare il fatturato, effettua il monitoraggio del fatturato per interazione con l’IA. Se è accelerare le decisioni, effettua il monitoraggio della velocità decisionale. Se una metrica non è collegata a un obiettivo come questi, eliminala.

E se utilizzi gli OKR insieme ai KPI, mantieni chiari i ruoli: l’obiettivo definisce la direzione, il KPI misura i progressi compiuti in tale direzione. L’errore più comune è il monitoraggio di qualsiasi dato esportato per impostazione predefinita dal tuo strumento, invece dei numeri effettivamente necessari per l’obiettivo. Una metrica facile da estrarre ma che non risponde a nessuna domanda concreta è comunque solo un elemento di confusione.

Applica il metodo SMART e limita il numero

Rendi ogni KPI specifico, misurabile, raggiungibile, rilevante e limitato nel tempo (SMART). Quindi limita il numero in modo deliberato. In generale, mantieniti tra i tre e i cinque per obiettivo e non più di sette-dieci per team. Oltre questo limite, le riunioni di revisione si protraggono a lungo senza che le decisioni diventino più precise, poiché l’attenzione si frammenta troppo per poter agire su ogni singolo dato. Ecco un semplice controllo: se non riesci a identificare la metrica che cambierebbe una decisione questa settimana, la tua lista è diventata troppo lunga.

Bilancia gli indicatori anticipatori e quelli ritardati

Abbina ogni risultato "lagging" a un indicatore predittivo "leading". Il costo per risoluzione è correlato al livello di adozione. L'incremento dei ricavi è correlato al livello di competenza. Il tasso di difetti è correlato ai tempi di revisione del codice.

Le metriche lagging confermano ciò che è già accaduto; quelle leading ti forniscono un avviso con sufficiente anticipo per poter agire.

Assegna la titolarità e definisci una cadenza

Ogni KPI deve avere un titolare designato e una cadenza di revisione. Controlla le metriche operative settimanalmente, mentre quelle più significative mensilmente o trimestralmente. Assegna ogni metrica alla persona in grado di influenzarne il valore, non a chi redige il rapporto. Se il titolare non ha alcuna leva effettiva per modificarla, nessuno se ne assume la responsabilità. Il numero continuerà a fluttuare fino a quando non verrà notato durante la revisione successiva.

Strumenti e risorse per misurare le metriche di prestazione dell’IA

Non è necessario disporre fin da subito di un sistema di misurazione complesso. Ciò di cui hai bisogno è lo strumento giusto per la metrica che intendi dimostrare.

Ecco le risorse da non perdere.

La tabella ti indica quale strumento è adatto a quale attività. Ciò che non può dirti è quali vantaggi ti offre ciascuno di essi, né quali errori ti aiuta a evitare.

Come effettuare il monitoraggio delle metriche di prestazione dell’IA in ClickUp

Una volta scelti i tuoi KPI relativi all’IA, è necessario che abbiano una sede che rimanga in connessione con il lavoro, in modo che la scheda di valutazione si aggiorni automaticamente.

Ecco come i nostri team mantengono aggiornate le metriche sull’IA in ClickUp:

Inizia con uno strumento di monitoraggio dei KPI già pronto

Il modello KPI di ClickUp ti offre una solida struttura di partenza. Include stati come "In linea con gli obiettivi", "A rischio" e "Fuori linea", oltre a campi personalizzati per valore target, valore effettivo, stato, differenza e varianza.

Scarica il modello gratis

Aggiungi da tre a cinque KPI di IA che guidano una decisione, imposta un traguardo per ciascuno e assegna un titolare. Ciò potrebbe significare l’accettazione al primo passaggio, le ore di risparmio verificate, il costo per esito positivo o il tasso di escalation. Le viste “Progressi” e “Riassunto” offrono quindi ai revisori una rapida panoramica su quali traguardi stanno andando a buon fine e quali richiedono un’analisi più approfondita.

Ricorda: lo strumento di monitoraggio registra il punteggio, ma non raccoglie autonomamente le prove. Collega ogni KPI alle attività in cui si svolge il lavoro e utilizza campi personalizzati, moduli, automazioni, integrazioni o aggiornamenti degli agenti per inserire i valori reali.

Monitora gli ambiti attivi con dashboard in tempo reale

Una volta che questi valori vengono applicati alle attività attive, le dashboard di ClickUp possono aggregarli a livello di elenco, team, flusso di lavoro o periodo di tempo. Le schede di calcolo sommano il tempo risparmiato verificato, i punteggi medi di qualità o il costo per risoluzione. I grafici a barre, a linee e a torta suddividono gli stessi dati per modello, caso d’uso, team o tipo di errore.

Lascia che sia il "cervello" della tua azienda a generare la reportistica e a segnalare le lacune

La reportistica è l’area in cui si nasconde gran parte del lavoro richiesto. È anche la parte che vale la pena automatizzare solo dopo che i campi e le definizioni sono affidabili. Poiché ClickUp Brain è in grado di interagire con le attività, i campi personalizzati, i documenti e le conversazioni presenti nell’area di lavoro di ClickUp, puoi porgli domande come:

La risposta viene ricavata dal tuo attuale contesto di lavoro in pochi secondi. Continua nello stesso thread per affinare l’analisi, confrontare periodi o chiedere a Brain di trasformare i risultati in dashboard interattive o presentazioni.

Vuoi approfondire ClickUp Brain? Ecco una breve guida.

Limitazione da segnalare: ClickUp collega efficacemente l’attività del team agli obiettivi. Tuttavia, non è un data warehouse su larga scala come Snowflake, né uno strumento specializzato per il monitoraggio a livello di modello. Funziona al meglio quando i dati e il lavoro sono concentrati in un unico posto, proprio dove risiedono i KPI operativi dell’IA. Per una telemetria approfondita dei modelli, abbinalo a uno strumento dedicato.

Misura cosa ha effettivamente cambiato l’IA

La parte difficile dell’IA non è mai stata farle fare qualcosa. È capire se quel “qualcosa” valesse la pena di essere fatto. La maggior parte dei team è in grado di dirti quanto vengono utilizzati i propri strumenti, quante bozze sono state generate, ma quasi nessuno di loro risponde all’unica domanda che conta:

Il lavoro è migliorato, è diventato più economico o più veloce in modo tangibile per chiunque a valle del processo?

Quando definisci in anticipo quale sia il valore aggiunto prima di sviluppare il sistema, finisci per misurare ciò che l’IA cambia, anziché limitarti a valutare ciò che semplicemente fa. Scegli una manciata di metriche che corrispondano a un obiettivo reale. Quindi, assegna a ciascuna una contro-metrica, in modo che un miglioramento in termini di velocità non possa nascondere un calo di qualità. Infine, attribuisci a ogni numero un valore di riferimento, un traguardo, una scadenza e un titolare in grado di influenzarlo. Tenete quella scheda di valutazione accanto al lavoro che misura, e vi dirà la verità da sola.

E se vuoi effettuare il monitoraggio di tutto questo man mano che il tuo utilizzo dell’IA cresce, hai bisogno di uno strumento che cresca con te. Iscriviti a ClickUp per creare una dashboard dei KPI dell’IA che mantenga ogni metrica accanto al lavoro che misura.

Domande frequenti sulle metriche di prestazione dell’IA

Quali sono le metriche più importanti da monitorare nell'ambito dell'IA?

Inizia scegliendone una per ciascuno dei quattro livelli: accuratezza o accettazione al primo tentativo (qualità dell’output), latenza (prestazioni del sistema), fidelizzazione degli utenti attivi (adozione) e costo per risoluzione o ROI (impatto sul business). La combinazione giusta dipende dal compito dell’IA. Un bot di assistenza richiede contenimento, risoluzione confermata e tasso di contatti ripetuti. Un assistente alla programmazione richiede lead time per le modifiche, tasso di rielaborazione e tempo di revisione. Limita il totale a tre-cinque metriche per obiettivo e abbina a ciascuna una contro-metrica, in modo che un miglioramento in una dimensione non possa nascondere silenziosamente una perdita in un’altra.

Qual è la differenza tra una metrica di prestazione dell’IA e un benchmark dell’IA?

Un benchmark valuta un modello su un set di dati pubblico e un’attività prestabilite; una metrica di prestazione misura invece come il tuo sistema si comporta nel tuo contesto operativo in produzione. Un modello può essere in cima a una classifica e tuttavia fallire in termini di latenza, costi o sicurezza una volta che gli utenti reali lo utilizzano. Considera i benchmark, come la classifica delle allucinazioni di Vectara o l’MMLU, come uno strumento di selezione iniziale, quindi misura le metriche che corrispondono al tuo obiettivo.

Qual è un buon tasso di allucinazioni per un sistema di IA?

Non esiste un tasso di errore universalmente accettato a livello di settore per un sistema di IA. Un traguardo utile dipende dall’attività da svolgere, dal costo di un errore e dalla capacità del sistema di gestire l’incertezza. Per applicazioni aziendali concrete, un tasso inferiore al 5% su un set di test di produzione rappresentativo costituisce un punto di partenza ragionevole. Tuttavia, i sistemi ad alto rischio dovrebbero puntare a valori molto più vicini allo zero e inoltrare le risposte incerte a un operatore umano. Considerate quel 5% come un traguardo operativo, non come uno standard pubblicato.

La lezione più importante è che il tasso di allucinazioni non può essere considerato isolatamente. Uno studio pubblicato su Nature ha rilevato che i comuni benchmark di accuratezza premiano i modelli che azzardano ipotesi piuttosto che ammettere di non sapere. Misurate le allucinazioni insieme al tasso di astensione, alla gravità degli errori, al supporto delle citazioni e alla frequenza con cui le affermazioni non supportate raggiungono gli utenti.

Con quale frequenza è opportuno esaminare le metriche di prestazione dell’IA?

Esamina settimanalmente le metriche operative quali latenza, tasso di errore e contenimento; esamina mensilmente o trimestralmente le metriche aziendali quali costo per risoluzione e ROI. Adatta la frequenza in base alla rapidità con cui i dati possono variare e a chi interviene in base a essi. Assegna a ogni metrica un titolare designato che controlli una leva concreta.

Quali strumenti utilizzi per il monitoraggio delle metriche relative alle prestazioni dell'IA?

La maggior parte dei team utilizza un approccio a due livelli. Piattaforme di lavoro come ClickUp monitorano i KPI operativi e aziendali accanto alle attività che li generano, utilizzando dashboard, campi personalizzati e flussi di lavoro automatizzati per aggregare valori quali l’accettazione al primo tentativo o il costo per attività con esito positivo. Strumenti di osservabilità dedicati come Arize, Langfuse e WhyLabs gestiscono la telemetria a livello di modello, come la deriva e le allucinazioni, mentre un data warehouse come Snowflake archivia gli eventi grezzi per un’analisi più approfondita.

È possibile misurare l’impatto dell’IA senza un gruppo di controllo?

Sì, anche se in modo meno preciso. Un gruppo di controllo isola ciò che è stato causato dall’IA da ciò che sarebbe accaduto comunque, quindi rappresenta l’opzione più valida. In sua assenza, ricorri a un’implementazione graduale o a una linea di base corrispondente, e apporta le opportune correzioni per tenere conto delle variazioni di prezzo, delle promozioni, della domanda e della stagionalità. Un semplice confronto «prima e dopo» indica cosa è cambiato, ma non cosa lo ha causato: è così che la domanda stagionale o la risoluzione di un problema in un processo parallelo vengono erroneamente attribuite all’IA.

Come si misura il ROI dell'IA?

Il ROI dell’IA è il valore ottenuto da un sistema di IA rispetto al suo costo totale di realizzazione, gestione e manutenzione. Stabilisci un valore di riferimento per il processo prima dell’implementazione, quindi misura la variazione di una misura aziendale oggettiva, come il costo per risoluzione o il ricavo per interazione, rispetto al costo totale di titolarità.