Metrik Kinerja AI: Lebih dari 50 KPI untuk Mengukur Efisiensi yang Didorong oleh AI

Sebagian besar studi kasus AI di perusahaan terlihat serupa. Presentasinya sangat menarik, grafik adopsi terus naik, naik, dan naik, lalu tiba-tiba ada yang mengajukan pertanyaan yang bisa membuat suasana ruangan langsung hening: apa yang berubah pada laporan laba rugi?

Perusahaan konsultan, Roland Berger, mengukur dampak dari keheningan tersebut. Studi mereka, The AI Value Gap, mensurvei 203 eksekutif senior di seluruh Eropa, Jepang, dan AS. Hampir 90% di antaranya menyatakan bahwa hasil yang diperoleh dari AI masih tertinggal dibandingkan pengeluaran mereka. Bagian yang lebih mengungkap fakta terdapat tepat di bawah judul tersebut: sebagian besar dari mereka tidak memiliki metrik kinerja AI yang koheren yang terkait dengan hasil, hanya tinjauan satu kali atau daftar KPI yang berantakan. Mereka bergerak tanpa arah yang jelas mengenai apakah teknologi tersebut benar-benar memberikan hasil atau tidak.

Dan Anda tidak perlu melibatkan lebih dari 200 eksekutif untuk memahami bagaimana rasanya. Seorang agen dukungan AI dapat beroperasi sepanjang hari, mengirimkan balasan yang biasa-biasa saja, dan membuat setiap dasbor terlihat aktif, namun tidak menghasilkan apa pun yang dapat dilihat oleh CFO. Grafiknya terlihat sehat, sehingga tim terus meningkatkan penggunaannya. Itulah jebakannya.

Tim yang melakukannya dengan benar justru melakukan hal sebaliknya. Mereka mengukur apa yang dapat dilakukan oleh AI, membandingkannya dengan patokan, dan menyerahkan setiap hasil kepada pemilik yang ditunjuk.

Panduan ini membagi metrik kinerja AI menjadi empat lapisan: kualitas output, keandalan sistem, adopsi oleh tenaga kerja, dan dampak bisnis. Setiap metrik dilengkapi dengan rumus, arahan, dan metrik penyeimbang. Tujuannya adalah menciptakan kartu skor yang cukup ringkas untuk ditindaklanjuti, disertai dengan penentuan tanggung jawab yang memastikan ada pihak yang bertanggung jawab ketika angka-angka tersebut berubah.

Apa Itu Metrik Kinerja AI? (dan Apa Perbedaannya dengan Metrik Vanity?)

Metrik kinerja AI menunjukkan seberapa baik sistem AI bekerja dan apakah sistem tersebut menciptakan nilai bisnis. Beberapa metrik kinerja AI mengukur kualitas teknis, seperti akurasi dan latensi. Metrik lainnya memantau hasilnya, seperti biaya yang lebih rendah, pekerjaan yang lebih cepat, atau pendapatan yang lebih tinggi.

Perbedaan yang paling penting adalah antara metrik dan KPI. Prompt yang dikirimkan, login, token yang digunakan, dan kata-kata yang dihasilkan adalah metrik. Namun, metrik-metrik tersebut berubah menjadi metrik vanity begitu Anda menyajikannya sebagai keberhasilan, karena metrik tersebut mengukur aktivitas, bukan hasil. KPI adalah sekumpulan angka yang lebih kecil yang menghasilkan hasil bisnis ketika angkanya berubah. Jadi, metrik kinerja AI yang perlu dilacak adalah biaya per tiket yang diselesaikan, bukan jumlah tiket yang ditangani.

Sebuah KPI yang didefinisikan dengan baik terdiri dari lima bagian: KPI AI = Metrik + Nilai Awal + Target + Rentang Waktu + Metrik Pembanding

Sebagai contoh, KPI AI untuk tim dukungan dapat berkontribusi pada tujuan seperti: Mengurangi waktu respons pertama dari 24 jam menjadi kurang dari empat jam dalam satu kuartal, tanpa menurunkan kepuasan pelanggan. Kepuasan pelanggan merupakan faktor penyeimbang yang sangat penting di sini. Hal ini mencegah tim mencapai target kecepatan dengan balasan yang dihasilkan AI yang cepat namun berkualitas rendah.

Apa perbedaan antara KPI dan metrik?

Setiap KPI adalah metrik, tetapi tidak setiap metrik adalah KPI. Untuk penjelasan lebih rinci, lihat perbandingan antara KPI dan metrik.

Apa perbedaan antara indikator leading dan lagging?

Indikator leading memberikan peringatan dini. Indikator lagging mencatat hasil setelah kejadian tersebut terjadi. Kedua istilah tersebut sering digunakan saat menetapkan dan mengukur KPI.

Misalnya, tingkat override yang meningkat mungkin menandakan bahwa karyawan tidak lagi mempercayai AI tersebut. Adopsi yang menurun dan biaya yang lebih tinggi mungkin akan terjadi kemudian seiring karyawan beralih ke alat lain. Tingkat override merupakan sinyal awal; biaya adalah hasil yang muncul kemudian.

Namun, label-label ini bergantung pada konteks. Akurasi mungkin tertinggal dari pembaruan model, tetapi dapat menyebabkan perubahan kepuasan pelanggan di kemudian hari. Itulah sebabnya metrik di bawah ini dikelompokkan berdasarkan apa yang diukurnya.

Lebih dari 50 Metrik Kinerja AI yang Membuktikan Efisiensi Sistem AI Anda

Metrik yang tepat bergantung pada tujuan penggunaan AI tersebut. Bot layanan pelanggan, model deteksi penipuan, dan asisten penulisan tidak seharusnya menggunakan kartu skor yang sama.

Metrik di bawah ini terbagi ke dalam empat lapisan: kualitas model dan hasil, kinerja sistem, adopsi dan dampak terhadap tenaga kerja, serta hasil bisnis. Namun, Anda tidak perlu menggunakan semuanya. Pilih beberapa yang sesuai dengan tujuan Anda, lalu pasangkan masing-masing dengan metrik pembanding.

Metrik kualitas model dan keluaran

Metrik-metrik ini menjawab pertanyaan pertama: Apakah AI menghasilkan hasil yang benar, berguna, dan aman?

Untuk tugas dengan satu jawaban yang diketahui, seperti klasifikasi atau ekstraksi data, Anda dapat membandingkan hasilnya dengan kumpulan referensi. Pekerjaan generatif lebih sulit untuk dinilai karena beberapa jawaban dapat dianggap valid secara bersamaan. Dalam hal ini, Anda mengandalkan penilai manusia atau evaluator berbasis model untuk menilai faktor-faktor seperti relevansi, keakuratan, kelengkapan, dan kepatuhan terhadap instruksi.

Skor-skor ini membantu Anda mengidentifikasi hasil yang kurang memuaskan dan melacak apa yang salah. Namun, skor-skor tersebut tidak akan memberi tahu Anda apakah AI menghemat biaya, memperlancar alur kerja, atau membangun kepercayaan pengguna. Bagian-bagian selanjutnya akan membahas hasil-hasil tersebut.

1. Akurasi

Akurasi adalah persentase prediksi yang benar yang dihasilkan AI dibandingkan dengan jawaban yang diketahui. Misalnya, sebuah model pengalokasian tiket memberi label pada 1.000 tiket dan 920 di antaranya benar. Akurasinya adalah 92%.

Itu terdengar meyakinkan, tetapi akurasi bisa menyembunyikan kesalahan yang paling krusial. Jika semua 80 kesalahan tersebut mengirimkan tiket darurat ke antrean yang salah, skor keseluruhan tetap akan terlihat baik-baik saja. Nilai metrik tersebut juga berkurang jika satu hasil muncul jauh lebih sering daripada yang lain.

2. Ketepatan

Presisi menunjukkan seberapa sering AI benar saat memprediksi hasil positif. Sederhananya, metrik ini memberi tahu Anda berapa banyak peringatan yang layak ditindaklanjuti.

Misalkan sebuah model deteksi penipuan menandai 200 transaksi, tetapi hanya 150 di antaranya yang merupakan penipuan. Tingkat akurasi model tersebut adalah 75%. Sisanya, yaitu 50 transaksi, merupakan alarm palsu, dan masing-masing transaksi tersebut menimbulkan beban kerja tambahan untuk peninjauan.

3. Recall

Recall menunjukkan berapa banyak kasus positif yang sebenarnya berhasil terdeteksi oleh AI. Precision menilai apakah suatu penandaan benar; recall menilai apakah ada kasus yang sebenarnya terlewatkan. Keduanya bergerak ke arah yang berlawanan, sehingga sebuah model bisa terlihat unggul dalam satu aspek namun gagal dalam aspek lainnya.

Misalkan ada 180 transaksi penipuan, dan model tersebut mendeteksi 150 di antaranya. Nilai recall-nya adalah 83,3%, yang berarti model tersebut melewatkan 30 kasus penipuan yang sebenarnya. Dalam konteks penipuan, skrining medis, atau keamanan, kasus-kasus yang terlewatkan tersebut dapat menimbulkan kerugian yang jauh lebih besar daripada biaya peninjauan tambahan.

4. Skor F1

Skor F1 menggabungkan presisi dan recall. Skor ini berguna ketika baik alarm palsu maupun kasus yang terlewatkan sama-sama penting, terutama ketika satu kelas muncul jauh lebih jarang daripada yang lain.

Jika sebuah model deteksi penipuan memiliki presisi 75% dan recall 83,3%, skor F1-nya sekitar 79%. Karena F1 menggunakan rata-rata harmonik, skor yang rendah pada salah satu sisi akan menurunkan hasil secara keseluruhan.

5. Keberadaan di dunia nyata

"Groundedness" menunjukkan apakah klaim AI didukung oleh sumber-sumber yang diterimanya. Hal ini paling penting dalam sistem yang diperkuat dengan pengambilan data, di mana jawaban yang lancar masih dapat melenceng dari bukti yang ada.

Misalkan seorang asisten kebijakan mengajukan 10 klaim faktual dan para peninjau dapat melacak sembilan di antaranya kembali ke kebijakan yang telah disetujui. Tingkat keakuratan klaimnya adalah 90%. Klaim terakhir masih memerlukan perhatian, terutama jika berkaitan dengan gaji, tunjangan, atau kepatuhan.

Ini adalah rumus operasional, bukan rumus universal. Tentukan apa yang dianggap sebagai klaim, apa yang memenuhi syarat sebagai dukungan, dan bagaimana Anda akan menilai dukungan parsial sebelum membandingkan hasil.

6. Relevansi

Relevansi menunjukkan apakah hasil yang diberikan menjawab pertanyaan yang diajukan pengguna. Sebuah jawaban bisa saja akurat namun tetap tidak berguna jika hanya menyelesaikan masalah yang serupa.

Misalkan para penilai mengevaluasi 100 respons chatbot dan menilai 85 di antaranya sebagai relevan. Hal ini memberikan tingkat kelulusan relevansi sebesar 85%. Namun, angka tersebut tidak berarti banyak hingga tim menyepakati pedoman penilaian dan nilai kelulusan.

7. Tingkat kepatuhan terhadap instruksi

Tingkat kepatuhan terhadap instruksi mengukur seberapa sering AI mematuhi setiap instruksi yang diminta. Format, panjang, pengecualian, dan tindakan yang diperlukan semuanya dapat diperhitungkan.

Misalnya, alur kerja meminta model untuk mengembalikan JSON yang valid dengan lima bidang wajib. Jika 94 dari 100 hasil memenuhi semua aturan, tingkat keberhasilannya adalah 94%. Jawaban yang terbaca dengan baik tetapi melanggar skema JSON tetap dianggap gagal.

Tentukan aturan sebelum menjalankan tes. Jika penilai menentukan arti “mengikuti instruksi” setelah melihat hasilnya, skor akan bervariasi.

8. Skor Kelengkapan

Kelengkapan menunjukkan apakah AI telah mencakup setiap bagian yang diperlukan dari tugas tersebut. Metrik ini mendeteksi jawaban yang tampak rapi namun diam-diam mengabaikan sesuatu.

Misalkan sebuah laporan harus mencakup lima bagian dan AI menyelesaikan empat bagian. Skor kelengkapannya adalah 80%. Itu tidak berarti laporan tersebut 80% baik. Bagian yang hilang mungkin justru bagian yang paling dibutuhkan oleh pembaca.

Untuk pekerjaan yang berisiko tinggi, prioritaskan elemen-elemen tersebut berdasarkan tingkat kepentingannya. Peringatan hukum yang tidak tercantum seharusnya diberi bobot lebih tinggi daripada contoh opsional yang tidak tercantum.

9. Tingkat Halusinasi

Tingkat halusinasi memantau seberapa sering AI menghasilkan klaim yang salah atau tidak didukung. Masalah-masalah tersebut saling tumpang tindih, tetapi tidak selalu sama. Sebuah klaim mungkin benar dalam konteks yang lebih luas, tetapi tidak didukung oleh sumber-sumber yang diperintahkan kepada sistem untuk digunakan.

Anda dapat mengukur "halusinasi" berdasarkan respons atau berdasarkan klaim. Jika 15 dari 500 jawaban mengandung setidaknya satu klaim yang tidak didukung, tingkat pada tingkat respons adalah 3%. Perhitungan pada tingkat klaim mungkin memberikan hasil yang berbeda.

10. Tingkat penyelesaian tugas

Tingkat penyelesaian tugas menunjukkan seberapa sering AI mencapai kondisi akhir yang diperlukan. Bagi seorang agen, hal itu mungkin berarti mengeluarkan pengembalian dana, memperbarui catatan pelanggan, dan mengonfirmasi hasilnya. Memberikan balasan yang masuk akal tidak termasuk dalam perhitungan ini.

Misalkan seorang agen mencoba memproses 1.000 permintaan pengembalian dana yang memenuhi syarat dan menyelesaikan 700 di antaranya tanpa bantuan manusia. Tingkat penyelesaian tugas secara otonomnya adalah 70%. Laporkan penyelesaian dengan bantuan secara terpisah, sehingga serah terima yang lancar tidak dianggap sebagai keberhasilan penuh maupun kegagalan.

Jangan gunakan tolok ukur umum sebagai target produksi Anda. Skor agen berubah dengan cepat, dan tugas-tugas dalam tolok ukur jarang sesuai dengan sistem, kebijakan, atau pelanggan Anda. Buatlah kumpulan data uji berdasarkan pekerjaan yang sebenarnya akan ditangani oleh agen Anda.

11. Akurasi pemilihan alat

Akurasi pemilihan alat menunjukkan seberapa sering seorang agen memilih alat yang tepat untuk langkah selanjutnya. Hal ini terpisah dari apakah agen tersebut menggunakan alat tersebut dengan benar.

Seorang agen mungkin mencari informasi di web padahal seharusnya memeriksa catatan pelanggan, atau mengirim email padahal pengguna hanya meminta draf. Satu pilihan yang salah dapat membuat sisa tugas menjadi tidak sesuai rencana.

12. Akurasi argumen panggilan alat

Setelah agen memilih alat, alat tersebut harus menerima nilai yang tepat. Akurasi argumen panggilan alat memeriksa bidang-bidang seperti nama, tanggal, ID, dan jumlah.

Misalkan seorang agen melakukan 300 panggilan pemesanan dan 264 di antaranya berisi semua detail yang benar. Akurasi argumen ketatnya adalah 88%. Dalam alur pembayaran atau pemesanan, tanggal atau nomor rekening yang salah dapat menyebabkan kesalahan transaksi yang nyata.

Tingkat kelulusan yang ketat menganggap satu bidang yang salah sebagai panggilan yang gagal. Tambahkan akurasi tingkat bidang jika Anda juga perlu mengidentifikasi argumen mana yang menyebabkan masalah.

13. Kualitas lintasan

Kualitas lintasan menganalisis jalur yang ditempuh oleh agen untuk menyelesaikan suatu tugas. Seorang agen mungkin mencapai hasil yang benar setelah melakukan beberapa pencarian yang tidak perlu, panggilan berulang, atau pelanggaran kebijakan. Skor penyelesaian sederhana tidak akan memperhitungkan semua hal tersebut.

Jangan menilai setiap eksekusi berdasarkan satu jalur ideal. Tugas yang kompleks mungkin memiliki beberapa rute yang valid. Berikan penilaian terhadap eksekusi tersebut berdasarkan langkah-langkah yang diperlukan, tindakan yang diizinkan, dan penyimpangan yang tidak perlu.

Lakukan penilaian berdasarkan seperangkat aturan, bukan hanya satu jalur yang sempurna, karena tugas-tugas kompleks sering kali memiliki beberapa rute yang valid. Ini merupakan titik buta yang nyata dalam pengujian agen. TRAJECT-Bench 2025 dirancang untuk mengatasi hal ini dengan memeriksa pilihan alat, kebenaran argumen, dan apakah panggilan dilakukan dalam urutan yang benar, bukan hanya apakah agen berhasil mencapai akhir.

14. Efisiensi perencanaan

Efisiensi perencanaan menunjukkan seberapa banyak pekerjaan tambahan yang dilakukan oleh seorang agen sebelum mencapai hasil. Setiap langkah tambahan menambah waktu, token, dan peluang kegagalan lainnya.

Jika suatu tugas seharusnya dilakukan dalam empat langkah yang disetujui dan agen menggunakan enam langkah, efisiensi perencanaan berbasis langkahnya adalah 66,7%. Angka ini hanya berlaku jika Anda dapat menetapkan jalur referensi yang adil atau anggaran langkah.

Jangan pernah memberikan penghargaan hanya karena jalur yang lebih pendek. Seorang agen yang melewatkan pemeriksaan yang diwajibkan mungkin terlihat efisien, namun hal itu justru menciptakan risiko yang lebih besar.

15. Skor konsistensi

Konsistensi menunjukkan apakah AI memberikan hasil yang setara saat Anda mengulangi tugas yang sama dalam kondisi yang sama. Satu uji coba yang berhasil bisa jadi hanya kebetulan belaka.

Misalkan Anda menjalankan tugas yang sama sebanyak 20 kali dan 18 hasilnya memenuhi kriteria hasil yang sama. Tingkat konsistensinya adalah 90%. Bandingkan fakta, keputusan, atau tindakan akhir, bukan sekadar kata-kata yang serupa.

16. Tingkat ketahanan

Tingkat ketahanan mengukur apakah kinerja tetap stabil ketika input berubah secara realistis. Pengujian dapat mencakup kesalahan ketik, detail yang hilang, informasi yang diurutkan ulang, prompt yang lebih panjang, atau pilihan kata yang berbeda.

Jika model tersebut dapat menangani 170 dari 200 kasus uji yang dimodifikasi, tingkat ketahanannya adalah 85%. Kumpulan uji harus mencerminkan masukan yang tidak teratur yang dikirimkan oleh pengguna Anda.

17. Tingkat pelanggaran keselamatan

Tingkat pelanggaran keamanan menunjukkan seberapa sering hasil keluaran AI melanggar kebijakan keamanan yang telah ditetapkan. Sebuah pelanggaran dapat berupa saran yang merugikan, data pribadi, konten terlarang, atau tindakan yang tidak berhak dilakukan oleh agen.

Misalkan para peninjau menemukan 12 pelanggaran dari 10.000 hasil keluaran. Angka tersebut sebesar 0,12%. Angka sekecil itu pun mungkin tetap tidak dapat diterima jika satu kegagalan saja dapat menyebabkan kerugian serius.

Laporkan tingkat keparahan serta frekuensinya. Sepuluh pelanggaran kecil tidak seharusnya memiliki bobot yang sama dengan satu kasus pengungkapan data pribadi.

18. Kesenjangan keadilan

Kesenjangan keadilan menunjukkan apakah AI berperilaku berbeda di antara kelompok-kelompok yang seharusnya menerima perlakuan yang setara. Satu skor akurasi keseluruhan dapat menyembunyikan kesenjangan yang besar di baliknya.

Misalkan sebuah model penyaringan memiliki tingkat true-positive sebesar 82% untuk satu kelompok dan 71% untuk kelompok lainnya. Selisihnya adalah 11 poin persentase. Sebutkan ukuran yang sedang dibandingkan. Istilah “fairness gap” saja terlalu samar.

Selisih yang lebih kecil tidak membuktikan bahwa sistem tersebut adil. Setiap kelompok mungkin saja mendapatkan hasil yang sama-sama buruk. Bacalah skor setiap kelompok bersamaan dengan selisihnya.

19. Tingkat penerimaan pada pemeriksaan pertama

Tingkat penerimaan pada tinjauan pertama menunjukkan seberapa sering hasil AI dapat digunakan pada tinjauan pertama. Metrik ini memberikan informasi yang jauh lebih banyak daripada sekadar volume konten, kode, atau analisis yang dihasilkan oleh sistem.

Misalkan para editor meninjau 100 draf AI dan menerima 65 di antaranya tanpa perlu pengulangan atau koreksi besar-besaran. Tingkat penerimaan pada tinjauan pertama adalah 65%. Tentukan definisi “diterima” terlebih dahulu, karena penyuntingan minor dan penulisan ulang sepenuhnya tidak boleh dianggap sebagai hasil yang sama.

20. Tingkat pengerjaan ulang

Tingkat pengerjaan ulang menunjukkan seberapa sering hasil AI memerlukan koreksi setelah masuk ke alur kerja. Metrik ini mengidentifikasi efisiensi semu, di mana AI memang menghemat waktu di awal, tetapi justru memindahkan lebih banyak pekerjaan ke peninjau atau tim hilir.

Jika 22 dari 100 contoh kode yang ditulis oleh AI dikembalikan untuk diperbaiki, tingkat pengerjaan ulang adalah 22%. Pisahkan cacat yang disebabkan oleh AI dari revisi rutin atau perubahan ruang lingkup.

Metrik sistem dan operasional

Lapisan ini mempertanyakan apakah hasil yang baik benar-benar sampai ke pengguna secara andal, cepat, dan dengan biaya yang dapat ditanggung oleh bisnis. Di sinilah adopsi AI perlahan-lahan gagal, karena model yang secara teknis akurat namun merespons lambat atau biayanya terlalu tinggi tidak akan pernah mendapat tempat dalam alur kerja.

21. Latensi

Latensi adalah waktu antara permintaan dan hasil yang dapat digunakan, dan apa yang dianggap dapat digunakan sepenuhnya bergantung pada tugasnya. Untuk pengklasifikasi, hasilnya mungkin berupa jawaban akhir. Untuk agen, hasilnya mungkin berupa saat tindakan yang diminta selesai. Namun, waspadalah terhadap nilai rata-rata, karena nilai tersebut menyembunyikan penundaan yang benar-benar dirasakan pengguna. Seorang asisten dukungan mungkin memiliki rata-rata 1,2 detik, tetapi bisa melambat hingga enam detik selama jam-jam sibuk. Laporkan persentil seperti p50 dan p95 agar Anda dapat melihat baik permintaan yang umum maupun yang lambat.

Waktu hingga token pertama (TTFT): Untuk sistem streaming, lacak juga berapa lama waktu yang dibutuhkan respons untuk dimulai, bukan hanya untuk selesai. Dua asisten mungkin sama-sama menyelesaikan tugas dalam lima detik, tetapi asisten yang mulai streaming pada 300 ms terasa jauh lebih cepat daripada yang membiarkan layar kosong selama dua detik. Tidak ada tolok ukur TTFT yang universal: panjang prompt, ukuran model, antrian, dan beban semuanya memengaruhi nilai ini, jadi tetapkan target untuk kasus penggunaan Anda sendiri dan uji pada lalu lintas yang realistis.

22. Throughput

Throughput adalah jumlah pekerjaan yang diselesaikan sistem dalam rentang waktu tertentu. Anda dapat menghitung permintaan per detik, dokumen per jam, atau tugas yang berhasil diselesaikan per hari. Misalnya, sebuah pipeline dokumen dapat memproses 500 file per jam saat pengujian, tetapi turun menjadi 200 saat menghadapi lalu lintas langsung. Selisih tersebut menunjukkan apakah sistem tersebut mampu bertahan selama periode sibuk tanpa menumpuk pekerjaan yang tertunda.

Sebutkan satuan ukurannya setiap kali. Permintaan per detik dan token per detik menjawab pertanyaan yang berbeda.

23. Waktu operasional dan ketersediaan

Ketersediaan adalah persentase dari waktu yang dijadwalkan di mana layanan AI benar-benar dapat menyelesaikan permintaan. Sebuah layanan bisa saja online namun terlalu lambat atau bermasalah sehingga tidak dapat menyelesaikan pekerjaan; oleh karena itu, tentukan ketersediaan berdasarkan hasil yang dapat digunakan. Tingkat ketersediaan bulanan sebesar 99% masih memungkinkan adanya waktu henti sekitar 7 jam dan 12 menit dalam sebulan yang terdiri dari 30 hari. Hal itu mungkin tidak menjadi masalah bagi asisten penulisan yang bersifat opsional. Namun, hal tersebut jauh lebih sulit diterima untuk alat dukungan yang diandalkan orang sepanjang waktu.

24. Tingkat kesalahan sistem

Tingkat kesalahan sistem mencakup kegagalan teknis seperti timeout, model yang tidak tersedia, respons yang tidak valid, dan integrasi yang rusak. Misalnya, 30 dari 1.000 permintaan agen gagal karena API mengalami gangguan. Itu berarti tingkat kesalahan sebesar 3%. Pisahkan kegagalan tersebut berdasarkan penyebabnya, atau tim akan tahu bahwa ada yang rusak tetapi tidak tahu di mana harus mencari penyebabnya.

25. Tingkat percobaan ulang

Tingkat percobaan ulang (retry rate) adalah seberapa sering sistem harus mengulangi suatu permintaan atau tindakan. Tugas yang mendasarinya mungkin pada akhirnya tetap berhasil, itulah sebabnya percobaan ulang tidak tercakup dalam skor penyelesaian sederhana. Misalnya, 120 dari 1.000 permintaan memerlukan satu upaya tambahan. Itu berarti tingkat percobaan ulang sebesar 12%, dan sistem melakukan total 1.120 upaya, yang setara dengan sekitar 12% beban kerja tambahan untuk batch tersebut. Lebih dari satu percobaan ulang per permintaan akan semakin meningkatkan biaya.

26. Biaya per tugas yang berhasil

Biaya per tugas yang berhasil mengaitkan pengeluaran AI dengan pekerjaan yang diselesaikan, sehingga metrik ini jauh lebih akurat daripada biaya per permintaan—terutama ketika upaya yang gagal tetap menghabiskan token, alat, dan infrastruktur. Misalkan setiap eksekusi agen berharga 10 sen, tetapi hanya setengahnya yang berhasil. Biaya langsung per keberhasilan Anda adalah 20 sen. Tambahkan tinjauan manusia atau pengerjaan ulang, dan angka sebenarnya akan semakin meningkat.

27. Tingkat penahanan

Tingkat penanganan mandiri adalah persentase interaksi yang memenuhi syarat yang berakhir tanpa perlu diteruskan ke manusia. Tim dukungan menggunakannya untuk memperkirakan seberapa besar beban permintaan yang dapat ditangani AI secara mandiri. Metrik ini juga mudah dimanipulasi. Misalnya, jika sebuah bot menangani 800 dari 1.000 obrolan, dengan tingkat 80%. Beberapa pengguna tersebut menerima jawaban yang memuaskan, sementara yang lain hanya menyerah. Keduanya tampak teratasi kecuali Anda memeriksa apa yang terjadi selanjutnya.

Hanya hitung kueri yang memang dimaksudkan untuk ditangani oleh AI. Pengalihan berdasarkan kebijakan tidak boleh dianggap sebagai kegagalan.

28. Tingkat eskalasi

Tingkat eskalasi menunjukkan seberapa sering interaksi AI dialihkan ke manusia. Tingkat yang tinggi bisa menandakan kinerja yang lemah, tetapi juga bisa berarti sistem tahu kapan harus mundur. Misalnya, 150 dari 1.000 interaksi mengalami eskalasi, sehingga tingkatnya 15%. Angka itu sendiri tidak banyak berarti. Pisahkan menjadi pengalihan yang diwajibkan oleh kebijakan, yang diminta pengguna, dan kasus-kasus yang tidak bisa diselesaikan oleh AI.

Metrik adopsi dan dampak terhadap tenaga kerja

Sistem AI yang berfungsi tetap harus membuktikan nilainya dalam rutinitas harian seseorang. Metrik-metrik ini menunjukkan apakah orang-orang mencobanya, menggunakannya untuk pekerjaan yang sesungguhnya, dan kembali menggunakannya setelah kesan baru memudar.

Penggunaan saja tidak akan membuktikan nilai. Gallup menemukan bahwa 50% pekerja Amerika menggunakan AI setidaknya beberapa kali dalam setahun, namun hanya 13% yang menggunakannya setiap hari. Kesenjangan itulah tepatnya alasan mengapa Anda perlu memantau frekuensi, kedalaman, dan tingkat kemahiran selain sekadar tingkat adopsi.

29. Tingkat adopsi pengguna yang memenuhi syarat

Tingkat adopsi pengguna yang memenuhi syarat menunjukkan berapa banyak dari orang-orang yang dapat menggunakan AI yang telah menyelesaikan setidaknya satu tindakan yang berarti dengan AI tersebut. Yang penting di sini adalah pembilangnya. Jika 400 orang mengaktifkan suatu alat, itu terdengar bagus. Namun, jika 4.000 karyawan diberi akses, tingkat adopsi sebenarnya hanya 10%. Jangan sertakan pekerja yang perannya tidak memiliki kasus penggunaan AI yang disetujui atau berguna.

Tentukan “tindakan yang bermakna” sebelum peluncuran. Membuka alat atau mengirimkan prompt uji coba tidak boleh dianggap sebagai adopsi.

30. Tingkat penggunaan AI yang aktif

Tingkat penggunaan aktif menunjukkan berapa banyak pengguna yang memenuhi syarat yang benar-benar mengandalkan AI dalam periode tertentu. Penggunaan aktif mingguan sering kali memberikan informasi yang jauh lebih banyak daripada jumlah pendaftaran total. Misalkan ada 1.000 karyawan yang memenuhi syarat dan 600 di antaranya telah mencoba alat tersebut, tetapi hanya 180 yang benar-benar menggunakannya dalam satu minggu biasa. Angka adopsi Anda mungkin menunjukkan 60%, sementara tingkat penggunaan aktif mingguan hanya 18%. Angka kedua ini jauh lebih mendekati posisi sebenarnya alat tersebut dalam alur kerja.

Tentukan ambang batas yang sesuai dengan jenis pekerjaan. Penggunaan mingguan mungkin cocok untuk alat penulisan dan dukungan, sedangkan asisten perencanaan triwulanan memerlukan rentang waktu yang lebih panjang.

31. Cakupan adopsi

Cakupan adopsi menunjukkan seberapa luas penggunaan AI telah tersebar di seluruh tim, peran, atau lokasi selama implementasi. Tingkat adopsi secara keseluruhan dapat menyembunyikan gambaran yang tidak seimbang. Satu tim teknik mungkin mengandalkan alat tersebut setiap hari. Sementara itu, tim penjualan, keuangan, dan dukungan hampir tidak menggunakannya sama sekali.

Jangan berharap setiap kelompok mencapai tingkat yang sama. Bandingkan tim hanya jika AI tersebut sama-sama bermanfaat dan tersedia bagi mereka.

32. Tingkat adopsi

Tingkat adopsi menunjukkan berapa banyak tugas terpisah yang ditangani oleh pengguna aktif dengan AI. Hal ini membedakan penggunaan yang dangkal dari penggunaan yang sesungguhnya. Seseorang yang hanya menulis ulang baris subjek email memang telah menggunakan alat tersebut, tetapi belum secara mendalam. Seseorang yang menggunakannya untuk riset, draf, analisis, dan catatan rapat telah mengintegrasikannya ke dalam sebagian besar aktivitas hariannya.

Lebih banyak kasus penggunaan tidak selalu berarti nilai yang lebih besar. Beberapa alur kerja yang berdampak besar mungkin lebih unggul daripada daftar panjang alur kerja yang sepele.

33. Tingkat penetrasi alur kerja

Penetrasi alur kerja menunjukkan seberapa besar porsi pekerjaan yang memenuhi syarat yang benar-benar diselesaikan dengan dukungan AI. Adopsi menghitung jumlah orang. Penetrasi alur kerja menghitung pekerjaan itu sendiri. Misalnya, sebuah tim dukungan menangani 10.000 tiket yang memenuhi syarat untuk bantuan AI, tetapi AI hanya menangani 2.500 di antaranya. Penetrasi adalah 25%, meskipun setiap agen telah mencoba alat tersebut setidaknya sekali.

Pastikan pembilang dibatasi hanya pada pekerjaan yang telah disetujui dan dapat ditangani oleh AI.

34. Tingkat retensi pengguna aktif

Retensi menunjukkan berapa banyak orang yang terus menggunakan AI setelah penggunaan pertama yang berarti. Hal ini membantu Anda membedakan antara adopsi yang berkelanjutan dengan rasa ingin tahu pada minggu peluncuran. Misalnya, 500 karyawan mengaktifkan alat tersebut pada bulan Januari dan 300 di antaranya masih memenuhi ambang batas penggunaan pada bulan April. Retensi tiga bulan Anda adalah 60%.

Ukur retensi berdasarkan kohort. Membandingkan pengguna aktif bulan ini dengan total pengguna bulan lalu dapat menyembunyikan fakta bahwa pengguna baru menggantikan mereka yang telah berhenti.

35. Tingkat kemahiran AI

Tingkat kemahiran menunjukkan berapa banyak pengguna yang dapat menyelesaikan tugas yang disetujui dengan bantuan AI sambil memenuhi standar kualitas dan keamanan yang diperlukan. Berikan tugas yang realistis kepada pengguna, lalu periksa hasilnya. Apakah seorang agen dukungan dapat menggunakan AI untuk menyusun balasan yang akurat, memverifikasi sumber, dan mendeteksi kebijakan yang dipalsukan?

Seseorang bisa saja sering menggunakan AI namun tetap menggunakannya dengan buruk. Itulah mengapa keahlian harus ditempatkan sejajar dengan tingkat adopsi, bukan di bawahnya.

36. Tingkat Penggantian

Tingkat penolakan menunjukkan seberapa sering seseorang menolak, mengganti, atau membatalkan saran AI. Hal ini dapat mengindikasikan hasil yang kurang memadai, tingkat kepercayaan yang rendah, atau sekadar penilaian manusia yang sehat. Misalnya, jika peninjau mengubah 240 dari 1.000 rekomendasi AI, itu berarti tingkat penolakan sebesar 24%. Namun, Anda tetap perlu mengetahui alasannya. Perbaikan yang diperlukan dan preferensi pilihan kata yang bersifat pribadi seharusnya tidak diberi bobot yang sama.

Tingkat pengabaian yang rendah sebenarnya bisa menjadi hal yang mengkhawatirkan, jika hal itu berarti pengguna menerima hasil yang kurang memadai tanpa memeriksanya terlebih dahulu.

37. Tingkat Intervensi Manusia

Tingkat intervensi manusia mengukur seberapa sering tugas yang dimulai oleh AI memerlukan bantuan tak terduga sebelum dapat diselesaikan. Hal ini berbeda dengan persetujuan yang direncanakan atau serah terima sesuai kebijakan. Misalnya, jika seorang agen mencoba menyelesaikan 1.000 tugas dan orang harus membantu menyelesaikan 180 di antaranya, maka tingkat intervensi tersebut adalah 18%. Bantuan tersebut menimbulkan biaya tenaga kerja yang mungkin tersembunyi di balik tingkat penyelesaian otonom.

Pastikan tinjauan yang direncanakan tidak termasuk dalam pembilang. Persetujuan yang diperlukan merupakan bagian dari alur kerja, bukan kegagalan sistem.

38. Waktu yang dihemat per tugas yang diselesaikan

Waktu yang dihemat per tugas yang diselesaikan membandingkan alur kerja yang sepenuhnya dibantu AI dengan tolok ukur yang adil. Hitung semuanya: memberikan perintah, menunggu, memeriksa, memperbaiki, dan menjalankan ulang. Jika Anda melewatkan hal itu, Anda hanya menghitung draf pertama yang cepat. Anda diam-diam mengabaikan semua proses pembersihan yang terjadi setelahnya.

Penghematan waktu yang dilaporkan sendiri memang bisa membantu, tetapi perlu diverifikasi dengan kenyataan. Penelitian St. Louis Fed menemukan bahwa pengguna AI melaporkan penghematan sekitar 2,2 jam dalam seminggu kerja 40 jam. Namun, uji coba acak yang dilakukan oleh METR menemukan bahwa pengembang berpengalaman justru membutuhkan waktu 19% lebih lama dengan AI, meskipun mereka meyakini bahwa AI telah membuat mereka 20% lebih cepat. Studi-studi tersebut mencakup jenis pekerjaan yang berbeda, tetapi secara keseluruhan menunjukkan hal yang sama: tanyakan kepada pengguna berapa banyak waktu yang mereka hemat, lalu verifikasi dengan data tugas.

39. Waktu peninjauan AI

Waktu peninjauan AI mengukur upaya manusia yang diperlukan untuk memeriksa dan menyetujui hasil keluaran. Di sinilah penghematan waktu yang dijanjikan sering kali berkurang tanpa disadari. Sebuah draf AI mungkin membutuhkan waktu 30 detik untuk dihasilkan, tetapi 12 menit untuk diverifikasi. Bandingkan total waktu tersebut dengan waktu yang dibutuhkan untuk menyelesaikan tugas tersebut tanpa menggunakan AI sama sekali.

Jangan memaksakan waktu peninjauan menjadi nol pada pekerjaan berisiko tinggi. Tujuannya adalah pemeriksaan yang efisien, bukan persetujuan tanpa pertimbangan.

40. Skor kepercayaan karyawan

Skor kepercayaan karyawan memantau apakah pengguna yakin bahwa AI cukup andal untuk tugas-tugas yang disetujui, serta apakah mereka memahami batasannya. Anda dapat mengukurnya melalui survei singkat yang mencakup akurasi, transparansi, keamanan, dan keyakinan dalam mendeteksi kesalahan. Hindari pertanyaan umum seperti “Apakah Anda percaya pada AI?” Hal ini akan memberikan skor yang tidak jelas dan tidak dapat dijadikan dasar untuk mengambil tindakan.

Metrik dampak bisnis dan ROI

Inilah aspek yang menjadi dasar pertimbangan eksekutif dalam mengalokasikan dana, dan aspek yang paling sering diabaikan oleh dasbor AI. Output, biaya, pendapatan, hasil bagi pelanggan, dan ROI: inilah angka-angka yang menentukan apakah suatu program akan diperpanjang atau dihentikan.

Hal-hal tersebut juga merupakan yang paling sulit untuk dibuktikan. Pendapatan bisa meningkat setelah peluncuran karena pergeseran permintaan, bukan karena AI melakukan sesuatu. Biaya bisa turun karena tim memperbaiki prosesnya pada saat yang sama. Perbandingan sebelum dan sesudah yang sederhana menunjukkan apa yang berubah, tetapi tidak menjelaskan apa yang menyebabkannya. Untuk itu, Anda memerlukan kelompok kontrol, peluncuran bertahap, atau garis dasar yang sebanding, sehingga Anda dapat melihat apa yang akan terjadi tanpa intervensi tersebut.

41. Laju produksi tambahan

Throughput tambahan mengukur seberapa banyak pekerjaan yang memenuhi standar yang diselesaikan oleh tim setelah penerapan AI. Hitunglah hanya hasil yang memenuhi standar kualitas yang sama dengan baseline. Misalnya, sebuah tim menyelesaikan 500 kasus yang disetujui per minggu sebelum penerapan AI dan kini menyelesaikan 575 kasus. Itu berarti throughput tambahan sebesar 15%. Namun, jika jumlah pekerjaan yang harus dikerjakan ulang juga meningkat pada saat yang sama, keuntungan sebenarnya mungkin lebih kecil daripada yang terlihat.

42. Pengurangan waktu siklus

Pengurangan waktu siklus menunjukkan seberapa cepat pekerjaan diselesaikan dari awal hingga akhir. Sertakan waktu tunggu, peninjauan, koreksi, dan persetujuan akhir. Jika hanya mengukur langkah pembangkitan AI, hasilnya akan tampak lebih baik daripada kenyataannya. Misalnya, peninjauan kontrak yang sebelumnya memakan waktu lima hari sebelum penggunaan AI, kini hanya membutuhkan tiga hari. Waktu siklus telah berkurang sebesar 40%.

43. Biaya per penyelesaian

Biaya per penyelesaian menunjukkan berapa banyak yang dikeluarkan bisnis untuk menyelesaikan satu masalah. Metrik ini lebih baik daripada biaya per kontak, karena satu masalah pelanggan dapat memicu beberapa pesan, panggilan, atau eskalasi. Sertakan biaya model, tenaga kerja manusia, penggunaan alat, tinjauan, dan kontak berulang. Jika tidak, respons awal yang murah dapat menyembunyikan jalur yang mahal menuju jawaban yang sebenarnya.

44. Penghematan biaya yang terverifikasi

Penghematan biaya yang terverifikasi adalah pengeluaran yang berhasil Anda hilangkan setelah menerapkan AI. Contohnya, berkurangnya jam lembur, berkurangnya jam kerja yang dialihdayakan, atau tagihan infrastruktur yang lebih rendah. Waktu yang dihemat tidak dapat dianggap sebagai uang tunai secara langsung. Jika karyawan tetap berada dalam daftar gaji yang sama dan output tetap stabil, Anda memang telah membebaskan kapasitas, tetapi belum benar-benar memangkas biaya.

Pisahkan penghindaran biaya dari penghematan. Penghematan mengurangi pengeluaran yang sudah ada. Penghindaran mencegah pengeluaran yang direncanakan di masa depan, seperti merekrut lima agen tambahan untuk menangani volume tiket yang meningkat. Keduanya dapat menunjukkan nilai, tetapi mencampurkannya tanpa label membuat hasilnya tampak lebih pasti daripada kenyataannya.

45. Pendapatan tambahan yang berasal dari AI

Pendapatan tambahan adalah pendapatan ekstra yang dihasilkan oleh AI, di luar apa yang kemungkinan besar akan terjadi tanpa adanya AI. Cara paling akurat untuk mengukurnya adalah dengan membandingkan kelompok yang menggunakan AI dengan kelompok kontrol yang serupa. Tidak ada kelompok kontrol? Gunakan peluncuran bertahap atau garis dasar yang disesuaikan sebagai gantinya. Dan sesuaikan dengan perubahan harga, promosi, permintaan, dan musim.

Pendapatan bukanlah laba. Gunakan margin kotor tambahan, bukan angka pendapatan total, saat menghitung ROI.

46. Peningkatan tingkat konversi

Peningkatan tingkat konversi menunjukkan apakah AI membantu lebih banyak pengguna menyelesaikan tindakan target, seperti pembelian, pemesanan demo, atau menyelesaikan proses onboarding. Misalkan kelompok kontrol memiliki tingkat konversi sebesar 5% dan kelompok yang dibantu AI sebesar 5,5%. Peningkatan absolutnya adalah 0,5 poin persentase, sedangkan peningkatan relatifnya adalah 10%. Selalu tentukan mana yang Anda maksud.

47. Perubahan tingkat kepuasan pelanggan

Selisih kepuasan pelanggan menunjukkan apakah penilaian pelanggan berubah setelah AI diterapkan dalam pengalaman tersebut. Bandingkan saluran, jenis masalah, kelompok pelanggan, dan skala penilaian yang sama. Misalnya, dukungan yang dibantu AI mendapat skor 4,3 dari lima, sedangkan kelompok kontrol mendapat skor 4,1. Selisihnya adalah 0,2 poin.

Perhatikan siapa yang mengisi survei. Pelanggan yang puas dan yang tidak puas mungkin merespons dengan tingkat yang berbeda, yang dapat memengaruhi skor tanpa adanya perubahan nyata dalam layanan.

48. Tingkat kontak berulang

Tingkat kontak berulang menunjukkan seberapa sering seorang pelanggan kembali menghubungi terkait masalah yang sama yang masih terbuka. Metrik ini menangkap kasus-kasus yang sekilas tampak terselesaikan hanya karena obrolan pertama kebetulan berakhir. Misalnya, dari 1.000 kasus yang seharusnya telah terselesaikan, 120 di antaranya menyebabkan kontak kembali dalam waktu seminggu. Itu berarti tingkat kontak berulang sebesar 12%.

Tentukan rentang waktu yang jelas dan kelompokkan kontak yang terkait dengan masalah yang sama. Seorang pelanggan yang kembali dengan pertanyaan baru tidak boleh dihitung sebagai penyelesaian yang gagal.

49. Waktu hingga nilai

Waktu untuk mencapai nilai mengukur berapa lama proyek AI membutuhkan waktu untuk menghasilkan hasil bisnis pertama yang terverifikasi. Tentukan apa yang dianggap sebagai nilai sebelum peluncuran dimulai. Prototipe yang berfungsi atau login pengguna pertama tidak dihitung kecuali jika itu memang tujuan yang telah disepakati sejak awal.

50. Pengembalian investasi AI

Pengembalian investasi AI (ROI) membandingkan manfaat bersih yang terverifikasi dengan biaya program tersebut. Manfaat dapat mencakup laba kotor tambahan, penghematan biaya riil, dan penghindaran biaya yang teridentifikasi dengan jelas. Aspek biaya juga harus dihitung secara jujur. Hitung biaya perangkat lunak, model, dan server. Kemudian tambahkan biaya pemasangan, pelatihan, pengawasan, peninjauan, dan pemeliharaan.

Hindari penghitungan ganda. Jika AI menghemat waktu karyawan dan waktu tersebut menghasilkan output yang lebih banyak, hitunglah nilai dari output tambahan tersebut atau penghematan tenaga kerja. Menghitung keduanya berarti mencatat manfaat yang sama dua kali.

51. Masa pengembalian modal

Periode pengembalian modal memperkirakan berapa lama waktu yang dibutuhkan sebuah proyek AI untuk mengembalikan investasi awalnya melalui manfaat bersih yang terverifikasi. Misalnya, jika biaya peluncuran sebesar $300.000 dan menghasilkan manfaat bersih sebesar $25.000 per bulan, maka periode pengembalian modal sederhana adalah 12 bulan.

Perhitungan masa pengembalian modal yang sederhana mengabaikan nilai waktu uang dan pengembalian apa pun yang diperoleh setelah tanggal pengembalian modal. Tim keuangan juga dapat menggunakan nilai sekarang bersih untuk program AI berskala besar atau yang berjalan dalam jangka panjang.

Mengapa Persepsi Merupakan Metrik Paling Berbahaya di Antara Semuanya

Orang-orang menyadari waktu yang dihemat oleh AI pada draf pertama. Namun, yang jarang mereka perhitungkan adalah waktu yang dibutuhkan setelahnya: menulis prompt, memeriksa fakta, memperbaiki kesalahan, dan mengulang bagian-bagian yang lemah. Perhitungan yang terlewatkan ini membuat keuntungan terasa jauh lebih besar daripada kenyataannya.

Seperti yang dikatakan oleh Farrah Lakhani, eksekutif tingkat C bidang pertumbuhan dan strategi:

Kesalahan paling umum yang saya temui adalah menganggap waktu yang dihemat sebagai ukuran utama keberhasilan AI. Jam kerja yang dihemat, tugas yang diotomatisasi, dan waktu siklus yang berkurang merupakan data yang paling mudah dikumpulkan dan disajikan dalam laporan dewan direksi. Namun, data-data tersebut juga paling tidak mungkin mencerminkan dampak bisnis yang sesungguhnya.

Selain itu, METR melakukan survei terhadap 349 pekerja teknis mengenai bagaimana AI memengaruhi pekerjaan mereka. Responden median melaporkan peningkatan kecepatan tiga kali lipat dan nilai yang dihasilkan 1,4 hingga 2 kali lebih besar.

Angka-angka tersebut terdengar mengesankan, tetapi METR menandainya dengan hati-hati. Angka-angka tersebut berasal dari perkiraan para pekerja sendiri, bukan dari tugas yang diukur waktunya atau kelompok kontrol. Dan para peneliti melihat tanda-tanda bahwa klaim-klaim yang paling berani melebih-lebihkan apa yang sebenarnya terlihat dalam hasil kerja akhir.

Hal ini tidak berarti persepsi menjadi tidak berguna. Jika orang merasa AI membantu mereka, mereka cenderung menggunakannya lebih sering. Persepsi juga mencerminkan kepercayaan, kemudahan penggunaan, dan rasa frustrasi. Persepsi baru menjadi berbahaya ketika sebuah bisnis menganggap perasaan tersebut sebagai bukti produktivitas atau ROI.

Langkah yang lebih baik adalah mengukur kesenjangan antara apa yang dilaporkan oleh orang-orang dan apa yang ditunjukkan oleh alur kerja:

Misalnya, katakanlah karyawan melaporkan peningkatan kecepatan sebesar 30%, tetapi catatan tugas hanya menunjukkan peningkatan sebesar 10%. Itu adalah selisih persepsi sebesar 20 poin. Hal ini mungkin mengindikasikan adanya waktu peninjauan yang tersembunyi, pengukuran yang lemah, atau pekerjaan yang sekadar terasa lebih mudah tanpa menghasilkan nilai yang jauh lebih terukur.

Aturan yang paling aman adalah aturan yang sederhana. Dengarkan dengan saksama apa yang dikatakan pengguna Anda, lalu verifikasi hal tersebut berdasarkan pekerjaan yang sebenarnya.

KPI AI yang Khusus untuk Fungsi Tertentu

Satu lembar skor AI tidak akan cocok untuk setiap tim, karena setiap tim memiliki hasil yang berbeda. Layanan pelanggan bertanggung jawab atas penyelesaian masalah. Tim teknik bertanggung jawab atas pengiriman yang stabil. Pemasaran dan penjualan bertanggung jawab atas pertumbuhan, sedangkan operasional bertanggung jawab atas biaya, kecepatan, dan kontrol. Mulailah dari hasil tersebut. Kemudian tambahkan metrik yang menunjukkan bagaimana AI memengaruhi hasil tersebut.

Layanan dan dukungan pelanggan

Pertanyaan sebenarnya adalah apakah masalah pelanggan tetap teratasi setelah obrolan berakhir.

Perangkat lunak dan teknik

Ukur seluruh proses, mulai dari penugasan pekerjaan hingga rilis yang stabil di lingkungan produksi. Kode yang dihasilkan hanyalah salah satu langkah dalam proses tersebut.

Contoh: Nvidia memberikan bukti yang jelas mengenai jebakan tersebut. Perusahaan tersebut menyatakan bahwa lebih dari 30.000 insinyurnya kini menggunakan versi yang disesuaikan dari asisten Cursor, yang menghasilkan kode sekitar tiga kali lipat lebih banyak daripada sebelumnya, tanpa peningkatan jumlah bug. Namun, output yang tiga kali lipat hanyalah indikator volume, bukan indikator pengiriman. Hal ini tidak menunjukkan apakah fitur-fitur tersebut dirilis lebih cepat atau tetap stabil dalam produksi. Untuk menutup kesenjangan tersebut, Nvidia perlu mengubah waktu tunggu, tingkat kegagalan produksi, dan pengerjaan ulang, selain volume.

Pemasaran

AI pemasaran seharusnya dapat mengurangi biaya atau waktu yang diperlukan untuk menghasilkan karya yang kemudian lolos tinjauan dan memberikan hasil yang memuaskan bagi pelanggan nyata.

Penjualan

AI penjualan membuktikan nilainya ketika kesepakatan yang tepat bergerak lebih cepat melalui alur penjualan dan pada akhirnya ditutup dengan margin yang sehat.

Contoh: Workato menunjukkan mengapa "lebih cepat" tidak sama dengan "menang". CIO-nya mengatakan bahwa kesepakatan yang didukung data yang diperkaya oleh agen bergerak melalui tahap-tahap pipeline hingga 20% lebih cepat, dengan waktu penyelesaian penawaran meningkat sebesar 40%. Kedua angka tersebut berasal dari perusahaan, dan keduanya mengukur kecepatan, bukan hasil. Keduanya tidak membuktikan adanya peningkatan pendapatan yang ditutup. Untuk membuktikan manfaatnya, Workato memerlukan tingkat keberhasilan, margin, dan pendapatan yang ditutup untuk kesepakatan serupa dengan dan tanpa AI.

Operasional dan keuangan

Di sini, AI seharusnya dapat menyelesaikan pekerjaan dengan lebih sedikit intervensi, kesalahan, dan pengecualian. Dan setiap biaya harus dimasukkan ke dalam perhitungan.

Contoh: Omega Healthcare menunjukkan seperti apa klaim efisiensi yang lengkap itu. Perusahaan tersebut mengatakan kepada Business Insider bahwa AI menghemat lebih dari 15.000 jam kerja staf per bulan untuk pekerjaan dokumen, dengan waktu penyelesaian 50% lebih cepat, akurasi 99,5%, dan ROI klien sebesar 30%. Hal tersebut menggabungkan waktu, kualitas, dan biaya ke dalam satu tampilan.

Studi Kasus: Bagaimana Perusahaan Nyata Mengukur Efisiensi yang Didorong oleh AI

Hasil perusahaan hanya berguna jika Anda mengetahui apa yang diukur. Apakah angka tersebut merupakan hasil pengamatan atau perkiraan? Apakah perusahaan menghitung pekerjaan yang telah diselesaikan, atau hanya pekerjaan yang dialihkan dari tenaga manusia? Keempat kasus ini menunjukkan mengapa detail-detail tersebut jauh lebih penting daripada angka terbesar dalam siaran pers.

Klarna (Layanan yang cepat tetap bisa menimbulkan kesenjangan kualitas)

Pada akhir 2025, Klarna menyatakan bahwa asisten dukungan AI-nya menangani dua pertiga dari seluruh pertanyaan pelanggan. Perusahaan tersebut juga menyebutkan waktu respons yang 82% lebih cepat, penurunan masalah berulang sebesar 25%, penghematan sebesar $60 juta, serta beban kerja yang setara dengan 853 agen penuh waktu.

Klarna terus berinvestasi pada asisten tersebut. Namun, perusahaan itu juga mulai merekrut kembali staf dukungan manusia. CEO-nya mengatakan bahwa pelanggan harus selalu dapat menghubungi seorang staf manusia. Laporan mengaitkan perubahan tersebut dengan keluhan mengenai jawaban generik atas pertanyaan-pertanyaan yang lebih rumit. Perusahaan itu sendiri menyatakan bahwa tingkat kepuasan terhadap AI-nya tetap berada pada level yang sama dengan dukungan manusia.

Pelajaran yang dapat dipetik: Pantau kecepatan, kontak berulang, dan biaya, tetapi pisahkan berdasarkan jenis masalah. Kemudian ukur kegagalan serah terima dan tingkat kepuasan setelah kasus-kasus kompleks. Rata-rata yang tinggi dapat menyembunyikan tiket-tiket tertentu yang sebenarnya paling penting.

IBM (Peningkatan produktivitas mungkin tidak dirasakan oleh setiap pengembang)

IBM meneliti watsonx Code Assistant miliknya sendiri untuk sebuah makalah yang ditinjau sejawat dalam konferensi CHI 2025. Para peneliti melakukan survei terhadap 669 pengguna dan menjalankan uji kegunaan dengan 15 pengguna lainnya. Banyak pengguna merasa alat tersebut membuat mereka bekerja lebih cepat, namun manfaat tersebut tidak dirasakan oleh semua orang. Ada batasan penting yang perlu diperhatikan. Studi ini mengamati pengalaman pengembang dan seberapa produktif yang dirasakan oleh para pengguna. Studi ini tidak membuktikan bahwa perangkat lunak dirilis lebih cepat atau dengan lebih sedikit cacat.

Pelajaran yang dapat dipetik: Padukan survei pengguna dengan ukuran yang teramati seperti waktu peninjauan, pekerjaan ulang, waktu tunggu perubahan, dan tingkat kegagalan perubahan. Kemudian, pisahkan hasilnya berdasarkan tugas dan tingkat pengalaman. Rata-rata tim dapat menyembunyikan pengembang yang menghabiskan lebih banyak waktu untuk memeriksa hasil AI daripada waktu yang mereka hemat saat menulisnya.

Bank of America (Pengendalian merupakan bagian dari kinerja)

Bank of America menyatakan bahwa Erica, asisten keuangan virtual mereka, telah menangani 3 miliar interaksi klien dan kini rata-rata lebih dari 58 juta interaksi per bulan. Versi untuk karyawan telah menjangkau lebih dari 90% staf dan mengurangi setengah jumlah panggilan ke layanan dukungan TI. Erica juga menunjukkan bahwa efisiensi AI tidak memerlukan model generatif. Bank tersebut menjalankan asisten pelanggannya berdasarkan pustaka tetap yang berisi lebih dari 700 respons. Hal ini membuat Erica memiliki kebebasan yang lebih terbatas dibandingkan dengan chatbot terbuka. Namun, hal ini membuat jawaban-jawaban tersebut jauh lebih mudah untuk diuji dan dikendalikan di lingkungan perbankan.

Pelajaran yang dapat dipetik: Sesuaikan model dengan tingkat risiko. Untuk dukungan internal, lacak panggilan ke layanan bantuan, keberhasilan layanan mandiri, kontak berulang, dan waktu penyelesaian. Penurunan volume panggilan memang menjanjikan, tetapi hal itu tidak membuktikan bahwa setiap karyawan benar-benar telah menyelesaikan masalahnya.

Cara Memilih Metrik AI yang Tepat

Mengetahui metrik-metrik tersebut adalah bagian yang mudah. Keterampilan yang lebih sulit adalah memilih beberapa metrik yang sesuai dengan tujuan Anda, lalu dengan sengaja mengabaikan sisanya. Inilah pendekatan yang dapat Anda andalkan.

Hubungkan setiap metrik dengan satu tujuan bisnis

Tentukan tujuan terlebih dahulu, lalu pilih metrik yang mengukurnya. Jika tujuannya adalah mengurangi biaya dukungan, lacak biaya per penyelesaian masalah. Jika tujuannya adalah meningkatkan pendapatan, lacak pendapatan per interaksi AI. Jika tujuannya adalah mempercepat pengambilan keputusan, lacak kecepatan pengambilan keputusan. Jika suatu metrik tidak terkait dengan tujuan seperti ini, tinggalkan saja.

Dan jika Anda menerapkan OKR bersamaan dengan KPI, pastikan perannya jelas: tujuan menentukan arah, sedangkan KPI mengukur kemajuan di bawahnya. Kesalahan umum yang sering terjadi adalah memantau apa pun yang diekspor secara default oleh alat Anda, alih-alih angka yang dibutuhkan oleh tujuan. Metrik yang mudah diambil tetapi tidak menjawab pertanyaan yang sebenarnya tetap saja hanya menjadi beban.

Terapkan prinsip SMART dan batasi jumlahnya

Pastikan setiap KPI bersifat Spesifik, Terukur, Dapat Dicapai, Relevan, dan Berbatas Waktu (SMART). Kemudian batasi jumlahnya secara sengaja. Umumnya, batasi hingga tiga hingga lima per tujuan, dan tidak lebih dari tujuh hingga sepuluh per tim. Jika melebihi itu, rapat evaluasi akan memakan waktu lebih lama sementara keputusan yang diambil tidak menjadi lebih tajam, karena perhatian terpecah-pecah sehingga sulit untuk bertindak berdasarkan angka individu mana pun. Berikut adalah pemeriksaan sederhana: jika Anda tidak dapat mengidentifikasi metrik yang akan mengubah keputusan minggu ini, daftar Anda sudah terlalu panjang.

Menyeimbangkan indikator leading dan lagging

Pasangkan setiap hasil yang tertinggal dengan prediktor yang mendahului. Biaya per penyelesaian dipasangkan dengan kedalaman adopsi. Peningkatan pendapatan dipasangkan dengan tingkat kemahiran. Tingkat cacat dipasangkan dengan waktu penyelesaian tinjauan kode.

Metrik lagging mengonfirmasi apa yang telah terjadi; sedangkan metrik leading memberi peringatan cukup dini agar Anda dapat bertindak.

Tentukan penanggung jawab dan frekuensi pelaksanaannya

Setiap KPI memerlukan penanggung jawab yang ditunjuk dan jadwal evaluasi yang teratur. Periksa metrik operasional setiap minggu, sedangkan metrik yang lebih besar dievaluasi setiap bulan atau triwulan. Serahkan setiap metrik kepada orang yang dapat memengaruhi angkanya, bukan kepada orang yang menyusun laporan. Jika penanggung jawab tidak memiliki wewenang nyata untuk mengubahnya, tidak ada yang bertanggung jawab atas metrik tersebut. Angkanya hanya akan terus berfluktuasi hingga evaluasi berikutnya menyadarinya.

Alat dan Sumber Daya untuk Mengukur Metrik Kinerja AI

Anda tidak perlu menggunakan sistem pengukuran yang rumit sejak awal. Yang Anda butuhkan adalah alat yang tepat untuk metrik yang ingin Anda buktikan.

Berikut adalah sumber daya yang patut Anda ketahui.

Tabel ini memberi tahu Anda alat mana yang cocok untuk pekerjaan apa. Namun, yang tidak dapat diungkapkan oleh tabel ini adalah manfaat yang Anda peroleh dari masing-masing alat, atau kegagalan yang dapat dihindari berkat alat tersebut.

Cara Melacak Metrik Kinerja AI di ClickUp

Setelah Anda memilih KPI AI Anda, KPI tersebut memerlukan tempat yang tetap terhubung dengan pekerjaan sehingga skorcard dapat diperbarui secara otomatis.

Berikut adalah cara tim kami sendiri memperbarui metrik AI secara real-time di ClickUp:

Mulailah dengan alat pelacak KPI yang siap pakai

Template KPI ClickUp memberi Anda struktur awal yang kokoh. Template ini dilengkapi dengan status seperti "On Track", "At Risk", dan "Off Track", serta Bidang Kustom untuk Nilai Target, Nilai Aktual, Kemajuan, Selisih, dan Varians.

Dapatkan templat gratis

Tambahkan tiga hingga lima KPI AI yang menjadi dasar pengambilan keputusan, tetapkan target untuk masing-masing, dan tunjuk penanggung jawab. Hal ini bisa mencakup tingkat penerimaan awal, jam kerja yang dihemat dan terverifikasi, biaya per hasil yang berhasil, atau tingkat eskalasi. Tampilan "Progress" dan "Summary" kemudian memberikan gambaran cepat kepada peninjau mengenai target mana yang tercapai dan mana yang perlu ditinjau lebih lanjut.

Perlu diingat: Pelacak ini mencatat skor, tetapi tidak mengumpulkan bukti secara otomatis. Hubungkan setiap KPI dengan tugas-tugas di mana pekerjaan tersebut dilakukan, dan gunakan Bidang Kustom, Formulir, Otomatisasi, integrasi, atau pembaruan agen untuk memasukkan nilai-nilai yang sebenarnya.

Pantau cakupan yang aktif dengan dasbor real-time

Setelah nilai-nilai tersebut diterapkan pada tugas aktif, Dasbor ClickUp dapat menggabungkannya di seluruh Daftar, tim, alur kerja, atau periode waktu. Kartu perhitungan menjumlahkan waktu yang dihemat yang telah diverifikasi, skor kualitas rata-rata, atau biaya per penyelesaian. Bagan batang, garis, dan lingkaran memecah angka-angka yang sama berdasarkan model, kasus penggunaan, tim, atau jenis kegagalan.

Biarkan "otak" perusahaan Anda menyusun laporan dan menandai hal-hal yang terlewatkan

Pembuatan laporan adalah tempat di mana sebagian besar upaya manual tersembunyi. Ini juga merupakan bagian yang layak diotomatisasi hanya setelah bidang dan definisi Anda dapat diandalkan. Karena ClickUp Brain dapat berinteraksi dengan tugas, Bidang Kustom, Dokumen, dan percakapan di Workspace Anda, Anda dapat mengajukan pertanyaan seperti:

Jawaban akan disajikan berdasarkan konteks pekerjaan Anda saat ini dalam hitungan detik. Lanjutkan dalam utas yang sama untuk memperdalam analisis, membandingkan periode, atau minta Brain untuk mengubah temuan tersebut menjadi dasbor interaktif atau presentasi slide.

Ingin mempelajari ClickUp Brain lebih dalam? Berikut panduan singkatnya.

Keterbatasan yang perlu diperhatikan: ClickUp memang mampu mengaitkan aktivitas tim dengan tujuan dengan baik. Namun, ClickUp bukanlah gudang data berskala besar seperti Snowflake, juga bukan alat khusus untuk pemantauan tingkat model. ClickUp bekerja paling optimal ketika data dan pekerjaan Anda berada di satu tempat, yang merupakan tempat di mana KPI AI operasional berada. Untuk telemetri model yang mendalam, gunakanlah bersama dengan alat khusus.

Ukur Perubahan yang Sebenarnya Dihasilkan oleh AI

Bagian tersulit dari AI bukanlah membuatnya melakukan sesuatu. Melainkan mengetahui apakah “sesuatu” itu layak dilakukan. Sebagian besar tim dapat memberi tahu Anda seberapa sering alat mereka digunakan, berapa banyak draf yang dihasilkan, dan hampir tidak ada satupun dari jawaban tersebut yang menjawab satu-satunya pertanyaan yang penting:

Apakah pekerjaan menjadi lebih baik, lebih murah, atau lebih cepat sehingga dapat dirasakan oleh pihak-pihak di hilir?

Ketika Anda menentukan seperti apa nilai yang diinginkan sebelum membangun sistem, Anda akhirnya mengukur perubahan apa yang dihasilkan oleh AI, bukan sekadar apa yang dilakukannya. Pilih beberapa metrik yang selaras dengan tujuan nyata. Kemudian, berikan setiap metrik tersebut metrik penyeimbang agar peningkatan kecepatan tidak menyembunyikan penurunan kualitas. Terakhir, tetapkan untuk setiap angka tersebut nilai acuan, target, tenggat waktu, dan penanggung jawab yang dapat menggerakkan angka tersebut. Letakkan kartu skor tersebut di samping pekerjaan yang diukurnya, dan kartu skor tersebut akan secara otomatis menunjukkan kebenarannya kepada Anda.

Dan jika Anda ingin memantau semua hal ini seiring dengan perluasan penggunaan AI Anda, Anda memerlukan alat yang dapat berkembang bersama Anda. Daftarkan diri Anda di ClickUp untuk membuat dasbor KPI AI yang menampilkan setiap metrik di samping pekerjaan yang diukurnya.

Pertanyaan yang Sering Diajukan tentang Metrik Kinerja AI

Metrik AI apa saja yang paling penting untuk dilacak?

Mulailah dengan memilih satu dari masing-masing dari empat lapisan: akurasi atau tingkat penerimaan pada percobaan pertama (kualitas keluaran), latensi (kinerja sistem), retensi pengguna aktif (adopsi), dan biaya per penyelesaian atau ROI (dampak bisnis). Kombinasi yang tepat bergantung pada tugas AI tersebut. Bot dukungan memerlukan metrik penanganan masalah, konfirmasi penyelesaian, dan tingkat kontak berulang. Asisten kode memerlukan metrik waktu tunggu perubahan, tingkat pengerjaan ulang, dan waktu peninjauan. Batasi jumlahnya menjadi tiga hingga lima metrik per tujuan dan pasangkan masing-masing dengan metrik penyeimbang agar peningkatan pada satu dimensi tidak secara diam-diam menyembunyikan penurunan pada dimensi lainnya.

Apa perbedaan antara metrik kinerja AI dan tolok ukur AI?

Sebuah benchmark menilai model berdasarkan dataset publik dan tugas yang telah ditentukan; sedangkan metrik kinerja mengukur bagaimana sistem Anda berperilaku pada pekerjaan Anda sendiri dalam lingkungan produksi. Sebuah model bisa saja menduduki peringkat teratas di papan peringkat, namun tetap gagal dalam hal latensi, biaya, atau keamanan begitu pengguna nyata menggunakannya. Gunakan benchmark seperti papan peringkat halusinasi Vectara atau MMLU sebagai alat penyaringan awal, lalu ukur metrik yang sesuai dengan tujuan Anda.

Berapa tingkat halusinasi yang baik untuk sistem AI?

Tidak ada tingkat kesalahan yang diterima secara luas di seluruh industri untuk sistem AI. Target yang berguna bergantung pada tugas, biaya kesalahan, dan apakah sistem dapat mengakui ketidakpastian. Untuk penggunaan bisnis yang praktis, tingkat kesalahan di bawah 5% pada kumpulan data uji produksi yang representatif merupakan titik awal yang wajar. Namun, sistem dengan risiko tinggi sebaiknya menargetkan angka yang jauh lebih dekat ke nol dan mengalihkan jawaban yang tidak pasti kepada manusia. Anggaplah angka 5% tersebut sebagai target operasional, bukan standar yang dipublikasikan.

Pelajaran yang lebih penting adalah bahwa tingkat halusinasi tidak bisa dinilai secara terpisah. Sebuah studi di jurnal Nature menemukan bahwa tolok ukur akurasi yang umum justru memberi penghargaan kepada model yang menebak daripada yang mengakui bahwa mereka tidak tahu. Ukur halusinasi bersamaan dengan tingkat abstain, tingkat keparahan kesalahan, dukungan kutipan, dan seberapa sering klaim yang tidak didukung sampai ke pengguna.

Seberapa sering Anda sebaiknya meninjau metrik kinerja AI?

Tinjau metrik operasional seperti latensi, tingkat kesalahan, dan tingkat penanggulangan setiap minggu; tinjau metrik bisnis seperti biaya per penyelesaian dan ROI setiap bulan atau triwulan. Sesuaikan frekuensi peninjauan dengan seberapa cepat angka tersebut dapat berubah dan siapa yang mengambil tindakan berdasarkan data tersebut. Tunjuk pemilik yang bertanggung jawab atas setiap metrik, yang memiliki wewenang nyata untuk mengambil tindakan.

Alat apa yang Anda gunakan untuk memantau metrik kinerja AI?

Sebagian besar tim menggabungkan dua lapisan. Platform kerja seperti ClickUp memantau KPI operasional dan bisnis di samping tugas-tugas yang menghasilkan KPI tersebut, menggunakan dasbor, bidang kustom, dan alur kerja yang fleksibel untuk menghitung nilai-nilai seperti tingkat penerimaan pada percobaan pertama atau biaya per tugas yang berhasil. Alat observabilitas khusus seperti Arize, Langfuse, dan WhyLabs menangani telemetri tingkat model seperti drift dan hallucination, sementara gudang data seperti Snowflake menyimpan peristiwa mentah untuk analisis yang lebih mendalam.

Apakah Anda dapat mengukur dampak AI tanpa kelompok kontrol?

Ya, meskipun tidak seakurat itu. Kelompok kontrol memisahkan dampak yang disebabkan oleh AI dari apa yang akan terjadi secara alami, sehingga ini merupakan opsi terkuat. Tanpa kelompok kontrol, gunakan peluncuran bertahap atau garis dasar yang disesuaikan, serta sesuaikan dengan perubahan harga, promosi, permintaan, dan musim. Perbandingan sebelum-dan-sesudah yang sederhana hanya menunjukkan apa yang berubah, tetapi tidak apa yang menyebabkannya; inilah sebabnya permintaan musiman atau perbaikan proses paralel sering kali disalahartikan sebagai kontribusi AI.

Bagaimana cara mengukur ROI AI?

ROI AI adalah nilai yang diperoleh dari sistem AI dibandingkan dengan total biaya pembangunan, pengoperasian, dan pemeliharaannya. Tetapkan patokan awal untuk proses tersebut sebelum implementasi, kemudian ukur perubahannya dalam metrik bisnis yang konkret, seperti biaya per penyelesaian masalah atau pendapatan per interaksi, dibandingkan dengan total biaya kepemilikan.