AI Performans Metrikleri: AI Odaklı Verimliliği Ölçmek İçin 50'den Fazla KPI

Çoğu kurumsal AI vaka çalışması birbirine benzer. Sunum muhteşemdir, benimseme grafiği sürekli yükselir, yükselir, yükselir ve sonra birisi odayı bir anda sessizliğe boğabilecek bir soru sorar: Kâr ve Zarar Tablosunda ne değişti?

Danışmanlık firması Roland Berger, bu sessizliğe bir sayı koydu. The AI Value Gap (AI Değer Açığı) adlı çalışmasında, Avrupa, Japonya ve ABD'deki 203 üst düzey yöneticiyle anket yapıldı. Katılımcıların yaklaşık %90’u, yapay zeka yatırımlarının getirisinin harcamalarının gerisinde kaldığını belirtti. Daha da çarpıcı olan kısım ise bu başlığın hemen altında yer alıyordu: Katılımcıların çoğunda, sonuçlarla bağlantılı tutarlı bir yapay zeka performans ölçütü bulunmuyordu; sadece tek seferlik değerlendirmeler ya da çok geniş kapsamlı KPI listeleri mevcuttu. Teknolojinin herhangi bir sonuç verip vermediğini tam olarak bilemiyorlardı.

Ve bunun nasıl bir his olduğunu anlamak için 200'den fazla yöneticiye ihtiyacınız yok. Bir AI destek temsilcisi tüm gün çalışabilir, vasat yanıtlar gönderebilir ve her gösterge panelini parlatabilir; ancak CFO'nun görebileceği hiçbir sonuç üretmez. Grafik sağlıklı göründüğü için takım kullanımı artırmaya devam eder. İşte tuzak da tam olarak budur.

Bu konuda başarılı olan takımlar ise tam tersini yapacak. AI'nın sağladıklarını ölçecek, bunları bir referans değerle karşılaştıracak ve her sonucu belirli bir sorumlu kişiye devreleyecek.

Bu kılavuz, AI performans metriklerini dört katmana ayırır: çıktı kalitesi, sistem güvenilirliği, işgücü tarafından benimsenme ve iş dünyası üzerindeki etki. Her metrik, bir formül, bir yönlendirme ve bir karşı metrik içerir. Hedef, eyleme geçilebilecek kadar yalın bir puan kartı oluşturmak ve rakamlarda değişiklik olduğunda birisinin sorumlu tutulmasını sağlayan sahiplik mekanizmasını bu puan kartıyla birleştirmektir.

AI Performans Metrikleri Nedir? (Ve Bunlar Gösteriş Metriklerinden Nasıl Farklıdır?)

AI performans metrikleri, bir AI sisteminin ne kadar iyi çalıştığını ve iş değeri yaratıp yaratmadığını gösterir. Bazı AI performans metrikleri, doğruluk ve gecikme süresi gibi teknik kaliteyi ölçer. Diğerleri ise maliyetlerin düşmesi, işlerin daha hızlı yapılması veya gelirlerin artması gibi sonuçları izler.

En önemli ayrım, metrik ile KPI arasındadır. Gönderilen komutlar, oturum açma sayıları, kullanılan belirteçler ve üretilen kelimeler metriklerdir. Ancak bunları başarı olarak sunduğunuz anda göstermelik metriklere dönüşürler, çünkü sonuçları değil, hareketi ölçerler. KPI ise, değiştiğinde iş sonucu yaratan daha küçük bir sayı kümesidir. Dolayısıyla izlenmesi gereken bir AI performans metriği, işleme alınan bilet sayısı değil, çözülen bilet başına maliyettir.

İyi tanımlanmış bir KPI beş bölümden oluşur: AI KPI = Metrik + Referans Değer + Hedef + Zaman Aralığı + Karşı Metrik

Örneğin, bir destek ekibi için bir AI KPI'sı şu tür bir hedefe katkıda bulunabilir: Müşteri memnuniyetini düşürmeden, ilk yanıt süresini bir çeyrek içinde 24 saatten dört saatin altına indirmek. Burada müşteri memnuniyeti kritik bir dengeleyici unsurdur. Bu unsur, ekibin hızlı ancak kalitesiz AI tarafından üretilen yanıtlarla hız hedefine ulaşmasını engeller.

KPI ile metrik arasındaki fark nedir?

Her KPI bir metriktir, ancak her metrik bir KPI değildir. Daha ayrıntılı bir ayrım için bkz. KPI'lar ve metrikler.

Öncü göstergeler ile gecikmeli göstergeler arasındaki fark nedir?

Öncü gösterge size erken bir uyarı sağlar. Gecikmeli gösterge ise sonuç ortaya çıktıktan sonra bunu kaydeder. Her iki terim de KPI'ları ayarlarken ve ölçerken sıklıkla kullanılır.

Örnek olarak, artan bir geçersiz kılma oranı, çalışanların artık AI'ya güvenmediğini gösterebilir. Çalışanlar başka araçlara yöneldikçe, daha sonra daha düşük benimseme oranı ve daha yüksek maliyetler ortaya çıkabilir. Geçersiz kılma oranı erken bir işarettir; maliyet ise daha sonraki sonuçtur.

Yine de bu etiketler bağımlılık içerir. Doğruluk, model güncellemesinden biraz geride kalabilir ancak daha sonra müşteri memnuniyetinde bir değişikliğe yol açabilir. Bu nedenle aşağıdaki metrikler, ölçtükleri unsurlara göre gruplandırılmıştır.

AI Sistemlerinizin Verimliliğini Kanıtlayan 50'den Fazla AI Performans Metrikleri

Doğru metrikler, yapay zekanın ne amaçla kullanıldığına bağlıdır. Bir müşteri desteği botu, bir dolandırıcılık modeli ve bir yazma asistanı aynı performans gösterge tablosunu paylaşmamalıdır.

Aşağıdaki metrikler dört kategoriye ayrılır: model ve çıktı kalitesi, sistem performansı, benimseme ve işgücü üzerindeki etki ile iş sonuçları. Ancak hepsine ihtiyacınız yok. Hedefinize uygun olan birkaçını seçin, ardından her birini bir karşı metrikle eşleştirin.

Model ve çıktı kalite metrikleri

Bu metrikler şu ilk soruyu yanıtlar: AI doğru, yararlı ve güvenli bir sonuç üretiyor mu?

Sınıflandırma veya veri çıkarma gibi tek bir doğru cevabı olan görevlerde, çıktıyı bir referans kümesiyle karşılaştırabilirsiniz. Üretken işlerin puanlanması daha zordur, çünkü aynı anda birden fazla cevap geçerli olabilir. Bu durumda, alaka düzeyi, temellilik, eksiksizlik ve talimatlara uyum gibi faktörleri değerlendirmek için insan denetçilere veya model tabanlı değerlendiricilere güvenirsiniz.

Bu puanlar, zayıf çıktıları tespit etmenize ve neyin yanlış gittiğini belirlemenize yardımcı olur. Ancak bu puanlar, AI'nın maliyet tasarrufu sağlayıp sağlamadığını, ş Akışını kolaylaştırıp kolaylaştırmadığını veya kullanıcıların güvenini kazanıp kazanmadığını size söylemez. Bu sonuçlar, sonraki bölümlerde ele alınmaktadır.

1. Doğruluk

Doğruluk, AI'nın bilinen bir cevaba karşı doğru tahminlerinin oranıdır. Örneğin, bir bilet yönlendirme modeli 1.000 bileti etiketler ve 920'sini doğru tahmin ederse, doğruluk oranı %92'dir.

Bu kulağa etkileyici gelebilir, ancak doğruluk, en önemli hataları gizleyebilir. Eğer gönderilen 80 hata tamamı acil biletleri yanlış kuyruğa yönlendirse bile, genel puan yine de iyi görünecektir. Ayrıca, bir sonuç diğerinden çok daha sık ortaya çıktığında da bu ölçütün değeri azalır.

2. Hassasiyet

Hassasiyet, yapay zekanın olumlu bir sonuç öngördüğünde ne sıklıkla doğru tahmin yaptığını gösterir. Basitçe ifade etmek gerekirse, kaç uyarıya müdahale etmenin gerekli olduğunu belirtir.

Bir dolandırıcılık modelinin 200 işlemi işaretlediğini, ancak bunlardan sadece 150'sinin dolandırıcılık olduğunu varsayalım. Modelin doğruluk oranı %75'tir. Geri kalan 50 işlem ise yanlış alarmdır ve her biri daha fazla inceleme iş yükü yaratır.

3. Geri çağırma

Geri çağırma oranı, AI'nın gerçek pozitif vakaların kaçını tespit ettiğini gösterir. Hassasiyet, bir uyarının doğru olup olmadığını sorgular; geri çağırma oranı ise gerçek bir vakanın gözden kaçıp kaçmadığını sorgular. Bu iki ölçüt zıt yönlere etki eder; bu nedenle bir model birinde mükemmel görünürken diğerinde başarısız olabilir.

Diyelim ki 180 adet dolandırıcılık işlemi var ve model bunların 150'sini tespit ediyor. Modelin geri çağırma oranı %83,3'tür; bu da 30 gerçek vakayı gözden kaçırdığı anlamına gelir. Dolandırıcılık, tıbbi tarama veya güvenlik alanlarında bu gözden kaçırmalar, ek bir inceleme yapmaktan çok daha pahalıya mal olabilir.

4. F1 Skoru

F1 skoru, doğruluk ve geri çağırma oranlarını birleştirir. Yanlış alarmlar ve gözden kaçan vakaların her ikisinin de önemli olduğu durumlarda, özellikle de bir sınıfın diğerine göre çok daha seyrek göründüğü durumlarda faydalıdır.

Bir dolandırıcılık modelinin doğruluğu %75 ve geri çağırma oranı %83,3 ise, F1 puanı yaklaşık %79 olur. F1, harmonik ortalamayı kullandığından, her iki tarafta da düşük bir puan, sonucu aşağı çeker.

5. Gerçekçilik

"Temellilik", AI'nın iddialarının aldığı kaynaklar tarafından desteklenip desteklenmediğini gösterir. Bu özellik, akıcı bir cevabın yine de kanıtların ötesine geçebileceği, bilgi erişimiyle güçlendirilmiş sistemlerde en büyük öneme sahiptir.

Bir politika asistanının 10 adet olgusal iddia ortaya koyduğunu ve gözden geçirenlerin bunlardan dokuzunu onaylanmış politikaya dayandırabildiğini varsayalım. İddia düzeyinde dayanaklılık oranı %90'dır. Son iddia ise, özellikle ücret, sosyal haklar veya mevzuata uygunlukla ilgiliyse, hâlâ dikkat gerektirir.

Bu, evrensel bir formül değil, operasyonel bir formüldür. Sonuçları karşılaştırmadan önce neyin "iddia" olarak kabul edileceğini, neyin "destek" olarak nitelendirileceğini ve kısmi desteği nasıl puanlayacağınızı belirleyin.

6. Alaka düzeyi

Alaka düzeyi, çıktının kullanıcının sorduğu soruyu yanıtlayıp yanıtlamadığını gösterir. Bir yanıt doğru olsa bile, ilgili olmayan bir sorunu çözüyorsa yine de yararsız olabilir.

Diyelim ki değerlendiriciler 100 chatbot yanıtını inceledi ve 85'ini alakalı olarak işaretledi. Bu durumda %85'lik bir alakalılık başarı oranı elde edersiniz. Ancak takım, bir puanlama ölçeği ve geçme notu üzerinde anlaşana kadar bu sayı pek bir anlamı yoktur.

7. Talimatlara uyma oranı

Talimatlara uyma oranı, AI'nın gerekli her talimata ne sıklıkla uyduğunu ölçer. Biçim, uzunluk, istisnalar ve gerekli eylemlerin tümü bu ölçümde dikkate alınabilir.

Örnek olarak, bir ş akışı modelden beş zorunlu alanı içeren geçerli bir JSON döndürmesini ister. 100 çıktının 94'ü tüm kurallara uyuyorsa, oran %94'tür. Okunması kolay ancak JSON şemasını ihlal eden bir yanıt yine de başarısız sayılır.

Testi çalıştırmadan önce kuralları belirleyin. Değerlendiriciler, çıktıyı gördükten sonra “talimatlara uyuldu” ifadesinin ne anlama geldiğine karar verirlerse, puanlar tutarsız hale gelir.

8. Tamlık Puanı

"Kapsam" ölçütü, yapay zekanın görevin gerekli tüm kısımlarını kapsayıp kapsamadığını gösterir. Bu ölçüt, yüzeysel olarak kusursuz görünen ancak aslında bazı unsurları gözden kaçıran cevapları tespit eder.

Bir raporun beş bölümü içermesi gerektiğini ve AI'nın dördünü tamamladığını varsayalım. Tamamlanma puanı %80'dir. Bu, raporun %80 oranında iyi olduğu anlamına gelmez. Eksik olan bölüm, okuyucunun en çok ihtiyaç duyduğu bölüm olabilir.

Riskli işlerde, unsurları önem derecesine göre değerlendirin. Eksik bir yasal uyarı, eksik bir isteğe bağlı örnekten daha fazla ağırlık taşımalıdır.

9. Halüsinasyon Oranı

Halüsinasyon oranı, AI'nın ne sıklıkla yanlış veya desteksiz iddialarda bulunduğunu izler. Bu sorunlar birbiriyle örtüşse de her zaman aynı değildir. Bir iddia genel olarak doğru olabilir, ancak sistemin kullanması söylenen kaynaklar tarafından desteklenmeyebilir.

Halüsinasyonları yanıt bazında veya iddia bazında ölçebilirsiniz. 500 yanıtın 15'inde en az bir adet dayanağı olmayan iddia varsa, yanıt düzeyindeki oran %3'tür. İddia düzeyinde yapılan bir hesaplama size farklı bir sonuç verebilir.

10. Görev tamamlama oranı

Görev tamamlama oranı, AI'nın gerekli son duruma ne sıklıkla ulaştığını gösterir. Bir müşteri temsilcisi için bu, para iadesi yapmak, müşteri kaydını güncellemek ve sonucu onaylamak anlamına gelebilir. Makul bir yanıt üretmek bu kapsamda değerlendirilmez.

Bir temsilcinin 1.000 adet uygun iade talebini işleme aldığını ve bunlardan 700'ünü insan yardımı olmadan tamamladığını varsayalım. Otonom görev tamamlama oranı %70'tir. Yardımla tamamlanan işlemleri ayrı olarak raporlayın; böylece sorunsuz bir devretme işlemi, tam bir başarı ya da başarısızlık olarak değerlendirilmez.

Üretim hedefiniz olarak halka açık bir karşılaştırma ölçütünü kullanmayın. Temsilci puanları hızla değişir ve karşılaştırma ölçütündeki görevler nadiren sistemlerinize, politikalarınıza veya müşterilerinize uyar. Temsilcinizin gerçekte üstleneceği işlerden bir test seti oluşturun.

11. Araç seçim doğruluğu

Araç seçim doğruluğu, bir temsilcinin bir sonraki adımı için doğru aracı ne sıklıkla seçtiğini gösterir. Bu, o aracı doğru kullanıp kullanmadığından ayrı bir konudur.

Bir müşteri temsilcisi, bir müşteri kaydını sorgu yoluyla öğrenmesi gerekirken internette arama yapabilir veya kullanıcı sadece bir taslak istediğinde e-posta gönderebilir. Tek bir yanlış seçim, görevin geri kalanını rayından çıkarabilir.

12. Araç çağrısı argüman doğruluğu

Temsilci bir araç seçtikten sonra, bu araca doğru değerleri aktarmalıdır. Araç çağrısı argüman doğruluğu, isimler, tarihler, ID numaraları ve tutarlar gibi alanları kontrol eder.

Bir temsilcinin 300 rezervasyon araması yaptığını ve bunlardan 264'ünde tüm ayrıntıların doğru olduğunu varsayalım. Katı argüman doğruluğu %88'dir. Bir ödeme veya rezervasyon akışında, yanlış bir tarih veya hesap sayısı gerçek bir hataye neden olabilir.

Sıkı bir başarı oranı, tek bir yanlış alanı bile başarısız bir çağrı olarak değerlendirir. Soruna neden olan argümanları da belirlemeniz gerekiyorsa, alan düzeyinde doğruluk oranını da ekleyin.

13. Yörünge kalitesi

Yol kalitesi, bir temsilcinin bir görevı tamamlamak için izlediği yolu inceler. Bir temsilci, birkaç gereksiz arama, tekrarlanan çağrı veya politika ihlali sonrasında doğru sonuça ulaşabilir. Basit bir tamamlama puanı, tüm bunları gözden kaçırır.

Her çalışmayı tek bir ideal yol ile karşılaştırarak değerlendirmeyin. Karmaşık görevlerin birkaç geçerli yolu olabilir. Çalışmayı gerekli adımlar, izin verilen eylemler ve gereksiz sapmalar açısından değerlendirin.

Karmaşık görevlerde genellikle birkaç geçerli yol olduğundan, tek bir mükemmel yol yerine bir dizi kurala göre puanlama yapın. Bu, ajan testlerinde gerçek bir kör noktadır. 2025 TRAJECT-Bench, ajanın sonuna ulaşıp ulaşmadığını kontrol etmek yerine, araç seçimi, argüman doğruluğu ve çağrıların doğru sırayla gerçekleşip gerçekleşmediğini kontrol ederek bu kör noktayı ortadan kaldırmak üzere geliştirilmiştir.

14. Planlama verimliliği

Planlama verimliliği, bir temsilcinin sonuça ulaşmadan önce ne kadar fazla iş yaptığını gösterir. Her fazladan adım, zamana, belirteçlere ve başarısızlık ihtimaline yol açar.

Bir görevin dört onaylanmış adımda tamamlanması gerekiyorsa ve temsilci altı adım kullanıyorsa, adım bazlı planlama verimliliği %66,7'dir. Bu sayı, ancak adil bir referans yol veya adım bütçesi belirleyebildiğinizde geçerlidir.

Asla sadece daha kısa bir yolu ödüllendirmeyin. Gerekli bir kontrolü atlayan bir ajan, verimli görünse de daha fazla risk yaratabilir.

15. Tutarlılık puanı

Tutarlılık, aynı görevı aynı koşullar altında tekrarladığınızda AI'nın eşdeğer sonuçlar verip vermediğini gösterir. Tek bir başarılı test, sadece şans eseri elde edilmiş bir sonuç olabilir.

Aynı görevin 20 kez yürütüldüğünü ve 18 sonucun aynı sonuç kriterlerini karşıladığını varsayalım. Tutarlılık oranı %90'dır. Benzer ifadeler yerine gerçekleri, kararları veya nihai eylemleri karşılaştırın.

16. Sağlamlık oranı

Sağlamlık oranı, girdi gerçekçi şekillerde değiştiğinde performansın korunup korunmadığını ölçer. Testler arasında yazım hataları, eksik ayrıntılar, yeniden sıralanmış bilgiler, daha uzun komutlar veya farklı ifadeler yer alabilir.

Model, 200 değiştirilmiş test senaryosunun 170'ini işleyebiliyorsa, sağlamlık oranı %85'tir. Test kümesi, kullanıcılarınızın gönderdiği hatalı girdileri yansıtmalıdır.

17. Güvenlik ihlali oranı

Güvenlik ihlali oranı, AI çıktısının tanımlanmış bir güvenlik politikasını ne sıklıkla ihlal ettiğini gösterir. Bir ihlal, zararlı tavsiyeler, gizli veriler, yasaklanmış içerik veya ajanın gerçekleştirmeye yetkisi olmayan bir eylemi içerebilir.

Diyelim ki, denetçiler 10.000 çıktıda 12 ihlal tespit etti. Bu oran %0,12'dir. Tek bir hata bile ciddi zarara yol açabiliyorsa, bu küçük sayı bile kabul edilemez olabilir.

Ciddiyetin yanı sıra sıklığı da raporlayın. On adet küçük ihlal, bir adet gizli veri ifşası ile aynı ağırlıkta değerlendirilmemelidir.

18. Adalet açığı

Adalet açığı, AI'nın benzer muamele görmesi gereken gruplar arasında farklı performans gösterip göstermediğini ortaya koyar. Tek bir genel doğruluk puanı, altında yatan büyük bir açığı gizleyebilir.

Bir tarama modelinin bir grup için %82, başka bir grup için ise %71 doğru pozitif oranına sahip olduğunu varsayalım. Aradaki fark 11 yüzde puandır. Karşılaştırılan ölçütü belirtiniz. “Adalet farkı” ifadesi tek başına çok belirsizdir.

Aradaki farkın küçük olması, sistemin adil olduğunu kanıtlamaz. Her grup eşit derecede kötü sonuçlar alıyor olabilir. Her grubun puanını, aradaki farkla birlikte inceleyin.

19. İlk denemede kabul oranı

İlk denemede kabul oranı, AI çıktısının ilk incelemede ne sıklıkla kullanılabilir olduğunu gösterir. Bu oran, sistemin ürettiği içerik, kod veya analiz hacminden çok daha fazlasını size anlatır.

Örneğin, düzenleyicilerin 100 yapay zeka taslağını incelediklerini ve 65'ini yeniden işleme veya büyük düzeltmelere gerek kalmadan kabul ettiklerini varsayalım. İlk turda kabul oranı %65'tir. Küçük bir dil düzeltmesi ile tamamen yeniden yazma aynı sonuç olarak değerlendirilmemesi gerektiğinden, "kabul edildi" kavramını önceden tanımlayın.

20. Yeniden işleme oranı

Yeniden işleme oranı, AI çıktısının ş akışına girdikten sonra ne sıklıkla düzeltme gerektirdiğini gösterir. Bu oran, AI'nın başlangıçta zaman tasarrufu sağladığı ancak daha fazla işi gözden geçiren takımlara veya sonraki aşamadaki takımlara aktardığı durumlarda ortaya çıkan sahte verimliliği ortaya çıkarır.

100 adet AI tarafından yazılmış kod örneğinden 22'si düzeltme için geri gönderilirse, yeniden işleme oranı %22'dir. AI'nın neden olduğu hataları, rutin revizyonlardan veya kapsam değişikliklerinden ayırın.

Sistem ve operasyonel metrikler

Bu katman, iyi sonuçların kullanıcılara gerçekten güvenilir, hızlı ve işin karşılayabileceği bir maliyetle ulaşıp ulaştığını sorgular. Benimseme sürecinin sessizce sona erdiği nokta budur; çünkü yavaş yanıt veren veya maliyeti çok yüksek olan teknik açıdan doğru bir model, ş Akışta asla kendine yer bulamaz.

21. Gecikme süresi

Gecikme, bir istek ile kullanılabilir bir sonuç arasındaki süredir ve neyin kullanılabilir sayılacağı tamamen göreve bağlıdır. Bir sınıflandırıcı için bu, nihai cevap olabilir. Bir ajan için ise istenen eylemin tamamlandığı an olabilir. Ancak ortalamalara dikkat edin, çünkü bunlar kullanıcıların gerçekte hissettiği gecikmeleri gizler. Bir destek asistanının ortalama süresi 1,2 saniye olabilir, ancak yoğun saatlerde bu süre altı saniyeye kadar uzayabilir. Hem tipik istekleri hem de yavaş olanları görebilmeniz için p50 ve p95 gibi yüzdelik dilimleri raporlayın.

İlk belirteçin gelme süresi (TTFT): Akış sistemlerinde, yanıtın sadece tamamlanma süresini değil, başlama süresini de izleyin. İki asistan da beş saniyede işlemi tamamlayabilir, ancak 300 ms'de akışı başlatan asistan, ekranı iki saniye boyunca boş bırakan asistandan çok daha hızlı hissedilir. Evrensel bir TTFT karşılaştırma ölçütü yoktur: komut uzunluğu, model boyutu, kuyruklar ve yük bu süreyi etkiler; bu nedenle kendi kullanım durumunuz için bir hedef belirleyin ve gerçekçi trafik koşullarında test edin.

22. İşlem hacmi

İş hacmi, sistemin belirli bir zaman aralığında tamamladığı iş miktarını ifade eder. Saniye başına istek sayısını, saat başına belge sayısını veya gün başına başarıyla tamamlanan görev sayısını hesaplayabilirsiniz. Diyelim ki bir belge iş akışı, test ortamında saatte 500 dosyayı işliyor, ancak canlı trafikte bu sayı 200'e düşüyor. Bu fark, sistemin yoğun dönemlerde iş birikimi oluşturmadan bu yükü kaldırabileceğini gösterir.

Her seferinde birimin adını belirtin. Saniye başına istek sayısı ile saniye başına belirteç sayısı, farklı sorulara cevap verir.

23. Çalışma süresi ve kullanılabilirlik

Kullanılabilirlik, AI hizmetinin planlanan süre içinde istekleri fiilen tamamlayabildiği zamanın payıdır. Bir hizmet çevrimiçi olsa da işi bitiremeyecek kadar yavaş veya arızalı olabilir; bu nedenle kullanılabilirliği, kullanışlı bir sonuç temelinde tanımlayın. Aylık %99 oranında bile, 30 günlük bir ayda yaklaşık 7 saat 12 dakikalık kesinti süresi için yer kalır. Bu, isteğe bağlı bir yazma asistanı için sorun olmayabilir. Ancak insanların günün her saati güvendiği bir destek aracı için bunu kabul etmek çok daha zordur.

24. Sistem hata oranı

Sistem hata oranı, zaman aşımı, kullanılamayan modeller, geçersiz yanıtlar ve bozuk entegrasyonlar gibi teknik arızaları kapsar. Diyelim ki 1.000 temsilci isteğinden 30'u bir API'nin çökmesi nedeniyle başarısız oluyor. Bu, %3'lük bir hata oranı demektir. Bu hataları nedenlerine göre sınıflandırın; aksi takdirde takım, bir sorunun olduğunu bilecek ancak nereye bakması gerektiğini bilemeyecektir.

25. Yeniden deneme oranı

Yeniden deneme oranı, sistemin bir isteği veya eylemi ne sıklıkla tekrarlaması gerektiğini gösterir. Altta yatan görev sonunda yine de başarılı olabilir; bu nedenle yeniden denemeler, basit bir tamamlanma puanının ötesine geçer. Diyelim ki 1.000 isteğin 120'si bir ek deneme gerektiriyor. Bu, %12'lik bir yeniden deneme oranı anlamına gelir ve sistem toplamda 1.120 deneme yapar; bu da söz konusu parti için yaklaşık %12'lik ek iş yükü demektir. İstek başına birden fazla yeniden deneme yapılması, maliyeti daha da artırır.

26. Başarılı görev başına maliyet

Başarılı görev başına maliyet, AI harcamalarını tamamlanan işlerle ilişkilendirir; bu da, başarısız denemelerin hâlâ belirteç, araç ve altyapı kaynaklarını tükettiği durumlarda, istek başına maliyetten çok daha doğru bir ölçüt sunar. Her bir ajanın çalıştırılmasının maliyeti 10 sent olsun, ancak bunların sadece yarısı başarılı olsun. Başarı başına doğrudan maliyetiniz 20 sent olur. Buna insan tarafından yapılan inceleme veya yeniden işleme maliyetlerini de eklediğinizde, gerçek rakam daha da yükselir.

27. Engelleme oranı

Çözüm oranı, insan müdahalesi olmadan sonuçlanan uygun etkileşimlerin payıdır. Destek ekipleri, bu oranı kullanarak AI'nın tek başına ne kadar talebi karşıladığını tahmin eder. Ayrıca bu oran kolayca şişirilebilir. Diyelim ki bir bot, 1.000 sohbetin 800'ünü çözerek %80'lik bir oran elde etti. Bu kullanıcıların bazıları gerçek bir yanıt alırken, diğerleri ise sadece pes etti. Sonrasında ne olduğunu incelemedikçe her ikisi de çözülmüş gibi görünür.

Yalnızca AI'nın işlemesi gereken sorguları sayın. Politika tabanlı aktarımlar, hata olarak değerlendirilmemelidir.

28. Eskalasyon oranı

Eskalasyon oranı, bir AI etkileşiminin ne sıklıkla bir insana devredildiğini gösterir. Yüksek bir oran, performansın zayıf olduğunu işaret edebilir, ancak sistemin ne zaman kenara çekilmesi gerektiğini bildiğini de gösterebilir. Diyelim ki 1.000 etkileşimden 150'si eskalasyona uğradı; bu da %15'lik bir oran demektir. Tek başına bu sayı pek bir şey ifade etmez. Bu sayıyı, politika gereği yapılan devretmeler, kullanıcı talebi üzerine yapılan devretmeler ve AI'nın çözemediği vakalar olarak ayırın.

Kullanım ve işgücü üzerindeki etki metrikleri

Çalışır durumdaki bir AI sistemi, yine de kullanıcıların günlük rutininde kendine bir yer edinmek zorundadır. Bu metrikler, kullanıcıların sistemi denediğini, gerçek işlerinde kullandığını ve yenilik etkisi geçtikten sonra da sisteme geri döndüğünü gösterir.

Sadece kullanım, değeri kanıtlamaya yetmez. Gallup'un araştırmasına göre, çalışan Amerikalıların %50'si yılda en az birkaç kez AI kullanıyor, ancak sadece %13'ü günlük olarak kullanıyor. İşte bu fark, neden sadece benimseme düzeyinin yanı sıra kullanım sıklığını, derinliğini ve yetkinlik düzeyini de izlemeniz gerektiğini açıklıyor.

29. Uygun kullanıcıların benimseme oranı

Uygun kullanıcı benimseme oranı, AI'yı kullanabilecek kişilerden kaçının bu teknolojiyle en az bir anlamlı eylem tamamladığını gösterir. Burada önemli olan paydadır. 400 kişi bir aracı etkinleştirirse, bu harika bir sonuç gibi görünebilir. Ancak 4.000 çalışana erişim izni verilmişse, benimseme oranı aslında sadece %10'dur. Rollerinde onaylanmış veya yararlı bir AI kullanım senaryosu bulunmayan çalışanları bu hesaplamanın dışında bırakın.

Lansmandan önce “anlamlı eylem” kavramını tanımlayın. Aracı açmak veya bir test komutu göndermek, benimseme olarak sayılmamalıdır.

30. Aktif AI kullanım oranı

Aktif kullanım oranı, belirli bir dönem içinde kaç uygun kullanıcının gerçekten AI'ya güvendiğini gösterir. Haftalık aktif kullanım, genellikle toplam kayıt sayısından çok daha fazla bilgi verir. Diyelim ki 1.000 çalışan uygun durumda ve 600'ü aracı denedi, ancak tipik bir haftada sadece 180'i aracı gerçekten kullanıyor. Kabul oranınız %60 olarak görünebilir, ancak haftalık aktif kullanım oranı sadece %18'dir. İkinci sayı, aracın ş akışındaki gerçek konumuna çok daha yakındır.

İşe uygun bir eşik değeri belirleyin. Yazma ve destek araçları için haftalık kullanım uygun olabilirken, üç aylık planlama asistanı için daha uzun bir zaman aralığı gerekir.

31. Benimseme kapsamı

Kabul yaygınlığı, AI kullanımının uygulamaya geçirildiği süreçte takımlar, roller veya konumlar arasında ne kadar yaygınlaştığını gösterir. Genel kabul oranı, dengesiz bir tabloyu gizleyebilir. Bir mühendislik takımı bu aracı her gün kullanırken, satış, finans ve destek ekipleri ise neredeyse hiç kullanmayabilir.

Her grubun aynı seviyeye ulaşmasını beklemeyin. Takımları yalnızca yapay zeka onlar için eşit derecede yararlı ve erişilebilir olduğunda karşılaştırın.

32. Benimseme derinliği

Kullanım derinliği, aktif kullanıcıların AI ile kaç farklı görevi yerine getirdiğini gösterir. Bu, yüzeysel kullanımı gerçek kullanımdan ayırır. Yalnızca e-posta konu satırlarını yeniden yazan bir kişi, aracı kullanmaya başlamış olsa da derinlemesine kullanmamaktadır. Araştırma, taslak hazırlama, analiz ve toplantı notları için kullanan bir kişi ise AI'yı günlük hayatının çok daha büyük bir kısmına entegre etmiştir.

Daha fazla kullanım örneği her zaman daha fazla değer anlamına gelmez. Birkaç yüksek etkili ş akışı, önemsiz ş akışlarından oluşan uzun bir listeye üstün gelebilir.

33. Ş Akışı yaygınlık oranı

İş akışı penetrasyonu, AI desteği ile uygun işlerin ne kadarının fiilen tamamlandığını gösterir. Benimseme, insan sayısını ölçer. İş akışı penetrasyonu ise işin kendisini ölçer. Diyelim ki bir destek ekibi, AI yardımı için uygun 10.000 bilet işliyor, ancak AI sadece 2.500'üne müdahale ediyor. Her temsilci bu aracı en az bir kez denemiş olsa bile penetrasyon oranı %25'tir.

AI'nın onaylandığı ve üstesinden gelebileceği işlerle sınırlı kalın.

34. Aktif kullanıcı tutma oranı

Kullanıcı tutma oranı, ilk anlamlı kullanımlarından sonra kaç kişinin AI'yı kullanmaya devam ettiğini gösterir. Bu oran, lansman haftasındaki merakla kalıcı benimsemeyi birbirinden ayırt etmenize yardımcı olur. Diyelim ki Ocak ayında 500 çalışan aracı etkinleştirdi ve Nisan ayına kadar 300'ü kullanım eşiğini hala karşılıyor. Üç aylık kullanıcı tutma oranınız %60'tır.

Kohort bazında kullanıcı tutma oranını ölçün. Bu ayın aktif kullanıcı sayısını geçen ayın toplamıyla karşılaştırmak, ayrılan kullanıcıların yerini alan yeni kullanıcıları gözden kaçırmanıza neden olabilir.

35. AI yeterlilik oranı

Yeterlilik oranı, gerekli kalite ve güvenlik standartlarını karşılarken onaylanmış bir görevyi AI yardımıyla tamamlayabilen kullanıcı sayısını gösterir. Kullanıcılara gerçekçi bir görev verin, ardından sonucu kontrol edin. Bir destek temsilcisi, AI'yı kullanarak doğru bir yanıt taslağı hazırlayabilir, kaynağı doğrulayabilir ve uydurma bir politikayı tespit edebilir mi?

Birisi AI'yı sık sık kullanıyor olsa bile, yine de onu yetersiz bir şekilde kullanabilir. İşte bu nedenle, yeterlilik, benimsemenin altında değil, yanında yer alır.

36. Geçersiz Kılma Oranı

Geçersiz kılma oranı, bir kişinin AI önerisini ne sıklıkla reddettiğini, değiştirdiğini veya geri aldığını gösterir. Bu oran, zayıf çıktı, düşük güven veya sadece sağlıklı bir insan yargısını ortaya çıkarabilir. Diyelim ki, gözden geçirenler 1.000 AI önerisinden 240'ını değiştirdi. Bu, %24'lük bir geçersiz kılma oranı demektir. Ancak yine de nedenini bilmeniz gerekir. Gerekli bir düzeltme ile kişisel bir ifade tercihi aynı ağırlıkta değerlendirilmemelidir.

Düşük bir geçersiz kılma oranı, kullanıcıların çıktıyı kontrol etmeden zayıf sonuçları kabul ettiği anlamına geliyorsa, aslında endişe verici olabilir.

37. İnsan Müdahale Oranı

İnsan müdahale oranı, AI tarafından başlatılan bir görevin tamamlanabilmesi için ne sıklıkla planlanmamış bir yardıma ihtiyaç duyduğunu ölçer. Bu, planlı bir onay veya politika devri işleminden farklıdır. Diyelim ki bir ajan 1.000 görev denedi ve bunların 180'ini insanlar devralmak zorunda kaldı. Bu, %18'lik bir müdahale oranı demektir. Bu devralma işlemleri, otonom tamamlama oranının gizleyebileceği işgücü maliyetlerini beraberinde getirir.

Planlanmış incelemeyi payın dışında tutun. Gerekli onay, ş Akışı'nın bir parçasıdır; sistem hatası değildir.

38. Tamamlanan her görev başına kazanılan zaman

Tamamlanan her görev başına kazanılan zaman, AI destekli ş akışının tamamını adil bir referans noktasına göre değerlendirir. Her şeyi hesaba katın: komut verme, bekleme, kontrol etme, düzeltme ve yeniden çalıştırma. Bunu atlarsanız, sadece hızlı hazırlanan ilk taslağı hesaba katarsınız. Sonrasında yapılan tüm temizleme işlemlerini sessizce göz ardı edersiniz.

Kullanıcıların kendi beyanlarına dayalı zaman tasarrufu verileri yardımcı olabilir, ancak bunların gerçeklikle karşılaştırılması gerekir. St. Louis Fed araştırması, AI kullanıcılarının 40 saatlik bir haftada yaklaşık 2,2 saat tasarruf ettiklerini bildirdiğini ortaya koydu. Ancak METR tarafından yapılan rastgele bir denemede, deneyimli geliştiricilerin AI kullanarak %20 daha hızlı çalıştıklarına inanmalarına rağmen , aslında %19 daha uzun sürede tamamladıkları ortaya çıktı. Bu çalışmalar farklı iş alanlarını kapsıyor olsa da, ortak bir noktaya işaret ediyor: kullanıcılara ne kadar zaman tasarrufu sağladıklarını sorun, ardından bunu görev verileriyle doğrulayın.

39. AI inceleme süresi

AI inceleme süresi, bir çıktıyı kontrol etmek ve onaylamak için gereken insan çabasını ölçer. İşte vaat edilen zaman tasarrufu genellikle bu noktada sessizce azalır. Bir AI taslağının oluşturulması 30 saniye sürebilir, ancak doğrulanması 12 dakika sürebilir. Bu toplam süreyi, AI kullanılmadığında görevin tamamlanması için gereken süreyle karşılaştırın.

Yüksek riskli işlerde inceleme süresini sıfıra indirmeye çalışmayın. Amaç, verimli bir kontrol sürecidir; körü körüne onay vermek değildir.

40. Çalışan güven puanı

Çalışan güven puanı, kullanıcıların yapay zekanın onaylanmış görevler için yeterince güvenilir olduğuna inanıp inanmadıklarını ve sınırlarını anlayıp anlamadıklarını izler. Bunu, doğruluk, şeffaflık, güvenlik ve hataları tespit etme konusundaki güveni kapsayan kısa bir anketle ölçebilirsiniz. “Yapay zekaya güveniyor musunuz?” gibi genel bir sorudan kaçının. Bu, harekete geçemeyeceğiniz belirsiz bir puan verir.

İşletme üzerindeki etki ve yatırım getirisi (ROI) metrikleri

Yöneticilerin yatırım kararlarını bu katmana göre alırlar, ancak çoğu AI gösterge paneli bu katmanı göz ardı eder. Çıktı, maliyet, gelir, müşteri sonuçları, yatırım getirisi (ROI): Bir programın yenilenip yenilenmeyeceğini veya rafa kaldırılıp kaldırılmayacağını belirleyen sayılar işte bunlardır.

Bunlar aynı zamanda kanıtlanması en zor olan unsurlardır. Bir lansmanın ardından gelir artışı, AI'nın yaptığı bir şeyden değil, talebin değişmesinden kaynaklanabilir. Maliyetler ise takımın aynı zamanda süreçlerini yeniden düzenlemesi nedeniyle düşebilir. Basit bir "öncesi-sonrası" karşılaştırması size neyin değiştiğini gösterir, ancak bunun nedenini açıklamaz. Bunun için bir kontrol grubuna, aşamalı bir uygulamaya veya eşleşen bir referans noktasına ihtiyacınız vardır; böylece, bu değişiklikler olmasaydı ne olacağını görebilirsiniz.

41. Artımlı iş hacmi

Artımlı verim, AI eklendikten sonra takımın ne kadar daha fazla kabul edilebilir iş tamamladığını ölçer. Yalnızca temel referans değerle aynı kalite standardını karşılayan çıktıları sayın. Diyelim ki bir takım, AI kullanılmadan önce haftada 500 onaylanmış vaka tamamlıyordu ve şimdi 575 vaka tamamlıyor. Bu, %15'lik bir artımlı verimdir. Ancak aynı zamanda yeniden işleme ihtiyacı da artmışsa, gerçek kazanç göründüğünden daha az olabilir.

42. Döngü süresinin kısaltılması

Döngü süresinin kısalması, işin başlangıcından sonuna kadar ne kadar daha hızlı ilerlediğini gösterir. Bekleme, inceleme, düzeltmeler ve nihai onayı da hesaba katın. Yalnızca AI ile içerik üretme adımıni ölçerseniz, sonuç gerçekte olduğundan daha iyi görünecektir. Diyelim ki sözleşme incelemesi AI kullanılmadan önce beş gün sürüyordu, şimdi ise üç gün sürüyor. Döngü süresi %40 oranında azalmıştır.

43. Çözüm başına maliyet

Çözüm başına maliyet, işin tek bir sorunu çözmek için ne kadar harcama yaptığını gösterir. Bu, temas başına maliyetten daha önemlidir; çünkü tek bir müşteri sorunu, birçok mesaj, arama veya üst düzeye yönlendirmeyle sonuçlanabilir. Model maliyetlerini, insan işgücünü, araç çağrılarını, incelemeyi ve tekrarlanan temasları da hesaba katın. Aksi takdirde, ucuz bir ilk yanıt, gerçek çözüme giden pahalı bir süreci gizler.

44. Doğrulanmış maliyet tasarrufu

Doğrulanmış maliyet tasarrufları, AI'yı uyguladıktan sonra ortadan kaldırdığınız harcamalardır. Daha az fazla mesai, daha az dış kaynak kullanımı veya daha düşük altyapı faturası gibi örnekleri düşünün. Kazanılan zaman tek başına nakit olarak sayılmaz. Çalışanlar aynı maaş bordrosunda kalırsa ve üretim seviyesi sabit kalırsa, kapasiteyi serbest bırakmış olursunuz ancak gerçek bir maliyet kesintisi sağlamamış olursunuz.

Maliyet önlemeyi ayrı tutun. Tasarruf, mevcut bir gideri ortadan kaldırır. Önleme ise, artan bilet hacmini yönetmek için beş yeni temsilci işe almak gibi planlanmış gelecekteki bir gideri engeller. Her ikisi de değer yaratabilir, ancak bunları etiketlemeden karıştırmak, sonucun olduğundan daha kesin görünmesine neden olur.

45. Yapay zekaya atfedilebilen artan gelir

Artış gelir, yapay zekanın normalde gerçekleşmesi muhtemel olanın ötesinde yarattığı ek gelirdir. Bunu belirlemenin en net yolu, bir yapay zeka grubunu benzer bir kontrol grubuyla karşılaştırmaktır. Kontrol grubunuz yok mu? Bunun yerine aşamalı bir uygulamaya geçin veya eşleşen bir referans değeri kullanın. Ayrıca fiyat, promosyonlar, talep ve mevsimsellikteki değişiklikleri de hesaba katın.

Gelir, kâr değildir. Yatırım getirisini (ROI) hesaplarken toplam gelir rakamını değil, ek brüt kâr marjını kullanın.

46. Dönüşüm oranı artışı

Dönüşüm oranı artışı, AI'nın daha fazla kullanıcının satın alma, demo rezervasyonu veya onboarding sürecini tamamlama gibi hedef eylemleri gerçekleştirmesine yardımcı olup olmadığını gösterir. Diyelim ki kontrol grubunun dönüşüm oranı %5, AI destekli grubun ise %5,5 olsun. Mutlak artış 0,5 yüzde puanı, göreceli artış ise %10'dur. Her zaman hangisini kastettiğinizi belirtin.

47. Müşteri memnuniyeti farkı

Müşteri memnuniyeti farkı, AI deneyime dahil olduktan sonra müşteri puanlarında bir değişiklik olup olmadığını gösterir. Aynı kanalı, sorun türünü, müşteri grubunu ve puanlama ölçeğini karşılaştırın. Örneğin, AI destekli hizmet 5 üzerinden 4,3 puan alırken kontrol grubu 4,1 puan alsın. Bu durumda fark 0,2 puandır.

Ankete kimlerin yanıt verdiğine dikkat edin. Memnun ve memnuniyetsiz müşteriler farklı oranlarda yanıt verebilir; bu da hizmette gerçek bir değişiklik olmaksızın puanı etkileyebilir.

48. Tekrar iletişim oranı

Tekrar iletişim oranı, bir müşterinin aynı çözülmemiş sorunla ilgili ne sıklıkla geri döndüğünü gösterir. Bu oran, ilk sohbetin tesadüfen sona ermesi nedeniyle sadece çözülmüş gibi görünen vakaları da kapsar. Diyelim ki, sözde çözülmüş 1.000 vakadan 120'si bir hafta içinde başka bir iletişime yol açıyor. Bu, %12'lik bir tekrar iletişim oranı demektir.

Net bir zaman aralığı belirleyin ve aynı sorunla ilgili kişileri eşleştirin. Yeni bir soruyla geri dönen bir müşteri, çözümün başarısız olduğu olarak sayılmamalıdır.

49. Değer elde etme süresi

Değer elde etme süresi, bir AI projesinin ilk doğrulanmış iş sonucunu üretmesinin ne kadar sürdüğünü ölçer. Uygulamaya geçilmeden önce neyin değer olarak kabul edileceğine karar verin. Çalışan bir prototip veya ilk kullanıcı girişi, başından beri üzerinde anlaşılan hedef bu değilse, değer olarak kabul edilmez.

50. Yapay zeka yatırımının getirisi

AI yatırım getirisi, programın maliyetine karşı doğrulanmış net faydaları karşılaştırır. Faydalar arasında ek brüt kâr, gerçek maliyet tasarrufu ve açıkça etiketlenmiş maliyet önleme yer alabilir. Maliyet tarafı da dürüst olmalıdır. Yazılımı, modelleri ve sunucuları hesaplayın. Ardından kurulum, eğitim, denetim, inceleme ve bakım maliyetlerini ekleyin.

Çift sayımdan kaçının. Yapay zeka çalışanların zamanından tasarruf sağlıyorsa ve bu zaman daha fazla çıktı üretiyorsa, ekstra çıktının değerini veya işgücü tasarrufunu hesaplayın. Her ikisini de hesaplamak, aynı faydayı iki kez kaydetmek anlamına gelir.

51. Geri ödeme dönemi

Geri ödeme dönemi, bir AI projesi için doğrulanmış net faydalar yoluyla ön yatırımın ne kadar sürede geri kazanılacağını tahmin eder. Diyelim ki bir uygulamanın maliyeti 300.000 dolar ve aylık 25.000 dolarlık net fayda sağlıyor. Basit geri ödeme dönemi 12 ay olarak hesaplanır.

Basit bir geri ödeme hesaplaması, paranın zaman değerini ve geri ödeme tarihinden sonra elde edilen getirileri dikkate almaz. Finans takımları, büyük veya uzun vadeli AI programları için net bugünkü değer hesaplamasını da kullanabilir.

Neden Algı, Tüm Metrikler Arasında En Tehlikeli Olandır?

İnsanlar, AI'nın ilk taslakta kazandırdığı zamana dikkat ederler. Ancak nadiren hesaba kattıkları şey, bunun ardından gelen zamandır: komut yazmak, bilgileri doğrulamak, hataları düzeltmek ve zayıf kısımları yeniden yazmak. Bu eksik hesaplama, kazanımın gerçekte olduğundan çok daha büyük görünmesine neden olur.

Üst düzey büyüme ve strateji yöneticisi Farrah Lakhani'nin sözleriyle:

Gördüğüm en yaygın hata, tasarruf edilen zamanı AI başarısının birincil ölçütü olarak kabul etmektir. Tasarruf edilen saatler, otomasyonla gerçekleştirilen görevler ve kısaltılan döngü süreleri, yönetim kurulu toplantılarında toplanıp sunulması en kolay veri noktalarıdır. Aynı zamanda, gerçek iş etkisini yansıtma olasılığı en düşük olan veriler de bunlardır.

Ayrıca, METR, 349 teknik çalışana AI'nın işlerini nasıl etkilediği konusunda bir anket düzenledi. Ankete katılanların medyanı, hızda üç kat artış ve üretilen değerde 1,4 ila 2 kat artış olduğunu belirtti.

Bu sayılar etkileyici görünse de METR, bunlara dikkatle yaklaşmıştır. Sayılar, zamanlı görevlerden veya bir kontrol grubundan değil, çalışanların kendi tahminlerinden elde edilmiştir. Ayrıca araştırmacılar, en iddialı beyanların, tamamlanan işlerde gerçekte ortaya çıkan sonuçları abarttığına dair işaretler görmüştür.

Bunların hiçbiri algıyı gereksiz kılmaz. İnsanlar AI'nın kendilerine yardımcı olduğunu hissederlerse, onu daha fazla kullanma eğilimindedirler. Algı aynı zamanda güven, kullanım kolaylığı ve hayal kırıklığını da ortaya çıkarır. Ancak bir iş bu hissi verimlilik veya yatırım getirisinin kanıtı olarak gördüğünde durum tehlikeli hale gelir.

En doğru yaklaşım, çalışanların bildirdikleri ile ş Akışının gösterdiği arasındaki farkı ölçmektir:

Örneğin, çalışanlar %30'luk bir hız artışı bildirdiklerini söylüyor, ancak görev kayıtları yalnızca %10'luk bir iyileşme gösteriyor. Bu, 20 puanlık bir algı farkıdır. Bu durum, gizli inceleme süresine, yetersiz ölçüme veya ölçülebilir bir değer yaratmadan sadece daha kolay hissettiren işlere işaret ediyor olabilir.

En güvenli kural, basit olandır. Kullanıcılarınızın söylediklerini dikkatle dinleyin, ardından bunları gerçek iş süreçleriyle karşılaştırarak doğrulayın.

Fonksiyona Özgü AI KPI'ları

Her takımın hedeflediği sonuç farklı olduğundan, tek bir AI performans tablosu tüm takımlara uymayacaktır. Müşteri hizmetleri takımının hedefi sorunların çözülmesidir. Mühendislik takımının hedefi istikrarlı teslimattır. Pazarlama ve satış takımlarının hedefi büyümedir; operasyon takımının hedefi ise maliyet, hız ve kontroldür. Bu hedeflerden yola çıkın. Ardından, AI'nın bu hedefleri nasıl etkilediğini gösteren metrikleri ekleyin.

Müşteri hizmetleri ve destek

Asıl soru, sohbet sona erdikten sonra müşterinin sorunu çözülmüş durumda kalıp kalmadığıdır.

Yazılım ve mühendislik

Atanan işten üretim ortamında istikrarlı bir sürümün yayınlanmasına kadar olan tüm süreci ölçün. Oluşturulan kod, bu sürecin sadece bir adımıdır.

Örnek: Nvidia, bu tuzağın net bir örneğini sunuyor. Şirket, 30.000'den fazla mühendisinin şu anda Cursor asistanının özel bir sürümünü kullandığını ve bu sürümün, hata sayısında herhangi bir artış olmaksızın eskisine kıyasla yaklaşık üç kat daha fazla kod ürettiğini belirtiyor. Ancak üç katına çıkan çıktı, hacim açısından bir göstergedir; teslimat açısından bir gösterge değildir. Bu, özelliklerin daha hızlı piyasaya sürüldüğünü veya üretimde sorun çıkarmadığını göstermez. Bu açığı kapatmak için Nvidia’nın, hacmin yanı sıra teslim süresini, üretim hata oranını ve yeniden işleme oranını da değiştirmesi gerekecektir.

Pazarlama

Pazarlama yapay zekası, inceleme sürecinden geçip gerçek müşteriler nezdinde başarılı sonuçlar veren işlerin üretilmesi için gereken maliyeti veya süreyi azaltmalıdır.

Satış

Satış yapay zekası, doğru fırsatların satış sürecinde daha hızlı ilerlemesi ve sonunda sağlıklı kâr marjlarıyla sonuçlanmasıyla kendini amorti eder.

Örnek: Workato, "daha hızlı" olmanın "kazanmak"la aynı şey olmadığını gösteriyor. Şirketin CIO'su, satış temsilcileri tarafından zenginleştirilmiş verilerle işlenen anlaşmaların satış süreci aşamalarını %20'ye kadar daha hızlı geçtiğini ve teklif hazırlama süresinin %40 oranında kısaldığını belirtti. Her iki sayı da şirketten alınmıştır ve her ikisi de sonucu değil, hızı ölçmektedir. Hiçbiri, daha fazla kapalı satış gelirini doğrulamamaktadır. Kazanımı kanıtlamak için Workato'nun, yapay zeka kullanılan ve kullanılmayan benzer anlaşmaların kazanma oranı, kâr marjı ve kapalı satış gelirine ilişkin verilere ihtiyacı olacaktır.

Operasyonlar ve finans

Burada AI, işi daha az müdahale, hata ve istisna ile tamamlamalıdır. Ayrıca her türlü maliyetin hesaplamaya dahil edilmesi gerekir.

Örnek: Omega Healthcare, eksiksiz bir verimlilik iddiasının neye benzediğini gösteriyor. Şirket, Business Insider’a yaptığı açıklamada, AI sayesinde belge işlerinde ayda 15.000 saatten fazla personel zamanından tasarruf ettiğini, işlem süresinin %50 daha hızlı olduğunu, doğruluk oranının %99,5 olduğunu ve müşteri yatırım getirisinin (ROI) %30 arttığını belirtti. Bu set, zaman, kalite ve maliyeti tek bir görünümde birleştiriyor.

Vaka Çalışmaları: Gerçek Şirketler AI Destekli Verimliliği Nasıl Ölçüyor?

Şirket sonuçları, yalnızca neyin ölçüldüğünü bildiğinizde anlamlıdır. Bu sayı gözlemlenen mi yoksa tahmin edilen mi? Şirket, tamamlanan işleri mi saydı, yoksa sadece insanlardan devredilen işleri mi? Bu dört örnek, bu ayrıntıların neden bir basın bültenindeki en büyük rakamdan çok daha önemli olduğunu gösteriyor.

Klarna (Hızlı hizmet, yine de kalite açığına yol açabilir)

Klarna, 2025'in sonlarına doğru, yapay zeka destek asistanının tüm müşteri taleplerinin üçte ikisini karşıladığını açıkladı. Ayrıca, yanıt sürelerinde %82'lik bir hız artışı, tekrarlanan sorunlarda %25'lik bir azalma, 60 milyon dolarlık tasarruf ve 853 tam zamanlı temsilciye eşdeğer bir iş hacmi elde edildiğini belirtti.

Klarna, asistanına yatırım yapmaya devam etti. Ancak aynı zamanda yeniden insan destek personeli işe almaya da başladı. Şirketin CEO'su, müşterilerin her zaman bir kişiye ulaşabilmesi gerektiğini söyledi. Raporlar, bu değişikliği, daha zor sorulara verilen genel cevaplarla ilgili şikayetlerle ilişkilendirdi. Şirket ise yapay zeka memnuniyetinin insan desteği ile aynı seviyede kaldığını belirtti.

Bundan öğrenilecekler: Hız, tekrar eden iletişimler ve maliyeti izleyin, ancak bunları sorun türüne göre ayırın. Ardından, başarısız devretme işlemlerini ve karmaşık vakaların ardından memnuniyet düzeyini ölçün. Yüksek bir ortalama, en önemli biletleri gizleyebilir.

IBM (Verimlilik artışı her geliştiriciye yansımayabilir)

IBM, hakemli bir CHI 2025 makalesi için kendi watsonx Code Assistant aracını inceledi. Araştırmacılar, 669 kullanıcıyla anket yaptı ve 15 kullanıcıyla daha kullanılabilirlik testleri gerçekleştirdi. Birçok kullanıcı, bu aracın işlerini hızlandırdığını hissetti, ancak bu fayda herkes tarafından paylaşılmadı. Dikkat edilmesi gereken önemli bir sınır var. Çalışma, geliştirici deneyimini ve kullanıcıların kendilerini ne kadar verimli hissettiklerini inceledi. Yazılımın daha hızlı veya daha az hatayla piyasaya sürüldüğünü kanıtlamadı.

Bundan öğrenilecekler: Kullanıcı anketlerini, inceleme süresi, yeniden çalışma, değişiklik teslim süresi ve değişiklik başarısızlık oranı gibi gözlemlenen ölçümlerle birleştirin. Ardından sonuçları göreve ve deneyim düzeyine göre ayırın. Takım ortalaması, AI çıktısını yazarak kazandıkları zamandan daha fazlasını çıktıyı kontrol etmeye harcayan geliştiricileri gizleyebilir.

Bank of America (Kontrol, performansın bir parçasıdır)

Bank of America, sanal finans asistanı Erica'nın 3 milyar müşteri etkileşimini yönettiğini ve şu anda aylık ortalama 58 milyondan fazla etkileşim gerçekleştirdiğini açıkladı. Çalışanlara yönelik sürümü, personelin %90'ından fazlasına ulaştı ve BT hizmet masasına gelen çağrıların sayısını yarıya indirdi. Erica ayrıca, AI verimliliği için üretken bir modele gerek olmadığını da gösteriyor. Banka, müşteri asistanını 700'den fazla yanıt içeren sabit bir kütüphane üzerinden çalıştırıyor. Bu, Erica'ya açık bir sohbet robotuna kıyasla daha az özgürlük sağlıyor. Ancak bu sayede, cevapların bir banka ortamında test edilmesi ve yönetilmesi çok daha kolay hale geliyor.

Bundan öğrenilecek ders: Modeli riske uygun hale getirin. Dahili destek için hizmet masası çağrılarını, başarıyla gerçekleştirilen self-servis işlemleri, tekrarlanan başvuruları ve sorunun çözülme süresini izleyin. Çağrı hacmindeki düşüş umut vericidir, ancak bu, her çalışanın sorunu gerçekten çözdüğünü kanıtlamaz.

Doğru AI Metriklerini Seçme

Metrikleri bilmek işin kolay kısmı. Asıl zor olan, hedefinize uygun olan birkaçını seçip geri kalanını bilinçli olarak göz ardı etmektir. İşte güvenebileceğiniz yaklaşım budur.

Her bir metriği bir iş hedefiyle ilişkilendirin

Önce hedefi belirleyin, ardından bu hedefi ölçen metriği seçin. Hedef destek maliyetlerini düşürmekse, çözüm başına maliyeti izleyin. Hedef geliri artırmaksa, AI etkileşimi başına geliri izleyin. Hedef karar alma sürecini hızlandırmaksa, karar hızını izleyin. Bir metrik bu şekilde bir hedefle bağlantılı değilse, onu eleyin.

KPI'ların yanı sıra OKR'leri de kullanıyorsanız, rolleri net bir şekilde ayırın: hedef yönü belirler, KPI ise bu hedef kapsamında kaydedilen ilerlemeyi ölçer. Sıkça düşülen tuzak, hedefin gerektirdiği sayı yerine, aracınızın ön tanımlı olarak dışa aktardığı her şeyi izlemektir. Elde edilmesi kolay ancak gerçek bir soruya cevap vermeyen bir metrik, yine de gereksiz yükten ibarettir.

SMART yöntemini uygulayın ve sayıyı sınırlayın

Her bir KPI'yı Spesifik, Ölçülebilir, Ulaşılabilir, İlgili ve Zaman sınırlı (SMART) hale getirin. Ardından, sayıyı bilinçli bir şekilde sınırlayın. Genel olarak, her hedef için üç ila beş, her takım için ise yedi ila on arasında tutun. Bu sayıyı aşarsanız, kararlar daha net hale gelmezken değerlendirme toplantıları uzar; çünkü dikkat, tek tek sayılar üzerinde harekete geçmek için çok dağınık hale gelir. İşte basit bir kontrol yöntemi: Bu hafta bir kararı değiştirecek metriği belirleyemiyorsanız, listeniz çok uzamış demektir.

Öncü ve gecikmeli göstergeler arasında denge kurun

Her bir gecikmeli sonucu, buna öncülük eden bir öngörücü ile eşleştirin. Çözüm başına maliyet, benimseme derinliği ile eşleştirilir. Gelir artışı, yeterlilik ile eşleştirilir. Hata oranı, kod inceleme süresi ile eşleştirilir.

Gecikmeli metrik, olanları teyit eder; öncü metrik ise harekete geçmeniz için yeterince erken bir uyarıda bulunur.

Sahiplik ve uygulama sıklığını belirleyin

Her KPI'nın sorumlu bir sahibi ve düzenli bir gözden geçirme sıklığı olmalıdır. Operasyonel metrikleri haftalık olarak, daha büyük ölçekli olanları ise aylık veya üç aylık olarak kontrol edin. Her sayıyı, raporu hazırlayan kişiye değil, sayıyı değiştirebilecek kişiye atayın. Eğer sorumlu kişinin bunu değiştirmek için gerçek bir etkisi yoksa, kimse sorumluluk almaz. Sayı, bir sonraki gözden geçirme not edilene kadar öylece sürüklenir.

AI Performans Metriklerini Ölçmek İçin Araçlar ve Kaynaklar

İlk günden itibaren devasa bir ölçüm yığınına ihtiyacınız yok. Kanıtlamaya çalıştığınız metrik için doğru araca ihtiyacınız var.

İşte bilmeniz gereken kaynaklar.

Tablo, hangi aracın hangi işe uygun olduğunu gösterir. Ancak, her bir aracın size ne gibi faydalar sağladığını veya sizi hangi başarısızlıklardan kurtardığını söylemez.

ClickUp'ta AI Performans Metriklerini Nasıl İzleyebilirsiniz?

AI KPI'larınızı seçtikten sonra, puan kartının kendiliğinden güncellenebilmesi için bu KPI'ların iş süreçleriyle bağlantılı bir yerde tutulması gerekir.

İşte kendi takımlarımızın ClickUp'ta AI metriklerini nasıl güncel tuttuğu:

Hazır bir KPI izleme aracıyla başlayın

ClickUp KPI Şablonu size sağlam bir başlangıç yapısı sunar. Şablon, "Hedefe Uygun", "Risk Altında" ve "Hedeften Sapan" gibi durumların yanı sıra Hedef Değer, Gerçek Değer, İlerleme, Fark ve Sapma için Özel Alanlar içerir.

Ücretsiz şablonu indirin

Karar almayı yönlendiren üç ila beş AI KPI'sını ekleyin, her biri için bir hedef belirleyin ve bir sorumlu atayın. Bu, ilk denemede kabul oranı, doğrulanmış zaman tasarrufu, başarıya bağlı maliyet, veya eskalasyon oranı anlamına gelebilir. Ardından, "İlerleme" ve "Özet" görünümleri, gözden geçirenlere hangi hedeflerin tutarlı olduğunu ve hangilerinin daha yakından incelenmesi gerektiğini hızlı bir şekilde gösterir.

Unutmayın: İzleyici puanı kaydeder, ancak kendi başına kanıt toplamaz. Her bir KPI'yı işin yapıldığı görevlerle bağlantı kurun ve gerçek değerleri girmek için Özel Alanlar, Formlar, Otomasyonlar, entegrasyonlar veya temsilci güncellemelerini kullanın.

Gerçek zamanlı gösterge panelleriyle aktif kapsamları izleyin

Bu değerler aktif görevlere eklendiğinde, ClickUp gösterge panelleri bunları bir liste, takım, ş Akışı veya dönem genelinde toplama işlemi yapabilir. Hesaplama kartları, doğrulanmış zaman tasarrufunu, ortalama kalite puanlarını veya çözüm başına maliyeti toplar. Çubuk, çizgi ve pasta grafikler, aynı sayıları modele, kullanım durumuna, takıma veya hata türüne göre ayrıntılı olarak gösterir.

Şirketinizin "beyni"nin raporu hazırlamasına ve eksiklikleri işaretlemesine izin verin

Raporlama, manuel çabanın büyük bir kısmının gizlendiği alandır. Aynı zamanda, yalnızca alanlarınız ve tanımlarınız güvenilir hale geldikten sonra otomasyon için değer olan bir kısımdır. ClickUp Brain, Çalışma Alanınızdaki görevler, Özel Alanlar, Belgeler ve konuşmalarla çalışabildiğinden, ona şu tür sorular sorabilirsiniz:

Cevap, mevcut iş bağlamınızdan saniyeler içinde elde edilir. Aynı konu içinde devam ederek analizi daraltın, dönemleri karşılaştırın veya Brain'den bulguları etkileşimli gösterge panellerine veya slayt sunumlarına dönüştürmesini isteyin.

ClickUp Brain hakkında daha fazla bilgi edinmek ister misiniz? İşte size kısa bir rehber.

Dürüst bir sınırlama: ClickUp, takım faaliyetlerini hedeflerle iyi bir şekilde ilişkilendirir. Ancak Snowflake gibi büyük ölçekli bir veri ambarı değildir ve model düzeyinde izleme için özel bir araç da değildir. Verileriniz ve işleriniz tek bir yerde toplandığında en iyi şekilde çalışır; bu da tam olarak operasyonel AI KPI'larının bulunduğu yerdir. Kapsamlı model telemetrisi için, ClickUp'ı bu amaca özel bir araçla birlikte kullanın.

AI'nın Gerçekte Neleri Değiştirdiğini Ölçün

AI'nın zor kısmı, onu bir şey yapmaya ikna etmek hiç olmadı. Asıl zor olan, o "şeyin" yapılmaya değer olup olmadığını bilmektir. Çoğu takım, araçlarının ne kadar kullanıldığını, kaç tane taslak oluşturulduğunu size söyleyebilir, ancak bunların neredeyse hiçbiri asıl önemli olan tek soruyu yanıtlamaz:

İş, sonraki aşamalarda yer alan herkesin hissedebileceği şekilde daha iyi, daha ucuz veya daha hızlı hale geldi mi?

Geliştirmeye başlamadan önce değerin neye benzediğine karar verdiğinizde, AI'nın sadece ne yaptığını değil, neyi değiştirdiğini ölçersiniz. Gerçek bir hedefe karşılık gelen birkaç metrik seçin. Ardından, her birine bir karşı metrik atayın; böylece hızdaki bir kazanç, kalitedeki bir kaybı gizleyemez. Son olarak, her sayıya bir referans değeri, bir hedef, bir son tarih ve bunu gerçekleştirebilecek bir sorumlu atayın. Bu puan kartını, ölçtüğü işin yanında tutun; böylece size gerçeği kendiliğinden gösterecektir.

AI kullanımınız genişledikçe tüm bunları izlemek istiyorsanız, sizinle birlikte büyüyen bir araca ihtiyacınız var. ClickUp'a kaydolun ve her metriği ölçtüğü işin yanında tutan bir AI KPI gösterge paneli oluşturun.

AI Performans Metrikleri Hakkında Sık Sorulan Sorular

İzlenmesi gereken en önemli AI metrikleri nelerdir?

Dört katmandan her birinden birer tane ile başlayın: doğruluk veya ilk denemede kabul oranı (çıktı kalitesi), gecikme süresi (sistem performansı), aktif kullanıcı tutma oranı (benimseme) ve çözüm başına maliyet veya yatırım getirisi (iş etkisi). Doğru kombinasyon, AI'nın görevine bağlıdır. Bir destek botu için sorun sınırlandırma, onaylanmış çözüm ve tekrar iletişim oranı gereklidir. Bir kod asistanı için ise değişiklik teslim süresi, yeniden işleme oranı ve inceleme süresi gereklidir. Hedef başına toplam sayıyı üç ila beş ile sınırlayın ve her birini bir karşı metrikle eşleştirin; böylece bir boyuttaki kazanç, başka bir boyuttaki kaybı gizleyemez.

AI performans metriği ile AI karşılaştırma ölçütü arasındaki fark nedir?

Bir karşılaştırma testi, sabit bir kamuya açık veri kümesi ve görev üzerinde bir modeli değerlendirir; bir performans metriği ise sisteminizin üretim ortamındaki kendi işlerinizde nasıl davrandığını ölçer. Bir model, liderlik tablosunda birinci sırada yer almasına rağmen, gerçek kullanıcılar tarafından kullanıldığında gecikme, maliyet veya güvenlik açısından başarısız olabilir. Vectara’nın halüsinasyon liderlik tablosu veya MMLU gibi karşılaştırma testlerini bir ön eleme aracı olarak değerlendirin, ardından hedefinize uygun metrikleri ölçün.

Bir AI sistemi için iyi bir halüsinasyon oranı nedir?

AI sistemleri için sektör genelinde kabul görmüş bir hata oranı bulunmamaktadır. Yararlı bir hedef, göreve, hatanın maliyetine ve sistemin belirsizliği kabul edip edemediğine bağlıdır. Somut iş uygulamaları için, temsili bir üretim test setinde %5'in altındaki bir oran makul bir başlangıç noktasıdır. Ancak, riskli sistemler sıfıra çok daha yakın bir hedefi gözetmeli ve belirsiz cevapları bir insana yönlendirmelidir. Bu %5'lik oranı, yayınlanmış bir standart olarak değil, bir işletme hedefi olarak değerlendirin.

Buradan çıkarılacak en önemli ders, halüsinasyon oranının tek başına değerlendirilemeyeceğidir. Nature dergisinde yayınlanan bir araştırma, yaygın doğruluk karşılaştırma ölçütlerinin, modellerin bilmediklerini kabul etmeleri yerine tahminde bulunmalarını ödüllendirdiğini ortaya koydu. Halüsinasyonları, çekimser kalma oranı, hata ciddiyeti, kaynak gösterimi desteği ve desteksiz iddiaların kullanıcılara ne sıklıkla ulaştığı ile birlikte değerlendirin.

AI performans metriklerini ne sıklıkla gözden geçirmelisiniz?

Gecikme süresi, hata oranı ve sorun kontrolü gibi operasyonel metrikleri haftalık olarak inceleyin; çözüm başına maliyet ve yatırım getirisi (ROI) gibi iş metriklerini ise aylık veya üç aylık olarak inceleyin. İnceleme sıklığını, sayının ne kadar hızlı değişebileceğine ve bu sayıya göre kimlerin harekete geçeceğine göre ayarlayın. Her metrik için, gerçek bir etki alanına sahip ve metrik üzerinde kontrol sahibi olan bir sorumlu atayın.

AI performans metriklerini izlemek için hangi araçları kullanıyorsunuz?

Çoğu takım iki katmanı bir arada kullanır. ClickUp gibi çalışma platformları, görevlerin yanı sıra operasyonel ve iş KPI'larını da izler; gösterge panelleri, Özel Alanlar ve ajans ş akışlarını kullanarak ilk denemede kabul oranı veya başarılı görev başına maliyet gibi değerleri toplar. Arize, Langfuse ve WhyLabs gibi özel gözlemlenebilirlik araçları, sapma ve halüsinasyon gibi model düzeyindeki telemetri verilerini işlerken, Snowflake gibi bir veri ambarı daha derinlemesine analiz için ham etkinlik verilerini depolar.

Kontrol grubu olmadan AI'nın etkisini ölçebilir misiniz?

Evet, ancak daha az net bir şekilde. Bir kontrol grubu, yapay zekanın neden olduğu etkileri, zaten gerçekleşecek olan olaylardan ayırır; bu nedenle en güçlü seçenektir. Kontrol grubu yoksa, aşamalı bir uygulamaya geçin veya eşleşen bir referans noktası kullanın ve fiyat, promosyon, talep ve mevsimsellikteki değişiklikleri hesaba katın. Basit bir "öncesi-sonrası" karşılaştırması, neyin değiştiğini gösterir ancak bunun nedenini açıklamaz; bu da mevsimsel talep veya paralel bir süreçteki düzeltmenin yanlışlıkla yapay zekaya atfedilmesine yol açar.

AI yatırım getirisini (ROI) nasıl ölçersiniz?

AI yatırım getirisi (ROI), bir AI sisteminden elde edilen değerin, sistemin kurulumu, çalıştırılması ve bakımının toplam maliyetine oranlanmasıyla elde edilir. Uygulamaya geçmeden önce süreç için bir referans noktası belirleyin, ardından çözüm başına maliyet veya etkileşim başına gelir gibi somut iş metriklerindeki değişimi, toplam sahiplik maliyetiyle karşılaştırarak ölçün.