Chỉ số hiệu suất AI: Hơn 50 chỉ số KPI để đo lường hiệu quả do AI mang lại

Hầu hết các nghiên cứu điển hình về AI trong doanh nghiệp đều có chung một khuôn mẫu. Bản trình bày rất ấn tượng, biểu đồ mức độ áp dụng tăng vọt, rồi đột nhiên ai đó đặt ra một câu hỏi có thể làm cả phòng im bặt: điều gì đã thay đổi trên báo cáo lãi lỗ?

Công ty tư vấn Roland Berger đã đưa ra số cụ thể về sự im lặng đó. Nghiên cứu của họ, The AI Value Gap, đã khảo sát 203 giám đốc điều hành cấp cao tại châu Âu, Nhật Bản và Mỹ. Gần 90% cho biết lợi nhuận từ AI của họ vẫn chưa bù đắp được chi phí đầu tư. Phần tiết lộ nhiều thông tin hơn nằm ngay dưới tiêu đề đó: hầu hết các doanh nghiệp không có chỉ số hiệu suất AI nhất quán gắn liền với kết quả, mà chỉ có các đánh giá một lần hoặc danh sách KPI lan man. Họ hoàn toàn mù mờ về việc liệu công nghệ này có mang lại kết quả hay không.

Và bạn không cần đến hơn 200 giám đốc điều hành để hiểu cảm giác đó. Một hệ thống hỗ trợ AI có thể hoạt động cả ngày, gửi những phản hồi tầm thường và làm sáng rực mọi bảng điều khiển, trong khi lại không tạo ra bất kỳ giá trị nào mà Giám đốc Tài chính (CFO) có thể nhìn thấy. Biểu đồ trông có vẻ khả quan, nên nhóm tiếp tục mở rộng quy mô sử dụng. Đó chính là cái bẫy.

Các nhóm làm đúng việc cần làm lại làm ngược lại. Họ đo lường những gì AI giúp đạt được, so sánh với mức cơ sở và giao từng kết quả cho một người chịu trách nhiệm cụ thể.

Hướng dẫn này phân chia các chỉ số hiệu suất AI thành bốn cấp độ: chất lượng đầu ra, độ tin cậy của hệ thống, mức độ áp dụng của nhân viên và tác động đến kinh doanh. Mỗi chỉ số đều bao gồm một công thức, hướng dẫn và chỉ số đối chiếu. Mục tiêu là tạo ra một bảng điểm đủ gọn nhẹ để có thể đưa ra hành động, kết hợp với quyền sở hữu để xác định người chịu trách nhiệm khi các số thay đổi.

Chỉ số hiệu suất AI là gì? (và chúng khác với các chỉ số hào nhoáng như thế nào?)

Các chỉ số hiệu suất AI cho thấy hệ thống AI hoạt động hiệu quả như thế nào và liệu nó có tạo ra giá trị kinh doanh hay không. Một số chỉ số hiệu suất AI đo lường chất lượng kỹ thuật, chẳng hạn như độ chính xác và độ trễ. Các chỉ số khác đang theo dõi kết quả, chẳng hạn như giảm chi phí, tăng tốc độ công việc hoặc tăng doanh thu.

Sự khác biệt quan trọng nhất là giữa chỉ số (metric) và chỉ số hiệu suất chính (KPI). Số lượng lời nhắc được gửi, số lần đăng nhập, số token được sử dụng và số từ được tạo ra là các chỉ số. Tuy nhiên, chúng sẽ trở thành các chỉ số hình thức ngay khi bạn trình bày chúng như là thành công, bởi vì chúng đo lường hoạt động chứ không phải kết quả. KPI là một tập hợp nhỏ hơn các con số, khi có sự thay đổi thì sẽ tạo ra kết quả kinh doanh. Do đó, chỉ số hiệu suất AI cần theo dõi sẽ là chi phí trên mỗi phiếu yêu cầu được giải quyết, chứ không phải số lượng phiếu yêu cầu được xử lý.

Một KPI được định nghĩa rõ ràng bao gồm năm phần: KPI AI = Chỉ số + Mức cơ sở + Mục tiêu + Khung thời gian + Chỉ số đối chứng

Ví dụ, một chỉ số KPI về AI dành cho đội ngũ hỗ trợ có thể đóng góp vào mục tiêu như: Giảm thời gian phản hồi lần đầu từ 24 giờ xuống dưới 4 giờ trong vòng một quý, mà không làm giảm mức độ hài lòng của khách hàng. Mức độ hài lòng của khách hàng là yếu tố cân bằng quan trọng ở đây. Yếu tố này ngăn cản đội ngũ đạt được mục tiêu về tốc độ bằng cách sử dụng các câu trả lời do AI tạo ra nhanh chóng nhưng kém chất lượng.

Sự khác biệt giữa KPI và chỉ số là gì?

Mỗi KPI đều là một chỉ số, nhưng không phải mọi chỉ số đều là KPI. Để phân biệt chi tiết hơn, xem bài viết "KPI so với chỉ số".

Sự khác biệt giữa chỉ số dẫn dắt và chỉ số trễ là gì?

Chỉ số dẫn trước giúp bạn nhận được cảnh báo sớm. Chỉ số trễ ghi nhận kết quả sau khi sự việc đã xảy ra. Cả hai thuật ngữ này thường được sử dụng khi cài đặt và đo lường các chỉ số KPI.

Ví dụ, tỷ lệ can thiệp thủ công tăng cao có thể cho thấy nhân viên không còn tin tưởng vào AI. Tỷ lệ áp dụng giảm và chi phí tăng cao có thể xảy ra sau đó khi nhân viên chuyển sang sử dụng các công cụ khác. Tỷ lệ can thiệp thủ công là tín hiệu cảnh báo sớm; chi phí là kết quả xảy ra sau đó.

Tuy nhiên, các nhãn này phụ thuộc vào bối cảnh. Độ chính xác có thể chậm hơn so với việc cập nhật mô hình nhưng lại dẫn đến sự thay đổi về mức độ hài lòng của khách hàng sau đó. Đó là lý do tại sao các nhãn dưới đây được phân nhóm theo đối tượng mà chúng đo lường.

Hơn 50 chỉ số hiệu suất AI chứng minh hiệu quả của hệ thống AI của bạn

Các chỉ số phù hợp phụ thuộc vào việc cần làm với AI. Một bot hỗ trợ khách hàng, một mô hình phát hiện gian lận và một trợ lý viết lách không nên chia sẻ cùng một bảng đánh giá.

Các chỉ số dưới đây được phân loại thành bốn nhóm: chất lượng mô hình và đầu ra, hiệu suất hệ thống, mức độ áp dụng và tác động đến lực lượng lao động, cùng kết quả kinh doanh. Tuy nhiên, bạn không cần phải sử dụng tất cả các chỉ số này. Hãy chọn một vài chỉ số phù hợp với mục tiêu của bạn, sau đó kết hợp mỗi chỉ số với một chỉ số đối chiếu.

Các chỉ số về chất lượng mô hình và đầu ra

Các chỉ số này giúp trả lời câu hỏi đầu tiên: AI có tạo ra kết quả chính xác, hữu ích và an toàn không?

Đối với các công việc có một đáp án duy nhất, như phân loại hoặc trích xuất dữ liệu, bạn có thể so sánh kết quả đầu ra với một bộ dữ liệu tham chiếu. Việc đánh giá các công việc tạo sinh phức tạp hơn vì có thể có nhiều đáp án hợp lệ cùng lúc. Trong trường hợp này, bạn cần dựa vào các chuyên gia đánh giá hoặc các công cụ đánh giá dựa trên mô hình để đánh giá các yếu tố như mức độ liên quan, tính thực tiễn, tính đầy đủ và khả năng tuân thủ hướng dẫn.

Các chỉ số này giúp bạn phát hiện kết quả đầu ra kém chất lượng và xác định nguyên nhân gây ra sự cố. Tuy nhiên, chúng không cho biết liệu AI có giúp tiết kiệm chi phí, tối ưu hóa quy trình làm việc hay xây dựng niềm tin của người dùng hay không. Các phần sau sẽ đề cập đến những kết quả này.

1. Độ chính xác

Độ chính xác là tỷ lệ phần trăm các dự đoán chính xác của AI so với câu trả lời đã biết. Ví dụ, một mô hình phân loại vé đặt nhãn cho 1.000 vé và dự đoán đúng 920 vé. Độ chính xác của mô hình này là 92%.

Nghe có vẻ ấn tượng, nhưng độ chính xác có thể che giấu những sai sót quan trọng nhất. Nếu cả 80 lỗi đều gửi các phiếu yêu cầu khẩn cấp vào hàng đợi sai, điểm số tổng thể vẫn sẽ trông ổn. Chỉ số này cũng mất đi giá trị khi một kết quả xuất hiện thường xuyên hơn hẳn so với kết quả khác.

2. Độ chính xác

Độ chính xác cho biết tần suất AI đưa ra dự đoán chính xác khi dự báo kết quả tích cực. Nói một cách đơn giản, chỉ số này cho biết có bao nhiêu cảnh báo đáng để thực hiện hành động.

Giả sử một mô hình phát hiện gian lận đánh dấu 200 giao dịch, nhưng chỉ có 150 giao dịch là gian lận. Độ chính xác của mô hình là 75%. 50 giao dịch còn lại là báo động giả, và mỗi trường hợp đều tạo ra thêm công việc kiểm tra.

3. Tỷ lệ thu hồi

Tỷ lệ thu hồi (Recall) cho biết AI đã phát hiện được bao nhiêu trường hợp dương tính thực sự. Độ chính xác (Precision) đánh giá xem việc đánh dấu cảnh báo có chính xác hay không; trong khi tỷ lệ thu hồi (Recall) xem xét liệu có trường hợp dương tính thực sự nào bị bỏ sót hay không. Hai chỉ số này có xu hướng trái ngược nhau, do đó một mô hình có thể đạt kết quả tốt ở chỉ số này nhưng lại thất bại ở chỉ số kia.

Giả sử có 180 giao dịch gian lận và mô hình phát hiện được 150 trường hợp trong số đó. Tỷ lệ thu hồi (recall) của mô hình là 83,3%, có nghĩa là mô hình đã bỏ sót 30 trường hợp gian lận thực sự. Trong các lĩnh vực như phát hiện gian lận, sàng lọc y tế hoặc bảo mật, những trường hợp bỏ sót này có thể gây ra tổn thất lớn hơn nhiều so với việc phải tiến hành kiểm tra bổ sung.

4. Điểm F1

Chỉ số F1 là sự kết hợp giữa độ chính xác (precision) và độ nhạy (recall). Chỉ số này đặc biệt hữu ích khi cả các cảnh báo sai và các trường hợp bị bỏ sót đều quan trọng, nhất là khi một lớp xuất hiện với tần suất thấp hơn nhiều so với lớp còn lại.

Nếu một mô hình phát hiện gian lận có độ chính xác (precision) là 75% và độ nhạy (recall) là 83,3%, thì điểm F1 của nó sẽ vào khoảng 79%. Do điểm F1 sử dụng trung bình hài hòa, nên một chỉ số yếu ở bất kỳ phía nào cũng sẽ kéo kết quả xuống.

5. Tính thực tiễn

Độ tin cậy cho thấy liệu các khẳng định của AI có được hỗ trợ bởi các nguồn thông tin mà nó nhận được hay không. Điều này đặc biệt quan trọng trong các hệ thống được tăng cường bằng khả năng truy xuất thông tin, nơi một câu trả lời trôi chảy vẫn có thể đi chệch khỏi bằng chứng.

Giả sử một trợ lý chính sách đưa ra 10 tuyên bố dựa trên sự thật và các nhà đánh giá có thể xác minh được chín tuyên bố trong số đó dựa trên chính sách đã được phê duyệt. Tỷ lệ chính xác ở cấp độ tuyên bố là 90%. Tuyên bố còn lại vẫn cần được xem xét kỹ lưỡng, đặc biệt nếu nó liên quan đến lương, phúc lợi hoặc tuân thủ.

Đây là một công thức áp dụng trong thực tiễn, không phải là công thức chung cho mọi trường hợp. Hãy xác định rõ thế nào là một tuyên bố, thế nào là bằng chứng hỗ trợ và cách bạn sẽ chấm điểm cho trường hợp hỗ trợ một phần trước khi so sánh kết quả.

6. Mức độ phù hợp

Mức độ phù hợp cho biết kết quả có trả lời đúng câu hỏi mà người dùng đã đặt ra hay không. Một câu trả lời có thể chính xác nhưng vẫn vô dụng nếu nó giải quyết một vấn đề khác.

Giả sử các chuyên gia đánh giá 100 phản hồi của chatbot và đánh dấu 85 phản hồi là phù hợp. Điều này cho thấy tỷ lệ đạt yêu cầu về mức độ phù hợp là 85%. Tuy nhiên, số này không có nhiều ý nghĩa cho đến khi nhóm thống nhất về thang điểm đánh giá và điểm chuẩn để đạt yêu cầu.

7. Tỷ lệ tuân thủ hướng dẫn

Tỷ lệ tuân thủ hướng dẫn đo lường tần suất AI tuân thủ từng hướng dẫn được yêu cầu. Định dạng, độ dài, các trường hợp loại trừ và các hành động bắt buộc đều có thể được tính vào.

Ví dụ: một quy trình làm việc yêu cầu mô hình trả về JSON hợp lệ với năm trường bắt buộc. Nếu 94 trong số 100 kết quả đầu ra đáp ứng mọi quy tắc, tỷ lệ này là 94%. Một phản hồi có nội dung hợp lý nhưng vi phạm lược đồ JSON vẫn bị coi là không đạt yêu cầu.

Hãy xác định các quy tắc trước khi chạy thử nghiệm. Nếu người đánh giá quyết định ý nghĩa của “tuân thủ hướng dẫn” sau khi xem kết quả đầu ra, điểm số sẽ bị lệch.

8. Điểm độ hoàn thiện

Chỉ số Độ hoàn thiện cho biết liệu AI có bao quát được mọi phần cần thiết của công việc hay không. Chỉ số này phát hiện các câu trả lời trông có vẻ hoàn chỉnh nhưng lại âm thầm bỏ sót một số chi tiết.

Giả sử một báo cáo phải bao gồm năm phần và AI hoàn thành được bốn phần. Điểm hoàn thiện của nó là 80%. Điều đó không có nghĩa là báo cáo chỉ tốt 80%. Phần còn thiếu có thể chính là phần mà người đọc cần nhất.

Đối với các công việc có rủi ro cao, hãy đánh giá các yếu tố theo mức độ quan trọng. Việc thiếu một cảnh báo pháp lý nên được coi trọng hơn việc thiếu một ví dụ tùy chọn.

9. Tỷ lệ ảo giác

Tỷ lệ ảo giác đang theo dõi tần suất AI đưa ra các tuyên bố sai hoặc không có cơ sở. Những vấn đề này có phần trùng lặp, nhưng không phải lúc nào cũng giống nhau. Một tuyên bố có thể đúng trong bối cảnh rộng hơn, nhưng lại không được hỗ trợ bởi các nguồn mà hệ thống được chỉ định sử dụng.

Bạn có thể đo lường các trường hợp "hallucination" theo từng phản hồi hoặc theo từng tuyên bố. Nếu 15 trong số 500 câu trả lời chứa ít nhất một tuyên bố không có cơ sở, tỷ lệ ở cấp độ phản hồi là 3%. Việc tính toán ở cấp độ tuyên bố có thể cho kết quả khác.

10. Tỷ lệ hoàn thành công việc

Tỷ lệ hoàn thành công việc cho thấy tần suất AI đạt được trạng thái kết thúc yêu cầu. Đối với một tác nhân, điều đó có thể bao gồm việc thực hiện hoàn tiền, cập nhật hồ sơ khách hàng và xác nhận kết quả. Việc tạo ra một câu trả lời hợp lý không được tính vào chỉ số này.

Giả sử một nhân viên xử lý 1.000 yêu cầu hoàn tiền đủ điều kiện và hoàn thành 700 yêu cầu mà không cần sự hỗ trợ của con người. Tỷ lệ hoàn thành công việc tự động của nhân viên này là 70%. Hãy báo cáo riêng về các trường hợp hoàn thành có sự hỗ trợ, để việc chuyển giao công việc diễn ra suôn sẻ không bị coi là thành công hoàn toàn hay thất bại.

Đừng lấy một tiêu chuẩn công khai làm mục tiêu sản xuất của bạn. Điểm số của các tác nhân thay đổi nhanh chóng, và các công việc tiêu chuẩn hiếm khi phù hợp với hệ thống, chính sách hoặc khách hàng của bạn. Hãy xây dựng bộ dữ liệu thử nghiệm dựa trên công việc mà tác nhân của bạn thực sự sẽ xử lý.

11. Độ chính xác trong việc lựa chọn công cụ

Độ chính xác trong việc lựa chọn công cụ cho thấy tần suất mà một tác nhân chọn đúng công cụ cho bước tiếp theo của mình. Điều này khác với việc liệu tác nhân đó có sử dụng công cụ đó một cách chính xác hay không.

Một nhân viên có thể tìm kiếm trên web trong khi lẽ ra nên truy vấn hồ sơ khách hàng, hoặc gửi email trong khi người dùng chỉ yêu cầu một bản nháp. Chỉ một lựa chọn sai lầm cũng có thể khiến toàn bộ công việc đi chệch hướng.

12. Độ chính xác của đối số gọi hàm

Khi đại lý chọn một công cụ, công cụ đó phải nhận được các giá trị chính xác. Kiểm tra độ chính xác của đối số gọi công cụ bao gồm các trường như tên, ngày tháng, ID và số tiền.

Giả sử một nhân viên thực hiện 300 cuộc gọi đặt chỗ và 264 cuộc gọi trong số đó chứa đầy đủ thông tin chính xác. Tỷ lệ chính xác tuyệt đối của hệ thống là 88%. Trong luồng thanh toán hoặc đặt chỗ, một ngày tháng hoặc số tài khoản sai có thể dẫn đến lỗi giao dịch thực tế.

Một tiêu chuẩn đánh giá nghiêm ngặt coi việc nhập sai một trường dữ liệu là một cuộc gọi thất bại. Hãy thêm độ chính xác ở cấp độ trường nếu bạn cũng cần xác định các đối số nào gây ra vấn đề.

13. Chất lượng quỹ đạo

Chất lượng quỹ đạo xem xét lộ trình mà một tác nhân thực hiện để hoàn thành một công việc. Một tác nhân có thể đạt được kết quả đúng sau nhiều lần tìm kiếm không cần thiết, các cuộc gọi lặp lại hoặc vi phạm chính sách. Một điểm số hoàn thành đơn thuần sẽ bỏ sót tất cả những yếu tố đó.

Đừng đánh giá mỗi lần thực thi dựa trên một lộ trình lý tưởng duy nhất. Các công việc phức tạp có thể có nhiều lộ trình hợp lệ. Đánh giá lần thực thi dựa trên các bước bắt buộc, các hành động được phép và các đoạn đường vòng không cần thiết.

Đánh giá dựa trên một bộ quy tắc thay vì một lộ trình hoàn hảo duy nhất, vì các công việc phức tạp thường có nhiều lộ trình hợp lệ. Đây là một điểm mù thực sự trong việc kiểm thử các hệ thống tự động. Bộ tiêu chuẩn TRAJECT-Bench 2025 được xây dựng để khắc phục điều này bằng cách kiểm tra việc lựa chọn công cụ, tính chính xác của các đối số đầu vào và liệu các lệnh gọi có diễn ra theo thứ tự đúng hay không, thay vì chỉ xem xét liệu hệ thống tự động có hoàn thành công việc hay không.

14. Hiệu quả lập kế hoạch

Hiệu quả kế hoạch cho thấy lượng công việc dư thừa mà một tác nhân phải thực hiện trước khi đạt được kết quả. Mỗi bước dư thừa đều làm tăng thời gian, số token và thêm một cơ hội để thất bại.

Nếu một công việc cần thực hiện bốn bước đã được phê duyệt nhưng nhân viên lại thực hiện sáu bước, thì hiệu quả lập kế hoạch dựa trên số bước của họ là 66,7%. Con số này chỉ có ý nghĩa khi bạn có thể cài đặt một lộ trình tham chiếu hợp lý hoặc ngân sách bước.

Không bao giờ nên khen thưởng chỉ vì một con đường ngắn hơn. Một tác nhân bỏ qua một bước kiểm tra bắt buộc có thể trông có vẻ hiệu quả nhưng lại tạo ra nhiều rủi ro hơn.

15. Điểm nhất quán

Độ nhất quán cho thấy liệu AI có mang lại kết quả tương đương khi bạn lặp lại cùng một công việc trong cùng điều kiện hay không. Một lần thử nghiệm thành công có thể chỉ đơn thuần là do may mắn.

Giả sử bạn thực hiện cùng một công việc 20 lần và 18 kết quả đáp ứng cùng một tiêu chí kết quả. Tỷ lệ nhất quán là 90%. Hãy so sánh các sự kiện, quyết định hoặc hành động cuối cùng thay vì so sánh các cách diễn đạt tương tự.

16. Tỷ lệ độ bền vững

Tỷ lệ độ bền đo lường xem hiệu suất có được duy trì hay không khi đầu vào thay đổi theo các cách thực tế. Các bài kiểm tra có thể bao gồm lỗi chính tả, thiếu thông tin, thông tin được sắp xếp lại, lời nhắc dài hơn hoặc cách diễn đạt khác nhau.

Nếu mô hình xử lý được 170 trong số 200 trường hợp thử nghiệm đã được thay đổi, tỷ lệ độ bền của nó là 85%. Bộ dữ liệu thử nghiệm nên phản ánh các đầu vào phức tạp mà người dùng của bạn gửi.

17. Tỷ lệ vi phạm an toàn

Tỷ lệ vi phạm an toàn cho thấy tần suất kết quả đầu ra của AI vi phạm chính sách an toàn đã được xác định. Một vi phạm có thể liên quan đến lời khuyên gây hại, dữ liệu riêng tư, nội dung bị cấm hoặc hành động mà hệ thống không có quyền thực hiện.

Giả sử các chuyên gia đánh giá xác nhận có 12 trường hợp vi phạm trong tổng số 10.000 kết quả đầu ra. Tỷ lệ này là 0,12%. Số lượng nhỏ này vẫn có thể là không thể chấp nhận được nếu chỉ một lỗi duy nhất cũng có thể gây ra hậu quả nghiêm trọng.

Báo cáo mức độ nghiêm trọng cũng như tần suất. Mười vi phạm nhỏ không nên được coi trọng ngang với một vụ rò rỉ dữ liệu riêng tư.

18. Khoảng cách công bằng

Khoảng cách công bằng cho thấy liệu AI có hoạt động khác nhau giữa các nhóm đáng lẽ phải được đối xử tương đương hay không. Một điểm chính xác tổng thể có thể che giấu một khoảng cách lớn ẩn đằng sau nó.

Giả sử một mô hình sàng lọc có tỷ lệ dương tính thật là 82% đối với một nhóm và 71% đối với nhóm khác. Khoảng cách là 11 điểm phần trăm. Hãy nêu tên chỉ số đang được so sánh. Thuật ngữ “khoảng cách công bằng” (fairness gap) khi đứng một mình là quá mơ hồ.

Khoảng cách nhỏ hơn không chứng minh hệ thống là công bằng. Mỗi nhóm có thể đều nhận được kết quả kém như nhau. Hãy xem điểm số của từng nhóm cùng với khoảng cách đó.

19. Tỷ lệ chấp nhận ngay từ lần đầu

Tỷ lệ chấp nhận ngay từ lần đầu cho thấy tần suất kết quả do AI tạo ra có thể sử dụng được ngay từ lần xem xét đầu tiên. Chỉ số này cung cấp thông tin sâu sắc hơn nhiều so với khối lượng nội dung, mã hoặc phân tích mà hệ thống tạo ra.

Giả sử các trình chỉnh sửa xem xét 100 bản nháp do AI tạo ra và chấp nhận 65 bản mà không cần chỉnh sửa lại hoặc sửa chữa lớn. Tỷ lệ chấp nhận ngay từ lần đầu là 65%. Cần định nghĩa rõ khái niệm “được chấp nhận” từ trước, vì việc chỉnh sửa nhỏ và việc viết lại hoàn toàn không nên được coi là cùng một kết quả.

20. Tỷ lệ làm lại

Tỷ lệ làm lại cho thấy tần suất kết quả đầu ra của AI cần được chỉnh sửa sau khi được đưa vào quy trình làm việc. Chỉ số này giúp phát hiện hiệu quả giả tạo, khi AI tiết kiệm thời gian ở giai đoạn đầu nhưng lại chuyển thêm công việc sang cho các chuyên viên kiểm duyệt hoặc các nhóm ở các giai đoạn sau.

Nếu 22 trong số 100 mẫu mã nguồn do AI viết phải trả lại để chỉnh sửa, tỷ lệ phải làm lại là 22%. Phân biệt các lỗi do AI gây ra với các chỉnh sửa định kỳ hoặc thay đổi phạm vi công việc.

Các chỉ số hệ thống và vận hành

Tầng này đặt ra câu hỏi liệu kết quả đầu ra chất lượng có thực sự đến được với người dùng một cách đáng tin cậy, nhanh chóng và với chi phí mà kinh doanh có thể duy trì được hay không. Đây chính là nơi mà việc áp dụng AI dần dần thất bại, bởi vì một mô hình chính xác về mặt kỹ thuật nhưng phản hồi chậm hoặc tốn quá nhiều chi phí sẽ không bao giờ có được vị trí trong quy trình làm việc.

21. Độ trễ

Độ trễ là khoảng thời gian từ khi gửi yêu cầu đến khi nhận được kết quả có thể sử dụng được, và việc kết quả đó có được coi là "có thể sử dụng" hay không hoàn toàn phụ thuộc vào công việc cụ thể. Đối với một mô hình phân loại, đó có thể là câu trả lời cuối cùng. Đối với một trợ lý ảo, đó có thể là thời điểm hành động được yêu cầu hoàn thành. Tuy nhiên, hãy cẩn thận với các giá trị trung bình, vì chúng che giấu những độ trễ mà người dùng thực sự cảm nhận được. Một trợ lý hỗ trợ có thể có thời gian trung bình là 1,2 giây nhưng có thể tăng lên đến 6 giây vào giờ cao điểm. Hãy báo cáo các phần trăm như p50 và p95 để bạn có thể thấy cả yêu cầu điển hình và yêu cầu chậm.

Thời gian đến token đầu tiên (TTFT): Đối với các hệ thống phát trực tuyến, hãy theo dõi thời gian phản hồi bắt đầu, không chỉ thời gian hoàn thành. Hai trợ lý đều có thể hoàn thành trong năm giây, nhưng trợ lý bắt đầu phát trực tuyến sau 300 mili giây sẽ mang lại cảm giác nhanh hơn nhiều so với trợ lý để màn hình trống trong hai giây. Không có tiêu chuẩn TTFT chung nào cả: độ dài lời nhắc, kích thước mô hình, hàng đợi và tải đều ảnh hưởng đến chỉ số này, vì vậy hãy đặt mục tiêu cho trường hợp sử dụng cụ thể của bạn và kiểm tra nó với lưu lượng truy cập thực tế.

22. Thông lượng

Thông lượng là lượng công việc mà hệ thống hoàn thành trong một khoảng thời gian xác định. Bạn có thể tính số yêu cầu mỗi giây, số tài liệu mỗi giờ hoặc số công việc thành công mỗi ngày. Giả sử một quy trình xử lý tài liệu xử lý được 500 tệp mỗi giờ trong giai đoạn thử nghiệm, nhưng con số này giảm xuống còn 200 khi có lưu lượng truy cập thực tế. Khoảng cách đó cho bạn biết liệu quy trình đó có thể hoạt động ổn định trong giai đoạn cao điểm mà không để tồn đọng công việc hay không.

Hãy nêu rõ đơn vị đo lường mỗi lần. Số yêu cầu mỗi giây và số token mỗi giây trả lời cho những câu hỏi khác nhau.

23. Thời gian hoạt động và tính sẵn sàng

Tính sẵn sàng là tỷ lệ thời gian theo lịch trình mà dịch vụ AI thực sự có thể hoàn thành các yêu cầu. Một dịch vụ có thể đang trực tuyến nhưng lại quá chậm hoặc bị lỗi đến mức không thể hoàn thành công việc, do đó, hãy định nghĩa tính sẵn sàng dựa trên kết quả có thể sử dụng được. Tỷ lệ 99% hàng tháng vẫn để lại khoảng 7 giờ 12 phút thời gian ngừng hoạt động trong một tháng 30 ngày. Điều đó có thể chấp nhận được đối với một trợ lý viết lách tùy chọn. Tuy nhiên, sẽ khó chấp nhận hơn nhiều đối với một công cụ hỗ trợ mà mọi người dựa vào suốt ngày đêm.

24. Tỷ lệ lỗi hệ thống

Tỷ lệ lỗi hệ thống bao gồm các sự cố kỹ thuật như hết thời gian chờ, mô hình không khả dụng, phản hồi không hợp lệ và tích hợp bị lỗi. Giả sử 30 trong số 1.000 yêu cầu của nhân viên hỗ trợ thất bại do API ngừng hoạt động. Đó là tỷ lệ lỗi 3%. Phân loại các sự cố đó theo nguyên nhân, nếu không, nhóm sẽ biết có sự cố xảy ra nhưng không biết phải tìm kiếm ở đâu.

25. Tỷ lệ thử lại

Tỷ lệ thử lại là tần suất hệ thống phải lặp lại một yêu cầu hoặc hành động. Công việc cơ bản có thể vẫn thành công cuối cùng, đó là lý do tại sao các lần thử lại không được phản ánh trong điểm hoàn thành đơn thuần. Giả sử 120 trong số 1.000 yêu cầu cần thêm một lần thử. Đó là tỷ lệ thử lại 12%, và hệ thống thực hiện tổng cộng 1.120 lần thử, tương đương khoảng 12% công việc bổ sung cho lô đó. Việc phải thử lại nhiều hơn một lần cho mỗi yêu cầu sẽ đẩy chi phí lên cao hơn nữa.

26. Chi phí trên mỗi công việc thành công

Chi phí trên mỗi công việc thành công liên kết chi tiêu cho AI với công việc đã hoàn thành, điều này khiến chỉ số này trung thực hơn đáng kể so với chi phí trên mỗi yêu cầu – khi các lần thử không thành công vẫn tiêu tốn token, công cụ và hạ tầng. Giả sử mỗi lần chạy của tác nhân có chi phí 10 xu nhưng chỉ một nửa thành công. Chi phí trực tiếp trên mỗi lần thành công của bạn là 20 xu. Nếu tính thêm chi phí kiểm tra thủ công hoặc làm lại, con số thực tế sẽ còn cao hơn nữa.

27. Tỷ lệ ngăn chặn

Tỷ lệ xử lý tự động là tỷ lệ phần trăm các tương tác đủ điều kiện được giải quyết mà không cần chuyển giao cho con người. Các đội ngũ hỗ trợ sử dụng chỉ số này để ước tính lượng nhu cầu mà AI có thể tự xử lý. Tuy nhiên, chỉ số này cũng dễ bị thổi phồng. Ví dụ, nếu một bot xử lý được 800 trong số 1.000 trò chuyện, tương ứng với tỷ lệ 80%. Một số người dùng trong số đó nhận được câu trả lời chính xác, trong khi những người khác chỉ đơn giản là từ bỏ. Cả hai trường hợp đều được coi là đã được xử lý trừ khi bạn xem xét điều gì đã xảy ra tiếp theo.

Chỉ tính các truy vấn mà AI được thiết kế để xử lý. Các trường hợp chuyển giao dựa trên chính sách không nên được coi là lỗi.

28. Tỷ lệ chuyển cấp

Tỷ lệ chuyển giao là tần suất mà một tương tác với AI được chuyển sang con người. Tỷ lệ cao có thể là dấu hiệu của hiệu suất yếu, nhưng cũng có thể có nghĩa là hệ thống biết khi nào cần nhường chỗ. Giả sử 150 trong số 1.000 tương tác được chuyển giao, tương ứng với tỷ lệ 15%. Số này tự thân nó không nói lên nhiều điều. Hãy phân tích nó thành các trường hợp chuyển giao theo yêu cầu chính sách, các trường hợp do người dùng yêu cầu và các trường hợp mà AI đơn giản là không thể giải quyết được.

Các chỉ số về mức độ áp dụng và tác động đến lực lượng lao động

Một hệ thống AI đang hoạt động vẫn cần phải chứng minh giá trị của mình trong cuộc sống hàng ngày của người dùng. Các chỉ số này cho thấy liệu người dùng có thử nghiệm hệ thống, sử dụng nó cho công việc thực tế và tiếp tục sử dụng sau khi sự mới mẻ ban đầu phai nhạt hay không.

Chỉ riêng việc sử dụng thôi chưa đủ để chứng minh giá trị. Gallup phát hiện ra rằng 50% người lao động Mỹ sử dụng AI ít nhất vài lần mỗi năm, nhưng chỉ có 13% sử dụng nó hàng ngày. Chính khoảng cách đó là lý do tại sao bạn cần theo dõi tần suất, mức độ sâu và trình độ thành thạo bên cạnh việc chỉ đơn thuần theo dõi mức độ áp dụng.

29. Tỷ lệ áp dụng của người dùng đủ điều kiện

Tỷ lệ áp dụng của người dùng đủ điều kiện cho thấy có bao nhiêu người trong số những người có thể sử dụng AI đã hoàn thành ít nhất một hành động có ý nghĩa với công nghệ này. Ở đây, phần mẫu số mới là yếu tố quan trọng. Nếu 400 người kích hoạt một công cụ, điều đó nghe có vẻ rất tốt. Nhưng nếu 4.000 nhân viên được cấp quyền truy cập, tỷ lệ áp dụng thực tế chỉ là 10%. Hãy loại trừ những nhân viên có vai trò không có trường hợp sử dụng AI nào được phê duyệt hoặc hữu ích.

Xác định “hành động có ý nghĩa” trước khi ra mắt. Việc mở công cụ hoặc gửi lời nhắc thử nghiệm không nên được tính là việc áp dụng.

30. Tỷ lệ sử dụng AI tích cực

Tỷ lệ sử dụng tích cực cho thấy có bao nhiêu người dùng đủ điều kiện thực sự dựa vào AI trong một kỳ xác định. Sử dụng tích cực hàng tuần thường cho bạn biết nhiều thông tin hơn so với tổng số người đăng ký. Giả sử có 1.000 nhân viên đủ điều kiện và 600 người đã thử công cụ này, nhưng chỉ có 180 người thực sự sử dụng nó trong một tuần bình thường. Con số về mức độ áp dụng có thể là 60%, trong khi tỷ lệ sử dụng hoạt động hàng tuần chỉ là 18%. Số thứ hai này phản ánh chính xác hơn nhiều vị trí thực sự của công cụ trong quy trình làm việc.

Đặt ngưỡng phù hợp với công việc. Việc sử dụng hàng tuần có thể phù hợp với các công cụ viết và hỗ trợ, trong khi trợ lý lập kế hoạch hàng quý cần khoảng thời gian dài hơn.

31. Phạm vi áp dụng

Mức độ áp dụng cho thấy AI đã được triển khai rộng rãi như thế nào trong các nhóm, vai trò hoặc địa điểm trong quá trình triển khai. Tỷ lệ áp dụng tổng thể có thể che giấu một bức tranh không cân đối. Một nhóm kỹ thuật có thể sử dụng công cụ này hàng ngày. Trong khi đó, các bộ phận bán hàng, tài chính và hỗ trợ lại hầu như không sử dụng nó.

Đừng mong đợi mọi nhóm đều đạt đến cùng một mức độ. Chỉ nên so sánh các nhóm khi AI mang lại lợi ích và khả năng tiếp cận như nhau cho họ.

32. Mức độ áp dụng

Mức độ áp dụng cho thấy số lượng công việc riêng biệt mà người dùng tích cực xử lý bằng AI. Chỉ số này giúp phân biệt giữa việc sử dụng hời hợt và việc áp dụng thực sự. Người chỉ sử dụng AI để viết lại tiêu đề email thì đã làm quen với công cụ này, nhưng chưa áp dụng sâu rộng. Ngược lại, người sử dụng AI cho nghiên cứu, soạn thảo, phân tích và ghi chú về cuộc họp thì đã tích hợp công cụ này vào nhiều khía cạnh hơn trong công việc hàng ngày.

Số lượng trường hợp sử dụng nhiều hơn không phải lúc nào cũng đồng nghĩa với giá trị cao hơn. Một vài quy trình làm việc có tác động lớn có thể mang lại hiệu quả cao hơn so với một danh sách công việc dài các quy trình không quan trọng.

33. Tỷ lệ thâm nhập quy trình làm việc

Tỷ lệ thâm nhập quy trình làm việc cho thấy tỷ lệ phần trăm công việc đủ điều kiện thực sự được hoàn thành với sự hỗ trợ của AI. Tỷ lệ áp dụng tính số lượng người dùng. Tỷ lệ thâm nhập quy trình làm việc tính chính khối lượng công việc đó. Giả sử một đội ngũ hỗ trợ xử lý 10.000 phiếu yêu cầu đủ điều kiện nhận hỗ trợ từ AI, nhưng AI chỉ can thiệp vào 2.500 phiếu. Tỷ lệ thâm nhập là 25%, ngay cả khi mọi nhân viên hỗ trợ đều đã thử sử dụng công cụ này ít nhất một lần.

Hãy giới hạn mẫu số trong phạm vi công việc mà AI đã được phê duyệt và có khả năng xử lý.

34. Tỷ lệ giữ chân người dùng hoạt động

Tỷ lệ duy trì cho thấy có bao nhiêu người tiếp tục sử dụng AI sau lần sử dụng có ý nghĩa đầu tiên. Chỉ số này giúp bạn phân biệt giữa việc áp dụng lâu dài và sự tò mò trong tuần ra mắt. Giả sử 500 nhân viên kích hoạt công cụ vào tháng 1 và 300 người vẫn đáp ứng ngưỡng sử dụng vào tháng 4. Tỷ lệ duy trì trong ba tháng của bạn là 60%.

Đo lường tỷ lệ giữ chân theo nhóm người dùng. Việc so sánh số người dùng hoạt động trong tháng này với tổng số người dùng của tháng trước có thể che giấu thực tế rằng những người dùng mới đã thay thế những người đã rời đi.

35. Tỷ lệ thành thạo AI

Tỷ lệ thành thạo cho thấy có bao nhiêu người dùng có thể hoàn thành một công việc đã được phê duyệt với sự hỗ trợ của AI đồng thời đáp ứng các tiêu chuẩn chất lượng và an toàn cần thiết. Hãy giao cho họ một công việc thực tế, sau đó kiểm tra kết quả. Liệu một nhân viên hỗ trợ có thể sử dụng AI để soạn thảo một câu trả lời chính xác, xác minh nguồn thông tin và phát hiện một chính sách bị bịa đặt hay không?

Một người có thể sử dụng AI thường xuyên nhưng vẫn sử dụng nó không hiệu quả. Đó là lý do tại sao trình độ thành thạo phải được đặt ngang hàng với mức độ áp dụng, chứ không phải dưới nó.

36. Tỷ lệ ghi đè

Tỷ lệ bác bỏ cho thấy tần suất một người từ chối, thay thế hoặc đảo ngược đề xuất của AI. Chỉ số này có thể phản ánh kết quả đầu ra yếu, mức độ tin cậy thấp hoặc đơn giản là sự phán đoán lành mạnh của con người. Giả sử các nhà đánh giá thay đổi 240 trong số 1.000 đề xuất của AI. Đó là tỷ lệ bác bỏ 24%. Tuy nhiên, bạn vẫn cần biết lý do. Một sửa chữa cần thiết và sở thích cá nhân về cách diễn đạt không nên được đánh giá với mức độ quan trọng như nhau.

Tỷ lệ can thiệp thấp thực tế có thể là điều đáng lo ngại, nếu điều đó có nghĩa là người dùng chấp nhận kết quả kém chất lượng mà không kiểm tra lại.

37. Tỷ lệ can thiệp của con người

Tỷ lệ can thiệp của con người đo lường tần suất một công việc do AI khởi tạo cần sự hỗ trợ ngoài kế hoạch trước khi có thể hoàn thành. Điều này khác với việc phê duyệt theo kế hoạch hoặc chuyển giao theo chính sách. Giả sử một nhân viên thực hiện 1.000 công việc và con người phải can thiệp để giải quyết 180 trong số đó. Đó là tỷ lệ can thiệp 18%. Những lần can thiệp này phát sinh chi phí lao động mà tỷ lệ hoàn thành tự động có thể che giấu.

Giữ phần đánh giá theo kế hoạch nằm ngoài tử số. Việc phê duyệt bắt buộc là một phần của quy trình làm việc, không phải là sự cố hệ thống.

38. Thời gian tiết kiệm được cho mỗi công việc hoàn thành

Thời gian tiết kiệm được cho mỗi công việc hoàn thành sẽ so sánh toàn bộ quy trình làm việc có sự hỗ trợ của AI với một tiêu chuẩn tham chiếu công bằng. Hãy tính toán mọi thứ: nhập lời nhắc, chờ đợi, kiểm tra, sửa lỗi và chạy lại. Nếu bỏ qua bước này, bạn chỉ tính đến bản nháp đầu tiên nhanh chóng mà thôi. Bạn sẽ âm thầm bỏ qua tất cả các công đoạn dọn dẹp sau đó.

Việc tự báo cáo về thời gian tiết kiệm được có thể hữu ích, nhưng cần phải kiểm chứng thực tế. Nghiên cứu của Cục Dự trữ Liên bang St. Louis (St. Louis Fed) cho thấy người dùng AI báo cáo tiết kiệm được khoảng 2,2 giờ trong một tuần làm việc 40 giờ. Tuy nhiên, một thử nghiệm ngẫu nhiên do METR thực hiện lại cho thấy các nhà phát triển có kinh nghiệm mất thêm 19% thời gian khi sử dụng AI, dù họ tin rằng công nghệ này đã giúp họ làm việc nhanh hơn 20%. Các nghiên cứu này tập trung vào các công việc khác nhau, nhưng khi kết hợp lại, chúng đều nhấn mạnh một điểm: hãy hỏi người dùng họ đã tiết kiệm được bao nhiêu thời gian, sau đó xác minh thông tin đó bằng dữ liệu công việc.

39. Thời gian đánh giá AI

Thời gian xem xét AI đo lường nỗ lực của con người cần thiết để kiểm tra và phê duyệt kết quả đầu ra. Đây chính là nơi mà những tiết kiệm thời gian được hứa hẹn thường âm thầm bị thu hẹp. Một bản nháp do AI tạo ra có thể mất 30 giây để sinh ra nhưng lại mất 12 phút để xác minh. Hãy so sánh tổng thời gian đó với thời gian mà công việc đó sẽ mất nếu hoàn toàn không sử dụng AI.

Đừng cố gắng giảm thời gian xem xét xuống mức 0 trong các công việc có rủi ro cao. Mục tiêu là kiểm tra hiệu quả, chứ không phải phê duyệt một cách mù quáng.

40. Chỉ số niềm tin của nhân viên

Chỉ số niềm tin của nhân viên đang theo dõi liệu người dùng có tin rằng AI đủ đáng tin cậy để thực hiện các công việc được phê duyệt hay không, cũng như liệu họ có hiểu rõ các giới hạn của nó hay không. Bạn có thể đo lường chỉ số này thông qua một cuộc khảo sát ngắn bao gồm các khía cạnh như độ chính xác, tính minh bạch, an toàn và mức độ tin tưởng trong việc phát hiện lỗi. Tránh đặt một câu hỏi chung chung như “Bạn có tin tưởng AI không?”, vì điều này sẽ cho bạn một kết quả mơ hồ mà bạn không thể dựa vào để đưa ra hành động cụ thể.

Các chỉ số tác động đến kinh doanh và ROI

Đây chính là yếu tố mà các nhà lãnh đạo cấp cao dựa vào để quyết định đầu tư, và cũng là yếu tố mà hầu hết các bảng điều khiển AI thường bỏ qua. Kết quả đầu ra, chi phí, doanh thu, kết quả mang lại cho khách hàng, ROI: đây chính là những số quyết định liệu một chương trình có được gia hạn hay bị hủy bỏ.

Đây cũng là những yếu tố khó chứng minh nhất. Doanh thu có thể tăng sau khi ra mắt vì nhu cầu thị trường thay đổi, chứ không phải do AI đã làm gì đó. Chi phí có thể giảm vì nhóm đã cải tiến quy trình làm việc cùng lúc. Một so sánh đơn giản trước và sau chỉ cho bạn biết điều gì đã thay đổi, nhưng không cho biết nguyên nhân gây ra sự thay đổi đó. Để làm được điều đó, bạn cần có nhóm đối chứng, triển khai theo từng giai đoạn hoặc một mức cơ sở tương ứng, để có thể thấy điều gì sẽ xảy ra ngay cả khi không có sự can thiệp đó.

41. Thông lượng gia tăng

Thông lượng gia tăng đo lường lượng công việc đạt tiêu chuẩn mà nhóm hoàn thành thêm được sau khi áp dụng AI. Chỉ tính những kết quả đáp ứng cùng tiêu chuẩn chất lượng như mức cơ sở. Ví dụ: một nhóm hoàn thành 500 trường hợp được phê duyệt mỗi tuần trước khi áp dụng AI và hiện hoàn thành 575 trường hợp. Đó là mức thông lượng gia tăng 15%. Tuy nhiên, nếu lượng công việc phải làm lại cũng tăng lên cùng lúc, lợi ích thực tế có thể nhỏ hơn so với con số này.

42. Giảm thời gian chu kỳ

Việc giảm thời gian chu kỳ cho thấy công việc được hoàn thành nhanh hơn bao nhiêu từ khi bắt đầu đến khi kết thúc. Hãy tính cả thời gian chờ đợi, rà soát, chỉnh sửa và phê duyệt cuối cùng. Nếu chỉ đo lường bước tạo nội dung bằng AI, kết quả sẽ trông tốt hơn so với thực tế. Giả sử việc rà soát hợp đồng trước đây mất năm ngày và giờ chỉ mất ba ngày. Thời gian chu kỳ đã giảm 40%.

43. Chi phí trên mỗi lần giải quyết

Chi phí trên mỗi lần giải quyết cho thấy kinh doanh phải chi bao nhiêu để giải quyết một vấn đề. Chỉ số này vượt trội hơn so với chi phí trên mỗi lần liên hệ, bởi vì một vấn đề của khách hàng có thể dẫn đến nhiều tin nhắn, cuộc gọi hoặc việc chuyển tiếp lên cấp trên. Hãy tính đến chi phí mô hình, nhân công, chi phí sử dụng công cụ, quá trình xem xét và các lần liên hệ lặp lại. Nếu không, một phản hồi ban đầu rẻ tiền có thể che giấu một quá trình tốn kém để đi đến câu trả lời thực sự.

44. Tiết kiệm chi phí đã được xác minh

Tiết kiệm chi phí đã được xác minh là những khoản chi phí mà bạn đã loại bỏ sau khi triển khai AI. Hãy nghĩ đến việc giảm giờ làm thêm, giảm số giờ thuê ngoài hoặc hóa đơn cơ sở hạ tầng thấp hơn. Thời gian tiết kiệm được không tự nó được coi là tiền mặt. Nếu nhân viên vẫn nằm trong cùng một bảng lương và sản lượng giữ nguyên, bạn đã giải phóng được sức chứa nhưng chưa thực sự cắt giảm chi phí.

Hãy tách biệt việc tránh chi phí với việc tiết kiệm chi phí. Tiết kiệm chi phí là việc loại bỏ một khoản chi phí hiện có. Tránh chi phí là việc ngăn chặn một khoản chi phí theo kế hoạch trong tương lai, chẳng hạn như việc tuyển thêm năm nhân viên để xử lý lượng yêu cầu hỗ trợ ngày càng tăng. Cả hai đều có thể thể hiện giá trị, nhưng việc trộn lẫn chúng mà không có nhãn phân loại sẽ khiến kết quả trông chắc chắn hơn so với thực tế.

45. Doanh thu gia tăng nhờ AI

Doanh thu gia tăng là phần doanh thu bổ sung do AI mang lại, vượt quá mức doanh thu có thể đạt được ngay cả khi không có AI. Cách chính xác nhất để xác định chỉ số này là so sánh một nhóm áp dụng AI với một nhóm đối chứng tương tự. Không có nhóm đối chứng? Hãy sử dụng phương pháp triển khai theo từng giai đoạn hoặc một mức cơ sở tương ứng thay thế. Đồng thời, điều chỉnh các yếu tố như biến động giá, chương trình khuyến mãi, nhu cầu và yếu tố mùa vụ.

Doanh thu không phải là lợi nhuận. Khi tính toán ROI, hãy sử dụng biên lợi nhuận gộp (gross margin) chứ không phải con số doanh thu toàn phần.

46. Tăng tỷ lệ chuyển đổi

Tỷ lệ tăng chuyển đổi cho thấy liệu AI có giúp nhiều người dùng hơn hoàn thành một hành động mục tiêu hay không, chẳng hạn như mua hàng, đặt lịch dùng thử hoặc hoàn tất quá trình đăng ký. Giả sử nhóm đối chứng có tỷ lệ chuyển đổi là 5% và nhóm được hỗ trợ bởi AI là 5,5%. Mức tăng tuyệt đối là 0,5 điểm phần trăm, trong khi mức tăng tương đối là 10%. Luôn chỉ rõ bạn đang đề cập đến chỉ số nào.

47. Độ chênh lệch mức độ hài lòng của khách hàng

Chênh lệch mức độ hài lòng của khách hàng cho thấy liệu đánh giá của khách hàng có thay đổi hay không sau khi AI được tích hợp vào trải nghiệm. So sánh cùng một kênh, loại vấn đề, nhóm khách hàng và thang điểm đánh giá. Ví dụ: dịch vụ hỗ trợ có sự hỗ trợ của AI đạt 4,3 trên 5 điểm, trong khi nhóm đối chứng đạt 4,1 điểm. Chênh lệch là 0,2 điểm.

Theo dõi đối tượng tham gia khảo sát. Khách hàng hài lòng và không hài lòng có thể trả lời với tỷ lệ khác nhau, điều này có thể làm thay đổi điểm số mà không có sự thay đổi thực sự trong chất lượng dịch vụ.

48. Tỷ lệ liên hệ lại

Tỷ lệ liên hệ lại cho thấy tần suất khách hàng quay lại về cùng một vấn đề chưa được giải quyết. Chỉ số này ghi nhận những trường hợp chỉ trông có vẻ đã được giải quyết vì cuộc trò chuyện đầu tiên tình cờ kết thúc. Giả sử trong số 1.000 trường hợp được cho là đã giải quyết, có 120 trường hợp dẫn đến một lần liên hệ khác trong vòng một tuần. Đó là tỷ lệ liên hệ lại 12%.

Xác định khoảng thời gian cụ thể và gán các liên hệ vào cùng một vấn đề. Một khách hàng quay lại với câu hỏi mới không nên được tính là trường hợp giải quyết không thành công.

49. Thời gian thu hồi giá trị

Thời gian tạo ra giá trị (Time to value) đo lường khoảng thời gian mà một dự án AI cần để tạo ra kết quả kinh doanh đầu tiên đã được xác minh. Hãy xác định rõ những gì được coi là giá trị trước khi bắt đầu triển khai. Một nguyên mẫu hoạt động hoặc lần đăng nhập đầu tiên của người dùng sẽ không được tính là giá trị, trừ khi đó là mục tiêu đã được thống nhất từ đầu.

50. Tỷ suất hoàn vốn từ đầu tư vào AI

Tỷ suất hoàn vốn (ROI) từ đầu tư vào AI là sự so sánh giữa lợi ích ròng đã được xác minh với chi phí của chương trình. Lợi ích có thể bao gồm lợi nhuận gộp tăng thêm, tiết kiệm chi phí thực tế và việc tránh chi phí được xác định rõ ràng với nhãn. Phía chi phí cũng phải được tính toán một cách trung thực. Hãy tính toán chi phí phần mềm, các mô hình và máy chủ. Sau đó, cộng thêm chi phí thiết lập, đào tạo, giám sát, đánh giá và bảo trì.

Tránh tính trùng lặp. Nếu AI giúp tiết kiệm thời gian cho nhân viên và thời gian đó tạo ra thêm sản lượng, hãy tính giá trị của sản lượng thêm hoặc khoản tiết kiệm lao động. Việc tính cả hai sẽ dẫn đến việc ghi nhận cùng một lợi ích hai lần.

51. Thời gian hoàn vốn

Thời gian hoàn vốn ước tính khoảng thời gian cần thiết để một dự án AI thu hồi được khoản đầu tư ban đầu thông qua các lợi ích ròng đã được xác minh. Giả sử chi phí triển khai là 300.000 USD và mang lại lợi ích ròng 25.000 USD mỗi tháng. Thời gian hoàn vốn đơn giản sẽ là 12 tháng.

Phương pháp tính thời gian hoàn vốn đơn giản bỏ qua giá trị thời gian của tiền và bất kỳ khoản lợi nhuận nào thu được sau ngày hoàn vốn. Các nhóm tài chính cũng có thể sử dụng giá trị hiện tại ròng (NPV) cho các chương trình AI quy mô lớn hoặc kéo dài.

Tại sao "Nhận thức" lại là chỉ số nguy hiểm nhất trong tất cả các chỉ số

Mọi người thường chú ý đến thời gian mà AI giúp tiết kiệm khi tạo bản nháp đầu tiên. Điều họ hiếm khi tính đến là khoảng thời gian tiếp theo: soạn lời nhắc, kiểm tra thông tin, sửa lỗi và viết lại những phần còn yếu. Việc thiếu đi phép tính này khiến lợi ích thu được có vẻ lớn hơn nhiều so với thực tế.

Theo lời của Farrah Lakhani, giám đốc cấp cao phụ trách tăng trưởng và chiến lược:

Sai lầm phổ biến nhất mà tôi thường thấy là coi thời gian tiết kiệm được là thước đo chính cho sự thành công của AI. Số giờ tiết kiệm được, số công việc được tự động hóa và thời gian chu kỳ được rút ngắn là những chỉ số dễ thu thập và trình bày nhất trong các báo cáo cập nhật cho ban lãnh đạo. Tuy nhiên, đây cũng là những chỉ số ít phản ánh được tác động thực sự đến hoạt động kinh doanh nhất.

Ngoài ra, METR đã tiến hành khảo sát 349 nhân viên kỹ thuật về tác động của AI đối với công việc của họ. Theo số liệu trung vị từ các phản hồi, tốc độ làm việc tăng gấp ba lần và giá trị tạo ra tăng từ 1,4 đến 2 lần.

Những số này nghe có vẻ ấn tượng, nhưng METR đã chỉ ra chúng một cách thận trọng. Các số này xuất phát từ ước tính của chính người lao động, chứ không phải từ các công việc được đo thời gian hoặc một nhóm đối chứng. Và các nhà nghiên cứu đã nhận thấy những dấu hiệu cho thấy những tuyên bố táo bạo nhất đã phóng đại những gì thực sự thể hiện trong công việc hoàn thành.

Không có điều nào trong số này khiến nhận thức trở nên vô dụng. Nếu mọi người cảm thấy AI giúp ích cho họ, họ sẽ có xu hướng sử dụng nó nhiều hơn. Nhận thức cũng phản ánh mức độ tin tưởng, sự dễ sử dụng và sự thất vọng. Nó chỉ trở nên nguy hiểm khi một kinh doanh coi cảm nhận đó là bằng chứng về năng suất hoặc ROI.

Cách làm tốt hơn là đo lường khoảng cách giữa những gì mọi người báo cáo và những gì quy trình làm việc thể hiện:

Ví dụ, giả sử nhân viên báo cáo tốc độ tăng 30%, nhưng hồ sơ công việc chỉ cho thấy mức cải thiện 10%. Đó là khoảng cách nhận thức 20 điểm. Điều này có thể cho thấy thời gian đánh giá ẩn, phương pháp đo lường chưa chặt chẽ, hoặc công việc chỉ đơn giản là cảm thấy dễ dàng hơn mà không tạo ra nhiều giá trị đo lường được hơn.

Quy tắc an toàn nhất là một quy tắc đơn giản. Hãy lắng nghe kỹ những gì người dùng của bạn nói, sau đó đối chiếu với công việc thực tế.

Các chỉ số KPI AI dành riêng cho từng hàm

Một bảng điểm AI duy nhất sẽ không phù hợp với mọi nhóm, vì mỗi nhóm đều hướng đến một kết quả khác nhau. Bộ phận Dịch vụ Khách hàng tập trung vào việc giải quyết vấn đề. Bộ phận Kỹ thuật đảm bảo việc triển khai ổn định. Bộ phận Tiếp thị và Bán hàng tập trung vào tăng trưởng, trong khi Bộ phận Vận hành quản lý chi phí, tốc độ và kiểm soát. Hãy bắt đầu từ kết quả đó. Sau đó, thêm các chỉ số thể hiện cách AI đã tác động đến kết quả đó.

Dịch vụ khách hàng và hỗ trợ

Câu hỏi thực sự là liệu vấn đề của khách hàng có được giải quyết triệt để sau khi trò chuyện kết thúc hay không.

Phần mềm và kỹ thuật

Đo lường toàn bộ quy trình, từ khi công việc được giao cho đến khi phiên bản ổn định được triển khai vào môi trường sản xuất. Mã nguồn được tạo ra chỉ là một bước trong quy trình đó.

Ví dụ: Nvidia cung cấp một minh chứng rõ ràng về điểm yếu đó. Công ty cho biết hiện có hơn 30.000 kỹ sư của họ đang sử dụng phiên bản tùy chỉnh của trợ lý Cursor, giúp tạo ra lượng mã gấp khoảng ba lần so với trước đây mà không làm tăng số lượng lỗi. Tuy nhiên, sản lượng tăng gấp ba lần chỉ là một chỉ số về khối lượng, chứ không phải về chất lượng. Điều này không cho thấy liệu các tính năng có được triển khai nhanh hơn hay có thể hoạt động ổn định trong môi trường sản xuất hay không. Để thu hẹp khoảng cách này, ngoài khối lượng, Nvidia cần phải thay đổi thời gian thực hiện, tỷ lệ lỗi sản xuất và công việc làm lại.

Tiếp thị

AI trong lĩnh vực tiếp thị nên giúp giảm chi phí hoặc thời gian cần thiết để tạo ra công việc sau đó vượt qua quá trình đánh giá và mang lại hiệu quả thực tế với khách hàng.

Bán hàng

AI trong bán hàng chứng tỏ giá trị của mình khi các giao dịch phù hợp được xử lý nhanh hơn trong quy trình bán hàng và cuối cùng được chốt với biên lợi nhuận khả quan.

Ví dụ: Workato minh họa tại sao “nhanh hơn” không đồng nghĩa với “thành công”. Giám đốc Công nghệ Thông tin (CIO) của công ty này cho biết các giao dịch sử dụng dữ liệu được bổ sung bởi nhân viên đã di chuyển qua các giai đoạn của quy trình bán hàng nhanh hơn tới 20%, đồng thời thời gian xử lý báo giá được cải thiện 40%. Cả hai số này đều do công ty cung cấp và đều đo lường tốc độ, chứ không phải kết quả. Cả hai đều không xác nhận doanh thu từ các giao dịch đã đóng tăng lên. Để chứng minh lợi ích thực sự, Workato cần cung cấp tỷ lệ chốt đơn, biên lợi nhuận và doanh thu từ các giao dịch tương tự khi sử dụng và không sử dụng AI.

Hoạt động và tài chính

Ở đây, AI cần hoàn thành công việc với ít thao tác can thiệp, ít lỗi và ít trường hợp ngoại lệ hơn. Và mọi chi phí đều phải được tính vào phép tính.

Ví dụ: Omega Healthcare minh họa một báo cáo hiệu quả toàn diện trông như thế nào. Công ty này chia sẻ với Business Insider rằng AI giúp tiết kiệm hơn 15.000 giờ làm việc của nhân viên mỗi tháng cho công việc xử lý tài liệu, với thời gian xử lý nhanh hơn 50%, độ chính xác 99,5% và ROI cho khách hàng tăng 30%. Báo cáo này kết hợp các yếu tố thời gian, chất lượng và chi phí thành một chế độ xem tổng quan duy nhất.

Nghiên cứu điển hình: Cách các doanh nghiệp thực tế đo lường hiệu quả do AI mang lại

Kết quả của công ty chỉ thực sự hữu ích khi bạn biết chính xác những gì đã được đo lường. Số đó là số liệu quan sát được hay dự báo? Công ty đã tính toán số công việc đã được giải quyết, hay chỉ là số công việc được chuyển giao khỏi con người? Bốn trường hợp này cho thấy tại sao những chi tiết đó lại quan trọng hơn nhiều so với con số lớn nhất trong thông cáo báo chí.

Klarna (Dịch vụ nhanh vẫn có thể để lại khoảng cách về chất lượng)

Đến cuối năm 2025, Klarna cho biết trợ lý hỗ trợ AI của họ đã xử lý hai phần ba tổng số yêu cầu của khách hàng. Công ty này cũng cho biết thời gian phản hồi nhanh hơn 82%, số lượng vấn đề lặp lại giảm 25%, tiết kiệm được 60 triệu USD và tương đương với khối lượng công việc của 853 nhân viên toàn thời gian.

Klarna tiếp tục đầu tư vào trợ lý ảo. Tuy nhiên, công ty cũng bắt đầu tuyển dụng lại nhân viên hỗ trợ con người. Giám đốc điều hành (CEO) của công ty cho biết khách hàng luôn cần có thể liên hệ trực tiếp với một nhân viên. Các báo cáo cho thấy sự thay đổi này xuất phát từ những phàn nàn về các câu trả lời chung chung đối với những câu hỏi phức tạp. Về phần mình, công ty khẳng định mức độ hài lòng đối với AI của họ vẫn duy trì ở mức tương đương với dịch vụ hỗ trợ do con người thực hiện.

Bài học rút ra: Theo dõi tốc độ xử lý, số lần liên hệ lại và chi phí, nhưng phân loại theo loại vấn đề. Sau đó, đo lường các trường hợp chuyển giao không thành công và mức độ hài lòng sau các trường hợp phức tạp. Một chỉ số trung bình cao có thể che lấp chính những phiếu yêu cầu quan trọng nhất.

IBM (Sự gia tăng năng suất có thể không áp dụng cho mọi nhà phát triển)

IBM đã nghiên cứu công cụ watsonx Code Assistant của chính mình cho một bài báo được bình duyệt tại hội nghị CHI 2025. Các nhà nghiên cứu đã khảo sát 669 người dùng và thực hiện các bài kiểm tra khả năng sử dụng với 15 người dùng khác. Nhiều người dùng cảm thấy công cụ này giúp họ làm việc nhanh hơn, nhưng không phải ai cũng chia sẻ lợi ích đó. Có một giới hạn quan trọng cần ghi chú. Nghiên cứu này tập trung vào trải nghiệm của nhà phát triển và mức độ năng suất mà họ cảm nhận được. Nghiên cứu không chứng minh rằng phần mềm được phát hành nhanh hơn hoặc có ít lỗi hơn.

Bài học rút ra: Kết hợp các cuộc khảo sát người dùng với các chỉ số quan sát được như thời gian xem xét, công việc làm lại, thời gian thực hiện thay đổi và tỷ lệ thất bại khi thay đổi. Sau đó, phân tích kết quả theo từng công việc và mức độ kinh nghiệm. Mức trung bình của nhóm có thể che lấp những nhà phát triển dành nhiều thời gian để kiểm tra kết quả đầu ra của AI hơn là thời gian họ tiết kiệm được khi viết mã.

Bank of America (Kiểm soát là một phần của hiệu suất)

Ngân hàng Bank of America cho biết Erica, trợ lý tài chính ảo của họ, đã xử lý 3 tỷ tương tác với khách hàng và hiện đạt trung bình hơn 58 triệu tương tác mỗi tháng. Phiên bản dành cho nhân viên của hệ thống này đã tiếp cận hơn 90% đội ngũ nhân viên và giảm một nửa số cuộc gọi đến bộ phận hỗ trợ CNTT. Erica cũng cho thấy hiệu quả của AI không nhất thiết phải dựa vào mô hình tạo sinh. Ngân hàng vận hành trợ lý khách hàng của mình dựa trên một thư viện cố định gồm hơn 700 câu trả lời. Điều này khiến Erica có ít tự do hơn so với một chatbot mở. Tuy nhiên, nó giúp việc kiểm thử và quản lý các câu trả lời trở nên dễ dàng hơn nhiều trong môi trường ngân hàng.

Bài học rút ra: Phù hợp mô hình với mức độ rủi ro. Đối với hỗ trợ nội bộ, hãy theo dõi số lượng cuộc gọi đến bộ phận hỗ trợ, tỷ lệ tự giải quyết thành công, số lần liên hệ lặp lại và thời gian giải quyết. Việc giảm số lượng cuộc gọi là tín hiệu tích cực, nhưng điều này không chứng minh rằng mọi nhân viên đều đã thực sự giải quyết được vấn đề.

Cách chọn các chỉ số AI phù hợp

Việc nắm rõ các chỉ số chỉ là phần dễ dàng. Kỹ năng khó hơn là chọn ra một số ít chỉ số phù hợp với mục tiêu của bạn, sau đó chủ động bỏ qua phần còn lại. Dưới đây là phương pháp bạn có thể tin cậy.

Liên kết từng chỉ số với một mục tiêu kinh doanh

Hãy xác định mục tiêu trước, sau đó chọn chỉ số đo lường mục tiêu đó. Nếu mục tiêu là cắt giảm chi phí hỗ trợ, hãy theo dõi chi phí trên mỗi lần giải quyết. Nếu mục tiêu là tăng doanh thu, hãy theo dõi doanh thu trên mỗi tương tác với AI. Nếu mục tiêu là đẩy nhanh quá trình ra quyết định, hãy theo dõi tốc độ ra quyết định. Nếu một chỉ số không liên quan trực tiếp đến mục tiêu như vậy, hãy loại bỏ nó.

Và nếu bạn áp dụng cả OKR lẫn KPI, hãy phân biệt rõ vai trò của từng chỉ số: mục tiêu xác định hướng đi, còn KPI đo lường tiến độ thực hiện theo hướng đó. Một sai lầm phổ biến là đang theo dõi những chỉ số mà công cụ của bạn xuất ra theo mặc định, thay vì tập trung vào số thực sự cần thiết để đạt được mục tiêu. Một chỉ số dễ dàng thu thập nhưng không trả lời được câu hỏi thực tế nào vẫn chỉ là thông tin thừa.

Áp dụng phương pháp SMART và giới hạn số lượng

Đảm bảo mỗi chỉ số KPI phải cụ thể, có thể đo lường, khả thi, phù hợp và có thời hạn (SMART). Sau đó, hãy giới hạn số lượng một cách có chủ đích. Thông thường, nên giữ từ ba đến năm chỉ số cho mỗi mục tiêu và không quá bảy đến mười chỉ số cho mỗi nhóm. Nếu vượt quá con số này, các cuộc họp đánh giá sẽ kéo dài hơn trong khi các quyết định lại không trở nên sắc bén hơn, bởi vì sự chú ý bị phân tán quá mỏng để có thể hành động dựa trên bất kỳ số riêng lẻ nào. Dưới đây là một cách kiểm tra đơn giản: nếu bạn không thể xác định được chỉ số nào sẽ thay đổi quyết định trong tuần này, thì danh sách công việc của bạn đã trở nên quá dài.

Cân bằng giữa các chỉ số dẫn dắt và chỉ số chậm trễ

Kết hợp mỗi chỉ số kết quả chậm trễ với một chỉ số dự báo dẫn dắt. Chi phí trên mỗi lần giải quyết được kết hợp với mức độ áp dụng. Tăng trưởng doanh thu được kết hợp với trình độ thành thạo. Tỷ lệ lỗi được kết hợp với thời gian xử lý đánh giá mã nguồn.

Chỉ số trễ xác nhận những gì đã xảy ra; còn chỉ số dẫn dắt sẽ cảnh báo bạn đủ sớm để có thể hành động kịp thời.

Phân công quyền sở hữu và tần suất thực hiện

Mỗi chỉ số KPI cần có người chịu trách nhiệm cụ thể và tần suất đánh giá định kỳ. Kiểm tra các chỉ số vận hành hàng tuần, còn các chỉ số quan trọng hơn thì hàng tháng hoặc hàng quý. Giao từng chỉ số cho người có khả năng tác động đến số đó, chứ không phải người chỉ lập báo cáo. Nếu người chịu trách nhiệm không có công cụ thực tế để thay đổi chỉ số, thì không ai thực sự chịu trách nhiệm về nó. Số đó sẽ cứ trôi dạt cho đến khi được phát hiện trong lần đánh giá tiếp theo.

Các công cụ và tài nguyên để đo lường các chỉ số hiệu suất AI

Bạn không cần một hệ thống đo lường khổng lồ ngay từ ngày đầu tiên. Điều bạn cần là công cụ phù hợp với chỉ số mà bạn đang cố gắng chứng minh.

Dưới đây là những tài nguyên đáng tham khảo.

Bảng này cho bạn biết công cụ nào phù hợp với công việc nào. Tuy nhiên, điều mà bảng này không thể cho bạn biết là lợi ích cụ thể mà mỗi công cụ mang lại, hay những rủi ro thất bại mà nó giúp bạn tránh được.

Cách theo dõi các chỉ số hiệu suất AI trong ClickUp

Sau khi đã chọn các chỉ số KPI về AI, bạn cần một nền tảng để lưu trữ chúng và đảm bảo chúng luôn được kết nối với công việc, từ đó bảng điểm sẽ tự động cập nhật.

Dưới đây là cách các nhóm của chúng tôi duy trì các chỉ số AI luôn được cập nhật trong ClickUp:

Bắt đầu với công cụ theo dõi KPI sẵn có

Mẫu KPI của ClickUp cung cấp cho bạn một cấu trúc khởi đầu vững chắc. Mẫu này đi kèm với các trạng thái như "Đang trên đà", "Có nguy cơ" và "Chệch hướng", cùng với các Trường Tùy chỉnh cho Giá trị mục tiêu, Giá trị thực tế, Tiến độ, Chênh lệch và Độ lệch.

Tải mẫu miễn phí

Chọn ra từ ba đến năm chỉ số KPI AI quyết định đến quyết định, đặt mục tiêu cho từng chỉ số và chỉ định người chịu trách nhiệm. Các chỉ số này có thể bao gồm tỷ lệ chấp nhận lần đầu, số giờ tiết kiệm được đã được xác minh, chi phí trên mỗi kết quả thành công hoặc tỷ lệ phải chuyển lên cấp trên. Các chế độ xem "Tiến độ" và "Tổng quan" sau đó sẽ giúp người đánh giá nhanh chóng nắm bắt được những mục tiêu nào đang đạt yêu cầu và những mục tiêu nào cần xem xét kỹ hơn.

Lưu ý: Công cụ theo dõi ghi lại điểm số, nhưng không tự động thu thập bằng chứng. Hãy kết nối từng chỉ số KPI với các công việc thực tế diễn ra, và sử dụng Trường Tùy chỉnh, Biểu mẫu, Tự động hóa, tích hợp hoặc cập nhật từ nhân viên để nhập các giá trị thực tế.

Giám sát các phạm vi hoạt động thông qua các bảng điều khiển thời gian thực

Khi các giá trị này được áp dụng cho các công việc đang hoạt động, bảng điều khiển ClickUp có thể tổng hợp chúng trên phạm vi Danh sách công việc, nhóm, quy trình làm việc hoặc kỳ cụ thể. Các thẻ tính toán tổng hợp thời gian tiết kiệm được đã xác minh, điểm chất lượng trung bình hoặc chi phí trên mỗi lần giải quyết. Biểu đồ thanh, đường và biểu đồ tròn phân tích chi tiết các số này theo mô hình, trường hợp sử dụng, nhóm hoặc loại lỗi.

Hãy để “bộ não” của công ty bạn tự động tạo báo cáo và đánh dấu các điểm thiếu sót

Việc lập báo cáo là nơi ẩn chứa phần lớn nỗ lực thủ công. Đây cũng là phần chỉ nên tự động hóa sau khi các trường dữ liệu và định nghĩa của bạn đã đáng tin cậy. Vì ClickUp Brain có thể làm việc với các công việc, Trường Tùy chỉnh, Tài liệu và các cuộc hội thoại trong Không gian Làm việc ClickUp của bạn, bạn có thể đặt các câu hỏi như:

Câu trả lời được đưa ra dựa trên bối cảnh công việc hiện tại của bạn chỉ trong vài giây. Tiếp tục trong cùng một chủ đề thảo luận để thu hẹp phạm vi phân tích, so sánh các kỳ hoặc yêu cầu Brain chuyển đổi các kết quả thành bảng điều khiển tương tác hoặc bộ slide.

Muốn tìm hiểu sâu hơn về ClickUp Brain? Dưới đây là hướng dẫn nhanh.

Giới hạn thực tế: ClickUp kết nối hoạt động của nhóm với các mục tiêu một cách hiệu quả. Tuy nhiên, đây không phải là một kho dữ liệu quy mô lớn như Snowflake, cũng không phải là công cụ chuyên dụng để giám sát ở cấp độ mô hình. Công cụ này hoạt động hiệu quả nhất khi dữ liệu và công việc của bạn được tập trung tại một nơi duy nhất – chính là nơi lưu trữ các chỉ số KPI về AI vận hành. Để có được dữ liệu đo lường chi tiết về mô hình, hãy kết hợp ClickUp với một công cụ chuyên dụng.

Đo lường những gì AI thực sự đã thay đổi

Điều khó khăn nhất trong AI không bao giờ là khiến nó thực hiện một việc cần làm. Mà là biết liệu “việc cần làm” có đáng làm hay không. Hầu hết các nhóm đều có thể cho bạn biết các công cụ của họ đang được sử dụng bao nhiêu, đã tạo ra bao nhiêu bản nháp, nhưng hầu như không ai trong số họ trả lời được câu hỏi duy nhất thực sự quan trọng:

Công việc có trở nên tốt hơn, rẻ hơn hay nhanh hơn đến mức những người ở các khâu sau có thể cảm nhận được không?

Khi bạn xác định rõ giá trị mong muốn trước khi triển khai, bạn sẽ đo lường những thay đổi mà AI mang lại thay vì chỉ tập trung vào những gì nó thực hiện. Hãy chọn một số chỉ số phù hợp với mục tiêu thực tế. Sau đó, gán cho mỗi chỉ số một chỉ số đối chiếu để đảm bảo rằng sự cải thiện về tốc độ không che lấp sự suy giảm về chất lượng. Cuối cùng, thiết lập cho mỗi số một mức cơ sở, mục tiêu, thời hạn và người chịu trách nhiệm để thúc đẩy tiến độ. Hãy đặt bảng điểm đó bên cạnh công việc mà nó đo lường, và nó sẽ tự động cho bạn biết sự thật.

Và nếu bạn muốn theo dõi tất cả những yếu tố này khi quy mô ứng dụng AI của bạn ngày càng mở rộng, bạn cần một công cụ có thể phát triển cùng với bạn. Đăng ký sử dụng ClickUp để xây dựng bảng điều khiển KPI AI, giúp hiển thị từng chỉ số ngay bên cạnh công việc mà nó đo lường.

Các câu hỏi thường gặp về chỉ số hiệu suất AI

Các chỉ số AI quan trọng nhất đang theo dõi là gì?

Bắt đầu với một chỉ số từ mỗi lớp trong bốn lớp: độ chính xác hoặc tỷ lệ chấp nhận lần đầu (chất lượng đầu ra), độ trễ (hiệu suất hệ thống), tỷ lệ giữ chân người dùng hoạt động (mức độ áp dụng) và chi phí trên mỗi lần giải quyết hoặc ROI (tác động kinh doanh). Sự kết hợp phù hợp phụ thuộc vào nhiệm vụ của AI. Một bot hỗ trợ cần các chỉ số như khả năng kiểm soát sự cố, xác nhận giải quyết và tỷ lệ liên hệ lại. Một trợ lý mã cần các chỉ số như thời gian thực hiện thay đổi, tỷ lệ làm lại và thời gian xem xét. Hạn chế tổng số chỉ số từ ba đến năm cho mỗi mục tiêu và kết hợp mỗi chỉ số với một chỉ số đối chiếu để đảm bảo rằng sự cải thiện ở một khía cạnh không che giấu sự suy giảm ở khía cạnh khác.

Sự khác biệt giữa chỉ số hiệu suất AI và tiêu chuẩn tham chiếu AI là gì?

Một bài kiểm tra chuẩn (benchmark) đánh giá mô hình trên một tập dữ liệu công khai cố định và một công việc cụ thể; trong khi đó, chỉ số hiệu suất đo lường cách hệ thống của bạn hoạt động trên chính công việc của bạn trong môi trường sản xuất. Một mô hình có thể đứng đầu bảng xếp hạng nhưng vẫn thất bại về độ trễ, chi phí hoặc độ an toàn khi người dùng thực sự sử dụng nó. Hãy coi các bài kiểm tra chuẩn như bảng xếp hạng ảo giác của Vectara hoặc MMLU như một công cụ sàng lọc ban đầu, sau đó đo lường các chỉ số phù hợp với mục tiêu của bạn.

Tỷ lệ ảo giác nào được coi là tốt đối với một hệ thống AI?

Hiện không có tỷ lệ sai sót được chấp nhận chung trong toàn ngành đối với hệ thống AI. Mục tiêu hữu ích phụ thuộc vào công việc, chi phí của một lỗi và liệu hệ thống có thể chấp nhận sự không chắc chắn hay không. Đối với các ứng dụng kinh doanh thực tế, tỷ lệ dưới 5% trên một tập dữ liệu thử nghiệm sản xuất đại diện là điểm khởi đầu hợp lý. Tuy nhiên, các hệ thống có rủi ro cao nên hướng tới con số gần bằng 0 hơn và chuyển các câu trả lời không chắc chắn cho con người. Hãy coi con số 5% đó là mục tiêu vận hành, chứ không phải là tiêu chuẩn được công bố.

Bài học quan trọng hơn là tỷ lệ ảo giác không thể được xem xét một cách độc lập. Một nghiên cứu trên tạp chí Nature chỉ ra rằng các tiêu chuẩn đánh giá độ chính xác thông thường thường khen thưởng các mô hình vì khả năng đoán mò thay vì thừa nhận rằng chúng không biết. Hãy đo lường ảo giác song song với tỷ lệ từ chối trả lời, mức độ nghiêm trọng của lỗi, mức độ hỗ trợ từ các nguồn tham khảo, và tần suất các tuyên bố không có cơ sở đến tay người dùng.

Bạn nên xem xét các chỉ số hiệu suất AI bao lâu một lần?

Xem xét các chỉ số vận hành như độ trễ, tỷ lệ lỗi và khả năng kiểm soát hàng tuần; xem xét các chỉ số kinh doanh như chi phí trên mỗi lần giải quyết và ROI hàng tháng hoặc hàng quý. Điều chỉnh tần suất theo tốc độ thay đổi của số liệu và người chịu trách nhiệm xử lý. Chỉ định người chịu trách nhiệm cụ thể cho từng chỉ số, người này phải có quyền kiểm soát các yếu tố tác động thực tế.

Bạn sử dụng những công cụ nào để theo dõi các chỉ số hiệu suất AI?

Hầu hết các nhóm đều kết hợp hai lớp. Các nền tảng làm việc như ClickUp theo dõi các chỉ số KPI về hoạt động và kinh doanh bên cạnh các công việc tạo ra chúng, bằng cách sử dụng bảng điều khiển, Trường Tùy chỉnh và quy trình làm việc linh hoạt để tổng hợp các giá trị như tỷ lệ chấp nhận ngay từ lần đầu hoặc chi phí cho mỗi công việc thành công. Các công cụ quan sát chuyên dụng như Arize, Langfuse và WhyLabs xử lý các dữ liệu đo lường ở cấp độ mô hình như độ lệch và ảo giác, trong khi kho dữ liệu như Snowflake lưu trữ các sự kiện thô để phân tích sâu hơn.

Liệu có thể đo lường tác động của AI mà không cần nhóm đối chứng không?

Có, mặc dù không chính xác bằng. Nhóm đối chứng giúp tách biệt những tác động do AI gây ra khỏi những điều vốn sẽ xảy ra dù có AI hay không, do đó đây là phương án mạnh nhất. Nếu không có nhóm đối chứng, hãy áp dụng phương pháp triển khai theo giai đoạn hoặc sử dụng mức cơ sở tương ứng, đồng thời điều chỉnh theo những biến động về giá cả, chương trình khuyến mãi, nhu cầu và mùa vụ. So sánh đơn thuần trước và sau chỉ cho biết điều gì đã thay đổi chứ không chỉ ra nguyên nhân gây ra sự thay đổi đó, dẫn đến việc nhu cầu theo mùa hoặc việc khắc phục sự cố trong quy trình song song bị quy nhầm cho AI.

Việc cần làm để đo lường ROI của AI?

ROI của AI là giá trị thu được từ hệ thống AI so với tổng chi phí xây dựng, vận hành và bảo trì hệ thống đó. Hãy thiết lập một mức cơ sở cho quy trình trước khi triển khai, sau đó đo lường sự thay đổi của một chỉ số kinh doanh cụ thể, chẳng hạn như chi phí trên mỗi lần giải quyết hoặc doanh thu trên mỗi lần tương tác, so với tổng chi phí sở hữu.