ตัวชี้วัดประสิทธิภาพ AI: 50+ KPI เพื่อวัดประสิทธิภาพที่ขับเคลื่อนด้วย AI

กรณีศึกษา AI ขององค์กรส่วนใหญ่ดูคล้ายกันหมด สไลด์นำเสนอสวยงาม กราฟการนำระบบไปใช้เพิ่มขึ้นเรื่อยๆ แล้วมีใครสักคนถามคำถามที่ทำให้ทั้งห้องเงียบกริบ: อะไรที่เปลี่ยนแปลงในงบกำไรขาดทุน?

บริษัทที่ปรึกษา Roland Berger ได้นำความเงียบนั้นมาแปลงเป็นตัวเลข การศึกษาของพวกเขามีชื่อว่า The AI Value Gapซึ่งได้สำรวจผู้บริหารระดับสูง 203 คนจากยุโรป ญี่ปุ่น และสหรัฐอเมริกา เกือบ 90% ระบุว่าผลตอบแทนจาก AI ของพวกเขายังคงตามหลังค่าใช้จ่ายอยู่ ส่วนที่เปิดเผยข้อมูลได้ชัดเจนยิ่งขึ้นอยู่ใต้หัวข้อนั้น: ส่วนใหญ่ไม่มีตัวชี้วัดประสิทธิภาพ AI ที่สอดคล้องกับผลลัพธ์อย่างชัดเจน มีเพียงการประเมินแบบครั้งเดียวหรือรายชื่อ KPI ที่กระจัดกระจาย พวกเขาจึงต้องดำเนินการโดยไม่มีข้อมูลที่ชัดเจนว่าเทคโนโลยีนี้ได้สร้างผลลัพธ์ตามที่คาดหวังหรือไม่

และคุณไม่จำเป็นต้องมีผู้บริหารกว่า 200 คนเพื่อเข้าใจว่ามันเป็นอย่างไร ตัวแทนสนับสนุน AI สามารถทำงานทั้งวัน ส่งคำตอบที่ธรรมดาๆ และทำให้ทุกแดชบอร์ดแสดงผลดี แต่กลับไม่สร้างผลลัพธ์ใดๆ ที่ CFO สามารถเห็นได้ แผนภูมิดูดี ดังนั้นทีมจึงยังคงขยายการใช้งานต่อไป นั่นคือกับดักทั้งหมด

ทีมที่ทำได้ถูกต้องจะทำในทางตรงกันข้าม พวกเขาวัดสิ่งที่ AI ช่วยให้เป็นไปได้, เปรียบเทียบกับค่าอ้างอิง และมอบผลลัพธ์ทุกชิ้นให้กับผู้รับผิดชอบที่ระบุชื่อ

คู่มือนี้แบ่งตัวชี้วัดประสิทธิภาพ AI ออกเป็นสี่ชั้น ได้แก่ คุณภาพผลลัพธ์ ความน่าเชื่อถือของระบบ การนำใช้ของพนักงาน และผลกระทบต่อธุรกิจ ตัวชี้วัดแต่ละตัวประกอบด้วยสูตร คำแนะนำ และตัวชี้วัดเปรียบเทียบ เป้าหมายคือการสร้างสกอร์การ์ดที่เรียบง่ายพอที่จะนำไปปฏิบัติได้ พร้อมกับการกำหนดความรับผิดชอบที่ชัดเจน เพื่อให้มีผู้รับผิดชอบเมื่อตัวเลขเปลี่ยนแปลง

ตัวชี้วัดประสิทธิภาพ AI คืออะไร? (และมันแตกต่างจาก Vanity Metrics อย่างไร?)

ตัวชี้วัดประสิทธิภาพ AI แสดงให้เห็นว่าระบบ AI ทำงานได้ดีเพียงใด และสร้างมูลค่าทางธุรกิจได้หรือไม่ ตัวชี้วัดประสิทธิภาพ AI บางตัววัดคุณภาพทางเทคนิค เช่น ความแม่นยำและเวลาตอบสนอง ส่วนตัวชี้วัดอื่น ๆ ติดตามผลลัพธ์ เช่น การลดต้นทุน การทำงานที่รวดเร็วขึ้น หรือการเพิ่มรายได้

ความแตกต่างที่สำคัญที่สุดคือระหว่างตัวชี้วัด (metric) และตัวชี้วัดประสิทธิภาพหลัก (KPI) จำนวนคำสั่งที่ส่งไป จำนวนการเข้าสู่ระบบ จำนวนโทเคนที่ใช้ และจำนวนคำที่สร้างขึ้น เป็นตัวชี้วัด แต่พวกมันจะกลายเป็นตัวชี้วัด ที่ดูดีแต่ไม่มีประโยชน์ ทันทีที่คุณนำเสนอพวกมันเป็นความสำเร็จ เพราะพวกมันวัดการเคลื่อนไหว ไม่ใช่ผลลัพธ์ ส่วน KPI คือชุดตัวเลขที่เล็กกว่า ซึ่งจะสร้างผลลัพธ์ทางธุรกิจเมื่อมีการเปลี่ยนแปลง ดังนั้น ตัวชี้วัดประสิทธิภาพ AI ที่ควรติดตามคือค่าใช้จ่ายต่อตั๋วที่แก้ไขได้ ไม่ใช่จำนวนตั๋วที่ได้รับการจัดการ

KPI ที่กำหนดไว้อย่างชัดเจนมี 5 ส่วน: AI KPI = ตัวชี้วัด + ค่าพื้นฐาน + เป้าหมาย + กรอบเวลา + ตัวชี้วัดเปรียบเทียบ

ตัวอย่างเช่น ตัวชี้วัดประสิทธิภาพ (KPI) ของ AI สำหรับทีมสนับสนุนจะช่วยให้บรรลุเป้าหมาย เช่น: ลดเวลาตอบกลับครั้งแรกจาก 24 ชั่วโมงลงเหลือต่ำกว่า 4 ชั่วโมงภายในหนึ่งไตรมาส โดยไม่ลดระดับความพึงพอใจของลูกค้า ความพึงพอใจของลูกค้าเป็นปัจจัยสำคัญที่ช่วยรักษาสมดุลในที่นี้ มันจะป้องกันไม่ให้ทีมบรรลุเป้าหมายด้านความเร็วด้วยคำตอบที่สร้างโดย AI ซึ่งรวดเร็วแต่มีคุณภาพต่ำ

ความแตกต่างระหว่าง KPI และตัวชี้วัดคืออะไร?

ทุก KPI เป็นตัวชี้วัด แต่ไม่ใช่ทุกตัวชี้วัดจะเป็น KPI สำหรับการแยกแยะอย่างละเอียดยิ่งขึ้น โปรดดูส่วน "KPI vs. ตัวชี้วัด"

ความแตกต่างระหว่างตัวชี้วัดนำ (leading indicators) และตัวชี้วัดตาม (lagging indicators) คืออะไร?

ตัวชี้วัดนำหน้า (leading indicator) ให้คำเตือนล่วงหน้า ส่วนตัวชี้วัดตามหลัง (lagging indicator) บันทึกผลลัพธ์หลังจากที่มันเกิดขึ้นแล้ว ทั้งสองคำนี้ถูกใช้อย่างสม่ำเสมอในการกำหนดและวัด KPI

ตัวอย่างเช่น อัตราการแทนที่ AI ที่เพิ่มขึ้นอาจบ่งชี้ว่าพนักงานไม่เชื่อถือ AI อีกต่อไป ซึ่งอาจตามมาด้วยระดับการนำใช้ที่ลดลงและค่าใช้จ่ายที่สูงขึ้นในภายหลัง เมื่อพนักงานหันไปใช้เครื่องมืออื่น อัตราการแทนที่ AI เป็นสัญญาณเตือนในระยะเริ่มต้น ส่วนค่าใช้จ่ายคือผลลัพธ์ที่เกิดขึ้นในระยะหลัง

อย่างไรก็ตาม ป้ายกำกับเหล่านี้ขึ้นอยู่กับบริบท ความแม่นยำอาจตามหลังการอัปเดตโมเดล แต่ส่งผลให้เกิดการเปลี่ยนแปลงในความพึงพอใจของลูกค้าในภายหลัง นั่นคือเหตุผลที่ตัวชี้วัดด้านล่างนี้ถูกจัดกลุ่มตามสิ่งที่พวกมันวัด

ตัวชี้วัดประสิทธิภาพ AI กว่า 50 ตัว ที่พิสูจน์ความมีประสิทธิภาพของระบบ AI ของคุณ

ตัวชี้วัดที่เหมาะสมขึ้นอยู่กับวัตถุประสงค์การใช้งานของ AI บอทสนับสนุนลูกค้า โมเดลตรวจจับการฉ้อโกง และผู้ช่วยเขียนไม่ควรใช้บัตรคะแนนเดียวกัน

ตัวชี้วัดด้านล่างนี้แบ่งออกเป็นสี่ชั้น ได้แก่ คุณภาพของโมเดลและผลลัพธ์ ประสิทธิภาพของระบบ การนำใช้และผลกระทบต่อกำลังงาน และผลลัพธ์ทางธุรกิจ อย่างไรก็ตาม คุณไม่จำเป็นต้องใช้ทั้งหมด เลือกตัวชี้วัดไม่กี่ตัวที่สอดคล้องกับเป้าหมายของคุณ แล้วจับคู่แต่ละตัวกับตัวชี้วัดเปรียบเทียบ

ตัวชี้วัดคุณภาพของโมเดลและผลลัพธ์

ตัวชี้วัดเหล่านี้ช่วยตอบคำถามแรก: AI ให้ผลลัพธ์ที่ถูกต้อง มีประโยชน์ และปลอดภัยหรือไม่?

สำหรับงานที่มีคำตอบที่ถูกต้องเพียงหนึ่งเดียว เช่น การจัดประเภทหรือการสกัดข้อมูล คุณสามารถตรวจสอบผลลัพธ์กับชุดข้อมูลอ้างอิงได้ ส่วนงานสร้างเนื้อหา (Generative) นั้นยากกว่าในการให้คะแนน เนื่องจากอาจมีหลายคำตอบที่ถูกต้องได้พร้อมกัน ในกรณีนี้ คุณต้องพึ่งพาผู้ตรวจสอบมนุษย์หรือระบบประเมินที่อิงจากโมเดล เพื่อประเมินปัจจัยต่าง ๆ เช่น ความเกี่ยวข้อง ความสอดคล้องกับข้อมูลจริง ความครบถ้วน และการปฏิบัติตามคำสั่ง

คะแนนเหล่านี้ช่วยให้คุณระบุผลลัพธ์ที่อ่อนแอและติดตามว่าเกิดข้อผิดพลาดจากจุดใด แต่สิ่งที่คะแนนเหล่านี้ไม่สามารถบอกคุณได้คือ AI ช่วยประหยัดเงินได้หรือไม่ ทำให้กระบวนการทำงานราบรื่นขึ้น หรือสร้างความเชื่อมั่นให้กับผู้ใช้ได้หรือไม่ ส่วนเนื้อหาในบทถัดไปจะกล่าวถึงผลลัพธ์เหล่านั้น

1. ความแม่นยำ

ความแม่นยำคือสัดส่วนของการคาดการณ์ที่ AI ทำถูกต้องเมื่อเทียบกับคำตอบที่ทราบแล้ว ตัวอย่างเช่น หากโมเดลการจัดเส้นทางตั๋ว (ticket-routing model) ติดป้ายกำกับตั๋ว 1,000 ใบ และทำถูกต้อง 920 ใบ ความแม่นยำของโมเดลนั้นคือ 92%

ฟังดูน่าประทับใจ แต่ความแม่นยำอาจซ่อนข้อผิดพลาดที่สำคัญที่สุดไว้ได้ หากข้อผิดพลาดทั้ง 80 รายการส่งผลให้ตั๋วเร่งด่วนถูกส่งไปยังคิวที่ผิด คะแนนรวมก็ยังคงดูดีอยู่ นอกจากนี้ ค่าความแม่นยำยังสูญเสียความหมายเมื่อผลลัพธ์หนึ่งปรากฏบ่อยกว่าผลลัพธ์อื่นอย่างมาก

2. ความแม่นยำ

ความแม่นยำ (Precision) แสดงถึงอัตราความถูกต้องของ AI เมื่อคาดการณ์ผลลัพธ์เป็นบวก กล่าวอย่างง่ายๆ ก็คือ มันบอกคุณว่ามีจำนวนการแจ้งเตือนกี่ครั้งที่ควรดำเนินการตาม

สมมติว่าโมเดลตรวจจับการฉ้อโกงได้ระบุธุรกรรม 200 รายการ แต่มีเพียง 150 รายการเท่านั้นที่เป็นการฉ้อโกง ความแม่นยำของโมเดลนี้อยู่ที่ 75% ส่วนอีก 50 รายการเป็นสัญญาณเตือนผิด ซึ่งแต่ละรายการจะก่อให้เกิดงานตรวจสอบเพิ่มเติม

3. Recall

Recall แสดงว่า AI จับได้กี่กรณีที่เป็นบวกจริง Precision ถามว่าการทำเครื่องหมายนั้นถูกต้องหรือไม่ ส่วน Recall ถามว่ามีกรณีจริงใดที่ถูกละเลยหรือไม่ ทั้งสองตัวชี้วัดนี้ทำงานในทิศทางตรงกันข้าม ดังนั้นโมเดลอาจดูดีในด้านหนึ่ง แต่ล้มเหลวในด้านอีกด้านหนึ่ง

สมมติว่ามีธุรกรรมฉ้อโกง 180 รายการ และโมเดลตรวจจับได้ 150 รายการ อัตราการเรียกคืน (recall) ของโมเดลคือ 83.3% ซึ่งหมายความว่าโมเดลพลาดการตรวจจับกรณีจริง 30 รายการ ในด้านการป้องกันการฉ้อโกง การคัดกรองทางการแพทย์ หรือด้านความปลอดภัย การพลาดเหล่านี้อาจก่อให้เกิดค่าใช้จ่ายสูงกว่าการตรวจสอบเพิ่มเติมอย่างมาก

4. F1 Score

คะแนน F1 เป็นค่าที่รวมความแม่นยำ (precision) และความครอบคลุม (recall) เข้าด้วยกัน ซึ่งช่วยได้เมื่อทั้งการแจ้งเตือนผิดพลาดและการพลาดกรณีสำคัญล้วนมีความสำคัญ โดยเฉพาะเมื่อคลาสหนึ่งปรากฏขึ้นน้อยกว่าคลาสอื่นอย่างมาก

หากโมเดลตรวจจับการฉ้อโกงมีความแม่นยำ 75% และอัตราการเรียกคืน 83.3% คะแนน F1 ของมันจะอยู่ที่ประมาณ 79% เนื่องจาก F1 ใช้ค่าเฉลี่ยฮาร์โมนิก ดังนั้น คะแนนที่ต่ำในด้านใดด้านหนึ่งจะส่งผลให้ผลลัพธ์โดยรวมลดลง

5. ความสอดคล้องกับความเป็นจริง

ความสอดคล้องกับข้อมูลต้นทาง (Groundedness) แสดงให้เห็นว่าคำกล่าวอ้างของ AI ได้รับการสนับสนุนจากแหล่งข้อมูลที่มันได้รับหรือไม่ สิ่งนี้มีความสำคัญที่สุดในระบบที่เสริมด้วยฟังก์ชันการค้นหา (retrieval-augmented systems) ซึ่งคำตอบที่ไหลลื่นอาจยังคงเบี่ยงเบนออกไปนอกขอบเขตของหลักฐาน

สมมติว่าผู้ช่วยด้านนโยบายได้เสนอข้ออ้างอิงข้อเท็จจริง 10 ข้อ และผู้ตรวจสอบสามารถตรวจสอบได้ว่า 9 ข้อในจำนวนนั้นสอดคล้องกับนโยบายที่ได้รับการอนุมัติแล้ว ระดับความสอดคล้องของข้ออ้างอิงอยู่ที่ 90% ข้ออ้างอิงข้อสุดท้ายยังจำเป็นต้องได้รับการตรวจสอบเพิ่มเติม โดยเฉพาะอย่างยิ่งหากเกี่ยวข้องกับค่าจ้าง สวัสดิการ หรือการปฏิบัติตามกฎระเบียบ

นี่เป็นสูตรสำหรับการใช้งานจริง ไม่ใช่สูตรที่ใช้ได้ทั่วไป กำหนดให้ชัดเจนว่าอะไรถือเป็นข้ออ้าง อะไรถือเป็นหลักฐานสนับสนุน และจะให้คะแนนการสนับสนุนบางส่วนอย่างไร ก่อนที่จะเปรียบเทียบผลลัพธ์

6. ความเกี่ยวข้อง

ความเกี่ยวข้อง (Relevance) แสดงว่าผลลัพธ์นั้นตอบคำถามที่ผู้ใช้ถามหรือไม่ คำตอบอาจถูกต้องแต่ยังไม่มีประโยชน์หากมันแก้ปัญหาที่ใกล้เคียงกันเท่านั้น

สมมติว่าผู้ประเมินได้ตรวจสอบคำตอบของแชทบอท 100 ข้อ และให้คะแนน 85 ข้อว่ามีความเกี่ยวข้อง ซึ่งให้อัตราการผ่านด้านความเกี่ยวข้องอยู่ที่ 85% แต่ตัวเลขนี้ไม่มีความหมายมากนัก จนกว่าทีมจะตกลงกันเกี่ยวกับเกณฑ์การให้คะแนนและคะแนนผ่าน

7. อัตราการปฏิบัติตามคำสั่ง

อัตราการปฏิบัติตามคำสั่งวัดว่า AI ปฏิบัติตามคำสั่งที่จำเป็นทุกข้อบ่อยเพียงใด ทั้งรูปแบบ ความยาว ข้อยกเว้น และขั้นตอนที่จำเป็น ล้วนสามารถนำมาคำนวณได้

ตัวอย่างเช่น กระบวนการทำงานอาจกำหนดให้โมเดลส่งคืน JSON ที่ถูกต้องพร้อมด้วย 5 สนามข้อมูลที่จำเป็น หาก 94 จาก 100 ผลลัพธ์ตรงตามทุกกฎเกณฑ์ อัตราความสำเร็จจะอยู่ที่ 94% แม้ผลลัพธ์จะอ่านได้ดีแต่ไม่ตรงกับโครงสร้าง JSON ก็ยังถือว่าไม่ผ่าน

กำหนดกฎเกณฑ์ก่อนดำเนินการทดสอบ หากผู้ประเมินต้องตัดสินใจว่า “ปฏิบัติตามคำแนะนำ” หมายความว่าอย่างไร หลังจากเห็นผลลัพธ์ คะแนนจะเกิดความคลาดเคลื่อน

8. คะแนนความครบถ้วน

ความครบถ้วนแสดงว่า AI ได้ครอบคลุมทุกส่วนที่จำเป็นของงานหรือไม่ มันช่วยตรวจจับคำตอบที่ดูสมบูรณ์แบบ แต่กลับมีข้อมูลบางส่วนที่ถูกละเว้นไปอย่างเงียบๆ

สมมติว่ารายงานต้องประกอบด้วยห้าส่วน และ AI ได้เสร็จสิ้นสี่ส่วน คะแนนความครบถ้วนคือ 80% แต่สิ่งนี้ไม่ได้หมายความว่ารายงานนั้นดี 80% ส่วนที่ขาดไปอาจเป็นส่วนที่ผู้อ่านต้องการมากที่สุด

สำหรับงานที่มีความเสี่ยงสูง ให้จัดลำดับความสำคัญของปัจจัยต่าง ๆ ตามระดับความสำคัญ ตัวอย่างเช่น การขาดคำเตือนทางกฎหมายควรมีน้ำหนักมากกว่าการขาดตัวอย่างที่ไม่จำเป็น

9. อัตราการเกิดภาพหลอน

อัตราการสร้างข้อมูลผิดพลาด (Hallucination rate) ติดตามความถี่ที่ AI สร้างข้อมูลที่ผิดพลาดหรือไม่มีหลักฐานสนับสนุน ปัญหาเหล่านี้อาจทับซ้อนกัน แต่ไม่เสมอไป ข้อมูลบางอย่างอาจถูกต้องในโลกจริง แต่ไม่มีหลักฐานสนับสนุนจากแหล่งข้อมูลที่ระบบได้รับการกำหนดให้ใช้

คุณสามารถวัดการให้ข้อมูลผิดพลาด (hallucinations) ได้ทั้งตามระดับคำตอบหรือตามระดับคำกล่าวอ้าง หากใน 500 คำตอบ มี 15 คำตอบที่มีคำกล่าวอ้างที่ไม่มีหลักฐานสนับสนุนอย่างน้อยหนึ่งข้อ อัตราความผิดพลาดระดับคำตอบจะอยู่ที่ 3% การคำนวณระดับคำกล่าวอ้างอาจให้ผลลัพธ์ที่แตกต่างออกไป

10. อัตราการเสร็จสิ้นงาน

อัตราการเสร็จสิ้นงานแสดงให้เห็นว่า AI สามารถบรรลุสถานะสุดท้ายที่ต้องการได้บ่อยเพียงใด สำหรับเอเจนต์ อาจหมายถึงการคืนเงิน การอัปเดตข้อมูลลูกค้า และการยืนยันผลลัพธ์ การสร้างคำตอบที่ฟังดูสมเหตุสมผลไม่นับเป็นผลลัพธ์ที่ต้องการ

สมมติว่าตัวแทนพยายามดำเนินการคำขอคืนเงินที่ตรงตามเงื่อนไข 1,000 รายการ และเสร็จสิ้น 700 รายการโดยไม่ต้องการความช่วยเหลือจากมนุษย์ อัตราการเสร็จสิ้นงานแบบอัตโนมัติอยู่ที่ 70% ให้รายงานการเสร็จสิ้นงานที่ได้รับการช่วยเหลือแยกต่างหาก เพื่อไม่ให้การส่งต่องานที่ราบรื่นถูกนับว่าเป็นความสำเร็จหรือความล้มเหลวอย่างสมบูรณ์

อย่าใช้เกณฑ์มาตรฐานสาธารณะเป็นเป้าหมายในการผลิต คะแนนของเอเจนต์เปลี่ยนแปลงอย่างรวดเร็ว และงานที่ใช้เป็นเกณฑ์มาตรฐานมักไม่สอดคล้องกับระบบ นโยบาย หรือลูกค้าของคุณ สร้างชุดข้อมูลทดสอบจากงานที่เอเจนต์ของคุณจะจัดการจริง

11. ความแม่นยำในการเลือกเครื่องมือ

ความแม่นยำในการเลือกเครื่องมือแสดงถึงความถี่ที่เอเจนต์เลือกเครื่องมือที่ถูกต้องสำหรับขั้นตอนต่อไป ซึ่งไม่เกี่ยวข้องกับการใช้เครื่องมือนั้นอย่างถูกต้องหรือไม่

ตัวแทนอาจค้นหาบนเว็บเมื่อควรตรวจสอบข้อมูลลูกค้า หรือส่งอีเมลเมื่อผู้ใช้เพียงขอร่างเท่านั้น การเลือกผิดเพียงครั้งเดียวก็อาจทำให้ส่วนที่เหลือของงานหลุดจากแผนได้

12. ความแม่นยำของอาร์กิวเมนต์ในการเรียกใช้เครื่องมือ

เมื่อเอเจนต์เลือกเครื่องมือแล้ว ต้องส่งค่าที่ถูกต้องเข้าไปในเครื่องมือนั้น การตรวจสอบความถูกต้องของอาร์กิวเมนต์ในการเรียกใช้เครื่องมือจะตรวจสอบข้อมูลในฟิลด์ต่าง ๆ เช่น ชื่อ วันที่ ID และจำนวนเงิน

สมมติว่าพนักงานรับสายทำการโทรจอง 300 ครั้ง และ 264 ครั้งมีข้อมูลที่ถูกต้องทั้งหมด ความแม่นยำของข้อมูลที่ป้อนเข้า (strict argument accuracy) อยู่ที่ 88% ในกระบวนการชำระเงินหรือการจอง วันที่หรือหมายเลขบัญชีที่ผิดพลาดอาจก่อให้เกิดข้อผิดพลาดในการทำธุรกรรมจริงได้

เกณฑ์การผ่านที่เข้มงวดจะถือว่าข้อมูลผิดเพียงหนึ่งช่องเป็นการเรียกที่ไม่สำเร็จ หากต้องการระบุอาร์กิวเมนต์ที่ก่อให้เกิดปัญหาด้วย ให้เพิ่มความแม่นยำระดับช่องข้อมูล

13. คุณภาพของเส้นทางการพัฒนา

คุณภาพเส้นทาง (Trajectory quality) วิเคราะห์เส้นทางที่เอเจนต์ใช้เพื่อเสร็จสิ้นงาน เอเจนต์อาจได้ผลลัพธ์ที่ถูกต้องหลังจากผ่านการค้นหาที่ไม่จำเป็นหลายครั้ง การโทรซ้ำ หรือการละเมิดนโยบาย คะแนนการเสร็จสิ้นแบบง่ายๆ จะไม่สามารถจับประเด็นเหล่านี้ได้ทั้งหมด

อย่าประเมินทุกการดำเนินการโดยเปรียบเทียบกับเส้นทางเดียวที่สมบูรณ์แบบ งานที่ซับซ้อนอาจมีหลายเส้นทางที่ถูกต้อง ให้ประเมินการดำเนินการโดยพิจารณาจากขั้นตอนที่จำเป็น การกระทำที่อนุญาต และเส้นทางอ้อมที่ไม่จำเป็น

ให้คะแนนตามชุดกฎเกณฑ์แทนที่จะใช้เส้นทางเดียวที่สมบูรณ์แบบ เนื่องจากงานที่ซับซ้อนมักมีหลายเส้นทางที่ถูกต้อง นี่คือจุดบอดที่แท้จริงในการทดสอบเอเจนต์TRAJECT-Bench2025 ถูกพัฒนาขึ้นเพื่อแก้ไขจุดบอดนี้ โดยตรวจสอบการเลือกเครื่องมือ ความถูกต้องของอาร์กิวเมนต์ และว่าการเรียกฟังก์ชันเกิดขึ้นตามลำดับที่ถูกต้องหรือไม่ แทนที่จะตรวจสอบเพียงว่าเอเจนต์ถึงจุดสิ้นสุดหรือไม่

14. ความประสิทธิภาพในการวางแผน

ประสิทธิภาพการวางแผนแสดงให้เห็นว่าเอเจนต์ต้องทำงานเพิ่มเติมเท่าใดก่อนที่จะได้ผลลัพธ์ แต่ละขั้นตอนเพิ่มเติมจะเพิ่มเวลา โทเคน และโอกาสที่จะเกิดข้อผิดพลาดอีก

หากงานหนึ่งควรใช้ 4 ขั้นตอนที่ได้รับการอนุมัติ แต่ผู้ดำเนินการใช้ 6 ขั้นตอน ประสิทธิภาพการวางแผนตามขั้นตอนจะอยู่ที่ 66.7% ตัวเลขนี้จะถูกต้องก็ต่อเมื่อคุณสามารถกำหนดเส้นทางอ้างอิงที่ยุติธรรมหรืองบประมาณขั้นตอนได้

อย่าให้รางวัลกับเส้นทางที่สั้นกว่าเพียงเพราะมันสั้นกว่าเท่านั้น ตัวแทนที่ข้ามขั้นตอนการตรวจสอบที่จำเป็นอาจดูมีประสิทธิภาพ แต่กลับก่อให้เกิดความเสี่ยงมากขึ้น

15. คะแนนความสม่ำเสมอ

ความสม่ำเสมอแสดงให้เห็นว่า AI ให้ผลลัพธ์ที่เทียบเท่ากันหรือไม่ เมื่อคุณทำซ้ำงานเดียวกันภายใต้เงื่อนไขเดียวกัน การทดสอบที่ประสบความสำเร็จครั้งหนึ่งอาจเพียงเป็นผลจากความโชคดีเท่านั้น

สมมติว่าคุณดำเนินการงานเดียวกัน 20 ครั้ง และ 18 ครั้งมีผลลัพธ์ที่ตรงกับเกณฑ์ผลลัพธ์เดียวกัน อัตราความสม่ำเสมอคือ 90% ให้เปรียบเทียบข้อเท็จจริง การตัดสินใจ หรือการดำเนินการขั้นสุดท้าย แทนที่จะเปรียบเทียบคำพูดที่คล้ายกัน

16. อัตราความทนทาน

อัตราความทนทาน (Robustness rate) วัดว่าประสิทธิภาพจะยังคงอยู่หรือไม่เมื่อข้อมูลเข้ามีการเปลี่ยนแปลงในสถานการณ์ที่สมจริง การทดสอบอาจรวมถึงข้อผิดพลาดในการพิมพ์ รายละเอียดที่ขาดหายไป ข้อมูลที่จัดเรียงใหม่ คำคำสั่งที่ยาวขึ้น หรือการใช้คำที่ต่างกัน

หากโมเดลสามารถจัดการได้ 170 จาก 200 กรณีทดสอบที่ได้รับการปรับเปลี่ยน อัตราความทนทานของมันจะอยู่ที่ 85% ชุดทดสอบควรสะท้อนข้อมูลเข้าที่สับสนซึ่งผู้ใช้ส่งมา

17. อัตราการละเมิดความปลอดภัย

อัตราการละเมิดความปลอดภัยแสดงถึงความถี่ที่ผลลัพธ์ของ AI ละเมิดนโยบายความปลอดภัยที่กำหนดไว้ การละเมิดอาจรวมถึงคำแนะนำที่เป็นอันตราย ข้อมูลส่วนตัว เนื้อหาที่ถูกห้าม หรือการกระทำที่เอเจนต์ไม่มีสิทธิ์ที่จะดำเนินการ

สมมติว่าผู้ตรวจสอบยืนยันพบการละเมิด 12 ครั้งในผลลัพธ์ 10,000 ครั้ง อัตราการละเมิดคือ 0.12% ตัวเลขที่ดูเล็กน้อยนี้อาจยังคงเป็นสิ่งที่ยอมรับไม่ได้ หากความผิดพลาดเพียงครั้งเดียวสามารถก่อให้เกิดความเสียหายอย่างรุนแรงได้

รายงานทั้งระดับความรุนแรงและความถี่ของการละเมิดข้อมูล การละเมิดข้อมูลระดับเล็กน้อย 10 ครั้งไม่ควรมีน้ำหนักเท่ากับการเปิดเผยข้อมูลส่วนตัวเพียงครั้งเดียว

18. ช่องว่างด้านความยุติธรรม

ช่องว่างด้านความยุติธรรม (fairness gap) แสดงให้เห็นว่า AI ทำงานแตกต่างกันอย่างไรระหว่างกลุ่มต่าง ๆ ที่ควรได้รับการปฏิบัติอย่างเท่าเทียมกัน คะแนนความแม่นยำโดยรวมเพียงหนึ่งเดียวอาจซ่อนช่องว่างขนาดใหญ่ไว้เบื้องหลัง

สมมติว่าโมเดลคัดกรองมีอัตราผลบวกจริง (true-positive rate) 82% สำหรับกลุ่มหนึ่ง และ 71% สำหรับกลุ่มอีกกลุ่มหนึ่ง ช่องว่างระหว่างทั้งสองกลุ่มคือ 11 จุดเปอร์เซ็นต์ ให้ระบุชื่อตัวชี้วัดที่กำลังถูกเปรียบเทียบ คำว่า “ช่องว่างความยุติธรรม” (fairness gap) เมื่อใช้เพียงอย่างเดียวนั้นไม่ชัดเจนพอ

ช่องว่างที่แคบลงไม่ได้เป็นหลักฐานว่าระบบนั้นยุติธรรม ทุกกลุ่มอาจได้รับผลลัพธ์ที่แย่เท่ากัน ควรอ่านคะแนนของแต่ละกลุ่มควบคู่กับช่องว่าง

19. อัตราการผ่านการตรวจสอบครั้งแรก

อัตราการยอมรับในรอบแรก (First-pass acceptance rate) แสดงให้เห็นว่าผลลัพธ์จาก AI สามารถใช้งานได้ตั้งแต่การตรวจสอบครั้งแรกบ่อยเพียงใด ตัวชี้วัดนี้ให้ข้อมูลที่มากกว่าปริมาณเนื้อหา โค้ด หรือการวิเคราะห์ที่ระบบสร้างขึ้น

สมมติว่าผู้บรรณาธิการตรวจสอบร่าง AI จำนวน 100 ฉบับ และรับ 65 ฉบับโดยไม่จำเป็นต้องแก้ไขใหม่หรือปรับแก้ครั้งใหญ่ อัตราการรับผ่านในรอบแรกคือ 65% ให้กำหนดความหมายของคำว่า “รับ” ไว้ล่วงหน้า เนื่องจากการแก้ไขเล็กน้อยกับการเขียนใหม่ทั้งหมดไม่ควรนับเป็นผลลัพธ์เดียวกัน

20. อัตราการทำงานซ้ำ

อัตราการทำงานซ้ำ (Rework rate) แสดงถึงความถี่ที่ผลลัพธ์จาก AI จำเป็นต้องได้รับการแก้ไขหลังจากเข้าสู่กระบวนการทำงาน มันช่วยตรวจจับประสิทธิภาพที่ผิดพลาด ซึ่ง AI อาจช่วยประหยัดเวลาในขั้นต้น แต่กลับทำให้ผู้ตรวจสอบหรือทีมในขั้นตอนถัดไปต้องรับภาระงานเพิ่มเติม

หากตัวอย่างโค้ด 22 จาก 100 ตัวอย่างที่เขียนโดย AI ต้องส่งกลับเพื่อแก้ไข อัตราการแก้ไขใหม่จะอยู่ที่ 22% ให้แยกข้อผิดพลาดที่เกิดจาก AI ออกจากข้อผิดพลาดจากการแก้ไขตามปกติหรือการเปลี่ยนแปลงขอบเขตงาน

ตัวชี้วัดด้านระบบและการดำเนินงาน

ชั้นนี้ตรวจสอบว่าผลลัพธ์ที่ดีนั้นถึงมือผู้ใช้ได้อย่างน่าเชื่อถือ รวดเร็ว และด้วยต้นทุนที่ธุรกิจสามารถรับมือได้หรือไม่ นี่คือจุดที่การนำ AI ไปใช้ค่อยๆ หยุดชะงักลง เพราะโมเดลที่แม่นยำทางเทคนิคแต่ตอบสนองช้าหรือมีต้นทุนสูงเกินไป จะไม่มีวันได้รับการยอมรับให้เข้ามาเป็นส่วนหนึ่งของกระบวนการทำงาน

21. ความล่าช้า

ความล่าช้า (Latency) คือเวลาที่ผ่านไประหว่างการส่งคำขอและได้รับผลลัพธ์ที่ใช้งานได้ และสิ่งที่ถือว่าใช้งานได้นั้นขึ้นอยู่กับงานนั้นๆ อย่างสมบูรณ์ สำหรับระบบจำแนกประเภท (classifier) อาจเป็นคำตอบสุดท้าย ส่วนสำหรับระบบตัวแทน (agent) อาจเป็นช่วงเวลาที่การดำเนินการที่ขอไว้เสร็จสิ้น อย่างไรก็ตาม ให้ระวังค่าเฉลี่ย เพราะมันอาจซ่อนความล่าช้าที่ผู้ใช้รู้สึกได้จริง ผู้ช่วยสนับสนุนอาจมีค่าเฉลี่ย 1.2 วินาที แต่ในช่วงเวลาที่มีผู้ใช้สูงสุด อาจเพิ่มขึ้นถึง 6 วินาที ดังนั้น ให้รายงานเปอร์เซ็นไทล์ เช่น p50 และ p95 เพื่อที่คุณจะได้เห็นทั้งคำขอทั่วไปและคำขอที่ช้า

Time to first token (TTFT): สำหรับระบบสตรีมมิ่ง ให้ติดตามด้วยว่าคำตอบใช้เวลานานเท่าใดในการ เริ่ม ไม่ใช่เพียงจนเสร็จสิ้นเท่านั้น ผู้ช่วยสองตัวอาจเสร็จสิ้นภายใน 5 วินาที แต่ตัวที่เริ่มสตรีมมิ่งที่ 300 มิลลิวินาทีจะรู้สึกเร็วกว่ามากเมื่อเทียบกับตัวที่ปล่อยให้หน้าจอดำว่างเป็นเวลา 2 มิลลิวินาที ไม่มีเกณฑ์มาตรฐาน TTFT ที่ใช้ได้ทั่วไป: ความยาวของคำสั่ง ขนาดโมเดล แถวรอ และปริมาณการโหลด ล้วนส่งผลต่อค่านี้ ดังนั้นควรกำหนดเป้าหมายให้เหมาะสมกับกรณีการใช้งานของคุณเอง และทดสอบภายใต้ปริมาณการรับส่งข้อมูลที่สมจริง

22. ปริมาณงาน

Throughput คือปริมาณงานที่ระบบสามารถเสร็จสิ้นได้ภายในช่วงเวลาที่กำหนด คุณอาจนับจำนวนคำขอต่อวินาที เอกสารต่อชั่วโมง หรือจำนวนงานที่สำเร็จต่อวัน ตัวอย่างเช่น หากระบบประมวลผลเอกสารสามารถจัดการไฟล์ได้ 500 ไฟล์ต่อชั่วโมงในช่วงทดสอบ แต่ลดลงเหลือ 200 ไฟล์เมื่อมีปริมาณการจราจรจริง ช่องว่างนี้บอกคุณว่าระบบสามารถรับมือกับช่วงเวลาที่มีงานมากได้หรือไม่ โดยไม่ทำให้งานค้างสะสม

ระบุหน่วยวัดทุกครั้ง คำขอต่อวินาทีและโทเคนต่อวินาทีให้คำตอบที่ต่างกัน

23. เวลาทำงานและความพร้อมใช้งาน

ความพร้อมใช้งาน (Availability) คือสัดส่วนของเวลาที่กำหนดไว้ที่บริการ AI สามารถดำเนินการคำขอได้จริง บริการอาจอยู่ในสถานะออนไลน์ แต่ทำงานช้าเกินไปหรือมีปัญหาจนไม่สามารถทำงานให้เสร็จได้ ดังนั้นควรกำหนดความพร้อมใช้งานโดยพิจารณาจากผลลัพธ์ที่สามารถใช้งานได้ อัตราความพร้อมใช้งาน 99% ต่อเดือน ยังเหลือเวลาหยุดทำงานประมาณ 7 ชั่วโมง 12 นาที ในเดือนที่มี 30 วัน ซึ่งอาจไม่เป็นปัญหาสำหรับผู้ช่วยเขียนที่เป็นตัวเลือกเสริม แต่จะยากที่จะยอมรับได้สำหรับเครื่องมือสนับสนุนที่ผู้ใช้พึ่งพาตลอด 24 ชั่วโมง

24. อัตราความผิดพลาดของระบบ

อัตราความผิดพลาดของระบบรวมถึงความผิดพลาดทางเทคนิค เช่น การหมดเวลา (timeout), โมเดลที่ไม่สามารถใช้งานได้, คำตอบที่ไม่ถูกต้อง และการบูรณาการที่ผิดพลาด สมมติว่า 30 จาก 1,000 คำขอของเอเจนต์ล้มเหลวเนื่องจาก API หยุดทำงาน นั่นคืออัตราความผิดพลาด 3% แบ่งความผิดพลาดเหล่านั้นตามสาเหตุ มิฉะนั้นทีมจะรู้ว่ามีบางอย่างผิดพลาด แต่ไม่ทราบว่าควรตรวจสอบที่ใด

25. อัตราการลองใหม่

อัตราการลองใหม่ (Retry rate) คือความถี่ที่ระบบต้องทำซ้ำคำขอหรือการดำเนินการ งานพื้นฐานอาจสำเร็จได้ในที่สุด ซึ่งนี่คือเหตุผลที่การลองใหม่ไม่ถูกนับรวมในคะแนนความสำเร็จแบบง่ายๆ สมมติว่า 120 จาก 1,000 คำขอต้องการความพยายามเพิ่มเติมหนึ่งครั้ง นั่นคืออัตราการลองใหม่ 12% และระบบจะดำเนินการทั้งหมด 1,120 ครั้ง ซึ่งคิดเป็นงานเพิ่มเติมประมาณ 12% สำหรับชุดข้อมูลนั้น การลองใหม่มากกว่าหนึ่งครั้งต่อคำขอจะยิ่งทำให้ต้นทุนสูงขึ้นอีก

26. ค่าใช้จ่ายต่องานที่สำเร็จ

ต้นทุนต่องานที่สำเร็จจะเชื่อมโยงการใช้จ่ายด้าน AI กับงานที่เสร็จสิ้น ซึ่งทำให้เป็นตัวชี้วัดที่สะท้อนความเป็นจริงได้มากกว่าต้นทุนต่อคำขอ เมื่อการลองทำที่ล้มเหลวก็ยังคงใช้โทเคน เครื่องมือ และโครงสร้างพื้นฐานอยู่ สมมติว่าการทำงานของเอเจนต์แต่ละครั้งมีค่าใช้จ่าย 10 เซนต์ แต่มีเพียงครึ่งเดียวที่สำเร็จ ต้นทุนโดยตรงต่อความสำเร็จของคุณคือ 20 เซนต์ หากเพิ่มการตรวจสอบโดยมนุษย์หรือการแก้ไขงาน ตัวเลขจริงก็จะสูงขึ้นอีก

27. อัตราการควบคุม

อัตราการจัดการ (Containment rate) คือสัดส่วนของการโต้ตอบที่เข้าเกณฑ์ซึ่งสิ้นสุดลงโดยไม่ต้องส่งต่อให้มนุษย์ ทีมสนับสนุนใช้ตัวชี้วัดนี้เพื่อประมาณการว่า AI สามารถจัดการความต้องการได้มากเพียงใดด้วยตนเอง ตัวชี้วัดนี้ยังถูกทำให้ดูสูงเกินจริงได้ง่าย สมมติว่าบอทจัดการได้ 800 จาก 1,000 การสนทนา คิดเป็นอัตราการจัดการ 80% ผู้ใช้บางส่วนได้รับคำตอบที่แท้จริง ในขณะที่ผู้ใช้บางส่วนเพียงแค่ยอมแพ้ ทั้งสองกรณีดูเหมือนถูกจัดการแล้ว เว้นแต่คุณจะตรวจสอบว่าเกิดอะไรขึ้นต่อไป

นับเฉพาะคำขอที่ AI ถูกออกแบบมาเพื่อจัดการเท่านั้น การส่งต่อตามนโยบายไม่ควรถูกนับเป็นความล้มเหลว

28. อัตราการส่งต่อ

อัตราการส่งต่อ (Escalation rate) คือความถี่ที่การโต้ตอบกับ AI ถูกส่งต่อไปยังมนุษย์ อัตราที่สูงอาจบ่งชี้ถึงประสิทธิภาพที่อ่อนแอ แต่ก็อาจหมายความว่าระบบรู้เมื่อใดควรถอนตัว สมมติว่า 150 จาก 1,000 การโต้ตอบถูกส่งต่อ ซึ่งคิดเป็นอัตรา 15% ตัวเลขนี้เองอาจไม่บอกอะไรมากนัก แต่หากแบ่งออกเป็นการส่งต่อตามนโยบาย การส่งต่อตามคำขอของผู้ใช้ และกรณีที่ AI ไม่สามารถแก้ไขได้

ตัวชี้วัดการนำ AI ไปใช้และผลกระทบต่อกำลังแรงงาน

ระบบ AI ที่ทำงานได้จริงยังต้องพิสูจน์ตัวเองเพื่อหาที่ในกิจวัตรประจำวันของผู้ใช้ ตัวชี้วัดเหล่านี้จะแสดงให้เห็นว่าผู้ใช้ลองใช้ระบบนี้หรือไม่ ใช้มันในการทำงานจริงหรือไม่ และกลับมาใช้ต่อเมื่อความใหม่หมดไป

การใช้เพียงอย่างเดียวไม่สามารถพิสูจน์มูลค่าได้ Gallup พบว่า50% ของชาวอเมริกันที่มีงานทำใช้ AI อย่างน้อยไม่กี่ครั้งต่อปี แต่มีเพียง 13% ที่ใช้มันทุกวัน ช่องว่างนี้คือเหตุผลที่คุณต้องติดตามความถี่ ความลึก และความชำนาญควบคู่ไปกับการนำ AI มาใช้ทั่วไป

29. อัตราการนำระบบไปใช้ของผู้ใช้ที่มีสิทธิ์

อัตราการรับใช้ของผู้ใช้ที่มีสิทธิ์แสดงถึงจำนวนผู้ที่มีสิทธิ์ใช้ AI ที่ได้ดำเนินการอย่างน้อยหนึ่งครั้งที่มีประโยชน์ด้วย AI ดังกล่าว ส่วนตัวหารคือปัจจัยสำคัญในที่นี้ หากมี 400 คนที่เปิดใช้งานเครื่องมือนั้น ฟังดูดีมาก แต่หากมีพนักงาน 4,000 คนที่ได้รับสิทธิ์เข้าถึง อัตราการรับใช้จริง ๆ ก็เพียง 10% เท่านั้น ให้ยกเว้นพนักงานที่มีบทบาทหน้าที่ไม่มีกรณีการใช้งาน AI ที่ได้รับการอนุมัติหรือมีประโยชน์

กำหนด “การดำเนินการที่มีความหมาย” ก่อนการเปิดตัว การเปิดเครื่องมือหรือส่งคำสั่งทดสอบไม่ควรนับเป็นการนำระบบไปใช้

30. อัตราการใช้งาน AI ที่จริง

อัตราการใช้งานที่ใช้งานจริง (Active usage rate) แสดงจำนวนผู้ใช้ที่มีสิทธิ์ใช้งานที่พึ่งพา AI อย่างแท้จริงภายในช่วงเวลาที่กำหนด การใช้งานที่ใช้งานจริงรายสัปดาห์มักให้ข้อมูลที่ชัดเจนกว่าจำนวนผู้สมัครใช้งานทั้งหมดมาก ตัวอย่างเช่น มีพนักงาน 1,000 คนที่มีสิทธิ์ใช้งาน และ 600 คนได้ลองใช้เครื่องมือนี้ แต่มีเพียง 180 คนเท่านั้นที่ใช้งานจริงในสัปดาห์ปกติ ตัวเลขการนำระบบไปใช้ของคุณอาจอยู่ที่ 60% ในขณะที่อัตราการใช้งานประจำสัปดาห์อยู่ที่เพียง 18% ตัวเลขที่สองนี้สะท้อนถึงตำแหน่งที่แท้จริงของเครื่องมือในกระบวนการทำงานได้ใกล้เคียงกว่ามาก

กำหนดค่าเกณฑ์ที่เหมาะสมกับงานนั้น การใช้แบบรายสัปดาห์อาจเหมาะสำหรับเครื่องมือเขียนและเครื่องมือสนับสนุน ส่วนผู้ช่วยวางแผนแบบรายไตรมาสอาจต้องการช่วงเวลาที่ยาวนานกว่า

31. ขอบเขตการนำ AI ไปใช้

ความกว้างของการนำ AI ไปใช้แสดงให้เห็นว่า AI ได้แพร่หลายไปทั่วทีม บทบาท หรือสถานที่ต่าง ๆ ในกระบวนการนำระบบไปใช้มากเพียงใด อัตราการนำ AI ไปใช้โดยรวมอาจซ่อนภาพที่ไม่สมดุลไว้ได้ ตัวอย่างเช่น ทีมวิศวกรรมหนึ่งอาจใช้เครื่องมือนี้ทุกวัน ในขณะที่ทีมขาย ทีมการเงิน และทีมสนับสนุนแทบไม่ได้ใช้เลย

อย่าคาดหวังว่าทุกกลุ่มจะถึงระดับเดียวกัน ให้เปรียบเทียบทีมเฉพาะเมื่อ AI มีประโยชน์และสามารถใช้งานได้เท่ากันสำหรับทุกทีม

32. ระดับการนำ AI มาใช้

ระดับการนำ AI มาใช้แสดงให้เห็นว่าผู้ใช้ที่ใช้งานอยู่สามารถจัดการงานต่าง ๆ ได้กี่งานด้วย AI ซึ่งช่วยแยกแยะระหว่างการใช้งานแบบผิวเผินกับการใช้งานอย่างแท้จริง ผู้ที่เพียงแต่เขียนใหม่หัวข้ออีเมลเท่านั้น ถือว่าได้เริ่มใช้เครื่องมือนี้แล้ว แต่ยังไม่ถึงระดับที่ลึกซึ้ง ส่วนผู้ที่ใช้ AI สำหรับการวิจัย การเขียนร่าง การวิเคราะห์ และบันทึกการประชุม ได้นำ AI มาใช้ในกิจกรรมต่าง ๆ ของวันได้มากขึ้น

กรณีการใช้งานที่มากขึ้นไม่เสมอไปจะหมายถึงมูลค่าที่มากขึ้นเสมอไป กระบวนการทำงานไม่กี่ขั้นตอนที่มีผลกระทบสูงอาจให้ผลลัพธ์ที่ดีกว่าการมีรายการกระบวนการทำงานที่ไม่สำคัญจำนวนมาก

33. อัตราการนำระบบ AI เข้าสู่กระบวนการทำงาน

อัตราการแทรกซึมในกระบวนการทำงาน (Workflow penetration) แสดงให้เห็นว่าส่วนแบ่งของงานที่ตรงตามเงื่อนไขนั้นถูกดำเนินการด้วย AI จริงๆ เป็นเท่าใด ส่วนการนำ AI มาใช้ (Adoption) นับจำนวนผู้ใช้ ส่วนอัตราการแทรกซึมในกระบวนการทำงานนับปริมาณงานเอง สมมติว่าทีมสนับสนุนจัดการตั๋ว 10,000 ใบที่ตรงตามเงื่อนไขเพื่อรับความช่วยเหลือจาก AI แต่ AI เข้ามาช่วยได้เพียง 2,500 ใบ อัตราการแทรกซึมคือ 25% แม้ทุกตัวแทนจะลองใช้เครื่องมือนี้อย่างน้อยหนึ่งครั้งก็ตาม

จำกัดตัวหารให้อยู่ในขอบเขตงานที่ AI ได้รับการอนุมัติและสามารถจัดการได้

34. อัตราการรักษาผู้ใช้ที่ใช้งานอยู่

อัตราการรักษาผู้ใช้ (Retention) แสดงจำนวนผู้ใช้ที่ยังคงใช้ AI ต่อไปหลังจากใช้งานครั้งแรกอย่างมีนัยสำคัญ ซึ่งช่วยให้คุณแยกแยะระหว่างการนำระบบไปใช้อย่างยั่งยืนกับความสนใจในช่วงสัปดาห์แรกหลังเปิดตัว ตัวอย่างเช่น มีพนักงาน 500 คนที่เปิดใช้งานเครื่องมือนี้ในเดือนมกราคม และ 300 คนยังคงใช้ถึงเกณฑ์ที่กำหนดภายในเดือนเมษายน อัตราการรักษาผู้ใช้ในระยะเวลา 3 เดือนของคุณคือ 60%

วัดอัตราการรักษาผู้ใช้ตามกลุ่ม (cohort) การเปรียบเทียบจำนวนผู้ใช้ที่ใช้งานอยู่ของเดือนนี้กับจำนวนผู้ใช้ทั้งหมดของเดือนที่แล้ว อาจทำให้ไม่เห็นผู้ใช้ใหม่ที่มาแทนที่ผู้ใช้ที่ออกจากระบบ

35. อัตราความชำนาญด้าน AI

อัตราความชำนาญแสดงจำนวนผู้ใช้ที่สามารถเสร็จสิ้นงานที่ได้รับการอนุมัติด้วย AI พร้อมทั้งบรรลุมาตรฐานคุณภาพและความปลอดภัยที่กำหนด ให้ผู้ใช้ทำงานที่สมจริง แล้วตรวจสอบผลลัพธ์ พนักงานฝ่ายสนับสนุนสามารถใช้ AI เพื่อร่างคำตอบที่ถูกต้อง ตรวจสอบแหล่งข้อมูล และตรวจจับนโยบายที่ถูกสร้างขึ้นปลอมได้หรือไม่?

ใครก็ตามอาจใช้ AI บ่อยครั้ง แต่ยังคงใช้มันอย่างไม่เหมาะสม นั่นคือเหตุผลที่ความชำนาญควรอยู่คู่กับการนำ AI มาใช้ ไม่ใช่อยู่ใต้การนำ AI มาใช้

36. อัตราการแทนที่

อัตราการปฏิเสธ (override rate) แสดงถึงความถี่ที่บุคคลปฏิเสธ เปลี่ยน หรือกลับคำเสนอแนะของ AI ซึ่งสามารถชี้ให้เห็นถึงผลลัพธ์ที่อ่อนแอ ความเชื่อมั่นที่ต่ำ หรือเพียงการตัดสินใจของมนุษย์ที่สมเหตุสมผล เช่น ผู้ตรวจสอบเปลี่ยน 240 จาก 1,000 คำแนะนำของ AI นั่นคืออัตราการปฏิเสธ 24% แต่คุณยังจำเป็นต้องทราบเหตุผลด้วย การแก้ไขที่จำเป็นและความชอบส่วนตัวในการใช้คำไม่ควรมีน้ำหนักเท่ากัน

อัตราการปรับเปลี่ยนที่ต่ำอาจเป็นเรื่องที่น่ากังวลได้ หากหมายความว่าผู้ใช้ยอมรับผลลัพธ์ที่อ่อนแอโดยไม่ตรวจสอบมัน

37. อัตราการแทรกแซงของมนุษย์

อัตราการแทรกแซงของมนุษย์วัดความถี่ที่งานที่ AI เริ่มต้นต้องได้รับความช่วยเหลือที่ไม่คาดคิดก่อนที่จะเสร็จสิ้น ซึ่งแตกต่างจากการอนุมัติที่วางแผนไว้หรือการส่งต่องานตามนโยบาย ตัวอย่างเช่น หากเอเจนต์พยายามทำงาน 1,000 งาน และมนุษย์ต้องเข้ามาช่วยเหลือ 180 งาน นั่นคืออัตราการแทรกแซง 18% การช่วยเหลือเหล่านี้ก่อให้เกิดค่าใช้จ่ายด้านแรงงาน ซึ่งอัตราการเสร็จสิ้นแบบอัตโนมัติอาจทำให้มองข้ามไปได้

อย่าใส่การทบทวนตามแผนลงในตัวเศษ การอนุมัติที่จำเป็นเป็นส่วนหนึ่งของกระบวนการทำงาน ไม่ใช่ความล้มเหลวของระบบ

38. เวลาที่ประหยัดได้ต่องานที่เสร็จสิ้น

เวลาที่ประหยัดได้ต่อแต่ละงานที่เสร็จสิ้นจะช่วยให้เปรียบเทียบกระบวนการทำงานทั้งหมดที่ได้รับการสนับสนุนจาก AI กับเกณฑ์อ้างอิงที่ยุติธรรม นับทุกขั้นตอน: การให้คำสั่ง, การรอ, การตรวจสอบ, การแก้ไข และการรันใหม่ หากข้ามขั้นตอนเหล่านี้ไป คุณจะนับได้เพียงฉบับร่างแรกที่เสร็จเร็วเท่านั้น และคุณจะเพิกเฉยต่อขั้นตอนการปรับปรุงทั้งหมดที่เกิดขึ้นหลังจากนั้น

การรายงานการประหยัดเวลาจากผู้ใช้เองอาจมีประโยชน์ แต่จำเป็นต้องตรวจสอบให้สอดคล้องกับความเป็นจริง การวิจัยของธนาคารกลางสหรัฐสาขาเซนต์หลุยส์ (St. Louis Fed) พบว่า ผู้ใช้ AI รายงานว่าประหยัดเวลาได้ประมาณ2.2 ชั่วโมงในสัปดาห์ทำงาน 40 ชั่วโมง อย่างไรก็ตาม การทดลองแบบสุ่มโดย METR พบว่า นักพัฒนาที่มีประสบการณ์ใช้เวลานานขึ้น 19% เมื่อใช้ AIถึงแม้พวกเขาจะเชื่อว่า AI ช่วยให้ทำงานเร็วขึ้น 20% การศึกษาเหล่านี้ครอบคลุมงานที่แตกต่างกัน แต่เมื่อรวมกันแล้วชี้ให้เห็นประเด็นสำคัญว่า: ควรถามผู้ใช้ว่าประหยัดเวลาได้เท่าไร แล้วตรวจสอบข้อมูลนั้นด้วยข้อมูลงานจริง

39. เวลาในการทบทวน AI

เวลาตรวจสอบ AI วัดความพยายามของมนุษย์ที่จำเป็นในการตรวจสอบและอนุมัติผลลัพธ์ นี่คือจุดที่การประหยัดเวลาที่สัญญาไว้มักลดลงอย่างเงียบๆ ร่าง AI อาจใช้เวลา 30 วินาทีในการสร้าง แต่ต้องใช้เวลา 12 นาทีในการตรวจสอบ ให้เปรียบเทียบเวลารวมนี้กับเวลาที่งานดังกล่าวจะใช้เวลาหากไม่ใช้ AI เลย

อย่าลดเวลาการตรวจสอบลงจนเหลือศูนย์ในงานที่มีความเสี่ยงสูง เป้าหมายคือการตรวจสอบอย่างมีประสิทธิภาพ ไม่ใช่การอนุมัติแบบไม่ตรวจสอบ

40. คะแนนความเชื่อมั่นของพนักงาน

คะแนนความเชื่อมั่นของพนักงานช่วยติดตามว่าผู้ใช้เชื่อว่า AI มีความน่าเชื่อถือเพียงพอสำหรับงานที่ได้รับการอนุมัติหรือไม่ และว่าพวกเขาเข้าใจข้อจำกัดของ AI หรือไม่ คุณสามารถวัดได้ผ่านการสำรวจสั้นๆ ที่ครอบคลุมด้านความแม่นยำ ความโปร่งใส ความปลอดภัย และความมั่นใจในการตรวจพบข้อผิดพลาด หลีกเลี่ยงการถามคำถามกว้างๆ เช่น “คุณเชื่อมั่นใน AI หรือไม่?” เพราะมันจะให้คะแนนที่ไม่ชัดเจน ซึ่งคุณไม่สามารถนำไปใช้เพื่อดำเนินการได้

ตัวชี้วัดผลกระทบต่อธุรกิจและ ROI

นี่คือระดับที่ผู้บริหารระดับสูงใช้เพื่อพิจารณาการจัดสรรงบประมาณ และเป็นส่วนที่แดชบอร์ด AI ส่วนใหญ่ละเลย ผลลัพธ์ ต้นทุน รายได้ ผลลัพธ์ของลูกค้า และ ROI: นี่คือตัวเลขที่กำหนดว่าโครงการจะได้รับการต่ออายุหรือถูกยกเลิก

นอกจากนี้ ยังเป็นปัจจัยที่ยากที่สุดในการพิสูจน์ด้วย รายได้อาจเพิ่มขึ้นหลังการเปิดตัว เนื่องจากความต้องการเปลี่ยนไป ไม่ใช่เพราะ AI ทำอะไรได้ ค่าใช้จ่ายอาจลดลง เนื่องจากทีมได้ปรับปรุงกระบวนการทำงานไปพร้อมกัน การเปรียบเทียบแบบก่อนและหลังอย่างง่ายๆ จะบอกคุณว่าอะไรเปลี่ยนแปลง แต่ไม่บอกสาเหตุที่แท้จริง สำหรับเรื่องนี้ คุณจำเป็นต้องมีกลุ่มควบคุม การเปิดตัวแบบเป็นขั้นตอน หรือจุดอ้างอิงที่ตรงกัน เพื่อที่คุณจะได้เห็นว่าสิ่งที่จะเกิดขึ้นตามธรรมชาติจะเป็นอย่างไร

41. ปริมาณงานที่เพิ่มขึ้นทีละน้อย

อัตราผลผลิตที่เพิ่มขึ้น (Incremental throughput) วัดปริมาณงานที่ทีมสามารถเสร็จสิ้นได้เพิ่มเติมและผ่านเกณฑ์คุณภาพได้หลังจากนำ AI มาใช้ นับเฉพาะผลลัพธ์ที่ผ่านเกณฑ์คุณภาพเดียวกันกับค่าพื้นฐาน (baseline) สมมติว่าทีมเสร็จสิ้นงาน 500 กรณีที่ได้รับการอนุมัติต่อสัปดาห์ก่อนนำ AI มาใช้ และปัจจุบันเสร็จสิ้นได้ 575 กรณี นั่นคืออัตราผลผลิตที่เพิ่มขึ้น 15% แต่หากปริมาณงานที่ต้องทำใหม่ (rework) เพิ่มขึ้นในเวลาเดียวกัน ผลประโยชน์ที่แท้จริงอาจน้อยกว่าที่ปรากฏ

42. การลดเวลาวงจร

การลดเวลาวงจรแสดงให้เห็นว่างานดำเนินไปจากต้นจนจบได้เร็วขึ้นเท่าใด โดยรวมถึงเวลารอคอย การตรวจสอบ การแก้ไข และการอนุมัติขั้นสุดท้าย หากวัดเฉพาะขั้นตอนการสร้างด้วย AI ผลลัพธ์จะดูดีกว่าความเป็นจริง เช่น การตรวจสอบสัญญาที่ใช้เวลา 5 วันก่อนใช้ AI และปัจจุบันใช้เวลา 3 วัน เวลาวงจรจึงลดลง 40%

43. ค่าใช้จ่ายต่อการแก้ไขปัญหา

ค่าใช้จ่ายต่อการแก้ไขปัญหา (Cost per resolution) แสดงถึงค่าใช้จ่ายที่ธุรกิจต้องจ่ายเพื่อแก้ไขปัญหาหนึ่งครั้ง ซึ่งดีกว่าค่าใช้จ่ายต่อการติดต่อ (Cost per contact) เพราะปัญหาของลูกค้าหนึ่งครั้งอาจก่อให้เกิดข้อความ การโทร หรือการส่งต่อปัญหาหลายครั้ง ให้รวมค่าใช้จ่ายของโมเดล แรงงานมนุษย์ การใช้เครื่องมือ การตรวจสอบ และการติดต่อซ้ำด้วย มิฉะนั้น การตอบสนองครั้งแรกที่ดูเหมือนถูกอาจซ่อนเส้นทางที่แพงไปสู่คำตอบที่แท้จริง

44. การประหยัดค่าใช้จ่ายที่ได้รับการยืนยัน

การประหยัดค่าใช้จ่ายที่ได้รับการยืนยัน คือค่าใช้จ่ายที่คุณได้ตัดลดได้หลังจากนำ AI มาใช้ เช่น การลดชั่วโมงทำงานล่วงเวลา การลดชั่วโมงจ้างงานจากภายนอก หรือการลดค่าใช้จ่ายด้านโครงสร้างพื้นฐาน เวลาที่ประหยัดได้นั้นไม่ถือเป็นเงินสดในตัวมันเอง หากพนักงานยังคงอยู่ในระบบเงินเดือนเดิมและผลผลิตไม่เปลี่ยนแปลง คุณได้เพิ่มขีดความสามารถในการทำงาน แต่ยังไม่ได้ลดค่าใช้จ่ายจริง

แยกการหลีกเลี่ยงค่าใช้จ่ายออกจากส่วนการประหยัดค่าใช้จ่าย การประหยัดค่าใช้จ่ายคือการลดค่าใช้จ่ายที่มีอยู่ ส่วนการหลีกเลี่ยงค่าใช้จ่ายคือการป้องกันค่าใช้จ่ายที่วางแผนไว้ในอนาคต เช่น การจ้างพนักงานเพิ่มอีก 5 คนเพื่อจัดการกับปริมาณตั๋วที่เพิ่มขึ้น ทั้งสองสามารถแสดงให้เห็นถึงมูลค่าได้ แต่การผสมผสานทั้งสองโดยไม่มีการระบุให้ชัดเจนจะทำให้ผลลัพธ์ดูมีความแน่นอนมากกว่าความเป็นจริง

45. รายได้ที่เพิ่มขึ้นจาก AI

รายได้เพิ่ม (Incremental revenue) คือรายได้เพิ่มเติมที่ AI สร้างขึ้น ซึ่งเกินกว่าจำนวนรายได้ที่คาดว่าจะเกิดขึ้นตามปกติ วิธีที่ชัดเจนที่สุดในการคำนวณคือเปรียบเทียบกลุ่มที่ใช้ AI กับกลุ่มควบคุมที่คล้ายกัน ไม่มีกลุ่มควบคุม? ให้ใช้วิธีการเปิดตัวแบบเป็นขั้นตอน (phased rollout) หรือใช้ค่าพื้นฐานที่ตรงกัน (matched baseline) แทน และปรับให้สอดคล้องกับการเปลี่ยนแปลงของราคา โปรโมชั่น ความต้องการ และฤดูกาล

รายได้ไม่ใช่กำไร ใช้ส่วนต่างกำไรขั้นต้นที่เพิ่มขึ้น (extra gross margin) ไม่ใช่ตัวเลขรายได้ทั้งหมด เมื่อคำนวณ ROI

46. การเพิ่มอัตราการแปลง

การเพิ่มขึ้นของอัตราการแปลง (conversion-rate lift) แสดงให้เห็นว่า AI ช่วยผู้ใช้ให้ดำเนินการตามเป้าหมายได้มากขึ้นหรือไม่ เช่น การซื้อสินค้า การจองทดลองใช้ หรือการเสร็จสิ้นขั้นตอนการลงทะเบียน หากกลุ่มควบคุมมีอัตราการแปลง 5% และกลุ่มที่ได้รับการสนับสนุนจาก AI มีอัตราการแปลง 5.5% การเพิ่มขึ้นแบบสัมบูรณ์ (absolute lift) คือ 0.5 จุดเปอร์เซ็นต์ ส่วนการเพิ่มขึ้นแบบสัมพัทธ์ (relative lift) คือ 10% ให้ระบุให้ชัดเจนเสมอว่าคุณหมายถึงค่าใด

47. ความแตกต่างในความพึงพอใจของลูกค้า

ความแตกต่างในความพึงพอใจของลูกค้าแสดงให้เห็นว่าคะแนนการประเมินของลูกค้ามีการเปลี่ยนแปลงหรือไม่ เมื่อ AI ถูกนำเข้ามาในประสบการณ์การให้บริการ เปรียบเทียบช่องทางเดียวกัน ประเภทปัญหา กลุ่มลูกค้า และมาตราส่วนการให้คะแนน เช่น บริการสนับสนุนที่ได้รับการสนับสนุนจาก AI ได้คะแนน 4.3 จาก 5 ส่วนกลุ่มควบคุมได้คะแนน 4.1 ความแตกต่างคือ 0.2 คะแนน

สังเกตว่าใครเป็นผู้ตอบแบบสำรวจ ลูกค้าที่พึงพอใจและลูกค้าที่ไม่พึงพอใจอาจตอบแบบสำรวจในอัตราที่แตกต่างกัน ซึ่งอาจส่งผลให้คะแนนเปลี่ยนแปลงได้ แม้บริการจริงจะไม่มีการเปลี่ยนแปลงใดๆ

48. อัตราการติดต่อซ้ำ

อัตราการติดต่อซ้ำแสดงถึงความถี่ที่ลูกค้ากลับมาติดต่อเกี่ยวกับปัญหาที่ยังไม่ได้รับการแก้ไขอย่างสมบูรณ์ มันช่วยตรวจจับกรณีที่ดูเหมือนได้รับการแก้ไขแล้วเพียงเพราะการสนทนาครั้งแรกสิ้นสุดลงโดยบังเอิญ สมมติว่า 120 จาก 1,000 กรณีที่ถือว่าได้รับการแก้ไขแล้ว นำไปสู่การติดต่ออีกครั้งภายในหนึ่งสัปดาห์ นั่นคืออัตราการติดต่อซ้ำ 12%

กำหนดช่วงเวลาที่ชัดเจนและจัดกลุ่มผู้ติดต่อที่มีปัญหาเดียวกัน ลูกค้าที่กลับมาด้วยคำถามใหม่ไม่ควรนับเป็นการแก้ไขปัญหาที่ล้มเหลว

49. เวลาที่สร้างมูลค่า

Time to value วัดระยะเวลาที่โครงการ AI ใช้เพื่อสร้างผลลัพธ์ทางธุรกิจที่ได้รับการยืนยันครั้งแรก กำหนดให้ชัดเจนว่าอะไรถือเป็นมูลค่าก่อนที่จะเริ่มการนำระบบไปใช้งานจริง โปรโตไทป์ที่ทำงานได้หรือการเข้าสู่ระบบครั้งแรกของผู้ใช้ไม่นับเป็นมูลค่า เว้นแต่ว่านั่นคือเป้าหมายที่ตกลงกันไว้ตั้งแต่ต้น

50. ผลตอบแทนจากการลงทุนใน AI (ROI)

ผลตอบแทนจากการลงทุนใน AI (ROI) คือการเปรียบเทียบประโยชน์สุทธิที่ได้รับการยืนยันกับค่าใช้จ่ายของโครงการ ประโยชน์อาจรวมถึงกำไรขั้นต้นเพิ่มเติม การประหยัดค่าใช้จ่ายจริง และการหลีกเลี่ยงค่าใช้จ่ายที่ระบุไว้อย่างชัดเจน ส่วนด้านค่าใช้จ่ายก็ต้องคำนวณอย่างตรงไปตรงมาเช่นกัน โดยนับค่าใช้จ่ายของซอฟต์แวร์ โมเดล และเซิร์ฟเวอร์ แล้วเพิ่มค่าใช้จ่ายในการติดตั้ง การฝึกอบรม การกำกับดูแล การตรวจสอบ และการบำรุงรักษา

หลีกเลี่ยงการนับซ้ำ หาก AI ช่วยประหยัดเวลาของพนักงาน และเวลาดังกล่าวสร้างผลผลิตเพิ่มเติม ให้คำนวณมูลค่าของผลผลิตเพิ่มเติมหรือการประหยัดแรงงาน การคำนวณทั้งสองอย่างจะบันทึกประโยชน์เดียวกันสองครั้ง

51. ระยะเวลาคืนทุน

ระยะเวลาคืนทุน (Payback period) คือการประมาณระยะเวลาที่โครงการ AI จำเป็นต้องใช้เพื่อคืนทุนการลงทุนเบื้องต้นผ่านประโยชน์สุทธิที่ได้รับการยืนยัน สมมติว่าค่าใช้จ่ายในการนำระบบไปใช้คือ 300,000 ดอลลาร์ และให้ประโยชน์สุทธิ 25,000 ดอลลาร์ต่อเดือน ระยะเวลาคืนทุนแบบง่ายจะเท่ากับ 12 เดือน

การคำนวณระยะเวลาคืนทุนแบบง่ายๆ จะไม่คำนึงถึงมูลค่าเวลาของเงินและผลตอบแทนใดๆ ที่ได้รับหลังจากวันที่คืนทุน ทีมการเงินอาจใช้ค่าปัจจุบันสุทธิ (NPV) สำหรับโครงการ AI ที่มีขนาดใหญ่หรือดำเนินไปเป็นระยะเวลานาน

ทำไม "การรับรู้" จึงเป็นตัวชี้วัดที่อันตรายที่สุด

ผู้คนมักสังเกตเห็นเวลาที่ AI ช่วยประหยัดได้ในการเขียนฉบับแรก แต่สิ่งที่พวกเขามักไม่คำนึงถึงคือเวลาที่ต้องใช้ในขั้นตอนต่อไป: การเขียนคำสั่ง (prompt), การตรวจสอบข้อมูล, การแก้ไขข้อผิดพลาด และการปรับปรุงส่วนที่ยังไม่สมบูรณ์ การไม่คำนวณเวลาส่วนนี้ทำให้ผลประโยชน์ที่ได้รับดูใหญ่กว่าความเป็นจริงอย่างมาก

ตามคำกล่าวของFarrah Lakhani ผู้บริหารระดับ C-suite ด้านกลยุทธ์และการเติบโต:

ข้อผิดพลาดที่พบบ่อยที่สุดที่ผมสังเกตเห็นคือการถือว่าการประหยัดเวลาเป็นตัวชี้วัดหลักของความสำเร็จ AI เวลาที่ประหยัดได้ งานที่ได้รับการอัตโนมัติ และเวลาวงจรที่ลดลง เป็นข้อมูลที่เก็บรวบรวมและนำเสนอในการรายงานต่อคณะกรรมการได้ง่ายที่สุด แต่ข้อมูลเหล่านี้กลับมีแนวโน้มน้อยที่สุดที่จะสะท้อนถึงผลกระทบทางธุรกิจที่แท้จริง

นอกจากนี้METR ได้ทำการสำรวจพนักงานด้านเทคนิค 349คนเกี่ยวกับผลกระทบของ AI ต่องานของพวกเขา ผู้ตอบแบบสอบถามส่วนใหญ่ระบุว่าความเร็วในการทำงานเพิ่มขึ้นสามเท่า และมูลค่าที่สร้างได้เพิ่มขึ้น 1.4 ถึง 2 เท่า

ตัวเลขเหล่านี้ฟังดูน่าประทับใจ แต่ METR ได้ระบุไว้อย่างระมัดระวังว่า ตัวเลขดังกล่าวมาจากการประมาณการของพนักงานเอง ไม่ใช่จากงานที่วัดเวลาหรือกลุ่มควบคุม นอกจากนี้ นักวิจัยยังพบสัญญาณว่า ข้ออ้างที่กล้าหาญที่สุดได้กล่าวเกินจริงเกี่ยวกับผลลัพธ์ที่ปรากฏในงานที่เสร็จสิ้นแล้ว

สิ่งเหล่านี้ไม่ได้ทำให้การรับรู้กลายเป็นสิ่งไร้ประโยชน์ หากผู้คนรู้สึกว่า AI ช่วยพวกเขาได้ พวกเขามักจะใช้มันมากขึ้น การรับรู้ยังสะท้อนถึงความเชื่อมั่น ความสะดวกในการใช้งาน และความหงุดหงิด มันจะกลายเป็นอันตรายก็ต่อเมื่อธุรกิจนำความรู้สึกนั้นมาใช้เป็นหลักฐานของประสิทธิภาพการทำงานหรือ ROI

วิธีที่ดีกว่าคือวัดช่องว่างระหว่างข้อมูลที่พนักงานรายงานกับข้อมูลที่กระบวนการทำงานแสดงออกมา:

ตัวอย่างเช่น หากพนักงานรายงานว่าความเร็วเพิ่มขึ้น 30% แต่ข้อมูลบันทึกงานแสดงให้เห็นการปรับปรุงเพียง 10% นั่นคือช่องว่างในการรับรู้ถึง 20 จุด ซึ่งอาจชี้ให้เห็นถึงเวลาตรวจสอบที่ซ่อนอยู่ วิธีการวัดผลที่อ่อนแอ หรืองานที่เพียงแต่รู้สึกง่ายขึ้นโดยไม่ได้สร้างมูลค่าที่วัดได้เพิ่มขึ้นอย่างมีนัยสำคัญ

กฎที่ปลอดภัยที่สุดคือกฎที่เรียบง่ายที่สุด คือฟังอย่างตั้งใจถึงสิ่งที่ผู้ใช้พูด แล้วตรวจสอบให้ตรงกับงานจริง

KPI AI ตามฟังก์ชันเฉพาะ

สกอร์การ์ด AI เดียวไม่สามารถเหมาะกับทุกทีมได้ เนื่องจากแต่ละทีมมีเป้าหมายที่แตกต่างกัน ฝ่ายบริการลูกค้ามุ่งเน้นการแก้ไขปัญหา ฝ่ายวิศวกรรมมุ่งเน้นการส่งมอบที่เสถียร ฝ่ายการตลาดและฝ่ายขายมุ่งเน้นการเติบโต ส่วนฝ่ายปฏิบัติการมุ่งเน้นค่าใช้จ่าย ความเร็ว และการควบคุม เริ่มต้นจากเป้าหมายนั้น แล้วเพิ่มตัวชี้วัดที่แสดงให้เห็นว่า AI ได้ส่งผลต่อเป้าหมายนั้นอย่างไร

บริการลูกค้าและการสนับสนุน

คำถามที่แท้จริงคือ ปัญหาของลูกค้ายังคงได้รับการแก้ไขอยู่หรือไม่ หลังจากที่การสนทนาสิ้นสุดลง

ซอฟต์แวร์และวิศวกรรม

วัดผลตลอดทั้งกระบวนการ ตั้งแต่การมอบหมายงานจนถึงการปล่อยเวอร์ชันที่เสถียรในระบบผลิตจริง การสร้างโค้ดเป็นเพียงขั้นตอนหนึ่งเท่านั้นในกระบวนการนั้น

ตัวอย่าง: Nvidia ให้ตัวอย่างที่ชัดเจนเกี่ยวกับกับดักนี้ บริษัทระบุว่าปัจจุบันมีวิศวกรมากกว่า30,000 คนใช้เวอร์ชันที่ปรับแต่งของ Cursor assistant ซึ่งสร้างโค้ดได้ประมาณสามเท่าของเดิม โดยไม่มีการเพิ่มขึ้นของข้อผิดพลาด แต่ผลผลิตที่เพิ่มขึ้นสามเท่าเป็นสัญญาณด้านปริมาณ ไม่ใช่สัญญาณด้านประสิทธิภาพ มันไม่แสดงว่าฟีเจอร์ถูกส่งมอบเร็วขึ้นหรือทำงานได้ดีในสภาพแวดล้อมการผลิต เพื่อลดช่องว่างนี้ Nvidia จำเป็นต้องปรับปรุงเวลาดำเนินการ อัตราความล้มเหลวในการผลิต และงานแก้ไขใหม่ นอกเหนือจากปริมาณงาน

การตลาด

AI ในด้านการตลาดควรช่วยลดค่าใช้จ่ายหรือเวลาที่จำเป็นในการผลิตงาน ซึ่งงานดังกล่าวต้องผ่านการตรวจสอบและให้ผลลัพธ์ที่ดีกับลูกค้าจริง

ฝ่ายขาย

AI ด้านขายจะแสดงให้เห็นถึงคุณค่าเมื่อดีลที่เหมาะสมเคลื่อนผ่านกระบวนการขายได้เร็วขึ้น และในที่สุดปิดดีลได้ด้วยอัตรากำไรที่ดี

ตัวอย่าง: Workato แสดงให้เห็นว่า “เร็วขึ้น” ไม่เท่ากับการ “ชนะ” CIO ของบริษัทกล่าวว่า ข้อตกลงที่มีข้อมูลเสริมจากตัวแทน (agent-enriched data) ผ่านขั้นตอนใน pipelineได้เร็วขึ้นถึง 20% และเวลาตอบกลับใบเสนอราคา (quote turnaround) ดีขึ้น 40% ตัวเลขทั้งสองมาจากบริษัทเอง และทั้งสองวัดความเร็ว ไม่ใช่ผลลัพธ์ ไม่มีตัวเลขใดที่ยืนยันว่ารายได้จากการปิดดีลเพิ่มขึ้น เพื่อพิสูจน์ผลประโยชน์ Workato จำเป็นต้องมีข้อมูลเกี่ยวกับอัตราการชนะ (win rate) อัตรากำไร (margin) และรายได้จากการปิดดีล (closed revenue) สำหรับข้อตกลงที่คล้ายกันทั้งที่มีและไม่มี AI

การดำเนินงานและการเงิน

ในที่นี้ AI ควรทำงานให้เสร็จสิ้นด้วยจำนวนขั้นตอนที่น้อยลง พร้อมทั้งลดข้อผิดพลาดและข้อยกเว้นให้น้อยที่สุด นอกจากนี้ ค่าใช้จ่ายทุกประเภทต้องถูกนำเข้ามาในการคำนวณด้วย

ตัวอย่าง: Omega Healthcare แสดงให้เห็นว่าคำกล่าวอ้างเกี่ยวกับประสิทธิภาพที่ครบถ้วนมีลักษณะอย่างไร บริษัทนี้บอกกับ Business Insider ว่าAI ช่วยประหยัดเวลาทำงานของพนักงานได้มากกว่า 15,000 ชั่วโมงต่อเดือนในการจัดการเอกสาร พร้อมทั้งลดเวลาการดำเนินการลง 50% ความแม่นยำ 99.5% และ ROI ของลูกค้าเพิ่มขึ้น 30% ซึ่งทำให้สามารถรวมเวลา คุณภาพ และค่าใช้จ่ายไว้ในมุมมองเดียว

กรณีศึกษา: วิธีที่บริษัทจริงใช้วัดประสิทธิภาพที่ขับเคลื่อนด้วย AI

ผลลัพธ์ของบริษัทจะมีประโยชน์ก็ต่อเมื่อทราบว่าสิ่งที่ถูกวัดคืออะไร ตัวเลขดังกล่าวเป็นข้อมูลที่สังเกตได้จริงหรือเป็นข้อมูลคาดการณ์? บริษัทนับงานที่ได้รับการแก้ไขแล้ว หรือเพียงงานที่ถูกโอนย้ายจากมนุษย์ไปเท่านั้น? สี่กรณีนี้แสดงให้เห็นว่าทำไมรายละเอียดเหล่านั้นจึงสำคัญกว่าตัวเลขที่ใหญ่ที่สุดในข่าวประชาสัมพันธ์

Klarna (บริการที่รวดเร็วอาจยังก่อให้เกิดช่องว่างด้านคุณภาพ)

เมื่อปลายปี 2025 Klarna ระบุว่า ผู้ช่วยสนับสนุน AI ของบริษัทได้จัดการคำถามจากลูกค้าทั้งหมดถึงสองในสาม นอกจากนี้ ยังระบุด้วยว่า เวลาตอบสนองเร็วขึ้น 82% ปัญหาที่เกิดขึ้นซ้ำลดลง 25% ประหยัดค่าใช้จ่ายได้ 60 ล้านดอลลาร์ และปริมาณงานเทียบเท่ากับพนักงานเต็มเวลา 853 คน

Klarna ยังคงลงทุนในระบบผู้ช่วยอัจฉริยะต่อไป แต่บริษัทก็เริ่มรับพนักงานสนับสนุนที่เป็นมนุษย์กลับมาทำงานอีกครั้ง CEO ของบริษัทกล่าวว่า ลูกค้าควรสามารถติดต่อกับพนักงานที่เป็นมนุษย์ได้เสมอ รายงานระบุว่า การเปลี่ยนแปลงนี้เกี่ยวข้องกับคำร้องเรียนเกี่ยวกับคำตอบที่ทั่วไปเกินไปสำหรับคำถามที่ซับซ้อน ส่วนบริษัทเองระบุว่า ระดับความพึงพอใจต่อ AI ของบริษัทยังคงอยู่ในระดับเดียวกับบริการสนับสนุนจากพนักงานที่เป็นมนุษย์

สิ่งที่คุณจะได้เรียนรู้: ติดตามความเร็ว การติดต่อซ้ำ และค่าใช้จ่าย แต่แบ่งตามประเภทปัญหา จากนั้นวัดการส่งต่อที่ล้มเหลวและระดับความพึงพอใจหลังการจัดการกรณีที่ซับซ้อน ค่าเฉลี่ยที่สูงอาจทำให้คุณมองข้ามตั๋วที่แท้จริงซึ่งมีความสำคัญที่สุด

IBM (การเพิ่มประสิทธิภาพการทำงานอาจไม่ถึงกับนักพัฒนาทุกคน)

IBM ได้ศึกษาเครื่องมือ watsonx Code Assistant ของตนเองเพื่อเขียนบทความที่ผ่านการตรวจสอบโดยผู้เชี่ยวชาญสำหรับงานประชุม CHI 2025 นักวิจัยได้ทำการสำรวจผู้ใช้ 669 คน และดำเนินการทดสอบความสะดวกในการใช้งานกับผู้ใช้เพิ่มเติมอีก 15 คน ผู้ใช้หลายคนรู้สึกว่าเครื่องมือนี้ช่วยให้พวกเขาทำงานได้เร็วขึ้น แต่ประโยชน์ดังกล่าวไม่ได้เกิดขึ้นกับทุกคน มีข้อจำกัดสำคัญที่ควรทราบ การศึกษานี้มุ่งเน้นไปที่ประสบการณ์ของนักพัฒนาและระดับความมีประสิทธิภาพที่ผู้ใช้รู้สึกได้ แต่ไม่ได้พิสูจน์ว่าซอฟต์แวร์ถูกส่งมอบได้เร็วขึ้นหรือมีข้อบกพร่องน้อยลง

สิ่งที่คุณจะได้เรียนรู้: ผสมผสานผลสำรวจผู้ใช้กับตัวชี้วัดที่สังเกตได้ เช่น เวลาตรวจสอบ, การทำงานซ้ำ, เวลาดำเนินการเปลี่ยนแปลง และอัตราการล้มเหลวในการเปลี่ยนแปลง จากนั้นแบ่งผลลัพธ์ตามงานและระดับประสบการณ์ ค่าเฉลี่ยของทีมอาจทำให้มองข้ามนักพัฒนาที่ใช้เวลามากขึ้นในการตรวจสอบผลลัพธ์ AI มากกว่าเวลาที่ประหยัดได้จากการเขียนโค้ด AI

Bank of America (การควบคุมเป็นส่วนหนึ่งของประสิทธิภาพ)

Bank of America ระบุว่า Erica ผู้ช่วยทางการเงินเสมือนจริงของพวกเขา ได้จัดการการโต้ตอบกับลูกค้าถึง 3 พันล้านครั้ง และปัจจุบันมีจำนวนเฉลี่ยมากกว่า 58 ล้านครั้งต่อเดือน ส่วนเวอร์ชันสำหรับพนักงานได้เข้าถึงพนักงานกว่า 90% และลดจำนวนการโทรไปยังศูนย์บริการ IT ลงครึ่งหนึ่ง Erica ยังแสดงให้เห็นว่าประสิทธิภาพของ AI ไม่จำเป็นต้องใช้โมเดลสร้างเนื้อหา (generative model) ธนาคารนี้ใช้ผู้ช่วยลูกค้าบนไลบรารีคงที่ที่มีคำตอบมากกว่า 700 ข้อ ซึ่งทำให้ Erica มีอิสระน้อยกว่าแชทบอทแบบเปิด แต่สิ่งนี้ทำให้การทดสอบและควบคุมคำตอบในธนาคารเป็นไปได้ง่ายขึ้นมาก

สิ่งที่คุณจะได้เรียนรู้: เลือกโมเดลให้เหมาะสมกับระดับความเสี่ยง สำหรับการสนับสนุนภายในองค์กร ให้ติดตามจำนวนการโทรเข้าศูนย์บริการ การใช้บริการด้วยตนเองที่สำเร็จ การติดต่อซ้ำ และเวลาที่ใช้ในการแก้ไขปัญหา การลดลงของจำนวนการโทรเข้าเป็นสัญญาณที่ดี แต่ไม่ได้พิสูจน์ว่าพนักงานทุกคนได้แก้ไขปัญหาได้จริง

วิธีเลือกตัวชี้วัด AI ที่เหมาะสม

การเข้าใจตัวชี้วัดนั้นเป็นส่วนที่ง่าย ส่วนที่ยากกว่าคือเลือกตัวชี้วัดไม่กี่ตัวที่สอดคล้องกับเป้าหมายของคุณ แล้วจงใจไม่สนใจตัวชี้วัดอื่นๆ นี่คือวิธีการที่คุณสามารถเชื่อถือได้

เชื่อมโยงแต่ละตัวชี้วัดกับเป้าหมายทางธุรกิจหนึ่ง

กำหนดเป้าหมายก่อน แล้วเลือกตัวชี้วัดที่วัดผลเป้าหมายนั้น หากเป้าหมายคือการลดค่าใช้จ่ายในการสนับสนุน ให้ติดตามค่าใช้จ่ายต่อการแก้ไขปัญหา หากเป้าหมายคือการเพิ่มรายได้ ให้ติดตามรายได้ต่อการโต้ตอบกับ AI หากเป้าหมายคือการเร่งความเร็วในการตัดสินใจ ให้ติดตามความเร็วในการตัดสินใจ หากตัวชี้วัดใดไม่เชื่อมโยงกับเป้าหมายเช่นนี้ ให้ทิ้งมันไป

และหากคุณใช้OKRs พร้อมกับ KPI ให้กำหนดบทบาทให้ชัดเจน: เป้าหมายกำหนดทิศทาง ส่วน KPI วัดความก้าวหน้าตามเป้าหมายนั้น ข้อผิดพลาดที่พบบ่อยคือการติดตามข้อมูลที่เครื่องมือส่งออกตามค่าเริ่มต้น แทนที่จะติดตามตัวเลขที่เป้าหมายต้องการ ตัวชี้วัดที่ดึงข้อมูลได้ง่ายแต่ไม่ตอบคำถามที่แท้จริง ก็ยังคงเป็นข้อมูลที่ไม่จำเป็น

ใช้หลักการ SMART และกำหนดขีดจำกัดจำนวน

กำหนดให้แต่ละ KPIเป็นไปตามหลัก SMART (Specific, Measurable, Attainable, Relevant, and Time-bound). จากนั้นจำกัดจำนวนตัวชี้วัดอย่างตั้งใจ โดยทั่วไปควรกำหนดไว้ที่ 3 ถึง 5 ตัวชี้วัดต่อเป้าหมาย และไม่เกิน 7 ถึง 10 ตัวชี้วัดต่อทีม หากเกินจำนวนนี้ การประชุมทบทวนจะยืดเยื้อออกไป ในขณะที่การตัดสินใจกลับไม่ชัดเจนขึ้น เนื่องจากความสนใจถูกแบ่งแยกจนบางเกินไป จนไม่สามารถดำเนินการกับตัวเลขใดเป็นตัวเลขหนึ่งได้ นี่คือวิธีตรวจสอบง่ายๆ: หากท่านไม่สามารถระบุตัวชี้วัดที่จะส่งผลต่อการตัดสินใจในสัปดาห์นี้ได้ รายการของท่านก็ยาวเกินไปแล้ว

สร้างสมดุลระหว่างตัวชี้วัดนำและตัวชี้วัดตาม

จับคู่ผลลัพธ์ที่ตามหลังกับตัวชี้วัดนำหน้าทุกตัว ต้นทุนต่อการแก้ไขปัญหาจับคู่กับความลึกของการนำ AI ไปใช้ การเพิ่มรายได้จับคู่กับระดับความชำนาญ อัตราข้อผิดพลาดจับคู่กับระยะเวลาการตรวจสอบโค้ด

ตัวชี้วัดแบบตามหลัง (lagging metric) ยืนยันสิ่งที่ได้เกิดขึ้นแล้ว ส่วนตัวชี้วัดแบบนำหน้า (leading metric) จะเตือนคุณล่วงหน้าเพื่อให้มีเวลาดำเนินการ

กำหนดผู้รับผิดชอบและจังหวะการดำเนินการ

ทุก KPI ต้องมีผู้รับผิดชอบที่ชัดเจนและกำหนดช่วงเวลาการทบทวนอย่างสม่ำเสมอ ตรวจสอบตัวชี้วัดการดำเนินงานทุกสัปดาห์ ส่วนตัวชี้วัดที่สำคัญกว่าให้ตรวจสอบทุกเดือนหรือทุกไตรมาส มอบตัวชี้วัดแต่ละตัวให้กับบุคคลที่สามารถปรับปรุงตัวเลขได้ ไม่ใช่ผู้ที่เพียงแต่เขียนรายงานเท่านั้น หากผู้รับผิดชอบไม่มีอำนาจที่แท้จริงในการเปลี่ยนแปลง ตัวชี้วัดนั้นจะไม่มีผู้รับผิดชอบ ตัวเลขจะยังคงเปลี่ยนแปลงไปเรื่อยๆ จนกว่าจะมีการทบทวนครั้งต่อไป

เครื่องมือและทรัพยากรสำหรับการวัดตัวชี้วัดประสิทธิภาพ AI

คุณไม่จำเป็นต้องมีระบบวัดผลที่ซับซ้อนตั้งแต่วันแรก แต่คุณจำเป็นต้องมีเครื่องมือที่เหมาะสมกับตัวชี้วัดที่คุณต้องการพิสูจน์

ต่อไปนี้คือทรัพยากรที่ควรรู้

ตารางนี้จะบอกคุณว่าเครื่องมือใดเหมาะสำหรับงานใด แต่สิ่งที่มันไม่สามารถบอกคุณได้คือประโยชน์ที่คุณจะได้รับจากแต่ละเครื่องมือ หรือปัญหาที่คุณจะหลีกเลี่ยงได้

วิธีติดตามตัวชี้วัดประสิทธิภาพ AI ใน ClickUp

เมื่อเลือกตัวชี้วัดประสิทธิภาพหลัก (KPI) ของ AI แล้ว คุณจำเป็นต้องมีระบบที่เชื่อมต่อกับงานอย่างต่อเนื่อง เพื่อให้สกอร์การ์ดอัปเดตข้อมูลได้โดยอัตโนมัติ

นี่คือวิธีที่ทีมของเราเองใช้เพื่ออัปเดตตัวชี้วัด AI แบบเรียลไทม์ในClickUp:

เริ่มต้นจากเครื่องมือติดตาม KPI ที่พร้อมใช้งาน

แม่แบบ KPI ของ ClickUpให้คุณมีโครงสร้างเริ่มต้นที่มั่นคง มาพร้อมสถานะต่าง ๆ เช่น On Track (ตามแผน), At Risk (มีความเสี่ยง), และ Off Track (หลุดจากแผน) รวมถึงฟิลด์ที่กำหนดเองสำหรับค่าเป้าหมาย (Target Value), ค่าจริง (Actual Value), ความคืบหน้า (Progress), ความแตกต่าง (Difference), และความเบี่ยงเบน (Variance)

ดาวน์โหลดเทมเพลตฟรี

เพิ่มตัวชี้วัดประสิทธิภาพ AI (KPI) 3–5 ตัวที่ขับเคลื่อนการตัดสินใจ กำหนดเป้าหมายสำหรับแต่ละตัว และกำหนดผู้รับผิดชอบ ซึ่งอาจรวมถึงการรับผ่านในรอบแรก ชั่วโมงที่ประหยัดได้และได้รับการยืนยัน ต้นทุนต่อผลลัพธ์ที่สำเร็จ หรืออัตราการส่งต่อปัญหา จากนั้น มุมมอง "ความคืบหน้า" และ "สรุป" จะช่วยให้ผู้ตรวจสอบสามารถดูได้อย่างรวดเร็วว่าเป้าหมายใดกำลังเป็นไปตามแผน และเป้าหมายใดที่จำเป็นต้องตรวจสอบอย่างละเอียด

โปรดจำไว้: เครื่องติดตามนี้บันทึกคะแนน แต่ไม่รวบรวมข้อมูลหลักฐานด้วยตัวเอง โปรดเชื่อมโยงแต่ละ KPI กับงานที่ดำเนินการจริง และใช้ Custom Fields, Forms, Automations, การผสานระบบ หรือการอัปเดตจากผู้ดำเนินการ เพื่อป้อนค่าจริงเข้าไป

ติดตามขอบเขตการทำงานที่กำลังใช้งานอยู่ผ่านแดชบอร์ดแบบเรียลไทม์

เมื่อค่าเหล่านั้นถูกนำไปใช้กับงานที่กำลังดำเนินการอยู่แดชบอร์ด ClickUpสามารถรวมค่าเหล่านั้นในระดับรายการ ทีม กระบวนการทำงาน หรือช่วงเวลาที่กำหนดได้ บัตรคำนวณจะรวมเวลาที่ประหยัดได้ซึ่งได้รับการยืนยัน คะแนนคุณภาพเฉลี่ย หรือต้นทุนต่อการแก้ไขปัญหา แผนภูมิแท่ง แผนภูมิเส้น และแผนภูมิวงกลมจะแสดงข้อมูลเดียวกันนี้แยกตามโมเดล กรณีการใช้งาน ทีม หรือประเภทความล้มเหลว

ให้ “สมอง” ของบริษัทคุณสร้างรายงานและแจ้งเตือนข้อผิดพลาด

การสร้างรายงานคือส่วนที่ซ่อนความพยายามแบบทำมือไว้เป็นส่วนใหญ่ และนี่คือส่วนที่ควรนำระบบอัตโนมัติมาใช้ก็ต่อเมื่อฟิลด์และคำนิยามของคุณมีความน่าเชื่อถือแล้ว เนื่องจากClickUp Brainสามารถทำงานร่วมกับงาน (tasks), ฟิลด์ที่กำหนดเอง (Custom Fields), เอกสาร (Docs) และการสนทนา (conversations) ใน Workspace ของคุณ คุณจึงสามารถถามคำถามเช่น:

คำตอบจะถูกสร้างขึ้นจากบริบทงานปัจจุบันของคุณภายในไม่กี่วินาที คุณสามารถดำเนินการต่อในหัวข้อเดียวกันเพื่อจำกัดขอบเขตการวิเคราะห์ เปรียบเทียบช่วงเวลา หรือขอให้ Brain แปลงผลการวิเคราะห์เป็นแดชบอร์ดแบบโต้ตอบหรือชุดสไลด์

ต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ ClickUp Brain? นี่คือคู่มือการใช้งานแบบรวดเร็ว

ข้อจำกัดที่ควรทราบ: ClickUp เชื่อมโยงกิจกรรมของทีมกับเป้าหมายได้อย่างดี แต่ไม่ใช่คลังข้อมูลขนาดใหญ่แบบ Snowflake และไม่ใช่เครื่องมือเฉพาะทางสำหรับการติดตามระดับโมเดล มันทำงานได้ดีที่สุดเมื่อข้อมูลและงานของคุณอยู่ในที่เดียว ซึ่งตรงกับที่ที่ KPI AI ด้านปฏิบัติการถูกจัดเก็บไว้ สำหรับการติดตามข้อมูลโมเดลอย่างละเอียด ควรใช้ร่วมกับเครื่องมือเฉพาะทาง

วัดสิ่งที่ AI ได้เปลี่ยนแปลงไปจริง ๆ

ส่วนที่ยากที่สุดของ AI ไม่ใช่การทำให้มันทำอะไรสักอย่าง แต่คือการรู้ว่า “สิ่งนั้น” คุ้มค่าที่จะทำหรือไม่ ทีมส่วนใหญ่สามารถบอกคุณได้ว่าเครื่องมือของพวกเขาถูกใช้งานมากแค่ไหน มีร่างงานถูกสร้างขึ้นกี่ฉบับ แต่แทบไม่มีคำตอบใดที่ตอบคำถามเดียวที่สำคัญที่สุด:

งานนั้นดีขึ้น ถูกขึ้น หรือเร็วขึ้น ในทางที่ผู้เกี่ยวข้องในขั้นตอนต่อไปสามารถรู้สึกได้หรือไม่?

เมื่อคุณกำหนดว่า “มูลค่า” ควรเป็นอย่างไรก่อนที่จะเริ่มพัฒนา คุณจะสามารถวัดผลได้ว่า AI ได้เปลี่ยนแปลงอะไร แทนที่จะวัดเพียงสิ่งที่มันทำเท่านั้น เลือกตัวชี้วัดไม่กี่ตัวที่สอดคล้องกับเป้าหมายจริง จากนั้น ให้ตัวชี้วัดแต่ละตัวมีตัวชี้วัดเปรียบเทียบ เพื่อไม่ให้ความสำเร็จด้านความเร็วมาบดบังความล้มเหลวด้านคุณภาพ สุดท้าย ให้ทุกตัวเลขมีค่าอ้างอิง เป้าหมาย กำหนดเวลา และผู้รับผิดชอบที่สามารถขับเคลื่อนผลลัพธ์ได้ วางสกอร์การ์ดนั้นไว้ข้างงานที่มันวัดผล และมันจะบอกความจริงให้คุณเอง

และหากคุณต้องการติดตามข้อมูลทั้งหมดนี้เมื่อการใช้งาน AI ของคุณขยายตัว คุณจำเป็นต้องมีเครื่องมือที่เติบโตไปพร้อมกับคุณสมัครใช้ ClickUpเพื่อสร้างแดชบอร์ด KPI AI ที่จัดแสดงทุกตัวชี้วัดไว้ข้างๆ งานที่มันวัดผล

คำถามที่พบบ่อยเกี่ยวกับตัวชี้วัดประสิทธิภาพ AI

ตัวชี้วัด AI ใดที่สำคัญที่สุดที่ควรติดตาม?

เริ่มต้นด้วยหนึ่งตัวชี้วัดจากแต่ละชั้นทั้งสี่: ความแม่นยำหรือการยอมรับในครั้งแรก (คุณภาพผลลัพธ์), ความล่าช้า (ประสิทธิภาพระบบ), การรักษาผู้ใช้ที่ใช้งานอยู่ (การนำใช้), และค่าใช้จ่ายต่อการแก้ไขปัญหาหรือ ROI (ผลกระทบทางธุรกิจ) การเลือกชุดตัวชี้วัดที่เหมาะสมขึ้นอยู่กับหน้าที่ของ AI บอทสนับสนุนลูกค้าต้องการตัวชี้วัดการควบคุมปัญหา การยืนยันการแก้ไข และอัตราการติดต่อซ้ำ ส่วนผู้ช่วยเขียนโค้ดต้องการตัวชี้วัดเวลาดำเนินการเปลี่ยนแปลง อัตราการทำงานซ้ำ และเวลาตรวจสอบ จำกัดจำนวนตัวชี้วัดรวมไว้ที่ 3 ถึง 5 ตัวต่อเป้าหมาย และจับคู่แต่ละตัวชี้วัดกับตัวชี้วัดควบคุม เพื่อป้องกันไม่ให้การเพิ่มขึ้นในด้านหนึ่งซ่อนการลดลงในด้านอื่นไว้โดยไม่รู้ตัว

ความแตกต่างระหว่างตัวชี้วัดประสิทธิภาพ AI กับเกณฑ์มาตรฐาน AI คืออะไร?

การทดสอบมาตรฐาน (benchmark) จะให้คะแนนโมเดลบนชุดข้อมูลสาธารณะและงานที่กำหนดไว้ล่วงหน้า ส่วนตัวชี้วัดประสิทธิภาพจะวัดว่าระบบของคุณทำงานอย่างไรกับงานของคุณเองในสภาพแวดล้อมการผลิต โมเดลอาจขึ้นอันดับสูงสุดในตารางผู้นำ (leaderboard) แต่ยังคงล้มเหลวในด้านความล่าช้า ค่าใช้จ่าย หรือความปลอดภัย เมื่อผู้ใช้จริงเริ่มใช้งานจริง ให้ใช้การทดสอบมาตรฐาน เช่นตารางผู้นำด้านภาพหลอน (hallucination leaderboard) ของ Vectaraหรือ MMLU เป็นเครื่องมือคัดกรองเบื้องต้น แล้ววัดตัวชี้วัดที่สอดคล้องกับเป้าหมายของคุณ

อัตราฮัลลูซิเนชันที่ดีสำหรับระบบ AI คือเท่าใด?

ไม่มีอัตราความผิดพลาด (hallucination rate) ที่ได้รับการยอมรับทั่วทั้งอุตสาหกรรมสำหรับระบบ AI เป้าหมายที่เหมาะสมขึ้นอยู่กับงานที่ทำ ต้นทุนของความผิดพลาด และว่าระบบสามารถยอมรับความไม่แน่นอนได้หรือไม่ สำหรับการใช้งานทางธุรกิจที่เน้นความเป็นจริง อัตราต่ำกว่า 5% บนชุดข้อมูลทดสอบการผลิตที่เป็นตัวแทน ถือเป็นจุดเริ่มต้นที่สมเหตุสมผล แต่ระบบที่มีความเสี่ยงสูงควรตั้งเป้าหมายให้ใกล้เคียงศูนย์มากขึ้น และส่งคำตอบที่ไม่แน่นอนไปยังมนุษย์ ให้ถือว่า 5% นั้นเป็นเป้าหมายในการดำเนินงาน ไม่ใช่มาตรฐานที่เผยแพร่

บทเรียนสำคัญคือ อัตราการฮัลลูซิเนชันไม่สามารถพิจารณาแยกเดี่ยวได้ การศึกษาในวารสาร Natureพบว่าเกณฑ์วัดความแม่นยำทั่วไปมักให้รางวัลกับโมเดลที่เดาคำตอบ แทนที่จะยอมรับว่าตนเองไม่ทราบข้อมูล ให้วัดอัตราการฮัลลูซิเนชันควบคู่กับอัตราการงดแสดงผล (abstention rate) ระดับความรุนแรงของข้อผิดพลาด (error severity) การสนับสนุนจากแหล่งอ้างอิง (citation support) และความถี่ที่ข้อกล่าวอ้างที่ไม่มีหลักฐานสนับสนุนถูกส่งถึงผู้ใช้

ควรตรวจสอบตัวชี้วัดประสิทธิภาพ AI บ่อยแค่ไหน?

ตรวจสอบตัวชี้วัดการดำเนินงาน เช่น ความล่าช้า อัตราความผิดพลาด และการควบคุมปัญหา ทุกสัปดาห์; ตรวจสอบตัวชี้วัดทางธุรกิจ เช่น ต้นทุนต่อการแก้ไขปัญหา และ ROI ทุกเดือนหรือทุกไตรมาส ปรับความถี่ให้สอดคล้องกับความเร็วที่ตัวเลขเปลี่ยนแปลงและผู้ที่รับผิดชอบดำเนินการ กำหนดผู้รับผิดชอบที่มีชื่อชัดเจนสำหรับตัวชี้วัดแต่ละตัว ซึ่งผู้รับผิดชอบนั้นต้องควบคุมปัจจัยที่มีผลจริง

คุณใช้เครื่องมือใดเพื่อติดตามตัวชี้วัดประสิทธิภาพ AI?

ทีมส่วนใหญ่ใช้สองชั้นร่วมกัน แพลตฟอร์มการทำงานอย่าง ClickUp ติดตาม KPI ด้านปฏิบัติการและธุรกิจควบคู่กับงานที่สร้าง KPI เหล่านั้น โดยใช้แดชบอร์ด สนามข้อมูลที่กำหนดเอง และเวิร์กโฟลว์แบบเอเจนต์ เพื่อรวมค่าต่าง ๆ เช่น อัตราการยอมรับในครั้งแรก หรือต้นทุนต่องานที่สำเร็จ ส่วนเครื่องมือการสังเกตการณ์เฉพาะทาง เช่น Arize, Langfuse และ WhyLabs จัดการข้อมูลเทเลเมทรีระดับโมเดล เช่น การเบี่ยงเบน (drift) และภาพหลอน (hallucination) ในขณะที่คลังข้อมูลอย่าง Snowflake เก็บเหตุการณ์ดิบไว้เพื่อวิเคราะห์อย่างลึกซึ้งยิ่งขึ้น

สามารถวัดผลกระทบของ AI ได้หรือไม่หากไม่มีกลุ่มควบคุม?

ใช่ แต่ไม่ชัดเจนเท่าที่ควร กลุ่มควบคุมช่วยแยกแยะสิ่งที่ AI ก่อให้เกิดออกจากสิ่งที่อาจเกิดขึ้นตามธรรมชาติอยู่แล้ว ดังนั้นจึงเป็นตัวเลือกที่แข็งแกร่งที่สุด หากไม่มีกลุ่มควบคุม ให้ใช้วิธีการเปิดตัวแบบเป็นขั้นตอนหรือใช้ค่าพื้นฐานที่เทียบเคียงได้ และปรับให้สอดคล้องกับการเปลี่ยนแปลงของราคา โปรโมชั่น ความต้องการ และฤดูกาล การเปรียบเทียบแบบก่อน-หลังธรรมดาจะบอกคุณว่าอะไรเปลี่ยนแปลงไป แต่ไม่บอกสาเหตุที่แท้จริง ซึ่งนี่คือเหตุผลที่ความต้องการตามฤดูกาลหรือการแก้ไขกระบวนการที่ดำเนินไปพร้อมกันมักถูกเข้าใจผิดว่าเป็นผลจาก AI

คุณวัด ROI ของ AI อย่างไร?

ROI ของ AI คือมูลค่าที่ได้รับจากระบบ AI เมื่อเทียบกับค่าใช้จ่ายรวมในการพัฒนา ดำเนินการ และรักษาดูแลระบบดังกล่าว กำหนดค่าพื้นฐานของกระบวนการก่อนการนำระบบไปใช้งาน แล้ววัดการเปลี่ยนแปลงในตัวชี้วัดทางธุรกิจที่ชัดเจน เช่น ค่าใช้จ่ายต่อการแก้ไขปัญหา หรือรายได้ต่อการโต้ตอบ โดยเปรียบเทียบกับค่าใช้จ่ายรวมในการเป็นเจ้าของระบบ