Track project progress with ClickUp Dashboards

Tokenmaxxing คืออะไร? ตัวชี้วัด AI ที่ทำลายตัวเอง

ภายใน 30 วัน พนักงาน Meta ได้ส่งAI tokensประมาณ60 ล้านล้านผ่านระบบจัดอันดับภายในที่จัดอันดับตามปริมาณการใช้; ค่าใช้จ่ายนี้คาดว่าจะสูงถึง 100 ล้านดอลลาร์ เพื่อผลิตงานที่ส่วนใหญ่เป็นเพียงการแสดงเท่านั้น 90 วันต่อมา ระบบจัดอันดับดังกล่าวก็ถูกยกเลิก และบริษัทเริ่มจำกัดการใช้ AI อย่างเคร่งครัด

กระบวนการนี้เรียกว่า tokenmaxxing: คือเมื่อการเพิ่มประสิทธิภาพการใช้โทเคน AI ถูกส่งเสริมให้เป็นคะแนนประสิทธิภาพและตัวชี้วัดความผลิตภาพ บริษัทต่าง ๆ ได้เรียนรู้จากประสบการณ์นั้นแล้ว และบางแห่งได้ปรับแก้มากเกินไปในปรากฏการณ์ที่เรียกว่า “tokenminning”: คือการใช้โทเคน AI น้อยที่สุดเท่าที่เป็นไปได้เพื่อลดค่าใช้จ่ายในการประมวลผล ทั้งสองแนวทางนี้ล้วนล้มเหลว เพราะต่างมองจำนวนโทเคนเป็นตัวชี้วัดที่น่าเชื่อถือสำหรับการเติบโตที่ขับเคลื่อนด้วย AI

ในบทความนี้ เราจะกล่าวถึงค่าใช้จ่ายที่แท้จริงของ Tokenmaxxing วิธีที่วิศวกรใช้มันเพื่อหาประโยชน์ และระบบการวัดผลที่สามารถทนทานต่อผู้ที่มีความชำนาญในการปรับแต่งตัวเลข

TL;DR: Tokenmaxxing — หรือเมื่อการใช้โทเคน AI ถูกมองเป็นสัญญาณของประสิทธิภาพการทำงาน — ล้มเหลวในฐานะวิธีการบริหารจัดการ เนื่องจากการใช้โทเคนเป็นสัญญาณของต้นทุน แต่กลับถูกใช้เป็นตัวชี้วัดประสิทธิภาพ ทางเลือกที่น่าเชื่อถือแทน Tokenmaxxing คือกฎการจับคู่: ทุกสัญญาณการใช้งานที่ทีมเผยแพร่ต้องปรากฏควบคู่กับผลลัพธ์จริงที่ทีมไม่สามารถเพิ่มให้ดูดีเกินจริงได้

เพื่อทำสิ่งนี้ ผู้นำด้านธุรกิจและ AI ต้องรวบรวมข้อมูลในระดับทีม ไม่ให้นำข้อมูลดังกล่าวมาใช้ในการประเมินประสิทธิภาพ และใช้ความผิดปกติในการใช้จ่ายเป็นจุดเริ่มต้นในการสอบสวน บริษัทที่ปฏิบัติตามรูปแบบนี้สามารถรักษาสัญญาณการทำงานได้ ส่วนบริษัทที่จัดอันดับบุคคลตามผลการทำงาน กลับสูญเสียสัญญาณดังกล่าวภายในหนึ่งไตรมาส

Tokenmaxxing คืออะไร?

Tokenmaxxing คือวิธีการเพิ่มการใช้โทเคน AI ให้สูงสุด และถือว่าการใช้งานที่สูงขึ้นเป็นหลักฐานของประสิทธิภาพการทำงานที่ดีขึ้นหรือการนำ AI มาใช้อย่างแพร่หลาย โทเคนคือหน่วยข้อมูลที่โมเดล AI ประมวลผลเป็นข้อมูลเข้าและสร้างเป็นข้อมูลออก

การใช้โทเคนกลายเป็นตัวชี้วัดประสิทธิภาพที่ดึงดูดความสนใจ เพราะมันมองเห็นได้ วัดได้ และถูกติดตามโดยแพลตฟอร์ม AI หลายแห่งอยู่แล้ว ซึ่งทำให้การรายงานผลนี้ง่ายกว่าผลลัพธ์อื่น ๆ เช่น เวลาที่ประหยัดได้ การตัดสินใจที่ดีขึ้น หรือรายได้ที่สร้างขึ้น แต่โทเคนวัดกิจกรรมด้านการคำนวณเท่านั้น ไม่ใช่งานที่มีประโยชน์ คำสั่งที่ซ้ำซาก วงจรเอเจนต์ที่ล้มเหลว และผลลัพธ์ที่ไร้ประโยชน์ ล้วนทำให้ตัวเลขนี้เพิ่มขึ้น โดยไม่สร้างผลลัพธ์ใด ๆ เลย

เอเยนต์ AIทำให้สถานการณ์นี้แย่ลง เอเยนต์จะอ่านบริบท เรียกใช้เครื่องมือ ตรวจสอบงานของตัวเอง และส่งงานให้เอเยนต์อื่น ๆ ทุกขั้นตอนล้วนใช้โทเคน แม้กิจกรรมที่มากขึ้นอาจหมายถึงงานที่มีประโยชน์มากขึ้น แต่ก็อาจนำไปสู่กระบวนการทำงานที่ไม่มีประสิทธิภาพและค่าใช้จ่ายที่เพิ่มขึ้นได้เช่นกัน

พูดอย่างง่ายๆ จุดอ่อนหลักของ tokenmaxxing คือทีมต่างๆ พยายามเพิ่มตัวเลขที่ปรากฏให้เห็นให้สูงสุด ในขณะที่ประสิทธิภาพ คุณภาพ และผลตอบแทนจากการลงทุนยังคงไม่เปลี่ยนแปลง

Tokenmaxxing ได้รับความนิยมเพราะผู้บริหารต้องการตัวเลขเพื่อพิสูจน์ว่าการนำ AI มาใช้ในบริษัทกำลังเกิดขึ้นจริง และการใช้โทเคนเป็นตัวชี้วัดเดียวที่ปรากฏในคอนโซลการเรียกเก็บเงิน

Jensen Huangซีอีโอของ Nvidia ได้กำหนดทิศทางตั้งแต่ต้นปี 2026 ในรายการ All-In Podcast ด้วยการทดลองทางความคิดเกี่ยวกับค่าใช้จ่ายโทเคนของวิศวกรที่มีรายได้สูง

“หากวิศวกรที่มีค่าจ้าง $500,000 นั้นไม่ใช้โทเคนมูลค่าอย่างน้อย $250,000 ผมจะรู้สึกกังวลอย่างยิ่ง” เขากล่าว และหากคำตอบที่ได้คือ $5,000? เขาจะโกรธจัด

“หากวิศวกรที่มีค่าจ้าง $500,000 นั้นไม่ใช้โทเคนมูลค่าอย่างน้อย $250,000 ผมจะรู้สึกกังวลอย่างยิ่ง” เขากล่าว และหากคำตอบที่ได้คือ $5,000? เขาจะโกรธจัด

การใช้ AI ได้กลายเป็นตัวชี้วัดที่ชัดเจนว่าใครกำลังตามทันความเปลี่ยนแปลง สิ่งนี้เกิดขึ้นในช่วงเวลาที่คำถามเกี่ยวกับบทบาทใดที่ AI จะเข้ามาแทนที่ กำลังถูกหยิบยกขึ้นในทุกการประชุมวางแผน วิศวกรที่ใช้โทเคนดูเหมือนกำลังปรับตัวเข้ากับรูปแบบใหม่ ในขณะที่ผู้ที่ไม่ได้ใช้โทเคนมีความเสี่ยงที่จะถูกมองว่าเป็นปัญหา

นี่คือความขัดแย้งที่น่าขัน: บอร์ดจัดอันดับโทเคนแรกนั้นไม่เคยถูกออกแบบมาเพื่อเป็นการแข่งขัน Shopify สร้างมันขึ้นเพื่อเข้าใจว่าทำไมลูกค้าหลักของพวกเขาจึงใช้จ่ายมากถึงขนาดนั้น ไม่ใช่เพื่อจัดอันดับให้พวกเขาแข่งขันกันเองFarhan Thawarรองประธานและหัวหน้าฝ่ายวิศวกรรม ได้อธิบายในภายหลังว่าเครื่องมือนี้พัฒนาขึ้นอย่างไร

บริษัทได้เปลี่ยนชื่อมันเป็น “แผงควบคุมการใช้งาน” เพิ่มระบบตัดวงจรและแจ้งเตือนการใช้จ่าย และใช้ข้อมูลดังกล่าวเพื่อตรวจจับเอเจนต์ที่ทำงานเกินควบคุมและข้อผิดพลาดในโครงสร้างพื้นฐาน Farhan ได้เขียนว่า:

Tokenmaxxing เป็นหัวข้อที่ร้อนแรง การใช้มากขึ้นไม่ได้หมายความว่าดีกว่า เราได้สร้างกระดานจัดอันดับโทเคน AI ตัวแรก จากนั้นเราได้พัฒนาแนวคิดของเรา มันกลายเป็นแดชบอร์ดการใช้งาน ข้อมูลเดียวกันแต่ในกรอบที่ต่างกัน เราได้เพิ่มระบบตัดวงจรและจุดสูงสุดของการใช้จ่าย จับเอเจนต์ที่หลุดควบคุมได้ และพบข้อบกพร่องในโครงสร้างพื้นฐานของเราเอง สัญญาณที่แท้จริงคือ: ไม่ใช่ผู้ที่ใช้จ่ายมากที่สุด แต่เป็นผู้ที่โทเคนของพวกเขาสร้างผลกระทบมากที่สุด นั่นคือวิศวกรที่ผมอยากพูดคุยด้วย

Tokenmaxxing เป็นหัวข้อที่ร้อนแรง การใช้มากขึ้นไม่ได้หมายความว่าดีกว่า เราได้สร้างกระดานจัดอันดับโทเคน AI เป็นครั้งแรก จากนั้นเราได้พัฒนาแนวคิดของเรา มันกลายเป็นแดชบอร์ดการใช้งาน ข้อมูลเดียวกันแต่ในกรอบที่ต่างกัน เราได้เพิ่มระบบตัดวงจรและจุดสูงสุดของการใช้จ่าย จับเอเจนต์ที่หลุดควบคุมได้ และพบข้อบกพร่องในโครงสร้างพื้นฐานของเราเอง สัญญาณที่แท้จริงคือ: ไม่ใช่ผู้ที่ใช้จ่ายมากที่สุด แต่เป็นผู้ที่โทเคนของพวกเขาสร้างผลกระทบมากที่สุด นั่นคือวิศวกรที่ผมอยากพูดคุยด้วย

บริษัทส่วนใหญ่ที่ลอกเลียนแบบตารางอันดับของ Shopify ได้ใช้มันเพื่อจัดอันดับพนักงานแทนที่จะตรวจสอบการใช้จ่ายด้าน AI ตารางด้านล่างแสดงให้เห็นว่าสิ่งนี้เกิดขึ้นอย่างไรในแต่ละบริษัท

บริษัทกลไกการทำงานสิ่งที่เกิดขึ้นต่อมา
Shopify bảngจัดอันดับโทเคนแรกที่รู้จักกันดี ซึ่งใช้เพื่อตรวจสอบผู้ใช้จ่ายสูงเปลี่ยนชื่อเป็น “แผงควบคุมการใช้งาน” พร้อมเพิ่มระบบตัดวงจรเพื่อควบคุมเอเจนต์ที่ทำงานเกินควบคุม
Meta“Claudeonomics” คือ bảngจัดอันดับที่สร้างขึ้นโดยพนักงานเอง ซึ่งจัดอันดับ 250 คนชั้นนำจากพนักงานกว่า 85,000 คน พร้อมด้วยชื่อตำแหน่งเช่น “Token Legend”60. 2 ล้านล้านโทเคนใน 30 วัน; ถูกปิดตัวลงภายในไม่กี่วันหลังจากมีข่าวในสื่อ
AmazonKirorank เป็นกระดานจัดอันดับไม่เป็นทางการที่ให้คะแนนนักพัฒนาตามกิจกรรมบน Kiro AI โดยใช้ PhoneTool badges เป็นรางวัลพนักงานได้มอบงานที่ไร้ความสำคัญและถูกสร้างขึ้นอย่างเทียมเท็จให้กับเอเจนต์ และbảngอันดับก็ถูกยกเลิก
Uberไม่มีตารางอันดับ; Claude Code ได้ถูกนำออกใช้กับวิศวกรประมาณ 5,000 คนงบประมาณ AI ประจำปีหมดภายในสี่เดือน ตามมาด้วยขีดจำกัดการใช้ $1,500 ต่อเดือนต่อเครื่องมือ
WalmartCode Puppy, ตัวแทน AI ภายในองค์กรที่มีโทเคนไม่จำกัดในขั้นต้นกำหนดวงเงินโทเคนคงที่ต่อพนักงาน หลังจากที่คำขอซ้ำซ้อนทำให้ค่าใช้จ่ายเพิ่มสูงขึ้น

รูปแบบในตารางนี้มีความสม่ำเสมอ องค์กรที่ใช้ข้อมูลโทเคนเพื่อตรวจสอบการใช้จ่ายสูงยังคงรักษาสัญญาณการทำงานได้ ส่วนองค์กรอื่น ๆ ที่ใช้ข้อมูลนี้เพื่อจัดอันดับพนักงาน ได้สูญเสียสัญญาณนั้นภายในหนึ่งไตรมาส

วิศวกรได้เพิ่มปริมาณการใช้โทเคนของตนเองอย่างไร?

วิศวกรได้เพิ่มปริมาณการใช้โทเคนของตนเองขึ้นโดยการสร้างกิจกรรม AI ที่มีค่าใช้จ่ายสูง ซึ่งพวกเขาไม่เคยมีแผนจะนำออกใช้งานจริง The Pragmatic Engineer ได้รายงานเกี่ยวกับพฤติกรรมนี้ที่ Meta, Microsoft และ Salesforce และพบว่ามีสี่กลยุทธ์ที่พบบ่อย ซึ่งไม่มีกลยุทธ์ใดที่มีเจตนาร้าย ผู้คนเพียงแต่เห็นตัวเลขที่ชัดเจน กังวลเรื่องการถูกเลิกจ้าง และสันนิษฐานว่าการใช้ AI อย่างหนักจะช่วยปกป้องพวกเขา:

  • การถามเอเจนต์ด้วยคำถามที่ไม่จำเป็น: วิศวกรได้ถาม AI เกี่ยวกับโค้ดที่ได้รับการบันทึกไว้ในเอกสารแล้ว โมเดลได้อ่านเอกสารดังกล่าวและให้คำตอบที่ซ้ำซากและผิดพลาด พร้อมทั้งใช้โทเคนในปริมาณมาก
  • การสร้างต้นแบบแบบใช้แล้วทิ้ง: พวกเขาสร้างฟีเจอร์ที่ตัวเองไม่เคยต้องการใช้เลย, ดำเนินการอีกไม่กี่รอบ, แล้วลบสาขาไป
  • การใช้เอเจนต์สำหรับทุกสิ่ง: พวกเขาได้มอบงาน AI ที่สามารถทำเสร็จได้เร็วกว่าด้วยมือให้เอเจนต์ แต่กลับทำให้การใช้งานเพิ่มขึ้น
  • การเรียกใช้เอเจนต์แบบขนาน: พวกเขาตั้งค่าเอเจนต์หลายตัวเพื่อตรวจสอบและอภิปรายงานของกันและกัน ซึ่งสร้างบันทึกยาว แต่ไม่สร้างซอฟต์แวร์ที่ทำงานได้

วิศวกรหลายคนได้ตรวจสอบว่าเพื่อนร่วมงานของพวกเขาใช้ทรัพยากรเท่าใด จากนั้นพวกเขาจึงใช้ทรัพยากรเพียงพอที่จะอยู่เหนือค่าเฉลี่ยเล็กน้อย มากกว่าการต้องการอยู่ในอันดับต้นๆ พวกเขาไม่ต้องการถูกชี้ว่าใช้ AI ไม่เพียงพอ

ที่ Amazon พนักงานได้มอบหมายงานที่ไม่สำคัญและงานที่สร้างขึ้นเองให้กับเอเย่นต์ AI เพื่อเพิ่มคะแนน Kirorank ของตนเอง สิ่งนี้ทำให้ค่าใช้จ่ายด้านคลาวด์เพิ่มขึ้นโดยไม่สร้างผลลัพธ์ทางธุรกิจใดๆ เมื่อ Amazon ยกเลิกกระดานจัดอันดับ รองประธานอาวุโส Dave Treadwell ได้บอกกับพนักงานว่าระบบนี้ถูกสร้างขึ้นด้วยเจตนาที่ดี จากนั้นเขาได้ถามอย่างตรงไปตรงมาว่า “โปรดอย่าใช้ AI เพียงเพื่อใช้ AI เท่านั้น”

เป็นส่วนหนึ่งของความเปลี่ยนแปลงนี้ Amazon ตอนนี้ติดตามว่าโค้ดที่สร้างโดย AI ทำงานได้และสร้างมูลค่าหรือไม่ การใช้โทเคนไม่ใช่ความสำคัญหลักของบริษัท

Tokenmaxxing ทำให้บริษัทต้องเสียค่าใช้จ่ายเท่าไร?

Tokenmaxxing น่าจะทำให้ Meta ต้องเสียค่าใช้จ่ายมากกว่า 100 ล้านดอลลาร์ในเพียงหนึ่งเดือน และใช้หมดงบประมาณ AIประจำปีของ Uber ภายในสี่เดือน การประมาณการของ Meta มาจากการคำนวณทางคณิตศาสตร์อย่างง่าย ตามราคา API ของ Claude Opus (ในช่วงที่ข่าวนี้ถูกเผยแพร่) 60.2 ล้านล้านโทเคนจะมีค่าใช้จ่ายประมาณ 900 ล้านดอลลาร์ บริษัทขนาด Meta มักจะเจรจาต่อรองเพื่อรับส่วนลดสูง แต่แม้จะลดราคาแล้ว ค่าใช้จ่ายก็อาจสูงถึงเก้าหลัก

Uber ให้ภาพที่ชัดเจนที่สุดเกี่ยวกับค่าใช้จ่าย เนื่องจากบริษัทนี้ไม่เคยจัดอันดับผู้ใช้เลย บริษัทได้มอบเครื่องมือเขียนโค้ดแบบ agentic ให้วิศวกรประมาณ 5,000 คน โดยไม่มีโมเดลค่าใช้จ่าย ภายในหนึ่งเดือน สัดส่วนของวิศวกรที่จัดประเภทเป็นผู้ใช้ agenticเพิ่มขึ้นจาก 32% เป็น 84% งบประมาณประจำปีทั้งหมดหมดลงภายในสี่เดือน

CTO ของบริษัท Praveen Neppalli Naga ยอมรับว่าบริษัทต้อง “กลับไปเริ่มต้นใหม่” ในเรื่องสมมติฐานต่างๆ ค่าใช้จ่ายรายเดือนต่อวิศวกรแต่ละคนอยู่ระหว่าง $500 ถึง $2,000 และวิธีแก้ไขก็ตรงไปตรงมา: กำหนดเพดานค่าใช้จ่ายรายเดือนที่ $1,500ต่อเครื่องมือเขียนโค้ด และต่อวิศวกรแต่ละคน

เมื่อวิศวกรที่ทำงานคล้ายกันใช้ค่าใช้จ่ายที่แตกต่างกันมาก ความแตกต่างนี้แสดงให้เห็นว่าไม่มีใครกำหนดไว้ว่า “การใช้งานที่ดี” ควรเป็นอย่างไร ดังนั้นแต่ละวิศวกรจึงสร้างนิยามของตัวเองขึ้นมา Andrew Macdonald COO ของ Uber ยอมรับประเด็นนี้โดยให้สัมภาษณ์กับ Fortuneว่า “ยากมากที่จะกำหนดเส้นแบ่ง” ระหว่างโค้ดที่ได้รับการสนับสนุนจาก AI กับฟีเจอร์ที่มีประโยชน์ซึ่งถูกส่งมอบจริง

รายงาน AI Impact Report ของ LeadDev พบว่า มีเพียง19% ของผู้นำด้านวิศวกรรมที่ประเมินว่า Tokenmaxxing มีประสิทธิภาพ ส่วน 57% ในจำนวนนั้นระบุว่าวิธีการนี้ไม่สามารถวัดค่าจริงได้

นี่คือเหตุผลที่เงินเคลื่อนที่เร็วมาก: ผู้พัฒนาที่วางแผนเปลี่ยนแปลงโค้ดจะอ่านรีโพสิตอรี เรียกใช้เครื่องมือ ดำเนินการทดสอบ และลองใหม่จนกว่าจะสำเร็จ วงจรเดียวสามารถใช้โทเคนได้หลายหมื่นโทเคน และการอ่านแคชคำสั่ง (prompt-cache) ยังทำให้จำนวนนั้นเพิ่มขึ้นอีก

ทีมการเงินได้จัดงบประมาณสำหรับ AI เหมือนกับว่าเป็นใบอนุญาตใช้งานแบบที่นั่ง แต่ในความเป็นจริง มันทำงานเหมือนกับการประมวลผลบนคลาวด์ ช่องว่างทางบัญชีเดียวกันนี้เกิดขึ้นเมื่อทีมจัดตั้งระบบ AI จากผู้ให้บริการหลายราย โดยไม่กำหนดให้ใครเป็นผู้รับผิดชอบค่าใช้จ่าย นี่คือรูปแบบความล้มเหลวที่คล้ายกับการขยายตัวของเครื่องมือที่ไม่ได้รับการจัดการ แต่เกิดขึ้นในระดับที่สูงขึ้นหนึ่งขั้น

Tokenminning คืออะไร?

Tokenminning คือวิธีการลดการบริโภคโทเคน AI ให้ต่ำที่สุด และถือว่าการใช้งานน้อยเป็นเป้าหมายหลัก เช่นที่เราได้กล่าวไว้ในส่วนแนะนำ นี่เป็นความแก้ไขที่เกินตัว และให้ผลลัพธ์ที่แย่ไม่ต่างกัน ชื่อนี้ย่อมาจาก ‘token minimizing’ และเกิดขึ้นเพื่อแก้ไขปัญหาของ tokenmaxxing หนังสือพิมพ์ TheNew York Timesได้รายงานถึงการเปลี่ยนแปลงนี้ในหลายบริษัท

Meta แจ้งพนักงานว่าจะจำกัดการใช้ AI หลังจากค่าใช้จ่าย “เพิ่มขึ้นแบบทวีคูณ” Uber กำหนดเพดานการใช้จ่ายรายเดือน Walmart ตั้งขีดจำกัดการใช้เครื่องมือ และทั้ง Amazon และ Meta ต่างก็ปิดกระดานจัดอันดับลง ภายในไม่กี่สัปดาห์ บริษัทเดียวกันที่เคยยกย่องผู้ใช้ AI มากที่สุด กลับต้องสอนทุกคนให้ใช้อย่างประหยัด

การปรับแก้ครั้งนี้กำลังทำซ้ำข้อผิดพลาดที่มันตั้งใจจะแก้ไขกฎของ Goodhart อธิบาย เรื่องนี้ได้ดีที่สุด: เมื่อตัวชี้วัดกลายเป็นเป้าหมาย มันจะหยุดเป็นตัวชี้วัดที่ดี ดังนั้น หากคุณตั้งการใช้โทเคน AI เป็นเป้าหมาย ผู้คนจะหาวิธีเพิ่มประสิทธิภาพให้สอดคล้องกับตัวชี้วัดนั้น แม้จะต้องแลกมาด้วยการบั่นทอนเจตนารมณ์เดิม กฎของ Goodhart เตือนให้ระวังทั้ง Tokenmaxxing และ Tokenminning

ให้รางวัลทีมสำหรับการเผาโทเคน และทีมนั้นจะเผาโทเคนที่มันไม่ต้องการ แต่หากให้รางวัลทีมสำหรับการเก็บโทเคน ทีมนั้นจะข้ามการรัน AI ที่อาจตรวจพบข้อผิดพลาด หรือจะแบ่งเซสชันที่ละเอียดหนึ่งครั้งออกเป็นสามเซสชันที่ประหยัดค่าใช้จ่าย แต่แต่ละเซสชันจะให้คำตอบที่ตื้นกว่า ทั้งสองทีมจะบรรลุเป้าหมายการใช้โทเคน แต่คุณภาพงานจริงกลับแย่ลง

การควบคุมค่าใช้จ่ายเองไม่ใช่ข้อผิดพลาด เช่น ในตัวอย่างของ Uber การกำหนดเพดานค่าใช้จ่ายรายเดือนที่ 1,500 ดอลลาร์เป็นการตัดสินใจด้านงบประมาณ หลังจากที่บริษัทใช้เงินงบประมาณทั้งปีหมดภายในสี่เดือน แต่การตั้งขีดจำกัดการใช้จ่ายนั้นแก้ปัญหาด้านการเงินได้เท่านั้น มันไม่ได้ตอบคำถามว่าโทเคนที่ซื้อมาได้สร้างประโยชน์อะไรหรือไม่

ทางออกคือการแยกสองประเภทของตัวเลข: สัญญาณที่คุณติดตาม และผลลัพธ์ที่คุณตั้งเป้าหมาย การใช้โทเคน อัตราการรับใช้ และสัดส่วนของโค้ดที่เขียนโดย AI เป็นสัญญาณที่แสดงถึงสิ่งที่กำลังเกิดขึ้นภายในระบบ สัญญาณเหล่านี้มีประโยชน์เมื่อคุณกำลังตรวจสอบปัญหา แต่ไม่เหมาะที่จะใช้เป็นเป้าหมาย เพราะแต่ละตัวสามารถเปลี่ยนแปลงได้มากโดยที่ลูกค้าไม่สังเกตเห็นความแตกต่างใดๆ

องค์กรควรมุ่งเน้นไปที่ผลลัพธ์แทน โดยใช้หลักการเดียวกันกับชุดตัวชี้วัดประสิทธิภาพ (KPI) ในการพัฒนาซอฟต์แวร์ที่ออกแบบมาอย่างดี: เชื่อมโยงสัญญาณเบื้องต้นกับผลลัพธ์ที่มันควรคาดการณ์ได้ แดชบอร์ดการแปลงเป็นลูกค้าของ Shopify เป็นตัวอย่างที่ดี: ใช้ข้อมูลเดียวกัน แต่ไม่มีอันดับผู้นำใด ๆ ที่ผูกติดกับมัน

Neil Dhar รองประธานอาวุโสของ IBM Consulting ได้อธิบายในบทความเกี่ยวกับค่าใช้จ่ายของ AI ว่าความสับสนนี้แพร่กระจายไปอย่างไร

#Tokenmaxxing ได้กลายเป็นหัวข้อหลักในข่าวสารช่วงนี้ การผลักดันขององค์กรให้ใช้ AI มากเท่าที่เป็นไปได้ และเร็วที่สุดเท่าที่จะทำได้ โดยเปลี่ยนการใช้งานให้เป็นตัวชี้วัดมูลค่า แต่ตอนนี้ถึงเวลาที่ต้องจ่ายค่าแล้ว เมื่อค่าใช้จ่าย AI เกินผลตอบแทน ความคิดแรกคือลดค่าใช้จ่าย แต่การลดค่าใช้จ่ายเพียงอย่างเดียวจะไม่แก้ไขปัญหา ROI ที่อยู่เบื้องหลังได้

#Tokenmaxxing ได้กลายเป็นหัวข้อหลักในข่าวสารช่วงนี้ การผลักดันขององค์กรให้ใช้ AI มากเท่าที่ทำได้ และเร็วที่สุดเท่าที่จะทำได้ โดยเปลี่ยนการใช้งานให้เป็นตัวชี้วัดมูลค่า แต่ตอนนี้ถึงเวลาที่ต้องจ่ายค่าแล้ว เมื่อค่าใช้จ่าย AI เกินผลตอบแทน ความคิดแรกคือลดค่าใช้จ่าย แต่การลดค่าใช้จ่ายเพียงอย่างเดียวจะไม่สามารถแก้ไขปัญหา ROI ที่อยู่เบื้องหลังได้

ตาม IBM วิธีแก้ไขคือถือการใช้งานเป็นสัญญาณ และจับคู่กับผลลัพธ์ที่ระบบไม่สามารถปลอมแปลงได้

การใช้โทเคนมากขึ้นหมายความว่าประสิทธิภาพการทำงานสูงขึ้นหรือไม่?

ไม่ การใช้โทเคนในระดับสูงไม่ได้หมายความถึงประสิทธิภาพการทำงานที่สูง ชุดข้อมูลขนาดใหญ่ที่สุดที่มีอยู่แสดงให้เห็นว่าทั้งสองปัจจัยนี้เคลื่อนไหวอย่างอิสระจากกัน การวิจัยจากแพลตฟอร์มข้อมูลนักพัฒนา DXพบว่าการนำAIมาใช้ใกล้ถึงจุดอิ่มตัวในขณะที่การเพิ่มขึ้นของประสิทธิภาพการทำงานที่วัดได้ยังคงอยู่ในระดับเดิม

Laura Tacho CTO ของ DX ได้เปิดเผยข้อมูลตัวเลขดังกล่าวโดยในหมู่ผู้พัฒนา92.6% ใช้ผู้ช่วยเขียนโค้ด AI อย่างน้อยเดือนละครั้ง และประมาณ 75% ใช้สัปดาห์ละครั้ง AI เขียนโค้ดในขั้นตอนการผลิตได้ 26.9% อย่างไรก็ตาม เวลาที่ประหยัดได้จากการรายงานของผู้ใช้เองยังคงอยู่ที่ประมาณ 4 ชั่วโมงต่อสัปดาห์มาตลอดกว่าหนึ่งปี และการเพิ่มประสิทธิภาพการทำงาน 10% ในขั้นต้นก็ไม่เคยเพิ่มขึ้นเลย

การใช้งานยังคงเพิ่มขึ้นอย่างต่อเนื่อง ในขณะที่ผลลัพธ์ยังคงไม่เปลี่ยนแปลง ตัวชี้วัดใดก็ตามที่ติดตามการใช้งานเพียงอย่างเดียว ได้รายงานความสำเร็จที่ไม่เคยเกิดขึ้นจริง

รายงาน DORA ของ Google Cloud อธิบายว่าทำไมเครื่องมือเดียวกันจึงให้ผลลัพธ์ที่แตกต่างกันมาก รายงานนี้พบว่าการนำAIมาใช้ช่วยเพิ่มความเร็วในการส่งมอบแต่กลับส่งผลเสียต่อความเสถียรในการส่งมอบ รายงานนี้อธิบายว่า AI ทำหน้าที่เหมือนเครื่องขยายเสียง: มันขยายจุดแข็งขององค์กรที่บริหารจัดการได้ดี และขยายจุดอ่อนขององค์กรที่กำลังประสบปัญหา

ข้อมูลของ DX เองแสดงให้เห็นว่าตัวขยายนี้ทำงานได้จริง ในกลุ่มนักพัฒนา 67,000 คน บางองค์กรพบว่าการเกิดเหตุการณ์ที่ส่งผลกระทบต่อลูกค้าเพิ่มขึ้นเป็นสองเท่า ในขณะที่องค์กรอื่น ๆ ลดลงเหลือครึ่งหนึ่ง โดยใช้เครื่องมือเดียวกันในช่วงเวลาเดียวกัน Tacho กำหนดความรับผิดชอบตามข้อมูลที่ชี้ให้เห็น:

นี่เป็นปัญหาด้านการบริหารจัดการจริงๆ ความฮือฮาทำให้ดูเหมือนว่าการลองใช้ AI จะให้ผลตอบแทนโดยอัตโนมัติ แต่จนถึงขณะนี้ เครื่องมือส่วนใหญ่ยังถูกใช้สำหรับงานเขียนโค้ดแบบรายบุคคลเท่านั้น เพื่อเห็นผลกระทบที่แท้จริง เราจำเป็นต้องใช้ AI ในระดับองค์กร ไม่ใช่เพียงสำหรับงานเดี่ยวๆ

นี่เป็นปัญหาด้านการบริหารจัดการจริงๆ ความฮือฮาทำให้ดูเหมือนว่าการลองใช้ AI จะให้ผลตอบแทนโดยอัตโนมัติ แต่จนถึงขณะนี้ เครื่องมือส่วนใหญ่ยังถูกใช้สำหรับงานเขียนโค้ดแบบรายบุคคลเท่านั้น เพื่อเห็นผลกระทบที่แท้จริง เราจำเป็นต้องใช้ AI ในระดับองค์กร ไม่ใช่เพียงสำหรับงานเดี่ยวๆ

มีปัญหาอีกประการหนึ่งซ่อนอยู่เบื้องหลังปัญหาแรก: ผู้คนมักประเมินความเร็วในการทำงานที่ AI ช่วยเพิ่มให้ตัวเองผิดไป ห้องปฏิบัติการวิจัยไม่แสวงหาผลกำไร METR ได้ดำเนินการทดลองแบบสุ่มควบคุม (randomized controlled trial) นักพัฒนาโอเพนซอร์สที่มีประสบการณ์ 16 คน ได้แก้ไขปัญหาจริง 246 รายการในรีโพสิตอรีที่พวกเขาดูแลมาโดยเฉลี่ย 5 ปี ก่อนเริ่มงาน นักพัฒนาคาดการณ์ว่า AI จะทำให้พวกเขาทำงานเร็วขึ้น 24% แต่หลังจากเสร็จสิ้นงาน พวกเขาประเมินว่า AI ทำให้พวกเขาทำงานเร็วขึ้นประมาณ 20% ขณะที่นาฬิกาจับเวลาแสดงว่าพวกเขาทำงานช้าลง 19%

มีปัญหาอีกประการหนึ่งซ่อนอยู่เบื้องหลังปัญหาแรก: ผู้คนมักประเมินความเร็วในการทำงานของ AI ที่ตนเองได้รับผิดพลาด ห้องปฏิบัติการวิจัยไม่แสวงหาผลกำไร METR ได้ดำเนินการทดลองแบบสุ่มควบคุม (randomized controlled trial) นักพัฒนาโอเพนซอร์สที่มีประสบการณ์ 16 คน ได้แก้ไขปัญหาจริง 246 รายการในรีโพสิตอรีที่พวกเขาดูแลมาโดยเฉลี่ย 5 ปี ก่อนเริ่มงาน นักพัฒนาคาดการณ์ว่า AI จะทำให้พวกเขาทำงานเร็วขึ้น 24% แต่หลังจากเสร็จสิ้น พวกเขาประเมินว่า AI ทำให้พวกเขาทำงานเร็วขึ้นประมาณ 20% ขณะที่นาฬิกาจับเวลาแสดงว่าพวกเขาทำงานช้าลง 19%

ในอัปเดตต่อมา ห้องทดลองได้อธิบายว่า การทดลองครั้งต่อไปของพวกเขาได้เผชิญกับผลกระทบจากการเลือกตัวอย่าง (selection effects) ที่ไม่สามารถแก้ไขได้ นอกจากนี้ ยังระบุว่า นักพัฒนาในปัจจุบันมีแนวโน้มที่จะทำงานได้เร็วขึ้นอย่างแท้จริงด้วย AI ซึ่งส่วนใหญ่เป็นผลมาจากเครื่องมือแบบเอเจนต์ สิ่งที่ยังคงอยู่: ประสิทธิภาพการทำงานที่รายงานด้วยตนเองไม่สามารถแทนที่ประสิทธิภาพการทำงานที่วัดได้ และช่องว่างระหว่างทั้งสองสามารถเกิดขึ้นได้ทั้งสองทิศทาง

คุณควรวัดอะไรแทนการใช้โทเคน?

แทนที่จะวัดการใช้งานโทเคน ให้วัดผลลัพธ์ในระดับทีมและระดับองค์กรแทน ให้ถือการใช้งานโทเคนเป็นสัญญาณค่าใช้จ่ายที่ไม่ได้ใช้เพื่อจัดอันดับใคร สิ่งที่สำคัญคือผลลัพธ์ที่สร้างขึ้น

กฎปฏิบัติหนึ่งข้อที่ควรยึดถือ: จับคู่ทุกสัญญาณที่คุณเผยแพร่กับผลลัพธ์ที่สัญญาณนั้นไม่สามารถทำให้ดูดีขึ้นได้ ทีมสามารถเผาโทเคนได้โดยไม่ต้องส่งมอบอะไรเลย แต่ไม่สามารถปลอมแปลงให้อัตราการล้มเหลวในการเปลี่ยนแปลงที่ลดลงได้

ตัวชี้วัดประเภทวิธีใช้งาน
จำนวนโทเคนที่ทีมแต่ละทีมใช้Signalระวังการพุ่งขึ้นของค่าใช้จ่ายและวงจรเอเจนต์ที่ควบคุมไม่ได้; อย่าจัดอันดับบุคคลตามคะแนนนี้
อัตราการนำเครื่องมือ AI มาใช้Signalตรวจสอบว่าการเปิดตัวได้ถึงผู้ใช้แล้ว แล้วหยุดติดตามผล
เปอร์เซ็นต์ของโค้ดที่เขียนโดย AISignalบริบทสำหรับการวางแผนความจุในการตรวจสอบโค้ด
ปรับอัตราความล้มเหลวผลลัพธ์ลองใช้ร่วมกับข้ออ้างเรื่องความเร็วที่เพิ่มขึ้นใดๆ; ปัญหาจะปรากฏขึ้นที่นี่ก่อน
จำนวน pull request ที่ถูกรวมเข้าในแต่ละทีมผลลัพธ์เฉพาะระดับทีมเท่านั้น และเสมอสมดุลกับตัวชี้วัดคุณภาพ
คะแนนประสบการณ์ผู้พัฒนาผลลัพธ์ตรวจพบความเสียหายทางวัฒนธรรมก่อนที่พนักงานจะเริ่มลาออก
เปอร์เซ็นต์ของเวลาที่ใช้ไปกับความสามารถใหม่ผลลัพธ์เชื่อมโยงความพยายามด้านวิศวกรรมกับมูลค่าทางธุรกิจ

โครงสร้างนี้มาจากกรอบการวัดผลที่ผู้นำด้านวิศวกรรมเชื่อถืออยู่แล้ว DORA ครอบคลุมความเร็วในการส่งมอบและความเสถียร และผลการวิจัยที่พบว่าAI ช่วยเพิ่มประสิทธิภาพทั้งสองด้านนี้คือเหตุผลที่การจับคู่นี้มีความสำคัญ

DX Core 4วัดสี่มิติ ได้แก่ ความเร็ว ความมีประสิทธิภาพ คุณภาพ และผลกระทบต่อธุรกิจ Abi Noda และ Laura Tacho ได้พัฒนาระบบนี้ร่วมกับ Nicole Forsgren และ Margaret-Anne Storey ซึ่งเป็นนักวิจัยผู้อยู่เบื้องหลัง DORA, SPACE และ DevEx โดยทั้งสี่มิติถูกออกแบบให้ขัดแย้งกันโดยเจตนา

ทีมที่ปรับปรุงด้านหนึ่งโดยต้องเสียอีกด้านหนึ่งจะเผยให้เห็นการแลกเปลี่ยนนี้ทันที ทั้งสองกรอบงานนี้ไม่มีตัวชี้วัดโทเคน และยังไม่มีการเพิ่มตัวชี้วัดดังกล่าวเข้ามา

มีสามกฎที่ทำให้การจับคู่ทำงานได้จริงในทางปฏิบัติ:

  1. ควรรวมข้อมูลเสมอในระดับทีม เมื่อสัญญาณถูกผูกกับชื่อบุคคลใดบุคคลหนึ่ง มันจะกลายเป็นเป้าหมาย และยุคของตารางอันดับจะกลับมาภายในสปรินต์เดียว ทีมสามารถรับมือกับความแตกต่างในการใช้ AI ของสมาชิกได้ ส่วนบุคคลจะจัดการกับตัวเลขนั้นเอง
  2. อย่าแสดงสัญญาณใดโดยไม่มีผลลัพธ์ที่สอดคล้องกันในมุมมองเดียวกัน แดชบอร์ดที่แสดงการใช้โทเคนเพียงอย่างเดียวจะนำไปสู่การปรับแต่งที่ไม่จำเป็น แต่เมื่อแสดงการใช้โทเคนควบคู่กับอัตราการล้มเหลวของการเปลี่ยนแปลง จะนำไปสู่คำถามที่ดีกว่า: การใช้โทเคนนี้มีประสิทธิภาพหรือไม่?
  3. อย่าให้สัญญาณใด ๆ เข้ามาเกี่ยวข้องกับการประเมินผลการปฏิบัติงาน เมื่อตัวเลขการใช้งานมีผลต่อค่าตอบแทนหรือการเลื่อนตำแหน่ง กฎของกู๊ดฮาร์ต (Goodhart’s Law) จะเริ่มมีผล ไม่ว่าแรงจูงใจจะชี้ไปในทิศทางใด ใช้ข้อมูลการใช้งานเพื่อการสืบสวน ไม่ใช่เพื่อตัดสินคุณค่าส่วนบุคคล

ทำอย่างไรเพื่อกำหนดนโยบายการใช้งาน AI ที่พนักงานไม่สามารถบิดเบือนได้?

เพื่อกำหนดนโยบายการใช้ AI ที่พนักงานไม่สามารถบิดเบือนได้ ให้ลบตัวเลขที่มองเห็นได้ทั้งหมดออกจากอันดับของบุคคลนั้น และตัดสินใจ 5 ข้อดังต่อไปนี้:

1. กำหนดวัตถุประสงค์ของตัวเลขนั้นก่อนที่จะเริ่มเก็บข้อมูล

ทุกตัวชี้วัดในนโยบายจำเป็นต้องมีวัตถุประสงค์ที่เขียนไว้อย่างชัดเจนก่อนที่แดชบอร์ดแรกจะถูกปล่อยออกมา บอร์ดจัดอันดับของ Shopify ทำงานได้ดีในช่วงแรก ผู้นำใช้มันเพื่อเริ่มการสนทนากับลูกค้าที่ใช้จ่ายสูงเกี่ยวกับสิ่งที่พวกเขากำลังสร้าง ตัวเลขนั้นเปิดทางให้มีการสอบสวน แต่ทันทีที่ตัวเลขเดียวกันปิดการสอบสวนนั้นลง โดยสรุปผลเกี่ยวกับบุคคลแทนที่จะถามเกี่ยวกับงาน มันก็กลายเป็นคะแนน และคะแนนนั้นถูกจัดการ

เขียนลงสามข้อต่อแต่ละตัวชี้วัด:

  • ปัจจัยกระตุ้น: การเปลี่ยนแปลงใดในการใช้จ่ายโทเคนที่กระตุ้นให้ดำเนินการ (การเพิ่มขึ้น 3 เท่าเมื่อเทียบกับสัปดาห์ก่อน หรือทีมที่เพิ่มการใช้จ่ายเป็นสองเท่าของระดับพื้นฐาน)
  • ขั้นตอนการดำเนินการ: ใครถามอะไร และถามใคร (‘ผู้จัดการฝ่าย (EM) ถามทีมว่าพวกเขากำลังพัฒนาอะไร’ ไม่ใช่ ‘รายงานถูกส่งไปยังรองประธาน (VP)’)
  • สิ่งที่ไม่เกิดขึ้น: สิ่งที่ตัวเลขนี้จะไม่ถูกใช้เพื่ออะไรเลย ซึ่งได้ระบุไว้อย่างชัดเจน

นโยบายที่ไม่กำหนดการดำเนินการใดๆ กลับมีบทบาทสำคัญที่สุด เพราะพนักงานจะใช้นโยบายนั้นเป็นเกณฑ์ในการประเมินนโยบาย หากคำตอบที่ตรงไปตรงมาต่อคำถามว่า ‘จะเกิดอะไรขึ้นเมื่อค่าใช้จ่ายเพิ่มขึ้น’ เกี่ยวข้องกับตำแหน่งของใครก็ตาม คุณก็เท่ากับสร้างกระดานจัดอันดับที่มีขั้นตอนเพิ่มเติมแล้ว

2. กำหนดงบประมาณในระดับทีม

การใช้งบประมาณแบบทีมร่วมกันมาแทนที่ขีดจำกัดรายบุคคล และความแตกต่างนี้เกิดจากพฤติกรรม ไม่ใช่การบัญชี ความแตกต่างของค่าใช้จ่ายรายเดือนระหว่าง $500 ถึง $2,000 ของ Uber สำหรับวิศวกรที่ทำงานคล้ายกัน แสดงให้เห็นว่าสิ่งที่จะเกิดขึ้นเมื่อไม่มีจุดอ้างอิงร่วมกัน ทุกคนจะกำหนดนิยามของตัวเองว่าอะไรคือ "สมเหตุสมผล" งบประมาณแบบทีมทำงานในลักษณะเดียวกันกับความพยายามอื่น ๆ ที่มุ่งรวมค่าใช้จ่าย AI ที่กระจัดกระจายมาไว้ในที่เดียวที่สามารถตรวจสอบได้

Envelope ให้คุณได้สามสิ่งที่การจำกัดจำนวนต่อคนไม่สามารถให้ได้:

  • Elasticity: การย้ายระบบที่มีค่าใช้จ่ายสูงจริง ๆ อาจใช้ทรัพยากรมากขึ้นในเดือนนี้ ในขณะที่การสปรินต์ตามปกติจะใช้ทรัพยากรน้อยลง
  • ความปลอดภัยทางจิตวิทยา: ไม่มีใครอ่านรายการประเมินของตนเองเหมือนการประเมินผลการทำงาน เพราะไม่มีรายการใดที่มีชื่อของพวกเขาปรากฏอยู่
  • การกำกับดูแลตนเอง: การใช้จ่ายที่เกินตัวจะถูกทีมเองตรวจพบ เนื่องจากงบประมาณถูกแบ่งปันและทุกคนในกลุ่มสามารถเห็นได้

กำหนดขอบเขตงบประมาณแรกจากข้อมูลที่สังเกตได้ โดยใช้ค่าเฉลี่ยสามเดือนล่าสุดของทีม และเพิ่มพื้นที่สำรองสำหรับโครงการที่มีค่าใช้จ่ายสูงหนึ่งโครงการ ขอบเขตงบประมาณที่กำหนดด้วยการคาดเดาจะถูกฝ่าฝืนในสัปดาห์ที่สอง ซึ่งทำให้ทุกคนเข้าใจว่านโยบายดังกล่าวเป็นเพียงรูปแบบเท่านั้น

3. ทำให้เส้นทางที่มีค่าใช้จ่ายสูงกลายเป็นที่มองเห็นได้

แสดงค่าใช้จ่ายของการรันแต่ละครั้งให้วิศวกรทราบ แทนที่จะกำหนดขีดจำกัดสูงสุดของงบประมาณที่พวกเขาสามารถใช้ได้ การรันแบบ Agentic ที่วนซ้ำเมื่อการทดสอบล้มเหลวคือจุดที่งบประมาณถูกใช้จนหมด ทำให้การกำหนดขีดจำกัดสูงสุดกลายเป็นประเด็นสำคัญ อีกทางเลือกหนึ่งคือการแสดงค่าใช้จ่ายต่อการรันให้วิศวกรที่เรียกใช้การรันนั้นทราบ โดยไม่ต้องรายงานค่าใช้จ่ายดังกล่าวขึ้นไปยังระดับบน

วิศวกรที่เห็นวงจรการลองใหม่ (retry loop) ทำให้เสียเงิน $40 จะแก้ไขวงจรนั้น แต่ในทางตรงกันข้าม วิศวกรที่กลัวรายงานจะหยุดใช้เอเจนต์ไปเลย โดยไม่คำนึงถึงกรณีที่การรันที่มีค่าใช้จ่ายสูงนั้นเป็นการตัดสินใจที่ถูกต้อง

กลไกตัดวงจรของ Shopify ทำงานดังนี้: ระบบจะตรวจจับความผิดปกติ และผู้ที่เกี่ยวข้องกับงานนั้นโดยตรงจะเป็นผู้ตัดสินใจว่าจะดำเนินการอย่างไร การมองเห็นข้อมูลช่วยปรับเปลี่ยนพฤติกรรมได้เร็วกว่าการตั้งขีดจำกัด และยังคงรักษาการทำงานที่ค่าใช้จ่ายสูงแต่ถูกต้องไว้ได้ เมื่องานนั้นคุ้มค่ากับค่าใช้จ่าย

4. แยกเป้าหมายการนำ AI มาใช้ออกจากกระบวนการประเมินผลการทำงาน

เขียนข้อตกลงการแยกทางลงเป็นลายลักษณ์อักษร เพราะคำรับรองด้วยวาจาไม่สามารถอยู่รอดได้ผ่านรอบการเลิกจ้าง วิศวกรของ Microsoft ที่เล่าให้ The Pragmatic Engineerฟังว่าเขาได้เพิ่มตัวเลขเมตริกการใช้งานของตัวเองไม่ได้ทำไปเพื่อรับรางวัล แต่เพื่อหลีกเลี่ยงการถูกติดป้ายในปีที่มีการเลิกจ้างที่เชื่อมโยงกับ AI

หากผู้คนเชื่อว่าข้อมูลการใช้งานจะถูกนำไปใช้ในการประชุมปรับเทียบ พวกเขาจะจัดการข้อมูลนั้น ไม่ว่าใครจะพูดอะไรออกมาอย่างเปิดเผยก็ตาม

ข้อความนโยบายต้องการเพียงสองบรรทัดเท่านั้น:

  • ข้อมูลการใช้งานสามารถถูกนำมาใช้ในบทสนทนาเกี่ยวกับประสิทธิภาพได้หรือไม่ (ใช่ หรือ ไม่ใช่ — ไม่ใช่ ‘ขึ้นอยู่กับบริบท’)
  • ข้อมูลนั้นถูกส่งไปที่ใด เพื่อไม่ให้ใครเติมช่องว่างด้วยความสันนิษฐานที่แย่กว่า

จากนั้นให้ให้ความสำคัญกับทั้งสองอย่าง วิศวกรคนแรกที่เห็นข้อมูลการใช้งานปรากฏขึ้นในการทบทวนจะบอกให้ทุกคนรู้ ซึ่งพิสูจน์ว่าตัวชี้วัดนั้นไม่จำเป็น

5. ตรวจสอบการจับคู่ทุกไตรมาส

ทุกไตรมาส ให้ถามว่าแต่ละตัวชี้วัดยังอธิบายผลลัพธ์ที่มันถูกจับคู่ด้วยได้หรือไม่ การกำหนดราคาของโมเดล พฤติกรรมการแคช และสถาปัตยกรรมของเอเจนต์ ล้วนเปลี่ยนแปลงเร็วกว่าวงจรการวางแผนประจำปี

วิธีที่ทีมต่าง ๆ นำ AI มาใช้ในการวางแผนและรายงานยังคงเปลี่ยนแปลงอยู่เสมอ จำนวนโทเคนที่เคยมีความหมายอย่างหนึ่งในเดือนมกราคม อาจมีความหมายที่ต่างออกไปในเดือนมิถุนายน หลังจากมีการลดราคาสองครั้งและการอัปเกรดเอเจนต์

การประเมินนี้ให้ผลลัพธ์ที่ตรงไปตรงมาตามแต่ละตัวชี้วัด: บางตัวชี้วัดยังคงคาดการณ์ผลลัพธ์คู่ได้ บางตัวชี้วัดจำเป็นต้องปรับเทียบใหม่ตามราคาใหม่ หรือบางตัวชี้วัดหยุดอธิบายอะไรไปเลยและถูกยกเลิกไปอย่างเงียบๆ ทีมต่างๆ มักต่อต้านการยกเลิกตัวชี้วัดมากที่สุด อย่างไรก็ตาม นี่เป็นเรื่องสำคัญ เพราะตัวชี้วัดที่ยังคงอยู่แม้จะสูญเสียความหมายไปแล้ว คือประเภทของตัวเลขที่ยุคของตารางอันดับถูกสร้างขึ้นบนพื้นฐานนั้นเอง

ข้อผิดพลาดที่ทีมมักทำเมื่อวัดระดับการนำ AI มาใช้

สี่ข้อผิดพลาดที่พบบ่อยที่สุด ได้แก่ การมองการนำเทคโนโลยีไปใช้เป็นการบรรลุเป้าหมายสุดท้าย การเชื่อถือข้อมูลการประหยัดเวลาที่รายงานโดยผู้ใช้เอง การเผยแพร่ตารางอันดับส่วนบุคคล และการวัดความเร็วโดยไม่วัดความเสถียร คุณสามารถระบุข้อผิดพลาดแต่ละข้อได้ก่อนที่จะก่อให้เกิดค่าใช้จ่ายสูง

1. การมองการนำเทคโนโลยีไปใช้อย่างแพร่หลายเป็นจุดหมายปลายทาง

แดชบอร์ดการเปิดตัวแสดงว่า 90% เสร็จสิ้น ผู้นำประกาศว่าโครงการ AI เสร็จสมบูรณ์ และไม่มีใครถามว่าอะไรเปลี่ยนแปลงในขั้นตอนต่อไป ข้อมูลของ DX ได้เปิดเผยกับดักนี้ในระดับใหญ่: อัตราการนำใช้ 92.6% แต่ประสิทธิภาพการทำงานยังคงอยู่ที่ 10% การนำใช้เพียงยืนยันว่าเครื่องมือได้ถึงมือผู้ใช้เท่านั้น แต่ไม่ได้บอกอะไรเกี่ยวกับสิ่งที่เครื่องมือเหล่านั้นได้เปลี่ยนแปลง

วิธีแก้ไข: เลิกใช้แผนภูมิการรับใช้เมื่อการเปิดตัวสิ้นสุดลง และแทนที่ด้วยระบบจับคู่สัญญาณและผลลัพธ์

2. การเชื่อถือข้อมูลการประหยัดเวลาที่ผู้ใช้รายงานเอง

ผลการสำรวจระบุว่าทีมประหยัดเวลาได้ 5 ชั่วโมงต่อสัปดาห์ แต่เวลาวงจรยังไม่เปลี่ยนแปลงในสองไตรมาสที่ผ่านมา การทดลองของ METR ชี้ให้เห็นว่าทำไมตัวเลขทั้งสองนี้จึงไม่สอดคล้องกัน: นักพัฒนาที่ทำงานช้าลงอย่างเห็นได้ชัดเมื่อใช้ AI ยังคงประเมินว่าความเร็วเพิ่มขึ้น 20% หลังจากนั้น สิ่งที่ผู้คนเชื่อกับสิ่งที่นาฬิกาบันทึกไว้เป็นการวัดสองแบบที่แตกต่างกัน

วิธีแก้ไข: เก็บแบบสำรวจไว้เพื่อประเมินประสบการณ์ของนักพัฒนา ซึ่งการรับรู้เป็นสิ่งสำคัญ ใช้ข้อมูลระบบเพื่อสนับสนุนข้ออ้างใดๆ ที่เกี่ยวข้องกับเวลา

3. การเผยแพร่ตารางอันดับส่วนตัวเพียงเพื่อความสนุก

มีใครสักคนสร้างมันขึ้นบนวิกิภายในบริษัทภายในเวลาเพียงครึ่งวัน ตั้งชื่อให้ฟังดูสนุกๆ และทีมก็สนุกกับมันอย่างจริงใจเป็นเวลาประมาณสามสัปดาห์ จากนั้นแรงจูงใจก็เข้ามามีบทบาท Meta’s Claudeonomics และ Amazon’s Kirorank ทั้งสองเริ่มต้นจากความสนุกแบบรากหญ้า แต่ทั้งสองบริษัทก็เลิกใช้งานมันไปเมื่อการเล่นเกมนั้นเริ่มเกินความสนใจ

วิธีแก้ไข: รวมข้อมูลลงสู่ระดับทีม หรืออย่าปล่อยให้ข้อมูลนั้นถูกเผยแพร่

4. การวัดความเร็วโดยไม่วัดความเสถียร

ปริมาณงานเพิ่มขึ้น ทุกคนต่างเฉลิมฉลอง แต่จำนวนเหตุการณ์กลับพุ่งสูงขึ้นในแดชบอร์ดของทีมอื่นรายงาน DORAได้ชี้ให้เห็นความขัดแย้งนี้อย่างชัดเจน: ความเร็วเพิ่มขึ้น แต่ความเสถียรกลับลดลง การแสดงตัวเลขทั้งสองนี้บนแดชบอร์ดที่แยกกัน ทำให้ปัญหานี้ไม่ปรากฏให้เห็น

วิธีแก้ไข: แสดงอัตราความล้มเหลวในการเปลี่ยนแปลงบนหน้าจอเดียวกันกับตัวชี้วัดความเร็วใด ๆ ไม่ใช่ในส่วนการตรวจสอบความน่าเชื่อถือที่แยกต่างหาก ซึ่งไม่มีใครนำมาอ้างอิงข้ามกัน

วิธีติดตามผลกระทบของ AI ใน ClickUp

แสดงข้อมูลที่ซับซ้อนด้วย ClickUp Dashboards และขอให้ ClickUp Brain ช่วยวิเคราะห์ข้อมูลให้คุณ
แสดงข้อมูลที่ซับซ้อนด้วย ClickUp Dashboards และขอให้ ClickUp Brain ช่วยวิเคราะห์ข้อมูลให้คุณเข้าใจ

เพื่อติดตามผลกระทบของ AI ใน ClickUp ให้วัดผลลัพธ์ควบคู่กับงานจริง: งานย่อย (tasks), สปรินต์ (sprints), และผลลัพธ์ที่ AI ควรช่วยเร่งความเร็วให้เสร็จเร็วขึ้น แดชบอร์ดโทเคนส่วนใหญ่ตั้งอยู่ในคอนโซลของผู้ให้บริการ ซึ่งห่างไกลจากงานที่มันอธิบาย การย้ายตัวชี้วัดผลลัพธ์เข้ามาในพื้นที่ทำงานจะช่วยลดช่องว่างนั้น

การจับคู่ระหว่างสัญญาณและผลลัพธ์จากขั้นตอนก่อนหน้าสามารถนำไปใช้กับแพลตฟอร์มได้โดยตรง:

  • ดูความเร็วและคุณภาพบนหน้าจอเดียว สร้างมุมมองในClickUp Dashboardsโดยวางการ์ดความเร็วสปรินต์ (sprint velocity), เวลาวงจร (cycle time), และการ์ดการไหลสะสม (cumulative flow) ข้างๆ รายการงานที่กรองไว้สำหรับงานที่ต้องทำใหม่ (rework) และการแก้ไขข้อผิดพลาด (bug fixes) การเพิ่มประสิทธิภาพความเร็วที่อ้างถึงและต้นทุนด้านคุณภาพที่เกี่ยวข้องจะไม่ถูกแยกไว้ในรายงานต่างหากอีกต่อไป ซึ่งเป็นหลักการจับคู่ที่ใช้ในทางปฏิบัติ
  • เปรียบเทียบงานที่ได้รับการสนับสนุนจาก AI กับงานอื่นๆ เพิ่มเมนูแบบดรอปดาวน์ผ่านCustom Fieldsเพื่อทำเครื่องหมายงานว่าได้รับการสนับสนุนจาก AI จากนั้นเปรียบเทียบเวลาวงจรและอัตราการต้องทำใหม่ระหว่างสองกลุ่ม สิ่งนี้สร้างหลักฐานที่ระบบจัดการการเรียกเก็บเงินใดก็ไม่สามารถทำได้ เพราะระบบดังกล่าวรู้เพียงว่าค่าใช้จ่ายเป็นเท่าใด แต่ไม่รู้ว่าผลลัพธ์ที่ส่งมอบไปเป็นอย่างไร
  • ตรวจสอบคำกล่าวอ้างว่าประหยัดเวลาเทียบกับเวลาที่บันทึกไว้ เปรียบเทียบการประมาณเวลากับเวลาจริงที่ติดตามได้ในแต่ละงาน และรวมทั้งสองข้อมูลลงใน Timesheet หรือ Time Reporting card บนแดชบอร์ดเดียวกัน หาก AI ช่วยเร่งความเร็วของกระบวนการทำงานได้จริง เวลาที่ติดตามได้สำหรับงานที่เทียบเคียงกันจะลดลง แต่หากเพียงแต่รู้สึกเร็วขึ้น ตัวเลขก็จะยืนยันสิ่งนั้น
  • รับคำตอบจากงานจริงแทนที่จะสร้างรายงาน ถามClickUp Brain — AI สำหรับพื้นที่ทำงานที่เข้าใจบริบท — ด้วยคำถามเช่น ‘โครงการใดที่ล่าช้าหลังจากที่เราเปลี่ยนกระบวนการตรวจสอบ’ มันจะตอบจากงานที่กำลังดำเนินการอยู่ แดชบอร์ด เอกสาร แชท และแอปที่เชื่อมต่อ แทนที่จะเป็นสไลด์รายงานรายไตรมาส
  • รวมเอเจนต์และผลลัพธ์ไว้ในระบบเดียว ทีมที่ใช้เอเจนต์ AI สำหรับงานปฏิบัติการประจำสามารถรันSuper Agentsภายในพื้นที่ทำงานได้ สมาชิกทีมที่ได้รับการสนับสนุนจาก AI จะอัปเดตสถานะ โพสต์การติดตามผล และเขียนรายงานความคืบหน้าตามกำหนดเวลาหรือตามความต้องการ งานของเอเจนต์และบันทึกว่างานนั้นได้ช่วยหรือไม่ จะถูกเก็บไว้ในที่เดียวกัน ซึ่งช่วยลดขั้นตอนการตรวจสอบความถูกต้อง

หากทีมของคุณกำลังนำเอเจนต์มาใช้ ระบบนี้จะแสดงวิธีสร้างเอเจนต์ที่มีหน้าที่ชัดเจน:

ติดตามจำนวนโทเคนโดยไม่ต้องให้คะแนนผู้ใช้

เรื่องราวทั้งหมดนี้สรุปได้ลงตัวในกฎข้อเดียว: ใช้ข้อมูลโทเคนเพื่อตั้งคำถาม ไม่ใช่เพื่อประเมินคน Shopify ถามว่า ‘ลูกค้าที่ใช้จ่ายมากที่สุดของเรากำลังสร้างอะไร?’ และพบเอเจนต์ที่ทำงานเกินควบคุมและข้อผิดพลาดในโครงสร้างพื้นฐาน Meta และ Amazon ถามว่า ‘ใครใช้ AI มากที่สุด?’ และได้รับงานปลอม สูญเสียเงินหลายล้าน และตารางอันดับที่ไร้ประโยชน์

ดังนั้น ให้ทำสามสิ่งในไตรมาสนี้ ย้ายการติดตามโทเคนไปยังระดับทีม และลบข้อมูลใดๆ ที่แสดงชื่อบุคคลออก ระบุไว้ในนโยบายว่าข้อมูลการใช้งานจะไม่ถูกนำมาใช้ในการประเมินประสิทธิภาพการทำงาน และวางตัวชี้วัดคุณภาพหนึ่งตัว (การลดอัตราการล้มเหลวเป็นวิธีที่ง่ายที่สุด) บนหน้าจอเดียวกันกับตัวชี้วัดความเร็วทุกตัวที่คุณรายงาน

หากคุณต้องการให้หน้าจอนี้อยู่ข้างๆ งานจริงแทนที่จะอยู่ในเครื่องมือรายงานแยกต่างหากให้เริ่มใช้ ClickUp ฟรีและสร้างแดชบอร์ดไว้ก่อนที่คุณจะต้องการมัน

คำถามที่พบบ่อยเกี่ยวกับ Tokenmaxxing (FAQs)

กฎ 30% สำหรับ Tokenmaxxing คืออะไร?

ไม่มี ‘กฎ 30%’ อย่างเป็นทางการที่เฉพาะเจาะจงสำหรับ Tokenmaxxing คำนี้มักเป็นคำย่อของสองข้อค้นพบที่ต่างกัน ซึ่งผู้คนมักนำมารวมกัน: คือ AI มักเพิ่มประสิทธิภาพการทำงานด้านวิศวกรรมที่วัดได้ประมาณ10% ไม่ใช่ 30% และนักพัฒนาซอฟต์แวร์มักคาดการณ์การเพิ่มขึ้นประมาณ 20–30%ซึ่งไม่เกิดขึ้นจริง ให้ถือเปอร์เซ็นต์คงที่ใด ๆ เป็นตัวชี้วัดเพื่อตรวจสอบ ไม่ใช่เป้าหมายที่ต้องบรรลุ

หนึ่งล้านโทเคนเทียบเท่ากับข้อความภาษาอังกฤษประมาณ 750,000 คำ เนื่องจากโทเคนหนึ่งมีค่าเฉลี่ยประมาณสามในสี่ของคำ ค่าใช้จ่ายขึ้นอยู่กับโมเดลและสัดส่วนการแบ่งข้อมูลเข้า/ออกอย่างสมบูรณ์ ตามอัตราของโมเดลแนวหน้าในปี 2026 ค่าใช้จ่ายอยู่ระหว่างไม่กี่ดอลลาร์ถึงสิบกว่าดอลลาร์ต่อหนึ่งล้านโทเคน เซสชันแบบเอเจนติกใช้โทเคนหลายล้านโทเคนอย่างรวดเร็ว เนื่องจากแต่ละรอบจะอ่านบริบทใหม่ และการอ่านจากแคชพรอมต์ก็เพิ่มจำนวนโทเคนเข้าไปด้วย

“Tokenmaxxing” เป็นคำผสมระหว่าง “token” กับส่วนท้ายของคำในอินเทอร์เน็ต “-maxxing” ซึ่งหมายถึงการเพิ่มคุณสมบัติให้สูงสุด คำนี้แพร่หลายในวงวิศวกรในช่วงต้นปี 2026 หลังจากที่ตารางอันดับโทเคนภายในของ Meta และ Amazon ถูกรั่วไหลสู่สื่อมวลชน Business Insider เรียกมันว่า“การอภิปราย AI ใหม่ในซิลิคอนแวลลีย์” ในเดือนเมษายน 2026 หลังจากนั้น บอร์ดจัดอันดับสาธารณะอย่าง Viberank และtokenmaxxing.shก็เริ่มใช้คำนี้ โดยจัดอันดับนักพัฒนาแต่ละคนทั่วโลกตามการใช้ API

โดยส่วนใหญ่แล้ว ใช่ครับนิตยสาร Fortune ประกาศว่าtokenmaxxing ได้สิ้นสุดลงในเดือนพฤษภาคม 2026 หลังจากที่ Meta, Amazon, Microsoft และ Uber ได้ลดความสำคัญหรือยกเลิกตารางอันดับโทเคนของตนเอง รายงาน AI Impact Report ของ LeadDev พบว่า มีเพียง19% ของผู้ตอบแบบสอบถามที่ประเมินว่าtokenmaxxing มีประสิทธิภาพในการวัดมูลค่า AI และ 57% ระบุว่ามันล้มเหลวโดยสิ้นเชิง ตารางอันดับสาธารณะสำหรับผู้สนใจยังคงมีอยู่ แต่ในฐานะเกม ไม่ใช่แนวทางการบริหารจัดการ

ยังไม่มีเกณฑ์มาตรฐานที่ได้รับการยอมรับอย่างเป็นทางการ เมื่อ Uber เริ่มนำระบบนี้มาใช้ ค่าใช้จ่ายรายเดือนต่อวิศวกรอยู่ระหว่าง $500 ถึง $2,000 ก่อนที่บริษัทจะกำหนดเพดานค่าใช้จ่ายไว้ที่ $1,500 ต่อเครื่องมือ Jensen Huang ซีอีโอของ Nvidia ได้กล่าวว่า วิศวกรที่มีค่าจ้าง $500,000 ควรใช้โทเคนมูลค่า $250,000 ต่อปี แต่คำกล่าวนี้มีความเป็นไปได้สูงว่าเป็นเพียงการยั่วยุ ไม่ใช่มาตรฐาน ผลการวิจัยแสดงให้เห็นถึงความแตกต่างที่กว้างขวางระหว่างงานที่เทียบเคียงได้ ซึ่งหมายความว่ายังไม่มีใครกำหนดได้ว่าการใช้งานที่ดีควรเป็นอย่างไร

Vibe coding เป็นวิธีการทำงาน: มอบหมายการดำเนินการให้เอเยนต์ AI และควบคุมทิศทางตามผลลัพธ์ ส่วน Tokenmaxxing เป็นวิธีการวัดผล: ถือโทเคนที่ใช้ไปเป็นหลักฐานของประสิทธิภาพการทำงาน คุณสามารถใช้ Vibe coding ได้อย่างมีประสิทธิภาพหรืออย่างสิ้นเปลือง; Tokenmaxxing ให้รางวัลกับวิธีการที่สิ้นเปลือง เพราะมันนับเฉพาะปริมาณการใช้เท่านั้น บริษัทที่ตั้งขีดจำกัดการใช้โทเคนเพื่อหยุด Tokenmaxxing มักลงโทษงานที่เอเยนต์ทำอย่างถูกต้องในกระบวนการนั้น