Track project progress with ClickUp Dashboards
AI dan Otomasi

Apa Itu Tokenmaxxing? Metrik AI yang Menghancurkan Dirinya Sendiri

Dalam 30 hari, karyawan Meta menghabiskan sekitar 60 triliun token AI melalui papan peringkat internal yang mengklasifikasikan mereka berdasarkan tingkat konsumsi; biaya yang diperkirakan mencapai $100 juta untuk menghasilkan pekerjaan yang sebagian besar bersifat performatif. Sembilan puluh hari kemudian, papan peringkat tersebut dihapus, dan perusahaan mulai memberlakukan pembatasan ketat terhadap penggunaan AI.

Proses tersebut disebut tokenmaxxing: yaitu ketika memaksimalkan penggunaan token AI dipromosikan sebagai skor kinerja dan indikator produktivitas. Sejak saat itu, perusahaan-perusahaan menjadi lebih bijak, dan beberapa di antaranya melakukan koreksi berlebihan dalam fenomena yang dijuluki “tokenminning”: menggunakan token AI sesedikit mungkin untuk mengurangi biaya komputasi. Kedua pendekatan tersebut gagal karena menganggap jumlah token sebagai indikator yang dapat diandalkan untuk pertumbuhan yang didorong oleh AI.

Dalam artikel ini, kami akan membahas berapa sebenarnya biaya tokenmaxxing, bagaimana para insinyur memanipulasinya, dan pengaturan pengukuran yang tetap efektif meskipun dihadapi oleh orang-orang yang ahli dalam memanipulasi angka.

TL;DR: Tokenmaxxing, atau ketika penggunaan token AI dianggap sebagai tanda produktivitas, gagal sebagai praktik manajemen karena konsumsi token merupakan sinyal biaya. Namun, hal ini justru diperlakukan sebagai metrik kinerja. Alternatif yang dapat diandalkan untuk tokenmaxxing adalah aturan pasangan: setiap sinyal penggunaan yang dipublikasikan oleh tim harus disertai dengan hasil nyata yang tidak dapat dimanipulasi.

Untuk melakukannya, para pemimpin bisnis dan AI harus mengumpulkan data di tingkat tim, tidak memasukkannya ke dalam penilaian kinerja, dan menggunakan anomali pengeluaran sebagai titik awal penyelidikan. Perusahaan yang mengikuti pola ini tetap mempertahankan sinyal yang berfungsi. Mereka yang menilai individu secara perorangan kehilangan sinyal tersebut dalam waktu satu kuartal.

Apa Itu Tokenmaxxing?

Tokenmaxxing adalah praktik memaksimalkan konsumsi token AI dan menganggap penggunaan yang lebih tinggi sebagai bukti produktivitas yang lebih tinggi atau adopsi AI yang lebih luas. Token adalah unit yang diproses oleh model AI sebagai masukan dan dihasilkan sebagai keluaran.

Penggunaan token menjadi metrik kinerja yang menarik karena bersifat terlihat, dapat diukur, dan sudah dilacak oleh banyak platform AI. Hal ini membuatnya lebih mudah dilaporkan daripada hasil seperti waktu yang dihemat, keputusan yang lebih baik, atau pendapatan yang dihasilkan. Namun, token mengukur aktivitas komputasi, bukan pekerjaan yang bermanfaat. Prompt yang berulang, loop agen yang gagal, dan output yang tidak berguna semuanya meningkatkan angka tersebut tanpa menghasilkan apa pun.

Agen AI memperburuk situasi ini. Seorang agen membaca konteks, memanggil alat, merevisi pekerjaannya sendiri, dan menyerahkan tugas kepada agen lain. Setiap langkah menghabiskan token. Meskipun aktivitas yang lebih banyak bisa berarti pekerjaan yang lebih bermanfaat, hal itu juga bisa berarti alur kerja yang tidak efisien dan biaya yang meningkat.

Sederhananya, kelemahan utama tokenmaxxing adalah tim memaksimalkan angka yang terlihat sementara produktivitas, kualitas, dan laba atas investasi tetap sama.

Tokenmaxxing menjadi populer karena para pemimpin perusahaan membutuhkan angka untuk membuktikan bahwa adopsi AI di perusahaan memang sedang berlangsung. Dan penggunaan token adalah satu-satunya metrik yang muncul di konsol penagihan.

CEO Nvidia, Jensen Huang, menetapkan arah pada awal tahun 2026 dalam podcast All-In dengan sebuah eksperimen pemikiran mengenai tagihan token seorang insinyur dengan gaji tinggi.

“Jika insinyur dengan gaji $500.000 itu tidak menghabiskan token senilai setidaknya $250.000, saya akan sangat khawatir,” katanya. Dan jika jawabannya hanya $5.000? Dia pasti akan marah besar.

“Jika insinyur dengan gaji $500.000 itu tidak menghabiskan setidaknya $250.000 dalam bentuk token, saya akan sangat khawatir,” katanya. Dan jika jawabannya ternyata hanya $5.000? Dia pasti akan marah besar.

Penggunaan AI telah menjadi indikator yang jelas untuk mengetahui siapa yang tetap mengikuti perkembangan. Hal ini terjadi pada saat pertanyaan mengenai peran apa saja yang akan diambil alih oleh AI mulai muncul di setiap rapat perencanaan. Insinyur yang menghabiskan token tampak seperti sedang beradaptasi dengan paradigma baru, sementara mereka yang tidak melakukannya berisiko dianggap sebagai masalah.

Inilah ironinya: papan peringkat token pertama itu sebenarnya tidak pernah dimaksudkan sebagai kompetisi. Shopify membuatnya untuk memahami mengapa konsumen teratasnya menghabiskan begitu banyak uang, bukan untuk membandingkan mereka satu sama lain. Wakil Presiden dan Kepala Teknik Farhan Thawar kemudian menjelaskan bagaimana alat tersebut berkembang.

Perusahaan tersebut mengganti namanya menjadi “dasbor penggunaan,” menambahkan mekanisme pengaman (circuit breakers) dan peringatan pengeluaran, serta menggunakan data tersebut untuk mendeteksi agen yang tidak terkendali dan bug infrastruktur. Farhan menulis:

Tokenmaxxing adalah topik yang kontroversial. Lebih banyak tidak selalu berarti lebih baik. Kami membangun papan peringkat token AI pertama. Kemudian kami mengembangkan pemikiran kami. Papan peringkat itu berubah menjadi dasbor penggunaan. Data yang sama, tetapi dengan kerangka yang berbeda. Kami menambahkan pengaman (circuit breakers) dan pemantauan lonjakan pengeluaran. Kami mendeteksi agen yang lepas kendali. Kami menemukan bug di infrastruktur kami sendiri. Sinyal yang sesungguhnya: bukan siapa yang menghabiskan paling banyak, melainkan mereka yang tokennya menghasilkan dampak terbesar. Inilah para insinyur yang ingin saya ajak bicara.

Tokenmaxxing adalah topik yang kontroversial. Lebih banyak tidak selalu berarti lebih baik. Kami membangun papan peringkat token AI pertama. Kemudian kami mengembangkan pemikiran kami. Papan peringkat itu berubah menjadi dasbor penggunaan. Data yang sama, tetapi dengan kerangka yang berbeda. Kami menambahkan mekanisme pengaman dan pemantauan lonjakan pengeluaran. Kami mendeteksi agen yang lepas kendali. Kami menemukan bug dalam infrastruktur kami sendiri. Sinyal yang sesungguhnya: bukan siapa yang menghabiskan paling banyak, melainkan mereka yang tokennya menghasilkan dampak terbesar. Mereka itulah para insinyur yang ingin saya ajak bicara.

Sebagian besar perusahaan yang meniru papan peringkat Shopify menggunakannya untuk menilai karyawan, bukan untuk menganalisis pengeluaran AI. Tabel di bawah ini menunjukkan bagaimana hal itu terjadi di masing-masing perusahaan.

PerusahaanMekanismenyaApa yang terjadi selanjutnya
ShopifyPapan peringkat token pertama yang diketahui, digunakan untuk menyelidiki pengguna dengan pengeluaran tinggiDibuat ulang menjadi “dasbor penggunaan,” dengan penambahan circuit breaker untuk mendeteksi agen yang tidak terkendali
Meta“Claudeonomics,” sebuah papan peringkat yang dibuat oleh karyawan yang menampilkan 250 karyawan teratas dari lebih dari 85.000 karyawan, dengan gelar seperti “Token Legend”60. 2 triliun token dalam 30 hari; ditutup dalam hitungan hari setelah pemberitaan media
AmazonKirorank, papan peringkat tidak resmi yang menilai pengembang berdasarkan aktivitas Kiro AI, dengan lencana PhoneTool sebagai hadiahKaryawan memberi tugas-tugas sepele dan fiktif kepada agen-agen, dan papan peringkat pun dihapuskan
UberTidak ada papan peringkat; Claude Code diluncurkan untuk sekitar 5.000 insinyurAnggaran AI tahunan habis dalam empat bulan, diikuti dengan batasan $1.500 per bulan per alat
WalmartCode Puppy, agen AI internal yang awalnya memiliki token tak terbatasAlokasi token per karyawan ditetapkan secara tetap setelah permintaan berulang-ulang menyebabkan biaya membengkak

Pola yang terlihat pada tabel ini konsisten. Organisasi yang menggunakan data token untuk menyelidiki pengeluaran tinggi tetap mempertahankan sinyal yang berfungsi. Organisasi lain yang menggunakannya untuk memberi peringkat pada karyawan kehilangan sinyal tersebut dalam waktu satu kuartal.

Bagaimana Para Insinyur Memanipulasi Penggunaan Token Mereka?

Para insinyur membengkakkan penggunaan token mereka dengan menghasilkan aktivitas AI yang mahal yang sebenarnya tidak pernah mereka rencanakan untuk diluncurkan. The Pragmatic Engineer melaporkan perilaku ini di Meta, Microsoft, dan Salesforce, serta menemukan empat taktik umum. Tak satu pun di antaranya melibatkan niat buruk. Orang-orang hanya melihat angka yang terlihat, khawatir akan PHK, dan menganggap bahwa penggunaan AI yang intensif akan melindungi mereka:

  • Mengajukan pertanyaan yang tidak perlu kepada agen: Para insinyur menanyakan AI mengenai kode yang sebenarnya sudah didokumentasikan. Model tersebut membaca dokumen tersebut dan memberikan jawaban yang berulang-ulang dan salah, sekaligus menghabiskan sejumlah besar token
  • Membuat prototipe sementara: Mereka mengembangkan fitur yang sebenarnya tidak pernah ingin mereka gunakan, memicu beberapa putaran pengembangan tambahan, lalu menghapus cabang tersebut
  • Menggunakan agen untuk segala hal: Mereka menyerahkan tugas-tugas AI yang sebenarnya bisa diselesaikan lebih cepat secara manual, hanya untuk meningkatkan penggunaan AI tersebut
  • Menjalankan agen secara paralel: Mereka menyiapkan beberapa agen untuk meninjau dan mendiskusikan hasil kerja satu sama lain, yang menghasilkan log yang panjang namun tidak menghasilkan perangkat lunak yang berfungsi

Banyak insinyur memeriksa seberapa banyak rekan-rekan mereka menghabiskan token. Kemudian, mereka menghabiskan token secukupnya agar tetap berada sedikit di atas rata-rata. Daripada berada di peringkat teratas, mereka tidak ingin ditandai karena dianggap tidak cukup menggunakan AI.

Di Amazon, karyawan menugaskan pekerjaan sepele dan fiktif kepada agen AI untuk meningkatkan skor Kirorank mereka. Hal ini meningkatkan biaya cloud tanpa menghasilkan output bisnis apa pun. Ketika Amazon menghapus papan peringkat tersebut, Wakil Presiden Senior Dave Treadwell mengatakan kepada staf bahwa papan peringkat itu dibuat dengan niat baik. Ia kemudian bertanya dengan tegas: “Tolong jangan gunakan AI hanya demi menggunakan AI.”

Sebagai bagian dari perubahan tersebut, Amazon kini memantau apakah kode yang dihasilkan AI berfungsi dan memberikan nilai tambah. Konsumsi token bukanlah prioritas utamanya.

Berapa Biaya yang Dikeluarkan Perusahaan Akibat Tokenmaxxing?

Tokenmaxxing diperkirakan telah merugikan Meta lebih dari $100 juta dalam satu bulan dan menghabiskan anggaran AI tahunan Uber dalam empat bulan. Perkiraan Meta ini berasal dari perhitungan sederhana. Berdasarkan harga API daftar Claude Opus (saat berita tersebut muncul), 60,2 triliun token akan berharga sekitar $900 juta. Perusahaan sebesar Meta biasanya mendapatkan diskon besar, tetapi bahkan dengan diskon tersebut, tagihannya bisa mencapai angka sembilan digit.

Uber memberikan gambaran paling jelas mengenai biayanya, karena perusahaan ini tidak pernah menjalankan papan peringkat. Perusahaan ini memberikan alat pemrograman agentic kepada sekitar 5.000 insinyur tanpa model pengeluaran. Dalam waktu satu bulan, porsi insinyur yang diklasifikasikan sebagai pengguna agentic naik dari 32% menjadi 84%. Seluruh anggaran tahunan habis dalam empat bulan .

CTO, Praveen Neppalli Naga, mengakui bahwa perusahaan “kembali ke titik awal” dalam mengkaji asumsi-asumsinya. Biaya bulanan berkisar antara $500 hingga $2.000 per insinyur, dan solusinya tegas: batasan $1.500 per bulan per alat pemrograman, per insinyur.

Ketika para insinyur yang melakukan pekerjaan serupa menghabiskan biaya yang sangat bervariasi, perbedaan tersebut menunjukkan bahwa tidak ada yang mendefinisikan seperti apa penggunaan yang baik itu. Jadi, setiap insinyur menciptakan definisi mereka sendiri. COO Uber, Andrew Macdonald, mengakui hal ini, dan mengatakan kepada Fortune bahwa “sangat sulit untuk menarik garis pemisah” antara kode yang dibantu AI dan fitur berguna yang benar-benar diluncurkan.

Laporan Dampak AI dari LeadDev menemukan bahwa hanya 19% pemimpin teknik yang menilai tokenmaxxing sebagai metode yang efektif. Sebanyak 57% di antaranya menyatakan bahwa metode ini gagal mengukur nilai sebenarnya.

Inilah alasan mengapa uang bergerak begitu cepat: seorang agen yang merencanakan perubahan kode membaca repositori, memanggil alat, menjalankan pengujian, dan mencoba ulang hingga berhasil. Satu putaran saja dapat menghabiskan puluhan ribu token, dan pembacaan cache prompt semakin meningkatkan jumlah tersebut.

Tim keuangan menganggarkan AI seolah-olah itu adalah lisensi per pengguna. Namun, pada kenyataannya, AI berperilaku seperti komputasi awan. Kesenjangan akuntansi yang sama muncul ketika tim merangkai tumpukan AI dari beberapa vendor tanpa menetapkan pihak yang bertanggung jawab atas tagihannya. Ini adalah mode kegagalan yang sama seperti penyebaran alat yang tidak terkelola, tetapi pada tingkat yang lebih tinggi.

Apa Itu Tokenminning?

Tokenminning adalah praktik meminimalkan konsumsi token AI dan menganggap penggunaan yang rendah sebagai tujuan. Seperti yang telah kita bahas di bagian pengantar, ini merupakan koreksi yang berlebihan dan memiliki hasil yang sama buruknya. Nama ini merupakan singkatan dari ‘token minimizing,’ dan muncul sebagai koreksi terhadap tokenmaxxing. The New York Times melaporkan pergeseran ini di beberapa perusahaan.

Meta memberi tahu karyawannya bahwa mereka akan membatasi penggunaan AI setelah terjadi “kenaikan eksponensial” dalam biaya. Uber membatasi pengeluaran bulanan, Walmart menetapkan batasan penggunaan alat, dan baik Amazon maupun Meta menghapus papan peringkat mereka. Dalam hitungan minggu, perusahaan-perusahaan yang sebelumnya merayakan pengguna AI teraktif mereka kini justru mengajarkan semua orang untuk menghemat penggunaannya.

Koreksi ini justru mengulangi kesalahan yang seharusnya diperbaiki. Hukum Goodhart menjelaskannya dengan tepat: ketika suatu ukuran menjadi target, ukuran tersebut tidak lagi menjadi ukuran yang baik. Jadi, jika Anda menetapkan penggunaan token AI sebagai tujuan, orang-orang akan mencari cara untuk mengoptimalkan metrik tersebut, bahkan dengan mengorbankan maksud awalnya. Hukum Goodhart memperingatkan agar tidak melakukan tokenmaxxing dan tokenminning.

Berikan imbalan kepada tim karena membakar token, dan tim tersebut akan membakar token yang sebenarnya tidak diperlukan. Berikan imbalan kepada tim karena menghemat token, dan tim tersebut akan melewatkan proses AI yang seharusnya dapat mendeteksi bug. Atau, tim tersebut akan membagi satu sesi yang komprehensif menjadi tiga sesi yang lebih murah, masing-masing menghasilkan jawaban yang kurang mendalam. Kedua tim tersebut mencapai target penggunaan token mereka, sementara kualitas pekerjaan yang sebenarnya justru menurun.

Pengendalian biaya itu sendiri bukanlah kesalahan. Seperti dalam contoh Uber, batas $1.500 per bulan merupakan keputusan anggaran setelah perusahaan menghabiskan anggaran setahun dalam empat bulan. Namun, menetapkan batas pengeluaran hanya menyelesaikan masalah keuangan. Hal itu tidak menjawab apakah token yang dibeli benar-benar bermanfaat.

Solusinya adalah memisahkan dua jenis angka: sinyal yang Anda amati dan hasil yang Anda targetkan. Penggunaan token, tingkat adopsi, dan pangsa kode yang ditulis AI adalah sinyal yang menunjukkan apa yang terjadi di dalam sistem. Sinyal-sinyal ini berguna saat Anda menyelidiki suatu masalah, tetapi tidak cocok dijadikan tujuan. Pasalnya, masing-masing dapat berubah drastis tanpa pelanggan menyadari adanya perbedaan.

Sebaliknya, sebuah organisasi sebaiknya berfokus pada hasil. Hal ini mengikuti logika yang sama dengan serangkaian KPI pengembangan perangkat lunak yang dirancang dengan baik: menghubungkan sinyal awal dengan hasil yang seharusnya diprediksi. Dasbor konversi Shopify menjadi contohnya: data yang sama, tanpa ada peringkat di papan skor yang melekat padanya.

Neil Dhar, wakil presiden senior di IBM Consulting, menjelaskan bagaimana kebingungan tersebut menyebar dalam sebuah esai tentang biaya AI.

#Tokenmaxxing belakangan ini mendominasi berita utama. Upaya organisasi untuk menggunakan AI sebanyak mungkin, secepat mungkin, mengubah penggunaan tersebut menjadi indikator nilai. Kini, saatnya membayar tagihannya. Karena biaya AI melampaui hasilnya, insting pertama adalah memangkas pengeluaran. Namun, memangkas pengeluaran saja tidak akan menyelesaikan masalah ROI yang mendasar.

#Tokenmaxxing belakangan ini mendominasi berita utama. Upaya organisasi untuk menggunakan AI sebanyak mungkin, secepat mungkin, dengan mengubah penggunaan tersebut menjadi indikator nilai. Kini, saatnya membayar tagihannya. Karena biaya AI melampaui hasilnya, insting pertama adalah memangkas pengeluaran. Namun, memangkas pengeluaran saja tidak akan menyelesaikan masalah ROI yang mendasar.

Menurut IBM, solusinya adalah memperlakukan penggunaan sebagai sinyal, dan mengaitkannya dengan hasil yang tidak dapat dipalsukan.

Apakah Penggunaan Token yang Lebih Banyak Berarti Produktivitas yang Lebih Tinggi?

Tidak, penggunaan token yang tinggi tidak berarti produktivitas yang tinggi. Kumpulan data terbesar yang tersedia menunjukkan bahwa kedua hal tersebut bergerak secara independen. Penelitian dari platform intelijen pengembang DX menemukan bahwa adopsi AI hampir mencapai titik jenuh, sementara peningkatan produktivitas yang terukur tetap stagnan.

CTO DX, Laura Tacho, membagikan data tersebut. Di kalangan pengembang, 92,6% kini menggunakan asisten pemrograman AI setidaknya sebulan sekali, dan sekitar 75% menggunakannya setiap minggu. AI menulis 26,9% dari kode produksi. Namun, penghematan waktu yang dilaporkan sendiri tetap berada di angka sekitar empat jam per minggu selama lebih dari setahun. Dan peningkatan produktivitas awal sebesar 10% tidak pernah bertambah.

Penggunaan terus meningkat sementara hasilnya tetap stagnan. Setiap metrik yang hanya memantau penggunaan telah melaporkan keberhasilan yang sebenarnya tidak pernah terjadi.

Laporan DORA dari Google Cloud menjelaskan mengapa alat yang sama menghasilkan hasil yang sangat berbeda. Laporan tersebut menemukan bahwa adopsi AI meningkatkan kecepatan pengiriman tetapi merugikan stabilitas pengiriman. Laporan tersebut menggambarkan AI sebagai penguat: AI memperbesar kekuatan organisasi yang dikelola dengan baik dan kelemahan organisasi yang sedang mengalami kesulitan.

Data internal DX menunjukkan bagaimana penguat ini bekerja. Dalam satu kelompok yang terdiri dari 67.000 pengembang, beberapa organisasi mengalami peningkatan dua kali lipat dalam insiden yang berdampak pada pelanggan, sementara yang lain berhasil menguranginya hingga setengahnya, meskipun menggunakan alat yang sama selama periode yang sama. Tacho menempatkan tanggung jawab sesuai dengan apa yang ditunjukkan oleh data:

Ini sebenarnya merupakan masalah manajemen. Hype yang beredar membuatnya terdengar seolah-olah sekadar mencoba AI saja sudah otomatis akan membuahkan hasil. Namun sejauh ini, sebagian besar alat AI hanya digunakan untuk tugas-tugas pemrograman individu. Untuk melihat dampak yang nyata, kita perlu menerapkan AI di tingkat organisasi, bukan hanya untuk tugas-tugas tunggal.

Ini sebenarnya adalah masalah manajemen. Hype yang beredar membuatnya terdengar seolah-olah hanya dengan mencoba AI saja sudah otomatis akan membuahkan hasil. Namun sejauh ini, sebagian besar alat tersebut digunakan untuk tugas-tugas pemrograman individu. Untuk melihat dampak yang nyata, kita perlu menggunakan AI di tingkat organisasi, bukan hanya untuk tugas-tugas tunggal.

Ada masalah kedua yang tersembunyi di balik masalah pertama: orang-orang salah menilai peningkatan kecepatan yang diberikan AI kepada mereka. Laboratorium riset nirlaba METR melakukan uji coba terkontrol secara acak. 16 pengembang open-source berpengalaman menyelesaikan 246 masalah nyata di repositori yang telah mereka kelola selama rata-rata lima tahun. Sebelum memulai, para pengembang memperkirakan AI akan membuat mereka 24% lebih cepat. Setelah selesai, mereka memperkirakan AI telah membuat mereka sekitar 20% lebih cepat. Namun, pengukuran waktu menunjukkan bahwa mereka justru 19% lebih lambat.

Ada masalah kedua di balik masalah pertama: orang-orang salah menilai peningkatan kecepatan AI yang mereka rasakan. Laboratorium penelitian nirlaba METR melakukan uji coba terkontrol secara acak. 16 pengembang open-source berpengalaman menyelesaikan 246 masalah nyata di repositori yang telah mereka kelola selama rata-rata lima tahun. Sebelum memulai, para pengembang memperkirakan AI akan membuat mereka 24% lebih cepat. Setelah selesai, mereka memperkirakan AI telah membuat mereka sekitar 20% lebih cepat. Namun, pengukuran waktu menunjukkan bahwa mereka justru 19% lebih lambat.

Dalam pembaruan lanjutan, laboratorium tersebut menjelaskan bahwa eksperimen berikutnya menghadapi efek seleksi yang tidak dapat diperbaiki. Mereka juga menyatakan bahwa pengembang kini kemungkinan besar benar-benar lebih cepat dengan AI, terutama berkat alat-alat berbasis agen. Apa yang bertahan: produktivitas yang dilaporkan sendiri bukanlah pengganti produktivitas yang diukur, dan selisih di antara keduanya dapat berfluktuasi ke arah mana pun.

Apa yang Harus Anda Ukur Selain Penggunaan Token?

Alih-alih penggunaan token, ukur hasilnya di tingkat tim dan kemudian di tingkat organisasi. Anggap penggunaan token sebagai indikator biaya yang tidak digunakan untuk menentukan peringkat siapa pun. Yang penting adalah hasil yang dihasilkan.

Satu aturan praktis yang harus dipatuhi: pasangkan setiap sinyal yang Anda publikasikan dengan hasil yang tidak dapat dibesar-besarkan. Sebuah tim dapat membakar token tanpa meluncurkan produk apa pun. Namun, tim tersebut tidak dapat memalsukan penurunan tingkat kegagalan perubahan.

MetrikJenisCara menggunakannya
Jumlah token yang dikonsumsi per timSinyalWaspadai lonjakan biaya dan loop agen yang tidak terkendali; jangan pernah menilai individu berdasarkan hal tersebut
Tingkat adopsi alat AISinyalPastikan peluncuran tersebut telah menjangkau orang-orang, lalu hentikan pemantauannya
Persentase kode yang ditulis oleh AISinyalKonteks untuk perencanaan kapasitas tinjauan kode
Ubah tingkat kegagalanHasilPadukan hal ini dengan klaim peningkatan kecepatan apa pun; masalah akan muncul di sini terlebih dahulu
Pull request yang digabungkan per timHasilHanya di tingkat tim, selalu diseimbangkan dengan metrik kualitas
Skor pengalaman pengembangHasilMendeteksi kerusakan budaya sebelum orang-orang mulai pergi
Persentase waktu yang dihabiskan untuk fitur-fitur baruHasilMenghubungkan upaya teknik dengan nilai bisnis

Struktur ini berasal dari kerangka kerja pengukuran yang sudah dipercaya oleh para pemimpin bidang teknik. DORA mencakup kecepatan pengiriman dan stabilitas, dan temuan bahwa AI meningkatkan keduanya adalah alasan mengapa kombinasi ini penting.

DX Core 4 mengukur empat dimensi: kecepatan, efektivitas, kualitas, dan dampak bisnis. Abi Noda dan Laura Tacho mengembangkannya bersama Nicole Forsgren dan Margaret-Anne Storey, para peneliti di balik DORA, SPACE, dan DevEx. Keempat dimensi tersebut sengaja dirancang untuk saling bertentangan.

Sebuah tim yang meningkatkan satu aspek dengan mengorbankan aspek lainnya langsung memperlihatkan adanya trade-off. Tidak ada satu pun kerangka kerja yang mencakup metrik token, dan keduanya juga belum menambahkan metrik tersebut.

Tiga aturan membuat pasangan ini tetap berlaku dalam praktiknya:

  1. Selalu lakukan agregasi di tingkat tim. Ketika sebuah sinyal dikaitkan dengan nama individu, sinyal tersebut menjadi sasaran, dan era papan peringkat kembali muncul dalam satu sprint. Tim dapat menyeimbangkan perbedaan dalam cara anggota menggunakan AI. Individu akan mengelola angka tersebut.
  2. Jangan pernah menampilkan sinyal tanpa hasil yang terkait di tampilan yang sama. Dasbor yang hanya menampilkan pengeluaran token akan memicu upaya optimasi. Menampilkan pengeluaran token di samping tingkat kegagalan perubahan akan memunculkan pertanyaan yang lebih baik: apakah pengeluaran tersebut efektif?
  3. Jauhkan sepenuhnya indikator penggunaan dari penilaian kinerja . Ketika angka penggunaan terkait dengan kompensasi atau promosi, Hukum Goodhart mulai berlaku, ke arah mana pun insentif tersebut mengarah. Gunakan data penggunaan untuk penyelidikan, bukan untuk menilai prestasi individu

Bagaimana Cara Menetapkan Kebijakan Penggunaan AI yang Tidak Akan Dimainkan oleh Karyawan?

Untuk menetapkan kebijakan penggunaan AI yang tidak dapat dimanipulasi oleh karyawan, hapus semua angka yang terlihat dari penilaian individu dan ambil lima keputusan:

1. Tentukan tujuan dari angka tersebut sebelum Anda mengumpulkannya

Setiap metrik dalam kebijakan memerlukan tujuan tertulis sebelum dasbor pertama diluncurkan. Papan peringkat Shopify berfungsi dengan baik pada fase awalnya. Pimpinan perusahaan menggunakannya untuk memulai percakapan dengan pengguna dengan pengeluaran tinggi mengenai apa yang sedang mereka kembangkan. Angka tersebut memicu penyelidikan. Begitu angka yang sama menutup satu hal, menyimpulkan sesuatu tentang seseorang alih-alih menanyakan sesuatu tentang pekerjaannya, angka tersebut berubah menjadi skor. Dan skor akan dikelola.

Tuliskan tiga hal untuk setiap metrik:

  • Pemicunya: Perubahan apa dalam pengeluaran token yang memicu tindakan (lonjakan 3 kali lipat dari minggu ke minggu atau tim yang menggandakan angka dasarnya)
  • Tindakan: Siapa yang menanyakan apa, dan kepada siapa (‘EM menanyakan kepada tim apa yang sedang mereka kembangkan,’ bukan ‘laporan dikirim ke VP’)
  • Hal yang tidak akan dilakukan: Untuk apa angka tersebut tidak akan pernah digunakan, dinyatakan dengan sangat jelas

Garis “tanpa tindakan” justru berperan paling besar, karena karyawan menguji kebijakan tersebut berdasarkan garis tersebut. Jika jawaban jujur atas pertanyaan ‘apa yang terjadi ketika pengeluaran melonjak’ melibatkan posisi seseorang, berarti Anda telah membangun papan peringkat dengan langkah-langkah tambahan.

2. Tetapkan anggaran di tingkat tim

Envelope tim bersama menggantikan batas per orang, dan perbedaannya bersifat perilaku, bukan akuntansi. Rentang gaji bulanan Uber sebesar $500 hingga $2.000 di antara para insinyur yang melakukan pekerjaan serupa menunjukkan apa yang terjadi tanpa adanya titik acuan bersama. Setiap orang menciptakan definisi sendiri tentang apa yang dianggap wajar. Envelope anggaran bekerja dengan cara yang sama seperti upaya lain untuk menyatukan pengeluaran AI yang tersebar ke dalam satu tempat yang dapat dipertanggungjawabkan.

Envelope ini memberi Anda tiga hal yang tidak bisa Anda dapatkan dari batasan per orang:

  • Elastisitas: Migrasi yang benar-benar mahal dapat menghabiskan lebih banyak sumber daya bulan ini, sementara sprint rutin menghabiskan lebih sedikit
  • Keamanan psikologis: Tidak ada yang membaca item barisnya sendiri sebagai penilaian kinerja, karena tidak ada item baris yang mencantumkan namanya
  • Pengawasan mandiri: Pengeluaran yang berlebihan akan terdeteksi oleh tim itu sendiri, karena anggaran dibagikan dan terlihat oleh semua anggota tim

Tentukan batas atas pertama berdasarkan data yang diamati. Gunakan rata-rata tiga bulan terakhir tim dan tambahkan ruang gerak untuk satu proyek yang mahal. Batas atas yang ditetapkan berdasarkan tebakan akan terlampaui pada minggu kedua, sehingga semua orang menyadari bahwa kebijakan tersebut hanyalah sekadar formalitas.

3. Jadikan jalur yang mahal terlihat

Tunjukkan kepada para insinyur biaya setiap eksekusi alih-alih membatasi jumlah yang dapat mereka habiskan. Eksekusi agenik yang berulang akibat tes yang gagal adalah penyebab habisnya anggaran, sehingga membuat pembatasan ketat menjadi prioritas utama. Pilihan lain adalah menampilkan biaya per eksekusi kepada insinyur yang memicunya, tanpa melaporkannya ke atasan.

Seorang insinyur yang melihat loop percobaan ulang menghabiskan $40 akan memperbaiki loop tersebut. Di sisi lain, seorang insinyur yang takut dengan laporan akan berhenti menggunakan agen tersebut sama sekali, termasuk pada saat-saat ketika eksekusi yang mahal itu sebenarnya merupakan keputusan yang tepat.

Sistem pemutus arus (circuit breakers) Shopify bekerja seperti ini: sistem mendeteksi anomali, dan orang yang paling dekat dengan pekerjaan tersebut yang memutuskan tindakan apa yang harus diambil. Visibilitas mengubah perilaku lebih cepat daripada pembatasan kuota, dan hal ini memastikan bahwa proses yang mahal namun tepat tetap tersedia ketika pekerjaan tersebut membenarkan biayanya.

4. Pisahkan tujuan adopsi AI dari penilaian kinerja

Tuliskan perjanjian pemisahan tersebut secara tertulis, karena jaminan lisan tidak akan bertahan dalam siklus PHK. Insinyur Microsoft yang menceritakan kepada The Pragmatic Engineer tentang memanipulasi metrik penggunaan mereka sendiri tidak sedang mengejar hadiah. Mereka hanya berusaha menghindari cap buruk di tengah tahun di mana PHK sering dikaitkan dengan AI.

Jika orang-orang yakin bahwa data penggunaan mencapai tahap kalibrasi, mereka akan mengelola data tersebut, terlepas dari apa pun yang dikatakan orang lain secara terbuka.

Bahasa kebijakan tersebut hanya memerlukan dua baris:

  • Apakah data penggunaan dapat dimasukkan dalam pembahasan kinerja (ya atau tidak, bukan ‘tergantung konteks’)
  • Ke mana data itu pergi, sehingga tidak ada yang mengisi kekosongan dengan asumsi yang lebih buruk

Kemudian perhatikan keduanya. Insinyur pertama yang melihat data penggunaan muncul dalam tinjauan akan memberitahukannya kepada semua orang, sehingga membuktikan bahwa metrik tersebut tidak diperlukan lagi.

5. Tinjau pasangan tersebut setiap kuartal

Setiap kuartal, tanyakan apakah setiap diagnostik masih menjelaskan hasil yang dipasangkan dengannya. Penetapan harga model, perilaku caching, dan arsitektur agen semuanya berubah lebih cepat daripada siklus perencanaan tahunan.

Cara tim menerapkan AI dalam perencanaan dan pelaporan terus berubah. Jumlah token yang memiliki arti tertentu pada bulan Januari akan memiliki arti yang berbeda pada bulan Juni, setelah dua kali pemotongan harga dan peningkatan agen.

Ulasan ini menyajikan hasil yang jujur berdasarkan setiap metrik: metrik tersebut masih memprediksi hasil pasangan, perlu dikalibrasi ulang berdasarkan harga baru, atau telah berhenti memberikan penjelasan apa pun dan dihentikan tanpa upacara. Tim-tim paling menolak penghentian ini. Namun, hal ini penting karena metrik yang tetap ada meskipun maknanya sudah usang adalah tepat jenis angka yang menjadi dasar era papan peringkat.

Kesalahan Umum yang Dilakukan Tim Saat Mengukur Adopsi AI

Empat kesalahan paling umum adalah menganggap adopsi sebagai garis finis, mempercayai penghematan waktu yang dilaporkan sendiri, mempublikasikan papan peringkat individu, dan mengukur kecepatan tanpa mengukur stabilitas. Anda dapat mengidentifikasi masing-masing kesalahan tersebut sebelum menimbulkan biaya yang besar.

1. Memandang adopsi sebagai garis finis

Dasbor peluncuran menunjukkan angka 90%, pimpinan menyatakan inisiatif AI telah selesai, dan tak ada yang menanyakan apa yang berubah di hilir. Data DX mengungkap jebakan ini secara besar-besaran: tingkat adopsi 92,6% dengan produktivitas yang stagnan di angka 10%. Adopsi hanya menegaskan bahwa alat-alat tersebut telah sampai ke pengguna. Hal itu tidak menunjukkan apa pun mengenai perubahan apa yang dihasilkan oleh alat-alat tersebut.

Solusinya: Hentikan penggunaan grafik adopsi setelah peluncuran selesai, dan gantilah dengan pasangan sinyal dan hasil.

2. Mempercayai penghematan waktu yang dilaporkan sendiri

Sebuah survei menunjukkan bahwa tim menghemat lima jam per minggu, namun waktu siklus tidak berubah dalam dua kuartal. Uji coba METR menjelaskan mengapa kedua angka ini bertentangan: pengembang yang bekerja secara terukur lebih lambat dengan AI tetap memperkirakan peningkatan kecepatan sebesar 20% setelahnya. Apa yang diyakini orang dan apa yang tercatat oleh jam adalah dua pengukuran yang berbeda.

Solusinya: Pertahankan survei untuk pengalaman pengembang, di mana persepsi sangat penting. Gunakan data sistem untuk setiap klaim yang berkaitan dengan waktu.

3. Menerbitkan papan peringkat individu hanya untuk bersenang-senang

Seseorang membuatnya di wiki internal dalam satu sore, memberinya judul-judul yang lucu, dan tim benar-benar menikmatinya selama sekitar tiga minggu. Kemudian insentif mengambil alih. Claudeonomics dari Meta dan Kirorank dari Amazon sama-sama dimulai sebagai hiburan yang muncul dari bawah. Kedua perusahaan tersebut menghentikan program tersebut begitu unsur permainan melampaui antusiasme awal.

Solusinya: Gabungkan data ke tingkat tim, atau jangan dirilis.

4. Mengukur kecepatan tanpa mengukur stabilitas

Throughput meningkat, semua orang bersorak, sementara volume insiden naik di dasbor tim lain. Laporan DORA mengidentifikasi pemisahan ini: kecepatan meningkat sementara stabilitas menurun. Memisahkan kedua angka tersebut di dasbor yang berbeda membuat masalah ini tersembunyi.

Solusinya: Tempatkan tingkat kegagalan perubahan pada layar yang sama dengan metrik kecepatan apa pun, bukan dalam tinjauan keandalan terpisah yang tidak pernah dirujuk oleh siapa pun.

Cara Melacak Dampak AI di ClickUp

Visualisasikan data kompleks dengan Dasbor ClickUp dan minta ClickUp Brain untuk menganalisisnya untuk Anda
Visualisasikan data kompleks dengan Dasbor ClickUp dan minta ClickUp Brain untuk menganalisisnya untuk Anda

Untuk memantau dampak AI di ClickUp, ukur hasilnya secara berdampingan dengan pekerjaan itu sendiri: tugas, sprint, dan hasil kerja yang seharusnya dipercepat oleh AI. Sebagian besar dasbor token berada di konsol penyedia, jauh dari pekerjaan yang dijelaskannya. Memindahkan metrik hasil ke ruang kerja akan menutup kesenjangan tersebut.

Pasangan sinyal dan hasil dari sebelumnya tercermin langsung pada platform ini:

  • Lihat kecepatan dan kualitas dalam satu layar. Buat tampilan di ClickUp Dashboards dengan kartu kecepatan sprint, waktu siklus, dan aliran kumulatif di samping daftar tugas yang difilter untuk pekerjaan ulang dan perbaikan bug. Peningkatan kecepatan yang diklaim dan biaya kualitasnya tidak lagi tercantum dalam laporan terpisah, yang merupakan aturan pemaduan dalam praktiknya
  • Bandingkan pekerjaan yang dibantu AI dengan yang lainnya. Tambahkan menu tarik-turun melalui Bidang Kustom yang menandai tugas sebagai tugas yang dibantu AI. Kemudian bandingkan waktu siklus dan tingkat pengerjaan ulang antara kedua kelompok tersebut. Hal ini menghasilkan bukti yang tidak dapat diberikan oleh konsol penagihan mana pun, karena konsol hanya mengetahui apa yang telah dibelanjakan, bukan apa yang telah dikirimkan
  • Uji klaim penghematan waktu dengan membandingkannya terhadap waktu yang tercatat. Bandingkan perkiraan waktu dengan waktu aktual yang tercatat pada tugas-tugas, lalu gabungkan keduanya dalam lembar waktu atau kartu pelaporan waktu di dasbor yang sama. Jika AI benar-benar mempercepat alur kerja, waktu yang tercatat untuk tugas-tugas serupa akan berkurang. Jika hanya terasa lebih cepat, angka-angka tersebut akan membuktikannya
  • Dapatkan jawaban langsung dari pekerjaan, bukan dari laporan yang dibuat-buat. Tanyakan kepada ClickUp Brain, AI ruang kerja kontekstual, pertanyaan seperti ‘proyek mana yang mengalami keterlambatan setelah kami mengubah proses peninjauan.’ AI ini akan menjawab berdasarkan tugas aktif, dasbor, dokumen, obrolan, dan aplikasi terhubung, bukan dari presentasi triwulanan.
  • Satukan agen dan hasilnya dalam satu sistem. Tim yang menggunakan agen AI untuk pekerjaan operasional rutin dapat menjalankan Super Agents di dalam ruang kerja. Rekan tim yang didukung AI ini memperbarui status, mengirimkan tindak lanjut, dan menulis laporan kemajuan sesuai jadwal atau sesuai permintaan. Pekerjaan agen dan catatan apakah agen tersebut membantu disimpan di tempat yang sama, sehingga menghilangkan langkah rekonsiliasi.

Jika tim Anda sedang meluncurkan agen, berikut ini menunjukkan cara membuatnya dengan tugas yang telah ditentukan:

Perhatikan Jumlah Token Tanpa Memberi Skor pada Pengguna

Inti dari seluruh cerita ini adalah satu aturan: gunakan data token untuk mengajukan pertanyaan, bukan untuk menilai orang. Shopify bertanya, “Apa yang sedang dibangun oleh pengguna dengan pengeluaran tertinggi kami?” dan menemukan agen yang tidak terkendali serta bug infrastruktur. Meta dan Amazon bertanya, “Siapa yang paling banyak menggunakan AI?” dan mendapatkan tugas palsu, membuang jutaan, serta papan peringkat yang tidak berfungsi.

Jadi, lakukan tiga hal pada kuartal ini. Pindahkan pemantauan penggunaan token ke tingkat tim dan hapus semua informasi yang mencantumkan nama individu. Cantumkan dalam kebijakan bahwa data penggunaan tidak akan pernah dijadikan bahan dalam penilaian kinerja. Dan letakkan satu metrik kualitas (tingkat kegagalan perubahan adalah yang paling mudah) di layar yang sama dengan setiap metrik kecepatan yang Anda laporkan.

Jika Anda ingin layar tersebut ditampilkan di samping pekerjaan yang sebenarnya, bukan di alat pelaporan terpisah, mulailah menggunakan ClickUp secara gratis dan buat dasbor tersebut sebelum Anda membutuhkannya.

Pertanyaan yang Sering Diajukan tentang Tokenmaxxing (FAQ)

Apa itu aturan 30% untuk tokenmaxxing?

Tidak ada ‘aturan 30%’ resmi yang khusus berlaku untuk tokenmaxxing. Istilah ini biasanya merupakan singkatan dari dua temuan terpisah yang sering disamakan orang: bahwa AI cenderung meningkatkan produktivitas teknik yang terukur sekitar 10%, bukan 30%, dan bahwa para pengembang secara rutin memprediksi peningkatan sekitar 20–30% yang pada akhirnya tidak terwujud. Anggaplah persentase tetap apa pun sebagai indikator yang perlu diselidiki, bukan target yang harus dicapai.

Satu juta token setara dengan sekitar 750.000 kata teks bahasa Inggris, karena rata-rata satu token setara dengan sekitar tiga perempat kata. Biaya sepenuhnya bergantung pada model dan pembagian input/output. Dengan tarif model terdepan tahun 2026, biayanya berkisar antara beberapa dolar hingga puluhan dolar per juta. Sesi agenik menghabiskan jutaan token dengan cepat karena setiap loop membaca ulang konteks, dan pembacaan cache prompt menambah jumlahnya.

“Tokenmaxxing” merupakan gabungan antara kata “token” dengan akhiran internet “-maxxing,” yang berarti memaksimalkan suatu sifat. Istilah ini menyebar di kalangan insinyur pada awal 2026 setelah papan peringkat internal token di Meta dan Amazon bocor ke media. Business Insider menyebutnya sebagai “perdebatan AI baru di Silicon Valley ” pada April 2026. Papan peringkat publik seperti Viberank dan tokenmaxxing.sh kemudian mengadopsi istilah tersebut, dengan memeringkat pengembang individu di seluruh dunia berdasarkan pengeluaran API.

Secara umum, ya. Majalah Fortune menyatakan bahwa era tokenmaxxing telah berakhir pada Mei 2026 setelah Meta, Amazon, Microsoft, dan Uber membatalkan atau menghentikan papan peringkat token mereka. Laporan Dampak AI dari LeadDev menemukan bahwa hanya 19% responden yang menilai tokenmaxxing efektif dalam mengukur nilai AI, dan 57% mengatakan bahwa hal itu gagal total. Papan peringkat publik yang dikelola oleh para penggemar masih ada, tetapi lebih sebagai permainan, bukan praktik manajemen.

Belum ada tolok ukur yang baku. Saat peluncuran di Uber, tagihan bulanan berkisar antara $500 hingga $2.000 per insinyur sebelum perusahaan membatasi pengeluaran menjadi $1.500 per alat. CEO Nvidia, Jensen Huang, berpendapat bahwa seorang insinyur dengan gaji $500.000 seharusnya menghabiskan $250.000 dalam bentuk token setiap tahun, tetapi hal itu kemungkinan besar hanyalah pernyataan provokatif, bukan standar. Temuan menunjukkan variasi yang luas di antara pekerjaan yang sebanding, yang berarti belum ada yang mendefinisikan seperti apa penggunaan yang baik itu.

Vibe coding adalah cara bekerja: mendelegasikan implementasi kepada agen AI dan mengarahkan berdasarkan hasil. Tokenmaxxing adalah cara mengukur: memperlakukan token yang Anda konsumsi sebagai bukti produktivitas. Anda dapat melakukan vibe coding secara efisien atau boros; tokenmaxxing justru menguntungkan versi yang boros karena hanya menghitung konsumsi. Perusahaan yang membatasi penggunaan token untuk menghentikan tokenmaxxing sering kali justru menghukum pekerjaan agen yang sah dalam prosesnya.