مقاييس أداء الذكاء الاصطناعي: أكثر من 50 مؤشر أداء رئيسي (KPI) لقياس الكفاءة المدعومة بالذكاء الاصطناعي

تبدو معظم دراسات الحالة المتعلقة بالذكاء الاصطناعي في المؤسسات متشابهة. العرض التقديمي رائع، ومخطط معدل التبني يرتفع أكثر فأكثر، ثم يطرح أحدهم سؤالاً قد يوقف الحماس في الغرفة فجأة: ما الذي تغير في قائمة الأرباح والخسائر؟

قامت شركة الاستشارات رولاند بيرغر بتحديد أرقام لهذا الصمت. فقد شملت دراستها، فجوة قيمة الذكاء الاصطناعي، استطلاعًا لآراء 203 من كبار المديرين التنفيذيين في أوروبا واليابان والولايات المتحدة. قال ما يقرب من 90% منهم إن عائدات الذكاء الاصطناعي لديهم لا تزال أقل من نفقاتهم. وكان الجزء الأكثر دلالة موجودًا مباشرةً تحت هذا العنوان: لم يكن لدى معظمهم مقاييس أداء متماسكة للذكاء الاصطناعي مرتبطة بالنتائج، بل مجرد مراجعات لمرة واحدة أو قوائم مترامية الأطراف لمؤشرات الأداء الرئيسية. كانوا يتحركون على غير هدى فيما يتعلق بما إذا كانت التكنولوجيا قد حققت أي نتائج على الإطلاق.

ولست بحاجة إلى أكثر من 200 مدير تنفيذي لتعرف كيف يبدو الأمر. يمكن لموظف الدعم الذي يعتمد على الذكاء الاصطناعي أن يعمل طوال اليوم، ويرسل ردودًا متواضعة، ويضيء كل لوحة معلومات دون أن ينتج أي شيء يمكن للمدير المالي رؤيته. يبدو المخطط جيدًا، لذا يواصل الفريق توسيع نطاق الاستخدام. هذا هو الفخ بأكمله.

أما الفرق التي تنجح في هذا الأمر، فتتبع نهجًا معاكسًا. فهي تقيس ما يتيح الذكاء الاصطناعي تحقيقه، وتقارنه بخط أساس، وتسلم كل نتيجة إلى مسؤول محدد.

يقسم هذا الدليل مقاييس أداء الذكاء الاصطناعي إلى أربع مستويات: جودة المخرجات، وموثوقية النظام، واعتماد القوى العاملة، والتأثير على الأعمال. يتضمن كل مقياس صيغة، وتوجيهات، ومقياسًا مضادًا. والهدف هو إنشاء بطاقة أداء بسيطة بما يكفي لاتخاذ الإجراءات اللازمة، مقترنة بمسؤولية تجعل شخصًا ما خاضعًا للمساءلة عند حدوث تغير في الأرقام.

ما هي مقاييس أداء الذكاء الاصطناعي؟ (وكيف تختلف عن المقاييس الزائفة؟)

تُظهر مقاييس أداء الذكاء الاصطناعي مدى كفاءة عمل نظام الذكاء الاصطناعي وما إذا كان يخلق قيمة تجارية أم لا. تقيس بعض مقاييس أداء الذكاء الاصطناعي الجودة التقنية، مثل الدقة وزمن الاستجابة. بينما تتتبع مقاييس أخرى النتائج، مثل انخفاض التكاليف، أو تسريع العمل، أو زيادة الإيرادات.

التمييز الأهم هو الفرق بين المقياس ومؤشر الأداء الرئيسي (KPI). فالطلبات المرسلة، وعمليات تسجيل الدخول، والرموز المستخدمة، والكلمات التي تم إنشاؤها هي مقاييس. لكنها تتحول إلى مقاييس زائفة في اللحظة التي تعرضها فيها على أنها نجاح، لأنها تقيس الحركة وليس النتائج. أما مؤشر الأداء الرئيسي (KPI) فهو مجموعة أصغر من الأرقام التي تولد نتيجة تجارية عندما تتغير قيمها. لذا، فإن مقياس أداء الذكاء الاصطناعي الذي يجب تتبعه هو التكلفة لكل تذكرة تم حلها، وليس عدد التذاكر التي تم التعامل معها.

يتكون مؤشر الأداء الرئيسي (KPI) المحدد جيدًا من خمسة أجزاء: مؤشر الأداء الرئيسي للذكاء الاصطناعي = المقياس + خط الأساس + الهدف + الإطار الزمني + المقياس المقابل

على سبيل المثال، قد يسهم مؤشر الأداء الرئيسي (KPI) للذكاء الاصطناعي الخاص بفريق الدعم في تحقيق هدف مثل: تقليل وقت الاستجابة الأولى من 24 ساعة إلى أقل من أربع ساعات خلال ربع واحد، دون المساس برضا العملاء. ويُعد رضا العملاء هو العامل الموازن الحاسم هنا. فهو يمنع الفريق من تحقيق هدف السرعة من خلال ردود سريعة ولكنها رديئة تم إنشاؤها بواسطة الذكاء الاصطناعي.

ما الفرق بين مؤشر الأداء الرئيسي (KPI) والمقياس؟

كل مؤشر أداء رئيسي (KPI) هو مقياس، ولكن ليس كل مقياس هو مؤشر أداء رئيسي. لمزيد من التفصيل، انظر «مؤشرات الأداء الرئيسية مقابل المقاييس».

ما الفرق بين المؤشرات الرائدة والمؤشرات المتأخرة؟

يمنحك المؤشر المتقدم إنذارًا مبكرًا، بينما يسجل المؤشر المتأخر النتيجة بعد حدوثها. ويُستخدم كلا المصطلحين بانتظام عند تحديد وقياس مؤشرات الأداء الرئيسية (KPI).

على سبيل المثال، قد يشير ارتفاع معدل التجاوز إلى أن الموظفين لم يعودوا يثقون في الذكاء الاصطناعي. وقد يتبع ذلك انخفاض في معدل الاستخدام وارتفاع في التكاليف لاحقًا مع لجوء الموظفين إلى أدوات أخرى. ويُعد معدل التجاوز إشارة مبكرة؛ بينما تُعد التكلفة النتيجة اللاحقة.

ومع ذلك، تعتمد هذه التصنيفات على السياق. فقد تتأخر الدقة عن تحديث النموذج، لكنها تؤدي إلى تغيير لاحق في رضا العملاء. ولهذا السبب، تم تجميع المقاييس أدناه حسب ما تقيسه.

أكثر من 50 مؤشرًا لأداء الذكاء الاصطناعي تثبت كفاءة أنظمة الذكاء الاصطناعي الخاصة بك

تعتمد المقاييس المناسبة على الغرض المقصود من الذكاء الاصطناعي. فلا ينبغي أن تشترك روبوت خدمة العملاء ونموذج الكشف عن الاحتيال ومساعد الكتابة في نفس بطاقة الأداء.

تنقسم المقاييس الواردة أدناه إلى أربع مستويات: جودة النموذج والمخرجات، وأداء النظام، والتبني وتأثيره على القوى العاملة، والنتائج التجارية. لكنك لست بحاجة إلى جميعها. اختر القليل منها الذي يتناسب مع هدفك، ثم قم بإقران كل مقياس بمقياس مضاد.

مقاييس جودة النماذج والمخرجات

تجيب هذه المقاييس على السؤال الأول: هل ينتج الذكاء الاصطناعي نتيجة صحيحة ومفيدة وآمنة؟

بالنسبة للمهام التي لها إجابة واحدة معروفة، مثل التصنيف أو استخراج البيانات، يمكنك مقارنة النتائج بمجموعة مرجعية. أما تقييم الأعمال التوليدية فهو أكثر تعقيدًا لأن عدة إجابات قد تكون صحيحة في آن واحد. وفي هذه الحالة، تعتمد على المراجعين البشريين أو المقيّمين المعتمدين على النماذج لتقييم عوامل مثل الصلة بالموضوع، والواقعية، والاكتمال، واتباع التعليمات.

تساعدك هذه النتائج على تحديد النقاط الضعيفة في المخرجات وتتبع أسباب الفشل. لكنها لن تخبرك ما إذا كان الذكاء الاصطناعي يوفر المال، أو يسهل سير العمل، أو يكسب ثقة المستخدمين. وتتناول الأقسام التالية هذه النتائج.

1. الدقة

الدقة هي نسبة التنبؤات الصحيحة التي يقدمها الذكاء الاصطناعي مقارنةً بالإجابة المعروفة. لنفترض أن نموذج توجيه التذاكر قام بتصنيف 1,000 تذكرة وحقق 920 تصنيفًا صحيحًا. فإن دقته تبلغ 92%.

يبدو هذا مؤشرًا قويًا، لكن الدقة قد تخفي الأخطاء الأكثر أهمية. فإذا كانت جميع الأخطاء الـ80 قد أرسلت تذاكر عاجلة إلى قائمة الانتظار الخاطئة، فستظل النتيجة الإجمالية تبدو جيدة. كما تفقد هذه المقاييس قيمتها عندما تظهر إحدى النتائج بشكل أكثر تكرارًا من غيرها.

2. الدقة

تُظهر الدقة مدى صحة تنبؤات الذكاء الاصطناعي عندما تتنبأ بنتيجة إيجابية. وببساطة، فإنها تُخبرك بعدد التنبيهات التي كان من الجدير اتخاذ إجراء بشأنها.

لنفترض أن نموذجًا للكشف عن الاحتيال أشار إلى 200 معاملة، لكن 150 منها فقط كانت احتيالية. تبلغ دقة هذا النموذج 75%. أما الـ50 معاملة المتبقية فهي إنذارات كاذبة، وكل واحدة منها تتطلب مزيدًا من العمل في المراجعة.

3. الاسترجاع

يُظهر «الاسترجاع» (Recall) عدد الحالات الإيجابية الحقيقية التي اكتشفها الذكاء الاصطناعي فعليًّا. أما «الدقة» (Precision) فتتساءل عما إذا كان الإبلاغ صحيحًا؛ بينما يتساءل «الاسترجاع» عما إذا كان هناك أي شيء حقيقي قد فُوت. وهذان المقياسان يتعارضان، لذا قد يبدو النموذج ممتازًا في أحدهما بينما يفشل في الآخر.

لنفترض أن هناك 180 معاملة احتيالية، وأن النموذج اكتشف 150 منها. تبلغ نسبة الاسترجاع 83.3%، مما يعني أنه فاته 30 حالة حقيقية. وفي مجالات مكافحة الاحتيال أو الفحص الطبي أو الأمن، قد تكلف هذه الحالات المفقودة أكثر بكثير من مجرد مراجعة إضافية.

4. مؤشر F1

تجمع درجة F1 بين الدقة والاسترجاع. وهي مفيدة عندما يكون لكل من الإنذارات الكاذبة والحالات الفائتة أهمية، خاصةً عندما تظهر فئة ما بمعدل أقل بكثير من فئة أخرى.

إذا كان نموذج الكشف عن الاحتيال يتمتع بدقة تبلغ 75% ومعدل استرجاع يبلغ 83.3%، فإن درجة F1 الخاصة به تبلغ حوالي 79%. ونظرًا لأن مؤشر F1 يستخدم المتوسط التوافقي، فإن أي درجة ضعيفة في أي من الجانبين تؤدي إلى انخفاض النتيجة.

5. الترابط بالواقع

يُظهر «الارتكاز» ما إذا كانت ادعاءات الذكاء الاصطناعي مدعومة بالمصادر التي استمدها منها. ويكتسب هذا الأمر أهمية قصوى في الأنظمة المعززة بالاسترجاع، حيث قد تتجاوز الإجابة السلسة حدود الأدلة المتوفرة.

لنفترض أن مساعدًا في مجال السياسات قدم 10 ادعاءات واقعية، وتمكن المراجعون من ربط تسعة منها بالسياسة المعتمدة. تبلغ نسبة صحة الادعاءات على مستوى الادعاء 90%. أما الادعاء الأخير فلا يزال بحاجة إلى مزيد من الاهتمام، خاصةً إذا كان يتعلق بالأجور أو المزايا أو الامتثال.

هذه صيغة تشغيلية وليست صيغة عامة. حدد ما يُعتبر مطالبة، وما يُعتبر دعماً، وكيف ستقوم بتقييم الدعم الجزئي قبل مقارنة النتائج.

6. الصلة بالموضوع

تُظهر «الصلة بالموضوع» ما إذا كان الناتج يجيب على السؤال الذي طرحه المستخدم. فقد تكون الإجابة دقيقة، لكنها تظل عديمة الفائدة إذا كانت تحل مشكلة أخرى قريبة.

لنفترض أن المراجعين قاموا بتقييم 100 رد من روبوتات الدردشة واعتبروا 85 منها ذات صلة. وهذا يعطيك معدل نجاح في الصلة بنسبة 85%. لكن هذا الرقم لا يعني الكثير ما لم يتفق الفريق على معايير التقييم ودرجة النجاح.

7. معدل اتباع التعليمات

يقيس معدل اتباع التعليمات مدى التزام الذكاء الاصطناعي بكل تعليمات مطلوبة. ويمكن أن تؤخذ في الاعتبار عوامل مثل التنسيق والطول والاستثناءات والإجراءات المطلوبة.

على سبيل المثال، يطلب سير العمل من النموذج إرجاع JSON صالح يحتوي على خمسة حقول إلزامية. إذا استوفت 94 من أصل 100 نتيجة جميع القواعد، فإن النسبة تبلغ 94%. أما الرد الذي يبدو جيدًا من الناحية اللغوية ولكنه يخالف مخطط JSON، فيُعتبر فاشلاً.

حدد القواعد قبل إجراء الاختبار. فإذا قرر المراجعون معنى عبارة «اتبع التعليمات» بعد الاطلاع على النتيجة، فستتباين الدرجات.

8. درجة الاكتمال

يُظهر مؤشر «الاكتمال» ما إذا كان الذكاء الاصطناعي قد غطى كل جزء مطلوب من المهمة. فهو يكتشف الإجابات التي تبدو متقنة ولكنها تغفل شيئًا ما دون أن يلاحظ أحد.

لنفترض أن تقريرًا ما يجب أن يتضمن خمسة أقسام وأن الذكاء الاصطناعي أكمل أربعة منها. تبلغ درجة اكتماله 80%. هذا لا يعني أن التقرير جيد بنسبة 80%. فقد يكون القسم المفقود هو الذي يحتاجه القارئ أكثر من غيره.

بالنسبة للأعمال ذات المخاطر العالية، قم بترتيب العناصر حسب أهميتها. فعلى سبيل المثال، يجب أن يكون لعدم وجود تحذير قانوني وزن أكبر من عدم وجود مثال اختياري.

9. معدل الهلوسة

يقيس «معدل الهلوسة» مدى تكرار قيام الذكاء الاصطناعي بتقديم ادعاءات خاطئة أو غير مدعومة. تتداخل هذه المشكلات، لكنها ليست متطابقة دائمًا. فقد يكون الادعاء صحيحًا في السياق الأوسع، لكنه غير مدعوم بالمصادر التي طُلب من النظام استخدامها.

يمكنك قياس «الهلوسات» على مستوى الرد أو على مستوى الادعاء. فإذا احتوت 15 إجابة من أصل 500 إجابة على ادعاء واحد على الأقل غير مدعوم بالأدلة، فإن المعدل على مستوى الرد يبلغ 3%. وقد يعطيك الحساب على مستوى الادعاء نتيجة مختلفة.

10. معدل إنجاز المهام

يُظهر معدل إنجاز المهام مدى تكرار وصول الذكاء الاصطناعي إلى الحالة النهائية المطلوبة. بالنسبة لموظف خدمة العملاء، قد يعني ذلك إصدار رد أموال، أو تحديث سجل العميل، أو تأكيد النتيجة. ولا يُحتسب تقديم رد معقول ضمن ذلك.

لنفترض أن أحد الموظفين حاول معالجة 1,000 طلب استرداد مؤهل وأكمل 700 طلب منها دون مساعدة بشرية. تبلغ نسبة إنجاز المهام بشكل مستقل 70%. قم بالإبلاغ عن عمليات الإنجاز بمساعدة بشرية بشكل منفصل، حتى لا يتم التعامل مع عملية التسليم السلسة على أنها نجاح كامل أو فشل كامل.

لا تستخدم معيارًا عامًا كهدف إنتاجي. فنتائج أداء الوكلاء تتغير بسرعة، ونادرًا ما تتطابق المهام المعيارية مع أنظمتك أو سياساتك أو عملائك. قم ببناء مجموعة الاختبارات بناءً على المهام التي سيتولاها الوكيل فعليًّا.

11. دقة اختيار الأدوات

تُظهر دقة اختيار الأداة مدى تكرار اختيار الموظف للأداة المناسبة للخطوة التالية. وهذا أمر منفصل عن مدى استخدامه لتلك الأداة بشكل صحيح.

قد يقوم أحد الموظفين بالبحث في الويب في حين أنه ينبغي عليه الاستعلام عن سجل أحد العملاء، أو إرسال بريد إلكتروني في حين أن المستخدم لم يطلب سوى مسودة. اختيار واحد خاطئ كفيل بإخراج بقية المهمة عن مسارها.

12. دقة وسيطات استدعاء الأدوات

بمجرد أن يختار الوكيل أداة ما، يجب عليه إدخال القيم الصحيحة فيها. تتحقق دقة معلمات استدعاء الأداة من الحقول مثل الأسماء والتواريخ والمعرفات والمبالغ.

لنفترض أن أحد الموظفين أجرى 300 مكالمة حجز، وأن 264 منها احتوت على جميع التفاصيل الصحيحة. تبلغ دقة المعطيات الصارمة 88%. في عملية الدفع أو الحجز، قد يؤدي التاريخ أو رقم الحساب الخاطئ إلى حدوث خطأ حقيقي في المعاملة.

يعتبر معيار النجاح الصارم أن أي حقل خاطئ يمثل استدعاءً فاشلاً. أضف دقة على مستوى الحقل إذا كنت بحاجة أيضًا إلى تحديد المعلمات التي تسبب المشكلة.

13. جودة المسار

تُقيّم جودة المسار الطريق الذي يسلكه الموظف لإنجاز مهمة ما. فقد يصل الموظف إلى النتيجة الصحيحة بعد عدة عمليات بحث غير ضرورية، أو مكالمات متكررة، أو انتهاكات للسياسات. ومن شأن درجة إنجاز بسيطة أن تغفل كل ذلك.

لا تقم بتقييم كل عملية تنفيذ مقارنةً بمسار واحد مثالي. فقد يكون للمهام المعقدة عدة مسارات صالحة. قم بتقييم العملية مقارنةً بالخطوات المطلوبة، والإجراءات المسموح بها، والانحرافات غير الضرورية.

قم بالتقييم وفقًا لمجموعة من القواعد بدلاً من مسار واحد مثالي، نظرًا لأن المهام المعقدة غالبًا ما تحتوي على عدة مسارات صحيحة. وهذا يمثل نقطة عمياء حقيقية في اختبار الوكلاء. وقد تم تصميم معيار TRAJECT-Bench لعام 2025 لسد هذه الثغرة من خلال التحقق من اختيار الأداة، وصحة الحجج، وما إذا كانت الاستدعاءات تتم بالترتيب الصحيح، بدلاً من الاكتفاء بالتحقق مما إذا كان الوكيل قد وصل إلى النهاية أم لا.

14. كفاءة التخطيط

تُظهر كفاءة التخطيط مقدار العمل الإضافي الذي يقوم به الموظف قبل الوصول إلى النتيجة. فكل خطوة إضافية تضيف وقتًا ورموزًا وفرصة أخرى للفشل.

إذا كانت المهمة تتطلب أربع خطوات معتمدة واستخدم الموظف ست خطوات، فإن كفاءة التخطيط القائم على الخطوات تبلغ 66.7%. ولا يكون هذا الرقم صالحًا إلا عندما يمكنك تحديد مسار مرجعي عادل أو ميزانية للخطوات.

لا تكافئ أبدًا المسار الأقصر في حد ذاته. فقد يبدو الوكيل الذي يتخطى فحصًا مطلوبًا فعالاً، في حين أنه يخلق المزيد من المخاطر.

15. درجة الاتساق

يُظهر التناسق ما إذا كان الذكاء الاصطناعي يُقدّم نتائج متماثلة عند تكرار المهمة نفسها في ظل الظروف نفسها. فقد يكون نجاح الاختبار مرة واحدة مجرد حظ.

لنفترض أنك قمت بتنفيذ المهمة نفسها 20 مرة، و18 نتيجة منها استوفت معايير النتيجة نفسها. فإن معدل الاتساق يبلغ 90%. قارن الحقائق أو القرارات أو الإجراءات النهائية بدلاً من الصياغة المتشابهة.

16. معدل المتانة

يقيس معدل المتانة مدى ثبات الأداء عند تغير المدخلات بطرق واقعية. وقد تشمل الاختبارات الأخطاء المطبعية، أو التفاصيل الناقصة، أو المعلومات المعاد ترتيبها، أو المطالبات الأطول، أو الصياغة المختلفة.

إذا كان النموذج يعالج 170 حالة اختبار معدلة من أصل 200، فإن معدل متانته يبلغ 85%. يجب أن تعكس مجموعة الاختبار المدخلات غير المنظمة التي يقدمها المستخدمون.

17. معدل انتهاكات السلامة

يُظهر معدل انتهاكات السلامة مدى تكرار خرق مخرجات الذكاء الاصطناعي لسياسة أمان محددة. وقد يشمل الانتهاك تقديم نصيحة ضارة، أو الكشف عن بيانات خاصة، أو عرض محتوى محظور، أو اتخاذ إجراء لا يحق للوكيل القيام به.

لنفترض أن المراجعين أكدوا وجود 12 مخالفة من بين 10,000 ناتج. تبلغ النسبة 0.12%. قد يظل هذا الرقم الصغير غير مقبول إذا كان من الممكن أن يتسبب فشل واحد في ضرر جسيم.

أبلغ عن خطورة الانتهاكات وتكرارها. فلا ينبغي أن يُعطى عشر انتهاكات طفيفة نفس الأهمية التي تُعطى لكشف واحد عن البيانات الخاصة.

18. فجوة الإنصاف

تُظهر فجوة الإنصاف ما إذا كان أداء الذكاء الاصطناعي يختلف بين المجموعات التي ينبغي أن تحظى بمعاملة متماثلة. فقد تخفي درجة الدقة الإجمالية الواحدة فجوة كبيرة كامنة وراءها.

لنفترض أن نموذج الفرز لديه معدل إيجابي صحيح يبلغ 82% لمجموعة ما و71% لمجموعة أخرى. الفارق بينهما هو 11 نقطة مئوية. ما اسم المقياس الذي يتم مقارنته؟ إن مصطلح «فجوة الإنصاف» بمفرده غامض للغاية.

لا تثبت الفجوة الأصغر أن النظام عادل. فقد تكون كل مجموعة تحصل على نتائج سيئة بنفس الدرجة. اقرأ درجة كل مجموعة جنبًا إلى جنب مع الفجوة.

19. معدل القبول من المرة الأولى

يُظهر معدل القبول من المرة الأولى مدى تكرار إمكانية استخدام مخرجات الذكاء الاصطناعي عند المراجعة الأولى. وهو يوفر لك معلومات تفوق بكثير حجم المحتوى أو الكود أو التحليلات التي ينتجها النظام.

لنفترض أن المحررين راجعوا 100 مسودة تم إعدادها بواسطة الذكاء الاصطناعي وقبلوا 65 منها دون الحاجة إلى إعادة المراجعة أو إجراء تصحيحات جوهرية. تبلغ نسبة القبول في المراجعة الأولى 65%. يجب تعريف مصطلح «مقبول» مسبقًا، حيث إن إجراء تعديل لغوي بسيط وإعادة كتابة كاملة لا ينبغي اعتبارهما نفس النتيجة.

20. معدل إعادة العمل

يُظهر معدل إعادة العمل مدى تكرار الحاجة إلى تصحيح مخرجات الذكاء الاصطناعي بعد دخولها إلى سير العمل. وهو يكشف عن الكفاءة الزائفة، حيث يوفر الذكاء الاصطناعي الوقت في البداية، لكنه ينقل المزيد من العمل إلى المراجعين أو الفرق التالية في سلسلة العمل.

إذا تم إرجاع 22 عينة من أصل 100 عينة من الأكواد المكتوبة بواسطة الذكاء الاصطناعي للتصحيح، فإن معدل إعادة العمل يبلغ 22%. افصل العيوب الناتجة عن الذكاء الاصطناعي عن المراجعات الروتينية أو التغييرات في نطاق العمل.

مقاييس النظام والتشغيل

تتناول هذه الطبقة مسألة ما إذا كانت النتائج الجيدة تصل فعليًّا إلى المستخدمين بشكل موثوق وسريع وبتكلفة يمكن للشركة تحملها. فهي المرحلة التي يتلاشى فيها اعتماد الذكاء الاصطناعي بهدوء، لأن النموذج الدقيق تقنيًّا الذي يستجيب ببطء أو يكلف أكثر من اللازم لا يجد أبدًا مكانًا له في سير العمل.

21. زمن الاستجابة

الزمن المستغرق هو الفترة الزمنية بين الطلب والنتيجة القابلة للاستخدام، وما يُعتبر قابلاً للاستخدام يعتمد كلياً على المهمة. بالنسبة لمصنف البيانات، قد تكون النتيجة النهائية هي المعيار. أما بالنسبة لوكيل الخدمة، فقد تكون اللحظة التي يكتمل فيها الإجراء المطلوب. لكن احذر من المتوسطات، لأنها تخفي التأخيرات التي يشعر بها المستخدمون فعليًا. قد يبلغ متوسط زمن استجابة مساعد الدعم 1.2 ثانية، لكنه قد يرتفع إلى ست ثوانٍ خلال ساعات الذروة. قم بالإبلاغ عن النسب المئوية مثل p50 و p95 حتى تتمكن من رؤية كل من الطلب النموذجي والطلب البطيء.

الوقت حتى الرمز الأول (TTFT): بالنسبة لأنظمة البث، قم أيضًا بتتبع المدة التي يستغرقها الرد للبدء، وليس فقط للانتهاء. قد ينجز مساعدان المهمة في خمس ثوانٍ، لكن المساعد الذي يبدأ البث في غضون 300 مللي ثانية يبدو أسرع بكثير من المساعد الذي يترك الشاشة فارغة لمدة ثانيتين. لا يوجد معيار عالمي لـ TTFT: فطول المطالبة وحجم النموذج وقوائم الانتظار والحمل كلها عوامل تؤثر عليه، لذا حدد هدفًا لحالة الاستخدام الخاصة بك واختبره في ظل حركة مرور واقعية.

22. معدل الإنتاجية

الإنتاجية هي مقدار العمل الذي ينجزه النظام خلال فترة زمنية محددة. يمكنك حساب عدد الطلبات في الثانية، أو المستندات في الساعة، أو المهام الناجحة في اليوم. لنفترض أن مسار معالجة المستندات يعالج 500 ملف في الساعة أثناء الاختبار، لكن هذا الرقم ينخفض إلى 200 ملف في ظل حركة المرور الحقيقية. هذه الفجوة توضح لك ما إذا كان بإمكانه تحمل فترات الذروة دون تراكم الأعمال المتأخرة.

اذكر الوحدة في كل مرة. فـ«الطلبات في الثانية» و«الرموز في الثانية» تجيبان على أسئلة مختلفة.

23. وقت التشغيل والتوافر

التوافر هو نسبة الوقت المجدول الذي يمكن لخدمة الذكاء الاصطناعي خلاله إنجاز الطلبات فعليًّا. قد تكون الخدمة متصلة بالإنترنت، لكنها بطيئة جدًّا أو معطلة بحيث لا تستطيع إنجاز العمل؛ لذا، يجب تعريف التوافر بناءً على النتيجة القابلة للاستخدام. فمعدل شهري يبلغ 99% لا يزال يترك مجالًا لحوالي 7 ساعات و12 دقيقة من التوقف عن العمل في شهر مكون من 30 يومًا. وقد يكون ذلك مقبولًا بالنسبة لمساعد كتابة اختياري، لكنه يصعب قبوله كثيرًا بالنسبة لأداة دعم يعتمد عليها الناس على مدار الساعة.

24. معدل أخطاء النظام

يشمل معدل أخطاء النظام الأعطال الفنية مثل انتهاء المهلة، والنماذج غير المتاحة، والاستجابات غير الصالحة، وعمليات التكامل المعطلة. لنفترض أن 30 طلبًا من أصل 1,000 طلب من وكلاء الخدمة فشلت بسبب تعطل واجهة برمجة التطبيقات (API). وهذا يمثل معدل خطأ بنسبة 3%. قم بتصنيف هذه الأعطال حسب السبب، وإلا فإن الفريق سيعلم أن هناك خللاً ما ولكنه لن يعرف أين يبحث عنه.

25. معدل إعادة المحاولة

معدل إعادة المحاولة هو عدد المرات التي يتعين على النظام فيها تكرار طلب أو إجراء ما. قد تنجح المهمة الأساسية في النهاية، ولهذا السبب لا تُحسب محاولات إعادة التنفيذ ضمن درجة الإنجاز البسيطة. لنفترض أن 120 طلبًا من أصل 1,000 طلب تحتاج إلى محاولة إضافية واحدة. وهذا يمثل معدل إعادة محاولة بنسبة 12٪، ويقوم النظام بإجراء 1,120 محاولة إجمالاً، وهو ما يمثل حوالي 12٪ من العمل الإضافي لتلك الدفعة. وتؤدي إعادة المحاولة أكثر من مرة لكل طلب إلى زيادة التكلفة أكثر من ذلك.

26. التكلفة لكل مهمة ناجحة

تربط تكلفة المهمة الناجحة الإنفاق على الذكاء الاصطناعي بالعمل المنجز، مما يجعلها أكثر دقة بكثير من تكلفة الطلب الواحد، حيث تستهلك المحاولات الفاشلة الرموز والأدوات والبنية التحتية. لنفترض أن تكلفة كل عملية تشغيل للمُعالج تبلغ 10 سنتات، لكن نصفها فقط ينجح. فإن تكلفتك المباشرة لكل عملية ناجحة تبلغ 20 سنتًا. وإذا أضفنا المراجعة البشرية أو إعادة العمل، فإن الرقم الفعلي يرتفع أكثر من ذلك.

27. معدل الاحتواء

معدل الاحتواء هو نسبة التفاعلات المؤهلة التي تنتهي دون تدخل بشري. تستخدم فرق الدعم هذا المقياس لتقدير حجم الطلب الذي يتولاه الذكاء الاصطناعي بمفرده. كما أنه من السهل تضخيم هذا المعدل. لنفترض أن روبوتًا احتوى على 800 محادثة من أصل 1,000، بمعدل 80%. تلقى بعض هؤلاء المستخدمين إجابة حقيقية، بينما استسلم آخرون ببساطة. يبدو كلاهما أنهما تم احتواؤهما ما لم تفحص ما حدث بعد ذلك.

لا تحسب سوى الاستعلامات التي من المفترض أن يتعامل معها الذكاء الاصطناعي. ولا ينبغي اعتبار عمليات التسليم المستندة إلى السياسات بمثابة حالات فشل.

28. معدل التصعيد

معدل التحويل هو عدد المرات التي يتم فيها تحويل تفاعل مع الذكاء الاصطناعي إلى شخص. قد يشير المعدل المرتفع إلى ضعف الأداء، ولكنه قد يعني أيضًا أن النظام يعرف متى يتنحى جانبًا. لنفترض أن 150 تفاعلًا من أصل 1,000 تم تحويلها، بمعدل 15%. هذا الرقم بحد ذاته لا يعني الكثير. قسّمه إلى حالات التحويل المطلوبة بموجب السياسة، وتلك التي طلبها المستخدم، والحالات التي لم يتمكن الذكاء الاصطناعي من حلها ببساطة.

مقاييس التبني وتأثيره على القوى العاملة

لا يزال على نظام الذكاء الاصطناعي الفعال أن يثبت جدارته في حياة المستخدمين اليومية. توضح هذه المقاييس ما إذا كان المستخدمون يجربونه، ويستخدمونه في أعمال حقيقية، ويعودون إليه بعد زوال عامل الجدة.

لا يكفي الاستخدام وحده لإثبات القيمة. فقد وجدت مؤسسة غالوب أن 50% من الأمريكيين العاملين يستخدمون الذكاء الاصطناعي عدة مرات على الأقل في السنة، لكن 13% فقط يستخدمونه يوميًا. وهذه الفجوة هي بالضبط السبب الذي يدفعك إلى تتبع التكرار والعمق والكفاءة إلى جانب معدل التبني البسيط.

29. معدل اعتماد المستخدمين المؤهلين

يُظهر معدل اعتماد المستخدمين المؤهلين عدد الأشخاص الذين يمكنهم استخدام الذكاء الاصطناعي والذين أتموا إجراءً واحدًا ذا مغزى على الأقل باستخدامه. المقام هو ما يهم هنا. إذا قام 400 شخص بتفعيل أداة ما، فهذا يبدو رائعًا. ولكن إذا تم منح 4,000 موظف حق الوصول إليها، فإن معدل الاعتماد لا يتجاوز 10% في الواقع. استبعد الموظفين الذين لا توجد لحالات عملهم أي حالات استخدام معتمدة أو مفيدة للذكاء الاصطناعي.

حدد معنى «الإجراء ذي المغزى» قبل الإطلاق. فلا ينبغي اعتبار فتح الأداة أو إرسال موجه اختبار بمثابة اعتماد.

30. معدل الاستخدام الفعلي للذكاء الاصطناعي

يُظهر معدل الاستخدام النشط عدد المستخدمين المؤهلين الذين يعتمدون فعليًا على الذكاء الاصطناعي خلال فترة محددة. غالبًا ما يوفر لك الاستخدام النشط الأسبوعي معلومات أكثر بكثير مما يوفره إجمالي عدد المسجلين. لنفترض أن 1,000 موظف مؤهلين وأن 600 منهم جربوا الأداة، لكن 180 فقط يستخدمونها فعليًا خلال أسبوع عادي. قد يبلغ رقم معدل التبني 60٪، في حين أن معدل الاستخدام النشط الأسبوعي لا يتجاوز 18٪. ويُعد هذا الرقم الثاني أقرب بكثير إلى المكانة الحقيقية للأداة في سير العمل.

حدد عتبة تتناسب مع طبيعة العمل. قد يكون الاستخدام الأسبوعي مناسبًا لأدوات الكتابة والدعم، بينما يحتاج مساعد التخطيط الفصلي إلى فترة زمنية أطول.

31. نطاق التبني

يُظهر نطاق التبني مدى انتشار استخدام الذكاء الاصطناعي عبر الفرق أو الأدوار أو المواقع في عملية النشر. وقد يخفي معدل التبني الإجمالي صورة غير متوازنة. فقد يعتمد فريق هندسي واحد على الأداة يوميًا، في حين أن فرق المبيعات والمالية والدعم بالكاد تستخدمها.

لا تتوقع أن تصل كل مجموعة إلى المستوى نفسه. قارن بين الفرق فقط عندما يكون الذكاء الاصطناعي مفيدًا ومتاحًا لها على حد سواء.

32. عمق التبني

يُظهر عمق الاستخدام عدد المهام المنفصلة التي يتولاها المستخدمون النشطون باستخدام الذكاء الاصطناعي. وهو يميز بين الاستخدام السطحي والاستخدام الفعلي. فالشخص الذي يقتصر استخدامه على إعادة صياغة عناوين رسائل البريد الإلكتروني قد تعلم كيفية استخدام الأداة، ولكنه لم يتعمق في ذلك. أما الشخص الذي يستخدمها في البحث وكتابة المسودات والتحليل وتدوين ملاحظات الاجتماعات، فقد أدمجها في جزء أكبر بكثير من يومه.

لا تعني زيادة حالات الاستخدام دائمًا زيادة القيمة. فقد تتفوق بضعة سير عمل ذات تأثير كبير على قائمة طويلة من سير العمل التافهة.

33. معدل انتشار سير العمل

يُظهر معدل انتشار الذكاء الاصطناعي في سير العمل النسبة المئوية من الأعمال المؤهلة التي يتم إنجازها فعليًّا بدعم من الذكاء الاصطناعي. يقيس معدل اعتماد الذكاء الاصطناعي عدد الأشخاص، بينما يقيس معدل انتشار الذكاء الاصطناعي في سير العمل حجم العمل نفسه. لنفترض أن فريق الدعم يعالج 10,000 تذكرة مؤهلة للحصول على مساعدة الذكاء الاصطناعي، لكن الذكاء الاصطناعي لا يتدخل إلا في 2,500 تذكرة منها. في هذه الحالة، يبلغ معدل الانتشار 25%، حتى لو كان كل موظف قد جرب الأداة مرة واحدة على الأقل.

احرص على أن يقتصر نطاق العمل على المهام التي تمت الموافقة عليها والتي يمكن للذكاء الاصطناعي التعامل معها.

34. معدل الاحتفاظ بالمستخدمين النشطين

يُظهر معدل الاحتفاظ عدد الأشخاص الذين يواصلون استخدام الذكاء الاصطناعي بعد أول استخدام فعّال لهم له. وهو يساعدك على التمييز بين التبني الدائم والفضول الذي يظهر في أسبوع الإطلاق. لنفترض أن 500 موظف قاموا بتفعيل الأداة في يناير، وأن 300 منهم ما زالوا يستوفون عتبة الاستخدام بحلول أبريل. فإن معدل الاحتفاظ لديك على مدى ثلاثة أشهر يبلغ 60%.

قم بقياس معدل الاحتفاظ بالمستخدمين حسب المجموعات. قد تؤدي مقارنة عدد المستخدمين النشطين لهذا الشهر بإجمالي عدد المستخدمين في الشهر الماضي إلى إخفاء حقيقة أن المستخدمين الجدد يحلون محل أولئك الذين غادروا.

35. معدل إتقان الذكاء الاصطناعي

يُظهر معدل الكفاءة عدد المستخدمين القادرين على إنجاز مهمة معتمدة باستخدام الذكاء الاصطناعي مع الالتزام بمعايير الجودة والسلامة المطلوبة. قم بتكليف الأشخاص بمهمة واقعية، ثم تحقق من النتيجة. هل يمكن لموظف الدعم استخدام الذكاء الاصطناعي لصياغة رد دقيق، والتحقق من المصدر، وكشف السياسة المزيفة؟

قد يستخدم شخص ما الذكاء الاصطناعي بشكل متكرر ويظل يستخدمه بشكل سيئ. ولهذا السبب، فإن الكفاءة تأتي جنبًا إلى جنب مع التبني، وليست أقل أهمية منه.

36. معدل التجاوز

يُظهر معدل التجاوز عدد المرات التي يرفض فيها الشخص اقتراح الذكاء الاصطناعي أو يستبدله أو يعكسه. ويمكن أن يكشف هذا المعدل عن ضعف النتائج أو انخفاض الثقة أو ببساطة عن صحة الحكم البشري. لنفترض أن المراجعين قاموا بتغيير 240 توصية من أصل 1,000 توصية قدمها الذكاء الاصطناعي. فهذا يمثل معدل تجاوز بنسبة 24%. ومع ذلك، لا تزال بحاجة إلى معرفة السبب. فلا ينبغي أن يُعطى التصحيح الضروري نفس الوزن الذي يُعطى لتفضيل صياغة شخصي.

قد يكون معدل التجاوز المنخفض مدعاة للقلق فعليًا، إذا كان ذلك يعني أن المستخدمين يقبلون النتائج الضعيفة دون التحقق منها.

37. معدل التدخل البشري

يقيس معدل التدخل البشري عدد المرات التي تحتاج فيها المهمة التي بدأها الذكاء الاصطناعي إلى مساعدة غير مخطط لها قبل أن تتمكن من الانتهاء. وهذا يختلف عن الموافقة المخطط لها أو التسليم وفقًا للسياسة. لنفترض أن أحد الموظفين حاول إنجاز 1,000 مهمة واضطر الأشخاص إلى التدخل لإنقاذ 180 منها. فهذا يمثل معدل تدخل بنسبة 18%. وتنطوي عمليات الإنقاذ هذه على تكاليف عمالة قد يخفيها معدل الإنجاز الذاتي.

احرص على إبقاء المراجعة المخطط لها خارج البسط. فالموافقة المطلوبة هي جزء من سير العمل، وليست عطلًا في النظام.

38. الوقت الموفر لكل مهمة مكتملة

يُقيس الوقت المُوفَّر لكل مهمة مكتملة كفاءة سير العمل المدعوم بالذكاء الاصطناعي بالكامل مقارنةً بخط أساس عادل. احسب كل شيء: المطالبة، والانتظار، والتدقيق، والتصحيح، وإعادة التشغيل. إذا تجاهلت ذلك، فلن تحسب سوى المسودة الأولى السريعة. وستتجاهل بهدوء كل عمليات التنظيف التي تليها.

قد يكون التوفير في الوقت الذي يبلغ عنه المستخدمون مفيدًا، لكنه يحتاج إلى التحقق من صحته. فقد وجدت دراسة أجراها بنك الاحتياطي الفيدرالي في سانت لويس أن مستخدمي الذكاء الاصطناعي أفادوا بتوفير حوالي 2.2 ساعة في أسبوع عمل مدته 40 ساعة. ومع ذلك، وجدت تجربة عشوائية أجرتها شركة METR أن المطورين ذوي الخبرة استغرقوا وقتًا أطول بنسبة 19% عند استخدام الذكاء الاصطناعي، على الرغم من اعتقادهم بأن الذكاء الاصطناعي جعلهم أسرع بنسبة 20%. غطت الدراسات أعمالًا مختلفة، لكنها تؤكد جميعها على نقطة واحدة: اسأل المستخدمين عن مقدار الوقت الذي وفره الذكاء الاصطناعي، ثم تحقق من ذلك باستخدام بيانات المهام.

39. وقت مراجعة الذكاء الاصطناعي

يقيس «وقت المراجعة باستخدام الذكاء الاصطناعي» الجهد البشري اللازم لفحص الناتج والموافقة عليه. وهنا غالبًا ما يتضاءل التوفير الموعود في الوقت بشكل غير ملحوظ. فقد يستغرق إنشاء مسودة باستخدام الذكاء الاصطناعي 30 ثانية، لكن التحقق منها قد يستغرق 12 دقيقة. قارن هذا الإجمالي بالوقت الذي كانت ستستغرقه المهمة في حالة عدم استخدام الذكاء الاصطناعي على الإطلاق.

لا تقلل وقت المراجعة إلى الصفر في الأعمال عالية المخاطر. فالهدف هو المراجعة الفعالة، وليس الموافقة العمياء.

40. مؤشر ثقة الموظفين

تقيس درجة ثقة الموظفين مدى اعتقاد المستخدمين بأن الذكاء الاصطناعي موثوق به بما يكفي لأداء المهام المعتمدة له، ومدى فهمهم لحدوده. يمكنك قياسها من خلال استبيان قصير يغطي الدقة والشفافية والسلامة والثقة في اكتشاف الأخطاء. تجنب طرح سؤال عام واحد مثل «هل تثق بالذكاء الاصطناعي؟»، فهذا يمنحك نتيجة غامضة لا يمكنك الاستفادة منها في اتخاذ الإجراءات اللازمة.

مقاييس التأثير على الأعمال والعائد على الاستثمار

هذه هي الجوانب التي يركز عليها المسؤولون التنفيذيون في تخصيص الموارد، وهي الجوانب التي تتجاهلها معظم لوحات معلومات الذكاء الاصطناعي. المخرجات، والتكلفة، والإيرادات، ونتائج العملاء، وعائد الاستثمار: هذه هي الأرقام التي تحدد ما إذا كان سيتم تجديد البرنامج أم تعليقه.

كما أنها أصعب الأمور التي يمكن إثباتها. فقد ترتفع الإيرادات بعد الإطلاق بسبب تغير الطلب، وليس لأن الذكاء الاصطناعي قد حقق أي شيء. وقد تنخفض التكاليف لأن الفريق أعاد صياغة عملياته في الوقت نفسه. ويُظهر لك مقارنة بسيطة بين «قبل» و«بعد» ما الذي تغير، ولكنه لا يوضح سبب هذا التغيير. ولذلك، تحتاج إلى مجموعة مراقبة، أو طرح تدريجي، أو خط أساس مطابق، حتى تتمكن من معرفة ما كان سيحدث على أي حال.

41. الإنتاجية الإضافية

يقيس «الإنتاجية الإضافية» مقدار العمل المقبول الإضافي الذي ينجزه الفريق بعد إضافة الذكاء الاصطناعي. احسب فقط المخرجات التي تستوفي معايير الجودة نفسها التي تم تحديدها كخط أساس. لنفترض أن فريقًا ما كان ينجز 500 حالة معتمدة أسبوعيًا قبل استخدام الذكاء الاصطناعي، وأصبح الآن ينجز 575 حالة. فهذا يمثل زيادة في الإنتاجية بنسبة 15%. ولكن إذا ارتفعت عمليات إعادة العمل في الوقت نفسه، فقد يكون المكسب الحقيقي أقل مما يبدو.

42. تقليل مدة الدورة

يُظهر تقليل مدة الدورة مدى السرعة التي يتم بها إنجاز العمل من البداية إلى النهاية. قم بتضمين فترات الانتظار والمراجعة والتصحيحات والموافقة النهائية. إذا قمت بقياس خطوة إنشاء المحتوى بالذكاء الاصطناعي فقط، فستظهر النتيجة أفضل مما هي عليه في الواقع. لنفترض أن مراجعة العقد كانت تستغرق خمسة أيام قبل استخدام الذكاء الاصطناعي، وأصبحت تستغرق الآن ثلاثة أيام. فقد انخفضت مدة الدورة بنسبة 40%.

43. التكلفة لكل حل

تُظهر «التكلفة لكل حل» ما تنفقه الشركة لحل مشكلة واحدة. وهي أفضل من «التكلفة لكل اتصال»، لأن مشكلة واحدة يواجهها العميل قد تؤدي إلى عدة رسائل أو مكالمات أو تصعيدات. قم بتضمين تكاليف النماذج، والعمالة البشرية، واستدعاءات الأدوات، والمراجعة، والاتصالات المتكررة. وإلا فإن الاستجابة الأولى الرخيصة تخفي مسارًا مكلفًا للوصول إلى الحل الحقيقي.

44. وفورات في التكاليف تم التحقق منها

تتمثل الوفورات المؤكدة في التكاليف في النفقات التي تم التخلص منها بعد تطبيق الذكاء الاصطناعي. فكر في انخفاض ساعات العمل الإضافية، أو انخفاض عدد ساعات العمل المُعهدة إلى جهات خارجية، أو انخفاض فاتورة البنية التحتية. لا يُعتبر الوقت المُوفَّر نقودًا بحد ذاته. فإذا ظل الموظفون على نفس كشوف الرواتب وظل الإنتاج ثابتًا، فهذا يعني أنك قد حررت طاقة إنتاجية ولكنك لم تخفض تكلفة حقيقية.

افصل بين «تجنب التكاليف» و«التوفير». فـ«التوفير» يزيل نفقة قائمة بالفعل، بينما «تجنب التكاليف» يمنع نفقة مستقبلية مخطط لها، مثل توظيف خمسة موظفين إضافيين للتعامل مع حجم التذاكر المتزايد. كلاهما يمكن أن يُظهر قيمة، لكن الخلط بينهما دون تمييز يجعلهما يبدوان أكثر تأكيدًا مما هما عليه في الواقع.

45. الإيرادات الإضافية الناتجة عن الذكاء الاصطناعي

الإيرادات الإضافية هي الإيرادات التي حققها الذكاء الاصطناعي، علاوةً على ما كان سيحدث على الأرجح في أي حال. وأفضل طريقة لتحديدها هي مقارنة مجموعة استخدمت الذكاء الاصطناعي بمجموعة مراقبة مماثلة. لا توجد مجموعة مراقبة؟ استخدم بدلاً من ذلك طرحًا تدريجيًا أو خط أساس مطابقًا. وقم بالتعديل وفقًا للتغيرات في الأسعار والعروض الترويجية والطلب والموسم.

الإيرادات ليست هي الأرباح. استخدم هامش الربح الإجمالي الإضافي، وليس رقم الإيرادات الكلي، عند حساب عائد الاستثمار.

46. ارتفاع معدل التحويل

يُظهر ارتفاع معدل التحويل ما إذا كان الذكاء الاصطناعي يساعد المزيد من المستخدمين على إتمام إجراء مستهدف، مثل الشراء أو حجز عرض توضيحي أو إتمام عملية التسجيل. لنفترض أن معدل التحويل في المجموعة الضابطة يبلغ 5%، بينما يبلغ في المجموعة التي تستخدم الذكاء الاصطناعي 5.5%. يكون الارتفاع المطلق 0.5 نقطة مئوية، بينما يبلغ الارتفاع النسبي 10%. احرص دائمًا على تحديد أيهما تقصد.

47. الفارق في مستوى رضا العملاء

يُظهر فارق رضا العملاء ما إذا كانت تقييمات العملاء قد تغيرت بمجرد إدخال الذكاء الاصطناعي في التجربة. قارن بين نفس القناة ونوع المشكلة ومجموعة العملاء ومقياس التقييم. لنفترض أن الدعم المدعوم بالذكاء الاصطناعي سجل 4.3 من أصل 5، بينما سجلت المجموعة الضابطة 4.1. يكون الفارق 0.2 نقطة.

راقب من يشارك في الاستبيان. فقد يختلف معدل استجابة العملاء السعداء عن الغاضبين، مما قد يؤثر على النتيجة دون أن يكون هناك تغيير حقيقي في الخدمة.

48. معدل تكرار الاتصال

يُظهر معدل الاتصال المتكرر عدد المرات التي يعود فيها العميل بشأن نفس المشكلة المفتوحة. وهو يلتقط الحالات التي بدت محلولة فقط لأن المحادثة الأولى انتهت صدفة. لنفترض أن 120 حالة من أصل 1,000 حالة يُفترض أنها حُلّت أدت إلى اتصال آخر في غضون أسبوع. وهذا يمثل معدل اتصال متكرر بنسبة 12%.

حدد فترة زمنية واضحة وقم بمطابقة جهات الاتصال التي تتعلق بنفس المشكلة. لا ينبغي اعتبار عودة العميل بسؤال جديد بمثابة فشل في حل المشكلة.

49. وقت تحقيق القيمة

يقيس «وقت تحقيق القيمة» المدة التي يستغرقها مشروع الذكاء الاصطناعي لإنتاج أول نتيجة تجارية مؤكدة. حدد ما يُعتبر قيمة قبل بدء التنفيذ. لا يُعتبر النموذج الأولي العامل أو أول تسجيل دخول للمستخدم قيمةً ما لم يكن ذلك هو الهدف المتفق عليه منذ البداية.

50. عائد الاستثمار في الذكاء الاصطناعي

يُقيس عائد الاستثمار في الذكاء الاصطناعي الفوائد الصافية المؤكدة مقارنةً بتكلفة البرنامج. ويمكن أن تشمل الفوائد زيادة في الربح الإجمالي، وتوفيرات حقيقية في التكاليف، وتجنب تكاليف محددة بوضوح. ويجب أن تكون التكاليف محددة بدقة أيضًا. احسب تكاليف البرامج والنماذج والخوادم. ثم أضف تكاليف الإعداد والتدريب والإشراف والمراجعة والصيانة.

تجنب الحساب المزدوج. إذا كان الذكاء الاصطناعي يوفر وقت الموظفين وأدى هذا الوقت إلى زيادة الإنتاج، فاحسب قيمة الإنتاج الإضافي أو التوفير في العمالة. فحساب كلا الأمرين يعني تسجيل الفائدة نفسها مرتين.

51. فترة الاسترداد

تُقدّر فترة الاسترداد المدة التي يستغرقها مشروع الذكاء الاصطناعي لاسترداد استثماره الأولي من خلال الفوائد الصافية المؤكدة. لنفترض أن تكلفة إطلاق المشروع تبلغ 300,000 دولار أمريكي ويحقق فائدة صافية قدرها 25,000 دولار أمريكي شهريًا. في هذه الحالة، تبلغ فترة الاسترداد البسيطة 12 شهرًا.

يتجاهل حساب فترة الاسترداد البسيط القيمة الزمنية للنقود وأي عوائد يتم تحقيقها بعد تاريخ الاسترداد. وقد تستخدم فرق الشؤون المالية أيضًا صافي القيمة الحالية لبرامج الذكاء الاصطناعي الكبيرة أو طويلة الأمد.

لماذا يُعد «الإدراك» أخطر مقياس على الإطلاق

يلاحظ الناس الوقت الذي يوفره الذكاء الاصطناعي في كتابة المسودة الأولى. لكن ما نادرًا ما يأخذونه في الحسبان هو الوقت الذي يلي ذلك: كتابة التوجيهات، والتحقق من الحقائق، وتصحيح الأخطاء، وإعادة صياغة الأجزاء الضعيفة. وهذا الحساب المفقود يجعل المكسب يبدو أكبر بكثير مما هو عليه في الواقع.

على حد تعبير فرح لاخاني، المديرة التنفيذية لشؤون النمو والاستراتيجية في الإدارة العليا:

الخطأ الأكثر شيوعًا الذي ألاحظه هو اعتبار الوقت الموفر المقياس الأساسي لنجاح الذكاء الاصطناعي. فالساعات التي تم توفيرها، والمهام التي تمت أتمتتها، ووقت الدورات التي تم تقليصها، هي أسهل النقاط البياناتية التي يمكن جمعها وعرضها في تقرير مجلس الإدارة. كما أنها الأقل احتمالًا لتعكس التأثير الحقيقي على الأعمال.

علاوة على ذلك، أجرت METR استطلاعًا شمل 349 موظفًا تقنيًا حول تأثير الذكاء الاصطناعي على عملهم. وأفاد المشارك المتوسط في الاستطلاع بزيادة السرعة بمقدار ثلاثة أضعاف وزيادة القيمة المنتجة بمقدار 1.4 إلى 2 أضعاف.

تبدو هذه الأرقام مثيرة للإعجاب، لكن METR أشارت إليها بحذر. فقد استُمدت هذه الأرقام من تقديرات العمال أنفسهم، وليس من مهام محددة زمنياً أو من مجموعة مراقبة. ولاحظ الباحثون دلائل تشير إلى أن الادعاءات الأكثر جرأة قد بالغت في تقدير ما ظهر فعلياً في العمل النهائي.

لا يعني أي من هذا أن التصور عديم الفائدة. فإذا شعر الناس أن الذكاء الاصطناعي يساعدهم، فإنهم يميلون إلى استخدامه بشكل أكبر. كما أن التصور يبرز الثقة وسهولة الاستخدام والإحباط. ولا يصبح الأمر خطيرًا إلا عندما تعامل الشركة هذا الشعور على أنه دليل على الإنتاجية أو العائد على الاستثمار.

والخطوة الأفضل هي قياس الفجوة بين ما يذكره الموظفون وما يظهره سير العمل:

على سبيل المثال، لنفترض أن الموظفين أبلغوا عن زيادة في السرعة بنسبة 30٪، لكن سجلات المهام تُظهر تحسّنًا بنسبة 10٪ فقط. هذه فجوة في الإدراك تبلغ 20 نقطة. وقد تشير هذه الفجوة إلى وقت مراجعة خفي، أو قياس ضعيف، أو عمل يبدو أسهل فحسب دون أن ينتج عنه قيمة قابلة للقياس بشكل أكبر.

القاعدة الأكثر أمانًا هي قاعدة بسيطة. استمع بعناية إلى ما يقوله المستخدمون، ثم قارن ذلك بالعمل الفعلي.

مؤشرات الأداء الرئيسية للذكاء الاصطناعي الخاصة بالوظائف

لن تناسب بطاقة أداء واحدة للذكاء الاصطناعي جميع الفرق، لأن كل فريق يهدف إلى تحقيق نتيجة مختلفة. فخدمة العملاء تهدف إلى حل المشكلات، والهندسة تهدف إلى التسليم المستقر، والتسويق والمبيعات تهدفان إلى النمو، بينما تهدف العمليات إلى التحكم في التكلفة والسرعة. ابدأ من تلك النتيجة، ثم أضف المقاييس التي توضح كيف ساهم الذكاء الاصطناعي في تحقيقها.

خدمة العملاء والدعم

السؤال الحقيقي هو ما إذا كانت مشكلة العميل قد ظلت محلولة بعد انتهاء المحادثة.

البرمجيات والهندسة

قم بقياس المسار الكامل، بدءًا من العمل المُكلف به وصولًا إلى الإصدار المستقر في مرحلة الإنتاج. ويُعد الكود الذي يتم إنشاؤه مجرد خطوة واحدة على طول هذا المسار.

مثال: تقدم Nvidia اختبارًا واضحًا لهذا المأزق. فهي تقول إن أكثر من 30,000 من مهندسيها يستخدمون الآن نسخة مخصصة من مساعد Cursor، الذي ينتج ما يقارب ثلاثة أضعاف الكود الذي كان يُنتج سابقًا، دون أي زيادة في الأخطاء البرمجية. لكن مضاعفة الناتج ثلاث مرات هي مؤشر على الحجم، وليست مؤشرًا على الأداء الفعلي. فهي لا توضح ما إذا كانت الميزات تُطرح بشكل أسرع أم أنها تتعثر في مرحلة الإنتاج. لسد هذه الفجوة، ستحتاج Nvidia إلى تغيير مدة التنفيذ، ومعدل فشل الإنتاج، وإعادة العمل، إلى جانب الحجم.

التسويق

ينبغي أن يقلل الذكاء الاصطناعي في مجال التسويق من التكلفة أو الوقت اللازم لإنتاج عمل ينجح بعد ذلك في اجتياز المراجعة ويحقق أداءً جيدًا مع العملاء الفعليين.

المبيعات

تثبت الذكاء الاصطناعي في مجال المبيعات جدواها عندما تتقدم الصفقات المناسبة بسرعة أكبر عبر مسار المبيعات وتُبرم في النهاية بهامش ربح جيد.

مثال: توضح شركة Workato لماذا لا يعني «أسرع» بالضرورة «فوزًا». فقد ذكر رئيس قسم تكنولوجيا المعلومات فيها أن الصفقات التي تعتمد على بيانات مُثريّة من قبل الوكلاء تمر بمراحل مسار المبيعات بسرعة أكبر تصل إلى 20٪، مع تحسن في وقت استجابة عروض الأسعار بنسبة 40٪. وقد جاء كلا الرقمين من الشركة، وكلاهما يقيس السرعة وليس النتيجة. ولا يؤكد أي منهما زيادة في الإيرادات الناتجة عن الصفقات المبرمة. ولإثبات المكسب، ستحتاج Workato إلى معرفة معدل الفوز، والهامش، والإيرادات الناتجة عن الصفقات المبرمة لصفقات مماثلة باستخدام الذكاء الاصطناعي وبدونه.

العمليات والشؤون المالية

في هذا السياق، ينبغي أن ينجز الذكاء الاصطناعي العمل بأقل عدد ممكن من التدخلات اليدوية والأخطاء والاستثناءات. ويجب أن تُدرج كل التكاليف في الحساب.

مثال: توضح شركة «أوميغا هيلثكير» (Omega Healthcare) الشكل الذي تتخذه المطالبة الكاملة بالكفاءة. فقد أفادت الشركة لموقع «بزنس إنسايدر» (Business Insider) أن الذكاء الاصطناعي يوفر عليها أكثر من 15,000 ساعة عمل للموظفين شهريًا في الأعمال الورقية، مع إنجاز المهام بسرعة أكبر بنسبة 50%، ودقة تبلغ 99.5%، وعائد استثمار للعملاء بنسبة 30%. وهذا يربط بين الوقت والجودة والتكلفة في رؤية واحدة.

دراسات الحالة: كيف تقيس الشركات الحقيقية الكفاءة المدعومة بالذكاء الاصطناعي

لا تكون نتائج الشركة مفيدة إلا عندما تعرف ما الذي تم قياسه بالضبط. هل كان الرقم ملاحظًا أم متوقعًا؟ هل قامت الشركة بحساب الأعمال التي تم إنجازها، أم مجرد الأعمال التي تم تحويلها بعيدًا عن البشر؟ توضح هذه الحالات الأربع لماذا تعتبر تلك التفاصيل أكثر أهمية بكثير من أكبر رقم ورد في بيان صحفي.

Klarna (قد تؤدي السرعة في الخدمة إلى وجود فجوة في الجودة)

بحلول أواخر عام 2025، أفادت شركة Klarna أن مساعد الدعم القائم على الذكاء الاصطناعي الخاص بها تولى معالجة ثلثي جميع استفسارات العملاء. كما أشارت إلى زيادة سرعة الاستجابة بنسبة 82%، وانخفاض المشكلات المتكررة بنسبة 25%، وتحقيق وفورات بقيمة 60 مليون دولار، وأداء عمل يعادل 853 موظفًا بدوام كامل.

واصلت Klarna الاستثمار في المساعد الرقمي. لكنها بدأت أيضًا في توظيف موظفي دعم بشريين مرة أخرى. وقال الرئيس التنفيذي للشركة إن العملاء يجب أن يتمكنوا دائمًا من التواصل مع شخص حقيقي. وربطت التقارير هذا التغيير بالشكاوى المتعلقة بالإجابات العامة على الأسئلة الأكثر تعقيدًا. من جانبها، قالت الشركة إن معدل رضا العملاء عن الذكاء الاصطناعي ظل عند نفس مستوى الرضا عن الدعم البشري.

ما يمكنك تعلمه من ذلك: قم بتتبع السرعة، وعدد الاتصالات المتكررة، والتكلفة، مع تقسيمها حسب نوع المشكلة. ثم قم بقياس حالات الفشل في تحويل المهام ومستوى الرضا بعد الحالات المعقدة. فقد يخفي المتوسط المرتفع التذاكر المحددة التي تهمك أكثر من غيرها.

IBM (قد لا يحقق كل مطور مكاسب في الإنتاجية)

أجرت شركة IBM دراسة على أداة «watsonx Code Assistant» الخاصة بها، وذلك في إطار ورقة بحثية خضعت لمراجعة الأقران ونُشرت في مؤتمر CHI 2025. أجرى الباحثون استطلاعًا ش مل 669 مستخدمًا، كما أجروا اختبارات قابلية الاستخدام مع 15 مستخدمًا آخر. شعر العديد من المستخدمين أن الأداة ساعدتهم على العمل بسرعة أكبر، لكن هذه الفائدة لم تكن مشتركة بين الجميع. وهناك قيد مهم يجب ملاحظته. فقد ركزت الدراسة على تجربة المطورين ومدى شعور المستخدمين بالإنتاجية. ولم تثبت الدراسة أن البرمجيات تم تسليمها بشكل أسرع أو مع عيوب أقل.

ما يمكن تعلمه من ذلك: قم بمقارنة استطلاعات رأي المستخدمين مع المقاييس الملحوظة مثل وقت المراجعة، وإعادة العمل، ومدة تنفيذ التغييرات، ومعدل فشل التغييرات. ثم قسّم النتائج حسب المهمة ومستوى الخبرة. فقد يخفي متوسط الفريق المطورين الذين يقضون وقتًا أطول في مراجعة مخرجات الذكاء الاصطناعي أكثر مما يوفرونه في كتابتها.

بنك أوف أمريكا (التحكم جزء من الأداء)

قال بنك أوف أمريكا إن «إيريكا»، مساعدته المالية الافتراضية، تعاملت مع 3 مليارات تفاعل مع العملاء، ويبلغ متوسطها الآن أكثر من 58 مليون تفاعل شهريًا. ووصلت النسخة المخصصة للموظفين إلى أكثر من 90% من الموظفين، مما أدى إلى خفض المكالمات الواردة إلى مكتب خدمة تكنولوجيا المعلومات إلى النصف. تُظهر «إيريكا» أيضًا أن كفاءة الذكاء الاصطناعي لا تحتاج إلى نموذج توليدي. حيث يُشغّل البنك مساعد العملاء الخاص به باستخدام مكتبة ثابتة تضم أكثر من 700 رد. وهذا يمنح «إيريكا» حرية أقل مقارنةً بروبوت الدردشة المفتوح. لكنه يجعل اختبار الإجابات والتحكم فيها أسهل بكثير في بيئة بنكية.

ما يمكن تعلمه من ذلك: قم بمطابقة النموذج مع مستوى المخاطر. بالنسبة للدعم الداخلي، قم بتتبع مكالمات مكتب الخدمة، وعمليات الخدمة الذاتية الناجحة، والاتصالات المتكررة، والوقت المستغرق لحل المشكلة. يُعد انخفاض حجم المكالمات مؤشراً واعداً، لكنه لا يثبت أن كل موظف قد حل المشكلة فعلياً.

كيفية اختيار مؤشرات الذكاء الاصطناعي المناسبة

إن معرفة المقاييس هي الجزء السهل. أما المهارة الأصعب فهي اختيار عدد قليل منها يتناسب مع هدفك، ثم تجاهل الباقي عن قصد. وإليك النهج الذي يمكنك الاعتماد عليه.

اربط كل مؤشر بهدف تجاري واحد

حدد الهدف أولاً، ثم اختر المقياس الذي يقيسه. إذا كان الهدف هو خفض تكاليف الدعم، فقم بتتبع التكلفة لكل حل. وإذا كان الهدف هو زيادة الإيرادات، فقم بتتبع الإيرادات لكل تفاعل مع الذكاء الاصطناعي. وإذا كان الهدف هو تسريع اتخاذ القرارات، فقم بتتبع سرعة اتخاذ القرار. وإذا كان المقياس لا يرتبط بهدف من هذا القبيل، فتجاهله.

وإذا كنت تستخدم أهداف OKR جنبًا إلى جنب مع مؤشرات الأداء الرئيسية (KPI)، فاحرص على توضيح الأدوار: فالهدف يحدد الاتجاه، بينما يقيس مؤشر الأداء الرئيسي التقدم المحرز في تحقيقه. والمزلق الشائع هو تتبع أي بيانات تصدرها أداتك بشكل افتراضي، بدلاً من الأرقام التي يتطلبها الهدف. فالمقياس الذي يسهل استخراجه ولكنه لا يجيب على أي سؤال حقيقي يظل مجرد فوضى.

قم بتطبيق منهجية SMART وحدد العدد الأقصى

اجعل كل مؤشر أداء رئيسي (KPI) محددًا وقابلًا للقياس وقابلًا للتحقيق وذو صلة ومحدد المدة (SMART). ثم حدد العدد بعناية. بشكل عام، اجعله يتراوح بين ثلاثة وخمسة مؤشرات لكل هدف، ولا يزيد عن سبعة إلى عشرة مؤشرات لكل فريق. وإذا تجاوزت هذا العدد، فستطول مدة اجتماعات المراجعة دون أن تصبح القرارات أكثر دقة، لأن الانتباه يتشتت بشكل كبير بحيث يتعذر اتخاذ إجراء بناءً على أي رقم على حدة. وإليك اختبارًا بسيطًا: إذا لم تتمكن من تحديد المقياس الذي من شأنه تغيير قرار ما هذا الأسبوع، فهذا يعني أن قائمتك قد أصبحت طويلة جدًّا.

حقق التوازن بين المؤشرات الرائدة والمتأخرة

اربط كل نتيجة متأخرة بمؤشر تنبؤي رئيسي. ترتبط تكلفة كل حل بعمق التبني. ويرتبط ارتفاع الإيرادات بمستوى الكفاءة. ويرتبط معدل العيوب بمدة مراجعة الكود.

يؤكد المؤشر المتأخر ما حدث بالفعل؛ أما المؤشر المتقدم فيحذرك في وقت مبكر بما يكفي لاتخاذ الإجراءات اللازمة.

تحديد المسؤولين عن التنفيذ وتحديد وتيرة التنفيذ

يحتاج كل مؤشر أداء رئيسي (KPI) إلى مالك محدد وإلى دورة مراجعة منتظمة. راجع المقاييس التشغيلية أسبوعيًا، أما المقاييس الأكبر فراجعها شهريًّا أو ربع سنويًّا. أسند كل مقياس إلى الشخص القادر على التأثير في الرقم، وليس إلى من يقوم بكتابة التقرير. فإذا لم يكن لدى المالك أي وسيلة حقيقية لتغييره، فلن يكون هناك من يتولى مسؤوليته. وسيظل الرقم يتقلب دون تغيير حتى تلاحظه المراجعة التالية.

الأدوات والموارد اللازمة لقياس مؤشرات أداء الذكاء الاصطناعي

لست بحاجة إلى مجموعة ضخمة من أدوات القياس منذ اليوم الأول. ما تحتاجه هو الأداة المناسبة للمؤشر الذي تسعى إلى إثباته.

فيما يلي الموارد التي تستحق الاطلاع عليها.

يوضح الجدول لك أي أداة تناسب أي مهمة. لكن ما لا يوضحه هو الفوائد التي توفرها لك كل أداة، أو الفشل الذي تحميك منه.

كيفية تتبع مقاييس أداء الذكاء الاصطناعي في ClickUp

بمجرد اختيار مؤشرات الأداء الرئيسية الخاصة بالذكاء الاصطناعي، يجب توفير مكان لها يبقى مرتبطًا بالعمل حتى يتم تحديث بطاقة الأداء تلقائيًا.

إليك كيف تحافظ فرقنا على تحديث مؤشرات الذكاء الاصطناعي في ClickUp:

ابدأ باستخدام أداة جاهزة لتتبع مؤشرات الأداء الرئيسية (KPI)

يوفر لك نموذج مؤشرات الأداء الرئيسية (KPI) في ClickUp هيكلًا أساسيًا قويًا. ويأتي مزودًا بحالات مثل «على المسار الصحيح» و«معرض للخطر» و«خارج المسار»، بالإضافة إلى حقول مخصصة للقيمة المستهدفة والقيمة الفعلية والتقدم المحرز والفرق والتباين.

احصل على نموذج مجاني

أضف من ثلاثة إلى خمسة مؤشرات أداء رئيسية (KPI) للذكاء الاصطناعي التي توجه عملية اتخاذ القرار، وحدد هدفًا لكل منها، وعين مسؤولاً عنها. وقد يشمل ذلك القبول في المراجعة الأولى، أو الساعات الموفرة التي تم التحقق منها، أو التكلفة لكل ناتج ناجح، أو معدل التصعيد. ثم توفر عرضي «التقدم» و«الملخص» للمراجعين نظرة سريعة على الأهداف التي تسير وفقًا للخطة والأهداف التي تحتاج إلى مزيد من المتابعة.

يرجى ملاحظة ما يلي: يقوم أداة التتبع بتسجيل النتيجة، لكنه لا يجمع الأدلة بنفسه. قم بربط كل مؤشر أداء رئيسي (KPI) بالمهام التي يتم تنفيذ العمل فيها، واستخدم الحقول المخصصة، والنماذج، وعمليات الأتمتة، وعمليات التكامل، أو تحديثات الوكلاء لإدخال القيم الفعلية.

راقب النطاقات النشطة باستخدام لوحات المعلومات في الوقت الفعلي

بمجرد تطبيق هذه القيم على المهام النشطة، يمكن لوحات معلومات ClickUp تجميعها على مستوى قائمة أو فريق أو سير عمل أو فترة زمنية. وتقوم بطاقات الحساب بحساب الوقت الموفر الذي تم التحقق منه، أو متوسط درجات الجودة، أو التكلفة لكل حل. كما تقوم المخططات الشريطية والخطية والدائرية بتفصيل هذه الأرقام حسب النموذج أو حالة الاستخدام أو الفريق أو نوع الفشل.

دع «العقل» لشركتك يقوم بإعداد التقرير وتحديد أوجه القصور

تعد عملية إعداد التقارير هي المكان الذي يختبئ فيه جزء كبير من الجهد اليدوي. كما أنها الجزء الذي يستحق الأتمتة فقط بعد أن تصبح الحقول والتعريفات الخاصة بك موثوقة. ونظرًا لأن ClickUp Brain يمكنه العمل مع المهام والحقول المخصصة والمستندات والمحادثات في مساحة العمل الخاصة بك، يمكنك طرح أسئلة عليه مثل:

يستمد الإجابة من سياق عملك الحالي في غضون ثوانٍ. تابع في نفس سلسلة المحادثة لتضييق نطاق التحليل، أو مقارنة الفترات الزمنية، أو اطلب من Brain تحويل النتائج إلى لوحات معلومات تفاعلية أو مجموعات شرائح عرض.

هل تريد معرفة المزيد عن ClickUp Brain؟ إليك دليل سريع.

تقييد واقعي: يربط ClickUp أنشطة الفريق بالأهداف بشكل جيد. لكنه ليس مستودع بيانات واسع النطاق مثل Snowflake، كما أنه ليس أداة متخصصة لمراقبة النماذج. يعمل هذا البرنامج بشكل أفضل عندما تكون بياناتك وأعمالك موجودة في مكان واحد، وهو المكان الذي توجد فيه مؤشرات الأداء الرئيسية (KPI) التشغيلية للذكاء الاصطناعي. ولإجراء قياس عن بُعد متعمق للنماذج، قم بدمجه مع أداة مخصصة لهذا الغرض.

قياس التغييرات الفعلية التي أحدثها الذكاء الاصطناعي

لم يكن الجزء الصعب في الذكاء الاصطناعي هو جعله يقوم بشيء ما. بل كان معرفة ما إذا كان هذا «الشيء» يستحق القيام به. يمكن لمعظم الفرق إخبارك بمدى استخدام أدواتها، وعدد المسودات التي تم إنشاؤها، لكن لا تجيب أي منها تقريبًا على السؤال الوحيد الذي يهم:

هل أصبح العمل أفضل أو أرخص أو أسرع بطريقة يمكن لأي شخص في المراحل اللاحقة أن يلاحظها؟

عندما تحدد شكل القيمة المرجوة قبل البدء في التطوير، فإنك في النهاية تقيس التغييرات التي يُحدثها الذكاء الاصطناعي بدلاً من مجرد قياس ما يقوم به. اختر مجموعة محدودة من المقاييس التي ترتبط بهدف حقيقي. ثم، حدد لكل مقياس مقياسًا مضادًا حتى لا يخفي التقدم في السرعة أي تراجع في الجودة. وأخيرًا، حدد لكل رقم خط أساس، وهدفًا، وموعدًا نهائيًا، ومسؤولًا قادرًا على تحقيقه. احتفظ ببطاقة الأداء هذه بجانب العمل الذي تقيسه، وستخبرك بالحقيقة من تلقاء نفسها.

وإذا كنت ترغب في تتبع كل ذلك مع توسع نطاق استخدامك للذكاء الاصطناعي، فأنت بحاجة إلى أداة تنمو معك. اشترك في ClickUp لإنشاء لوحة معلومات لمؤشرات الأداء الرئيسية للذكاء الاصطناعي (KPI) تضع كل مقياس بجانب العمل الذي يقيسه.

الأسئلة الشائعة حول مقاييس أداء الذكاء الاصطناعي

ما هي أهم مقاييس الذكاء الاصطناعي التي يجب تتبعها؟

ابدأ باختيار عنصر واحد من كل طبقة من الطبقات الأربع: الدقة أو القبول من المرة الأولى (جودة المخرجات)، وزمن الاستجابة (أداء النظام)، والاحتفاظ بالمستخدمين النشطين (معدل الاستخدام)، والتكلفة لكل حل أو العائد على الاستثمار (التأثير على الأعمال). يعتمد المزيج الصحيح على المهمة الموكلة إلى الذكاء الاصطناعي. يحتاج روبوت الدعم إلى معايير الاحتواء، والحل المؤكد، ومعدل تكرار الاتصال. أما مساعد البرمجة فيحتاج إلى معايير مهلة التغيير، ومعدل إعادة العمل، ووقت المراجعة. حدد العدد الإجمالي بما يتراوح بين ثلاثة وخمسة معايير لكل هدف، واقرن كل منها بمقياس مضاد حتى لا يخفي المكسب في أحد الأبعاد الخسارة في بُعد آخر دون أن يُلاحظ.

ما الفرق بين مؤشر أداء الذكاء الاصطناعي ومعيار أداء الذكاء الاصطناعي؟

تقوم المعايير المرجعية بتقييم النموذج بناءً على مجموعة بيانات عامة ثابتة ومهمة محددة؛ بينما يقيس مؤشر الأداء كيفية أداء نظامك في بيئة الإنتاج الفعلية الخاصة بك. قد يتصدر النموذج قائمة المتصدرين، لكنه قد يفشل في جوانب مثل زمن الاستجابة أو التكلفة أو السلامة بمجرد وصول المستخدمين الحقيقيين إليه. تعامل مع المعايير المرجعية، مثل قائمة المتصدرين الخاصة بـ Vectara أو MMLU، كأداة لترشيح الخيارات، ثم قم بقياس المؤشرات التي تتوافق مع هدفك.

ما هو معدل الهلوسة الجيد لنظام الذكاء الاصطناعي؟

لا يوجد معدل خطأ مقبول على نطاق الصناعة لنظام الذكاء الاصطناعي. ويعتمد الهدف المفيد على المهمة، وتكلفة الخطأ، وما إذا كان النظام قادرًا على تحمل عدم اليقين. بالنسبة للاستخدامات التجارية الواقعية، يُعد معدل أقل من 5% على مجموعة اختبار إنتاج تمثيلية نقطة انطلاق معقولة. لكن يجب أن تهدف الأنظمة ذات المخاطر العالية إلى معدل أقرب بكثير إلى الصفر، وأن تحيل الإجابات غير المؤكدة إلى الإنسان. تعامل مع نسبة الـ 5% هذه كهدف تشغيلي، وليس كمعيار منشور.

والدرس الأهم هو أن معدل «الهلوسة» لا يمكن أن يُنظر إليه بمعزل عن العوامل الأخرى. فقد وجدت دراسة نشرت في مجلة «نيتشر» أن معايير الدقة الشائعة تكافئ النماذج على التخمين بدلاً من الاعتراف بعدم معرفتها. لذا، يجب قياس «الهلوسة» جنبًا إلى جنب مع معدل الامتناع عن الإجابة، وشدة الأخطاء، ودعم الاستشهادات، ومدى تكرار وصول الادعاءات غير المدعومة إلى المستخدمين.

كم مرة يجب عليك مراجعة مقاييس أداء الذكاء الاصطناعي؟

قم بمراجعة المقاييس التشغيلية مثل زمن الاستجابة ومعدل الأخطاء والاحتواء أسبوعيًا؛ وقم بمراجعة المقاييس التجارية مثل التكلفة لكل حل والعائد على الاستثمار شهريًا أو ربع سنويًا. اجعل وتيرة المراجعة متناسبة مع سرعة تغير الأرقام ومع من يتخذ الإجراءات بناءً عليها. عيّن لكل مقياس مسؤولًا محددًا يمتلك سلطة تأثير حقيقية.

ما هي الأدوات التي تستخدمها لتتبع مقاييس أداء الذكاء الاصطناعي؟

تقوم معظم الفرق بدمج طبقتين. حيث تتعقب منصات العمل مثل ClickUp مؤشرات الأداء الرئيسية (KPI) التشغيلية والتجارية بجانب المهام التي تولدها، باستخدام لوحات المعلومات والحقول المخصصة وسير العمل التفاعلي لتجميع قيم مثل القبول من المرة الأولى أو التكلفة لكل مهمة ناجحة. أما أدوات المراقبة المخصصة مثل Arize وLangfuse وWhyLabs فتتعامل مع القياسات عن بُعد على مستوى النموذج مثل الانحراف والهلوسة، بينما يقوم مستودع بيانات مثل Snowflake بتخزين الأحداث الأولية لإجراء تحليل أعمق.

هل يمكنك قياس تأثير الذكاء الاصطناعي بدون مجموعة مراقبة؟

نعم، وإن كان ذلك بشكل أقل دقة. فالمجموعة الضابطة تفصل بين ما تسبب فيه الذكاء الاصطناعي وما كان سيحدث على أي حال، لذا فهي الخيار الأقوى. وفي حالة عدم توفرها، استخدم طرحًا تدريجيًا أو خط أساس مطابقًا، وقم بالتعديل وفقًا للتغيرات في الأسعار والعروض الترويجية والطلب والموسم. فالمقارنة البسيطة بين «قبل» و«بعد» تخبرك بما تغير دون أن توضح سبب التغيير، وهو ما يؤدي إلى نسب الفضل في الطلب الموسمي أو إصلاح عملية موازية إلى الذكاء الاصطناعي عن غير حق.

كيف تقيس عائد الاستثمار في الذكاء الاصطناعي؟

يُقصد بعائد الاستثمار في الذكاء الاصطناعي (AI ROI) القيمة المكتسبة من نظام الذكاء الاصطناعي مقارنةً بالتكلفة الإجمالية لبنائه وتشغيله وصيانته. ضع خطًا أساسيًا للعملية قبل النشر، ثم قم بقياس التغير في مؤشر قياسي محدد للأعمال، مثل التكلفة لكل حل أو الإيرادات لكل تفاعل، مقارنةً بالتكلفة الإجمالية للملكية.