ClickUp KPI Template
AI

Métricas de rendimiento de la IA: más de 50 KPI para medir la eficiencia impulsada por la IA

La mayoría de los casos prácticos de IA en corporaciones se parecen entre sí. La presentación es magnífica, el gráfico de adopción sube, sube y sube, y entonces alguien formula una pregunta que puede dejar a todos boquiabiertos: ¿qué ha cambiado en la cuenta de resultados?

La consultora Roland Berger cuantificó ese silencio. Su estudio, The AI Value Gap, realizó una encuesta que incluyó a 203 altos ejecutivos de Europa, Japón y Estados Unidos. Casi el 90 % afirmó que la rentabilidad de su inversión en IA seguía sin estar a la altura de su gasto. La parte más reveladora se encontraba justo debajo de ese titular: la mayoría carecía de métricas coherentes de rendimiento de la IA vinculadas a los resultados, limitándose a revisiones puntuales o a extensas listas de KPI. Avanzaban a ciegas sin saber si la tecnología había dado realmente los resultados esperados.

Y no hace falta contar con más de 200 ejecutivos para saber cómo se siente. Un agente de atención al cliente basado en IA puede estar en funcionamiento todo el día, enviar respuestas mediocres e iluminar todos los paneles sin aportar nada que el director financiero pueda apreciar. El gráfico parece sólido, así que el equipo sigue ampliando su uso. Ahí radica toda la trampa.

Los equipos que lo hacen bien hacen justo lo contrario. Miden lo que la IA permite, lo comparan con un valor de referencia y asignan cada resultado a un responsable concreto.

Esta guía divide las métricas de rendimiento de la IA en cuatro niveles: calidad de los resultados, fiabilidad del sistema, adopción por parte de la plantilla e impacto en la empresa. Cada métrica incluye una fórmula, una indicación y una contramétrica. El objetivo es crear un cuadro de mando lo suficientemente sencillo como para poder actuar en consecuencia, junto con la propiedad que hace que alguien rinda cuentas cuando los números varíen.

En resumen

Una métrica de rendimiento de la IA muestra si un sistema de IA funciona de forma fiable y genera un resultado empresarial cuantificable. Las métricas más útiles abarcan cuatro ámbitos: calidad de los resultados, rendimiento del sistema, adopción por parte de la plantilla e impacto empresarial. Si solo se mide la calidad, no se puede demostrar el valor. Si solo se mide el uso o el retorno de la inversión, no se puede diagnosticar por qué han variado los resultados.

DX llegó a una conclusión similar en su Marco de Medición de la IA, desarrollado a partir de investigaciones y datos de más de 400 empresas. Recomienda evaluar conjuntamente la utilización, el impacto y el coste, ya que ninguna categoría por sí sola ofrece una visión completa de la situación.

No es necesario que realices un seguimiento de las más de 50 métricas que figuran en esta guía. Elige una o dos de cada nivel en función del resultado que se pretenda cambiar con la IA. Empareja cada KPI con una contramétrica: velocidad con calidad, contención con resolución confirmada y adopción con uso útil. A continuación, asigna un propietario, un valor de referencia, un objetivo y una periodicidad de revisión.

¿Qué son las métricas de rendimiento de la IA? (¿Y en qué se diferencian de las métricas de vanidad?)

Las métricas de rendimiento de la IA muestran cómo funciona un sistema de IA y si genera valor empresarial. Algunas métricas de rendimiento de la IA miden la calidad técnica, como la precisión y la latencia. Otras realizan el seguimiento de los resultados, como la reducción de costes, la agilización del trabajo o el aumento de los ingresos.

La distinción más importante es la que existe entre una métrica y un KPI. Las indicaciones enviadas, los inicios de sesión, los tokens utilizados y las palabras generadas son métricas. Pero se convierten en métricas de «vanidad» en el momento en que se presentan como un éxito, ya que miden el movimiento, no los resultados. Un KPI es un conjunto más reducido de cifras que genera un resultado empresarial cuando varían. Por lo tanto, una métrica de rendimiento de la IA que convendría seguir sería el coste por ticket resuelto, y no el número de tickets gestionados.

Un KPI bien definido consta de cinco partes: KPI de IA = métrica + referencia + objetivo + plazo + contramétrica

Por ejemplo, un KPI de IA para un equipo de soporte contribuiría a un objetivo como: Reducir el tiempo de primera respuesta de 24 horas a menos de cuatro horas en el plazo de un trimestre, sin mermar la satisfacción del cliente. La satisfacción del cliente es el contrapeso fundamental en este caso. Evita que el equipo alcance su objetivo de rapidez con respuestas rápidas pero de baja calidad generadas por la IA.

¿Cuál es la diferencia entre un KPI y una métrica?

CategoríaMétricasKPI
Qué esCualquier medida cuantificableUna métrica vinculada a una meta estratégica u operativa
ObjetivoRealiza el seguimiento de la actividadRealiza un seguimiento del progreso hacia un resultado
Ejemplo de IANúmero de indicaciones enviadasCoste por ticket de soporte resuelto
La pruebaDatos interesantesSi el número cambia, es que alguien está haciendo algo diferente.

Cada KPI es una métrica, pero no todas las métricas son KPI. Para una distinción más detallada, consulta «KPI frente a métricas».

Un estudio de 2025 realizado con 5.172 agentes de soporte al cliente muestra cómo debe ser una medición más precisa. Los investigadores no tuvieron en cuenta las indicaciones ni las sugerencias de la IA. Realizaron un seguimiento de los problemas resueltos por hora. Y observaron un aumento medio del 15 % una vez que los agentes humanos contaron con la ayuda de la IA. También analizaron las tasas de resolución y la satisfacción de los clientes, para asegurarse de que el ritmo más rápido no hubiera perjudicado de forma inadvertida la calidad del servicio.

Advertencia: Se trata de una sola empresa y un solo tipo de trabajo. Por lo tanto, ese 15 % no es un punto de referencia universal para la IA.

¿Cuál es la diferencia entre los indicadores adelantados y los rezagados?

Un indicador adelantado te ofrece una advertencia temprana. Un indicador rezagado registra el resultado una vez que se ha producido. Ambos términos se utilizan habitualmente a la hora de establecer y medir los KPI.

Por ejemplo, un aumento de la tasa de anulación puede indicar que los empleados ya no confían en la IA. Posteriormente, esto puede traducirse en una menor adopción y unos costes más elevados, a medida que los empleados recurran a otras herramientas. La tasa de anulación es la señal temprana; el coste es la consecuencia posterior.

No obstante, estos rótulos dependen del contexto. La precisión puede ir por detrás de una actualización del modelo, pero dar lugar a un cambio posterior en la satisfacción del cliente. Por eso, las métricas que se muestran a continuación se agrupan según lo que miden.

Las más de 50 métricas de rendimiento de la IA que demuestran la eficiencia de sus sistemas de IA

Las métricas adecuadas dependen de la función que deba desempeñar la IA. Un bot de soporte al cliente, un modelo de detección de fraudes y un asistente de redacción no deberían compartir el mismo cuadro de mando.

Las métricas que se muestran a continuación se dividen en cuatro niveles: calidad del modelo y de los resultados, rendimiento del sistema, adopción e impacto en la plantilla, y resultados empresariales. Sin embargo, no es necesario utilizarlas todas. Elige las que mejor se adapten a tu meta y, a continuación, asocia a cada una de ellas una contramétrica.

Métricas de calidad de los modelos y de los resultados

Estas métricas responden a la primera pregunta: ¿Produce la IA un resultado correcto, útil y seguro?

En el caso de tareas con una única respuesta conocida, como la clasificación o la extracción de datos, puedes comparar el resultado con un conjunto de referencia. El trabajo generativo es más complicado de evaluar, ya que pueden ser válidas varias respuestas al mismo tiempo. En esos casos, hay que recurrir a revisores humanos o a evaluadores basados en modelos para realizar valoraciones de factores como la relevancia, la fundamentación, la exhaustividad y el cumplimiento de las instrucciones.

Estas puntuaciones te ayudan a detectar resultados deficientes y a identificar qué ha fallado. Lo que no te dirán es si la IA ahorra dinero, agiliza el flujo de trabajo o se gana la confianza de los usuarios. Las secciones posteriores abordan esos resultados.

1. Precisión

La precisión es el porcentaje de predicciones que la IA acierta en comparación con una respuesta conocida. Supongamos que un modelo de distribución de tickets clasifica 1.000 tickets y acierta en 920. Su precisión es del 92 %.

Esto suena muy bien, pero la precisión puede ocultar los errores que más importan. Si los 80 errores enviaran tickets urgentes a la cola equivocada, la puntuación global seguiría pareciendo buena. Además, pierde valor cuando un resultado aparece con mucha más frecuencia que otro.

  • Fórmula: (Verdaderos positivos + verdaderos negativos) ÷ Total de predicciones
  • Indicación: Cuanto más alto, mejor
  • Ideal para: clasificación, extracción, enrutamiento y otras tareas con una respuesta conocida
  • Realiza el seguimiento mediante: precisión, recuperación y tasa de error por clase

2. Precisión

La precisión indica la frecuencia con la que la IA acierta al predecir un resultado positivo. En pocas palabras, te indica cuántas alertas merecían una respuesta.

Supongamos que un modelo de detección de fraudes señala 200 transacciones, pero solo 150 son fraudulentas. Su precisión es del 75 %. Las otras 50 son falsas alarmas, y cada una de ellas genera más trabajo de revisión.

  • Fórmula: Positivos verdaderos ÷ (Positivos verdaderos + Falsos positivos)
  • Indicación: Cuanto más alto, mejor
  • Ideal para: alertas de fraude, puntuación de clientes potenciales, resultados de búsqueda y moderación de contenido
  • Realiza el seguimiento mediante: la tasa de recuperación, ya que un modelo puede aumentar la precisión al señalar menos casos y pasar por alto más casos reales

3. Recuperación

La tasa de recuperación indica cuántos de los casos positivos reales detectó realmente la IA. La precisión evalúa si una señal de alerta era correcta; la recuperación, si se pasó por alto algún caso real. Ambas métricas apuntan en direcciones opuestas, por lo que un modelo puede obtener buenos resultados en una de ellas y fallar en la otra.

Supongamos que hay 180 transacciones fraudulentas y que el modelo detecta 150 de ellas. Su tasa de recuperación es del 83,3 %, lo que significa que se le han escapado 30 casos reales. En materia de fraude, pruebas médicas o seguridad, esos casos no detectados pueden suponer un coste mucho mayor que una revisión adicional.

  • Fórmula: Positivos verdaderos ÷ (Positivos verdaderos + Falsos negativos)
  • Indicación: Cuanto más alto, mejor
  • Ideal para: detección de fraudes, cribados médicos, controles de cumplimiento normativo y detección de amenazas
  • Realiza el seguimiento con: la precisión y el coste de un caso no detectado

4. Puntuación F1

El índice F1 combina la precisión y la recuperación. Resulta útil cuando tanto las falsas alarmas como los casos no detectados son importantes, especialmente cuando una clase aparece con mucha menos frecuencia que otra.

Si un modelo de detección de fraudes tiene una precisión del 75 % y un recuerdo del 83,3 %, su puntuación F1 es de aproximadamente el 79 %. Dado que la puntuación F1 utiliza una media armónica, una puntuación baja en cualquiera de los dos aspectos hace que el resultado global sea inferior.

  • Fórmula: 2 × (precisión × recuperación) ÷ (precisión + recuperación)
  • Indicación: Cuanto más alto, mejor
  • Ideal para: Tareas de clasificación en las que tanto la precisión como la recuperación son importantes
  • Realiza el seguimiento con: las puntuaciones de precisión y recuperación por separado, ya que diferentes compensaciones pueden dar lugar a la misma puntuación F1

5. Fundamentación

La «fundamentación» indica si las afirmaciones de la IA están respaldadas por las fuentes que ha recibido. Es especialmente importante en los sistemas de recuperación aumentada, en los que una respuesta fluida puede, aun así, alejarse de las pruebas.

Supongamos que un asistente de pólizas formula 10 afirmaciones basadas en hechos y que los revisores pueden verificar que nueve de ellas se ajustan a la póliza aprobada. Su grado de veracidad a nivel de afirmación es del 90 %. La última afirmación aún requiere atención, especialmente si se refiere a la remuneración, las prestaciones o el cumplimiento normativo.

  • Ejemplo de fórmula: Afirmaciones verificables respaldadas ÷ Total de afirmaciones verificables
  • Indicación: Cuanto más alto, mejor
  • Ideal para: Búsqueda de corporación, preguntas y respuestas sobre documentos, asistentes de políticas y sistemas RAG
  • Realiza el seguimiento mediante: calidad de la recuperación, precisión de las citas y exhaustividad de las respuestas

Se trata de una fórmula operativa, no universal. Decide qué se considera una reclamación, qué se considera soporte y cómo vas a puntuar el soporte parcial antes de comparar los resultados.

6. Relevancia

La relevancia indica si el resultado responde a la pregunta que ha formulado el usuario. Una respuesta puede ser precisa y, aun así, resultar inútil si resuelve un problema relacionado pero distinto.

Supongamos que los evaluadores analizan 100 respuestas de un chatbot y califican 85 de ellas como relevantes. Eso supone una tasa de aprobación por relevancia del 85 %. Sin embargo, el número no tiene mucho sentido hasta que el equipo acuerde una rúbrica de puntuación y una nota de aprobado.

  • Ejemplo de fórmula: Respuestas que superan los criterios de relevancia ÷ Total de respuestas evaluadas
  • Indicación: Cuanto más alto, mejor
  • Ideal para: búsquedas, chatbots, recomendaciones y resúmenes generados
  • Realiza el seguimiento mediante: la pertinencia y la completación de la tarea, ya que una respuesta que se ciña al tema puede seguir siendo errónea o incompleta.

7. Índice de cumplimiento de instrucciones

La tasa de cumplimiento de instrucciones mide la frecuencia con la que la IA obedece cada instrucción requerida. El formato, la longitud, las exclusiones y las acciones requeridas pueden ser factores a tener en cuenta.

Por ejemplo, un flujo de trabajo solicita al modelo que devuelva un JSON válido con cinco campos obligatorios. Si 94 de cada 100 resultados cumplen todas las reglas, la tasa es del 94 %. Una respuesta que se lea bien pero que incumpla el esquema JSON seguirá siendo un fallo.

  • Fórmula: Resultados que cumplen todas las instrucciones requeridas ÷ Total de resultados evaluados
  • Indicación: Cuanto más alto, mejor
  • Ideal para: generación estructurada, extracción de datos, agentes y flujos de trabajo automatizados
  • Realiza el seguimiento mediante: finalización de tareas y gravedad de los fallos

Define las reglas antes de ejecutar la prueba. Si los evaluadores deciden qué significa «seguir las instrucciones» después de ver el resultado, la puntuación variará.

8. Puntuación de exhaustividad

La «exhaustividad» indica si la IA ha cubierto todos los aspectos necesarios de la tarea. Detecta respuestas que parecen pulidas, pero que, sin darlo a entender, omiten algún detalle.

Supongamos que un informe debe constar de cinco secciones y que la IA completa cuatro. Su puntuación de exhaustividad es del 80 %. Eso no significa que el informe sea bueno en un 80 %. La sección que falta puede ser precisamente la que más necesitaba el lector.

  • Ejemplo de fórmula: Elementos necesarios incluidos ÷ Total de elementos necesarios
  • Indicación: Cuanto más alto, mejor
  • Ideal para: informes, resúmenes, cumplimentación de formularios y solicitudes de varios pasos
  • Realiza el seguimiento mediante: precisión y exhaustividad ponderada por importancia

En trabajos de gran importancia, pondera los elementos según su relevancia. La ausencia de una advertencia legal debería tener más peso que la de un ejemplo opcional.

9. Tasa de alucinaciones

El seguimiento de la tasa de alucinaciones mide la frecuencia con la que la IA presenta afirmaciones falsas o sin fundamento. Estos problemas se solapan, pero no siempre son lo mismo. Una afirmación puede ser cierta en un contexto más amplio, pero carecer de fundamento según las fuentes que se le ha indicado al sistema que utilice.

Puedes medir las «alucinaciones» por respuesta o por afirmación. Si 15 de 500 respuestas contienen al menos una afirmación sin fundamento, la tasa a nivel de respuesta es del 3 %. Un cálculo a nivel de afirmación puede darte un resultado diferente.

  • Ejemplo de fórmula: Resultados que contienen al menos una afirmación no respaldada ÷ Total de resultados evaluados
  • Indicación: Cuanto más bajo, mejor
  • Ideal para: investigación, asesoramiento al cliente, trabajo jurídico y asistentes de conocimiento
  • Realiza el seguimiento mediante: fundamentación, tasa de errores fácticos y tasa de abstención

Air Canada lo descubrió por las malas.

En 2024, un tribunal de Columbia Británica declaró responsable a Air Canada después de que el chatbot de su página web indicara a un cliente los pasos incorrectos para solicitar una tarifa por fallecimiento. El hombre había preguntado sobre los viajes por fallecimiento tras el fallecimiento de su abuela. El chatbot le indicó que podía comprar primero el billete y solicitar la tarifa reducida más tarde. Sin embargo, la propia página de políticas de Air Canada indicaba lo contrario: las solicitudes por fallecimiento no son válidas una vez terminado el viaje. El chatbot incluso estaba enlazado con dicha política. Su respuesta simplemente la contradecía.

La defensa de Air Canada consistió en alegar que el chatbot era una entidad jurídica propia, responsable de sus propias acciones. El tribunal no se lo creyó. Y el razonamiento era claro: el chatbot se encontraba en la página web de Air Canada, y la empresa era propietaria de las respuestas que daba.

La lección: Una respuesta no es fiable solo porque incluya un enlace. Hay que comprobar si coincide con la fuente a la que remite. En el caso de la IA personalizada para el cliente, hay que hacer un seguimiento de la tasa de alucinaciones junto con la precisión de las citas, la tasa de conflictos con las políticas, la tasa de escalación y la tasa de contactos repetidos.

10. Índice de finalización de tareas

La tasa de finalización de tareas muestra con qué frecuencia la IA alcanza el estado final requerido. En el caso de un agente, eso puede significar realizar un reembolso, actualizar el expediente del cliente y confirmar el resultado. Dar una respuesta plausible no cuenta.

Supongamos que un agente intenta tramitar 1.000 solicitudes de reembolso que cumplen los requisitos y completa 700 sin ayuda humana. Su tasa de finalización autónoma de tareas es del 70 %. Registra por separado las finalizaciones con asistencia, de modo que un traspaso limpio no se considere ni un éxito total ni un fracaso.

  • Fórmula: Tareas completadas con éxito ÷ Tareas elegibles intentadas
  • Indicación: Cuanto más alto, mejor
  • Ideal para: agentes de IA y automatización integral
  • Realiza un seguimiento de: infracciones de seguridad, intervención humana, confirmación del usuario y coste por tarea realizada con éxito

No utilices un punto de referencia público como objetivo de producción. Las puntuaciones de los agentes cambian rápidamente y las tareas de referencia rara vez se ajustan a tus sistemas, políticas o clientes. Crea el conjunto de pruebas a partir del trabajo que tu agente va a realizar realmente.

11. Precisión en la selección de herramientas

La precisión en la selección de herramientas indica la frecuencia con la que un agente elige la herramienta adecuada para su siguiente paso. Esto es independiente de si utiliza esa herramienta correctamente.

Un agente puede buscar en Internet cuando debería realizar una consulta sobre el expediente de un cliente, o enviar un correo electrónico cuando el usuario solo ha pedido un borrador. Una sola decisión errónea puede desviar el resto de la tarea de su curso.

  • Fórmula: Selecciones correctas de herramientas ÷ Total de decisiones de selección de herramientas
  • Indicación: Cuanto más alto, mejor
  • Ideal para: Agentes conectados a bases de datos, motores de búsqueda, API y software empresarial
  • Realiza el seguimiento mediante: Precisión de los argumentos de las llamadas a herramientas y tasa de finalización de tareas

12. Precisión de los argumentos de las llamadas a herramientas

Una vez que el agente elige una herramienta, debe introducir en ella los valores correctos. La precisión de los argumentos de la llamada a la herramienta comprueba campos como nombres, fechas, ID y importes.

Supongamos que un agente realiza 300 llamadas para hacer reservas y que 264 de ellas contienen todos los datos correctos. Su precisión estricta en los argumentos es del 88 %. En un flujo de pago o de reserva, una fecha o un número de cuenta erróneos pueden provocar un error real en la transacción.

  • Fórmula: Llamadas a la herramienta con todos los argumentos obligatorios correctos ÷ Total de llamadas a la herramienta evaluadas
  • Indicación: Cuanto más alto, mejor
  • Ideal para: agentes de reservas, finanzas, Soporte al cliente y otros agentes que gestionan transacciones
  • Realiza el seguimiento mediante: gravedad de los errores y precisión a nivel de campo

Un umbral de aprobación estricto considera que un campo incorrecto equivale a una llamada fallida. Añade la precisión a nivel de campo si también necesitas identificar qué argumentos causan el problema.

13. Calidad de la trayectoria

La calidad de la trayectoria analiza el camino que sigue un agente para completar una tarea. Un agente puede llegar al resultado correcto tras varias búsquedas innecesarias, llamadas repetidas o incumplimientos de las políticas. Una simple puntuación de finalización no tendría en cuenta todo eso.

No evalúes cada ejecución comparándola con una ruta ideal. Las tareas complejas pueden tener varias rutas válidas. Evalúa la ejecución en función de los pasos obligatorios, las acciones permitidas y los desvíos innecesarios.

  • Ejemplo de fórmula: Ejecuciones que cumplen todas las reglas de trayectoria ÷ Total de ejecuciones evaluadas
  • Indicación: Cuanto más alto, mejor
  • Ideal para: agentes y flujos de trabajo de varios pasos con políticas estrictas
  • Realiza el seguimiento mediante: finalización de tareas, llamadas a herramientas, incumplimientos de políticas y coste por tarea

Evalúa según un conjunto de reglas en lugar de una única ruta perfecta, ya que las tareas complejas suelen tener varias rutas válidas. Este es un verdadero punto ciego en las pruebas de agentes. El TRAJECT-Bench 2025 se creó para subsanarlo, comprobando la elección de herramientas, la corrección de los argumentos y si las llamadas se producen en el orden correcto, en lugar de limitarse a comprobar si el agente llegó al final.

14. Eficiencia en la planificación

La eficiencia en la planificación muestra cuánto trabajo adicional realiza un agente antes de alcanzar el resultado. Cada paso adicional supone más tiempo, más tokens y otra posibilidad de fracasar.

Si una tarea debe constar de cuatro pasos aprobados y el agente utiliza seis, su eficiencia en la planificación por pasos es del 66,7 %. Este número solo es válido cuando se puede establecer una ruta de referencia o un presupuesto de pasos razonables.

  • Ejemplo de fórmula: Pasos necesarios previstos ÷ Pasos realizados realmente
  • Indicación: Cuanto más alto, mejor
  • Ideal para: Optimización de la rapidez y los costes de los agentes
  • Realiza un seguimiento de: finalización de tareas y calidad de los resultados

Nunca premies por el mero hecho de que un proceso sea más corto. Un agente que se salte una comprobación obligatoria puede parecer eficiente, pero en realidad genera más riesgo.

15. Puntuación de coherencia

La consistencia indica si la IA ofrece resultados equivalentes cuando se repite la misma tarea en las mismas condiciones. Un intento correcto podría ser simplemente fruto de la suerte.

Supongamos que ejecutas la misma tarea 20 veces y que 18 resultados cumplen los mismos criterios de resultado. La tasa de consistencia es del 90 %. Compara los hechos, las decisiones o las acciones finales, en lugar de centrarte en formulaciones similares.

  • Ejemplo de fórmula: Ejecuciones repetidas que cumplen los mismos criterios de resultado ÷ Total de ejecuciones repetidas
  • Indicación: Cuanto más alto, mejor
  • Ideal para: informes periódicos, agentes de transacciones y flujos de trabajo de alto riesgo
  • Realiza el seguimiento mediante: precisión y intento correcto de las tareas en ejecuciones repetidas

16. Índice de robustez

El índice de robustez mide si el rendimiento se mantiene cuando la entrada varía de forma realista. Las pruebas pueden incluir errores ortográficos, detalles que faltan, información reordenada, indicaciones más largas o una redacción diferente.

Si el modelo gestiona 170 de los 200 casos de prueba modificados, su índice de robustez es del 85 %. El conjunto de pruebas debe reflejar las entradas erróneas que envían tus usuarios.

  • Fórmula: Intentos correctos de prueba perturbada ÷ Total de intentos de prueba perturbada
  • Indicación: Cuanto más alto, mejor
  • Ideal para: Preparación para la producción y pruebas de casos extremos
  • Realiza el seguimiento mediante: Rendimiento con datos limpios y tasa de error por tipo de entrada

17. Índice de infracciones de seguridad

La tasa de incumplimiento de seguridad muestra la frecuencia con la que los resultados de la IA infringen una política de seguridad definida. Un incumplimiento puede consistir en un consejo perjudicial, datos privados, contenido prohibido o una acción que el agente no tenía derecho a realizar.

Supongamos que los revisores confirman 12 infracciones en 10 000 resultados. La tasa es del 0,12 %. Ese número, por pequeño que sea, puede seguir siendo inaceptable si un solo fallo puede causar un daño grave.

  • Fórmula: Resultados con una infracción de seguridad confirmada ÷ Total de resultados evaluados
  • Indicación: Cuanto más bajo, mejor
  • Ideal para: chatbots públicos, copilotos para empleados, agentes y contenido generado
  • Realiza el seguimiento mediante: gravedad de las infracciones, tasa de falsos positivos y tasa de rechazo

Informa tanto de la gravedad como de la frecuencia. Diez infracciones leves no deberían tener el mismo peso que una sola filtración de datos privados.

18. Brecha de equidad

Una brecha de equidad indica si la IA se comporta de forma diferente entre grupos que deberían recibir un trato comparable. Una puntuación global de precisión puede ocultar una gran brecha subyacente.

Supongamos que un modelo de selección tiene una tasa de verdaderos positivos del 82 % para un grupo y del 71 % para otro. La diferencia es de 11 puntos porcentuales. Indica el nombre de la medida que se está comparando. El término «brecha de equidad» por sí solo es demasiado vago.

  • Ejemplo de fórmula: Tasa del grupo más alta − Tasa del grupo más baja
  • Indicación: Por lo general, cuanto más se acerque a cero, mejor.
  • Ideal para: contratación, concesión de préstamos, asistencia sanitaria, detección de fraudes y otras decisiones de gran impacto
  • Realiza el seguimiento mediante: tamaño de la muestra del grupo, tasa de selección, tasa de falsos positivos, tasa de falsos negativos y calibración

Una diferencia menor no demuestra que el sistema sea justo. Todos los grupos podrían estar obteniendo resultados igualmente deficientes. Consulte la puntuación de cada grupo junto con la diferencia.

19. Tasa de aceptación en la primera revisión

La tasa de aceptación a la primera muestra con qué frecuencia los resultados de la IA son utilizables tras la primera revisión. Esta cifra te aporta mucha más información que el volumen de contenido, código o análisis que genera el sistema.

Supongamos que los editores revisan 100 borradores generados por IA y aceptan 65 sin necesidad de volver a procesarlos ni de realizar correcciones importantes. La tasa de aceptación en la primera revisión es del 65 %. Define de antemano qué se entiende por «aceptado», ya que una pequeña corrección editorial y una reescritura completa no deben considerarse el mismo resultado.

  • Fórmula: Resultados aceptados en la primera revisión ÷ Total de resultados revisados
  • Indicación: Cuanto más alto, mejor
  • Ideal para: redacción, diseño, código, análisis y generación de documentos
  • Realiza el seguimiento mediante: tiempo de revisión, distancia de edición y tasa de errores en fases posteriores

20. Índice de reelaboración

La tasa de reelaboración muestra con qué frecuencia hay que corregir los resultados de la IA una vez que se incorporan al flujo de trabajo. Detecta la eficiencia aparente, en la que la IA ahorra tiempo al principio, pero acaba trasladando más trabajo a los revisores o a los equipos posteriores.

Si 22 de cada 100 muestras de código escritas por IA se devuelven para su corrección, la tasa de reelaboración es del 22 %. Distingue los defectos causados por la IA de las revisiones rutinarias o los cambios en el alcance.

  • Fórmula: Resultados de la IA que requieren corrección ÷ Total de resultados de la IA entregados o revisados
  • Indicación: Cuanto más bajo, mejor
  • Ideal para: Contenido, código, atención al cliente y operaciones
  • Realiza un seguimiento de: tiempo dedicado a la reelaboración, gravedad de los defectos y aceptación a la primera

Métricas del sistema y operativas

Esta capa se pregunta si los buenos resultados llegan realmente a los usuarios de forma fiable, rápida y a un coste que la empresa pueda asumir. Es aquí donde la adopción se va desvaneciendo silenciosamente, ya que un modelo técnicamente preciso que responde con lentitud o cuesta demasiado nunca se gana un hueco en el flujo de trabajo.

21. Latencia

La latencia es el tiempo que transcurre entre una solicitud y un resultado útil, y lo que se considera «útil» depende totalmente de la tarea. Para un clasificador, puede ser la respuesta final. Para un agente, puede ser el momento en que se completa la acción solicitada. Sin embargo, hay que tener cuidado con los promedios, ya que ocultan los retrasos que los usuarios perciben realmente. Un asistente de soporte puede tener una media de 1,2 segundos, pero llegar a tardar hasta seis durante las horas punta. Incluye percentiles como el p50 y el p95 para poder ver tanto la solicitud típica como la más lenta.

  • Fórmula: Marca de tiempo de la respuesta válida − Marca de tiempo de la solicitud
  • Indicación: Cuanto más bajo, mejor
  • Ideal para: chatear, búsqueda, herramientas de voz, asistentes de programación y agentes
  • Realiza el seguimiento mediante: latencia p50, p95 y p99, además de las tasas de abandono y de finalización

Tiempo hasta el primer token (TTFT): En los sistemas de streaming, realiza también un seguimiento del tiempo que tarda la respuesta en comenzar, no solo en completarse. Dos asistentes pueden completar la respuesta en cinco segundos, pero aquel que empieza a transmitir a los 300 ms parece mucho más rápido que el que deja la pantalla en blanco durante dos segundos. No existe un punto de referencia universal para el TTFT: la longitud de la indicación, el tamaño del modelo, las colas y la carga influyen en él, así que establece un objetivo para tu propio caso de uso y pruébalo con un tráfico realista.

22. Rendimiento

El rendimiento es la cantidad de trabajo que el sistema completa en un intervalo de tiempo definido. Se pueden contar las solicitudes por segundo, los documentos por hora o las tareas completadas con éxito al día. Supongamos que un proceso de gestión de documentos procesa 500 archivos por hora en entornos de prueba, pero esta cifra se reduce a 200 en condiciones de tráfico real. Esa diferencia indica si el sistema es capaz de soportar un periodo de gran actividad sin acumular retrasos.

  • Fórmula: Unidades completadas ÷ Unidad de tiempo
  • Indicación: Cuanto más alto, mejor
  • Ideal para: Soporte con gran volumen de solicitudes, procesamiento de documentos y flujos de trabajo por lotes
  • Realiza el seguimiento mediante: tasa de éxito, latencia, longitud de la cola y calidad de los resultados

Indica la unidad cada vez. Las solicitudes por segundo y los tokens por segundo responden a preguntas diferentes.

23. Tiempo de actividad y disponibilidad

La disponibilidad es la proporción del tiempo programado durante el cual el servicio de IA puede completar realmente las solicitudes. Un servicio puede estar en línea, pero ser demasiado lento o no funcionar correctamente como para terminar el trabajo, por lo que la disponibilidad debe definirse en función de un resultado útil. Una tasa mensual del 99 % sigue dejando margen para unas 7 horas y 12 minutos de tiempo de inactividad en un mes de 30 días. Eso puede estar bien para un asistente de redacción opcional. Sin embargo, resulta mucho más difícil de aceptar en el caso de una herramienta de soporte en la que la gente confía las 24 horas del día.

  • Fórmula: Tiempo en la reunión en la que se cumple el estándar de disponibilidad ÷ Tiempo total de servicio programado
  • Indicación: Cuanto más alto, mejor
  • Ideal para: Cualquier flujo de trabajo de producción que dependa de la IA
  • Realiza el seguimiento mediante: tasa de error, tiempo de servicio degradado y tiempo medio de recuperación

24. Tasa de error del sistema

La tasa de error del sistema abarca fallos técnicos como tiempos de espera agotados, modelos no disponibles, respuestas no válidas e integraciones defectuosas. Supongamos que 30 de cada 1.000 solicitudes de los agentes fallan porque una API deja de funcionar. Eso supone una tasa de error del 3 %. Desglosa esos fallos por causa; de lo contrario, el equipo sabrá que algo ha fallado, pero no sabrá dónde buscar.

  • Fórmula: Solicitudes con un fallo técnico ÷ Total de solicitudes
  • Indicación: Cuanto más bajo, mejor
  • Ideal para: Supervisión de la producción y respuesta ante incidencias
  • Realiza el seguimiento mediante: tipo de error, tasa de reintentos, latencia y tiempo de recuperación

25. Tasa de reintentos

La tasa de reintentos es la frecuencia con la que el sistema debe repetir una solicitud o acción. Es posible que la tarea subyacente acabe teniendo éxito finalmente, por lo que los reintentos no se reflejan en una simple puntuación de finalización. Supongamos que 120 de cada 1.000 solicitudes necesitan un intento adicional. Eso supone una tasa de reintentos del 12 %, y el sistema realiza un total de 1.120 intentos, lo que supone aproximadamente un 12 % de trabajo adicional para ese lote. Más de un reintento por solicitud eleva aún más el coste.

  • Fórmula: Solicitudes originales que requieren al menos un reintento ÷ Total de solicitudes originales
  • Indicación: Cuanto más bajo, mejor
  • Ideal para: agentes, flujos de trabajo de API y asistentes orientados al usuario
  • Realiza el seguimiento mediante: intentos por solicitud, tasa de intentos correctos, latencia y coste por intento correcto

26. Coste por tarea completada con intento correcto

El coste por tarea completada vincula el gasto en IA al trabajo realizado, lo que lo hace considerablemente más preciso que el coste por solicitud, en el que los intentos fallidos siguen consumiendo tokens, herramientas e infraestructura. Supongamos que cada ejecución de un agente cuesta 10 céntimos, pero solo la mitad tiene un intento correcto. Tu coste directo por intento correcto es de 20 céntimos. Si a esto le sumas la revisión humana o la reelaboración, la cifra real se eleva aún más.

  • Fórmula: Coste total de todas las tareas intentadas ÷ Tareas completadas con éxito
  • Indicación: Cuanto más bajo, mejor
  • Ideal para: agentes de IA y automatización de flujos de trabajo
  • Realiza el seguimiento mediante: tasa de finalización, calidad del resultado, reelaboración y coste de la asistencia humana

27. Índice de contención

La tasa de contención es el porcentaje de interacciones elegibles que finalizan sin que sea necesaria la intervención de un humano. Los equipos de soporte la utilizan para estimar cuánta demanda gestiona la IA por sí sola. Además, es fácil inflarla. Supongamos que un bot gestiona 800 de 1.000 chats, lo que supone una tasa del 80 %. Algunos de esos usuarios recibieron una respuesta real, mientras que otros simplemente se dieron por vencidos. Ambos casos parecen gestionados a menos que se examine lo que ocurrió a continuación.

  • Fórmula: Interacciones válidas que finalizan sin intervención humana ÷ Total de interacciones válidas
  • Nota: Un valor más alto no siempre es mejor.
  • Ideal para: Atención al cliente y soporte informático
  • Realiza un seguimiento de: resolución confirmada, contactos repetidos, abandono y satisfacción del cliente

Cuenten únicamente las consultas que la IA está destinada a gestionar. Las transferencias basadas en políticas no deben interpretarse como fallos.

28. Tasa de escalado

La tasa de escalado indica la frecuencia con la que una interacción con la IA pasa a manos de una persona. Una tasa elevada puede indicar un rendimiento deficiente, pero también puede significar que el sistema sabe cuándo debe dar un paso al lado. Supongamos que 150 de cada 1.000 interacciones se escalan, lo que supone una tasa del 15 %. Por sí sola, esa cifra dice poco. Hay que desglosarla en traspasos exigidos por las políticas, los solicitados por los usuarios y los casos que la IA simplemente no ha podido resolver.

  • Fórmula: Interacciones escaladas ÷ Total de interacciones elegibles para la IA
  • Indicación: Depende del motivo de la escalación
  • Ideal para: Agentes de atención al cliente y servicios de asistencia interna
  • Realiza el seguimiento mediante: motivo de la escalación, tiempo hasta el traspaso, resolución tras el traspaso y contención fallida

La contención y la escalación indican dónde terminó una interacción. No siempre indican si el servicio mejoró realmente. Una pequeña empresa realizó el seguimiento de ambos aspectos de esta cuestión.

¿Qué ocurrió cuando una pequeña tienda automatizó su servicio de soporte?

Un estudio realizó un seguimiento de una empresa eslovaca de comercio electrónico formada por ocho personas tras la incorporación de un chatbot con IA. En tres meses, la proporción de consultas gestionadas por el bot aumentó del 61 % al 85 %. El tiempo medio de respuesta se redujo de 118 minutos a 64. Y la satisfacción de los clientes pasó de 3,73 a 4,27 sobre 5.

Sin embargo, hay que interpretar estos números con cierta cautela. Solo el aumento de la satisfacción fue estadísticamente significativo. El estudio se centró en una sola empresa durante un breve periodo de tiempo. Además, el bot se encargaba de las preguntas rutinarias, mientras que las personas se ocupaban de las más complejas, lo que por sí solo podría explicar en parte la ganancia de velocidad.

Aun así, el caso ilustra por qué es importante analizar conjuntamente la tasa de automatización, el tiempo de respuesta, la escalación y la satisfacción. Una tasa de contención más alta no significa gran cosa si la calidad del servicio se queda por debajo de ella.

Métricas de adopción y de impacto en la plantilla

Un sistema de IA que funcione tiene que ganarse un hueco en el día a día de los usuarios. Estas métricas muestran si la gente lo prueba, lo utiliza para trabajos reales y vuelve a utilizarlo una vez que pasa la novedad.

El mero hecho de utilizarla no demuestra su valor. Gallup descubrió que el 50 % de los trabajadores estadounidenses utilizaba la IA al menos unas cuantas veces al año, pero solo el 13 % la utilizaba a diario. Esa diferencia es precisamente la razón por la que hay que hacer un seguimiento de la frecuencia, la profundidad y el dominio, además de la mera adopción.

29. Tasa de adopción entre los usuarios elegibles

La tasa de adopción de los usuarios elegibles muestra cuántas de las personas que podrían utilizar la IA han completado al menos una acción significativa con ella. Lo importante aquí es el denominador. Si 400 personas activan una herramienta, parece estupendo. Pero si se ha concedido acceso a 4.000 empleados, la adopción es, en realidad, solo del 10 %. No se tienen en cuenta los trabajadores cuyos roles no cuentan con un caso de uso de la IA aprobado o útil.

  • Fórmula: Usuarios elegibles que completan al menos una acción significativa relacionada con la IA ÷ Total de usuarios elegibles
  • Indicación: Por lo general, cuanto más alto, mejor.
  • Ideal para: implementaciones iniciales, proyectos piloto y planificación de licencias
  • Realiza el seguimiento mediante: uso activo, intento correcto en las tareas y coste por usuario activo

Define qué se entiende por «acción significativa» antes del lanzamiento. Abrir la herramienta o enviar una indicación de prueba no debería considerarse como adopción.

30. Tasa de uso activo de la IA

La tasa de uso activo muestra cuántos usuarios elegibles recurren realmente a la IA en un periodo determinado. El uso activo semanal suele aportar mucha más información que el número total de registros. Supongamos que 1.000 empleados cumplen los requisitos y que 600 han probado la herramienta, pero solo 180 la utilizan realmente en una semana normal. Tu cifra de adopción podría ser del 60 %, mientras que el uso activo semanal es solo del 18 %. Ese segundo número se acerca mucho más al lugar real que ocupa la herramienta en el flujo de trabajo.

  • Fórmula: Usuarios que han alcanzado el umbral de actividad durante el periodo ÷ Total de usuarios elegibles
  • Indicación: Por lo general, cuanto más alto, mejor.
  • Ideal para: Seguimiento continuo de la adopción
  • Realiza un seguimiento de: finalización de tareas, calidad y retención de usuarios activos

Establece un umbral que se adapte al trabajo. El uso semanal puede ser adecuado para herramientas de redacción y compatibilidad, mientras que un asistente de planificación trimestral requiere un periodo más largo.

31. Alcance de la adopción

El alcance de la adopción muestra hasta qué punto se ha extendido el uso de la IA entre los equipos, los roles o las ubicaciones en la implantación. Una tasa de adopción global puede ocultar una imagen sesgada. Es posible que un equipo de ingeniería utilice la herramienta a diario, mientras que los departamentos de ventas, finanzas y soporte apenas la utilicen.

  • Fórmula: Equipos o roles objetivos que cumplen el umbral de adopción ÷ Total de equipos o roles objetivos
  • Indicación: Por lo general, cuanto más alto, mejor.
  • Ideal para: programas de IA a nivel de toda la empresa y que abarcan varios equipos
  • Realiza un seguimiento de: tasa de adopción por rol, ubicación, responsable y caso de uso

No esperes que todos los grupos alcancen el mismo nivel. Compara equipos solo cuando la IA les resulte igualmente útil y esté a su disposición.

32. Grado de adopción

El nivel de adopción indica cuántas tareas distintas realizan los usuarios activos con la IA. Permite distinguir el uso superficial del uso real. Alguien que solo reescribe los asuntos de los correos electrónicos ha empezado a utilizar la herramienta, pero no la ha integrado en profundidad. Alguien que la utiliza para investigar, redactar borradores, analizar y tomar notas en reuniones la ha integrado mucho más en su día a día.

  • Fórmula: Total de flujos de trabajo de IA distintos aprobados utilizados ÷ Usuarios activos de IA
  • Indicación: Un valor más alto resulta útil hasta cierto punto
  • Ideal para: Implementaciones consolidadas y ampliación de flujos de trabajo
  • Realiza el seguimiento mediante: tasa de éxito y tiempo ahorrado por flujo de trabajo

Un mayor número de casos de uso no siempre implica un mayor valor. Unos pocos flujos de trabajo de gran impacto pueden superar a una larga lista de flujos de trabajo triviales.

33. Tasa de penetración de los flujos de trabajo

La penetración en los flujos de trabajo muestra qué porcentaje del trabajo susceptible de ser realizado con ayuda de la IA se lleva a cabo realmente. La adopción se mide en personas. La penetración en los flujos de trabajo se mide en el trabajo en sí. Supongamos que un equipo de soporte gestiona 10 000 tickets que cumplen los requisitos para recibir ayuda de la IA, pero que la IA solo interviene en 2 500. La penetración es del 25 %, aunque todos los agentes hayan probado la herramienta al menos una vez.

  • Fórmula: Tareas elegibles completadas con soporte de la IA ÷ Total de tareas elegibles
  • Indicación: Un valor más alto es útil cuando la calidad se mantiene
  • Ideal para: flujos de trabajo de Soporte, equipo de ventas, contenido, código y gestión de documentos
  • Realiza el seguimiento mediante: tasa de finalización, calidad, duración del ciclo y coste por tarea

Limita el denominador al trabajo que la IA está autorizada a realizar y es capaz de gestionar.

34. Tasa de retención de usuarios activos

La retención indica cuántas personas siguen utilizando la IA tras su primer uso significativo. Te ayuda a distinguir entre una adopción duradera y la simple curiosidad de la semana de lanzamiento. Supongamos que 500 empleados activan la herramienta en enero y que 300 siguen alcanzando el umbral de uso en abril. Tu retención a tres meses es del 60 %.

  • Fórmula: Usuarios activados que siguen activos tras un periodo determinado ÷ Usuarios de la cohorte de activación original
  • Indicación: Cuanto más alto, mejor
  • Ideal para: evaluar el estado de la implantación y tomar decisiones sobre renovaciones
  • Realiza el seguimiento mediante: frecuencia de uso, satisfacción, intento correcto en las tareas y motivos de abandono

Mide la retención por cohorte. Comparar los usuarios activos de este mes con el total del mes pasado puede ocultar que los nuevos usuarios están sustituyendo a los que se han marchado.

35. Índice de dominio de la IA

La tasa de competencia indica cuántos usuarios pueden completar una tarea aprobada con IA cumpliendo al mismo tiempo los requisitos de calidad y seguridad exigidos. Asigna a los usuarios una tarea realista y, a continuación, comprueba el resultado. ¿Puede un agente de atención al cliente utilizar la IA para redactar una respuesta precisa, verificar la fuente y detectar una política inventada?

  • Fórmula: Usuarios que cumplen el estándar de la tarea de IA ÷ Usuarios evaluados
  • Indicación: Cuanto más alto, mejor
  • Ideal para: programas de formación y flujos de trabajo de alto riesgo
  • Realiza el seguimiento mediante: detección de errores, calidad de las tareas y rendimiento por caso de uso

Es posible utilizar la IA con frecuencia y, aun así, hacerlo de forma inadecuada. Por eso, la competencia debe situarse al mismo nivel que la adopción, y no por debajo de ella.

36. Tasa de anulación

La tasa de anulación indica la frecuencia con la que una persona rechaza, sustituye o revoca una sugerencia de la IA. Puede revelar resultados deficientes, un bajo nivel de confianza o, simplemente, un buen criterio humano. Supongamos que los revisores modifican 240 de cada 1.000 recomendaciones de la IA. Eso supone una tasa de anulación del 24 %. Sin embargo, aún es necesario conocer el motivo. Una corrección necesaria y una preferencia personal en la redacción no deberían tener el mismo peso.

  • Fórmula: Recomendaciones de IA rechazadas o modificadas sustancialmente ÷ Recomendaciones revisadas
  • Orientación: Depende del motivo
  • Ideal para: Soporte a la toma de decisiones, recomendaciones, herramientas de revisión y copilotos
  • Realiza el seguimiento mediante: motivo de la anulación, tasa de error de la IA y calidad tras el cambio

Una tasa de anulación baja puede resultar preocupante si significa que los usuarios aceptan resultados deficientes sin comprobarlos.

37. Tasa de intervención humana

La tasa de intervención humana mide la frecuencia con la que una tarea iniciada por la IA necesita ayuda no planificada antes de poder completarse. Esto difiere de una aprobación planificada o de un traspaso según las políticas. Supongamos que un agente intenta realizar 1.000 tareas y que hay que intervenir en 180 de ellas. Eso supone una tasa de intervención del 18 %. Esas intervenciones conllevan costes de mano de obra que una tasa de finalización autónoma puede ocultar.

  • Fórmula: Tareas de IA que requieren ayuda humana no planificada ÷ Total de tareas de IA intentadas
  • Indicación: Por lo general, cuanto menor sea el valor, mejor.
  • Ideal para: agentes de IA y flujos de trabajo automatizados
  • Realiza un seguimiento de: motivo de la intervención, tiempo dedicado, tasa de finalización y coste por tarea completada con éxito

Mantén la revisión planificada fuera del numerador. Una aprobación necesaria forma parte del flujo de trabajo, no es un fallo del sistema.

38. Tiempo ahorrado por tarea completada

El tiempo ahorrado por cada tarea completada compara el flujo de trabajo completo asistido por IA con un punto de referencia imparcial. Hay que tenerlo todo en cuenta: las indicaciones, las esperas, las comprobaciones, las correcciones y las repeticiones. Si se omite eso, solo se tiene en cuenta el rápido primer borrador. Se ignora silenciosamente todo el trabajo de limpieza que viene después.

  • Fórmula: Tiempo de finalización de referencia − Tiempo total de finalización asistido por IA
  • Orientación: Cuanto más alto, mejor, siempre que la calidad se mantenga
  • Ideal para: redacción, programación, investigación, soporte y trabajos intelectuales repetitivos
  • Realiza un seguimiento de: calidad de los resultados, reelaboraciones y completación de tareas

El ahorro de tiempo declarado por los propios usuarios puede ser útil, pero hay que contrastarlo con la realidad. Un estudio de la Reserva Federal de San Luis reveló que los usuarios de IA afirmaban ahorrar unas 2,2 horas en una semana laboral de 40 horas. Sin embargo, un ensayo aleatorio realizado por METR reveló que los desarrolladores experimentados tardaban un 19 % más al utilizar la IA, a pesar de que creían que les había permitido trabajar un 20 % más rápido. Los estudios abarcaban trabajos diferentes, pero en conjunto dejan clara la conclusión: hay que preguntar a los usuarios cuánto tiempo han ahorrado y, a continuación, verificarlo con los datos de las tareas.

39. Tiempo de revisión de la IA

El tiempo de revisión de la IA mide el esfuerzo humano necesario para comprobar y aprobar un resultado. Es aquí donde el ahorro de tiempo prometido suele reducirse silenciosamente. Un borrador generado por la IA puede tardar 30 segundos en generarse, pero 12 minutos en verificarse. Compara ese tiempo total con el que llevaría la tarea sin utilizar la IA en absoluto.

  • Fórmula: Tiempo total dedicado a la revisión y corrección por parte de personas ÷ Resultados de la IA revisados
  • Indicación: Por lo general, cuanto menor sea el valor, mejor.
  • Ideal para: Contenidos, código, análisis, soporte y trabajos sujetos a normativa
  • Realiza el seguimiento mediante: aceptación a la primera, reelaboración y errores no detectados durante la revisión

No reduzcas el tiempo de revisión a cero en trabajos de alto riesgo. El objetivo es una comprobación eficaz, no una aprobación a ciegas.

40. Índice de confianza de los empleados

La puntuación de confianza de los empleados mide si los usuarios consideran que la IA es lo suficientemente fiable para las tareas que se le han asignado y si comprenden sus límites. Puedes medirla mediante una breve encuesta que abarque la precisión, la transparencia, la seguridad y la confianza a la hora de detectar errores. Evita preguntas generales del tipo «¿Confías en la IA?», ya que te proporcionan una puntuación imprecisa sobre la que no puedes actuar.

  • Ejemplo de fórmula: Puntuación media de la encuesta de confianza ÷ Puntuación máxima posible × 100
  • Dirección: La confianza calibrada es mejor que la confianza máxima
  • Ideal para: copilotos para empleados, soporte para la toma de decisiones y programas de IA para toda la empresa
  • Realiza el seguimiento mediante: tasa de anulación, detección de errores, conocimiento de las políticas y retención de uso

Métricas de impacto empresarial y de retorno de la inversión

Este es el aspecto en el que los directivos invierten sus recursos, y el que la mayoría de los paneles de IA pasan por alto. Resultados, costes, ingresos, resultados para los clientes y retorno de la inversión: estos son los números que determinan si un programa se renueva o se archiva.

Además, son los aspectos más difíciles de demostrar. Los ingresos pueden aumentar tras un lanzamiento porque la demanda ha cambiado, no porque la IA haya hecho nada. Los costes pueden reducirse porque el equipo ha rediseñado su proceso al mismo tiempo. Una simple comparación «antes y después» te indica qué ha cambiado, pero no qué lo ha provocado. Para ello, necesitas un grupo de control, una implantación por fases o una línea de referencia equivalente, de modo que puedas ver qué habría ocurrido de todos modos.

41. Rendimiento incremental

El rendimiento incremental mide la cantidad adicional de trabajo aceptable que el equipo completa tras incorporar la IA. Solo se tiene en cuenta el resultado que supera el mismo umbral de calidad que el de referencia. Supongamos que un equipo completaba 500 casos aprobados a la semana antes de la IA y ahora completa 575. Eso supone un rendimiento incremental del 15 %. Sin embargo, si al mismo tiempo ha aumentado el trabajo de reelaboración, la ganancia real podría ser menor de lo que parece.

  • Fórmula: (Resultado aceptado por la IA durante el periodo − Resultado aceptado de referencia) ÷ Resultado aceptado de referencia × 100
  • Indicación: Cuanto más alto, mejor
  • Ideal para: Soporte, contenido, código, procesamiento de documentos y operaciones
  • Realiza el seguimiento mediante: tasa de error, reelaboración, satisfacción del cliente y horas de trabajo

42. Reducción de la duración del ciclo

La reducción de la duración del ciclo muestra cuánto más rápido avanza el trabajo de principio a fin. Incluye los tiempos de espera, revisión, correcciones y aprobación final. Si solo mides el paso de generación de la IA, el resultado parecerá mejor de lo que realmente es. Supongamos que la revisión de un contrato tardaba cinco días antes de la IA y ahora tarda tres. La duración del ciclo se ha reducido en un 40 %.

  • Fórmula: (Duración del ciclo de referencia − Duración del ciclo asistido por IA) ÷ Duración del ciclo de referencia × 100
  • Indicación: Cuanto más alto, mejor
  • Ideal para: revisiones, aprobaciones, producción de contenido, entrega de software y flujos de trabajo de servicios
  • Realiza un seguimiento de: calidad, reelaboraciones y volumen de trabajo en curso

43. Coste por resolución

El coste por resolución muestra lo que la empresa gasta para resolver un problema. Es más relevante que el coste por contacto, ya que un único problema de un cliente puede dar lugar a varios mensajes, llamadas o escalaciones. Incluye los costes del modelo, la mano de obra, las llamadas a herramientas, la revisión y los contactos repetidos. De lo contrario, una primera respuesta barata puede ocultar un camino costoso hacia la respuesta real.

  • Fórmula: Coste total del servicio ÷ Problemas resueltos con éxito
  • Indicación: Cuanto más bajo, mejor
  • Ideal para: atención al cliente, soporte informático, reclamaciones y servicios de asistencia interna
  • Realiza el seguimiento mediante: tasa de contactos repetidos, satisfacción del cliente y calidad de la resolución

44. Ahorros de costes verificados

El ahorro de costes verificado corresponde a los gastos que se han eliminado tras implementar la IA. Piensa, por ejemplo, en una reducción de las horas extras, menos horas subcontratadas o una factura de infraestructura más baja. El tiempo ahorrado no se considera dinero en sí mismo. Si los empleados siguen en la misma nómina y la producción se mantiene estable, habrás liberado capacidad, pero no habrás reducido un coste real.

  • Fórmula: Coste de referencia para un trabajo comparable − Coste real tras la aplicación de la IA
  • Indicación: Cuanto más alto, mejor
  • Ideal para: Elaboración de informes financieros y análisis del valor de la IA
  • Realiza un seguimiento de: volumen de trabajo, calidad de los resultados y costes de implementación

Mantén por separado la prevención de costes. El ahorro elimina un gasto ya existente. La prevención evita un gasto futuro planificado, como la contratación de cinco agentes más para gestionar el creciente volumen de incidencias. Ambos pueden aportar valor, pero mezclarlos sin ponerles rótulos hace que el resultado parezca más seguro de lo que realmente es.

45. Ingresos incrementales atribuibles a la IA

Los ingresos incrementales son los ingresos adicionales generados por la IA, más allá de lo que probablemente habría ocurrido de todos modos. La forma más clara de calcularlos es comparar un grupo de IA con un grupo de control similar. ¿No hay grupo de control? Utiliza entonces una implantación por fases o una línea de referencia equivalente. Y ajusta los resultados en función de las variaciones en los precios, las promociones, la demanda y la temporada.

  • Fórmula: Ingresos con IA − Ingresos estimados sin IA
  • Indicación: Cuanto más alto, mejor
  • Ideal para: Asistentes de ventas, recomendaciones, búsquedas, personalización y soporte previo a la venta
  • Realiza el seguimiento mediante: margen bruto, tasa de conversión, valor medio de los pedidos y segmento de clientes

Los ingresos no son lo mismo que los beneficios. A la hora de calcular el retorno de la inversión (ROI), utiliza el margen bruto adicional, no la cifra total de ingresos.

46. Aumento de la tasa de conversión

El aumento de la tasa de conversión muestra si la IA ayuda a más usuarios a completar una acción objetivo, como una compra, la reserva de una demostración o la finalización del proceso de incorporación. Supongamos que el grupo de control tiene una tasa de conversión del 5 % y el grupo asistido por IA, del 5,5 %. El aumento absoluto es de 0,5 puntos porcentuales, mientras que el aumento relativo es del 10 %. Especifica siempre a cuál de los dos te refieres.

  • Fórmula absoluta: Tasa de conversión de la IA − Tasa de conversión de referencia
  • Fórmula relativa: (tasa de conversión de la IA − tasa de conversión de referencia) ÷ tasa de conversión de referencia × 100
  • Indicación: Cuanto más alto, mejor
  • Ideal para: equipo de ventas, comercio electrónico, incorporación de nuevos clientes, recomendaciones y calificación de clientes potenciales
  • Realiza el seguimiento de: ingresos, margen, cancelaciones y calidad de los clientes

47. Diferencial de satisfacción del cliente

La diferencia en la satisfacción del cliente muestra si las valoraciones de los clientes han variado tras la incorporación de la IA a la experiencia. Compara el mismo canal, tipo de problema, grupo de clientes y escala de valoración. Supongamos que el soporte asistido por IA obtiene una puntuación de 4,3 sobre 5 y que el grupo de control obtiene una puntuación de 4,1. La diferencia es de 0,2 puntos.

  • Fórmula: CSAT asistido por IA − CSAT de referencia o del grupo de control
  • Indicación: Cuanto más alto, mejor
  • Ideal para: asistentes de atención al cliente, agentes de soporte y herramientas de autoservicio
  • Realiza el seguimiento mediante: tasa de resolución, tasa de respuesta a encuestas, contactos repetidos y escalaciones

Fíjate en quién responde a la encuesta. Los clientes satisfechos y los insatisfechos pueden responder con diferente frecuencia, lo que puede alterar la puntuación sin que se produzca un cambio real en el servicio.

48. Tasa de contactos repetidos

La tasa de contacto repetido muestra la frecuencia con la que un cliente vuelve a ponerse en contacto por el mismo problema pendiente. Detecta los casos que solo parecían resueltos porque el primer chat había terminado por casualidad. Supongamos que 120 de cada 1.000 casos supuestamente resueltos dan lugar a otro contacto en el plazo de una semana. Eso supone una tasa de contacto repetido del 12 %.

  • Fórmula: Casos resueltos a los que ha seguido otro contacto sobre el mismo problema ÷ Total de casos resueltos
  • Indicación: Cuanto más bajo, mejor
  • Ideal para: atención al cliente, servicios de asistencia informática, tramitación de reclamaciones y autoservicio
  • Realiza un seguimiento de: contención, coste por resolución y satisfacción del cliente

Establece un intervalo de tiempo claro y agrupa los contactos relacionados con el mismo problema. Un cliente que vuelva con una nueva pregunta no debe contabilizarse como una resolución fallida.

49. Tiempo de valorización de la inversión

El «tiempo hasta obtener valor» mide cuánto tarda un proyecto de IA en producir su primer resultado empresarial verificado. Decide qué se considera «valor» antes de que comience la implementación. Un prototipo funcional o el primer inicio de sesión de un usuario no cuentan, a menos que ese fuera la meta acordada desde el principio.

  • Fórmula: Fecha del primer resultado empresarial verificado − Fecha de inicio del proyecto
  • Indicación: Por lo general, cuanto menor sea el valor, mejor.
  • Ideal para: proyectos piloto de IA, revisiones de carteras y planificación de inversiones
  • Realiza el seguimiento mediante: tamaño, durabilidad y origen del resultado

El menor tiempo de retorno del valor no siempre es indicativo del proyecto más sólido. Una investigación del MIT reveló que las empresas manufactureras suelen experimentar una caída inicial de la productividad tras adoptar la IA, seguida de un crecimiento más sólido posteriormente. La formación, el trabajo con los datos y los cambios en los procesos retrasaron los beneficios. Un plazo de evaluación breve podría haber llevado a juzgar esos proyectos demasiado pronto.

50. Retorno de la inversión en IA

El retorno de la inversión en IA compara los beneficios netos verificados con el coste del programa. Los beneficios pueden incluir un beneficio bruto adicional, ahorros reales en los costes y una reducción de costes claramente identificada. La parte de los costes también debe ser realista. Hay que tener en cuenta el software, los modelos y los servidores. A continuación, hay que añadir los costes de configuración, formación, supervisión, revisión y mantenimiento.

  • Fórmula: (Beneficios totales verificados de la IA − Costes totales de la IA) ÷ Costes totales de la IA × 100
  • Indicación: Cuanto más alto, mejor
  • Ideal para: Revisiones de inversiones y decisiones sobre carteras de IA
  • Realiza el seguimiento mediante: periodo de amortización, tipo de beneficio y nivel de confianza en la atribución

Evita el doble recuento. Si la IA ahorra tiempo a los empleados y ese tiempo se traduce en un mayor rendimiento, calcula el valor de ese rendimiento adicional o del ahorro de mano de obra. Si se calculan ambos, se contabiliza el mismo beneficio dos veces.

Consejo profesional: ¿Estás evaluando el trabajo de marketing asistido por IA? Empieza por el ROI de las campañas. La calculadora de ROI de marketing de ClickUp te permite comparar el gasto de las campañas con los ingresos y ver tu porcentaje de ROI y el beneficio neto en un solo lugar. Úsala como una primera comprobación rápida. Después, añade los costes totales de la IA: software, uso de modelos, configuración, tiempo de revisión, formación y reelaboración.

51. Periodo de amortización

El periodo de amortización estima el tiempo que tarda un proyecto de IA en recuperar la inversión inicial a través de beneficios netos verificados. Supongamos que la implantación cuesta 300 000 dólares y genera un beneficio neto de 25 000 dólares al mes. El periodo de amortización simple es de 12 meses.

  • Fórmula: Inversión inicial en IA ÷ Beneficio neto medio verificado por periodo
  • Indicación: Cuanto más bajo, mejor
  • Ideal para: Aprobación de presupuestos y comparación entre proyectos de IA
  • Realiza un seguimiento de: el retorno de la inversión (ROI), la estabilidad de los beneficios y los costes operativos continuos

Un cálculo sencillo de la amortización no tiene en cuenta el valor temporal del dinero ni los rendimientos obtenidos tras la fecha de amortización. Los equipos financieros también pueden utilizar el valor actual neto para programas de IA de gran envergadura o de larga duración.

Por qué la percepción es la métrica más peligrosa de todas

La gente se da cuenta del tiempo que ahorra la IA en un primer borrador. Lo que rara vez tienen en cuenta es el tiempo que viene después: redactar la indicación, comprobar los datos, corregir los errores y rehacer las partes más débiles. Ese cálculo que falta hace que la ganancia parezca considerablemente mayor de lo que es en realidad.

En palabras de Farrah Lakhani, directiva ejecutiva de crecimiento y estrategia:

El error más habitual que observo es considerar el tiempo ahorrado como la principal medida del éxito de la IA. Las horas ahorradas, las tareas automatizadas y la reducción de la duración del ciclo son los datos más fáciles de recopilar y presentar en un informe al consejo de administración. También son los que menos probabilidades tienen de reflejar el impacto real en la empresa.

El error más habitual que observo es considerar el tiempo ahorrado como la principal medida del éxito de la IA. Las horas ahorradas, las tareas automatizadas y la reducción de la duración del ciclo son los datos más fáciles de recopilar y presentar en un informe al consejo de administración. También son los que menos probabilidades tienen de reflejar el impacto real en la empresa.

Además, METR realizó una encuesta en la que participaron 349 trabajadores técnicos sobre cómo la IA había afectado a su trabajo. La mediana de las respuestas indicaba un aumento de la velocidad tres veces mayor y una producción de valor entre 1,4 y 2 veces superior.

Esos números parecen impresionantes, pero METR los ha matizado con cautela. Los números proceden de las propias estimaciones de los trabajadores, no de tareas cronometradas ni de un grupo de control. Además, los investigadores observaron indicios de que las afirmaciones más audaces exageraban lo que realmente se reflejaba en el trabajo final.

Nada de esto hace que la percepción sea inútil. Si las personas sienten que la IA les ayuda, tienden a utilizarla más. La percepción también pone de manifiesto la confianza, la facilidad de uso y la frustración. Solo se vuelve peligrosa cuando una empresa trata ese sentimiento como prueba de productividad o de retorno de la inversión.

Lo más recomendable es medir la diferencia entre lo que declaran las personas y lo que muestra el flujo de trabajo:

  • Fórmula: Mejora declarada − Mejora observada
  • Indicación: Cuanto más se acerque a cero, mejor.
  • Realiza el seguimiento mediante: tiempo de finalización de las tareas, calidad del resultado, tasa de reelaboración y coste por tarea completada con éxito

Por ejemplo, supongamos que los empleados informan de un aumento de la velocidad del 30 %, pero los registros de las tareas solo muestran una mejora del 10 %. Se trata de una diferencia de percepción de 20 puntos. Esto puede indicar un tiempo de revisión oculto, una medición deficiente o un trabajo que simplemente parece más fácil sin aportar un valor mucho más cuantificable.

La regla más segura es muy sencilla: escucha atentamente lo que dicen tus usuarios y, a continuación, compáralo con el trabajo real.

KPI de IA específicos por función

No existe un único cuadro de mando de IA que se adapte a todos los equipos, ya que cada uno tiene un resultado diferente. El servicio de atención al cliente se centra en la resolución de incidencias. El departamento de ingeniería, en la estabilidad de las entregas. Marketing y ventas se centran en el crecimiento, mientras que el departamento de operaciones se centra en los costes, la rapidez y el control. Empieza por ese resultado. A continuación, añade las métricas que muestren cómo la IA ha influido en él.

Atención al cliente y soporte técnico

La verdadera pregunta es si el problema del cliente quedó resuelto una vez finalizado el chat.

  • Seguimiento: Resoluciones confirmadas, contactos repetidos, satisfacción del cliente (CSAT), tasa de escalado, tiempo de gestión y coste por caso resuelto
  • Desglose por: intención del cliente y ruta basada únicamente en IA, mixta o exclusivamente humana
  • Evita: que los chats abandonados se contabilicen como casos resueltos y que los traspasos de casos pierdan el contexto del cliente.

Software e ingeniería

Mide todo el proceso, desde la asignación del trabajo hasta el lanzamiento estable en producción. El código generado es solo un paso de ese proceso.

  • Seguimiento: Plazo de entrega de los cambios, frecuencia de implementación, fallos en los cambios, tiempo de recuperación, tiempo de revisión y reelaboración
  • Desglose por: tipo de tarea, repositorio, equipo y nivel de uso de la IA
  • Evita: considerar las solicitudes de validación, las confirmaciones o las líneas de código como un valor acabado

Ejemplo: Nvidia ofrece una prueba clara de esa trampa. Afirma que más de 30 000 de sus ingenieros utilizan ahora una versión personalizada del asistente Cursor, que genera aproximadamente el triple de código que antes, sin que haya aumentado el número de incidencias. Pero triplicar la producción es una señal de volumen, no de entrega. No indica si las funciones se lanzan más rápido o si se mantienen en producción. Para cerrar esa brecha, Nvidia tendría que modificar, además del volumen, los plazos de entrega, la tasa de fallos de producción y las repeticiones de trabajo.

Marketing

La IA aplicada al marketing debería reducir el coste o el tiempo necesarios para producir un trabajo que, posteriormente, supere la revisión y dé buenos resultados con clientes reales.

  • Realiza un seguimiento de: coste por activo aprobado, tasa de aprobación, duración del ciclo de la campaña, aumento de la conversión, margen de contribución y ROAS incremental
  • Desglose por: canal, público, tipo de activo y cliente nuevo o recurrente
  • Evita: contabilizar cada borrador generado y atribuir a la IA el aumento de la demanda estacional o el mayor gasto publicitario.

Equipo de ventas

La IA aplicada al equipo de ventas demuestra su utilidad cuando los acuerdos adecuados avanzan más rápido por el proceso de ventas y, finalmente, se cierran con márgenes satisfactorios.

  • Realiza un seguimiento de: la conversión de clientes potenciales en oportunidades, la velocidad del canal de ventas, la tasa de éxito, la duración del ciclo de ventas, el error de previsión y el beneficio bruto
  • Desglose por: origen de la operación, tamaño, región, comercial y fase inicial
  • Evita: que un mayor número de contactos genere oportunidades poco sólidas, renuncias o descuentos en fases posteriores del proceso de venta.

Ejemplo: Workato demuestra por qué «más rápido» no es sinónimo de «éxito». Su director de sistemas de información (CIO) afirmó que los acuerdos con datos enriquecidos por los agentes avanzaban por las fases del proceso de ventas hasta un 20 % más rápido, y que el tiempo de respuesta de los presupuestos mejoraba en un 40 %. Ambos números proceden de la propia empresa y miden la velocidad, no el resultado. Ninguno de ellos confirma un aumento de los ingresos por ventas cerradas. Para demostrar la mejora, Workato necesitaría conocer la tasa de éxito, el margen y los ingresos por ventas cerradas de acuerdos similares con y sin IA.

Operaciones y finanzas

En este caso, la IA debería completar el trabajo con menos intervenciones, errores y excepciones. Y todos los costes deben tenerse en cuenta en el cálculo.

  • Parámetros de seguimiento: coste por transacción con intento correcto, duración del ciclo, procesamiento directo, tasa de excepciones y precisión en la primera tentativa
  • Desglose por: tipo de proceso, valor de la transacción, riesgo y motivo de la revisión humana
  • Evita: no incluir en los costes el software, la integración, la supervisión y las modificaciones posteriores.

Ejemplo: Omega Healthcare muestra cómo es una afirmación completa sobre la eficiencia. La empresa declaró a Business Insider que la IA le ahorra más de 15 000 horas de trabajo al mes en tareas administrativas, con una rapidez de tramitación un 50 % mayor, una precisión del 99,5 % y un retorno de la inversión para el cliente del 30 %. Este conjunto de datos aúna tiempo, calidad y coste en una única vista.

Casos prácticos: cómo miden empresas reales la eficiencia impulsada por la IA

Los resultados de una empresa solo son útiles cuando se sabe qué es lo que se ha medido. ¿Se trata de un número observado o de una previsión? ¿La empresa ha contabilizado el trabajo resuelto o simplemente el trabajo que ha dejado de realizar el personal humano? Estos cuatro casos muestran por qué esos detalles importan mucho más que el número más llamativo de un comunicado de prensa.

Klarna (Un servicio rápido puede seguir dejando un margen de mejora en cuanto a calidad)

A finales de 2025, Klarna afirmó que su asistente de atención al cliente basado en IA gestionaba dos tercios de todas las consultas de los clientes. También destacó una reducción del 82 % en los tiempos de respuesta, un descenso del 25 % en los problemas recurrentes, un ahorro de 60 millones de dólares y un volumen de trabajo equivalente al de 853 agentes a tiempo completo.

Klarna siguió invirtiendo en el asistente. Pero también volvió a contratar personal de soporte al cliente humano. Su director general afirmó que los clientes siempre deberían poder ponerse en contacto con una persona. La elaboración de informes relacionó este cambio con las quejas sobre respuestas genéricas a las preguntas más complejas. Por su parte, la empresa afirmó que el nivel de satisfacción con la IA se mantenía al mismo nivel que con el soporte al cliente humano.

Lo que esto nos enseña: Realiza el seguimiento de la rapidez, los contactos repetidos y el coste, pero desglósalos por tipo de problema. A continuación, mide los traspasos fallidos y la satisfacción tras los casos complejos. Una media elevada puede ocultar precisamente los tickets que más importan.

IBM (Es posible que no todos los desarrolladores se beneficien de la mejora de la productividad)

IBM analizó su propia herramienta «watsonx Code Assistant» para un artículo revisado por pares presentado en CHI 2025. Los investigadores realizaron una encuesta a 669 usuarios y realizaron pruebas de usabilidad con otros 15. Muchos usuarios consideraron que la herramienta les permitía trabajar más rápido, pero no todos compartían esa opinión. Hay un límite importante que hay que tener en cuenta. El estudio se centró en la experiencia de los desarrolladores y en cómo se sentían en términos de productividad. No demostró que el software se lanzara al mercado más rápido ni con menos defectos.

Lo que esto nos enseña: Combina las encuestas a los usuarios con medidas observadas, como el tiempo de revisión, las repeticiones del trabajo, el plazo de entrega de los cambios y la tasa de fallos en los cambios. A continuación, desglosa los resultados por tarea y nivel de experiencia. La media de un equipo puede ocultar a aquellos desarrolladores que dedican más tiempo a revisar los resultados de la IA del que ahorran al escribir el código.

Bank of America (El control forma parte del rendimiento)

Bank of America afirmó que Erica, su asistente financiera virtual, gestionó 3 000 millones de interacciones con clientes y ahora registra una media de más de 58 millones al mes. Su versión para empleados llegó a más del 90 % de la plantilla y redujo a la mitad las llamadas al servicio de asistencia informática. Erica también demuestra que la eficiencia de la IA no requiere un modelo generativo. El banco gestiona su asistente de clientes a partir de una biblioteca fija de más de 700 respuestas. Esto le da a Erica menos libertad que un chatbot abierto, pero hace que las respuestas sean mucho más fáciles de probar y controlar en un banco.

Lo que esto nos enseña: Adapta el modelo al riesgo. Para el soporte interno, realiza el seguimiento de las llamadas al servicio de asistencia, el autoservicio satisfactorio, los contactos repetidos y el tiempo de resolución. Una disminución del volumen de llamadas es prometedora, pero no demuestra que todos los empleados hayan resuelto realmente el problema.

Cómo elegir las métricas adecuadas de IA

Conocer las métricas es la parte fácil. Lo más complicado es elegir aquellas que se ajusten a tu meta y, a continuación, ignorar deliberadamente el resto. Este es el enfoque en el que debes confiar.

Vincula cada métrica a una meta empresarial.

Define primero la meta y, a continuación, elige la métrica que la mida. Si la meta es reducir los costes de soporte, realiza el seguimiento del coste por resolución. Si la meta es aumentar los ingresos, realiza el seguimiento de los ingresos por interacción con la IA. Si la meta es acelerar la toma de decisiones, realiza el seguimiento de la velocidad de decisión. Si una métrica no se relaciona con una meta como estas, descártala.

Y si utilizas OKR junto con los KPI, ten claras sus funciones: el objetivo marca la dirección y el KPI mide el progreso en relación con él. Un error habitual es el seguimiento de lo que la herramienta exporta de forma predeterminada, por defecto, en lugar de los números que requiere la meta. Una métrica que es fácil de obtener pero que no responde a ninguna pregunta real sigue siendo un lastre.

Aplica el método SMART y limita el recuento

Haz que cada KPI sea específico, medible, alcanzable, relevante y con un plazo determinado (SMART). A continuación, limita el número de forma deliberada. Por lo general, mantén entre tres y cinco por meta, y no más de siete a diez por equipo. Más allá de ese número, las reuniones de revisión se alargan sin que las decisiones ganen en precisión, ya que la atención se dispersa demasiado como para actuar sobre cada cifra individual. He aquí una comprobación sencilla: si no puedes identificar la métrica que cambiaría una decisión esta semana, tu lista se ha alargado demasiado.

Equilibra los indicadores adelantados y atrasados

Relaciona cada resultado rezagado con un indicador adelantado. El coste por resolución se relaciona con el grado de adopción. El aumento de los ingresos se relaciona con el nivel de competencia. La tasa de defectos se relaciona con el tiempo de respuesta en la revisión del código.

La métrica rezagada confirma lo que ha ocurrido; la adelantada te da una advertencia con la antelación suficiente para que puedas actuar.

Asigna propiedad y una periodicidad

Cada indicador clave de rendimiento (KPI) debe tener un propietario designado y una periodicidad de revisión. Revisa las métricas operativas semanalmente y las de mayor envergadura, mensualmente o trimestralmente. Asigna cada métrica a la persona que pueda influir en su evolución, no a quien redacte el informe. Si el propietario no tiene ninguna influencia real para cambiarla, nadie se hace cargo de ella. El número simplemente va a la deriva hasta que se detecte en la siguiente revisión.

Herramientas y recursos para medir las métricas de rendimiento de la IA

No necesitas un enorme conjunto de herramientas de medición desde el primer día. Lo que necesitas es la herramienta adecuada para la métrica que quieres demostrar.

Estos son los recursos que conviene conocer.

Si necesitas medir…Utiliza este tipo de recursoBuenas opciones
Calidad de RAG y de los asistentes de conocimientoMarco de evaluación RAGRagas, Microsoft Azure IA Foundry
Comportamiento de los agentes y uso de las herramientasObservabilidad y rastreo de los modelos de lenguaje grande (LLM)LangSmith, Arize Phoenix
Seguridad y fallos adversariosHerramienta de «red teaming»Promptfoo
Desviación y calidad de producciónSistema de monitorización de la IAEvidently IA
KPI empresariales y de adopciónHerramienta de gestión del trabajo o de seguimiento de BIClickUp, Looker Studio, Tableau, Power BI
Gobernanza y riesgoMarco de riesgos de la IAMarco de gestión de riesgos de la IA del NIST
Modos de fallo en el mundo realBase de datos de incidenciasBase de datos de incidencias de IA
Conocimientos sobre análisis comparativoReferencia de evaluación públicaStanford HELM

La tabla te indica qué herramienta se adapta a cada tarea. Lo que no te dice es qué te aporta cada una de ellas, ni de qué fallos te libra.

  • Los marcos RAG responden a la pregunta que determina el éxito o el fracaso de esos sistemas: ¿la respuesta se ha mantenido fiel al contexto recuperado o se ha desviado de él? Esa es la diferencia entre un bot de ayuda en el que puedes confiar y uno que se inventa una política de devoluciones.
  • Las herramientas de observabilidad te muestran el rastro que deja un agente: qué modelo se ejecutó, a qué herramienta recurrió y dónde se atascó. Con ellas, puedes ver si fue el plan, la elección de la herramienta o un argumento erróneo lo que provocó el fallo en la ejecución.
  • Las herramientas de «red teaming» atacan tu sistema de forma deliberada antes de que lo haga un usuario real. Ejecuta una prueba de este tipo antes del lanzamiento en cualquier sistema expuesto al público o conectado a los sistemas de la empresa, donde un solo fallo de seguridad puede salir muy caro en poco tiempo.
  • Los sistemas de monitorización detectan el deterioro gradual que pasa desapercibido en todas las pruebas previas al lanzamiento: las desviaciones y las caídas de calidad que solo salen a la luz cuando llega el tráfico real.
  • Los marcos de gestión de riesgos proporcionan a los equipos un lenguaje común para debatir sobre los riesgos. En combinación con una base de datos de incidencias, esos argumentos se basan en fallos reales.
  • Los benchmarks públicos son el antídoto contra el «teatro de los benchmarks», ese reflejo de considerar una puntuación o una demostración llamativa de un proveedor como prueba de que un sistema está listo para su uso en producción.
  • Los sistemas de BI y de seguimiento del trabajo recogen los KPI empresariales: adopción, coste, duración del ciclo y retorno de la inversión. En este caso, la herramienta importa menos que el hecho de que cada métrica esté vinculada a una meta real y a una persona responsable de dar el siguiente paso.

Cómo realizar el seguimiento de las métricas de rendimiento de la IA en ClickUp

Una vez que hayas elegido tus KPI de IA, estos deben integrarse en un entorno que esté conectado al trabajo para que el cuadro de mando se actualice automáticamente.

Así es como nuestros propios equipos mantienen actualizadas las métricas de IA en ClickUp:

Empieza con una herramienta de seguimiento de KPI ya preparada

La plantilla de KPI de ClickUp te ofrece una estructura inicial sólida. Incluye estados como «En el buen camino», «En riesgo» y «Fuera de curso», además de campos personalizados para el valor objetivo, el valor real, el progreso, la diferencia y la desviación.

Utiliza la plantilla de KPI de ClickUp para supervisar las métricas de rendimiento de la IA.

Añade entre tres y cinco indicadores clave de rendimiento (KPI) de IA que impulsen una decisión, establece un objetivo para cada uno y asigna un propietario. Esto podría referirse a la aceptación en la primera revisión, las horas ahorradas verificadas, el coste por intento correcto o la tasa de escalación. Las vistas «Progreso» y «Resumen» ofrecen entonces a los revisores una visión rápida de qué objetivos se están cumpliendo y cuáles requieren un análisis más detallado.

Ten en cuenta que: el sistema de seguimiento registra la puntuación, pero no recopila datos por sí mismo. Vincula cada KPI a las tareas en las que se realiza el trabajo y utiliza campos personalizados, formularios, automatizaciones, integraciones o actualizaciones de los agentes para introducir los valores reales.

Supervisa los ámbitos activos con paneles en tiempo real

Una vez que esos valores se aplican a tareas activas, los paneles de ClickUp pueden agregarlos a una lista, un equipo, un flujo de trabajo o un periodo de tiempo. Las tarjetas de cálculo suman el tiempo ahorrado verificado, las puntuaciones medias de calidad o el coste por resolución. Los gráficos de barras, líneas y circulares desglosan esas mismas cifras por modelo, caso de uso, equipo o tipo de fallo.

Obtén una vista general de las métricas de rendimiento de la IA con los paneles de control de ClickUp.
Obtén una vista general de las métricas de rendimiento de la IA con los paneles de ClickUp.

Deja que el «cerebro» de tu empresa elabore el informe y señale las deficiencias.

La elaboración de informes es donde se esconde gran parte del esfuerzo manual. También es la parte que merece la pena automatizar solo una vez que tus campos y definiciones sean fiables. Dado que ClickUp Brain puede trabajar con las tareas, los campos personalizados, los documentos y las conversaciones de tu entorno de trabajo, puedes plantearle preguntas como:

  • ¿Qué iniciativas de IA no han alcanzado los objetivos este trimestre?
  • ¿Qué flujo de trabajo tuvo la tasa de rechazo más alta?
  • ¿Mejoró la tasa de aceptación en la primera revisión tras el cambio de indicaciones de junio?
  • ¿En qué aspectos aumentó el tiempo de revisión a pesar de una mayor adopción de la IA?

La respuesta se basa en tu contexto de trabajo actual en cuestión de segundos. Continúa en el mismo hilo para afinar el análisis, comparar periodos o pedirle a Brain que convierta los resultados en paneles interactivos o presentaciones de diapositivas.

¿Quieres profundizar en ClickUp Brain? Aquí tienes una breve guía.

Cómo mide Seismic el valor de la IA en ClickUp

Cuando Seismic llevó la IA más allá de la fase piloto, creó 30 agentes de IA en 30 días en ocho departamentos. Pero el equipo nunca consideró que el número de agentes fuera el objetivo principal. Lo que importaba era lo que esos agentes cambiaban en las fases posteriores del proceso.

Tres usuarios avanzados recuperaron 20 horas de trabajo manual en un solo mes. Las consultas sobre la elaboración de informes que antes requerían exportaciones, tablas dinámicas y medio día de análisis empezaron a resolverse en segundos gracias a ClickUp Brain. Esas son las señales de los resultados: las horas de trabajo se destinaron a tareas de mayor valor, y la velocidad de toma de decisiones se redujo de medio día a unos instantes.

Los datos de adopción confirmaron que el cambio se estaba consolidando, y no se trataba solo de un repunte puntual. El uso aumentó un 75 % en tres meses, y un miembro del equipo de éxito del cliente pasó de registrar actividad 10 días al mes a 23. Teniendo en cuenta las horas ahorradas y la mayor rapidez en la elaboración de informes, esta frecuencia demostró que la herramienta se había ganado un lugar diario en el flujo de trabajo, en lugar de desaparecer tras la semana de lanzamiento.

Y, como comenta Mariah Wilcox, jefa de gabinete del director de operaciones y del director de marketing de Seismic:

Me estaba preparando para una reunión y le pregunté a ClickUp Brain quiénes eran mis usuarios más activos y en qué equipos había aumentado el uso. En cuestión de segundos, me indicó que nuestro equipo de marketing de crecimiento había aumentado la participación en un 140 % entre febrero y mayo. Esa es una estadística que, de otro modo, quizá nunca hubiéramos descubierto.

Me estaba preparando para una reunión y le pregunté a ClickUp Brain quiénes eran mis usuarios más activos y en qué equipos había aumentado el uso. En cuestión de segundos, me indicó que nuestro equipo de marketing de crecimiento había aumentado la participación en un 140 % entre febrero y mayo. Esa es una estadística que, de otro modo, quizá nunca hubiéramos descubierto.

Limitación real: ClickUp vincula bien la actividad del equipo con las metas. Pero no es un almacén de datos a gran escala como Snowflake, ni una herramienta especializada en la supervisión a nivel de modelos. Funciona mejor cuando tus datos y tu trabajo se encuentran en un mismo lugar, que es precisamente donde residen los KPI operativos de la IA. Para una telemetría profunda de los modelos, combínalo con una herramienta específica.

Mide lo que la IA ha cambiado realmente

Lo difícil de la IA nunca ha sido conseguir que haga algo. Lo difícil es saber si ese «algo» merecía la pena. La mayoría de los equipos pueden decirte cuánto se utilizan sus herramientas o cuántos borradores se han generado, pero casi ninguno de ellos responde a la única pregunta que importa:

¿Ha mejorado el trabajo, se ha abaratado o se ha agilizado de tal forma que cualquiera de las fases posteriores pueda notarlo?

Cuando decides qué es el valor antes de desarrollar la IA, acabas midiendo lo que la IA cambia, en lugar de lo que simplemente hace. Elige unas cuantas métricas que se correlacionen con una meta real. A continuación, asigna a cada una una contramétrica, de modo que una mejora en la velocidad no pueda ocultar una pérdida de calidad. Por último, asigna a cada cifra un valor de referencia, un objetivo, un plazo y un propietario que pueda influir en ella. Mantén ese cuadro de mando junto al trabajo que mide, y te dirá la verdad por sí solo.

Y si quieres hacer un seguimiento de todo esto a medida que aumenta el uso de la IA, necesitas una herramienta que crezca contigo. Regístrate en ClickUp para crear un panel de control de KPI de IA que mantenga cada métrica junto al trabajo que mide.

Preguntas frecuentes sobre las métricas de rendimiento de la IA

¿Cuáles son las métricas de IA más importantes para el seguimiento?

Empieza por elegir una de cada una de las cuatro capas: precisión o aceptación en la primera revisión (calidad del resultado), latencia (rendimiento del sistema), retención de usuarios activos (adopción) y coste por resolución o retorno de la inversión (impacto empresarial). La combinación adecuada depende de la función de la IA. Un bot de soporte necesita métricas de contención, resolución confirmada y tasa de contactos repetidos. Un asistente de código necesita el plazo de entrega de los cambios, la tasa de reelaboración y el tiempo de revisión. Limita el total a entre tres y cinco por meta y empareja cada una con una contramétrica, para que una mejora en una dimensión no oculte silenciosamente una pérdida en otra.

¿Cuál es la diferencia entre una métrica de rendimiento de la IA y un punto de referencia de la IA?

Una prueba comparativa evalúa un modelo en un conjunto de datos público fijo y para una tarea concreta; una métrica de rendimiento mide cómo se comporta tu sistema en tu propio trabajo en producción. Un modelo puede encabezar una clasificación y, aun así, fallar en cuanto a latencia, coste o seguridad una vez que los usuarios reales lo utilicen. Considera las pruebas comparativas, como la clasificación de alucinaciones de Vectara o el MMLU, como una herramienta de preselección y, a continuación, mide las métricas que se ajusten a tu meta.

¿Cuál es una buena tasa de alucinaciones para un sistema de IA?

No existe una tasa de «alucinaciones» aceptada en todo el sector para un sistema de IA. Un objetivo útil depende de la tarea, del coste de un error y de si el sistema puede admitir la incertidumbre. Para usos empresariales realistas, una tasa inferior al 5 % en un conjunto de pruebas de producción representativo es un punto de partida razonable. Sin embargo, los sistemas de alto riesgo deberían aspirar a una tasa mucho más cercana a cero y derivar las respuestas inciertas a un ser humano. Considera ese 5 % como un objetivo operativo, no como una norma publicada.

La lección más importante es que la tasa de alucinaciones no puede analizarse de forma aislada. Un estudio publicado en Nature reveló que los criterios de referencia habituales de precisión premian a los modelos por adivinar en lugar de admitir que no saben algo. Mide las alucinaciones junto con la tasa de abstención, la gravedad de los errores, la compatibilidad de las citas y la frecuencia con la que las afirmaciones sin fundamento llegan a los usuarios.

¿Con qué frecuencia se deben revisar las métricas de rendimiento de la IA?

Revisa semanalmente las métricas operativas, como la latencia, la tasa de error y la contención; revisa mensualmente o trimestralmente las métricas empresariales, como el coste por resolución y el retorno de la inversión. Adapta la periodicidad a la rapidez con la que pueden variar las cifras y a quién se encarga de actuar en consecuencia. Asigna a cada métrica un propietario designado que controle una palanca real.

¿Qué herramientas utilizas para hacer el seguimiento de las métricas de rendimiento de la IA?

La mayoría de los equipos combinan dos niveles. Las plataformas de trabajo como ClickUp realizan un seguimiento de los KPI operativos y empresariales junto a las tareas que los generan, utilizando paneles, campos personalizados y flujos de trabajo automatizados para agregar valores como la aceptación en la primera revisión o el coste por tarea completada con éxito. Las herramientas de observabilidad especializadas, como Arize, Langfuse y WhyLabs, gestionan la telemetría a nivel de modelo, como la deriva y las alucinaciones, mientras que un almacén de datos como Snowflake almacena los eventos sin procesar para un análisis más profundo.

¿Se puede medir el impacto de la IA sin un grupo de control?

Sí, aunque de forma menos precisa. Un grupo de control aísla lo que ha provocado la IA de lo que habría ocurrido de todos modos, por lo que es la opción más sólida. A falta de uno, utiliza una implantación por fases o una línea de referencia equivalente, y ajusta los resultados en función de las variaciones de precio, las promociones, la demanda y la estacionalidad. Un simple análisis «antes y después» te indica qué ha cambiado, pero no qué lo ha provocado, y así es como la demanda estacional o la solución de un proceso paralelo se atribuyen erróneamente a la IA.

¿Cómo se mide el retorno de la inversión (ROI) de la IA?

El retorno de la inversión (ROI) de la IA es el valor obtenido de un sistema de IA en comparación con el coste total de su desarrollo, funcionamiento y mantenimiento. Establezca una referencia para el proceso antes de la implementación y, a continuación, mida la variación en una métrica empresarial concreta, como el coste por resolución o los ingresos por interacción, en relación con el coste total de propiedad.