En resumen
- Durante unas semanas, el agente propone y su equipo trabaja como de costumbre. El agente no envía nada por sí mismo.
- Comparamos, expediente por expediente: tasa de acuerdo, errores, tiempo ahorrado. Estas cifras se miden en su empresa, no salen de una media.
- Después usted decide la puesta en servicio con estas cifras. También sirven de base para calcular su retorno de la inversión.
Un agente de IA es un programa que lee sus correos, sus facturas o sus solicitudes de presupuesto y después prepara una acción: un borrador, una clasificación, un recordatorio. Antes de dejarle actuar, hay que saber si hace bien el trabajo en su empresa, con sus clientes y sus excepciones.
En Kendu Intelligence, esta prueba tiene nombre: la prueba en sombra. Las «pruebas de aceptación» son la comprobación previa a la entrega. «En sombra», porque el agente trabaja a la sombra de su equipo, sin actuar nunca en su lugar.
El principio: el agente propone, la persona hace, comparamos
La prueba en sombra, o ensayo en paralelo, es el paso 4 de nuestro método, entre la construcción del agente y su puesta en servicio.
El agente se conectará, a través de las interfaces oficiales (API) de sus herramientas cuando lo permitan, a su correo, a su software de facturación o a su gestión de clientes. Recibirá las mismas solicitudes que su equipo y dejará cada propuesta en una pantalla de validación, en preparación. No enviará nada a sus clientes ni a sus proveedores. No modificará nada en su software.
Su equipo, por su parte, tramita los expedientes como antes. Después, comparamos lo que ha propuesto el agente con lo que la persona ha hecho realmente. Es el nivel 0 de nuestros cuatro niveles de autonomía: el agente propone, no actúa.
Un caso tipo: una pyme de 30 empleados quiere delegar sus recordatorios de facturas impagadas. Durante tres semanas, el agente prepara cada mañana los recordatorios que enviaría, y la contable reclama como de costumbre. Cada semana, comparamos las dos listas. ¿Los mismos clientes? ¿El mismo tono? ¿Había previsto el agente reclamar a un cliente en litigio, al que había que dejar aparte?
Lo que medimos: tasa de acuerdo, tipos de errores, tiempo ahorrado
Cada propuesta quedará anotada en un registro: lo que el agente ha leído, lo que ha propuesto, lo que la persona ha hecho y cuándo. Prevemos extraer tres mediciones.
La tasa de acuerdo. Es la proporción de propuestas que su equipo habría validado. Cada caso se clasificará en una de tres casillas: idéntico, a retocar (una fórmula, una fecha) o a rehacer.
Los tipos de errores. Una tasa no basta. Una expresión torpe en un acuse de recibo no pesa lo mismo que un recordatorio enviado al cliente equivocado. Por eso se clasificarán las diferencias:
- error grave: destinatario equivocado, importe equivocado, un compromiso que el agente no debía asumir;
- error de forma: tono, fórmula, maquetación;
- parada olvidada: un caso en el que el agente debía ceder el control (litigio, dato sensible, duda sobre el remitente) y no lo hizo;
- parada innecesaria: el agente cedió el control sin necesidad. Es prudencia: cuesta tiempo, no confianza.
Un error grave que se repite pesa más que una buena tasa de acuerdo.
El tiempo ahorrado. Anotaremos el tiempo que su equipo dedica hoy a la tarea. Después mediremos, en una muestra, el tiempo necesario para revisar y validar una propuesta del agente. La diferencia, multiplicada por el número de expedientes, da el tiempo ahorrado.
Cada agente tendrá además sus propios indicadores, escritos en su ficha de funciones, como el plazo de primera respuesta para un agente de Correos y soporte. Los que solo se leen a lo largo de varios meses, como el plazo medio de pago, se seguirán durante la supervisión.
¿Por qué no fiarse de una media? Un estudio publicado en 2025 en el Quarterly Journal of Economics, una revista de economía, siguió a 5172 agentes de atención al cliente equipados con un asistente de IA. Las solicitudes resueltas por hora aumentaron un 15 % de media. Los empleados menos experimentados y menos cualificados mejoraron en torno a un 30 %. Los más experimentados ganaron algo de velocidad y perdieron algo de calidad. La mejora depende, por tanto, de quién hace el trabajo: solo una medición en su empresa le dice lo que puede ganar.
La duración y el volumen necesarios para concluir
La prueba en sombra dura unas semanas, una duración definida con usted. Debe cubrir un ciclo completo de la tarea: un cierre de mes para los documentos contables, al menos una oleada de vencimientos para los recordatorios.
El volumen cuenta tanto como la duración: una tasa medida sobre 20 expedientes dice poco. La tabla siguiente parte de una tasa de acuerdo observada del 90 %. Da el intervalo en el que se sitúa la tasa real, con una confianza del 95 %: un intervalo calculado así contiene la tasa real unas 95 veces de cada 100. Es un cálculo estadístico clásico, llamado intervalo de confianza (método de Wilson).
| Expedientes comparados | Tasa observada | Intervalo al 95 % |
|---|---|---|
| 20 | 90 % | 70 à 97 % |
| 50 | 90 % | 79 à 96 % |
| 100 | 90 % | 83 à 94 % |
| 200 | 90 % | 85 à 93 % |
| 400 | 90 % | 87 à 93 % |
A partir de un centenar de expedientes, el intervalo se vuelve lo bastante estrecho para decidir. Si el volumen sigue siendo demasiado bajo al final del periodo previsto, se lo diremos en lugar de concluir con muy pocos datos. Usted elige entonces: prolongar la sombra, o decidir sabiendo que el intervalo sigue siendo amplio.
Los datos: anonimizados durante la construcción, reales durante la sombra
Durante la construcción, probamos el agente con sus datos anonimizados. Anonimizar es hacer imposible en la práctica, y de forma definitiva, volver a identificar a la persona. La CNIL, la autoridad francesa de protección de datos, lo recuerda: una vez anonimizados los datos, la legislación sobre protección de datos deja de aplicarse. Cuidado con no confundirlo con la seudonimización, que sustituye, por ejemplo, un nombre por un código: según la CNIL, esos datos siguen siendo personales.
Durante la sombra, el agente trabaja con sus datos reales: es la única forma de medir el trabajo real. Las garantías se establecen antes:
- un contrato: el RGPD (el reglamento europeo de protección de datos) prevé que el tratamiento por un encargado del tratamiento, es decir, el proveedor que trata los datos por su cuenta, se «regirá por un contrato u otro acto jurídico» (artículo 28);
- lo estrictamente necesario: el mismo texto pide tratar únicamente los datos «necesarios para cada uno de los fines específicos del tratamiento», es decir, para cada objetivo perseguido (artículo 25). Los conectores, los enlaces con su software, tendrán solo acceso de lectura cuando sea posible;
- el mismo lugar que en producción: su cuenta en la nube (sus servicios informáticos en línea), preferiblemente en una región europea, sus servidores, o un servidor dedicado en nuestra casa, alojado en Europa. El modelo de IA puede operarse fuera de la Unión, con las garantías del RGPD: le decimos antes, en el presupuesto, dónde trata sus datos;
- una descripción por escrito: los datos personales tratados se describen en la ficha de funciones del agente, que usted valida.
La puesta en servicio: quién decide y con qué cifras
Usted decide, dos veces: valida la ficha de funciones del agente antes de su construcción y después da el visto bueno a la puesta en servicio tras la sombra.
Este visto bueno se basa en las mediciones de la sombra. Los indicadores que seguir figuran en la ficha validada al principio. Conviene escribir también en ella el nivel que se debe alcanzar: fijar el listón antes de ver los resultados evita moverlo después.
La puesta en servicio es progresiva. En el nivel 1, el agente prepara y su equipo valida cada acción. El nivel 2, en el que actúa solo en casos seguros definidos por escrito, solo llega a la vista de las mediciones y con su acuerdo por escrito. Algunas acciones nunca superan el nivel 1: un pago, el envío de un documento que le compromete, la supresión de datos. Tras una alerta grave, el agente baja un nivel.
Las cifras de la sombra sirven también para calcular su retorno de la inversión:
- ganancia mensual = horas ahorradas al mes × coste por hora de las personas afectadas (salario y cotizaciones a cargo de la empresa);
- coste mensual = suscripción mensual (según presupuesto);
- plazo de recuperación = coste de la puesta en marcha (según presupuesto) ÷ (ganancia mensual − coste mensual).
Si la ganancia mensual no supera el coste mensual, no hay retorno de la inversión, y el cálculo lo muestra. No publicamos una ganancia media: estamos empezando y todavía no tenemos suficientes mediciones para hacerlo con honestidad. Su cálculo se hace con sus cifras.
¿Y si los resultados no bastan?
Para eso sirve la sombra: encontrar el problema antes de que llegue a un cliente.
- Corregir y repetir. Una diferencia puede venir de una regla ausente o de un caso no previsto. Corregimos, publicamos una nueva versión del agente y retomamos la sombra con expedientes nuevos.
- Reducir el alcance. Nos quedamos con los casos en los que el agente es fiable, por ejemplo los acuses de recibo, y su equipo se queda con el resto.
- Quedarse en el nivel 1. El agente prepara, la persona lo valida todo. La ganancia es menor: las mediciones de la sombra dicen si cubre el coste mensual.
- Parar. Si el agente no aporta lo suficiente, más vale saberlo al cabo de unas semanas que de seis meses. Las condiciones de una parada en esta fase se precisarán en su presupuesto.
Un agente útil sabe cuándo ceder el control. La prueba en sombra es el momento en que usted comprueba que lo hace en el momento adecuado.