En bref
- Pendant quelques semaines, l'agent propose et votre équipe travaille comme d'habitude. L'agent n'envoie rien lui-même.
- On compare, dossier par dossier : taux d'accord, erreurs, temps gagné. Ces chiffres sont mesurés chez vous, pas tirés d'une moyenne.
- Vous décidez ensuite de la mise en service sur ces chiffres. Ils servent aussi de base au calcul de votre retour sur investissement.
Un agent IA est un programme qui lit vos courriels, vos factures ou vos demandes de devis, puis prépare une action : un brouillon, un classement, une relance. Avant de le laisser faire, il faut savoir s'il fait bien le travail chez vous, avec vos clients et vos exceptions.
Chez Kendu Intelligence, cette preuve a un nom : la recette en ombre. La « recette », c'est la vérification avant livraison. « En ombre », parce que l'agent travaille dans l'ombre de votre équipe, sans jamais agir à sa place.
Le principe : l'agent propose, l'humain fait, on compare
La recette en ombre, ou essai en parallèle, est l'étape 4 de notre méthode, entre la construction de l'agent et sa mise en service.
L'agent sera branché, via les interfaces officielles (API) de vos outils quand elles le permettent, sur votre messagerie, votre logiciel de facturation ou votre gestion des clients. Il recevra les mêmes demandes que votre équipe et déposera chaque proposition dans un écran de validation, en préparation. Il n'enverra rien à vos clients ni à vos fournisseurs. Il ne modifiera rien dans vos logiciels.
Votre équipe, elle, traite les dossiers comme avant. Ensuite, on compare ce que l'agent a proposé et ce que l'humain a réellement fait. C'est le palier 0 de nos quatre paliers d'autonomie : l'agent propose, il n'agit pas.
Un scénario type : une PME de 30 salariés veut confier ses relances de factures impayées. Pendant trois semaines, l'agent prépare chaque matin les relances qu'il enverrait, et la comptable relance comme d'habitude. Chaque semaine, on compare les deux listes. Mêmes clients ? Même ton ? L'agent a-t-il prévu de relancer un client en litige, qu'il fallait laisser de côté ?
Ce qu'on mesure : taux d'accord, types d'erreurs, temps gagné
Chaque proposition sera inscrite dans un journal : ce que l'agent a lu, ce qu'il a proposé, ce que l'humain a fait, et quand. Nous prévoyons d'en tirer trois mesures.
Le taux d'accord. C'est la part des propositions que votre équipe aurait validées. Chaque cas sera rangé dans l'une de trois cases : identique, à retoucher (une formule, une date), à refaire.
Les types d'erreurs. Un taux ne suffit pas. Une tournure maladroite dans un accusé de réception n'a pas le poids d'une relance adressée au mauvais client. Les écarts seront donc triés :
- erreur grave : mauvais destinataire, mauvais montant, engagement que l'agent n'avait pas à prendre ;
- erreur de forme : ton, formule, mise en page ;
- arrêt oublié : un cas où l'agent devait passer la main (litige, donnée sensible, doute sur l'expéditeur) et ne l'a pas fait ;
- arrêt de trop : l'agent a passé la main sans nécessité. C'est de la prudence : elle coûte du temps, pas de la confiance.
Une erreur grave qui se répète pèse plus lourd qu'un bon taux d'accord.
Le temps gagné. Nous relèverons le temps que votre équipe passe aujourd'hui sur la tâche. Puis nous mesurerons, sur un échantillon, le temps qu'il faut pour relire et valider une proposition de l'agent. La différence, multipliée par le nombre de dossiers, donne le temps gagné.
Chaque agent aura aussi ses indicateurs propres, écrits dans sa fiche, comme le délai de première réponse pour un agent « courriels et support ». Ceux qui se lisent sur plusieurs mois, comme le délai moyen de paiement, seront suivis pendant la supervision.
Pourquoi ne pas se fier à une moyenne ? Une étude publiée en 2025 dans le Quarterly Journal of Economics, une revue d'économie, a suivi 5 172 agents de support client équipés d'un assistant d'IA. Les demandes résolues par heure ont augmenté de 15 % en moyenne. Les salariés les moins expérimentés et les moins qualifiés ont progressé d'environ 30 %. Les plus expérimentés ont gagné un peu en vitesse et perdu un peu en qualité. Le gain dépend donc de qui fait le travail : seule une mesure chez vous dit ce que vous pouvez gagner.
La durée et le volume nécessaires pour conclure
La recette en ombre dure quelques semaines, une durée définie avec vous. Elle doit couvrir un cycle complet de la tâche : une fin de mois pour les pièces comptables, au moins une vague d'échéances pour les relances.
Le volume compte autant que la durée : un taux mesuré sur 20 dossiers dit peu de chose. Le tableau ci-dessous part d'un taux d'accord observé de 90 %. Il donne la fourchette où se situe le vrai taux, avec une confiance de 95 % : une fourchette calculée ainsi contient le vrai taux environ 95 fois sur 100. C'est un calcul statistique classique, appelé intervalle de confiance (méthode de Wilson).
| Dossiers comparés | Taux observé | Fourchette à 95 % |
|---|---|---|
| 20 | 90 % | 70 à 97 % |
| 50 | 90 % | 79 à 96 % |
| 100 | 90 % | 83 à 94 % |
| 200 | 90 % | 85 à 93 % |
| 400 | 90 % | 87 à 93 % |
À partir d'une centaine de dossiers, la fourchette devient assez étroite pour décider. Si le volume reste trop faible à la fin de la période prévue, nous vous le dirons plutôt que de conclure sur trop peu. Vous choisissez alors : prolonger l'ombre, ou décider en sachant que la fourchette reste large.
Les données : anonymisées pendant la construction, réelles pendant l'ombre
Pendant la construction, nous testons l'agent sur vos données anonymisées. Anonymiser, c'est rendre impossible en pratique, et de façon définitive, de retrouver la personne. La CNIL, l'autorité française de protection des données, le rappelle : une fois les données anonymisées, la législation sur la protection des données ne s'applique plus. Attention à ne pas confondre avec la pseudonymisation, qui remplace par exemple un nom par un code : selon la CNIL, ces données restent personnelles.
Pendant l'ombre, l'agent travaille sur vos données réelles : c'est le seul moyen de mesurer le vrai travail. Les garde-fous sont posés avant :
- un contrat : le RGPD (règlement européen sur la protection des données) prévoit que le traitement par un sous-traitant, c'est-à-dire le prestataire qui traite les données pour votre compte, est « régi par un contrat ou un autre acte juridique » (article 28) ;
- le strict nécessaire : le même texte demande de ne traiter que les données « nécessaires au regard de chaque finalité spécifique du traitement », c'est-à-dire de chaque but poursuivi (article 25). Les connecteurs, les liaisons avec vos logiciels, n'auront qu'un accès en lecture quand c'est possible ;
- le même lieu qu'en production : votre compte cloud (vos services informatiques en ligne), de préférence en région européenne, vos serveurs, ou un serveur dédié chez nous, hébergé en Europe. Le modèle d'IA peut être opéré hors de l'Union, sous les garanties du RGPD : nous vous disons avant, dans le devis, où il traite vos données ;
- une description écrite : les données personnelles traitées sont décrites dans la fiche de l'agent, que vous validez.
La mise en service : qui décide, et sur quels chiffres
C'est vous qui décidez, deux fois : vous validez la fiche de l'agent avant sa construction, puis vous donnez le feu vert de mise en service après l'ombre.
Ce feu vert repose sur les mesures de l'ombre. Les indicateurs à suivre figurent dans la fiche validée au départ. Mieux vaut y écrire aussi le niveau à atteindre : fixer la barre avant de voir les résultats évite de la déplacer après.
La mise en service est progressive. Au palier 1, l'agent prépare et votre équipe valide chaque action. Le palier 2, où il agit seul sur des cas sûrs définis par écrit, ne vient qu'au vu des mesures et avec votre accord écrit. Certaines actions ne dépassent jamais le palier 1 : un paiement, l'envoi d'un document qui vous engage, la suppression de données. Après une alerte grave, l'agent redescend d'un palier.
Les chiffres de l'ombre servent aussi à calculer votre retour sur investissement :
- gain mensuel = heures gagnées par mois × coût horaire des personnes concernées (salaire et cotisations patronales) ;
- coût mensuel = abonnement mensuel (sur devis) ;
- délai de retour = coût de la mise en place (sur devis) ÷ (gain mensuel − coût mensuel).
Si le gain mensuel ne dépasse pas le coût mensuel, il n'y a pas de retour sur investissement, et le calcul le montre. Nous ne publions pas de gain moyen : nous démarrons, et nous n'avons pas encore assez de mesures pour le faire honnêtement. Votre calcul se fait avec vos chiffres.
Et si les résultats ne suffisent pas ?
C'est à cela que sert l'ombre : trouver le problème avant qu'il touche un client.
- Corriger et rejouer. Un écart peut venir d'une règle absente ou d'un cas non prévu. On corrige, on publie une nouvelle version de l'agent et on reprend l'ombre sur de nouveaux dossiers.
- Réduire le périmètre. On garde les cas où l'agent est fiable, par exemple les accusés de réception, et votre équipe garde le reste.
- Rester au palier 1. L'agent prépare, l'humain valide tout. Le gain est plus faible : les mesures de l'ombre disent s'il couvre le coût mensuel.
- Arrêter. Si l'agent n'apporte pas assez, mieux vaut le savoir après quelques semaines qu'après six mois. Les conditions d'un arrêt à ce stade seront précisées dans votre devis.
Un agent utile sait quand passer la main. La recette en ombre, c'est le moment où vous vérifiez qu'il le fait au bon moment.