Audit qualité des chats

L'audit qualité analyse les échanges d'un pipeline de chat pour répondre à une question : l'utilisateur a-t-il obtenu satisfaction ? Quand la même cause d'insatisfaction revient, l'audit le note dans son rapport et propose une correction de l'agent : consignes mal définies, connaissances manquantes, documents mal lus, ou modèle trop faible pour la tâche.

L'audit se gère dans Manager › Outils › Audit qualité. Il ne modifie jamais le pipeline : il l'observe.

Créer un audit

1. Cliquez sur Nouvel audit et choisissez le pipeline de chat à auditer. Un pipeline ne peut avoir qu'un seul audit actif à la fois.
2. Choisissez le modèle du juge, l'IA qui analyse les échanges. Prenez un modèle au moins aussi capable que celui de l'agent audité : un juge plus faible que l'agent rate ses erreurs. Sans choix, l'IA par défaut de l'organisation est utilisée.
3. Réglez au besoin :
   • Pré-filtre : un modèle de décision facultatif qui écarte à moindre coût les échanges manifestement réussis avant d'appeler le juge.
   • Échantillon : la part des conversations auditées (100 % par défaut). Une conversation échantillonnée est auditée en entier, pour que chaque réponse soit jugée à la lumière de la réaction qui la suit.
   • Inactivité : le délai après lequel un échange resté sans réponse de l'utilisateur est jugé quand même (30 minutes par défaut).
   • Seuil de récurrence : le nombre d'occurrences à partir duquel un problème est considéré comme récurrent et reçoit une correction proposée (3 par défaut).
   • Ce que « satisfait » veut dire pour cet assistant, par exemple « l'utilisateur doit repartir avec un numéro de dossier ». Le juge en tient compte.

Un audit peut être mis en pause, repris, archivé ou supprimé depuis son onglet Paramètres. Le supprimer efface son historique, mais pas les corrections déjà appliquées aux agents.

Comment un échange est jugé

La satisfaction se lit surtout dans la réaction de l'utilisateur. Un échange n'est donc pas jugé tout de suite :

• quand l'utilisateur écrit le message suivant, l'échange précédent est jugé avec cette réaction. Une reformulation de la même demande ou un « non, ce n'est pas ça » signalent une insatisfaction ; un remerciement ou une nouvelle question, une satisfaction ;
• si l'utilisateur ne répond pas, l'échange est jugé après le délai d'inactivité, sur la seule qualité de la réponse. S'il revient plus tard, l'échange est rejugé ;
• un 👍 vaut satisfaction sans appel au juge. Un 👎 force l'insatisfaction, et son commentaire éventuel aide le juge à en trouver la cause ;
• un tour qui échoue (erreur du pipeline) compte comme une insatisfaction technique, sans appel au juge.

Les essais faits depuis le Designer ne sont jamais audités.

Ce que voit l'utilisateur

Quand un audit est actif, la fenêtre de chat de /app affiche une mention discrète (« Les échanges avec cet assistant sont analysés de façon anonyme pour améliorer sa qualité ») et propose 👍 / 👎 sous chaque réponse, avec un commentaire facultatif sur 👎. Cliquer de nouveau sur le même pouce retire le retour.

Lire le rapport

L'onglet Rapport porte sur 7, 30 ou 90 jours :

• Satisfaction : la part d'échanges satisfaits parmi les échanges jugés, avec le nombre d'échanges audités, les 👍/👎 reçus et le coût du juge.
• Satisfaction par semaine : la courbe du taux, avec un losange à chaque correction appliquée, pour voir si le taux est remonté ensuite.
• Causes d'insatisfaction et Par agent : la répartition des insatisfactions par catégorie, et le taux de chaque agent qui a répondu (avec son modèle).
• Problèmes récurrents : les causes qui reviennent, regroupées par le juge. Chacun montre ses motifs observés et la correction proposée. Les signaux isolés et les problèmes écartés sont repliés en bas.

:::info Confidentialité Un chat reste privé : le rapport ne montre aucune citation des conversations ni le nom des utilisateurs. Les motifs sont reformulés par le juge (« l'assistant ne connaît pas la procédure de résiliation »), et un filtre écarte automatiquement tout motif qui reprendrait un passage de la conversation ou contiendrait un email ou un numéro de téléphone. :::

Appliquer une correction

Selon la cause, la correction proposée est :

Correction	Effet de « Appliquer »
Modifier les consignes	Réécrit le rôle, l'objectif ou les contraintes de l'agent. Le texte proposé est modifiable avant application.
Changer de modèle	Remplace le modèle IA de l'agent par un modèle actif de l'organisation.
Compléter les connaissances	Conseil seul (par exemple, le document à ajouter à une base de connaissances).
Revoir l'extraction	Conseil seul (OCR, découpage, pièces jointes).

Points à connaître :

• Seul l'agent est modifié, jamais le pipeline. Si l'agent sert dans plusieurs pipelines, la fenêtre d'application le signale : la correction s'appliquera partout.
• Si le pipeline impose son propre modèle à l'agent, changer le modèle de l'agent n'aurait aucun effet : la suggestion devient un conseil, à appliquer dans le Designer.
• Annuler la correction restaure la valeur précédente, tant que l'agent n'a pas été modifié entre-temps.
• Un problème corrigé qui réapparaît est rouvert et marqué Réapparu.
• Écarter classe un problème non pertinent ; Marquer résolu le clôt sans correction automatique ; Régénérer demande une nouvelle proposition.

Droits

Action	Permission
Lire les rapports	audit.read
Créer, paramétrer, trier les problèmes	audit.write
Appliquer ou annuler une correction	audit.write et agent.write

Le profil générique Audit qualité donne la lecture et l'écriture de l'audit, sans le droit de modifier les agents. Le profil Création pipeline donne tout.

Coût et conservation

Chaque échange jugé coûte un appel au modèle du juge, compté dans les Finances avec les tours de chat. Il n'est pas imputé au quota de l'utilisateur. Le pré-filtre et l'échantillonnage réduisent ce coût.

Les verdicts sont supprimés avec leur conversation, selon la durée de conservation de l'organisation. La tendance hebdomadaire reste disponible au-delà : seuls des comptes quotidiens sont conservés.