On a scoré des milliers de réponses de Fin : 5 patterns qui font chuter la qualité

Tout le monde regarde le taux de résolution de Fin. Presque personne ne regarde la qualité de chaque réponse. On a fait l'inverse : scorer les réponses une par une, sur une grille constante. Voici ce qui ressort.

Chez ResponZ, on note chaque réponse — Fin comme humaine — sur 100, selon quatre axes : pertinence, exactitude, ton & politique, complétude. Pas un score absolu : un score relatif à ce que l'équipe support déclare attendre, avec des heuristiques universelles en fallback. En agrégeant ces scores sur les comptes analysés, cinq schémas d'échec reviennent sans cesse.

1. La réponse plausible… mais périmée

Le schéma n°1, et de loin. Fin cite la knowledge base avec aplomb — sauf que l'article a 14 mois et que le produit a changé depuis. Le client reçoit une réponse confiante et fausse, le pire des deux mondes. C'est invisible dans le taux de résolution (la conv se ferme) mais ça se paie en réouvertures à J+7.

Signal à traquer : les réponses dont le score d'exactitude chute juste après un changement produit. C'est exactement là que croiser les commits/PR récents avec les réponses Fin paie.

2. La réponse générique qui ignore la vraie question

Le client pose une question précise en trois parties ; Fin répond à côté avec un article proche mais pas exact. Score de pertinence en chute libre. Ce pattern explose sur les questions multi-intentions — celles qu'un humain aurait découpées.

3. Le bon contenu, le mauvais ton

Réponse factuellement correcte, mais servie sur un ton robotique à un client visiblement frustré, sans le moindre accusé de réception de l'irritation. Techniquement « résolu », relationnellement raté. C'est la pénalité qui sépare un support qui retient d'un support qui fait churner.

On croyait que Fin gérait bien la facturation. Le score disait l'inverse : correct sur le fond, glacial sur la forme, sur exactement les sujets les plus sensibles.

4. La promesse non tenable

« Un remboursement sera traité sous 48 h. » Sauf qu'aucune action concrète n'a été déclenchée et que la politique interne ne le permet pas. Fin engage l'entreprise sur une promesse qu'elle ne peut pas tenir — la pénalité d'exactitude la plus coûteuse en aval.

5. La boucle : la même réponse, encore et encore

Sur trois échanges successifs, Fin renvoie une variation de la même réponse pendant que le client reformule, de plus en plus agacé. Chaque répétition creuse le score. C'est le signal le plus fiable qu'il fallait escalader il y a deux messages.

Ce que ces patterns ont en commun

Aucun n'apparaît dans le taux de résolution. Tous apparaissent dans un score par réponse. La qualité de Fin n'est pas un chiffre moyen rassurant — c'est une distribution avec une longue traîne de réponses toxiques que personne ne lit.

Comment le mettre sous contrôle

1. Déclarez votre référence.Ton, règles, sujets sensibles : sans ça, on score à l'aveugle sur des heuristiques génériques.
2. Auditez la traîne, pas la moyenne. Les 5 % de réponses sous 30/100 font 80 % du dommage relationnel.
3. Croisez avec le produit. Un changement de code récent qui touche un sujet = suspicion de réponses périmées.

Le taux de résolution vous dit que Fin a fermé la conversation. Le score par réponse vous dit s'il l'a bien fermée. Les deux ne racontent pas la même histoire — et c'est la seconde qui décide si vos clients reviennent.