Calibrer la précision de votre agent vocal IA : le réglage qui empêche votre agent d'inventer des réponses

Un agent vocal IA qui puise dans votre base de connaissances peut donner de mauvaises réponses de deux façons opposées : soit il dit 'je ne sais pas' trop souvent alors que l'information est dans vos documents, soit il répond avec assurance à partir de documents qui ne correspondent pas vraiment à la question — et invente. Le paramètre rag_max_distance dans Konten contrôle exactement ce seuil.

Le problème des hallucinations en agent vocal IA

Les hallucinations dans les systèmes d'IA — le fait pour un modèle de langage de produire des informations fausses mais présentées comme vraies — sont un sujet bien documenté. Selon une étude de l'Université Stanford sur la fiabilité des LLMs (2024), les grands modèles de langage hallucinent dans 3 à 27% des réponses factuelles selon le domaine, même les plus récents.

Pour un agent vocal IA de PME, une hallucination peut avoir des conséquences concrètes : donner un tarif erroné à un prospect, indiquer un délai d'intervention faux à un client, confirmer une disponibilité qui n'existe pas. Ces erreurs ne sont pas théoriques — elles se produisent dès que l'agent répond à une question qui déborde de ce que vous lui avez explicitement fourni.

La solution technologique à ce problème s'appelle le RAG — Retrieval-Augmented Generation. Plutôt que de laisser le modèle répondre de mémoire, le RAG lui fournit des extraits de vos propres documents au moment où il formule sa réponse. L'agent ne répond plus de mémoire — il répond en s'appuyant sur vos textes.

Comment le RAG fonctionne dans Konten

Quand un appelant pose une question, Konten calcule la similarité sémantique entre cette question et chacun des documents de votre base de connaissances. Cette similarité est mesurée par une distance cosinus dans un espace vectoriel : une distance de 0 signifie que les deux textes sont identiques, une distance de 2 signifie qu'ils sont sémantiquement opposés.

Si la distance entre la question et le document le plus proche est inférieure au seuil rag_max_distance, le document est considéré comme pertinent et transmis au modèle pour formuler la réponse. Si tous les documents ont une distance supérieure au seuil, l'agent considère qu'il n'a pas d'information pertinente et répond qu'il ne sait pas — ou redirige vers un autre canal selon ses instructions.

La valeur par défaut de rag_max_distance dans Konten est 0,25. Cette valeur correspond à un niveau de similarité élevé — seuls les documents très proches sémantiquement de la question sont utilisés. C'est un réglage conservateur, conçu pour minimiser les fausses correspondances.

Comprendre l'échelle de distance cosinus

L'échelle de distance cosinus pgvector utilisée dans Konten va de 0 à 2. Voici comment l'interpréter de façon pratique :

• 0,0 à 0,15 : correspondance quasi-parfaite. La question et le document traitent exactement du même sujet avec les mêmes termes. Exemple : question 'Quel est votre tarif horaire ?' vs document 'Notre tarif horaire est de 85€ HT.'
• 0,15 à 0,30 : correspondance forte. Le document traite du même sujet avec des formulations légèrement différentes. Exemple : question 'Combien coûte une intervention ?' vs document 'Nos interventions sont facturées 85€ de l'heure.'
• 0,30 à 0,50 : correspondance modérée. Le document est thématiquement lié mais ne répond pas directement à la question. Exemple : question 'Faites-vous des devis gratuits ?' vs document 'Nos tarifs sont disponibles sur demande.'
• 0,50 à 1,00 : correspondance faible. Le document est dans le même domaine général mais n'apporte pas d'information directement utilisable.
• Au-delà de 1,00 : pas de correspondance significative.

Avec rag_max_distance = 0,25 (valeur par défaut), seules les correspondances de la première et deuxième catégorie sont utilisées. C'est le bon équilibre pour la plupart des bases de connaissances bien rédigées.

Quand augmenter rag_max_distance

Vous devriez envisager d'augmenter rag_max_distance si vous observez que votre agent dit trop souvent 'je n'ai pas cette information' alors que vos documents couvrent le sujet. Ce symptôme apparaît généralement dans deux situations.

Situation 1 : Vocabulaire décalé entre documents et questions

Si vos documents utilisent un vocabulaire technique ou professionnel, et que vos clients posent des questions avec des termes courants, la distance sémantique peut être artificiellement élevée malgré une correspondance réelle. Exemple : votre document parle de 'chaudière à condensation à circuit fermé' et votre client demande 'ma chaudière fonctionne mal'.

Dans ce cas, augmenter rag_max_distance de 0,25 à 0,35 ou 0,40 permet d'inclure ces correspondances thématiques plus larges. Testez l'effet en posant des questions avec le vocabulaire de vos clients et vérifiez que l'agent y répond correctement.

Situation 2 : Base de connaissances riche mais peu redondante

Une base de connaissances bien construite couvre chaque sujet une fois, sans répétition. Mais une question peut correspondre à plusieurs sujets distincts qui, pris séparément, ne sont pas très proches sémantiquement du libellé exact de la question. Dans ce cas, augmenter le seuil permet de capturer un ensemble plus large de documents potentiellement pertinents.

Le RAG ne résout pas le problème des hallucinations — il le déplace. La vraie question n'est pas 'mon agent hallucine-t-il ?' mais 'mon agent sait-il quand s'appuyer sur ses documents et quand admettre qu'il ne sait pas ?' Ce calibrage est ce qui distingue un agent fiable d'un agent dangereux.

Quand réduire rag_max_distance

À l'inverse, si votre agent répond à des questions en utilisant des documents qui ne correspondent pas vraiment à la demande — et produit des réponses incorrectes ou hors sujet — c'est le signe que rag_max_distance est trop élevé.

Ce problème est plus difficile à détecter car l'agent ne signale pas qu'il utilise un document approximatif — il l'utilise avec la même assurance qu'un document parfaitement pertinent. C'est là que la lecture des transcriptions d'appels devient essentielle : si vous voyez votre agent donner une réponse surprenante sur un sujet couvert dans vos documents, vérifiez quelle partie du document a été utilisée.

Réduire rag_max_distance en dessous de la valeur par défaut (ex : 0,15 ou 0,20) est rarement utile en pratique, sauf si votre base de connaissances est très structurée et que chaque document répond à une question unique et précise. Des seuils trop bas rendent l'agent incapable de répondre à des formulations légèrement différentes de ce qui est dans les documents.

La méthode pour calibrer rag_max_distance

Il n'existe pas de valeur universellement optimale — le bon seuil dépend de vos documents et du vocabulaire de vos clients. Voici la méthode recommandée pour trouver le bon réglage.

Étape 1 : Constituez un jeu de 20 à 30 questions représentatives de ce que vos clients demandent réellement. Incluez des questions auxquelles votre base de connaissances peut répondre, et des questions hors-sujet auxquelles l'agent devrait dire qu'il ne sait pas.

Étape 2 : Testez votre agent avec la valeur par défaut (0,25) et notez pour chaque question si la réponse est correcte, partiellement correcte, ou incorrecte. Notez aussi les questions pour lesquelles l'agent dit 'je ne sais pas' alors que la réponse est dans vos documents.

Étape 3 : Si vous avez plus de 'je ne sais pas' injustifiés que de réponses incorrectes, augmentez progressivement le seuil (+0,05 par itération). Si vous avez plus de réponses incorrectes, réduisez le seuil. Répétez jusqu'à trouver le meilleur équilibre.

Étape 4 : Confirmez le réglage sur des appels réels pendant 1 à 2 semaines. Les transcriptions Konten vous permettent de vérifier les réponses de l'agent et d'identifier les cas problématiques.

La qualité de la base de connaissances prime sur le réglage

Le calibrage de rag_max_distance est secondaire par rapport à la qualité des documents que vous injectez dans votre base de connaissances. Un document mal rédigé, incomplet ou ambigu restera mal utilisé, quel que soit le seuil. La règle d'or est de rédiger vos documents comme si vous répondiez directement aux questions que vous attendez.

Format recommandé pour maximiser la précision du RAG :

• Un document = un sujet. Ne mélangez pas les tarifs, les horaires et les conditions de garantie dans un seul fichier.
• Rédigez en langage courant, pas en jargon interne. Si vos clients disent 'réparation', n'écrivez pas uniquement 'maintenance corrective'.
• Incluez les synonymes et formulations alternatives dans le document : 'tarif, prix, coût, devis' — le RAG cherche une correspondance sémantique et bénéficie de la richesse lexicale.
• Soyez factuel et précis. 'Notre délai d'intervention est de 48h en semaine' est plus utile que 'Nous intervenons rapidement'.
• Mettez à jour vos documents dès que les informations changent. Un document périmé est pire qu'un document absent — il génère des réponses fausses avec confiance.

Le nombre de documents n'est pas un indicateur de qualité. Une base de 10 documents précis et bien rédigés performe mieux qu'une base de 100 documents vagues et redondants. Selon nos observations sur la plateforme Konten, les agents avec moins de 15 documents ciblés obtiennent de meilleures évaluations de la pertinence des réponses que ceux avec de larges bibliothèques mal structurées.

Ce que dit l'agent quand il ne trouve pas de réponse

Quand aucun document de votre base de connaissances ne correspond à la question au seuil rag_max_distance configuré, l'agent n'invente pas. Son comportement dans ce cas est défini par votre system prompt.

Sans instruction spécifique, l'agent indique qu'il ne dispose pas de l'information demandée et propose de l'aide sur ce qu'il peut faire. Avec des instructions dans le system prompt, vous pouvez personnaliser ce comportement :

• 'Si tu ne trouves pas la réponse dans ta base de connaissances, dis à l'appelant que tu vas transmettre sa question par email à l'équipe.'
• 'Si tu ne sais pas répondre à une question technique, propose à l'appelant de rappeler le lendemain matin entre 9h et 12h.'
• 'Pour toute question sur les prix que tu ne trouves pas dans tes documents, dis que les tarifs sont disponibles sur devis et propose de noter les coordonnées de l'appelant.'

Cette configuration du comportement de fallback est aussi importante que le calibrage du seuil lui-même. Un 'je ne sais pas' sans proposition de suite laisse l'appelant sans solution. Un 'je ne sais pas, mais voici ce que je peux faire pour vous' maintient la relation.

Le réglage dans Konten : où et comment

Le paramètre rag_max_distance se configure dans les paramètres avancés de votre agent dans le dashboard Konten. La valeur acceptée est un nombre décimal entre 0 et 2. La valeur nulle (null) fait revenir au défaut applicatif de 0,25.

La modification est prise en compte immédiatement pour les prochains appels. Pour tester l'effet d'un changement, faites un appel de test depuis le dashboard en posant des questions qui étaient auparavant mal traitées, et vérifiez que le comportement a changé dans le sens souhaité.

Un indicateur utile dans le dashboard : le nombre de documents indexés dans votre base de connaissances. Si ce nombre est faible (moins de 5 documents), il est probable que votre agent réponde souvent 'je ne sais pas' non par manque de calibrage mais par manque de contenu. Commencez toujours par enrichir vos documents avant de toucher au seuil.