Guide
Pourquoi l’IA invente des numéros d’articles, et que faire
Les assistants IA citent des articles inexistants ou qui ne disent pas ce qu’ils affirment. Pourquoi, trois exemples réels, et le remède : le texte officiel.
Autres langues:EnglishDeutschEspañolPolski
Les assistants IA inventent des numéros d’articles parce qu’ils répondent sur le droit de mémoire : un modèle retient des schémas, pas le texte officiel, et produit donc une référence qui semble juste plutôt qu’une référence qu’il a lue. La solution consiste à faire rechercher la disposition dans la source officielle par l’assistant avant qu’il réponde, et à ne citer que ce qui a été renvoyé. Chaque numéro d’article devient alors quelque chose qui a été retrouvé, cité et lié, et non généré.
Pourquoi un modèle se trompe-t-il dans les références ?
Pour trois raisons, et aucune ne disparaît avec un modèle plus grand :
- La mémoire n’est pas le texte. Un modèle a appris le droit à partir de ce qui se trouvait en ligne au moment de son entraînement : commentaires, messages de forums, anciennes versions. Il reproduit la phrase la plus probable, et le numéro d’article le plus probable, pas celui qui est en vigueur.
- Le droit a des dates. Une disposition change ; son ancienne rédaction reste dans les données d’entraînement. Sans date, le modèle ne distingue pas 2025 de 2026.
- Des numéros qui se ressemblent. Les lois regorgent de seuils, de délais et de taux qui diffèrent d’un seul mot. Un modèle les mélange.
À quoi cela ressemble-t-il en pratique ?
Prenons une seule question : quel est le seuil de franchise de TVA des petites entreprises en Pologne ? La réponse est 240 000 zł, à l’art. 113 ust. 1 de la loi sur la TVA, depuis le 1er janvier 2026. Lors de tests d’assistants sourcés, cette même question posée sous de nombreuses formulations a donné trois réponses fausses, chacune parce que la recherche avait renvoyé la mauvaise disposition :
| Réponse fausse | D’où elle vient réellement |
|---|---|
| 200 000 zł | art. 145l, une règle transitoire de la facturation électronique KSeF avec son propre seuil de 200 000 zł (et le seuil de franchise avant 2026) |
| 2 000 000 | art. 2 pkt 25, le statut de « petit contribuable », calculé en euros, une tout autre notion |
| 200 000 000 | à nouveau l’art. 145l, lu comme s’il fixait la franchise |
Chacune est un chiffre réel tiré de la bonne loi, rattaché à la mauvaise question. La recherche avait renvoyé une disposition voisine avec un chiffre similaire, et la réponse l’avait citée fidèlement. C’est la leçon : une source seule n’empêche pas les références fausses si elle renvoie la mauvaise disposition, et c’est pourquoi la quatrième règle ci-dessous compte autant que les trois premières. C’est aussi ce qui rend les références fausses dangereuses : elles sont assez plausibles pour résister à une lecture rapide.
Comment l’empêcher ?
- Rechercher avant de répondre. Donnez à l’assistant un outil qui interroge le texte consolidé officiel, et faites-lui appeler cet outil pour chaque question juridique. Via MCP, un assistant comme Claude ou ChatGPT le fait de lui-même une fois l’outil connecté (comment).
- Ne citer que ce qui a été retrouvé. Chaque numéro d’article de la réponse doit provenir d’une disposition renvoyée, avec son lien. Pas de disposition, pas de référence.
- Poser la question avec une date. « Au 31 décembre 2025 » donne la rédaction alors en vigueur. Une source qui conserve chaque version de chaque disposition y répond correctement.
- Tester avec des questions réelles. Gardez un jeu de questions aux réponses vérifiées, en langage courant et en termes formels, et faites-le tourner à chaque changement de la source ou du prompt. Une correction qui rend une formulation juste ne doit pas en rendre une autre fausse.
Que fait VeriActa face à ce problème ?
VeriActa est construit autour de ces quatre règles. Chaque résultat cite la disposition d’après le texte consolidé officiel, avec sa référence au format du pays et un lien vers la source ; il renvoie la version à la date demandée ; et chaque modification de la recherche est d’abord testée sur des questions réelles, et n’est déployée que si toutes les réponses correctes restent correctes. Un exemple de conversation montre ce que cela donne dans un assistant.
Questions fréquentes
Un meilleur modèle cessera-t-il d’inventer des références ?
Il en inventera moins, mais il répondra toujours de mémoire, sans date et sans source. Seule la recherche donne à chaque référence quelque chose vers quoi pointer.
Puis-je vérifier une référence donnée par un assistant ?
Oui : ouvrez le texte officiel et lisez l’article. Avec un assistant ancré dans les sources, la réponse contient déjà le lien.
Cela ne concerne-t-il que les juristes ?
Non. Les comptables, les gestionnaires de paie et tous ceux qui comptent sur un assistant pour un seuil, un taux ou un délai rencontrent le même problème, souvent davantage, parce qu’ils posent des questions sur des chiffres.