Pour les entreprises qui déploient l'IA en conformité, une date erronée est une échéance manquée. L'échec le plus dangereux est une mauvaise réponse que le modèle renvoie avec une grande confiance, une réponse qui s'introduit silencieusement dans un calendrier de conformité et qui n'est découverte qu'une fois la fenêtre refermée. Archer® publie aujourd’hui des résultats montrant que l’IA à usage spécifique bat un grand modèle de langage (LLM) à usage général sur du travail réglementaire, et il n'y a pas photo. Ce test point par point a comparé l'IA verticale à usage spécifique et les ensembles de données d'Archer à un LLM généraliste de premier plan, sur une tâche de conformité essentielle : déterminer les dates de publication, d'entrée en vigueur et de clôture des commentaires des documents réglementaires dans six juridictions.
Les modèles à usage général représentent une véritable percée, et il ne s'agit pas ici de remettre en cause leur qualité. La question à laquelle Archer a cherché à répondre est plus précise et plus pratique : ce qu'il faut pour rendre une détermination spécifique et à enjeux élevés fiable, rapide et abordable à grande échelle. Un processus vertical axé sur le domaine, fondé sur une base de connaissances vérifiée par des experts, l'emporte sur ces trois points.
Précision : 90% de réponses erronées en moins
Sur les 55 mêmes documents, le LLM à usage général a généré des réponses erronées 56% des fois. La confiance a empiré les choses, pas l'inverse. Parmi les réponses que le LLM a notées comme étant de grande confiance, 35% étaient toujours fausses. Avec Archer Evolv, plus de 95% des déterminations sont vérifiées directement, et le reste est dirigé vers un expert avant utilisation. Pas une seule date erronée n'a atteint la phase de production. Rien n'expédie sans vérification.
Résultat sur les documents échantillons |
LLM généraliste |
Archer Evolv |
Correct |
44% |
95% vérifiés, 5% contrôlés par un expert |
Erroné, renvoyé comme valide |
25% |
0% |
Échec ou expiration |
31% |
0% |
La confiance d'un modèle n'est pas un contrôle. Parmi les réponses que le LLM généraliste a notées comme étant de grande confiance, 35% étaient erronées. Cet écart de précision est la condition préalable au déploiement responsable de l'IA agentique, car la fiabilité d'un opérateur autonome dépend entièrement des déterminations sous-jacentes. Des réponses vérifiées, traçables à la source et gérées par des experts permettent de déployer en toute sécurité des agents d'IA dans toute une entreprise. C'est le cœur de la gouvernance de l'IA, et la couche qu'Archer est conçu pour fournir.
« En conformité, une réponse rapide et peu coûteuse, mais erronée, est sans valeur, et une réponse que vous ne pouvez pas tracer pose un problème », déclare Kayvan Alikhani, directeur des produits et de la technologie, Archer. « L’IA à usage spécifique d’Archer a permis de vérifier plus de 95% des déterminations en temps réel. C’est la base qui permet aux entreprises de déployer les agents d’IA sans perdre le contrôle des résultats. »
Rapidité : des réponses vérifiées en temps réel
Pour chaque requête, le processus à usage général était en moyenne d'environ quatre secondes par réponse avec une expiration de cinq secondes. Archer Evolv a servi une date vérifiée en environ cinq centièmes de seconde, environ 80 fois plus rapidement lors de recherches répétées. Pour les agents et analystes de l'IA travaillant à la cadence d'un calendrier réglementaire, c'est la différence entre garder le rythme et devenir un goulot d'étranglement.
Coût : une base de connaissances persistante et vérifiée, et non une inférence à la demande
Un processus à usage général recalcule la réponse à chaque demande, sans mémoire de ce qu'il a trouvé auparavant. Archer Evolv calcule une fois à l'ingestion, vérifie le résultat dans une base de connaissances évolutive et gérée par des experts, et maintient la mémoire pour chaque recherche future à une fraction du coût et de la latence. Lorsqu'un règlement est modifié, Evolv saisit le changement de manière proactive, vérifie à nouveau et met à jour la réponse. Aucune réponse proposée n'est obsolète. Pour un corpus de 500 documents avec 12 recherches par mois, cela représente 6 000 déterminations contre seulement 500. Archer Evolv évite environ 92% des appels d'inférence, une économie structurelle qui s'accumule à mesure que le volume augmente.
Le contexte est ce qui rend cela possible
L'avantage d'Archer Evolv remonte au contexte : avant toute exécution d'IA, il évalue les juridictions, les produits, les unités commerciales, les risques et les thèmes réglementaires de l'organisation, de sorte que chaque détermination est fondée sur ce qui est pertinent pour cette entreprise. C'est la différence entre une réponse et une réponse défendable. Plus une entreprise déploie d'agents, plus cette fondation devient précieuse, car chaque agent hérite de la même base vérifiée et traçable à la source, au lieu de tout redériver à partir de zéro.
« Les entreprises qui l'emporteront durant la prochaine décennie de SaaS associeront une IA spécifique au domaine à un contexte propriétaire et spécifique à la verticale que les modèles de base ne peuvent pas reproduire », déclare Bill Diaz, CEO d'Archer. « C’est là que réside l’avantage concurrentiel, et il se renforce avec le temps. Ce test en apporte la preuve. »
La méthodologie complète, les données sources et l’étude de cas sont disponibles sur le site web d’Archer consacré au leadership éclairé, compliance.ai/evolv_assets/case-01-evolv-vs-raw-llm.html. Pour voir Archer Evolv en action, visitez www.archerirm.com.
À propos d'Archer
Archer explique comment les plus grandes entreprises du monde régissent les risques, la conformité et les changements réglementaires. Plus de 1 300 organisations opèrent sur Archer, dont la moitié du Fortune 500 et 37 des 50 plus grandes banques mondiales. Un nouveau changement réglementaire se produit quelque part dans le monde toutes les six minutes, et l'IA agentique dépasse la capacité de la plupart des équipes à maîtriser ces évolutions. L'IA à usage spécifique d'Archer repose sur les données réglementaires et l'expertise du domaine les plus approfondies de la GRC, de sorte que chaque résultat remonte à sa source et que chaque décision peut être défendue. Archer fournit des solutions dans toute la gamme de GRC, y compris la gestion du changement réglementaire, la gestion des risques d'IA, l'intelligence réglementaire, les risques tiers et les risques informatiques et de sécurité. Pour en savoir plus, rendez-vous sur www.archerirm.com.
Le texte du communiqué issu d’une traduction ne doit d’aucune manière être considéré comme officiel. La seule version du communiqué qui fasse foi est celle du communiqué dans sa langue d’origine. La traduction devra toujours être confrontée au texte source, qui fera jurisprudence.
Consultez la version source sur businesswire.com : https://www.businesswire.com/news/home/20260630162431/fr/
© Business Wire, Inc.
Avertissement :
Ce communiqué de presse n’est pas un document produit par l’AFP. L’AFP décline toute responsabilité quant à son contenu. Pour toute question le concernant, veuillez contacter les personnes/entités indiquées dans le corps du communiqué de presse.