Pour les chercheurs, les analystes et les professionnels de la sécurité, la capacité à récupérer rapidement et précisément les informations pertinentes est essentielle. Pourtant, à mesure que notre paysage informationnel s’agrandit, les défis posés par les méthodes de recherche traditionnelles s’agrandissent également.

L’équipe IA de la Cisco Foundation présente une nouvelle approche de la récupération d’informations conçue pour remédier aux lacunes de la recherche actuelle.

Le défi de la recherche actuelle

Souvent, lorsque nous recherchons des informations, en particulier sur des sujets complexes, nos requêtes initiales peuvent ne pas atteindre leur but. Les moteurs de recherche traditionnels, bien que puissants, fonctionnent généralement selon le principe du « one-shot » : vous posez une question et cela vous donne des résultats. Si ces résultats ne sont pas tout à fait corrects, c’est à vous de reformuler votre requête et de réessayer. Ce processus peut s’avérer inefficace et frustrant, en particulier lorsqu’il s’agit de besoins d’information nuancés ou à multiples facettes.

Les LLM offrent une compréhension sémantique, mais ils peuvent être coûteux en termes de calcul et ne sont pas toujours idéaux pour la nature itérative et exploratoire de recherches complexes. Les méthodes existantes de réécriture ou de décomposition de requêtes s’engagent souvent trop tôt dans un plan de recherche, ce qui fait que le processus de récupération se retrouve piégé dans un espace de recherche incorrect et manque d’informations pertinentes.

L’approche adaptative de Foundation AI

L’approche de recherche de Foundation AI répond à ces limitations en rendant le processus de récupération lui-même adaptatif et intelligent. Au lieu d’une requête statique unique, le cadre permet aux modèles d’apprendre à effectuer des recherches de manière itérative, un peu comme le ferait un enquêteur humain. Cela se fait à l’aide d’une série de techniques : génération de trajectoires synthétiques pour créer divers comportements de recherche, réglage fin supervisé pour établir l’échafaudage pour la recherche multi-tours, apprentissage par renforcement (GRPO) pour affiner le comportement de recherche, et enfin recherche par faisceau temporel d’inférence pour exploiter les capacités d’auto-réflexion apprises.

À la base, notre framework permet aux modèles compacts (de 350 M à 1,2 B de paramètres) de :

Apprenez diverses stratégies de recherche : grâce à un processus d’observation et d’apprentissage de divers comportements de recherche, les modèles de cadre comprennent comment aborder différents types de requêtes. Affiner les requêtes en fonction des commentaires : le système apprend à ajuster ses requêtes de recherche de manière dynamique, en intégrant les informations des documents précédemment récupérés. Retour en arrière stratégique : une capacité essentielle consiste à savoir quand abandonner un chemin infructueux et explorer des directions de recherche alternatives, évitant ainsi les « boucles tournantes » observées dans les systèmes moins adaptatifs.

Ensemble, ces capacités permettent à notre cadre de recherche de mener une « conversation » à plusieurs tours avec les informations qu’il récupère, de réfléchir aux résultats intermédiaires et d’adapter sa stratégie pour se concentrer sur les preuves les plus pertinentes. La figure ci-dessous compare certaines des approches existantes discutées avec celles de l’équipe Foundation AI.

Nous illustrons deux bases de reformulation de requêtes établies parallèlement à notre cadre proposé sur un exemple tiré de l’ensemble de données FEVER. Alors que la décomposition des requêtes échoue sans retour de corpus et que la réécriture des requêtes produit des reformulations statiques qui ignorent les résultats de récupération, le cadre Foundation AI effectue une exploration arborescente avec des étendues de raisonnement structurées, révisant sa stratégie à mesure qu’elle intègre des preuves contradictoires et passe des requêtes axées sur la vallée aux requêtes axées sur la montagne, en revenant, en affinant et en explorant efficacement pour récupérer des preuves pertinentes.

Résultats

Nous avons évalué notre approche à travers deux suites de tests complexes qui testent à la fois la précision de la récupération et la profondeur du raisonnement : le test BEIR pour la récupération d’informations classique et multi-sauts, et le test BRIGHT pour la recherche intensive en raisonnement couvrant les domaines scientifiques, techniques et analytiques.

Bien qu’ils soient jusqu’à 400 fois plus petits que les grands modèles de langage auxquels ils ont été comparés, nos plus petits modèles personnalisés utilisés dans les tests ont systématiquement obtenu des résultats égaux ou supérieurs :

Sur les ensembles de données BEIR tels que SciFact, FEVER, HotpotQA et NFCorpus, le modèle Foundation AI large (1,2B) a atteint 77,6 % nDCG@10 sur SciFact et 63,2 % nDCG@10 sur NFCorpus, surpassant les récupérateurs précédents et approchant les performances de classe GPT-4, tout en conservant de solides scores sur FEVER (65,3 %) et HotpotQA (71,6 %). Sur BRIGHT, nous avons atteint une macro-moyenne nDCG@10 de 25,2 %, surpassant les grands modèles propriétaires comme GPT-4.1 (22,1 %) dans 12 domaines divers, de l’économie et de la psychologie à la robotique et aux mathématiques.

Ces résultats démontrent que les stratégies de recherche adaptative apprises, et pas seulement l’échelle du modèle, déterminent les performances de récupération.

Application concrète : recherche de sécurité

Les implications d’un tel système de récupération adaptative s’étendent à tous les domaines, notamment en matière de sécurité :

Analyse améliorée des renseignements sur les menaces : les analystes de sécurité examinent constamment d’énormes volumes de rapports sur les menaces, de bases de données de vulnérabilités et de données d’incidents. La capacité du framework à gérer des requêtes complexes et évolutives et à revenir en arrière dans des impasses signifie qu’il peut découvrir plus efficacement des liens subtils entre des éléments de renseignement disparates, identifiant les menaces émergentes ou les modèles d’attaque qu’une recherche statique pourrait manquer. Réponse plus rapide aux incidents : lorsqu’un incident de sécurité se produit, les intervenants doivent localiser rapidement les journaux pertinents, les données de trafic réseau et les politiques de sécurité. Accélérez cela en recherchant de manière adaptative dans diverses sources de données, en affinant les requêtes à mesure que de nouvelles preuves émergent de l’incident et en aidant à identifier plus rapidement la cause première ou les systèmes affectés. Recherche proactive sur les vulnérabilités : les chercheurs en sécurité peuvent utiliser le cadre pour explorer les référentiels de code, les forums techniques et les avis de sécurité afin d’identifier les vulnérabilités potentielles des systèmes. Sa nature adaptative lui permet de suivre des chaînes complexes de dépendances ou d’exploiter des techniques, conduisant à une découverte plus complète des vulnérabilités.

L’avenir de la recherche est adaptatif

Nos recherches montrent que l’intelligence de récupération n’est pas une fonction d’échelle mais de stratégie. En combinant des données synthétiques, un apprentissage par renforcement et des algorithmes de recherche intelligents, les modèles compacts peuvent atteindre de puissantes capacités d’adaptation. Cela signifie des systèmes de recherche d’informations plus efficaces, plus rentables et plus robustes, capables de véritablement comprendre et de s’adapter à la complexité des besoins humains en informations.

Si vous souhaitez en savoir plus, vous pouvez lire le document de recherche complet ici sur arXiv.

Apprenez-en davantage sur les recherches que nous effectuons et inscrivez-vous pour recevoir des mises à jour sur le site Web de l’équipe Cisco Foundation AI.

Nous aimerions entendre ce que vous pensez ! Posez une question et restez connecté avec Cisco Security sur les réseaux sociaux.

Médias sociaux de sécurité Cisco

LinkedInFacebookInstagramX