Constellation, le dépôt institutionnel de l'Université du Québec à Chicoutimi

Résumé

Les centres d’opérations de sécurité (Security Operations Centers, SOC) traitent quotidiennement un volume élevé d’alertes générées par les plateformes de gestion des informations et des événements de sécurité (Security Information and Event Management, SIEM), dont une proportion importante correspond à des faux positifs. Cette situation impose une charge significative aux analystes de niveau Tier-1 lors du processus de triage des alertes. En pratique, ces analystes s’appuient fortement sur le contexte organisationnel, notamment la criticité des actifs, les rôles des utilisateurs, l’environnement réseau, les plages horaires et les politiques de sécurité, afin d’interpréter et de prioriser correctement les alertes. Toutefois, les tentatives visant à intégrer directement ces informations contextuelles dans les règles de détection SIEM ou dans des logiques de classification en aval entraînent souvent une duplication de la logique, des mises à jour fréquentes à mesure que les environnements évoluent, et des limites en matière de scalabilité.

Dans ce contexte, l’intelligence artificielle, et plus particulièrement les modèles de langage de grande taille (Large Language Models, LLMs), apparaît comme une piste prometteuse pour assister le triage des alertes SOC. Grâce à leur capacité à analyser des descriptions textuelles, à traiter des informations hétérogènes et à produire des justifications compréhensibles, les LLMs peuvent soutenir les analystes Tier-1 dans l’évaluation initiale des alertes. Toutefois, leur utilisation dans un environnement SOC soulève plusieurs limites. En l’absence de contexte organisationnel explicite, ces modèles peuvent produire des décisions conservatrices, générer des faux positifs ou formuler des justifications plausibles mais incomplètes. De plus, leur nature probabiliste peut entraîner une variabilité des réponses lors d’exécutions répétées, ce qui pose un enjeu de fiabilité pour une utilisation opérationnelle.

Ce mémoire évalue la capacité d’un modèle de langage de grande taille (Large Language Model, LLM), Meta LLaMA 3.3–70B-Instruct-Turbo, à faire le triage des alertes dans un contexte SOC Tier-1 en intégrant explicitement le contexte organisationnel, tout en dissociant la gestion du contexte de la logique de classification encodée dans l’invite du modèle. L’objectif n’est pas de mesurer la performance générale des LLMs sur un grand volume d’alertes, mais plutôt d’isoler l’effet du contexte organisationnel sur les décisions de triage dans des conditions expérimentales contrôlées.

L’environnement expérimental repose sur la plateforme SIEM open source Wazuh, surveillant des hôtes Windows et Ubuntu soumis à des scénarios d’émulation d’attaques générés à l’aide de CALDERA, ainsi qu’à des activités système légitimes. Un corpus d’alertes annotées manuellement est utilisé pour comparer deux configurations expérimentales : une première fondée uniquement sur les métadonnées SIEM brutes, et une seconde dans laquelle le triage des alertes est enrichi par l’injection directe du contexte organisationnel dans l’invite du modèle, sous la forme d’un fichier JSON structuré.

En l’absence de contexte organisationnel, le modèle atteint une précision globale de 85,45 %, avec une précision de 80 %, un rappel de 96,55 % et un F1-score de 87,5 %. L’analyse des erreurs montre que les faux positifs observés sont principalement liés à l’incapacité du modèle à distinguer certains événements bénins d’activités réellement suspectes lorsque les informations organisationnelles sont absentes. Lorsque le contexte organisationnel est intégré, le modèle ne génère aucun faux positif sur le corpus évalué et produit des classifications stables lors des exécutions répétées réalisées dans les mêmes conditions expérimentales.

Ces résultats montrent que l’intégration explicite du contexte organisationnel peut améliorer la qualité du triage des alertes par les LLMs, en réduisant les faux positifs et en renforçant la stabilité des classifications. Le mémoire met ainsi en évidence l’importance du contexte pour une utilisation plus fiable des modèles de langage dans les opérations SOC.