Constellation, le dépôt institutionnel de l'Université du Québec à Chicoutimi

Résumé

L’intelligence artificielle (IA) a transformé de nombreux secteurs, notamment la santé, les véhicules autonomes, la finance, la cybersécurité et l’automatisation industrielle, en proposant des solutions qui améliorent l’efficacité, la précision et la prise de décision. Toutefois, le déploiement de l’IA dans des environnements critiques soulève d’importantes préoccupations en raison de la nature imprévisible de ces contextes. Les modèles d’IA demeurent vulnérables aux attaques, aux erreurs de décision et aux situations inédites, ce qui peut engendrer des risques significatifs pour la sécurité. Cette recherche met en évidence l’importance cruciale de la robustesse de l’IA et aborde les défis liés aux données, aux modèles et à la sécurité. Elle souligne la nécessité de développer des stratégies efficaces permettant de s’adapter aux changements, de garantir la résilience des modèles face à des conditions variables et de protéger les systèmes d’IA contre les menaces de sécurité. Cette thèse traite ainsi des principaux enjeux relatifs à la robustesse et à la sécurité des modèles d’intelligence artificielle. Les résultats obtenus démontrent des avancées significatives en matière de capacités de détection, de robustesse des modèles et de résistance aux menaces potentielles, contribuant ainsi au développement de technologies d’IA plus sûres et plus fiables dans des environnements dynamiques et exigeants. La première contribution propose un cadre autosupervisé basé sur les graphes pour la détection hors distribution (OOD), fonctionnant sans nécessiter d’échantillons OOD étiquetés. L’approche utilise SimCLR pour l’extraction de représentations par apprentissage contrastif, la détection de communautés par l’algorithme de Louvain pour identifier les clusters en distribution au sein d’un graphe de similarité cosinus, et le score de distance de Mahalanobis pour signaler les entrées anormales lors de l’inférence. Les expériences menées sur des jeux de données de référence démontrent des performances de détection compétitives par rapport aux approches supervisées, confirmant la valeur pratique de ce cadre pour préserver l’intégrité des données d’entraînement dans les applications critiques.

La deuxième contribution aborde le décalage de distribution dans l’apprentissage par renforcement (AR) en combinant l’orientation par les modèles de fondation avec la randomisation du domaine. Les modèles de fondation génèrent des objectifs de mission spécifiques à la tâche qui enrichissent le signal de récompense, tandis que la randomisation du domaine diversifie systématiquement les paramètres de l’environnement d’entraînement tels que les textures visuelles, la dynamique de l’agent et le bruit des capteurs. Les études d’ablation confirment que les deux composantes contribuent indépendamment à la robustesse, leur combinaison produisant les gains les plus importants sur des environnements non vus lors de l’entraînement.

La troisième contribution examine les menaces adversariales pesant sur les agents de conduite autonome basés sur l’AR. Parmi les attaques sur l’espace des observations, sur l’espace des actions et les attaques composites multivecteurs, l’injection soutenue d’une commande fixe dans le canal d’actionnement a produit la dégradation de sécurité la plus sévère, car la manipulation de l’actionnement contourne directement la sortie de la politique, tandis que l’altération intermittente et aléatoire des actions s’est avérée moins dommageable que le bruit d’observation. Deux défenses à l’inférence, sans réentraînement, sont évaluées : le seuillage par écart de valeurs-Q (QGap), qui filtre les commandes à partir du paysage d’action-valeur des agents basés sur les valeurs, et DynIW, qui combine un filtrage dynamique des observations et une validation des actions par rapport à l’action nominale de la politique protégée. Dans des expériences à graine unique, QGap a réduit le taux de collision de l’agent DQN sous altération intermittente des actions de 0,650 à 0,290, tandis que DynIW a rétabli l’agent PPO sous injection soutenue d’une commande fixe et sous altération intermittente (taux de collision sous injection de commande fixe de 1,000 à 0,000) et, par sa branche à actions continues, a réduit les collisions d’un point de contrôle PPO externe figé dans MetaDrive, sous injection de commande fixe, de 1,000 à 0,080, sans réentraînement. Ces résultats sont compatibles avec un couplage entre l’efficacité de la défense et l’architecture de la politique, mais aucune défense n’a résolu les attaques composites multivecteurs ni rétabli l’agent DQN sous injection soutenue d’une commande fixe, et ces constats doivent être validés sur plusieurs graines, familles de politiques et environnements.

La quatrième contribution propose Co-Evo Defender, un cadre co-évolutif qui renforce la détection des tentatives de contournement (jailbreak) dans les grands modèles de langage contre la dérive adversariale. Un attaquant basé sur l’AR génère en continu des perturbations sémantiques pour sonder les faiblesses du défenseur, tandis qu’un classificateur neuronal adaptatif est réentraîné à chaque contournement découvert. Cette boucle de rétroaction maintient un rappel élevé sur des motifs d’attaque hors distribution qui mettent en échec les classificateurs statiques.

Pris dans leur ensemble, ces quatre contributions font progresser l’état de l’art en matière de robustesse de l’IA selon les dimensions des données, des modèles et de la sécurité, posant ainsi les bases d’un déploiement plus sûr de l’IA dans des environnements réels dynamiques et exigeants.

Artificial intelligence (AI) has transformed critical sectors such as healthcare, autonomous vehicles, finance, cybersecurity, and industrial automation by enabling solutions that enhance efficiency, accuracy, and decision-making. However, deploying AI in highstakes environments raises serious concerns due to the unpredictable nature of real-world settings. AI models remain vulnerable to adversarial attacks, decision failures, and distributional shifts. These unexpected discrepancies between training and deployment conditions can lead to catastrophic consequences and safety risks. This thesis addresses the fundamental challenge of building robust and secure AI systems by investigating three core dimensions: the integrity of training data, the robustness of AI models under distributional shift, and the resilience of AI systems against adversarial and security threats.

The first contribution proposes a self-supervised, graph-based framework for out-ofdistribution (OOD) detection that operates without requiring labeled OOD samples. The approach employs SimCLR for contrastive embedding extraction, Louvain community detection to partition in-distribution clusters within a cosine-similarity graph, and Mahalanobis distance scoring to flag anomalous inputs at inference time. Experiments on benchmark datasets demonstrate competitive detection performance against supervised baselines, confirming the framework’s practical value for preserving training data integrity in safety-critical applications where labeled OOD data is unavailable.

The second contribution addresses distributional shift in reinforcement learning (RL) by combining foundation model guidance with domain randomization. Foundation models generate task-specific mission objectives that enrich the reward signal beyond what sparse reward alone provides, while domain randomization systematically diversifies training environment parameters such as visual textures, agent dynamics, and sensor noise. Together, these techniques enable RL agents to learn policies that generalize reliably to unseen deployment conditions. Ablation studies confirm that both components contribute independently to robustness, with their combination producing the greatest gains on held-out environments.

The third contribution investigates adversarial threats to RL-based autonomous driving agents. Across observation-space, action-space, and composite multi-vector attacks, sustained fixed-command injection into the action channel produced the most severe safety degradation, as actuation tampering bypasses the policy output, whereas intermittent epsilonmalicious action tampering was less damaging than observation noise. Two training-free inference-time defenses are evaluated: Q-Value Gap Thresholding (QGap), which gates commands using the action-value landscape of value-based agents, and DynIW, which combines dynamic observation gating with action validation against the protected policy’s own nominal action. In single-seed experiments, QGap reduced the deep Q-network (DQN) agent’s collision rate under intermittent action tampering from 0.650 to 0.290, whereas DynIW restored the proximal policy optimization (PPO) agent under sustained fixed-command injection and intermittent action tampering (collision rate under fixed-command injection from 1.000 to 0.000) and, through its continuous-action branch, reduced collisions for a frozen, externally pre-trained continuous-control PPO checkpoint in MetaDrive under fixed-command injection from 1.000 to 0.080, all without model retraining. These results are consistent with a coupling between defense effectiveness and policy architecture, but no wrapper resolved composite multi-vector attacks or recovered the DQN agent under sustained fixed-command injection, and the findings require validation across training seeds, policy families, and environments.

The fourth contribution proposes Co-Evo Defender, a co-evolutionary framework that hardens jailbreak detection in large language models (LLMs) against adversarial drift. An RL-based attacker powered by the PPO algorithm continuously generates semantic perturbations at the embedding level to probe the defender’s weaknesses, while an adaptive neural network classifier is retrained on each discovered bypass. This feedback loop ensures that the defender’s knowledge of adversarial strategies grows over time, maintaining robust recall on out-of-distribution attack patterns, including leetspeak obfuscation and policy-puppet payloads, that cause static classifiers to fail.

Overall, these four contributions significantly advance the frontier of AI robustness by addressing challenges spanning data quality, model reliability, and system security. The proposed approaches enhance OOD detection performance, improve agent generalization under distributional shifts and strengthen resilience to adversarial attacks. Together, they pave the way for more secure, dependable, and resilient AI systems operating in dynamic and high-stakes real-world settings.