Constellation, le dépôt institutionnel de l'Université du Québec à Chicoutimi

Object detection for autonomous vehicles operating under varying weather conditions

Sharma Teena. (2024). Object detection for autonomous vehicles operating under varying weather conditions. Thèse de doctorat, Université du Québec à Chicoutimi.

[thumbnail of Sharma_uqac_0862D_11226.pdf] PDF
5MB

Résumé

The rapid development of self-driving vehicles requires integrating a sophisticated sensing system to address the obstacles road traffic poses efficiently. Large cities' expanding populations are causing traffic congestion. Maintaining the city's road network necessitates ongoing monitoring, growth, and modernization. Intelligent traffic monitoring while driving includes identifying and tracking vehicles on roads and highways. Nowadays, autonomous vehicles are more prevalent globally, and it has become essential to have an intelligent vehicle detection system to address road traffic concerns during adverse weather conditions. While several datasets are available to support object detection in autonomous vehicles, it is crucial to carefully evaluate the suitability of these datasets for different weather conditions across the globe. The existing datasets, such as Roboflow and KITTI, are accessible to the public but show less diversity in lighting or weather conditions, driving scenarios, and geographical coverage. Additionally, these datasets have limited annotations in terms of both tasks and range. These issues can lead to overly specialized solutions, which may not be generalized to the full operational design domain of real-world autonomous driving (AD) systems. Furthermore, bad weather conditions may affect object detection in an autonomous environment. Bad weather may make driving dangerous in various ways, whether due to freezing roadways or the illusion of low fog. This research addresses the limitations mentioned above, identifies the challenges associated with publicly available datasets and their usability in object detection in autonomous driving conditions. The presented study fills the gaps in probing the suitability of solutions developed for one country for object detection in bad weather conditions in other countries. To meet the aforementioned requirement, the study proposes a novel Canadian Vehicle Dataset (CVD), with 8388 annotated images. The CVD comprises street-level videos that were recorded by Thales Inc. Canada. These videos were collected with high-quality RGB cameras mounted on a vehicle in the Canadian province of Quebec. The recordings were made during daytime and nighttime, capturing weather conditions such as hazy, snowy, rainy, gloomy, nighttime, and sunny days in all four seasons. A total of 10000 images of vehicles and other road assets were extracted from the collected videos out of 8388 images were annotated with corresponding generated labels 27766 with their respective 11 different classes (biker, car, pedestrian, trafficLight, trafficLight-Green, trafficLight-GreenLeft, trafficLight-Red, trafficLight-RedLeft, trafficLight-Yellow, trafficLight-YellowLeft and truck). The presented dataset is large-scale, highly diverse, and more heterogeneous, having been gathered in changing environments as well as meteorological situations. In addition, the model trained on this diverse dataset exhibits heightened robustness and suits both autonomous and conventional vehicle operations, making it applicable not only in Canada but also in other countries with comparable weather conditions. Recognizing the potential of data science, computer vision, and deep learning techniques in AD, the newly prepared datasets are utilized to train deep learning models considering different scenarios for efficient vehicle and other road-assets recognition in Canada. We used pure modeling and mixed modeling approaches in model training. In pure modeling, a model is first trained and tested only on a dataset captured from one country. In mixed modeling, newly prepared datasets are mixed with the publicly available datasets, and new models are introduced. In the present study, the model underwent training and testing on two distinct datasets, namely RoboFlow, and combined RoboFlow and CVD, in order to determine the suitability of integrating two different image databases. The transfer learning approach is utilized to decrease the size of a dataset. This technique involves using a large generic dataset for initial training, followed by a smaller dataset appropriate for specific applications for the top-up training. Pre-training the network outside of the identification set can enhance classification performance by initiating particular patterns that are also present in the detection set. The model is first trained using the Robolflow dataset utilizing the weights of YOLOv8 pre-trained on the MSCOCO dataset. Next, transfer learning is applied to train YOLOV8 using a combination of Roboflow and CVD datasets. The additional training improves the model’s robustness and increases the vehicle detection system accuracy. The performance of the deep learning models is assessed using F1-score and mean Average Precision (mAP), and the model trained by integrating CVD and publicly available Roboflow dataset is identified as the best performing model in difficult weather conditions. The highest detection accuracy (mAP: 0.924 for object class car) is achieved by the YOLOV8-based model. The study provides new systematic insights into vehicle object detection in everyday or autonomous driving. The study contributes to the literature by offering new data, deep learning-based models for object-level road asset detection and classification, and analysis to transfer the solution from one country to another. The findings shall be helpful for Intelligent transportation planners in developing smart cities, government authorities, road agencies, policymakers, and researchers in proposing guidelines and formulating new strategies that encourage Smartphone-based Al-driven road object monitoring in Canada and several other countries. As an outcome of the study, a smartphone application has been proposed enabling Vehicles detection and classification in real time. The proposed application will also help road managers perform quick road surveys and help road users report traffic conditions and congestion, path changes due to natural calamities or new constructions on the road, and accidents in the vicinity of their surroundings.

Le développement rapide des véhicules autonomes nécessite l’intégration d’un système de détection sophistiqué pour répondre efficacement aux différents obstacles posés par le trafic routier. La population croissante des grandes villes provoque des embouteillages. L'entretien du réseau routier de la ville nécessite une surveillance, une croissance et une modernisation continues. La surveillance intelligente du trafic pendant la conduite comprend l'identification et le suivi des véhicules sur les routes et les autoroutes. De nos jours, les véhicules autonomes sont de plus en plus répandus dans le monde, il est devenu essentiel de disposer d'un système de détection de véhicules intelligent pour répondre aux problèmes de circulation routière dans des conditions météorologiques défavorables. Bien que plusieurs ensembles de données soient disponibles pour prendre en charge la détection d'objets dans les véhicules autonomes, il est crucial d'évaluer soigneusement l'adéquation de ces ensembles de données aux différentes conditions météorologiques à travers le monde. Les ensembles de données existants tels que Roboflow et KITTI sont accessibles au public, mais montrent moins de diversité en termes de conditions d'éclairage ou météorologiques, de scénarios de conduite et de couverture géographique. De plus, ces ensembles de données comportent des annotations limitées en termes de tâches et de plage. Ces problèmes peuvent conduire à des solutions trop spécialisées, qui peuvent ne pas être généralisées au domaine de conception opérationnelle complet des systèmes de conduite autonome (AD) du monde réel. De plus, la détection d'objets dans un environnement normal ou autonome peut être affectée par de mauvaises conditions météorologiques. Cette recherche aborde les limites mentionnées ci-dessus, identifie les défis associés aux ensembles de données accessibles au public et leur utilité dans la détection d'objets dans des conditions de conduite autonome. L'étude présentée comble les lacunes pour vérifier l'adéquation des solutions développées pour un pays pour la détection d'objets dans de mauvaises conditions météorologiques dans d'autres pays. Pour répondre à l'exigence susmentionnée, l'étude propose un nouvel ensemble de données sur les véhicules canadiens (CVD), avec 8388 images annotées. Le CVD comprend des vidéos de rue enregistrées par Thales inc. Canada. Ces vidéos ont été collectées avec des caméras RVB de haute qualité montées sur un véhicule dans la province canadienne du Québec. Les enregistrements ont été réalisés de jour comme de nuit, capturant les conditions météorologiques telles que les jours brumeux, enneigés, pluvieux, sombres, nocturnes et ensoleillés au cours des quatre saisons. Un total de 10 000 images de véhicules et autres actifs routiers sont extraites des vidéos collectées sur 8388 images annotées avec les étiquettes générées correspondantes 27 766 avec leurs 11 classes différentes respectives (motard, voiture, piéton, "trafficLight", "trafficLight-Green", "trafficLight-GreenLeft", "trafficLight-Red", "trafficLight-RedLeft", "trafficLight-Yellow", "trafficLight-YellowLeft" et "camion"). L'ensemble de données présenté est à grande échelle, très diversifié et plus hétérogène, ayant été collecté dans des environnements changeants ainsi que dans des situations météorologiques. De plus, le modèle formé sur cet ensemble de données diversifié présente une robustesse accrue et convient à l'exploitation de véhicules autonomes et conventionnels, ce qui le rend applicable non seulement au Canada, mais également dans d'autres pays présentant des conditions météorologiques comparables. Reconnaissant le potentiel de la science des données, de la vision par ordinateur et des techniques d'apprentissage en profondeur dans la DA, les ensembles de données nouvellement préparés sont utilisés pour former des modèles d'apprentissage en profondeur prenant en compte différents scénarios pour une reconnaissance efficace des véhicules et d'autres actifs routiers au Canada. Nous avons utilisé des approches de modélisation pure et de modélisation mixte dans la formation des modèles. En modélisation pure, un modèle est d'abord formé et testé uniquement sur un ensemble de données capturées dans un pays. Dans la modélisation mixte, les ensembles de données nouvellement préparés sont mélangés aux ensembles de données accessibles au public et de nouveaux modèles sont introduits. Dans la présente étude, le modèle a subi une formation et des tests sur deux ensembles de données distincts, à savoir RoboFlow, et a combiné RoboFlow et CVD, afin de déterminer l'opportunité d'intégrer deux bases de données d'images différentes. L'approche d'apprentissage par transfert est utilisée pour réduire la taille d'un ensemble de données. Cette technique implique l'utilisation d'un grand ensemble de données génériques pour la formation initiale, suivie d'un ensemble de données plus petit approprié à une application spécifique pour la formation complémentaire. Le pré-entraînement du réseau en dehors de l'ensemble d'identification peut améliorer les performances de classification en initiant des modèles particuliers qui sont également présents dans l'ensemble de détection. Le modèle est d'abord entraîné à l'aide de l'ensemble de données Robolflow en utilisant les poids de YOLOv8 pré-entraînés sur l'ensemble de données MSCOCO. Ensuite, l'apprentissage par transfert est appliqué pour entraîner YOLOV8 à l'aide d'une combinaison de Roboflow et d'un ensemble de données CVD. La formation supplémentaire améliore la robustesse du modèle et augmente la précision du système de détection des véhicules. Les performances des modèles d'apprentissage profond sont évaluées à l'aide du score F1 et de la précision moyenne moyenne (mAP), et le modèle formé en intégrant CVD et l'ensemble de données Roboflow accessible au public est identifié comme le modèle le plus performant dans des conditions météorologiques difficiles.

Type de document:Thèse ou mémoire de l'UQAC (Thèse de doctorat)
Date:2024
Lieu de publication:Chicoutimi
Programme d'étude:Doctorat en ingénierie
Nombre de pages:195
ISBN:Non spécifié
Sujets:Sciences naturelles et génie > Sciences mathématiques > Informatique
Sciences naturelles et génie > Sciences mathématiques > Mathématiques appliquées
Département, module, service et unité de recherche:Départements et modules > Département des sciences appliquées > Programmes d'études de cycles supérieurs en ingénierie
Directeur(s), Co-directeur(s) et responsable(s):Fofana, Issouf
Chehri, Abdellah
Mots-clés:artificial intelligence, autonomous vehicle, convolutional neural network, deep learning, object detection, YOLO
Déposé le:17 janv. 2025 08:30
Dernière modification:20 janv. 2025 21:23
Afficher les statistiques de telechargements

Éditer le document (administrateurs uniquement)

Creative Commons LicenseSauf indication contraire, les documents archivés dans Constellation sont rendus disponibles selon les termes de la licence Creative Commons "Paternité, pas d'utilisation commerciale, pas de modification" 2.5 Canada.

Bibliothèque Paul-Émile-Boulet, UQAC
555, boulevard de l'Université
Chicoutimi (Québec)  CANADA G7H 2B1
418 545-5011, poste 5630