Constellation, le dépôt institutionnel de l'Université du Québec à Chicoutimi

Résumé

La capacité à reconstruire des objets en trois dimensions à partir d’images capturées dans le monde réel constitue un enjeu central pour le développement de systèmes intelligents en environnement de réalité mixte. Ce mémoire présente une approche hybride permettant de détecter, segmenter et reconstruire automatiquement des objets à partir d’images et données de profondeur.

Notre solution repose sur une application développée pour le casque HoloLens 2, qui permet de capturer des scènes sous forme de séquences d’images. Ces données sont ensuite transmises à un serveur distant où un traitement automatisé est effectué. Ce traitement comprend deux étapes principales : la segmentation des objets dans les images, puis la reconstruction de leur forme en trois dimensions.

Trois méthodes d’apprentissage automatique ont été mises en œuvre et comparées pour la segmentation des objets : un modèle fondé sur des détections rapides, un autre basé sur des régions masquées, et une méthode récente conçue pour segmenter tout type d’objet sans entraînement spécifique. Ces méthodes ont été évaluées selon leur capacité à identifier correctement les objets, même dans des situations complexes impliquant des objets de petite taille, des occultations partielles ou des variations de luminosité. Les segments extraits ont ensuite été utilisés pour produire des représentations tridimensionnelles sous forme de maillages, en s’appuyant sur les informations de profondeur et des techniques de regroupement spatial.

Les résultats montrent que cette approche permet de produire des représentations visuelles cohérentes et exploitables, ouvrant la voie à des applications concrètes dans des domaines variés tels que la robotique, l’archivage numérique ou la réalité augmentée. L’IA générative a été utilisée uniquement pour des suggestions ou des corrections mineures (orthographe, grammaire) ainsi que pour l’amélioration d’éléments visuels, tels que l’ajout d’un titre ou d’une légende, ou encore la traduction d’éléments présents dans une image.