Constellation, le dépôt institutionnel de l'Université du Québec à Chicoutimi

Résumé

Les montres intelligentes connaissent aujourd’hui une adoption croissante en tant qu’objets connectes portables, mêlant esthétique, suivi de sante, notifications et outils de productivité. Toutefois, malgré cette polyvalence, leur petit écran limite considérablement les modalités d’interaction. En particulier, la saisie tactile est entravée par la taille réduite de la surface d’affichage et l’obstruction visuelle causée par les doigts, ce qui nuit à l’efficacité des interactions. Face à cette contrainte, de nombreux travaux de recherche ont tenté d’étendre les capacités interactives des montres à l’aide de dispositifs externes ou de capteurs supplémentaires. Bien que prometteuses, ces approches impliquent souvent un matériel spécialise couteux, encombrant, peu accessible ou encore implique une modification des montres existantes. Cela freine leur adoption en conditions réelles, notamment dans des contextes commerciaux ou auprès du grand public. Dans ce contexte, notre projet propose une approche alternative, fondée uniquement sur les capteurs déjà embarques dans les montres intelligentes actuelles (accéléromètre, gyroscope, capteur de pression, capteur de fréquence cardiaque, etc.). L’objectif est de détecter des gestes effectues autour de la montre et sur la peau (toucher, glissement, pression, etc.) sans ajouter de matériel, en utilisant des algorithmes d’apprentissage superviser pour reconnaitre les interactions à partir des signaux capteurs. Cette méthode permettrait d’interagir avec la montre sans avoir à toucher son écran, élargissant ainsi l’espace d’interaction au bras et à la main. Pour ce faire, nous avons développé une application mobile open-source de collecte multi capteurs (tels que les capteurs PPG, SpO₂, environnementaux, etc.), compatible avec les montres Android Wear OS. Cette application permet de guider le participant à travers une expérimentation, d’enregistrer, d’annoter et d’exporter les données issues des capteurs. Un protocole de collecte rigoureux a été mis en place afin d’enregistrer une diversité de gestes autour de la montre, constituant ainsi un jeu de données structure pour l’entrainement et l’évaluation de modèles de machine Learning. Bien que les performances de reconnaissance gestuelle obtenues dans cette étude restent limitées en raison d’un volume restreint de données, d’une palette de gestes peu distinctifs, de l’utilisation de modelés relativement simples et de la fréquence d’échantillonnage instable des montres, les retombées s’avèrent particulièrement significatives. Nous proposons un retour d’expérience approfondi sur les contraintes techniques propres aux plateformes Android Wear OS, telles que la variabilité de la fréquence d’échantillonnage, l’absence d’alignement temporel entre les capteurs et les interruptions causées par les mécanismes d’optimisation énergétique. Nous avons également mis en lumière les défis liés à leur exploitation (hétérogénéité des fréquences, désynchronisation, gestion des données manquantes). Ces aspects, encore rarement abordes dans la littérature, sont ici analyses, structures et documentes, fournissant ainsi un socle pour de futurs travaux exploitant les capteurs embarques des dispositifs Android.