Constellation, le dépôt institutionnel de l'Université du Québec à Chicoutimi

Résumé

Context: Over the last two decades, Systematic Literature Reviews (SLRs) have been adopted as a research method to summarize evidence in Software Engineering (SE). However, scientific evidence continuously arises with advances in the SE field, leading to the need of updating SLRs. Outdated SLRs could lead researchers to obsolete conclusions or decisions about a research topic. Goal: We propose and evaluate the concept, process and guidelines to update SLRs in SE called Continuous Systematic Literature Review (CSLR). In addition, we explore automation alternatives to support the CSLR process execution. Method: A range of research methods were used for the construction and evaluation of this thesis. Firstly, two preliminary works were carried out to better understand the advances and existing needs in the area: an experience report on how to transfer the know-how of SLRs to facilitate their updates; and a cross-domain systematic mapping that identifies and summarizes the state-of-the-art on automation support for the two activities that triggers an SLR update, the search and selection of evidence. Secondly, to elaborate on the CSLR concept and process, we performed a synthesis of evidence by conducting a meta-ethnography, addressing knowledge from varied research areas. Thirdly, to build the guideline detailing and exemplifying the activities of the CSLR process, we carried out a systematic search and a narrative synthesis. Then we carry out an expert analysis with SE SLR experts to evaluate the CSLR guidelines and process and obtain feedback on the adoption of the CSLR process in practice. Lastly, we propose and evaluate an automation solution to support the search and selection of studies using Natural Language Processing and Machine Learning techniques. Also, we provide directions on the automation of the CSLR process. Results: The CSLR process and guidelines showed be beneficial in facilitating the identification if an SLR has been updated or not; assisting in the identification (search and selection) of potentially relevant evidence; promoting the sharing of potentially relevant evidence available in open repositories that are freely accessible by the SE community; supporting the decision on the need to update an SLR; and supporting SLR authors throughout the update process. The results from our prototype tool evaluation demonstrated the potential to reduce by at least 2.5 times the effort potentially reflecting on the researchers’ time spent during the search and selection of studies to update SLRs in SE. As main future avenues for automation of the CSLR process, we encourage the development of a dedicated SLR repository in SE with the integration of the CSLR pipeline/workflow and exploration of recent technologies such as Large Language Models. Conclusion: The CSLR concept, process and guidelines provide a feasible and systematic way to continuously incorporate new evidence into SLRs, supporting trustworthy and up-to-date evidence for SLRs in SE. Moreover, they represent a valuable alternative to help keeping SLRs in SE up to date. We encourage further investigations in the direction of the automation of the CSLR process to assist the SE community keep SLRs up to date at the pace of the rapid increase of new evidence.

Contexte : Au cours des deux dernières décennies, les Revues Systématiques de la Littérature (RSL) ont été adoptées comme méthode de recherche pour résumer les preuves en Génie Logiciel (GL). Cependant, des preuves scientifiques apparaissent continuellement avec les progrès dans le domaine du GL, ce qui conduit à la nécessité de mettre à jour les RSL. Les RSL obsolètes pourraient conduire les chercheurs à des conclusions ou à des décisions obsolètes sur un sujet de recherche. Objectif : La présente thèse propose et évalue le concept, le processus et les lignes directrices pour mettre à jour les RSL de GL, appelé Revue Systématique Continue de la Littérature (RSCL). De plus, nous explorons des alternatives d’automatisation pour soutenir l’exécution du processus de RSCL. Méthode : Une gamme de méthodes de recherche a été utilisée pour la construction et l’évaluation de cette thèse. Tout d’abord, deux travaux préliminaires ont été réalisés afin de mieux comprendre les avancées et les besoins existants dans le domaine : un rapport d’expérience sur la manière de transférer le savoir-faire des RSL pour faciliter leurs mises à jour ; et une cartographie systématique interdomaine qui identifie et résume l’état de l’art en matière d’automatisation pour les deux activités qui déclenchent une mise à jour de RSL, la recherche et la sélection de preuves. Deuxièmement, pour élaborer sur le concept et le processus de RSCL, nous avons effectué une synthèse des preuves en effectuant une méta-ethnographie, abordant les connaissances de divers domaines de recherche. Troisièmement, pour construire la ligne directrice détaillant et illustrant les activités du processus de RSCL, nous avons effectué une recherche systématique et une synthèse narrative. Ensuite, nous effectuons une analyse experte avec des experts en matière de RSL en GL pour évaluer les lignes directrices et le processus de RSCL ainsi qu’obtenir des commentaires sur l’adoption du processus de RSCL dans la pratique. Enfin, nous proposons et évaluons une solution d’automatisation pour soutenir la recherche et la sélection d’études à l’aide de techniques de traitement automatique du langage naturel et d’apprentissage automatique. En outre, nous fournissons des instructions sur l’automatisation du processus de RSCL. Résultats : Le processus et les lignes directrices du RSCL se sont avérés bénéfiques pour faciliter l’identification si une RSL a été mis à jour ou non ; aider à l’identification (recherche et sélection) de preuves potentiellement pertinentes ; promouvoir le partage de preuves potentiellement pertinentes disponibles dans des référentiels ouverts librement accessibles par la communauté de GL; soutenir la décision sur la nécessité de mettre à jour une RLS ; et soutenir les auteurs d’une RSL tout au long du processus de mise à jour. Les résultats de l’évaluation de notre outil prototype ont démontré le potentiel de réduire d’au moins 2,5 fois l’effort, reflétant potentiellement le temps passé par les chercheurs lors de la recherche et de la sélection d’études pour mettre à jour les RSL. En tant que principales pistes futures d’automatisation du processus de RSCL, nous encourageons le développement d’un référentiel de RSL en GL dédié avec l’intégration du flux de travail de RSCL et l’exploration de technologies récentes telles que les « Large Language Models ». Conclusion : Le concept, le processus et les lignes directrices du RSCL fournissent un moyen faisable et systématique d’incorporer en permanence de nouvelles preuves dans les RSL, soutenant des preuves fiables et à jour pour les RSL en GL. De plus, ils représentent une alternative précieuse pour aider à maintenir à jour les RSL en GL. Nous encourageons des enquêtes futures dans le sens de l’automatisation du processus de RSCL pour aider la communauté de GL à maintenir les RSL à jour au rythme de l’augmentation rapide des nouvelles preuves.