Exécuter les tests et interpréter les résultats

Lancer vos tests Robot Framework : la puissance de la ligne de commande

Une fois vos tests écrits et structurés, l'étape suivante est naturellement leur exécution. Robot Framework est conçu pour être lancé principalement depuis la ligne de commande (terminal ou console), offrant une grande flexibilité et la possibilité d'intégrer l'exécution des tests dans des systèmes d'intégration continue (CI/CD) comme Jenkins, GitLab CI, ou GitHub Actions. La commande de base est simple et directe, mais de nombreuses options permettent d'affiner le processus d'exécution.

Pour exécuter un fichier de test unique (par exemple, `mon_premier_test.robot`), la commande la plus simple est :

robot mon_premier_test.robot

Si vous avez plusieurs fichiers de test organisés dans un répertoire (par exemple, `tests_fonctionnels/`), vous pouvez exécuter tous les tests contenus dans ce répertoire et ses sous-répertoires avec :

robot tests_fonctionnels/

Robot Framework offre une multitude d'options en ligne de commande pour personnaliser l'exécution. Parmi les plus utiles, on trouve :

• --test : Exécute un test case spécifique par son nom.
• --suite : Exécute une suite de tests spécifique par son nom.
• --include / --exclude : Exécute ou exclut des tests en fonction de leurs tags. C'est une fonctionnalité très puissante pour organiser et filtrer vos campagnes de tests (par exemple, exécuter uniquement les tests de "non-régression" ou les tests "prioritaires").
• --variable : Permet de passer des variables à vos tests depuis la ligne de commande, utile pour configurer des environnements ou des données de test spécifiques.
• --outputdir : Spécifie le répertoire où les fichiers de résultats (logs, rapports) seront générés. Par défaut, ils sont créés dans le répertoire courant.
• --loglevel : Contrôle le niveau de détail des logs (par exemple, `TRACE`, `DEBUG`, `INFO`).

Comprendre et maîtriser ces options vous permettra d'adapter l'exécution de vos tests à différents contextes et besoins, que ce soit pour un débogage rapide local ou une exécution complète dans un pipeline d'intégration.

Décrypter les rapports générés : `log.html` et `report.html` à la loupe

Après chaque exécution, Robot Framework génère automatiquement plusieurs fichiers de résultats, dont les plus importants sont `log.html` et `report.html`. Ces fichiers sont vos meilleurs alliés pour comprendre ce qui s'est passé pendant l'exécution des tests, identifier les succès, les échecs, et en analyser les causes.

Le `log.html` est un rapport très détaillé qui retrace pas à pas l'exécution de chaque test case et de chaque keyword. C'est le document de référence pour le débogage. Il présente :

• Une arborescence des suites et des tests exécutés.
• Pour chaque test, la séquence des keywords exécutés, avec leurs arguments et leur statut (PASS/FAIL).
• Les messages loggés par les keywords (via `Log` ou `Log To Console`), y compris les messages d'erreur en cas d'échec d'un keyword.
• Des informations de timing pour chaque keyword et chaque test, utiles pour identifier les goulots d'étranglement.
• Des captures d'écran automatiques en cas d'échec lors de l'utilisation de librairies comme SeleniumLibrary (si configuré).

Lorsque vous analysez un test échoué, le `log.html` vous montre exactement quel keyword a échoué et le message d'erreur associé. Vous pouvez déplier les étapes pour voir les arguments passés, les variables utilisées, et parfois même l'état de l'application (par exemple, une capture d'écran au moment de l'erreur). C'est un outil indispensable pour comprendre la cause racine d'un problème.

Le `report.html` offre une vue plus synthétique et statistique des résultats de l'exécution. Il est idéal pour avoir un aperçu rapide de la santé de votre campagne de tests et pour communiquer les résultats à des parties prenantes. Il inclut typiquement :

• Des statistiques globales : nombre total de tests, nombre de tests passés/échoués, pourcentage de réussite.
• Des statistiques par suite de tests et par tag.
• Une liste des tests les plus critiques (ceux qui ont échoué).
• Des liens vers le `log.html` pour chaque test, permettant de naviguer facilement vers les détails en cas de besoin.

Ce rapport est particulièrement utile pour le suivi des tendances de qualité. Par exemple, vous pouvez rapidement voir si le nombre d'échecs augmente ou diminue au fil des exécutions. Les statistiques par tag permettent d'analyser les résultats pour des sous-ensembles spécifiques de tests (par exemple, les tests liés à une nouvelle fonctionnalité ou les tests de fumée).

Savoir naviguer et interpréter ces deux rapports est une compétence clé pour tout utilisateur de Robot Framework. Ils fournissent toutes les informations nécessaires pour diagnostiquer les problèmes, valider les correctifs et maintenir une haute qualité de vos tests et de votre application.