Les tests A/B

Le Congrès des milieux documentaires est terminé depuis plus de deux mois, mais j’aimerais partager avec vous ce que j’ai retenu de la conférence d’Amelia Showater : A/B Testing and Digital Analytics: What Libraries Can Learn from Barack Obama’s Campaign. Nous étions peu nombreux dans la salle ce matin, et c’est bien dommage!

Que sont les tests A/B?

Les tests A/B, des tests aléatoires contrôlés, permettent d’identifier ce qui fonctionne le mieux entre deux options. Ils sont surtout utilisés en marketing et particulièrement pour les solutions Web (envois de courriels ou sites Web).

Le principe est de produire deux versions d’un même contenu, qui sont  assignées aléatoirement aux utilisateurs afin d’évaluer par la suite quelle version a été la plus efficace. Efficace pour quoi? Ça dépend bien sûr de vos objectifs. Pour un magasin en ligne, ce serait d’augmenter ses ventes, pour une bibliothèque, ça pourrait être augmenter le nombre de consultations des ressources électroniques.

Par exemple, on pourrait vouloir tester l’affichage d’une liste d’éléments sur un site Web. Il faudrait alors concevoir deux versions de la même page, puis mettre en place une solution technologique qui assigne une des deux versions à chaque visiteur. Ce peut être fait par de la programmation ou par un outil tel que Google Analytics. Lorsqu’une certaine quantité de données est collectée, qui varie selon le trafic habituel, on analyse les statistiques des deux versions afin d’identifier la plus performante. Lorsqu’une option sort gagnante, elle peut alors être implantée.

Avantages

L’avantage de ces tests est que, contrairement aux tests d’utilisabilité classiques, il n’est pas nécessaire de réunir un panel d’utilisateurs représentatifs afin de leur faire « tester » les différentes versions. Comme les utilisateurs sont en contexte réel, il n’y a pas biais de réponse. Les participants ne répondent pas ce qu’ils croient être la bonne réponse, ils utilisent normalement le site.

Limites

Ce type de test a toutefois ses limites. Contrairement aux tests d’utilisabilité classiques, il ne permet pas de découvrir de nouveaux problèmes ou de nouvelles solutions, puisqu’on ne teste que ce qu’on a déjà identifié. De plus, il n’est pas possible de tester des variantes radicalement différentes, au risque de déstabiliser les utilisateurs. Il faut s’en tenir à des modifications mineures.

Tuyaux d’une pro

Lors de sa présentation, Amelia Showater a partagé avec nous des trucs qu’elle a appris lors de son travail au sein de l’équipe marketing Web de la campagne d’Obama. Ce qu’il faut retenir : Les résultats sont souvent très différents de ce à quoi on s’attend et nous ne sommes pas des utilisateurs typiques.

Elle donnait l’exemple de l’apparence visuelle de courriel invitant les gens à faire des donations à la campagne. C’est le visuel le moins attrayant qui a mené au plus grand montant de dons. De plus, il ne faut pas oublier que les gens à qui on s’adresse ne sont pas du même milieu, notre jargon n’est pas compréhensible pour tout le monde. Elle a aussi amené des concepts bien connus, mais qui méritent d’être rappelés régulièrement : Les utilisateurs veulent que ce soit: simple et rapide, ils n’ont pas de temps à perdre!

Pour aller plus loin…

Je vous invite à consulter l’article suivant : Young, S. (2014). Improving Library User Experience with A/B Testing: Principles and Process. Weave: Journal of Library User Experience, 1(1). http://dx.doi.org/10.3998/weave.12535642.0001.101

Pour ceux qui veulent s’y mettre tout de suite, voici un petit tutoriel en français qui explique comment utiliser les fonctions de tests de Google Analytics : A/B Testing avec Google Analytics en 15 minutes

Pour savoir si la différence entre les deux résultats est vraiment significative, vous pouvez utiliser le site ABBA.

Mon moment « wow » de la journée

En cherchant une page d’information sur le service « Assignment calculator »[1] dans le site des bibliothèques de la North Carolina State University, j’ai découvert leur page de recherche, qui est vraiment géniale à mon avis.

Quand un étudiant cherche de la documentation sur le site de la bibliothèque que fait-il? Il utilise la boîte de recherche la plus en évidence. Et bien sur le site des NCSU libraries, il ne sera pas désorienté par les résultats. Les termes qui sont entrés dans la boîte sont utilisés pour lancer la recherche :

  • dans l’outil de métarecherche d’articles (Summon)
  • dans le catalogue
  • dans la liste des périodiques (non affiché dans mon exemple)
  • dans le site Web de la bibliothèque, en plaçant les réponses aux FAQ en premier

Chaque type de résultat est présenté dans une section bien identifiée : Articles, Books, Journals, Library Website.

NCSU Libraries search for Assignment calculator
(En cliquant sur l'image vous relancerez cette recherche)

Remarquez aussi dans la section « Articles » l’invitation à chercher dans les bases spécialisées en éducation (« assignment ») ou en mathématique (« calculator »).

1 – L’Assignment calculator est un service très intéressant soit dit en passant : en entrant la date de remise d’un travail, il présente les dates où les étapes de préparation du travail doivent être faites. Pour chaque étape de préparation, des ressources sont offertes. Voir Version NCSU ou de U of Minnessota : v.1 ou v. beta.
retour au texte