Les tests A/B

Le Congrès des milieux documentaires est terminé depuis plus de deux mois, mais j’aimerais partager avec vous ce que j’ai retenu de la conférence d’Amelia Showater : A/B Testing and Digital Analytics: What Libraries Can Learn from Barack Obama’s Campaign. Nous étions peu nombreux dans la salle ce matin, et c’est bien dommage!

Que sont les tests A/B?

Les tests A/B, des tests aléatoires contrôlés, permettent d’identifier ce qui fonctionne le mieux entre deux options. Ils sont surtout utilisés en marketing et particulièrement pour les solutions Web (envois de courriels ou sites Web).

Le principe est de produire deux versions d’un même contenu, qui sont  assignées aléatoirement aux utilisateurs afin d’évaluer par la suite quelle version a été la plus efficace. Efficace pour quoi? Ça dépend bien sûr de vos objectifs. Pour un magasin en ligne, ce serait d’augmenter ses ventes, pour une bibliothèque, ça pourrait être augmenter le nombre de consultations des ressources électroniques.

Par exemple, on pourrait vouloir tester l’affichage d’une liste d’éléments sur un site Web. Il faudrait alors concevoir deux versions de la même page, puis mettre en place une solution technologique qui assigne une des deux versions à chaque visiteur. Ce peut être fait par de la programmation ou par un outil tel que Google Analytics. Lorsqu’une certaine quantité de données est collectée, qui varie selon le trafic habituel, on analyse les statistiques des deux versions afin d’identifier la plus performante. Lorsqu’une option sort gagnante, elle peut alors être implantée.

Avantages

L’avantage de ces tests est que, contrairement aux tests d’utilisabilité classiques, il n’est pas nécessaire de réunir un panel d’utilisateurs représentatifs afin de leur faire « tester » les différentes versions. Comme les utilisateurs sont en contexte réel, il n’y a pas biais de réponse. Les participants ne répondent pas ce qu’ils croient être la bonne réponse, ils utilisent normalement le site.

Limites

Ce type de test a toutefois ses limites. Contrairement aux tests d’utilisabilité classiques, il ne permet pas de découvrir de nouveaux problèmes ou de nouvelles solutions, puisqu’on ne teste que ce qu’on a déjà identifié. De plus, il n’est pas possible de tester des variantes radicalement différentes, au risque de déstabiliser les utilisateurs. Il faut s’en tenir à des modifications mineures.

Tuyaux d’une pro

Lors de sa présentation, Amelia Showater a partagé avec nous des trucs qu’elle a appris lors de son travail au sein de l’équipe marketing Web de la campagne d’Obama. Ce qu’il faut retenir : Les résultats sont souvent très différents de ce à quoi on s’attend et nous ne sommes pas des utilisateurs typiques.

Elle donnait l’exemple de l’apparence visuelle de courriel invitant les gens à faire des donations à la campagne. C’est le visuel le moins attrayant qui a mené au plus grand montant de dons. De plus, il ne faut pas oublier que les gens à qui on s’adresse ne sont pas du même milieu, notre jargon n’est pas compréhensible pour tout le monde. Elle a aussi amené des concepts bien connus, mais qui méritent d’être rappelés régulièrement : Les utilisateurs veulent que ce soit: simple et rapide, ils n’ont pas de temps à perdre!

Pour aller plus loin…

Je vous invite à consulter l’article suivant : Young, S. (2014). Improving Library User Experience with A/B Testing: Principles and Process. Weave: Journal of Library User Experience, 1(1). http://dx.doi.org/10.3998/weave.12535642.0001.101

Pour ceux qui veulent s’y mettre tout de suite, voici un petit tutoriel en français qui explique comment utiliser les fonctions de tests de Google Analytics : A/B Testing avec Google Analytics en 15 minutes

Pour savoir si la différence entre les deux résultats est vraiment significative, vous pouvez utiliser le site ABBA.

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s