Les tests A/B

Le Congrès des milieux documentaires est terminé depuis plus de deux mois, mais j’aimerais partager avec vous ce que j’ai retenu de la conférence d’Amelia Showater : A/B Testing and Digital Analytics: What Libraries Can Learn from Barack Obama’s Campaign. Nous étions peu nombreux dans la salle ce matin, et c’est bien dommage!

Que sont les tests A/B?

Les tests A/B, des tests aléatoires contrôlés, permettent d’identifier ce qui fonctionne le mieux entre deux options. Ils sont surtout utilisés en marketing et particulièrement pour les solutions Web (envois de courriels ou sites Web).

Le principe est de produire deux versions d’un même contenu, qui sont  assignées aléatoirement aux utilisateurs afin d’évaluer par la suite quelle version a été la plus efficace. Efficace pour quoi? Ça dépend bien sûr de vos objectifs. Pour un magasin en ligne, ce serait d’augmenter ses ventes, pour une bibliothèque, ça pourrait être augmenter le nombre de consultations des ressources électroniques.

Par exemple, on pourrait vouloir tester l’affichage d’une liste d’éléments sur un site Web. Il faudrait alors concevoir deux versions de la même page, puis mettre en place une solution technologique qui assigne une des deux versions à chaque visiteur. Ce peut être fait par de la programmation ou par un outil tel que Google Analytics. Lorsqu’une certaine quantité de données est collectée, qui varie selon le trafic habituel, on analyse les statistiques des deux versions afin d’identifier la plus performante. Lorsqu’une option sort gagnante, elle peut alors être implantée.

Avantages

L’avantage de ces tests est que, contrairement aux tests d’utilisabilité classiques, il n’est pas nécessaire de réunir un panel d’utilisateurs représentatifs afin de leur faire « tester » les différentes versions. Comme les utilisateurs sont en contexte réel, il n’y a pas biais de réponse. Les participants ne répondent pas ce qu’ils croient être la bonne réponse, ils utilisent normalement le site.

Limites

Ce type de test a toutefois ses limites. Contrairement aux tests d’utilisabilité classiques, il ne permet pas de découvrir de nouveaux problèmes ou de nouvelles solutions, puisqu’on ne teste que ce qu’on a déjà identifié. De plus, il n’est pas possible de tester des variantes radicalement différentes, au risque de déstabiliser les utilisateurs. Il faut s’en tenir à des modifications mineures.

Tuyaux d’une pro

Lors de sa présentation, Amelia Showater a partagé avec nous des trucs qu’elle a appris lors de son travail au sein de l’équipe marketing Web de la campagne d’Obama. Ce qu’il faut retenir : Les résultats sont souvent très différents de ce à quoi on s’attend et nous ne sommes pas des utilisateurs typiques.

Elle donnait l’exemple de l’apparence visuelle de courriel invitant les gens à faire des donations à la campagne. C’est le visuel le moins attrayant qui a mené au plus grand montant de dons. De plus, il ne faut pas oublier que les gens à qui on s’adresse ne sont pas du même milieu, notre jargon n’est pas compréhensible pour tout le monde. Elle a aussi amené des concepts bien connus, mais qui méritent d’être rappelés régulièrement : Les utilisateurs veulent que ce soit: simple et rapide, ils n’ont pas de temps à perdre!

Pour aller plus loin…

Je vous invite à consulter l’article suivant : Young, S. (2014). Improving Library User Experience with A/B Testing: Principles and Process. Weave: Journal of Library User Experience, 1(1). http://dx.doi.org/10.3998/weave.12535642.0001.101

Pour ceux qui veulent s’y mettre tout de suite, voici un petit tutoriel en français qui explique comment utiliser les fonctions de tests de Google Analytics : A/B Testing avec Google Analytics en 15 minutes

Pour savoir si la différence entre les deux résultats est vraiment significative, vous pouvez utiliser le site ABBA.

Library Day in the Life [fr] – vendredi 3 février

Cinquième et dernière journée dans le cadre du Library Day in the Life Project.

AM

La journée commence encore avec les courriels.

On poursuit avec un suivi pour le site EndNote.

Retour sur la proposition Drupal, organisation d’une rencontre des six personnes impliquées, question de ne pas avoir la même conversation de 30 min chaque fois.

À 10h, petite pause pour le traditionnel café de Starbucks du vendredi avec mon collègue.

Un peu de vérifications d’informations de chez le fournisseur de plusieurs de nos logiciels de bibliothèque.

Retour à Captivate pour la mise à jour des capsules tutoriel.

PM

Réunions, réunions. De 13h30 à 15h pour préparer une présentation avec les collègues, puis de 15h à 16h pour établir la suite avec les sites Drupal. Et la semaine est terminée!

 

Retour sur Library day in the life

L’expérience de #Libday était intéressante pour moi également, je ne fais pas souvent de suivi aussi détaillé de ce que je fais au bureau. Je dois noter que comparé aux semaines habituelles, il manque de téléconférence dans celle-ci, normalement la moyenne est plus autour de  deux par semaine!

Library Day in the Life [fr] – jeudi 2 février

Quatrième jour de ma participation à Library Day in the Life.

AM

Dans la suite de mes lectures de courriel : suivi avec la développeuse web pour le site EndNote.

Réception de l’analyse d’un consultant Drupal sur la migration à la nouvelle version de sites internes et envoi de mon avis sur le sujet aux collègues, discussions avec dits collègues.

Commencé les mises à jour des capsules tutoriel.

PM

De retour de mon cours de yoga-midi, je parcours Twitter en mangeant.

Je me remets aux capsules tutoriel, ce qui occupera la majeure partie de l’après-midi. Une petite coquille me fera perdre 45 min de travail… la minutie est nécessaire parfois!

Eu quelques autres échanges suite à la proposition du consultant Drupal.

Library Day in the Life [fr] – mercredi 1er février

Voici ce que j’ai fait lors de cette troisième journée, dans le cadre du Library Day in the Life.

AM

Et je commence bien sûr par les courriels ce matin, auxquels j’ajoute un coup d’oeil sur Twitter.

Je fais un suivi sur une proposition de modification d’interface avec un collègue.

Testé une plateforme de diffusion de livres numériques.

Corrigé des comptes rendu et un peu de préparation de réunions.

Réunion interne de direction en fin de matinée.

PM

Préparation d’un document de suivi de projet avec MS Project.

Fait quelques comparaisons en utilisant le Comparateur de l’enquête du pôle livre électronique de Couperin qu’un collègue m’a fait connaître, puis diffusion de cette information sur notre intranet.

Préparation d’une présentation à l’interne sur les médias sociaux : pour ce public-là, quels seraient les meilleurs aspects à présenter…

Tentative de mise à jour des tutoriels de l’outil de découverte avec Adobe Captivate 5. À 15h45, après 2 plantages du logiciel, je viens à la conclusion que les journées de neige sont sûrement mauvaises pour l’utilisation de Captivate et je décide de terminer ma journée en faisant un peu de veille.

Library Day in the Life [fr] – mardi 31 janvier

(This article will be in French, as is this blog)

Voici ma deuxième journée dans le cadre de la 8e version de la « Library Day in the Life », un projet qui encourage les bibliothécaires et autre employés de bibliothèque à décrire sur leur blog ou via Twitter les activités qu’ils font au cours de leur journée, afin que les gens puissent avoir une idée de ce que fait un bibliothécaire au travail. Le tout est décrit sur le wiki du projet : Library Day in the Life Project

AM

Je commence encore une fois avec les courriels reçus depuis la veille.

Ensuite, une petite analyse des modifications à faire aux capsules de présentation de l’outil de découverte.

Échanges avec des collègues sur le contenu d’une réunion et sur une préparation de présentation.

Je lis l’article de Jean-Philippe Pouliot sur Tribune CI : La performance en formation.

Tentative de correction de problèmes au niveau du CSS avec les fichiers d’aide préparés la veille. Seulement en partie résolu, faudra y revenir!

La matinée se termine avec une réunion à l’interne.

PM

Parcouru rapidement le rapport du CEFRIO sorti aujourd’hui : Gérer les enjeux et risques juridiques du Web 2.0. Retransmis sur Twitter et classé en ligne (Diigo) et sur mon poste (Mendeley).

Pour le reste de l’après-midi, réunion avec le groupe sur l’harmonisation des pratiques de catalogage.

Library Day in the Life [fr] – lundi 30 janvier

(This article will be in French, as is this blog)

Je prends l’excuse de la 8e itération du « Library Day in the Life » pour dépoussiérer mon blog.

Library Day in the Life est un projet qui encourage les bibliothécaires et autre employés de bibliothèque à décrire sur leur blog ou via Twitter les activités qu’ils font au cours de leur journée, afin que les gens puissent avoir une idée de ce que fait un bibliothécaire au travail. Le tout est décrit sur le wiki du projet : Library Day in the Life Project

Lors des dernières journées de la sorte, j’ai souvent hésité à participer, puisque mon poste n’est pas un poste typique – je ne travaille pas en bibliothèque mais pour des bibliothèques – mais je me suis dit que ça pourrait quand même être un exercice intéressant! Pour information, je suis analyste en systèmes de documentation à l’Université du Québec.

Lundi 30 janvier

AM

Comme chaque matin, la première heure est consacrée à prendre les courriels arrivés depuis ma dernière journée de travail. Puisqu’on est lundi, je prépare aussi la carte heuristique de mes tâches de la semaine.

Je poursuis avec quelques tâches diverses :

Suivi avec le développeur web à l’interne pour une petite page Web simple qui était à actualiser.
Suivi avec une développeuse web à l’externe pour le site d’information sur le logiciel EndNote sur lequel nous travaillons actuellement.
Préparation d’une rencontre de suivi de projet avec des collègues.
Mise à jour de listes de diffusion par courriel.
Intégration de contenu diffusé par courriel dans notre wiki de procédure pour le catalogage.
Révision de comptes rendus de réunion pour correction d’orthographe et de style.

PM

En après-midi, je corrige l’aide textuelle du catalogue (outil de découverte) pour qu’il reflète les changements apportés à la session d’hiver.

Je compile les commentaires reçus sur les capsules vidéo d’aide. (5 mois de retard à rattraper!)

Je parcours également un peu Twitter et mes fils RSS de blogs.

Guide d’aide à la recherche

Je me permet de faire un peu de publicité pour la section Aide à la recherche du site de la bibliothèque du Cégep de Trois-Rivières. Développée par Sandra Lenneville, stagiaire sous ma supervision, la section présente les étapes de la recherche documentaire, un peu dans le style d’Infosphère mais mieux adaptée aux étudiants du collégial.