L'A/B Testing dans la pratique avec MEC

  • Partager l'article

Nous parlions dernièrement des A/B Testing avec A/Bingo (voir le post ici). Voici un exemple très bien illustré d’une mise en place d’un tel système.

L’année dernière Moutain Equipment Co-op (MEC) a fait part de ses tests sur sa page 404. Ils ont d’ailleurs été récompensé par un Gold Ribbon dans la catégorie ECommerce aux Testing Awards de 2009.
Le test portait tout simplement sur la mise en place d’une page 404 sous différentes formes pour voir laquelle générerait le résultat le plus faible concernant le croisement du taux de rebond (pourcentage de visiteurs n’allant pas plus loin que la première page affichée), du taux de conversion et du revenu par utilisateur.

La page d’origine était la suivante :


cliquer pour agrandir l’image

Une version 1.00 a été mise en place avec une version texte précisant pourquoi l’utilisateur avait atteint cette page.


cliquer pour agrandir l’image

La version 1.01, une image est ajoutée, la recherche est possible directement sur la page et les liens sont moins nombreux


cliquer pour agrandir l’image

La version 1.02, le texte est placé en dessous de l’image principale


cliquer pour agrandir l’image

La version 1.03, la liste de liens est supprimée, l’image est plus grande et le texte est mis sur l’image.


cliquer pour agrandir l’image

Résultats des tests :

Version Taux de conversion
1.00 37%
1.01 33,74%
1.02 37,74%
1.03 38,32%

La version 1.03 a donc donné les meilleurs résultats. Pourtant en théorie toutes ces pages étaient valables, sans un outil d’A/B Testing il aurait été difficle de déterminer laquelle permettait de meilleurs performances. Si elles avaient été testées les unes après les autres dans le temps, les résultats auraient été faussés car dépendants de la période de la mise en place et de l’audience. Ici toutes les versions ont été mises en place dans les mêmes conditions.

Lien permanent : http://scarfellan.com/zdL52M5h - vendredi 21 mai 2010
Termes associés : Ruby on Rails, Ruby, gem, A/B testing, tests, A/Bingo et mec