# Test A/B

Le test A/B (ou A/B testing) est une technique de marketing qui consiste à proposer plusieurs variantes d'un même objet qui diffèrent selon un seul critère (par exemple, la couleur d'un emballage) afin de déterminer la version qui donne les meilleurs résultats auprès des consommateurs. C'est une technique particulièrement employée dans la communication en ligne où il est maintenant possible de tester auprès d'un échantillon de personnes plusieurs versions d'une même page web, d'une même application mobile, d'un même courriel ou d'une bannière publicitaire afin de choisir celle qui est la plus efficace et de l'utiliser à large échelle.
Il s'agit d'un usage stéréotypé et imprécis du test d'hypothèse utilisé en science statistique.
En français, le test A/B est habituellement un terme générique pour qualifier tout type de testage. Par exemple, on englobe sous ce terme les tests A/A, A/Z ainsi que les tests multivariés (ou tests MVT). Plus il y a de trafic sur un site, plus il est possible de tester de versions simultanément.

## Test A/B en ligne
### Le principe

Un test A/B permet d’évaluer les performances respectives d'une ou plusieurs versions partiellement ou totalement différentes d'une même page web en les comparant à la version originale. Le test consiste à créer des versions modifiées de la page originale en modifiant autant d’éléments qu’on le souhaite ou que le trafic le permet (contenu, aspect général, présentation, etc.)$^,$.
Un test A/B permet de mettre en concurrence deux versions de pages afin d'en améliorer l'efficacité (optimiser le taux de transformation, le chiffre d’affaires, etc.). Les tests sont réalisés à l’aide d’un logiciel, souvent en mode SaaS (Software as a Service), qui s’assurera que les deux pages reçoivent un nombre de visiteurs identique et qui en analysera les résultats. Ainsi, on scinde les visiteurs en deux groupes (d’où le nom A/B) et on leur affiche à chacun une version de page différente. L'on suit alors le parcours des deux groupes en temps réel, et on regarde laquelle des deux donne le meilleur résultat par rapport à un objectif donné.
Grâce au test, et plus précisément lors de tests multivariés, il est possible de créer une multitude de combinaisons d’éléments sur une page web afin de tester la présentation, le contenu ou l’aspect général de celle-ci. Parmi ces éléments, l'on peut par exemple tester$^,$ :
* les boutons ;
* les images ;
* un texte ;
* la présence de vidéos ;
* la couleur ;
* la taille d'éléments ;
* l'efficacité d'une landing page ;
* les éléments d'une lettre d'information.

### Autres termes utilisés

* Test A/A : Vérifier la précision de l'outil statistique d'un module de test A/B.
* Test A/B : Comparer deux versions d’un même élément.
* Test A/Z : Comparer plus de deux versions d’un même élément.
* Test multivarié : Comparer plusieurs combinaisons d’éléments.
* Test multi-pages : Comparer des variations liées sur plusieurs pages.

### Exemple du testage dans la campagne 2008 de Barack Obama

Un exemple concret de testage peut être trouvé lors de la campagne présidentielle de Barack Obama en 2008. Les développeurs du site Internet de la campagne ont ainsi testé à la fois différents boutons, différentes images, et ont également testé l’influence de vidéos à la place des images.
Dans cette expérience, quatre boutons et six médias (trois images et trois vidéos) ont été combinés les uns aux autres de façon à obtenir 24 combinaisons différentes afin de déterminer laquelle permettait d’obtenir le taux de souscription le plus élevé.
La combinaison gagnante a obtenu un taux de souscription de 11,6 % alors que la page originale avait un taux de souscription de 8,26 %. Concrètement, la nouvelle page optimisée a permis d’obtenir 2 880 000 souscriptions supplémentaires donc autant d’adresses courriel. Cette technique a eu deux effets bénéfiques principaux : le nombre de bénévoles pour la campagne a augmenté proportionnellement aux souscriptions, et le nombre de donations a également augmenté.

## Applications
### Réseaux sociaux en ligne

Les tests A/B sont utilisés par les grands sites de réseaux sociaux tels que LinkedIn, Facebook et Instagram pour comprendre l'engagement des utilisateurs et leur satisfaction à l'égard des fonctionnalités en ligne, comme une nouvelle fonctionnalité ou un produit$^,$. Les tests A/B sont également utilisés pour mener des expériences complexes sur des sujets tels que les effets de réseau, lorsque les utilisateurs sont hors ligne, comment les services en ligne influencent les actions des utilisateurs et comment les utilisateurs s'influencent mutuellement.

### Commerce électronique

Sur un site de commerce électronique, le tunnel de vente est généralement un bon candidat pour les tests A/B, car même une réduction mineure du taux de rebond peut conduire à une augmentation significative des ventes. Parfois, on peut obtenir des améliorations significatives en testant des éléments tels que le texte, les mises en page, les images et les couleurs$^,$, mais pas toujours. Dans ces tests, les utilisateurs ne voient qu'une des deux versions, car le but est de découvrir laquelle des deux versions est préférable.

### Test des fonctionnalités de routage HTTP et API

Les tests A/B sont très courants lors du déploiement d'une nouvelle version d'une API$^,$. Pour tester l'expérience utilisateur en temps réel, un proxy HTTP inversé de niveau 7 est configuré de telle manière que N% du trafic HTTP est transmis à la nouvelle version de l'instance serveur, tandis que les 100-N% restants du trafic HTTP sont transmis à l'ancienne version (stable) de l'application HTTP serveur.

### Tarification des produits

Les tests A/B peuvent être utilisés pour déterminer le bon prix d'un produit, car c'est sans doute l'une des tâches les plus complexes lors du lancement d'un nouveau produit ou service$^,$. Les tests A/B (particulièrement pertinents pour les produits numériques) sont un excellent moyen de découvrir quelle catégorie de prix et quelle offre maximisent les revenus totaux.

## Comparaison des outils de test A/B

| Nom de l'outil | Entreprise | Plateformes | Tests multivariés | Campagnes email | Interface |
| AB Tasty | AB Tasty | Web et mobile | ✓ | ✗ | Graphique |
| BeamPulse | BeamPulse | Web | ✗ | ✗ | Graphique |
| Convertize | Convertize | Web | ✓ | ✗ | Graphique |
| Devatics | Devatics | Web et mobile | ✓ | ✓ | Service |
| Google Optimize | Google | Web | ✓ | ✗ | Graphique et API |
| Kameleoon | | Web | ✓ | ✓ | Graphique et API |
| Maxymiser | Oracle | Web et mobile | ✓ | ✓ | Graphique |
| Optimizely | Optimizely | Web et mobile | ✓ | ✗ | Graphique et API |
| Visual Website Optimizer | | Web | ✓ | ✓ | Graphique |
| Webtrends Optimize | | Web | ✓ | ✓ | Graphique et API |