Méconnu et sujet à de vives discussions sur son utilité, l’A/A Testing apporte pourtant une vraie valeur ajoutée pour ceux qui cherchent à intégrer une solution d’A/B Testing avec rigueur et précision.
Mais avant toute chose …
Qu’est-ce que l’A/A Testing ?
L’A/A Testing est un dérivé de l’A/B Testing. Cependant, au lieu de comparer deux versions différentes (de votre page d’accueil, par exemple), on compare ici deux versions identiques.
Deux versions identiques ? Oui !
L’objectif principal d’un A/A Testing est simple : vérifier que la solution d’A/B Testing a été correctement configurée et est efficace.
On utilise l’A/A Testing dans 3 cas :
- Pour vérifier l’exactitude de l’outil d’A/B Testing
- Pour définir un taux de conversion de référence pour de futurs tests
- Pour statuer sur une taille optimale d’échantillon pour les tests A/B
1. Vérifier l’exactitude de l’outil d’A/B Testing
Lorsqu’on effectue un test A/A, on compare donc 2 versions strictement identiques d’une même page.
Logiquement, le but d’un test A/A est d’afficher des valeurs similaires en termes de conversion. L’idée étant ici de prouver que la solution de test est efficace.
En toute logique, on organisera donc un A/A Test lorsque on met en place une nouvelle solution d’A/B Test ou que l’on passe d’une solution à une autre.
Cependant, il arrive qu’un « gagnant » soit déclaré sur deux versions pourtant identiques. Il faut donc chercher à comprendre « pourquoi » et c’est là tout l’intérêt de l’A/A Testing.
- Le test peut ne pas avoir été conduit correctement
- L’outil peut ne pas avoir été bien paramétré
- La solution d’A/B Testing peut être inefficace.
2. Définir un taux de conversion de référence
Imaginons que vous souhaitiez mettre en place une série d’A/B Tests sur votre page d’accueil. Vous paramétrez la solution mais un problème surgit : vous ne savez pas sur quel taux de conversion comparer les différentes versions.
Dans ce cas précis, un A/A Test vous aidera à trouver le taux de conversion « référence » pour vos futurs A/B Tests.
Exemple : Vous lancez un A/A Test sur votre page d’accueil pour laquelle votre objectif est le remplissage d’un formulaire de contact. En comparant les résultats, vous obtenez des résultats quasi-identiques (et c’est normal) : 5,01% et 5,05% de conversion. Vous pouvez désormais utiliser cette donnée avec la certitude qu’elle représente bien la réalité de votre taux de conversion et activer vos A/B Tests pour essayer de dépasser ce taux. Si vos A/B Tests vous indiquent qu’une « meilleure » variation réalise 5,05% de conversion, c’est qu’en réalité il n’y a pas de progrès.
3. Trouver une taille d’échantillon pour de futurs tests
Le problème lorsqu’on compare deux versions similaires, c’est le paramètre « chance ».
En effet, les tests étant formulés sur des bases statistiques, il existe bien une marge d’erreur qui peut influencer les résultats de vos campagnes d’A/B Testing.
Pour diminuer cette marge d’erreur, pas de secret : il faut souvent augmenter la taille de l’échantillon de trafic pour diminuer le risque que des facteurs aléatoires (dits « de chance ») viennent biaiser les résultats.
En effectuant un test A/A, vous pourrez donc « voir » à quelle taille d’échantillon la solution de test se rapproche le plus de « l’égalité parfaite » entre vos versions identiques.
En somme, un A/A test vous permet de trouver la taille d’échantillon pour laquelle le facteur « chance » est minimisé : vous pourrez donc vous servir de cette taille d’échantillon pour vos futurs tests en A/B. Cela dit, les tests A/B requièrent de façon générale une taille d’échantillon inférieure.
L’ A/A Testing : une perte de temps ?
La question fait débat dans le milieu de l’A/B Testing : faut-il oui ou non prendre le temps de faire de l’A/A Test avant de faire de l’A/B Test.
Et c’est là toute la question : le temps.
Faire des A/A Tests prend un temps et un trafic considérable
En réalité, faire des A/A Tests prend du temps, considérablement plus de temps que des A/B Tests car le volume de trafic nécessaire pour prouver que les deux « variations identiques » amènent au même taux de conversion est conséquent.
Le problème, selon ConversionXL, est que l’A/A Testing est chronophage et empiète sur du trafic qui pourrait être utiliser à conduire de « vrais tests », c’est à dire destinés à comparer deux variations.
Enfin, l’A/A Testing est beaucoup plus facile à mettre en place sur des sites à fort trafic.
L’idée étant que si vous dirigez un site qui se lance, ou un site à faible trafic, il est inutile de perdre votre temps à faire de l’A/A Test : concentrez-vous plutôt sur l’optimisation de votre tunnel d’achat ou sur votre Customer Lifetime Value : vous arriverez à des résultats beaucoup plus probants et surtout beaucoup plus intéressants.
Une alternative intéressante : la comparaison de données
Pour vérifier l’exactitude de votre solution d’A/B Testing, il existe un autre moyen simple à mettre en place. Pour cela, il faut que votre solution d’A/B Testing puisse intégrer une autre source de données analytiques.
En faisant cela, vous pourrez comparer les données et voir si elles pointent au même résultat : c’est une autre façon de vérifier l’efficacité de votre solution de test.
Si vous constatez des différences significatives de données entre les deux sources, vous savez que l’une des deux est :
- Soit mal paramétrée
- Soit inefficace et doit donc être changée
Vous avez aimé cet article ? Nous serions ravis d’échanger davantage avec vous.
