Lorsque vous entendez ‘A/B Testing’, pensez-vous immédiatement à un gain de revenus ? Une augmentation ? Un résultat en euros ?
Selon David Mannheim, PDG de l’agence Conversion Rate Optimization (CRO) User Conversion, c’est probablement le cas – et vous ne devriez pas. Voici pourquoi :
Malheureusement, ce n’est pas si simple.
L’expérimentation est plus qu’une simple stratégie rapide pour augmenter votre ROI.
Dans cet article, nous aborderons les raisons pour lesquelles nous expérimentons, les défis liés à l’évaluation du retour sur investissement (ROI), la hiérarchisation des priorités et de ce qu’est réellement l’expérimentation.
Pourquoi expérimenter ?
Techniquement parlant, l’expérimentation est réalisée pour confirmer ou infirmer une hypothèse. L’expérimentation vous fournit des informations précieuses sur les relations de cause à effet en déterminant le résultat d’un certain test lorsque différents facteurs sont manipulés dans un cadre contrôlé.
En d’autres termes, s’il n’y a pas d’expérimentation, il n’y a aucun moyen de réfuter une hypothèse et de réduire le risque de perdre des opportunités ou d’avoir un impact négatif sur les mesures.
L’expérimentation consiste à établir des priorités, à minimiser les risques et à tirer des enseignements des résultats. Les tests que vous choisissez d’implémenter doivent être élaborés en conséquence. Il ne s’agit pas nécessairement de prendre la « bonne » ou la « mauvaise » décision, l’expérimentation vous aide à prendre de meilleures décisions sur la base des données.
En termes visuels, l’expérimentation ressemble à quelque chose comme ceci :
Les expériences en ligne doivent être soigneusement conçues pour apprendre, atteindre un objectif spécifique et/ou mesurer un indicateur de performance clé qui peut ne pas avoir d’effet financier immédiat.
Cependant, bien trop souvent, ce sont les principales parties prenantes (ou HIPPO) qui décident des tests à mettre en œuvre en premier.
Leur principale préoccupation ? Le temps qu’il faudra pour constater une nette augmentation des revenus.
Cette tendance nous amène à la théorie suivante :
Le retour sur investissement de l’expérimentation est impossible à atteindre parce que le secteur est conditionné à penser que les tests A/B ne concernent que le gain.
Frustrations et défis des attentes de ROI
À ce stade, vous vous demandez peut-être ce qu’il y a de mal à attendre des tests A/B une augmentation des revenus. N’est-il pas normal d’attendre un retour sur investissement clair ?
C’est normal, mais le problème n’est pas aussi simple.
Nous avons été conditionnés à attendre une formule claire avec une solution nette et précise : « Nous avons investi X, nous devons obtenir Y. »
Il s’agit là d’un mythe trompeur du CRO qui fait obstacle.
Les parties prenantes en sont venues à croire, à tort, que chaque test qu’elles effectuent doit fonctionner de la sorte, ce qui a créé des attentes irréalistes en matière de retour sur investissement pour ceux qui pratiquent l’optimisation des conversions.
Comme vous pouvez l’imaginer, cette façon de penser est source de frustration pour ceux qui implémentent des tests en ligne.
Ce que les gens négligent souvent, c’est la complexité du contexte dans lequel ils effectuent leurs tests d’expérimentation et évaluent leur ROI.
Il n’est pas toujours possible de mesurer avec précision tout ce qui se passe en ligne, ce qui rend pratiquement impossible l’attribution d’un chiffre exact.
Bien que l’identification de l’impact des expériences puisse être un véritable défi en raison de la complexité du contexte, il existe certains outils en ligne qui permettent de mesurer vos efforts de ROI aussi précisément que possible.
AB Tasty est un exemple d’outil d’A/B test qui vous permet de mettre rapidement en place des tests avec une implémentation low-code de changements front-end ou UX sur vos pages web, de recueillir des informations via un tableau de bord ROI et de déterminer quelle route augmentera vos revenus.
Outre la frustration qui découle du fait que l’on s’attend à ce que le ROI se concentre sur l’amélioration financière immédiate, trois des plus grands défis du ROI de l’expérimentation sont les prévisions, le travail avec des moyennes et les tests multiples en même temps.
Challenge #1: Les Prévisions
Le premier défi de l’évaluation du retour sur investissement de l’expérimentation est la prévision. Un grand nombre de facteurs influencent la capacité d’un analyste à prévoir avec précision l’augmentation des revenus d’un test donné :
- Stratégie de trafic payant
- Marketing en ligne et hors ligne
- Newsletters
- Offres
- Bugs
- Évolution du trafic des appareils
- Saison
- Ce que font vos concurrents
- Facteurs sociétaux (Brexit)
En ce qui concerne l’estimation des revenus pour l’année suivante à partir d’une seule expérience, il est impossible de prévoir un chiffre exact. Il est seulement possible de prévoir une tendance du retour sur investissement ou une moyenne attendue.
Il n’est pas réaliste d’attendre une prédiction parfaitement exacte et précise pour chaque expérience que vous menez – le contexte de chaque expérimentation en ligne est trop complexe.
Challenge #2: Travailler avec les moyennes
Le problème suivant est que votre équipe CRO travaille avec des moyennes – en fait, les moyennes des moyennes.
Supposons que vous ayez mené une excellente expérience sur un segment d’audience spécifique et que vous ayez constaté une forte augmentation du taux de conversion.
Si vous examinez ensuite votre taux de conversion global pour l’ensemble de votre site, il y a de fortes chances que cette augmentation soit engloutie dans les données moyennes.
Votre vague de revenus se sera réduite à une ondulation indétectable. Et c’est un problème majeur lorsqu’on essaie d’évaluer le taux de conversion global ou l’augmentation des revenus – il y a trop de facteurs externes pour obtenir une image précise.
Avec les moyennes, le résultat final est que vous déplacez une moyenne. Les moyennes rendent très difficile l’obtention d’une compréhension claire.
En moyenne, un client moyen, exposé à un test A/B moyen, aura une performance… moyenne.
Challenge #3: Les tests multiples
Le troisième défi des attentes en matière de ROI survient lorsque vous souhaitez mener plusieurs expériences en ligne en même temps et essayer d’agréger les résultats.
Là encore, il est tentant d’exécuter des équations mathématiques simples pour obtenir une réponse claire et nette pour votre gain, mais la réalité est plus compliquée que cela.
En regroupant plusieurs expériences et les résultats de chaque expérience, vous obtiendrez des résultats flous.
Cela fait du calcul du retour sur investissement de l’expérimentation un cauchemar pour ceux qui effectuent simultanément des tests. Garder les expériences et leurs résultats respectifs séparés est la meilleure pratique lorsque l’on effectue plusieurs tests.
Faut-il toujours donner la priorité aux revenus ?
La meilleure mentalité consiste-t-elle à privilégier les revenus ? Lorsque l’on prend du recul et que l’on y réfléchit, il n’est pas logique que les CRO managers s’attendent à ce que le gain de revenus, et uniquement le gain de revenus, soit le principal indicateur de réussite de l’ensemble de leur programme d’expérimentation.
Que se passerait-il si toutes les entreprises donnaient toujours la priorité aux revenus ?
Cela signifierait qu’il n’y aurait pas de retours gratuits pour un site e-commerce (les retours n’augmentent pas le gain !), pas de bonbons gratuits dans l’emballage de livraison (pensez à ASOS), les photos de produits les moins chères sur le site, etc.
Si vous deviez privilégier le gain immédiat de revenus (comme les parties prenantes veulent si souvent le faire dans un contexte d’expérimentation) les implications sont encore plus indésirables.
Prenons quelques exemples : vous offrirez le service clientèle le plus dérisoire pour réduire les coûts, vous pousserez sans cesse des offres d’achat immédiat, vous ferez des remises sur tout et vous oublierez toute initiative de fidélisation à la marque. Faut-il continuer ?
En bref, si l’on se concentre trop sur un gain de revenu immédiat et clairement mesurable, on cannibalise inévitablement l’expérience client. Et ceci, à son tour, diminuera vos revenus à long terme.
A quoi doivent servir les tests A/B ?
Une chose importante que les champions de l’expérimentation peuvent faire est de travailler avec des métriques binomiales.
Évitez le flou et une grande partie de la complexité en effectuant des tests qui visent à vous donner une réponse oui/non, noire ou blanche.
De même, soyez extrêmement clair et délibéré avec votre hypothèse, et soyez avisé avec vos métriques secondaires : utilisez l’expérimentation pour éviter les pertes, minimiser les risques, etc.
Mais la meilleure chose que vous puissiez faire est peut-être de modifier vos attentes.
Au lieu de dire que l’expérimentation doit infailliblement conduire à un gain de revenu net, à chaque fois, vous pourriez commencer à dire que l’expérimentation nous permettra de prendre de meilleures décisions.
Ces meilleures décisions, combinées à tous les autres efforts déployés par l’entreprise, feront évoluer votre entreprise dans une meilleure direction, celle d’un gain de revenus.
La théorie du ROI de l’expérimentation
Dans cette optique, nous pouvons modifier légèrement la théorie initiale du ROI de l’expérimentation :
Le ROI de l’expérimentation est difficile à atteindre et doit être contextualisé pour les différentes parties prenantes et entreprises. Nous ne devrions pas nous éloigner complètement d’un mode de pensée basé sur le signe de l’euro, mais nous devrions lui enlever la priorité. « Le revenu d’abord » n’est pas la meilleure mentalité dans tous les cas – surtout dans des situations aussi complexes que le calcul du ROI des expérimentations.
