Dans le domaine du CRO, l’AB Testing est devenu un outil incontournable pour évaluer et améliorer les performances Web & App. Cependant, il est essentiel de comprendre que même avec une méthodologie rigoureuse, les analystes et AB testeurs peuvent être affectés par un biais cognitif particulier : le biais de confirmation.

Ce biais peut conduire à des décisions erronées en privilégiant les résultats qui correspondent à nos attentes préexistantes et en négligeant ceux qui les contredisent. Nous aurons ainsi tendance à interpréter, rechercher et favoriser sélectivement les informations qui confirment nos croyances préexistantes ou nos hypothèses. Cela signifie que lorsqu’une personne a une idée préconçue sur un sujet, elle a plus de chances de voir ce qu’elle s’attend à voir et d’ignorer ou de minimiser les informations contradictoires.

Dans l’AB Testing, cela signifie que lorsqu’un analyste/testeur a une idée préconçue sur un sujet, il a plus de chances de voir ce qu’il s’attend à voir et d’ignorer ou de minimiser les informations contradictoires. Il peut être tentant de faire des impasses sur certains points méthodologiques de l’AB Testing pour penser gagner en temps et en efficacité, alors qu’en réalité cela pourrait se révéler contre-productif.

Dès lors, quels sont les impacts concrets du biais de confirmation dans l’AB Testing ? Et comment éviter les conclusions trompeuses et optimiser les décisions en les basant sur les données, et moins sur nos intuitions ?

Impact du biais de confirmation dans l’AB Testing

1) En amont du test 

Roadmap inefficace : Lors de la création de la roadmap pour les futurs AB tests, le biais de confirmation peut conduire à une sélection biaisée. Les décideurs peuvent être enclins à privilégier des tests qui valident leurs croyances préexistantes ou qui correspondent à leurs préférences personnelles. Ainsi, des tests structurants peuvent être ignorés au profit de tests à peu de valeur, ou à potentiel d’optimisation faible. 

2) Pendant le test

Ne pas savoir quand arrêter un test : Le biais de confirmation peut impacter l’arrêt du test. Le testeur pourra être enclin à stopper le test dès que les KPIs viendront valider ses croyances, au détriment de la significativité statistique. Au contraire, si le test ne va pas dans le sens de ses croyances, le test pourra tourner trop longtemps, ce qui comporte un risque de dilution des résultats. Dès lors, ces résultats peuvent être faussés et toutes les ressources investies pour planifier et lancer le test auront été inutiles. 

3) Après le test

Mal interpréter les résultats : Le biais de confirmation peut conduire à mal interpréter les résultats d’un test à plusieurs égards. L’analyste peut inconsciemment mettre l’accent sur les résultats qui soutiennent ses attentes préexistantes. Ainsi certains points précis de données peuvent être successivement sélectionnés pour l’analyse pour corroborer une hypothèse, au détriment des tendances générales contradictoires qui peuvent être ignorées. 

Implémentations de variations non justifiées : Lorsque le biais de confirmation influence la manière dont les résultats sont perçus, les testeurs peuvent avoir une confiance excessive dans la validité des résultats. Cela peut conduire à des décisions hâtives basées sur des résultats partiels ou non représentatifs. Cela peut également créer des désaccords au sein des équipes si un test clivant conduit à des décisions qui ne sont pas entièrement justifiées.
 

Persister à renouveler un test : Lorsque les résultats d’un test ne vont pas dans le sens de l’intuition du testeur, il peut être amené à renouveler un test avec une autre variation afin de vouloir confirmer son hypothèse initiale, au détriment du lancement d’autres tests plus pertinents.

Quelles solutions mettre en place pour atténuer ce biais ?

1) En amont du test 

Prioriser les tests grâce aux analyses : La roadmap CRO doit être majoritairement basée sur des insights, des données récoltées via des outils analytics, des AB tests précédents ou encore des tests utilisateurs. 

La sélection des tests doit répondre à des critères explicites qui peuvent amener à un scoring, grâce à un framework de priorisation (PIE par exemple). Cela permettra ainsi de grandement améliorer la pertinence des tests et de réduire la subjectivité de la planification. 

Définir les critères essentiels d’un test :  Avant le lancement d’un AB Test, il est essentiel de définir clairement l’hypothèse. Cela permet de réduire les interprétations biaisées des résultats et d’éviter de chercher rétrospectivement des relations qui n’avaient pas été envisagées au départ. Les KPIs principaux et secondaires doivent être eux aussi clairement identifiés en amont pour ce même souci d’interprétation et d’analyse. Enfin le MDE (Minimum Detectable Effect), la durée, le périmètre et l’objectif du test doivent être déterminés. 

Impliquer différentes expertises : Il est primordial d’impliquer plusieurs équipes (UX, PO, Dev, Marketing, etc.) aux différentes étapes de l’AB testing, et particulièrement à la planification. Définir une matrice RACI peut aider à identifier chaque partie prenante  des différentes phases de l’AB Testing. Une revue de backlog commune permettra par exemple d’identifier les opportunités et  les contraintes techniques liées au test. Être aidé de plusieurs experts différents contribue grandement à réduire le biais de confirmation. 

2) Pendant le test 

Respecter la significativité statistique : Le monitoring d’un test doit être principalement guidé par la significativité statistique. Cette formule mathématique permet d’établir la représentativité de l’écart entre deux variations et de savoir si les tendances observées sur les KPIs principaux peuvent être considérées comme tangibles. 

Arrêter un test au bon moment : La meilleure approche pour suivre un test est d’observer la stabilisation du KPI principal. Par exemple, le taux de conversion moyen : des courbes parallèles et horizontales indiquent que faire durer le test plus longtemps n’apporterait pas plus d’information.

Illustration : Stabilisation du taux de conversion moyen en cumulé (J1, J1+J2, J1+J2+J3, etc.)

La significativité statistique est à mettre en corrélation avec le MDE (Minimum Detectable Effect) qui doit être déterminé en amont du test. Cela permet d’éviter les risques d’effets yoyo de la significativité statistique (data peaking) pendant le test.

3) Après le test 

Analyser rigoureusement les résultats :  Il est crucial de prendre en compte l’ensemble des données recueillies lors de l’essai A/B, y compris les métriques secondaires. Cela permet de s’assurer que toutes les informations pertinentes sont prises en compte dans l’analyse.

Accepter et intégrer les résultats contre-intuitifs : Le propre de la démarche CRO et de l’expérimentation est d’accepter d’aller contre ses propres intuitions. Dans le cadre de l’analyse d’un AB Test, cela sera gage d’intégrité intellectuelle et de prise de décision éclairée, permettant d’optimiser véritablement les résultats et d’atteindre les objectifs fixés.

Évangélisation de la démarche CRO  : Il est important de communiquer à tous les interlocuteurs l’importance et la valeur des tests qui peuvent avoir des résultats négatifs ou inattendus. Ainsi la démarche CRO sera de plus en plus acceptée et comprise par l’ensemble des parties prenantes, ce qui permettra d’éviter les principaux risques liés au biais de confirmation. 

Conclusion

Bien qu’éviter totalement le biais de confirmation soit impossible, il est néanmoins impératif de l’appréhender afin d’éviter les principaux écueils dans le cadre l’AB Testing et de l’expérimentation.  Savoir élargir son champ de vision en partageant les décisions avec les équipes est primordial pour diffuser la culture CRO et faciliter le processus d’optimisation. Appliquer une méthodologie rigoureuse, en s’appuyant sur des outils et frameworks pertinents seront gages de qualité. Par exemple, le développement de l’IA générative peut être une piste pour apprendre de tous les tests et de leurs résultats, pour aider les équipes à confirmer leurs hypothèses et à prendre des décisions. 

Photo by fauxels: https://www.pexels.com/photo/top-view-photo-of-people-near-wooden-table-3183150/