La compréhension de la puissance statistique, ou « sensibilité » du test, est une partie essentielle de la planification avant un test A/B. Cela permet d'implémenter davantage de changements sur le site pour augmenter les revenus.
Qu'est-ce que la puissance statistique
Avant d'aborder les composants de la puissance statistique, il est important de comprendre les deux types d'erreurs et comment les éviter.
Deux types d'erreurs
Erreur de type I
En termes simples, le test indique une différence entre les variantes, alors qu'en réalité il n'y en a pas. Cela résulte du fait que le test échappe au contrôle en raison d'erreurs ou de hasards.
La probabilité d'erreur de type I, notée par la lettre grecque alpha (α), se réfère au niveau qui est déjà significatif pour un test A/B. Si un test a un niveau de confiance de 95%, cela signifie que les 5% restants représentent la probabilité d'une erreur de type I (1,0 - 0,95 = 0,05).
Si 5% est trop élevé, vous pouvez réduire la probabilité de résultat faux positif en augmentant le niveau de confiance à 99% ou plus. Dans ce cas, la probabilité d'erreur de type I diminuera de 5% à 1%. Cependant, une telle réduction de probabilité comporte certains risques.
Augmenter le niveau de confiance augmente la possibilité d'erreur de type II. Il existe une relation inversement proportionnelle entre l'erreur alpha et bêta : réduire une erreur augmente l'autre, et vice versa.
Réduire le niveau d'erreur alpha (par exemple, de 5% à 1%) réduit la puissance statistique de votre test. La zone critique devient plus petite, et plus elle est petite, moins la probabilité de rejeter l'hypothèse nulle est élevée, et donc moins la puissance est élevée. Par conséquent, si vous avez besoin de plus de puissance, vous pouvez, par exemple, augmenter le risque d'erreur alpha (par exemple, de 5% à 10%).
Plus la zone critique est petite, plus le niveau de puissance statistique est faible
Erreurs de type II
La probabilité de commettre une erreur de type II, ou erreur bêta (β), est inversement proportionnelle à la puissance statistique (1 - β). Si le risque d'erreur de type II (β) est de 20%, la puissance statistique sera de 80% (1,0 - 0,2 = 0,8). Il est possible de réduire le risque de résultat faussement négatif à 5-10%, ce qui porterait la puissance statistique à 90-95%.
Le niveau de puissance choisi contrôle les erreurs de type II : plus le niveau de puissance est élevé, moins la probabilité d'erreur de type II est élevée. Comme les erreurs alpha et bêta sont inversement proportionnelles, des tests menés avec des valeurs extrêmement faibles d'erreurs alpha (par exemple, 0,001%) augmenteront considérablement le risque d'erreur de type II.
La puissance statistique a un effet inverse sur les erreurs de type II. Elle permet de contrôler les résultats faussement négatifs probables. L'objectif est de réduire le risque d'erreurs de type I à un niveau acceptable tout en maintenant une puissance significative pour détecter les améliorations.
Trouver le bon équilibre est tout un art. Si l'une de vos variantes est meilleure, un test correctement conçu permettra de le détecter. Mais si la puissance du test est insuffisante, vous risquez de rejeter à tort une bonne option.
Quels sont les facteurs qui influent sur cet équilibre en matière de puissance statistique ? Examinons-les.
Variables influençant la puissance statistique
En examinant chaque variable qui affecte la puissance statistique, gardez à l'esprit que l'objectif principal est de contrôler le degré d'erreurs. Il y a quatre facteurs que vous pouvez ajuster :
La taille de l'échantillon.
L'effet minimum détectable (MDE).
Le niveau de signification (α).
Le niveau de puissance souhaité (le niveau implicite d'erreur de type II).
1. Taille de l'échantillon
Chaque variante et segment analysé doit avoir un nombre suffisamment important d'utilisateurs. Pour garantir une bonne puissance statistique des tests en permanence, il est nécessaire de planifier la taille de l'échantillon à l'avance. Sinon, vous risquez de ne pas remarquer qu'il y a trop de variations et de segments. Si vous vous en rendez compte à un stade tardif, vous obtiendrez finalement après le test de nombreux groupes avec un petit nombre d'utilisateurs.
Prévoyez d'obtenir un résultat statistiquement significatif dans un laps de temps raisonnable — pas moins d'une semaine ou d'un cycle commercial. Il est généralement recommandé de mener des tests pendant 2 à 4 semaines. Si vous le faites plus longtemps, vous pourriez rencontrer des problèmes liés à la « pollution » de l'échantillon et à la suppression des cookies.
Il est conseillé de définir une taille minimale d'échantillon et de fixer des délais à l'avance. Vous éviterez ainsi une erreur courante : mener un test A/B « à l'aveugle » et le terminer avant d'obtenir une différence statistiquement significative.
2. Effet minimum détectable (MDE)
Il est difficile de détecter de petites différences, et cela nécessite un échantillon plus important. Un effet significatif peut être détecté avec des tailles d'échantillon plus petites. Cependant, ces « améliorations » basées sur de petits échantillons peuvent s'avérer peu fiables.
Le problème est qu'il n'y a pas de taille d'échantillon fixe, donc le niveau nominal et la fourchette des valeurs auxquels on peut faire confiance sont peu fiables.
S'il existait une règle pour savoir quand s'arrêter, ou s'il existait une fourchette claire de tailles d'échantillon, une amélioration de 500% sur la base d'un très petit échantillon serait probablement accompagnée d'un niveau de confiance de 95% de probabilité de +5% à +995%.
3. Niveau de signification
Le résultat d'un test est considéré comme statistiquement significatif si l'hypothèse nulle est supposée être fausse.
On peut simplifier cette définition en expliquant plus simplement : si un test A/B pour deux pages de destination peut être fait avec une confiance de 95 % en faveur d'une variante, il y a seulement une probabilité de 5 % que l'amélioration observée soit le résultat du hasard, ou une probabilité de 95 % que la différence ne soit pas due au hasard.
5 % est le niveau de signification initialement accepté dans un test en ligne, et comme mentionné précédemment, c'est aussi la probabilité de commettre une erreur de type I. Un alpha de 5 % signifie que vous acceptez une probabilité de 5 % de rejeter à tort l'hypothèse nulle.
Si vous réduisez le niveau alpha de 5 % à 1 %, vous augmentez en même temps la probabilité de commettre une erreur de type II, toutes choses égales par ailleurs. Et augmenter le risque de commettre une erreur de type II réduit l'efficacité du test.
4. Niveau de puissance souhaité
Avec une puissance de 80 %, il y a une probabilité de 20 % de ne pas détecter une différence réelle. Si 20 % est un risque trop élevé pour vous, vous pouvez réduire cette probabilité à 10 %, 5 % ou même 1 %, ce qui augmentera la puissance statistique à 90 %, 95 % ou 99 % respectivement.
Alors quelle puissance avez-vous vraiment besoin ? Le niveau de risque acceptable de faux négatifs dans l'optimisation de la conversion est considéré comme étant de 20 % avec un niveau de puissance correspondant de 80 %.
Il n'y a pas de norme stricte établie à 80 % de puissance, mais c'est un juste équilibre entre le risque d'erreurs alpha et bêta.
quel est le risque acceptable pour vous lorsque vous pourriez réellement manquer une amélioration significative ;
quelle est la taille minimale de l'échantillon nécessaire pour atteindre la puissance désirée pour chaque variante.
Comment calculer la puissance statistique pour un test
Vous pouvez utiliser une calculatrice de tests A/B. Vous devez entrer les valeurs et déterminer quelle taille d'échantillon est nécessaire pour une puissance de test adéquate. Si trois des valeurs sont connues, vous pouvez calculer la quatrième.
Par exemple, vous avez déterminé qu'une taille d'échantillon de 681 clients est nécessaire pour chaque variante. Le calcul a été effectué sur la base des données suivantes : une puissance de test de 80 % et un alpha de 5 % (95 % de signification statistique). Vous saviez que le taux de conversion dans le groupe témoin était de 14 % et vous vous attendiez à ce que la variante ait un taux de 19 %.
Calcul de la taille de l'échantillon
De la même manière, si vous connaissez la taille de l'échantillon pour chaque variante, l'alpha et le niveau de puissance souhaité (par exemple, 80 %), vous pouvez trouver la taille minimale de l'effet MDE nécessaire pour atteindre cette puissance, dans ce cas - 19 %.
Calcul de l'effet minimal détectable (EMD)
Que faire si augmenter la taille de l'échantillon n'est pas possible
Il peut arriver que vous ayez besoin de plus de puissance, mais augmenter la taille de l'échantillon n'est pas possible : par exemple, le segment à l'intérieur du test est trop petit, ou la fréquentation de la page est trop faible.
Par exemple, vous saisissez vos paramètres dans une calculatrice de test A/B, et elle demande une taille d'échantillon de plus de 8 000.
Déterminer la taille de l'échantillon nécessaire
Si vous ne pouvez pas atteindre ce minimum, ou si cela prendra de nombreux mois, une option serait d'augmenter le MDE. Dans cet exemple, augmenter le MDE de 10 % à 25 % réduit la taille de l'échantillon à 1 356 pour chaque variante.
Augmentation de l'EDM pour obtenir la taille d'échantillon souhaitée
Mais est-il vraiment courant d'atteindre un MDE de 25 % ? Et dans quelle mesure la qualité sera-t-elle réduite ? Dans ce cas, la meilleure solution serait de réduire le niveau de confiance à 90 % à condition d'être prêt à prendre un risque de 10 % d'erreur de type I.
Niveau de confiance réduit pour obtenir la taille d'échantillon requise
Par où commencer ? Les analystes commencent d'abord par se fixer sur la taille de l'échantillon (le test doit être terminé dans un délai de N semaines) et ajustent ensuite arbitrairement les autres valeurs jusqu'à ce que le résultat leur convienne.
une planification réfléchie pour déterminer quelles valeurs ajuster exactement ;
tirer parti des mesures potentielles de variation du ROI pour tout changement dans les variables testées.
Conclusion
La puissance statistique aide à surveiller les erreurs, confirme les résultats des tests et augmente considérablement la probabilité de détecter des facteurs d'efficacité pratiquement significatifs.
Menez des tests pendant 2 à 4 semaines.
Utilisez une calculatrice de test pour calculer la puissance de test correcte.
Respectez les exigences minimales en matière de taille d'échantillon.
Si nécessaire, testez des changements plus significatifs et observez leur efficacité.
Utilisez la signification statistique uniquement après avoir satisfait aux exigences minimales en matière de taille d'échantillon.
Planifiez une puissance adéquate pour toutes les variantes et menez ensuite des tests de segments.
Vous êtes peut-être intéressé :
Pour ceux qui veulent mettre en œuvre la vente croisée et augmenter la valeur moyenne des commandes.
Pour ceux qui recherchent de nouvelles façons de promouvoir leur entreprise sur Instagram. Reels, Influenceurs, UGC.
Découvrez les résultats obtenus par le cinéma en ligne grâce à la plateforme Altcraft.
N'oubliez pas de vous abonner à la newsletter du blog
Pour rester informé de toutes les nouveautés et lire les nouveaux articles, rejoignez le canal Telegram Craft Marketing
