Un test A/B repose sur trois piliers : une hypothèse nulle (H_0) clairement formulée, une randomisation correcte des utilisateurs entre variantes, et une taille d’échantillon suffisante pour détecter un effet avec une puissance statistique acceptable. En pratique, il faut définir l’hypothèse avant le test, répartir aléatoirement les sujets, puis calculer à l’avance combien d’observations sont nécessaires pour obtenir des résultats interprétables.
- Hypothèses : en test A/B, l’hypothèse nulle est généralement qu’il n’y a pas de différence entre les variantes, et l’on cherche à la rejeter si les données observées sont suffisamment incompatibles avec (H_0).
- Randomisation : l’affectation aléatoire aux groupes de test et de contrôle permet d’obtenir une estimation non biaisée de l’effet moyen du traitement et renforce la validité interne. Les sources méthodologiques indiquent aussi que, lorsque les groupes sont de taille égale, la puissance statistique est généralement maximale pour rejeter (H_0).
- Taille d’échantillon : elle doit être fixée avant le lancement du test, car la puissance dépend du volume observé, de l’ampleur de l’effet attendu et du niveau de puissance visé. Une puissance de 80 % est souvent utilisée comme standard pratique, mais elle implique soit un échantillon plus grand, soit un effet plus fort, soit une durée de test plus longue.
Pour choisir la taille d’échantillon, les guides pratiques recommandent de partir des taux de conversion historiques ou d’un volume d’événements passé, puis de calculer à l’avance le nombre d’unités nécessaires par variante. Un guide opérationnel avertit qu’il faut être prudent si l’on dispose de moins de 250 à 350 conversions par variante dans un segment, car les résultats deviennent plus fragiles.
Dans le cas des tests e-mail, un volume d’environ 1 000 contacts est présenté comme un seuil utile ; en dessous, la part de la base à tester peut devenir très élevée, ce qui limite l’intérêt pratique du test. Quand l’échantillon est trop petit, un partage 50/50 entre les deux variantes peut donner une comparaison plus lisible, même si la portée des conclusions reste limitée.
Si vous voulez, je peux aussi vous donner une version très synthétique, ou un exemple chiffré de calcul d’hypothèse, de randomisation et de taille d’échantillon pour un A/B test.
