Un test A/B qui envoie 50/50 à tout le monde ne fait que mesurer

Sous 10 % de l'audience, l'échantillon ne dit rien ; au-delà de 50 %, il ne reste plus assez de monde pour que le gagnant serve à quelque chose. Même logique sur le temps : moins de deux heures d'observation et l'on désigne un vainqueur sur le bruit des premières minutes, qui favorise systématiquement la variante partie en premier.

• Part de test bornée entre 10 et 50 %
• Délai d'observation entre 2 heures et 7 jours
• Exactement deux variantes : une seule n'est pas un test
• Valeurs aberrantes corrigées à l'enregistrement, pas au dépouillement

Une variante ne remplace que les champs que vous renseignez. Tester un objet ne demande pas de dupliquer le contenu : vous écrivez deux objets, le reste est commun, et le résultat est interprétable. Si vous changez l'objet et le contenu en même temps, vous saurez qu'une version marche mieux sans savoir pourquoi.

• Objet, texte de prévisualisation ou contenu
• Seuls les champs renseignés diffèrent
• Variante A prise comme référence en cas d'égalité
• Libellé libre pour chaque variante

Au moment de la désignation, le verdict est écrit : l'écart mesuré, ou la raison d'une désignation par défaut. Et sous 200 destinataires testés, l'écart entre deux variantes n'est statistiquement pas interprétable : le test se fait quand même, mais le rapport le signale. Mieux vaut un doute annoncé qu'une fausse certitude.

• Verdict rédigé, avec l'écart constaté
• Avertissement sous 200 destinataires testés
• Horodatage de la désignation
• Le clic comme métrique la plus fiable