Ce matin, je montrais à Laurent deux versions d’un formulaire de devis. La plus courte avait reçu quatre demandes de plus.

Il m’a demandé : « Est-ce assez pour changer le formulaire ? » C’est la question à laquelle doit répondre un test A/B.

L’A/B testing compare deux versions d’une page, d’un email ou d’un autre contenu. Les participants sont répartis au hasard entre les versions, puis leurs résultats sont comparés selon un indicateur défini à l’avance.

Ma définition de l’A/B testing

La version A sert de référence. La version B introduit le changement que vous souhaitez évaluer.

Les deux versions sont testées sur la même période, dans des conditions comparables. Chaque participant est affecté à une seule version.

Testez une modification isolée si vous voulez en mesurer l’effet. Si vous comparez deux pages entièrement différentes, le résultat porte sur l’ensemble des changements.

À quoi sert un test A/B en marketing ?

Utilisez le test A/B pour trancher une décision : raccourcir un formulaire, reformuler un appel à l’action ou modifier l’objet d’un email.

Choisissez un indicateur lié à votre objectif. Pour un formulaire de devis, suivez les demandes qualifiées par visiteur plutôt que les seuls envois.

Exemple B2B : quatre demandes de plus, faut-il raccourcir le formulaire ?

Imaginons une PME qui retire le champ « Budget prévu » de son formulaire de devis. Elle répartit 800 visiteurs au hasard entre les deux versions.

  • Version A : 12 demandes sur 400 visiteurs, soit 3 %.
  • Version B : 16 demandes sur 400 visiteurs, soit 4 %.

Après qualification, les commerciaux retiennent 8 demandes dans chaque groupe. Le taux de demandes qualifiées atteint donc 2 % pour les deux versions.

Le formulaire court arrive en tête sur les envois. À ce stade, les données ne montrent aucun gain sur l’indicateur principal.

Comment mener un test A/B fiable ?

  1. Formulez votre hypothèse : quel changement testez-vous et quel résultat attendez-vous ?
  2. Fixez l’indicateur principal et l’amélioration minimale qui justifierait un déploiement.
  3. Calculez l’échantillon nécessaire selon votre taux de départ et l’écart recherché. Estimez la durée avec le trafic disponible.
  4. Vérifiez la répartition et le suivi : attribuez les versions au hasard et enregistrez les conversions de la même façon.
  5. Respectez la règle d’arrêt prévue et laissez le temps aux commerciaux de qualifier les demandes avant de conclure.

Le cours de Penn State sur les plans d’expérience explique pourquoi les petits écarts exigent généralement davantage d’observations.

Mon conseil : si les données ne tranchent pas, notez « test non concluant ». Une variante en tête n’a pas forcément démontré son avantage.