Outils de test : les meilleurs programmes pour les tests A/B

Bien exploiter un site Web est une entreprise complexe : il n’existe pas de recette miracle pour parvenir à toujours attirer des visiteurs sur votre site et générer des conversions. Se concentrer uniquement sur les besoins des utilisateurs est sans aucun doute indispensable et ce sur quoi il faut accorder sans relâche la plus haute des priorités. Qu’il s’agisse de la navigation sur le site Web, du contenu publié ou des initiatives marketing, plus vous étudierez avec précision l’impact des modifications apportées à votre site Web sur la satisfaction des utilisateurs, et plus vous aurez de chances d’atteindre le résultat souhaité.

Heureusement, vous n’êtes pas seul quand il s’agit de développer des éléments de votre site ou des campagnes efficaces et agréables pour les utilisateurs : il existe des outils techniques pratiques qui simplifient grandement les optimisations de sites Web. Ainsi, le test A/B (également appelé test « split ») permet de mesurer l’impact de deux concepts différents. Avec le test A/B, l’une des versions est présentée aux internautes afin d’évaluer leurs réactions. Mais la manière dont ces tests sont mis en place et évalués dépend en grande partie des outils de test A/B utilisés.

Pourquoi les outils de test A/B ?

De plus en plus d’exploitants de sites Web et spécialistes du marketing profitent de ces outils pour mesurer la performance des différentes versions de leurs pages, publicités, etc. et pour optimiser au maximum leur projet. Dans le secteur publicitaire et l’e-commerce, les tests split sont particulièrement populaires. Il n’est donc pas étonnant de constater que le marché offre un vaste choix d’outils de test, avec un large éventail de fonctionnalités et de modèles de prix. Des applications les plus simples aux solutions complexes avec des services complets, vous pourrez sans aucun doute trouver chaussure à votre pied.

Les différents outils diffèrent non seulement de par l’étendue des tests (nombre d’utilisateurs, durée, etc.), les services supplémentaires offerts (analyse, conseil, assistance, etc.), mais aussi, bien sûr, par leurs fonctions. Entre autres choses, les outils de tests de sites Web peuvent avoir les caractéristiques techniques suivantes :

  • Création de plusieurs comptes possible / impossible
  • Connexion simultanée possible / impossible
  • Segmentation des utilisateurs (ciblage) possible / impossible
  • Visualisation des données d’essai
  • Options d’exportation des données des tests
  • Notifications par courriel
  • Interfaces (CMS, logiciels d’analyse, systèmes boutiques)
  • Spécification de plusieurs objectifs de conversion possible / impossible
  • Heatmap / Clickmap
  • Archivage des données d’essai

Aperçu des outils de test A/B pour site Web

La décision pour choisir tel ou tel outil de test est bien sûr aussi une question de prix, étant donné les sommes à quatre chiffres qui peuvent parfois être demandées mensuellement aux entreprises. Toutefois, votre choix va également dépendre des savoir-faire de vos employés dans l’entreprise : par exemple, si aucun de vos collaborateurs ne sait comment mettre en place un test A/B pour vos projets Web, ou analyser les données des tests déterminés, il sera préférable de choisir un outil avec des fonctions très intuitives et un bon service d’aide. Il peut être autrement utile de recourir périodiquement au soutien d’une agence externe, au lieu d’adhérer aux services d’un fournisseur très onéreux.

Ceci dit, si vous souhaitez laisser une chance aux logiciels disponibles, notre vue d’ensemble ci-dessous va pouvoir faciliter votre sélection. Dans le cadre de cet article, nous vous présentons quelques applications intéressantes pour l’optimisation de sites Web sur la base de tests A/B.

Adobe Target

Depuis 2012, Adobe a regroupé divers produits pour le marketing en ligne et l’analyse Web avec Adobe Marketing Cloud. Parmi ces outils, on trouve l’outil de test A/B Adobe Target qui peut être acheté dans le cadre de l’offre marketing globale ou individuellement. Les coûts de la solution Enterprise sont calculés individuellement à partir du nombre annuel de visiteurs du site Web. En tant qu’exploitant du site Web, vous devez donc fournir une estimation réaliste au début du contrat, qui sert de base au calcul du prix. Pour des tests et des analyses plus détaillés basés sur des caractéristiques utiles ou cibles pertinents, nous vous recommandons de vous connecter à Adobe Analytics.

Adobe Target s’adresse aussi bien aux débutants qu’aux professionnels avec les tests A/B. L’outil fournit quelques bonnes pratiques qui peuvent être utilisées comme base pour vos propres tests et qui peuvent être adaptées une à une. Le ciblage joue ici un rôle important : avec le programme, les groupes cibles sont déterminés en un rien de temps et les variantes souhaitées sont définies sur des lignes de code individuelles ou des zones entières du site Web. Des instructions étape par étape guident l’utilisateur tout au long du processus d’installation, ce qui serait autrement difficile à maîtriser, surtout lors de la première utilisation. L’outil de test permet d’effectuer des tests simultanément sur plusieurs pages ou plusieurs canaux et offre également des fonctions permettant de publier automatiquement et en temps réel des contenus optimisés. D’autres caractéristiques incluent :

  • Optimisations automatisées basées sur un ensemble défini de règles de merchandising (chiffres clés, seuils KPI).
  • Possibilité de promotions ciblées (bannières ou vidéos)
  • Intégration de fonctions d’analyse via Adobe Analytics
  • Optimisation du contenu mobile possible
  • Recommandations automatisées

L’interface Adobe Target est personnalisable. Vous pourrez avoir la main sur les affichages des différents rapports, graphiques et résumés quotidiens. Par ailleurs, plus le logiciel reçoit de données, et moins il vous sera nécessaire de vous soucier des spécifications pour les tests A/B : Adobe Target peut optimiser lui-même des campagnes à l’aide des données entrées par l’utilisateur mais aussi grâce à de puissants algorithmes. Par exemple, le processus de targeting analyse automatiquement toutes les données des tests pour ainsi disposer des informations nécessaires pour perfectionner la segmentation de la cible sur le long terme.

Pour Contre
Test/optimisation mobile possible Prix seulement sur demande
Auto-hébergement possible Prise en main difficile et lente

AB Tasty

En juin 2012, l’agence AB Tasty (anciennement Liwio), spécialisée dans la Web analytics, lança la première version de son logiciel du même nom pour aider les clients à vérifier rapidement et facilement leurs principes d’optimisation. Depuis lors, l’outil de test A/B a été continuellement amélioré avec notamment l’implémentation de nombreuses fonctions supplémentaires. Trois modèles d’abonnement « Starter », « Plus » et « Enterprise » sont disponibles. Les packs « Starter » (199 euros par mois) et « Plus » (349 euros par mois) ne se différencient que par le nombre de visiteurs enregistrés (50 000 et 100 000 respectivement). L’édition « Enterprise » (prix sur demande) n’est pas limitée sur les questions de trafic et offre un support premium et diverses fonctionnalités additionnelles.

AB Tasty s’avère être un outil de test A/B très clair et convivial. Les tests peuvent être créés rapidement et facilement, personnalisés puis gérés sous la rubrique « Tests ». Chaque projet d’analyse (auquel on se réfère toujours par un test ID) peut être démarré, mis en pause ou arrêté. De plus, l’utilisateur peut mettre en place l’affichage d’un rapport actif et l’exporter sous forme de fichier PDF ou Excel. Qu’il s’agisse d’un test pour un site Web sur ordinateur, pour un affichage sur mobile ou pour une application native, les modifications et paramétrages de la cible prennent effet dans toutes les versions du projet Web en une seule étape (possible toutefois que dans le pack Enterprise). Les utilisateurs d’AB Tasty bénéficient également des avantages suivants :

  • Nombre illimité de conversions définissables
  • Algorithme innovant « Clever Stats »
  • Nombre illimité de comptes utilisateur possible
  • Intégration facile d’applications tierces (outils d’analyse Web, systèmes CRM et DMP)

La gamme fonctionnelle des modèles « Starter » et « Plus » est plus que suffisante pour les tests A/B ordinaires des projets Web de petite ou moyenne envergure. Cependant, si vous voulez améliorer l’expérience utilisateur de sites Web ou d’applications avec des volumes de trafic très élevés, il peut être nécessaire de se tourner vers AB Tasty Enterprise : les utilisateurs de ce modèle d’abonnement peuvent non seulement tester les modifications dans les applications mobiles, mais aussi créer des tests multivariés et multipages. Vous pouvez également l’utiliser pour créer des heatmaps et gérer des droits d’accès aux tests individuels. L’édition Enterprise a également une longueur d’avance sur les deux autres modèles standard en matière de ciblage, avec plus de 100 critères natifs, permettant des campagnes encore plus ciblées.

Pour Contre
Interface claire Matériel de formation uniquement inclus dans le package Enterprise
Très bon service d’assistance support  

Optimizely X Web Experimentation

Depuis 2016, la société Optimizely basée à San Francisco propose son propre outil pour les tests A/B avec « X Web Experimentation ». Déjà depuis 2007, l’agence aide les exploitants de sites Web, les développeurs, les spécialistes du marketing et les chefs de produits à optimiser leurs projets sur la base des données de test collectées. Aujourd’hui, elle compte des succursales dans le monde entier, comme à Paris, Londres, Munich ou Sydney.

Optimizely commercialise ses logiciels selon trois variantes : si le paquet « Standard » contient déjà tous les outils de test A/B, le paquet « Professional » propose plus de fonctions comme le targeting avancé de cible. En plus des fonctionnalités des éditions Standard et Professional, l’offre « Premium » comprend encore plus d’options telles que le géo-ciblage, et permet des tests avec un nombre illimité d’utilisateurs. Les coûts des packs (prix sur demande) dépendent du nombre de visiteurs du site Web, avec un seuil minimal de 1000 visiteurs.

La plupart des utilisateurs devraient être en mesure d’utiliser Optimizely sans grande difficulté grâce à son interface Web attrayante et intuitive (tout du moins si vous disposez des connaissances appropriées en anglais, car il n’existe pas d’interface utilisateur en français. Sous la rubrique « Experiments », les projets de test sont créés en quelques étapes : après avoir choisi le nom de la campagne, les pages de test et la cible souhaitée, vous pouvez définir vos objectifs de conversion, ce que Optimizely appelle les « Metrics ». Enfin, vous pouvez répartir les différentes variations sur un pourcentage de trafic. Les groupes cibles peuvent être créés dans un menu « Audiences » séparé. Par glisser-déposer, l’utilisateur entre des critères tels que :

  • Navigateur / Version du navigateur
  • Cookies autorisés / non autorisés
  • JavaScript autorisé / non autorisé
  • Langue / lieu d’origine
  • Système d’exploitation
  • Source des visiteurs (accès direct, moteur de recherche, lien, publicité)

L’outil de test A/B ne permet pas seulement d’améliorer l’expérience des utilisateurs sur des ordinateurs fixes de bureau : les sites Web mobiles et les applications iOS ou Android pouvant également être testés, vous pouvez découvrir le comportement des visiteurs et évaluer la satisfaction des utilisateurs d’appareils portables. Les tests individuels peuvent être lancés, mis en pause et ajustés à tout moment selon les besoins. Si vous utilisez la fonction de planification, vous pouvez même déterminer quand les processus doivent prendre effet sans avoir à les déclencher manuellement. Ensuite, pour les analyses, le Stats Engine va pouvoir aider à la prise de décision. Grâce à une méthode de test séquentiel, ce cadre statistique recherche une variante optimale avec une probabilité d’environ 95 %.

Pour Contre
Editeur pour définir la cible avec fonction glisser-déposer Interface en anglais
Taux de réussite élevé grâce au cadre statistique efficace (Stats Engine) Prix seulement sur demande

Visual Website Optimizer

Visual Website Optimizer (VWO en abrégé) a été l’un des premiers outils de test de sites Web. Déjà en 2010, l’équipe de développement indienne de Wingify avait lancé son logiciel, et depuis, plus de 300 000 campagnes de test ont été créées. L’application s’adresse tout autant aux entrepreneurs indépendants, qu’aux PME ou grosses entreprises, ce qui se reflète notamment dans les trois abonnements proposés. Les options standard « Startup » (environ 40 euros par mois pour 10 000 visiteurs) et « Business » (à partir de 110 euros par mois pour plus de 30 000 visiteurs) contiennent toutes les fonctionnalités dont les blogueurs, agences ou petites entreprises pourront avoir besoin. Les grandes entreprises pourront quant à elles opter pour l’abonnement « Entreprise » (à partir de 870 euros par mois pour un nombre illimité de visiteurs) qui contient des fonctions supplémentaires utiles, telles que le géo-ciblage ou un accès API.

Les utilisateurs de VWO doivent toutefois avoir une bonne maîtrise de l’anglais : l’application, les manuels et l’assistance ne sont disponibles qu’en anglais et japonais. Cependant, si cet obstacle linguistique ne présente pas de difficulté majeure pour vous, vous trouverez rapidement votre chemin grâce à une interface bien organisée. Les outils d’analyse tels que les cartes thermiques ou enquêtes ont leur propre zone de menu, de même que les éditeurs pour créer les tests et définir votre cible. L’outil n’est pas seulement limité aux tests A/B, mais permet également des tests d’URL multivariés et fractionnés. Vous pouvez par ailleurs initier un simple suivi des conversions de votre projet Web. Lors de la configuration, l’utilisateur peut définir autant d’objectifs de conversion (goals) qu’il le souhaite. Voici quelques-unes des autres caractéristiques de l’outil :

  • Éditeur WYSIWYG pour la création de variantes
  • Accès aux bonnes pratiques (IdeaFactory, Landing Page Analyzer, Case Study Library)
  • Bonnes performances en connectant son propre réseau de distribution de contenu (CDN)
  • Interfaces intégrées à divers programmes standard (CMS, outils d’analyse Web, paniers d’achats, etc.
  • Auto-hébergement (abonnement Entreprise uniquement)
  • Accès API (abonnement Entreprise uniquement)

Avec Visual Website Optimizer, tous les tests peuvent être lancés, mis en pause ou arrêtés à tout moment. Il est également possible d’apporter des modifications aux paramètres si, par exemple, un objectif de conversion doit être ajouté ou si la cible même doit être ajustée. Pour la composition des groupes, vous pouvez choisir parmi plus de 15 caractéristiques (comme les mots-clés utilisés, les paramètres de requête, le jour de la semaine ou le système d’exploitation) ou définir vos propres valeurs. Les clients d’un compte Entreprise peuvent héberger eux-mêmes l’outil de test, accéder à des fonctions de sécurité avancées, ainsi qu’à des rapports plus détaillés et à un service 24 heures sur 24 avec gestionnaire de compte personnel.

Pour Contre
Bonnes performances avec la connexion CDN Logiciel et support disponibles uniquement en anglais et japonais.
Auto-hébergement possible (abonnement Entreprise) Pas de test possible pour les applications mobiles (sites Web mobiles uniquement)

Convert Experiences

En 2011, la société californienne Convert Insights lance pour la première fois une plateforme de test A/B pour optimiser les projets Web. Avec le soutien d’Alta Ventures, un deuxième bureau fut ouvert au Mexique la même année afin d’améliorer pas à pas le développement du logiciel. Convert Insights se concentre de plus en plus sur le secteur professionnel et les tests orientés cible avec la version actuelle de l’outil Convert Experiences. Les utilisateurs peuvent choisir entre trois versions payantes, à savoir : « Plus » (à partir de 390 euros / mois pour un maximum de 800 000 visiteurs), « Professional Team » (à partir de 520 euros / mois pour un maximum de 1 000 000 visiteurs) et « Enterprise » (à partir de 3800 euros / mois pour un maximum de 1,2 milliards de visiteurs).

On s’aperçoit clairement que l’outil de test Convert Experiences s’adresse aux professionnels : bien que l’interface (qui est entièrement en anglais) soit limitée aux éléments de navigation les plus importants, les nouveaux venus ou amateurs en la matière seront probablement submergés par la richesse des options de configuration et des statistiques. Pour les tests rapides et pour les utilisateurs ne disposant pas d’un savoir-faire très large sur les tests A/B, l’application Web est tout simplement trop complexe. Les experts en revanche pourront profiter d’options détaillées : en plus des tests A/B standard, il est également possible d’effectuer des tests à URL fractionnée, multivariés et A/A (comparaison de l’original avec une copie exacte pour vérifier la fonctionnalité de l’outil).

Au cœur de Convert Experiments, on trouve le visual Editor, qui permet de créer les variations de test souhaitées en quelques clics et sans connaissance HTML. Si vous sélectionnez les éléments souhaités de la page d’origine, l’éditeur capture le code sous-jacent et liste les options de personnalisation correspondantes dans un menu d’options pop-up. On aura par exemple ce qui suit :

  • Déplacer l’objet
  • Modifier la taille de l’objet
  • Masquer l’élément
  • Adapter ou échanger du code CSS/HTML
  • Insérer ou changer une image
  • Modifier le texte
  • Changer la couleur de fond

L’outil de test ne convainc pas seulement grâce à son éditeur WYSIWYG de très haut niveau, mais aussi grâce à ses objectifs de conversions disponibles et prêts à l’emploi (« goal templates »). Les utilisateurs peuvent facilement accéder à ces modèles, par exemple, s’ils veulent définir comme conversion un clic sur un lien ou la visite d’une sous-page spécifique. Vous pouvez également créer vos propres modèles dans un éditeur drag and drop ou importer des objectifs à partir de Google Analytics. Pour composer votre cible, Convert Expressions présente par ailleurs de nombreux critères : ainsi, il est possible de séparer les nouveaux visiteurs de ceux qui ont déjà consultés votre site, ou de les classer suivant les pages d’où ils viennent (aussi pour les médias sociaux), leur langue standard ou encore le moteur de recherche utilisé.

Pour Contre
Paramétrage complet pour les tests, le ciblage, et les objectifs de conversion Interface en anglais
Puissant éditeur WYSIWYG pour la création de variantes Trop complexe pour les débutants en tests A/B

etracker Optimiser

Depuis plus d’une dizaine d’années, etracker propose différents outils pour l’optimisation des sites Web et campagnes marketing. Le succès de cette entreprise allemande repose surtout sur la performance de son logiciel d’analyse Web, qui a été récompensé à plusieurs reprises comme alternative optimale à Google Analytics grâce à une bonne protection des données (stockage en Union Européenne). Depuis 2013, la société propose avec etracker Optimiser également son propre outil pour effectuer des tests A/B et des tests d’URL fractionnées. Les clients peuvent choisir entre deux modèles d’abonnement : la version « Pro » pour les indépendants et les PME, qui est disponible à partir de 19 euros par mois, et l’édition « Entreprise » (prix sur demande), qui en plus des tests multivariés (en option) propose des fonctionnalités de remarketing.

etracker Optimiser permet de créer pas à pas des projets de test. Tout d’abord, l’utilisateur sélectionne le type de test désiré et la page à optimiser. Ensuite, il peut ajuster la page d’origine comme il le souhaite dans l’éditeur ; il lui suffit de cliquer sur l’élément désiré et un menu pop-up apparaîtra avec les options appropriées pour l’édition JavaScript, CSS, HTML et les éléments de texte. De plus, l’utilisateur peut définir des règles pour la segmentation des visiteurs et ainsi définir si une variante ne doit être affichée que pour un certain groupe cible. Pour ce faire, l’outil de test fournit diverses caractéristiques qui peuvent être combinées les unes avec les autres selon les besoins - comme par exemple :

  • Chaîne de caractères URL
  • Source (médias sociaux, moteur de recherche, publicité, type-in)
  • Termes de recherche utilisés
  • Différenciation entre les nouveaux visiteurs et les visiteurs qui reviennent
  • Visiteur abonné ou non à la newsletter
  • Type d’appareil
  • Lieu

Après avoir créé les variantes, l’éditeur offre la possibilité de déterminer l’heure de début et de fin du test et la proportion de visiteurs (en pourcentage) qui doivent y participer. Vous pouvez également ajuster ses deux paramètres par la suite - par exemple, si vous voulez faire une pause ou terminer le test prématurément. L’étape finale consiste à définir les objectifs de conversion. Vous pouvez sélectionner des actions telles que cliquer sur un lien, accéder à une page spécifique ou acheter un produit. L’outil de test A/B suit le comportement des visiteurs du site Web et enregistre une conversion dès qu’une des actions que vous avez choisies est effectuée.

Pour Contre
Enregistrement des données en Allemagne Certains paramètres pour définir la cible ne sont disponibles que dans l’édition Entreprise.
Peut être combiné avec etracker Analytics Aucune caractéristique de segmentation propre ne peut être définie

Comparaison des outils de tests : tableau

Les applications décrites dans cet article présentent des atouts et défauts bien spécifiques. Présenter un outil de test A/B comme solution idéale n’est donc pas chose facile. Cela est d’autant plus compliqué que les différentes offres s’adressent aussi à des groupes de clients très différents. Alors qu’Adobe Target et Convert Experiences s’adressent spécifiquement aux utilisateurs professionnels, des outils tels que VWO ou Optimizely X Web Experimentation conviennent également à ceux qui viennent d’entrer dans l’univers des tests A/B. AB Tasty et etracker Optimiser ont enfin des interfaces claires, le dernier outil étant particulièrement intéressant pour de nombreux utilisateurs en raison de sa conformité avec la protection des données.

  Développeur Année de sortie Auto-hébergement possible
AB Tasty AB Tasty 2012 non
Adobe Target Adobe 2012 oui
Convert Experiences Convert Insights 2011 non
etracker Optimiser etracker 2013 non
Optimizely X Web Experimentation Optimizely 2016 non
Visual Website Optimizer (VWO) Wingify 2010 oui