Recherche

A bon échantillon, bon test !

Publié par le

Bâtir un bon plan fichiers passe par le test des différentes bases disponibles (cf. point clé 5 de ce savoir-faire). Mais l'une des (nombreuses) conditions pour que les résultats observés soient exploitables est que vos échantillons aient été constitués dans les règles de l'art. En l'occurrence de l'art statistique, fort méconnu et dont la logique mathématique va souvent à l'encontre du bon sens commun et de l'intuition

  • Imprimer


Lorsque vous voulez mener un test, la première question qui vous vient naturellement à l'esprit est "combien ?". En d'autres termes, quelle doit être la taille de votre échantillon pour que les résultats soient statistiquement fiables ? Il est commun que l'on teste empiriquement 10 % de la base considérée : 1 000 adresses si le fichier total (ou le résultat d'une extraction selon vos critères de sélection) en comporte 10 000, 15 000 pour un potentiel de 150 000, etc.

1 Vos brokers vous proposent trois fichiers dont les extractions, en fonction de vos propres critères de segmentation, donnent respectivement un potentiel de 25 000 (fichier A), 118 000 (fichier B) et 7 000 adresses (fichier C). Quelle devra être la taille des trois échantillons correspondants afin de pouvoir comparer les taux de remontées de coupon-réponse ?


RÉPONSE : Boudez votre intuition ! Se fixer comme règle de tester 10 % de la cible, quelle qu'en soit la taille, est en fait un non-sens statistique ! En effet, la taille de l'échantillon est avant tout liée à l'hétérogénéité de la population observée et au degré d'erreur que vous acceptez. Sans entrer dans le détail de formules mathématiques relativement compliquées, disons qu'un test commence à être fiable à partir d'un échantillon de 2 000 adresses, et à condition qu'il ait engendré au moins 50 retours. Conséquences : vous devrez retenir cette taille pour chacun des fichiers A, B et C. Comment faire si l'un des fichiers auxquels vous vous intéressez n'en comporte que 1 500, ou bien 2 600 ? Dans le premier cas, vous ne pouvez pas tester valablement (mener un test sur 500, par exemple, vous donnera au mieux une tendance qualitative, en aucun cas quantitative) : vous n'avez d'autre choix que de lancer votre opération sans test préalable. Dans le second cas, éprouver 2 000 adresses puis lancer une seconde opération sur 600 n'aura aucun intérêt économique, du fait des frais fixes induits. Là encore mieux vaut déclencher l'opération pour l'ensemble de la cible, si vous ne testez que ce seul fichier. Par contre, si vous mettez à l'épreuve simultanément plusieurs fichiers, recourez à des échantillons de taille identique à chaque fois que possible, pour rapprocher ce qui est comparable. Vous vous demandez peut-être comment font les entreprises de sondage d'opinion pour tirer des conclusions à partir d'une étude réalisée auprès de 700 interviewés seulement ? Elles emploient des méthodes d'échantillonnage - de constitution de l'échantillon - dites empiriques, souvent la méthode des quotas, et pondèrent les résultats obtenus en fonction de comparaisons entre des données antérieures recueillies à l'occasion d'autres études et les résultats réels du scrutin de l'ensemble des votants d'alors... Autant de données historiques et d'outils statistiques dont vous ne disposez pas lorsque vous vous intéressez à un nouveau fichier ! Vous voulez approfondir ces différents points ? Intéressez-vous à la loi normale, la loi de Poisson et au test du Khi Deux, pour ne mentionner qu'eux, dans les ouvrages de statistiques ou de mathématiques appliquées à la gestion, que l'on retrouve aussi sous l'appellation de "recherche opérationnelle" ou encore de "techniques quantitatives de management"...

2 Maintenant que vous avez décidé du nombre de destinataires, vous devez choisir une méthode d'échantillonnage : si vous testez sur 2 000 adresses, une possibilité consiste à retenir les 2 000 premiers enregistrements du fichier ou de l'extraction. Cette procédure, simple, est surtout simpliste, car elle présente un certain nombre de risques. Lesquels, selon vous ? Et comment bien faire ?


RÉPONSE : En retenant les 2 000 premiers enregistrements du fichier pour constituer votre échantillon, vous risquez d'entacher votre test d'un biais lié à la raison pour laquelle les adresses sont dans cet ordre, car l'ordinateur ne les ordonne jamais au hasard. Ordre d'arrivée chronologique dans le fichier (correspondant peut-être à l'ancienneté et à la fidélité s'il s'agit de clients), ordre alphabétique, ordre géographique, ordre croissant ou décroissant par chiffre d'affaires, etc. Pour vous départir de la notion d'ordre dans un fichier informatisé, la meilleure méthode consiste à effectuer un tirage dit "systématique". Imaginez que vous testiez 2 000 adresses d'un fichier en comportant 10 000. Effectuez l'opération 10 000/ 2 000 = 5. Sélectionnez alors toutes les adresses de rang 5 dans votre fichier : la 5e, la 10e, la 15e et ainsi de suite jusqu'à la 9 995e et enfin la 10 000e. Ce travail un fois achevé (en quelques secondes, automatiquement, grâce à une simple macro-commande sous Access, Approach ou tout autre gestionnaire de fichiers un peu évolué), vous aurez constitué un échantillon de 2 000 adresses dont tout risque de biais lié à l'ordre des adresses aura été éliminé.

3 Les remontées que vous avez obtenues depuis les différentes régions de France sont de même ordre, sauf pour l'une d'elles (l'Aquitaine, par exemple) qui ne donna nul retour de coupon-réponse, ce qui est statistiquement quasi impossible. Pourtant, aucune grève postale n'était annoncée dans les médias. Comment expliquer ce fait ?


RÉPONSE : Si vous n'avez pas de concurrent substituable sur l'Aquitaine, et si votre routeur vous prouve qu'il a bien expédié vos plis également sur cette région, il y a fort à parier qu'il y ait eu un aléa local de diffusion postale. Comment le savoir ? La Direction départementale ou régionale de La Poste publie la liste de ses incidents d'acheminement : retard ferroviaire, camion accidenté ou en panne, micro-grève d'un centre de tri ou d'un bureau de poste, etc. A contacter impérativement avant de décider d'évincer l'Aquitaine de votre plan fichiers !

XAVIER LUCRON CONSEIL & FORMATEUR EN MARKETING

[Quiz] Responsable marketing, quel emailer êtes-vous ?

[Quiz] Responsable marketing, quel emailer êtes-vous ?

[Quiz] Responsable marketing, quel emailer êtes-vous ?

Savez-vous envoyer efficacement des campagnes d'emailing ? Avez-vous les bons réflexes ou êtes-vous un professionnel du spam ? Pour le savoir, [...]

Data Marketing : collecter la bonne donnée

Data Marketing : collecter la bonne donnée

Data Marketing : collecter la bonne donnée

Des millions de données on et off line sont à la disposition des marketeurs et leur collecte est devenu un enjeu majeur pour les entreprises. [...]

Comment entretenir un panel d'études ?

Comment entretenir un panel d'études ?

Comment entretenir un panel d'études ?

Déterminant dans la qualité d'une étude, le panel est difficile tant à constituer qu'à pérenniser. Médiamétrie livre quelques bonnes pratiques [...]