Evaluation des vagues d’un plan: Eval TV et ses incohérences

Dans le module calendrier de Medialand Pige, nous avons observé des écarts entre les couvertures des vagues d’un plan TV, selon qu’elles sont évaluées seules (un plan = une vague) ou dans un dispositif multi-vagues. Sur les plans que nous avons testés, ces écarts sont compris entre un demi-point et un point de couverture, mais il semble probable qu’en cherchant un peu, on en trouverait de plus larges. Ces écarts n’apparaissent qu’en TV.

Après analyse, il apparait qu’ils résultent d‘un défaut de la méthodologie retenue par Médiamétrie et Peaktime pour leur module EvalTV. Dans celui-ci, le calcul des plans est effectué par comptage sur un panel constant calculé lors de chaque évaluation, et le résultat obtenu est assez sensible aux variations de ce panel. Quand on évalue un plan unique, le panel constant est toujours le même (il va du premier au dernier jour du plan), mais suivant qu’on évalue une vague de ce plan, par exemple sa première semaine, « par contributions », comme une partie de celui-ci (donc sur toute la durée du plan), ou comme un plan à part (donc sur la seule durée de la vague), on obtiendra des résultats différents.

Dans le service EvalTV, ces deux modes d’évaluation sont utilisés conjointement : tous les plans sont évalués uniquement, mais toutes leurs composantes (chaines, semaines, vagues,…) le sont au travers de contributions, donc de ces sous-plans, qui donnent des résultats incorrects. Pire, l’évaluation par contributions étant très rapide, et l’évaluation des plans par Eval TV assez lent (environ 20 fois plus lent que les calculs probabilistes locaux précédents), les contributions sont souvent utilisées pour évaluer plus vite des dispositifs importants.

Médiamétrie est informée de ces problèmes depuis plusieurs mois, mais nous a toujours répondu que les écarts étaient assez faibles. Les tests effectués montrent qu’il n’en est rien (à moins de considérer qu’un écart de quelques pour cents de la couverture d’un plan est négligeable). Ces incohérences ne sont pas non plus une conséquence inévitable des méthodes de comptage : il est parfaitement possible, sans revenir sur le principe du comptage, de les atténuer, voire de les faire disparaître. Cependant, les nombreux échanges que nous avons eu avec Médiamétrie et Peaktime à ce sujet nous ont montré que cette réflexion méthodologique n’était pas prioritaire.

Nous espérons que les membres du comité technique utilisateurs d’EvalTV fassent remonter ce problème : avoir, sur un média de l’importance de la TV, un système d’évaluation de performances « officiel » qui peut donner d’un même plan plusieurs mesures différentes ne parait pas un service qu’on rend au marché publicitaire.

Dans l’attente, nous éliminons de Medialand Pige toute évaluation par contribution. Elles n‘étaient à ce jour utilisées que dans les calendriers pour l’évaluation des vagues. Ceci aura un effet adverse sur la performance. Sur un calendrier ayant en moyenne deux vagues par « ligne », le temps de calcul sera triplé. Nous en profitons pour rappeler qu’une réflexion sur la vitesse d’Eval TV serait très souhaitable.

Sortie ONE MARKET vendredi 17/10

Audipresse nous a livré aujourd’hui dans la matinée (15/10/2014) de nouvelles données d’audience, conformes aux standards de la profession. Ces nouvelles données d’audience comportent une LDP probabilisée, comme dans l’enquête SIMM, et ne posent pas de problèmes méthodologiques. L’enquête One Market, avec les audiences, vous sera livrée :

Vendredi 17 octobre 2014 à 9h00.

Rappel :
Les précédentes données d’audience comportaient deux probas différentes, une pour les tableaux, une autre pour le media-planning, ce qui aurait conduit à des incohérences majeures. C’est la raison pour laquelle, Carthage n’a pas souhaité les traiter en l’état. Il ne s’agit pas de « tenir compte de contraintes ou de spécificités Medialand », mais simplement de respecter les grandes règles de traitement des audiences.

L’équipe Carthage

Retrouvez toutes les infos Carthage sur notre Blog :
http://www.carthage.fr/

Livraison de One Market SANS AUDIENCES

AudiPresse nous informe (1) vendredi 10/10/2014, milieu de matinée, que One Market ne comporte pas une information d’audience, comme c’est le cas habituellement, mais deux :
• Une LDP, pour les tableaux, qui au lieu d’être binaire est une valeur continue, ce qui en fait donc une proba
• Une autre proba pour le media-planning
Les audiences One Market sont donc livrées avec deux probas différentes. Ce choix méthodologique entraîne :
• Des problèmes de cohérences entre les deux séries de données
• Des adaptations du logiciel pour traiter une LDP non pas binaire mais en continu
Nous attendons un retour d’Audipresse (2) pour évaluer les temps de développements et de tests qui seront nécessaires pour l’intégration des audiences dans One Market.

Dans cette attente, nous vous livrerons lundi 13/10/2014, l’enquête One Market, sans les audiences.

Nous le regrettons profondément mais nous n’avons pas d’alternative méthodologique sérieuse.

L’équipe Carthage

(1) Email Audipresse

De : Gilbert Saint Joanis
Envoyé : 10/10/2014 08:52
À : clasnier@carthage.fr
Cc : aberthelot@carthage.fr
Objet : Re: Questions sur Audiences/VN
(…)
L’audience dans one market a fait l’objet d’un calage afin de correspondre à celle de l’étude ONE 2013/2014 récemment publiée. C’est la raison pour laquelle pour la LDP la valeur binaire a été remplacée par une valeur continue
Enfin les probabilisations sont bien entendu fournies pour permettre la réalisation de plans

(…)

(2) Nos questions à AudiPresse

Nous découvrons la veille de la sortie de l’étude que les LDP de One Market ont été remplacées par une donnée probabilisée, qui s’ajoute aux probabilités de Médiaplanning. Nous avons donc deux jeux de probas, censés représenter les audiences, qui devraient être utilisés en lieu et place des LDP habituelles. Il parait clair que ceci va engendrer toutes sortes d’incohérences, d’abord parce que remplacer une donnée binaire par une donnée probabilisée a toujours tendance à lisser les résultats (comment calculer une duplication dans ce nouveau modèle ?), ensuite parce que les deux jeux de probabilité divergeront forcément, ce qui aura des résultats inattendus (les études, par exemple le SIMM, qui choisissent de ne pas diffuser de LDP les remplacent par des probabilités, mais ne rajoutent pas un jeu supplémentaire, et le CESP attire régulièrement l’attention du marché sur le fait qu’il faut être très prudent avec de telles données).
En tout état de cause, ces données d’audience probabilisées et doublonnées ne sont pas intégrable en l’état dans Médialand, il faudra pour cela un développement assez lourd, des tests approfondis (parce que les audiences sont au cœur des logiciels de médiaplanning), et même dans ce cas, on risque d’avoir des résultats étranges…
Nous allons livrer le média marché et la signalétique SANS audiences presse ni mediaplanning, et sommes en attente d’un retour de ta part qui nous permettra d’avancer. Mais de toutes façons, la réintégration des audiences prendra du temps. Nous informons nos clients de cette situation.

ONE MARKET

Email Audipress
Envoyé : mardi 30 septembre 2014 18:48

Bonjour à tous,
Nous vous adresserons dès demain les éléments constituant la bande ONE Market.

ONE Market est une nouvelle étude médiamarché réalisée auprès de 10.000 répondant CAWI à l’étude ONE. Les individus répondants à ONE Market constituent donc un échantillon différent de celui de ONE. Ils disposent à ce titre d’un nouveau jeu de poids. De la même manière, si les titres présents dans ONE Market sont les mêmes que ceux de ONE, leur audience a nécessairement été calée sur les audiences de référence de ONE 2013/2014.

Vous disposerez demain des bandes suivantes :
– Signalétique
– Médiamarché complet
– Médiamarché court
– Audiences et probabilités
– La liste des souscripteurs ayant accès au médiamarché court ou long

Les bandes seront mises à disposition des éditeurs sous embargo le 13 octobre à 9h
Le marché sera de son coté livré le 16 octobre – l’heure vous sera précisée ultérieurement.

Réponse Carthage :
Envoyé : mar. 30/09/2014 23:17

Si nous somme livrés demain dans la journée (en général, cela veut dire en fin de journée) et que nous devons livrer le Lundi 13 au matin, cela laisse 7 jours ouvrés pour le chargement. Pour une nouvelle étude, assez lourde, au format inconnu, et sachant que les dernières livraisons de One ont posé problème, cela parait très court et exagérément optimiste (il faudrait que tout soit tout bon du premier coup, et n’aie besoin d’aucun contrôle de notre part…
A titre de comparaison, le chargement de SIMM, étude rôdée et stable, s’étale sur trois semaines, et il nous est arrivé plusieurs fois de déraper assez largement.

La plupart du temps, ces annonces trop optimistes finissent mal, et comme le mois d’Octobre est assez chargé en terme de traitements (SIMM sort au même moment), nous disposons de peu de marge de manœuvre pour rattraper un « retard inattendu ». Ne serait-il pas préférable de nous laisser faire un premier passage sur les données avant d’annoncer une date de livraison au marché?