Evaluation des vagues d’un plan: Eval TV et ses incohérences

Dans le module calendrier de Medialand Pige, nous avons observé des écarts entre les couvertures des vagues d’un plan TV, selon qu’elles sont évaluées seules (un plan = une vague) ou dans un dispositif multi-vagues. Sur les plans que nous avons testés, ces écarts sont compris entre un demi-point et un point de couverture, mais il semble probable qu’en cherchant un peu, on en trouverait de plus larges. Ces écarts n’apparaissent qu’en TV.

Après analyse, il apparait qu’ils résultent d‘un défaut de la méthodologie retenue par Médiamétrie et Peaktime pour leur module EvalTV. Dans celui-ci, le calcul des plans est effectué par comptage sur un panel constant calculé lors de chaque évaluation, et le résultat obtenu est assez sensible aux variations de ce panel. Quand on évalue un plan unique, le panel constant est toujours le même (il va du premier au dernier jour du plan), mais suivant qu’on évalue une vague de ce plan, par exemple sa première semaine, « par contributions », comme une partie de celui-ci (donc sur toute la durée du plan), ou comme un plan à part (donc sur la seule durée de la vague), on obtiendra des résultats différents.

Dans le service EvalTV, ces deux modes d’évaluation sont utilisés conjointement : tous les plans sont évalués uniquement, mais toutes leurs composantes (chaines, semaines, vagues,…) le sont au travers de contributions, donc de ces sous-plans, qui donnent des résultats incorrects. Pire, l’évaluation par contributions étant très rapide, et l’évaluation des plans par Eval TV assez lent (environ 20 fois plus lent que les calculs probabilistes locaux précédents), les contributions sont souvent utilisées pour évaluer plus vite des dispositifs importants.

Médiamétrie est informée de ces problèmes depuis plusieurs mois, mais nous a toujours répondu que les écarts étaient assez faibles. Les tests effectués montrent qu’il n’en est rien (à moins de considérer qu’un écart de quelques pour cents de la couverture d’un plan est négligeable). Ces incohérences ne sont pas non plus une conséquence inévitable des méthodes de comptage : il est parfaitement possible, sans revenir sur le principe du comptage, de les atténuer, voire de les faire disparaître. Cependant, les nombreux échanges que nous avons eu avec Médiamétrie et Peaktime à ce sujet nous ont montré que cette réflexion méthodologique n’était pas prioritaire.

Nous espérons que les membres du comité technique utilisateurs d’EvalTV fassent remonter ce problème : avoir, sur un média de l’importance de la TV, un système d’évaluation de performances « officiel » qui peut donner d’un même plan plusieurs mesures différentes ne parait pas un service qu’on rend au marché publicitaire.

Dans l’attente, nous éliminons de Medialand Pige toute évaluation par contribution. Elles n‘étaient à ce jour utilisées que dans les calendriers pour l’évaluation des vagues. Ceci aura un effet adverse sur la performance. Sur un calendrier ayant en moyenne deux vagues par « ligne », le temps de calcul sera triplé. Nous en profitons pour rappeler qu’une réflexion sur la vitesse d’Eval TV serait très souhaitable.

Sortie ONE MARKET vendredi 17/10

Audipresse nous a livré aujourd’hui dans la matinée (15/10/2014) de nouvelles données d’audience, conformes aux standards de la profession. Ces nouvelles données d’audience comportent une LDP probabilisée, comme dans l’enquête SIMM, et ne posent pas de problèmes méthodologiques. L’enquête One Market, avec les audiences, vous sera livrée :

Vendredi 17 octobre 2014 à 9h00.

Rappel :
Les précédentes données d’audience comportaient deux probas différentes, une pour les tableaux, une autre pour le media-planning, ce qui aurait conduit à des incohérences majeures. C’est la raison pour laquelle, Carthage n’a pas souhaité les traiter en l’état. Il ne s’agit pas de « tenir compte de contraintes ou de spécificités Medialand », mais simplement de respecter les grandes règles de traitement des audiences.

L’équipe Carthage

Retrouvez toutes les infos Carthage sur notre Blog :
http://www.carthage.fr/

Livraison de One Market SANS AUDIENCES

AudiPresse nous informe (1) vendredi 10/10/2014, milieu de matinée, que One Market ne comporte pas une information d’audience, comme c’est le cas habituellement, mais deux :
• Une LDP, pour les tableaux, qui au lieu d’être binaire est une valeur continue, ce qui en fait donc une proba
• Une autre proba pour le media-planning
Les audiences One Market sont donc livrées avec deux probas différentes. Ce choix méthodologique entraîne :
• Des problèmes de cohérences entre les deux séries de données
• Des adaptations du logiciel pour traiter une LDP non pas binaire mais en continu
Nous attendons un retour d’Audipresse (2) pour évaluer les temps de développements et de tests qui seront nécessaires pour l’intégration des audiences dans One Market.

Dans cette attente, nous vous livrerons lundi 13/10/2014, l’enquête One Market, sans les audiences.

Nous le regrettons profondément mais nous n’avons pas d’alternative méthodologique sérieuse.

L’équipe Carthage

(1) Email Audipresse

De : Gilbert Saint Joanis
Envoyé : 10/10/2014 08:52
À : clasnier@carthage.fr
Cc : aberthelot@carthage.fr
Objet : Re: Questions sur Audiences/VN
(…)
L’audience dans one market a fait l’objet d’un calage afin de correspondre à celle de l’étude ONE 2013/2014 récemment publiée. C’est la raison pour laquelle pour la LDP la valeur binaire a été remplacée par une valeur continue
Enfin les probabilisations sont bien entendu fournies pour permettre la réalisation de plans

(…)

(2) Nos questions à AudiPresse

Nous découvrons la veille de la sortie de l’étude que les LDP de One Market ont été remplacées par une donnée probabilisée, qui s’ajoute aux probabilités de Médiaplanning. Nous avons donc deux jeux de probas, censés représenter les audiences, qui devraient être utilisés en lieu et place des LDP habituelles. Il parait clair que ceci va engendrer toutes sortes d’incohérences, d’abord parce que remplacer une donnée binaire par une donnée probabilisée a toujours tendance à lisser les résultats (comment calculer une duplication dans ce nouveau modèle ?), ensuite parce que les deux jeux de probabilité divergeront forcément, ce qui aura des résultats inattendus (les études, par exemple le SIMM, qui choisissent de ne pas diffuser de LDP les remplacent par des probabilités, mais ne rajoutent pas un jeu supplémentaire, et le CESP attire régulièrement l’attention du marché sur le fait qu’il faut être très prudent avec de telles données).
En tout état de cause, ces données d’audience probabilisées et doublonnées ne sont pas intégrable en l’état dans Médialand, il faudra pour cela un développement assez lourd, des tests approfondis (parce que les audiences sont au cœur des logiciels de médiaplanning), et même dans ce cas, on risque d’avoir des résultats étranges…
Nous allons livrer le média marché et la signalétique SANS audiences presse ni mediaplanning, et sommes en attente d’un retour de ta part qui nous permettra d’avancer. Mais de toutes façons, la réintégration des audiences prendra du temps. Nous informons nos clients de cette situation.

ONE MARKET

Email Audipress
Envoyé : mardi 30 septembre 2014 18:48

Bonjour à tous,
Nous vous adresserons dès demain les éléments constituant la bande ONE Market.

ONE Market est une nouvelle étude médiamarché réalisée auprès de 10.000 répondant CAWI à l’étude ONE. Les individus répondants à ONE Market constituent donc un échantillon différent de celui de ONE. Ils disposent à ce titre d’un nouveau jeu de poids. De la même manière, si les titres présents dans ONE Market sont les mêmes que ceux de ONE, leur audience a nécessairement été calée sur les audiences de référence de ONE 2013/2014.

Vous disposerez demain des bandes suivantes :
– Signalétique
– Médiamarché complet
– Médiamarché court
– Audiences et probabilités
– La liste des souscripteurs ayant accès au médiamarché court ou long

Les bandes seront mises à disposition des éditeurs sous embargo le 13 octobre à 9h
Le marché sera de son coté livré le 16 octobre – l’heure vous sera précisée ultérieurement.

Réponse Carthage :
Envoyé : mar. 30/09/2014 23:17

Si nous somme livrés demain dans la journée (en général, cela veut dire en fin de journée) et que nous devons livrer le Lundi 13 au matin, cela laisse 7 jours ouvrés pour le chargement. Pour une nouvelle étude, assez lourde, au format inconnu, et sachant que les dernières livraisons de One ont posé problème, cela parait très court et exagérément optimiste (il faudrait que tout soit tout bon du premier coup, et n’aie besoin d’aucun contrôle de notre part…
A titre de comparaison, le chargement de SIMM, étude rôdée et stable, s’étale sur trois semaines, et il nous est arrivé plusieurs fois de déraper assez largement.

La plupart du temps, ces annonces trop optimistes finissent mal, et comme le mois d’Octobre est assez chargé en terme de traitements (SIMM sort au même moment), nous disposons de peu de marge de manœuvre pour rattraper un « retard inattendu ». Ne serait-il pas préférable de nous laisser faire un premier passage sur les données avant d’annoncer une date de livraison au marché?

Vagues MNR Mai et Juin 2014

Des problèmes de collecte de données ont nettement réduit la taille du panel NetRatings en Mai et Juin dernier. Jusqu’en Avril, il comportait environ 14 000 répondants par mois, mais seulement 6 900 en Mai et 5 900 en Juin. Voici les explications que nous avons reçues de Médiamétrie :

« Nous vous prions de bien vouloir trouver ci-dessous les points clés relatifs à ces résultats :
– Pour une partie de nos panélistes, le logiciel de mesure n’a pas pu prendre en compte la navigation effectuée en https sous Firefox. Un traitement spécifique a été effectué afin d’estimer cette part manquante. Ce traitement sera poursuivi jusqu’à la mise à jour du logiciel sur les ordinateurs de nos panélistes.
– L’antivirus gratuit Avast a procédé à une mise à jour au mois de mai, ce qui a perturbé le fonctionnement du logiciel de mesure auprès des panélistes Internet fixe équipés de cet antivirus. Par conséquent, nous avons exceptionnellement réduit, sur les mois de mai et de juin, la taille de l’échantillon pour pallier ce problème. Néanmoins, afin de vous permettre un niveau d’analyses identique aux autres mois, nous avons abaissé les seuils de publication de 40 à 30 panélistes, comme nous l’avions fait sur les résultats du mois de mai. »

La baisse des tailles d’échantillon réduit nettement le nombre de sites disponibles, et a un impact considérable sur la fiabilité de la mesure (l’intervalle de confiance augmente de 60%…). Il est également possible que cette réduction du panel (qui porte sur les utilisateurs de certains logiciels) se soit accompagnée de biais, qui distordent les résultats mesurés. Dans ces conditions, où certaines cibles usuelles deviennent très petites, il est très difficile de garantir la fiabilité de la probabilisation et des calculs de médiaplanning. Comme la baisse des seuils recommandée par Médiamétrie aggrave encore cette situation, nous avons choisi de ne pas la mettre en œuvre. Par ailleurs, en Juin, les effectifs étaient trop faibles pour effectuer la fusion presse-internet.

Mediamétrie annonce un retour à des échantillons « normaux » sur les vagues de Juillet et Août, mais dans la mesure où ces périodes ont une saisonnalité particulière, et vu la taille des échantillons de Mai et de Juin, nous vous recommandons de travailler autant que possible sur la vague d’Avril, et d’éviter Mai et surtout Juin, trop fluctuantes pour servir de base à des plans médias futurs.

Kantar et les codes écrans TV de la nuit

(ceci est le premier d’une série de notes sur les difficultés rencontrées lors de l’appariement entre les données pige et les données d’audience)

 En télévision, chaque écran publicitaire est identifié par un code sur quatre chiffres. On parle ainsi du 2042 du 11 Mars sur TF1 ou du 0900 du 14 Avril sur M6. Ces codes sont généralement compris entre 0000 et 2999, et correspondent plus ou moins à des « heures théoriques de passage » : l’écran 2000 est diffusé vers 20 heures, le 2230 en deuxième partie de soirée, le 0815 de bon matin.

En médiaplanning, les codes écrans ont deux fonctions principales (au-delà de l’identification d’un écran) :

–          C’est sur leur base qu’on détermine les tranches horaires : l’écran de 2000 sera en prime-time , même s’il est diffusé à 19H55, tout comme l’écran 2215 (même s’il est diffusé à 23H30).

–          Pour les chaînes non Médiamat, c’est sur la base du code écran qu’on détermine leur quart d’heure, et donc leur audience. L’écran 2000 aura l’audience du quart d’heure 20H-20h15.

L’utilisation des codes écrans en médiaplanning est très ancienne, et peut paraître étrange. Pourquoi, quand on dispose de l’heure exacte de passage d’un écran, se fonder sur son code ? L’intérêt de cette approche est la stabilité. Les plans TV sont souvent achetés par tranche (l’annonceur demande un pourcentage de day, de prime, d’access ou de night). Si la tranche d’un écran changeait en fonction de son heure de diffusion réelle, l’achat d’écrans « au bord des tranches », comme le 2000 deviendrait assez risqué : si l’écran est diffusé quelque minutes trop tôt , il passe en access prime time, augmentant singulièrement le coût GRP de cette tranche, et m’éloignant de mon objectif de répartition.

En pige, le code écran sert de lien entre les données Kantar, EDI et Mediamétrie. C’est sur la base du code écran qu’on associe à un écran pigé par Kantar un tarif provenant de l’EDI, une audience Médiamétrie, ou un contexte émission. En théorie, les codes écrans étant uniques, on devrait retrouver chaque écran Kantar chez Mediamétrie, et inversement (l’EDI aura plus d’écrans, dans la mesure où tous les écrans offerts à la vente ne sont pas diffusés).

Mais c’est bien connu, la pratique ne s’accorde avec la théorie…. qu’en théorie…

Traditionnellement, les écrans diffusés la nuit (entre minuit et six heures), peuvent être codés de deux façons différentes. Certains, souvent en fin de nuit, sont codée en « code-matin », 0445, 0307… D’autres sont codés en « code-soir » : 2405, 2517, 2700, 2840. Le choix d’un codage ou de l’autre est laissé à l’initiative des chaînes, mais notez que ce codage a un choix sur la date de diffusion : un écran du 10 Mars ayant le code 0200 sera diffusé le 10 mars au matin, avec le code 2600 il sera diffusé le 11 au matin.

En général, les codes de début de nuit (entre minuit et trois heures) sont en code soir : on a donc des écrans 2430, 2530, 2600, plutôt que 0030, 0130 ou 0200. Ceci n’est pas tout à fait systématique : on rencontre parfois des écrans 0000. De même, le petit matin, de 5 heures à 6 heures, est généralement en code matin, avec des écrans 0530, ou 0600. Cette façon de coder les écrans suit une logique des programmation : l’écran de 2400 ou 2410 d’une chaîne, suit les programmes du soir, celui de 0500 appartient à la grille du matin.

Pour les écrans de milieu de nuit, entre trois et cinq heures, les pratiques varient d’une chaîne à l’autre. TF1, par exemple, a des écrans de 2700, 2800, et même 2870. NT1 et RMC ont des écrans de 2709 et 2719. D8, inversement, a des écrans de 0307 et 0317. TF1 a parfois, également, des écrans de 0439 ou 0459.

En principe, ces choix de codage des écrans ne devraient pas avoir d’impact sur les données et les logiciels. Malheureusement, Kantar, pour des raisons difficiles à éclaircir (nous les avons interrogés plusieurs fois sur ce point, mais n’avons jamais reçu de réponse autre que « c’est comme ça »), transforme les codes écrans qu’elle reçoit des conducteurs, en les remettant sur la place 0000-2399.

Un écran codé 2700 dans les conducteurs est donc « corrigé » par Kantar en 0300, et un 2410 en 0010. Pour retrouver les codes écran d’origine, il faut donc ajouter 2400 aux écrans en « code soir », et garder inchangés les « codes matin ». Hélas, il n’y a pas de façon systématique de le faire, et un certain nombre d’écrans seront toujours mal affectés, du fait de la correction effectuée par Kantar. Kantar a été informé de ce problème en Janvier 2013, mais n’y a pour l’instant apporté aucune réponse.

Sur ces écrans de la nuit, nous appliquions à l’origine une consigne donnée par Kantar : tout écran de code entre 0000 et 0600 se voyait ajouter 2400. Cette règle fonctionne assez bien pour les écrans du début de la nuit (qui sont tous en code soir), mais très mal pour le petit matin (qui sont tous en code matin).

Nous nous proposons de la modifier, et d’ajouter 2400 aux écrans ayant des codes Kantar inférieurs à 0400. Il restera des écarts (notamment sur D8), mais ceux-ci devraient être moins nombreux. A terme, une approche « par chaine » serait probablement souhaitable.

L’idéal serait bien sûr que Kantar cesse de corriger les codes écrans (sachant que la donnée correcte figure dans les conducteurs qu’ils reçoivent des chaînes)…

Eval TV : calculer vite ou calculer juste ?

Carthage le dit depuis le début.

Le moteur de calcul Eval TV, mis en place sur le « web service Médiamétrie » est beaucoup trop lent : une demi seconde par plan, alors qu’une solution « off line » permettrait de calculer 10.000 plans par seconde, et que d’autres secteurs d’activité comme le trading financier flirtent avec la nano seconde…
Pourtant, depuis le début aussi, on nous répète : « vos concurrents n’ont pas de problèmes ».
Aujourd’hui, nous savons pourquoi : leurs calculs sont faux (voir email Médiamétrie ci-dessous).

Medialand Pige effectue les seuls calculs corrects : chaque plan est calculé sur le panel constant correspondant à sa période de diffusion.
Pour pallier la lenteur d’Eval TV, un de nos concurrents utilise une solution de contournement qui fournit des calculs plus rapides mais faux. Sa méthode consiste à envoyer au « web service Médiamétrie » un grand nombre de requêtes de calculs de couverture de plans simultanées qui sont toutes calculées sur une période unique, qui court depuis le début du plan qui commence le plus tôt jusqu’à la fin du plan qui finit le plus tard. Cette méthode permet de réduire les temps de calculs mais elle a pour conséquence d’introduire une très grande instabilité dans les taux de couvertures de plans.

Exemple :
o   Requête A = 100 plans de janvier à juin
o   Requête B = les mêmes 100 plans de janvier à juin + un 101ème plan qui déborde sur juillet
o   Résultat du « web service Médiamétrie » : la couverture des 100 plans communs aux requêtes A et B peut être différente entre les deux requêtes…

Carthage, toute une équipe pour apporter des réponses justes à vos questions media.