Evaluation des vagues d’un plan: Eval TV et ses incohérences

Dans le module calendrier de Medialand Pige, nous avons observé des écarts entre les couvertures des vagues d’un plan TV, selon qu’elles sont évaluées seules (un plan = une vague) ou dans un dispositif multi-vagues. Sur les plans que nous avons testés, ces écarts sont compris entre un demi-point et un point de couverture, mais il semble probable qu’en cherchant un peu, on en trouverait de plus larges. Ces écarts n’apparaissent qu’en TV.

Après analyse, il apparait qu’ils résultent d‘un défaut de la méthodologie retenue par Médiamétrie et Peaktime pour leur module EvalTV. Dans celui-ci, le calcul des plans est effectué par comptage sur un panel constant calculé lors de chaque évaluation, et le résultat obtenu est assez sensible aux variations de ce panel. Quand on évalue un plan unique, le panel constant est toujours le même (il va du premier au dernier jour du plan), mais suivant qu’on évalue une vague de ce plan, par exemple sa première semaine, « par contributions », comme une partie de celui-ci (donc sur toute la durée du plan), ou comme un plan à part (donc sur la seule durée de la vague), on obtiendra des résultats différents.

Dans le service EvalTV, ces deux modes d’évaluation sont utilisés conjointement : tous les plans sont évalués uniquement, mais toutes leurs composantes (chaines, semaines, vagues,…) le sont au travers de contributions, donc de ces sous-plans, qui donnent des résultats incorrects. Pire, l’évaluation par contributions étant très rapide, et l’évaluation des plans par Eval TV assez lent (environ 20 fois plus lent que les calculs probabilistes locaux précédents), les contributions sont souvent utilisées pour évaluer plus vite des dispositifs importants.

Médiamétrie est informée de ces problèmes depuis plusieurs mois, mais nous a toujours répondu que les écarts étaient assez faibles. Les tests effectués montrent qu’il n’en est rien (à moins de considérer qu’un écart de quelques pour cents de la couverture d’un plan est négligeable). Ces incohérences ne sont pas non plus une conséquence inévitable des méthodes de comptage : il est parfaitement possible, sans revenir sur le principe du comptage, de les atténuer, voire de les faire disparaître. Cependant, les nombreux échanges que nous avons eu avec Médiamétrie et Peaktime à ce sujet nous ont montré que cette réflexion méthodologique n’était pas prioritaire.

Nous espérons que les membres du comité technique utilisateurs d’EvalTV fassent remonter ce problème : avoir, sur un média de l’importance de la TV, un système d’évaluation de performances « officiel » qui peut donner d’un même plan plusieurs mesures différentes ne parait pas un service qu’on rend au marché publicitaire.

Dans l’attente, nous éliminons de Medialand Pige toute évaluation par contribution. Elles n‘étaient à ce jour utilisées que dans les calendriers pour l’évaluation des vagues. Ceci aura un effet adverse sur la performance. Sur un calendrier ayant en moyenne deux vagues par « ligne », le temps de calcul sera triplé. Nous en profitons pour rappeler qu’une réflexion sur la vitesse d’Eval TV serait très souhaitable.