Methodische Mängel in der Online-Werbeforschung

Zweifel an der Aussagekraft von Erhebungen zur Wirksamkeit von Online-Werbung wirft eine in den USA veröffentlichte Studie auf. Wie der „Context“ berichtet, offenbart die breit angelegte Untersuchung des Interactive Advertising Bureau (IAB) erschreckende Mängel im Bereich der Online-Werbewirkungsmessung. Eineinhalb Jahre lang analysierte der ehemalige Nielsen-Chefmethodiker und Buchautor Dr. Paul Lavrakas Studien aus unterschiedlichen Quellen.

Die Mängelliste reicht von teilweise extrem niedrigen Teilnahmequoten über den Einsatz quasi-experimenteller Forschungsansätze bis hin zu unausgereiften Gewichtungsverfahren. Dabei seien die methodischen Schwächen in den meisten Fällen offenbar nicht auf Unkenntnis der beauftragten Forscher zurückzuführen, sondern auf den wachsenden Kostendruck in der Forschungsbranche. Während Werbungtreibende und Agenturen ihre Budgets zunehmend ins Internet verlagern, drängen immer mehr Institute und Technologie-Anbieter in den Markt der Online-Nutzungsmessung. Der Preisdruck steigt, und wer sich hier gegen Niedrigpreis-Anbieter und Do-it-yourself-Tools behaupten möchte, gerät leicht in Versuchung, auch Zugeständnisse bei der Erhebungsqualität zu machen.

Für die Studie führte Lavrakas einerseits zahlreiche Interviews mit Fachleuten in Instituten und Mediaagenturen und sichtete andererseits umfangreiches und teils vertrauliches Material, das ihm von diesen Gesprächspartnern zur Verfügung gestellt wurde. Es stellte sich heraus, dass die Datenbasis vor allem für die Intercept-Studien, bei denen jeder n-te Website-Besucher zur Umfrageteilnahme eingeladen wird, höchst fragwürdig ist.

Zu den wichtigsten Schwachstellen zählen der Analyse zufolge zu geringe Teilnahmequoten, sodass Schlussfolgerungen hinsichtlich des Erfolgs von Online-Werbemaßnahmen auf äußerst wackeligem Boden stehen. Ebenfalls bedenklich sei es, dass viele Forschungsansätze als quasi-experimentell einzustufen seien, weil sie niemals wissenschaftlich auf ihre Validität und Reliabilität geprüft worden seien. Auch die statistischen Gewichtungen etwa zur Vermeidung von Bias-Effekten weisen nach Erkenntnissen von Lavrakas erhebliche Schwächen auf. Die von Marketingmanagern proklamierte Wirkung digitaler Werbung habe demnach möglicherweise wenig mit der Realität zu tun.

Sherrill Mane, Senior Vice President of Industry Services beim IAB, betont, dass Auftraggeber offenbar deutlich stärker als bisher darauf achten müssten, dass die für sie arbeitenden Institute solide und erprobte Forschungsmethoden einsetzen, auch wenn dies mit höheren Kosten verbunden sei. Das IAB plant angesichts der Ergebnisse nun weitere Analysen sowie die Gründung einer branchenübergreifenden Arbeitsgruppe, die sich für eine bessere Kenntnis und Berücksichtigung von Qualitätsmerkmalen in der Online-Werbewirkungsforschung einsetzen soll.

Der Report „An Evaluation of Methods Used to Assess the Effectiveness of Advertising on the Internet“ steht zum Download bereit unter
www.iab.net