Marktforschung - Vertrauenssache?

Zweifel an der Aussagekraft von Meinungsumfragen oder Konsumentenbefragungen gab es schon immer. Beispielsweise kann die Art, wie eine Frage gestellt wird, zu mehr oder weniger unterschiedlichen Ergebnissen führen. Deshalb kann man über die Interpretation von Umfrageergebnissen diskutieren, und deshalb sind bei der Erstellung und Interpretation von Befragungen methodische Kenntnisse und Expertise gefragt. Doch seit der «Spiegel» dieses Jahr ausführlich über Manipulations- und Täuschungsversuche in der Marktforschungsbranche in Deutschland berichtet hat, ist das Vertrauen gegenüber Umfrageergebnissen noch auf einer viel grundlegenderen Ebene in Frage gestellt. Vor dem Hintergrund des steigenden Konkurrenz- und Kostendrucks tricksen offenbar einige Marktforschungsunternehmen bei der Datenerhebung, und Befragungen werden in Einzelfällen sogar gefälscht. Dieses kriminelle Verhalten führt dazu, dass wichtige Unternehmensentscheidungen auf falschen Grundlagen beruhen. Wie kann man das als Auftraggeber vermeiden?

Qualität hat auch in der Marktforschung einen Preis

Bei der Frage, ob man ein Marktforschungsprojekt durchführen will, spielen die Kosten eine wichtige Rolle. Nicht immer geht es um strategisch wichtige Projekte oder Produkte mit grossem Umsatz. Gerade wenn das nicht der Fall ist, ist die Versuchung häufig gross, ein Projekt möglichst günstig durchzuführen. Holt man verschiedene Offerten ein, gibt es häufig beachtliche Preisunterschiede. Meistens sind es weniger etablierte Marktforschungsunternehmen, die günstige Preise offerieren. Aber kann man diesen vertrauen?

Aus meiner Erfahrung als Marktforscher kann ich sagen, dass Misstrauen bei besonders günstigen Angeboten häufig berechtigt ist. Wenn bei Gruppendiskussionen der Grossteil der Gruppe aus Kollegen des offenbar nur schlecht ausgebildeten Diskussionsleiters besteht, oder an Stelle von Vätern aus dem Mittelstand Studierende und Arbeitslose an der Diskussion teilnehmen, ist relativ offensichtlich, dass etwas schiefgelaufen ist und wie Kosten gespart wurden. Blindes Vertrauen seitens des Auftraggebers ist also sicher nicht sinnvoll. Als Auftraggeber muss ich mir bewusst sein, dass gewisse für die Qualität der Studie entscheidende Prozesse wie die seriöse Rekrutierung einer bestimmten Zielgruppe aufwendig und mit entsprechenden Kosten verbunden sind.

Möglichkeiten zur Kontrolle durch den Auftraggeber

Wenn ich für mein Unternehmen einen Marktforschungsauftrag an ein Institut vergebe, habe ich auch eine Verantwortung, die korrekte Durchführung zu garantieren. Welche Möglichkeiten gibt es hier?

Die Zugehörigkeit eines Institutes zu den Branchenverbänden ist ein erstes Qualitätskriterium. In der Schweiz ist dies der vsms (Verband Schweizer Markt- und Sozialforschung), in Deutschland der ADM (Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute e. V.). Mitgliedsinstitute verpflichten sich schriftlich, Richtlinien der Branche und berufsethische Normen einzuhalten. Verletzungen dieser Vorgaben können zum Ausschluss aus dem Verband führen – wie im Nachgang der Spiegel-Berichterstattung in Deutschland geschehen.

Bei der Durchführung selber gibt es je nach Art der Studie weitere Kontrollmöglichkeiten. Dass ich und optimalerweise weitere Vertreter des Auftraggebers bei Gruppendiskussionen als Beobachter dabei sind, sollte selbstverständlich sein. Erstens ist das ungefilterte Erleben solcher Diskussionen durch nichts zu ersetzen, und zweitens erlaubt dies die kritische Einschätzung der finalen Analyse und Empfehlungen der Marktforscher. Wichtig ist auch die Überprüfung der Zusammensetzung der Gruppe: Entspricht diese den Zielgruppen-Vorgaben? Bestehen Sie als Auftraggeber darauf, was im Auftrag vereinbart wurde.

Auch bei Einzelinterviews sollte die Möglichkeit der Beobachtung für den Auftraggeber vor allem zu Beginn der Erhebung gegeben sein, indem zum Beispiel die ersten Interviews in entsprechend ausgerüsteten Räumlichkeiten des Marktforschungsunternehmens durchgeführt werden. So kann auch noch eine Feinabstimmung des Interviewleitfadens erfolgen. Für die später durchgeführten Interviews sollte es zumindest möglich sein – natürlich unter Berücksichtigung der Datenschutzrichtlinien – in die Aufzeichnungen hineinzuhören. Dies stichprobenmässig zu tun ist sehr ratsam. Stösst man dabei auf Widerstand oder auf Unsauberkeiten, sollte man misstrauisch werden.

Kontrolleingriffe in die quantitative Marktforschung, bei der eine grosse Zahl an Personen befragt werden, sind schwieriger. Bei telefonischen Befragungen ist heutzutage die geringe Teilnahmebereitschaft ein Problem: Es sind teilweise Dutzende Anrufe notwendig, bis man die Antworten einer Person erhält – was die Datenerhebung verteuert und die Motivation zu tricksen erhöht. Eine Kontrollmöglichkeit wäre das stichprobenartige Reinhören in die telefonischen Befragungen, oder man verlangt, dass Zeitpunkt und Dauer des Telefonats in den Daten festgehalten werden. In den Berichten des Spiegels ist aber auch von Fällen die Rede, in denen Daten in klar betrügerischer Absicht generiert oder gefälscht wurden. In solchen Fällen ist die Kontrolle natürlich schwierig oder beinahe unmöglich. Was aus meiner Sicht dem Auftraggeber aber abgeliefert werden sollte, sind die (anonymisierten) Rohdaten der Befragung. Denn wenn man sich die Daten genauer ansieht, mit geeigneten Verfahren analysiert oder Auswertungen für Untergruppen durchführt, entdeckt man in gefälschten Daten häufig Auffälligkeiten. Daten zu fälschen ist nämlich gar nicht so einfach, wie man denken würde.

Vertrauen spielt bei der Vergabe von Marktforschungsaufträgen eine grosse Rolle

Etablierte Marktforschungsunternehmen investieren viel in die Qualität ihrer Studien, beispielsweise indem sie ihre Panels pflegen oder misslungene Interviews nachrekrutieren und nochmals durchführen. Unternehmen dagegen, die unseriös arbeiten oder bei denen sogar Betrugsfälle bekannt werden, verschwinden in der Regel ziemlich schnell wieder. Diese «schwarzen Schafe» können aber das Vertrauen in die ganze Branche untergraben.

Aufgrund des durch die Spiegel-Artikel ausgelösten Rummels sind die Branchenverbände daran, mögliche Massnahmen abzuleiten, um das Vertrauen schnell wiederherzustellen. Meiner Meinung nach haben aber auch die Auftraggeber eine Verantwortung, die Studien jeweils nahe zu begleiten und bei Auffälligkeiten nachzuhaken. Dies demonstriert, dass Qualität erwartet, aber auch selber gelebt wird. Die Versuchung auf Seiten Marktforschungsinstitute wird so kleiner, Kompromisse oder Qualitätsabstriche einzugehen – oder sogar zu schummeln, um günstiger offerieren zu können oder einen grösseren Gewinn einzufahren. All dies setzt aber voraus, dass auch den Auftraggebern klar ist, dass Qualität in der Marktforschung etwas kostet.

Was ist Ihre Meinung? Wie sehr vertrauen Sie noch Meinungsumfragen und Kundenbefragungen?

Haben Sie eventuell auch schon negative Erfahrungen als Auftraggeber gemacht? Wie genau schauen Sie Marktforschungsinstituten auf die Finger? Wir sind gespannt auf Ihre Kommentare.

 

Weiterführende Quellen:

Die Zusammenstellung der Artikel des Spiegels finden Sie in der "Akte Marktforschung": http://www.spiegel.de/thema/die_akte_marktforschung/