Was Marktforscher von Marcell D’Avis lernen können

Es hat sich ja bereits genug Spott und Häme über Marcell D’Avis ergossen, – für meinen Geschmack ist alles gesagt. Die folgende Parodie auf YouTube soll daher auch nur als Hinweisgeber für die Umfrageforschung genommen werden.

Hier gibt es zwei schöne Lektionen: Erstens, wenn 78% angeben, sie möchten eine kostenlose Hotline, dann heißt das im Umkehrschluss natürlich nicht, dass 22% gerne für die Hotline bezahlen möchten. Dass solche akrobatischen Interpretationen aber (zumindest ansatzweise) tatsächlich gemacht werden, hab ich schon mehr als einmal erlebt.

Zweitens ist der Hinweis auf den Unterschied von Einfach- und Mehrfachauswahl sehr berechtigt: Wer in seinem Fragebogen mehrere, aber nicht alle Antwortoptionen gennant bekommen möchte, muss zu merkwürdigen Fragestellungen greifen. Dann darf man zum Beispiel die drei wichtigsten aus fünf wünschenswerten Leistungen auswählen. Die Zahlen sagen danach bei der Auswertung aber nichts darüber aus, wie wünschenswert der vierte Platz ist, sondern nur wie viele Befragte sich darüber einig sind, dass diese Eigenschaft nicht auf die ersten drei Plätze gelangt.

Zugegebenermaßen, nur Spitzfindigkeiten. Wenn man aber nicht aufpasst, wird es schnell komisch!

Veröffentlicht unter Allgemein | Verschlagwortet mit , , | Hinterlasse einen Kommentar

Es war einmal in Mexiko: Meinungsforschung in der Öffentlichkeit

Überall wird gewählt: erst jüngst in Frankreich, Griechenland und Schleswig-Holstein, gestern in NRW und bald, nämlich am 1. Juli, in Mexiko (ich komme gleich darauf zurück). Für Meinungsforscher sind das spannende Zeiten!

Wahlen sind so ziemlich die einzige Möglichkeit, die Prognosegüte der Erhebungsinstrumente zu validieren. Normalerweise ist der wahre Wert ja nicht bekannt, sondern nur das Ergebnis einer Umfrage. Ob alle Kunden wirklich so zufrieden sind, wie die Umfrage behauptet, wird man nie herausfinden können – ob das amtliche Endergebnis einer Wahl korrekt vorhergesagt wurde schon.

Spannender als das richtige Ergebnis ist daran aber, dass sich die Markt- und Meinungsforschung hier in der Öffentlichkeit abspielt – und das ist alles andere als selbstverständlich. Klar, dass eine solche Öffentlichkeit immer wieder die Gemüter erhitzt: Gute Umfragewerte oder positive Trends werden häufig als weiteres Argument für eine Partei ins Feld geführt und können die Partei stärken. Prognosen an der 5%-Hürde bewegen Wähler dagegen zur Taktiererei – hier können wenige Stimmen über Mehrheitsverhältnisse entscheiden. Und so findet im Umfeld von Wahlen auch immer wieder die einzige populärwissenschaftliche Methodendiskussion statt, die es in den Sozialwissenschaften gibt.

Etwa in Mexiko. Hier kursieren mehrere Videos im Internet, die sich inhaltlich kaum unterscheiden: auch wenn die Wahlumfragen einen klaren Sieg des sozialdemokratischen PRI vorhersagen, so könne die Wahl dennoch noch von der drittstärksten Partei, des sozialistischen PRD gewonnen werden. Dazu – so die Argumentation der Filmemacher – könnten alleine schon diejenigen ausreichen, die in der Umfrage keine Parteienpräferenz genannt haben; in jedem Fall aber diejenigen, die ihre Teilnahme an der Umfrage verweigert haben. Für viele Mexikaner, gerade in der bildungsfernen Unterschicht, ist diese Argumentation sicherlich schwer zu durchschauen.

Urheber vieler Wahlprognosen ist das Team um Roy Campos vom Mitofsky-Institut. Als lügnerische Umfragen werden deren Studien gebrandmarkt, als Manipulation und Irreführung der Öffentlichkeit. Insofern ist es verständlich, dass sich Roy Campos immer wieder öffentlich zu methodischen Fragestellungen äußert – und in Anbetracht seines Publikums wunderbar anschauliche populärwissenschaftliche Bilder formuliert. So zum Beispiel zur Repräsentativität:

Ein Löffel Suppe ist genug, um den Geschmack im Topf zu probieren.
(Una cuchara de sopa es suficiente para probar una olla)

Davor muss man im Topf natürlich gut umrühren, wie er anmerkt. :-) Lernen kann man aus dieser Situation jedenfalls eine Menge: In Mexiko scheint es (zumindest vorübergehend) eine an der öffentlichen Meinung interessierte Öffentlichkeit zu geben. Dieses Interesse hat natürlich einen Anlass, wird aber auch von der Meinungsforschung genährt – und bietet ihr umgehkehrt so eine Plattform, sich in der Öffentlichkeit zu präsentieren: kompetent, relevant, nah am Menschen.

Wäre das nicht was für Deutschland? Bis zur nächsten Wahl müssen wir zwar noch etwas warten, doch der nächste Tag der Marktforschung kommt bestimmt. Oder interessiert es die Deutschen nicht, was die anderen Leute denken?

Veröffentlicht unter Allgemein | Verschlagwortet mit , , , | Hinterlasse einen Kommentar

Gegen die Bevormundung der Kunden!

Lieber Christian, als Autor der Forschungsfront muss ich zumindest anerkennen, dass Du mit deinen gewagten Thesen die Grenze verletzt und Neuland betrittst. Und ja, auch Provokation kann dafür ein probates Mittel sein. Ich dagegen befinde mich nun in der eigenartigen Situation, auf der Forschungsfront den Status Quo verteidigen zu müssen. Sei’s drum!

Mir scheint, bei deinem letzten Beitrag bilden viele falsche Argumente ein schlüssiges Gesamtbild. Am Ende wirkt alles plausibel. Dabei sind die einzelnen Bausteine deiner Argumentation durchaus diskussionswürdig:

  1. Die Methoden der Marktforschung sind kein Götzenbild. Sie wurden zwar von Menschenhand gemacht, werden aber sicherlich nicht vergöttert. Sie sind eine Konvention, die als solche funktioniert: je unumstößlicher und verbindlicher, desto besser. Jeder Versuch einer Methodendiskussion muss sich deshalb um das Ausbilden neuer Konventionen bemühen. Es reicht nicht, nur die alten Methoden vom Thron stoßen!
  2. Der Mehrwert einer sauberen Datenerhebung ist erlebbar. Nimm alleine das Rauschen in den Daten: Minderwertige Daten machen die Auswertung zur Hölle. Die Analysen schaffen dann keine Sicherheit, sondern nähren den Zweifel. Ein fragwürdiges Vergnügen, aber definitiv erlebbar, – und ich bin überzeugt: selbst für Research-Primadonnen.
  3. Gut gemachte Forschung hat sehr wohl einen praktischen Wert, solange man die Grenzen der Interpretierbarkeit wahrt und nicht orakeln möchte. Wer sich dagegen auch mit minderwertigen Daten begnügt, braucht sich nicht über den fehlenden praktischen Wert beklagen.
  4. Deshalb kann das Gravitationzentrum eines Manifests der Marktforschung auch nicht Consulting sein. Hier kommt nur die Datenerhebung und -auswertung in Betracht, das heißt: die unverwechselbaren Stärken und Kernkompetenzen unserer Branche.

Die hier aufgeführten Argumente weisen für mich alle in die gleiche Richtung: Schuster bleib bei deinen Leisten! Wir sind keine Unternehmensberater, die bei jedem Auftrag tief in die Prozesse der Klienten eingebunden werden – wir sind einfache Dienstleister. Unsere Kunden stellen Fragen, wir finden Antworten. Und weil Informationen und Wissen so schrecklich langweilig sind, haben wir Charts und Infografiken als hübschere Darreichungsform gefunden. Ich hoffe niemand kommt dabei auf die Idee, dass dieser äußere Schein bereits für ein gelungenes Forschungsprojekt ausreicht. Unsere Kunden vertrauen darauf, dass wir unsere Arbeit gewissenhaft leisten – ja mehr noch, sie setzen es zu Recht voraus.

Doch wir sind und bleiben externe Dienstleister unserer Kunden. Ich würde deshalb auch sagen, dass wir die Anforderungen unserer Kunden aus unserer Außenperspektive grundsätzlich nicht vollständig verstehen können. Wir können uns zwar eigene Vorstellungen machen, die dann aber trotzdem nichts mit der Wirklichkeit zu tun haben müssen. Wieso maßen wir es uns dann aber eigentlich an, zu beurteilen, welche Informationen für unsere Kunden wichtig sind? Wieso bevormunden wir unsere Kunden, indem wir für sie entscheiden, welche Anwendung unsere Analysen finden sollen? Wieso also geben wir Handlungsempfehlungen, wenn wir unvollständige Informationen haben? Wer Research Consulting so versteht, orakelt gemeinsam mit den Research-Primadonnen. Consulting muss sich auf die Belastbarkeit der Daten beziehen und nicht auf die Maßnahmen beim Kunden.

Nein, wir sollten nicht in fremden Gefilden wildern – wir sind keine Unternehmensberater. Nenn es einen selbstverordneten Autismus, nenn es eine hermetische Abschottung der Marktforschung: für mich ist es die Konzentration aufs Wesentliche. Vielleicht gelingt es der Marktforschung ja so, wieder ein klares Profil zu gewinnen und sich ein für alle mal gegen DIY, Big Data und andere fragwürdige Erscheinungen abzugrenzen. Und deshalb, Christian, bin ich überzeugt, dass der richtige Weg für die Marktforschung nur über mehr Methode führen kann! Von diesem Geist muss letztlich auch das Manifest getragen werden!

Veröffentlicht unter Das Manifest der Marktforschung | Verschlagwortet mit , , , , | 2 Kommentare

Lasst den Daten Taten folgen?

Erinnert ihr euch eigentlich noch ans Manifest der Marktforschung? Kurz vor Weihnachten wurde hier einmal die Idee diskutiert, für die Marktforschung ein Manifesto zu schreiben: ehrliche Grundsätze, für die sich Forscher verbürgen können, aber keine hohlen Marketingversprechungen, die immer irgendwie unglaubwürdig wirken.

Eine kleine Twitter-Konversation mit Christian Dössel hat mich wieder darauf gebracht. Sein Vorschlag für das Manifesto ist auf den ersten Blick sehr reizvoll, als Forderung formuliert vielleicht so:

Lasst den Daten Taten folgen!

Hier mag man zunächst nicht widersprechen. Marktforschung bleibt immer dann verlorene Liebesmüh, wenn man mit den Ergebnissen nicht arbeitet. Auf Surveygizmo wurden erst vor einigen Tagen mehrere Gründe gegen Marktforschung genannt – und auch hier ganz oben dabei: nicht das Budget oder die Entscheidungskraft zu haben, aus den potenziellen Ergebnissen einer Studie etwas zu machen. Marktforschung ist nur dann gut, wenn sie einen echten Unterschied für unternehmerische Entscheidungen machen kann.

Kann man dem Vorschlag von Christian also unwidersprochen zustimmen? Bedingt, denn man darf aus meiner Sicht die Kunst des richtigen Antwortens nicht gegen die Kunst des richtigen Fragens ausspielen. Erst gestern bin ich über ein kleines Filmchen gestolpert, bei dem eine sichtlich irrelevante Umfrage mit dem denkwürdigen Satz beendet wird: “Welcome to the strange world of market research!” Ich würde hier noch kein Primat der Feldarbeit postulieren wollen – aber zumindest ist das das Fundament, worauf die Analysen und späteren Handlungen aufbauen. Wenn es schon bei der Fragestellung und Stichprobenziehung wackelig ist, wird man mit dem Rest nicht besonders weit kommen.

Gerade weil viele Dilettanten in der Feldarbeit mitmischen, und mit Big Data und DIY im Moment auch alle Türen in die Branche offen stehen, sollte man sich für die Kunst des richtigen Fragens stark machen. So wie ich kein Michelangelo, Pavarotti oder Beckenbauer bin, nur weil ich schon als Kleinkind malen, singen und Ballspielen konnte, wird man auch kein Marktforscher, nur weil man als Kleinkind schon gelernt hat zu fragen. Diesen Unterschied im Grad an Professionalisierung muss man immer wieder deutlich machen. Den Research-Primadonnas kommt man deshalb vielleicht nur mit mehr (und nicht weniger) Methode bei!

Lasst den Daten Taten folgen? Ja, aber unterfüttert eure Taten bitte auch mit guten Daten, damit es kein blinder Aktionismus wird. Primadonnen helfen da nicht weiter!

Veröffentlicht unter Das Manifest der Marktforschung | Verschlagwortet mit , , , | 1 Kommentar

Wofür ist Marktforschung eigentlich gut?

Bevor man sich daran machen kann, die vermeintliche Krise der Marktforschung zu beschreiben, sollte man erst einmal klären, wie der Erwartungshorizont aussieht, vor dem die Branche scheitert. Wofür ist Marktforschung eigentlich gut?

Hier findet man in dicken BWL-Schmökern schnell recht umfangreiche Listen. Die Evaluation vergangener Unternehmensaktivitäten, die Beobachtung des aktuellen Verhaltens von Marktteilnehmern und die Prognose zukünftiger Entwicklungen auf dem Markt werden hier genannt. Und auch die Institute selbst haben eigene Kriterien, wann ein Projekt aus ihrer Sicht gut gelaufen ist. Als Argument für Marktforschung reicht das aber noch nicht aus, denn die Produkte der Marktforschung haben alleine keinen Wert, wenn sie nicht auch einen Bedarf decken.

Aus der Außensicht kann man Marktforschung als wissenschaftliche Konditionierung unternehmerischer Entscheidungen beschreiben. An dieser eher soziologischen Beschreibung wird schön deutlich, dass Entscheidungen in Unternehmen prinzipiell auch nach anderen Kriterien getroffen werden können (z.B. dem Bauchgefühl, einer Vision, der Unternehmenskultur, o.ä.) und Chartberichte vor allem den Bedarf nach einer wissenschaftlichen Unterfütterung von Entscheidungen decken. Was inhaltlich in den Forschungsberichten steht, ist zunächst relativ egal, solange sie unternehmerische Entscheidungen vereinfachen und sich diese Entscheidungen dann auch in der Praxis bewähren (was nicht bedeutet, dass es nicht auch objektiv bessere Entscheidungen gegeben hätte – sondern nur, dass dies nicht spürbar wird). Hier wird der Marktforscher als Unternehmensberater stark gemacht, der sich nicht zuletzt mit den Entscheidungsprozessen seiner Kunden auseinandersetzt.

Vor diesem Hintergrund kann man verstehen, was Hartmut Scheffler wiederholt als Alibiforschung bezeichnet hat. Hier geht es um Forschung, die keinen Informationsbedarf stillen soll, sondern vielmehr bestehende Entscheidungslinien bekräftigen muss. Die Qualität der Forschungsergebnisse ist hier nicht so sehr gefragt, wie die fachliche Autorität des Marktforschers, für seine Ergebnisse zu bürgen. Dass Alibiforschung irgendwann die Autorität von Marktforschung untergräbt, kann als erster Hinweis auf ihre Krise gelten: Marktforschung lebt von ihrer allgemeinen Glaubwürdigkeit.

Doch kehren wir zunächst zum Nutzen von Marktforschung zurück. Denn nicht nur die direkten Auftraggeber von Forschung haben Ansprüche, auch die Studienteilnehmer selbst wollen einen Nutzen daraus ziehen, wenn sie an Studien teilnehmen. Das lässt zum Beispiel ganz klassisch an der Veröffentlichung von Wahlergebnissen festmachen, die den Wählern Orientierung bieten und Nichtwähler mobilisieren. Ähnliches gilt für kommerzielle Themen: hier hat der Konsument die Möglichkeit Einfluss zu nehmen und das Angebot mitzubestimmen. Marktforschung ist also auch ein Mittel zur gesellschaftlichen Teilhabe, quasi als Sprachrohr “des kleinen Mannes”. Aus Sicht der Bevölkerung zieht sie ihre Stärke aus ihrer Möglichkeit, Entscheidungen in Politik und Wirtschaft konditionieren zu können.

Wofür Marktforschung am Ende gut ist, hängt also ganz davon ab, wie sie sich in der Öffentlichkeit gibt. In jedem Fall lebt sie aber von ihrer Glaubwürdigkeit. Wenn aber Marktforschung an Glaubwürdigkeit verliert, egal ob auf Seite der Kunden oder der Probanden, verspielt sie ihre Existenzgrundlage. Deshalb lauert hinter jedem neuen Trend die Herausforderung, schnellstmöglich die Glaubwürdigkeit der Marktforschung wieder herzustellen.

Veröffentlicht unter Die Krise der Marktforschung | Verschlagwortet mit , , , , | Hinterlasse einen Kommentar