MGW

Meinungsforschung

Wie Meinungsforscher Prognosen erstellen: zum Selberprobieren

von Moritz Gottsauner / 22.10.2015

Wahlprognosen sind auch nur Schätzungen anhand widersprüchlicher Daten. Können Sie es besser als die Meinungsforscher? Bei uns können Sie es ausprobieren.

Meinungsforscher haben es nicht leicht. Auch wenn sie alle Regeln der Kunst befolgen, sind sie bei Wahlprognosen am Ende auf ihre Erfahrung, Intuition und ein bisschen Glück angewiesen. Denn die Zahlen alleine sprechen oft keine klare Sprache.

Am Anfang einer guten Prognose steht eine möglichst neutrale Fragestellung, die den Befragten in seiner Antwort so wenig wie möglich beeinflusst. Dann braucht es eine gute Stichprobe von Befragten, die repräsentativ für die jeweilige Wählerschaft ist, was Alter, Geschlecht, Wohnort, Ausbildung etc. betrifft. Nicht zuletzt sollten auch die Interviewer ihr Handwerk verstehen.

Insbesondere Rohdaten einer Umfrage, also die unveränderten Ergebnisse, können offensichtlich verzerrt sein.

Wenn die Rohdaten einer Umfrage vor der Wien-Wahl etwa die FPÖ bei knapp über 20 Prozent sehen, versteht auch der Laie: Da kann etwas nicht stimmen. Womöglich ist das bekannte Phänomen der sozialen Erwünschtheit von Antworten aufgetreten. Das bedeutet, dass sich FPÖ-Wähler nicht als solche deklariert haben. Die Kunst der Wahlprognose besteht also darin, diese Verzerrungen zu erkennen und so weit wie möglich auszugleichen.

Die Rohdaten unterscheiden sich oft nicht wesentlich von Umfrageinstitut zu Umfrageinstitut. Das würde nämlich bedeuten, dass in den Stichproben oder Fragestellungen etwas nicht stimmt. Tatsächlich sind unterschiedliche Prognosen meist nur das Resultat dessen, was ein Institut mit den Rohdaten anstellt.

Total Recall

Doch wie stellt man fest, wann Befragte nicht die Wahrheit über ihre Wahlentscheidung sagen? Das gängige Mittel heißt Recall-Frage und ist zunächst nichts weiter als ein gewiefter Trick: Die Befragten werden gebeten, zusätzlich zu ihrer Wahlentscheidung auch anzugeben, welche Partei sie das letzte Mal gewählt haben.

Die Ergebnisse der Recall-Frage, der „Erinnerungs-Frage“, können dann mit dem tatsächlichen Ergebnis der letzten Wahl verglichen werden. Unterscheiden sie sich stark, hat man ein Indiz dafür, dass nicht alle Befragten wahrheitsgemäß geantwortet haben. Es könnte eine Unter- oder Überdeklaration stattgefunden haben.

Ginge es zum Beispiel nur nach den Rohdaten von Umfragen, würden die Grünen meist von Wahlsieg zu Wahlsieg eilen. Generell deklarieren sich Befragte gerne als Grünwähler, obwohl sie gar keine sind.

Das Gewicht der Gewichtung

Die Recall-Frage kann diese Diskrepanz sichtbar machen. Aber wie kommt man trotzdem zu brauchbaren Ergebnissen? Hier kommt die Gewichtung ins Spiel, sie ist der Grund dafür, warum die Antworten von Befragten nicht alle gleich viel zählen. Einfaches fiktives Beispiel: Die Wählerschaft, die untersucht werden soll, besteht offiziellen Statistiken zufolge zu 53 Prozent aus Frauen. Von den Befragten in einer Umfrage sind aber nur 45 Prozent weiblich, weil aus irgendeinem Grund nicht mehr Frauen telefonisch erreichbar waren oder weil sie keine Antworten geben wollten. Weil das nicht repräsentativ ist, muss gewichtet werden. Das bedeutet, dass alle Antworten der Frauen mehr zählen sollen als jene der Männer, bis ein Verhältnis erreicht ist, das den realen 53 zu 47 Prozent in der Wahlbevölkerung entspricht. Das Ergebnis der Umfrage verändert sich dadurch und entspricht – in der Theorie – eher der Realität.

Genauso funktioniert es mit Wählern, die aus irgendeinem Grund inkorrekte Antworten gegeben haben. Sagen wir, nur 15 Prozent der Befragten gaben an, beim letzten Mal FPÖ gewählt zu haben. Laut Wahlergebnis lag die FPÖ aber bei 25 Prozent. Irgendwer sagt hier nicht die Wahrheit, es muss FPÖ-Wähler in der Stichprobe geben, die sich nicht bekennen wollten. Dem kann man begegnen, indem man den Antworten der deklarierten 15 Prozent mehr Gewicht verleiht, bis sie dem Wert von 25 Prozent entsprechen. Der Wert der FPÖ steigt dadurch auch in der aktuellen Sonntagsfrage und sollte die Realität ebenfalls besser abbilden. Dieser daraus resultierenden Prognose vertrauen viele Meinungsforscher – aber nicht alle – am meisten.

Das bedeutet allerdings noch nicht, dass Unterdeklarationen ausgeschlossen sind. Deshalb war es in Österreich unter Meinungsforschern bisher üblich, die FPÖ nach der statistischen Gewichtung quasi mit freiem Auge noch ein bisschen hinaufzusetzen.

Die Qual der Wahl

Ein Meinungsforschungsinstitut hat uns als Beispiel für diese gewichteten Daten einer Umfrage im Vorfeld der Wien-Wahl zur Verfügung gestellt. Wir sehen hier teils größere Unterschiede zwischen den Gewichtungen. Die linke Spalte (Demo) entspricht unserem Gewichtungsbeispiel mit dem Frauenanteil. Die Rohdaten wurden so angepasst, dass die demografischen Merkmale wie Alter, Geschlecht, Ausbildung repräsentativ sind. Wir sehen, dass die Grünen in der Sonntagsfrage relativ hoch bei 15 Prozent liegen und die FPÖ niedriger, als es andere Umfragen prophezeiten.

Die rechte Spalte zeigt das Ergebnis der Sonntagsfrage nach der Recall-Gewichtung. In der Recall-Frage haben zuvor unrealistisch viele Personen angegeben, bei der letzten Wahl Grün gewählt zu haben und vergleichsweise wenige, dass sie den Blauen ihre Stimme gegeben haben. Diese Zahlen können wir aus Gründen der Vertraulichkeit nicht publizieren. Was wir hier aber sehen, ist das Ergebnis der Gewichtung, die das Institut vorgenommen hat. Die Antworten der FPÖ-Wähler wurden auf- und jene der Grünwähler abgewertet. Die Gewichtung brachte ein Ergebnis, das mit Sicherheit näher an der Realität lag als die Rohdaten oder die Gewichtung nach rein demografischen Faktoren.

Bis jetzt ist alles nach statistischen Standardverfahren abgelaufen.

Ab diesem Zeitpunkt aber hilft die Statistik nicht mehr unbedingt weiter – Erfahrung, Intuition und pures Glück kommen ins Spiel. Aus diesen Zahlen muss der Meinungsforscher nun seine Prognose formen, wie sie im nächsten Schritt an Medien oder Parteizentralen geliefert werden.

Können Sie es besser?

Wir haben noch ein weiteres Beispiel aufgetrieben, damit sie sich selbst an einer Prognose versuchen können. Es stammt von einer früheren Wahl. Sie können sich vielleicht denken, welche, aber lassen wir das doch spaßhalber einmal außen vor.

Folgende Ausgangslage: Sie haben wieder zwei Gewichtungen der Rohdaten zur Verfügung, demografisch und nach Recall-Frage, wie wir sie für Wien bereits gesehen haben. Im Gegensatz zum Wien-Beispiel erkennen wir aber nur geringe Unterschiede zwischen den Gewichtungen. Das kann bedeuten, dass die Befragten eher die Wahrheit gesagt haben, was ihre Wahlentscheidung betrifft. Eindeutige Sache? Leider Nein.

Denn Ihre Mitbewerber haben Umfragen publiziert, die von Ihren Daten teils etwas abweichen. Die Bandbreiten sehen so aus: SPÖ 31–34, ÖVP 28–31, FPÖ 17–24,6, Grüne 6,5–8, NEOS 3–5, Stronach 1–1,5, Andere 6–7.

Bei ÖVP und FPÖ liegen Ihre Daten also am oberen bzw. unteren Rand der anderen Prognosen. Trauen Sie Ihren Zahlen? Oder gönnen Sie der FPÖ noch ein paar Prozentpunkte, so wie Sie es immer schon gemacht haben? Ein letzter Tipp: Im Wahlkampf hat das Asylthema durchaus eine Rolle gespielt.

Versuchen Sie also Ihr Glück! Wie lautet Ihre Einschätzung?

Programmierung: Fabian Lang

Laut neuwal.com lag die Durchschnittsabweichung von Wahlumfragen in Österreich nach dieser Wahl bei rund 15 Prozent. Ein Ergebnis darunter ist also durchaus respektabel. Alles unter 8 Prozent ist in unserem Beispiel ziemlich gut.

Das Tool ist natürlich nur als sehr grobe Annäherung zur demoskopischen Praxis zu verstehen. Ihre Informationslage war zugegebenermaßen spärlich. Meinungsforscher haben in der Regel noch eine Reihe weiterer Daten zur Verfügung, die in ihre Entscheidung einfließen können. Zahlen aus früheren Umfragen etwa. Oder Detailergebnisse einzelner Fragen. Nicht zuletzt haben sie auch eine Menge Erfahrung mit Prognosen – und liegen nicht zuletzt auch oft richtig.