Jeder Vierte ist bei der Arbeit übermässig gestresst, 53 Prozent sind für die Ecopop-Initiative, ein Fünftel der Jugendlichen fühlt sich durch Selfies verunsichert, 11 Prozent der Schweizer finden Michelle Hunziker sexy: All dies wollen repräsentative Onlineumfragen in letzter Zeit herausgefunden haben. Wie glaubwürdig sind solche Befragungen?
In den Medien und der Bevölkerung ist man oft viel zu unkritisch gegenüber ­solchen Umfragen. Eine Rolle spielt dabei nicht so sehr, ob es sich um Online­umfragen handelt oder nicht. Entscheidend ist die Durchführung. Doch diese ist gerade bei Onlineumfragen oft schlecht. Bei den meisten sind die ­Stichproben völlig verzerrt, sodass sich keine repräsentativen Aussagen machen lassen.

Durchs Band?
Sehr oft. Es gibt dabei verschiedenste Methoden, die Umfragen durchzuführen. Wenn eine Zeitung eine Online­befragung unter den Lesern macht, dann ist das natürlich keine vernünftige Stichprobe. Meinungsforschungsinstitute haben heute Onlinepanels aus einem Pool von vielleicht 20'000 Leuten, die sich zur Verfügung stellen, um regelmässig an Umfragen teilzunehmen. Für die Teilnehmer gibt es in der Regel ein Geschenke oder einen Geldbetrag.

Viele Menschen würden sich nie für so ein Panel zur Verfügung stellen . . .
Die Leute bei den Meinungsforschungsinstituten sagen natürlich, dass dies gut funktioniere. Die Panels ersetzen die repräsentativen Telefonbefragungen – die nebenbei bemerkt auch nicht immer repräsentativ sind. Aber natürlich bestehen die Panels aus Leuten, die Freude an solchen Umfragen und einen Internetzugang haben und sich dafür die Zeit nehmen können. Das ist eine spezielle Auswahl. Von Repräsentativität ist deshalb keine Spur.

Aber wenigstens annähernd ­repräsentativ?
Ich habe wenig Vertrauen. Um sicher zu sein, müsste man Erhebungen mit verschiedenen Methoden durchführen und diese miteinander vergleichen. Insbesondere in der Schweiz gibt es aber kaum solche Validierungsstudien. Es wird einfach alles Mögliche ausprobiert und dann unbesehen von den Medien verbreitet. Onlineumfragen zur politischen Stimmung in der Schweiz sind heute garantiert nicht repräsentativ.

Lassen sich Verzerrungen nicht mit Korrekturfaktoren ausgleichen? «20 Minuten» macht beispielsweise Onlinebefragungen zu Abstimmungen und gewichtet die Antworten.
Das ist oft reine Hexenküche. Man kann nicht im Nachhinein durch Gewichtung repräsentative Samples herstellen. Manchmal sind die Umfragen dadurch schlechter als vorher. Gewichtungen sind nur dann sinnvoll, wenn sie vor der Erhebung in die Planung einbezogen werden. Zum Beispiel wenn bei einer schweizweiten Befragung der Anteil der Italienischsprechenden gemäss Stichprobenplan erhöht wird, um ihn dann bei der Auswertung wieder nach unten zu korrigieren. Solche Gewichtungen sind völlig korrekt. Nicht aber, wenn ungleiche Verteilungen bei Bildung, Geschlecht, Erwerbstätigkeit und Alter nachträglich so korrigiert werden, dass sie der Durchschnittsbevölkerung entsprechen.

Weshalb nicht?
Wenn Sie, um ein extremes Beispiel zu nennen, eine Stichprobe mit 90 Prozent Männern und 10 Prozent Frauen haben und nun die politischen Aussagen der Frauen neunmal stärker gewichten, können sie komplett danebenliegen. Gut möglich, dass die 10 Prozent Frauen eine sehr spezielle Gruppe sind.

Bei so vielen Fallstricken – wie lässt sich denn überhaupt eine repräsentative Umfrage machen?
Gute Stichproben sind eben teuer. Wenn Sie es wirklich gut machen wollen, müssen Sie die Teilnehmer auf Basis von ­zufällig festgelegten Gemeinden und Einwohnerregistern auswählen. Zweite Wahl sind Telefonregister, die nun mal unvollständig sind. Am besten schreiben Sie dann den Leuten zuerst und künden ihnen ein Interview ein bis zwei Wochen im Voraus an. Das ist besser, als sie zu überraschen. Für die Befragung selber gibt es dann wieder verschiedene Möglichkeiten vom persönlichen Interview bis zum Onlinefragebogen. Die Befragungsmethoden können auch kombiniert werden. Daneben gibt es noch weitere Möglichkeiten aus der Umfrageforschung. Aber natürlich betreibt man solchen Aufwand nur, wenn die Präzision der Ergebnisse wirklich wichtig ist.

Wenn das alles so teuer und auf­wendig ist, dann sind Kompromisse bei der Stichprobenauswahl doch die einzige Möglichkeit, zahlbare Untersuchungen zu machen?
Ja, aber man kann damit immer völlig falsch liegen. Das ist, wie wenn Sie sich an die Zürcher Bahnhofstrasse stellen und dort jeden Dritten befragen. Dann kommen Sie zum Beispiel auch auf eine gewisse Burn-out-Quote – abhängig von der Uhrzeit, zu welcher Sie dort stehen.

Da sind die meisten Befragungen aber doch um einiges raffinierter.
Wir haben häufig genug Umfragen gehabt, nicht nur online, bei denen man völlig danebenlag. Nehmen Sie zum Beispiel die GFS-Abstimmungsbarometer vor der Minarettinitiative. Bei den Telefonbefragungen zum Abstimmungsbarometer ist die Beteiligung generell sehr tief. Bei der Minarettinitiative lag die ­Response-Quote vermutlich bei rund 20 Prozent. Das legt nahe, dass die Umfrageergebnisse tatsächlich falsch waren und nicht danach ein starker Stimmungsumschwung stattgefunden hatte.

Was wäre denn eine brauchbare Response-Quote?
Da gibt es keine feste Regel. Man hat heute Response-Quoten von 30 bis 40 Prozent. Mit finanziellen oder anderen Anreizen lässt sich das auf vielleicht 60 Prozent steigern. Das heisst aber nicht, dass eine Umfrage damit besser wird. Wenn man zum Beispiel den Leuten 50 Franken als Anreiz gibt, verdoppelt man vielleicht die Response-Quoten. Aber man erwischt dann genau diejenigen, die nur wegen des Geldes mitmachen, also eine spezielle Gruppe.

Die einfach das Geld abholen will.
Oder sich nur über Belohnungen motivieren lässt. Je nach Thema der Befragung kann das viel ausmachen.

Solche methodischen Erwägungen sind in Umfrageberichten oft nur am Rande ein Thema. Ein Problem?
Die häufige Intransparenz bei Umfragen ist einer meiner Hauptkritikpunkte. Beispielsweise bei der GFS, die mit ihren Abstimmungsbarometern die öffentliche Meinung stark beeinflussen kann, wird die Response-Quote nicht angegeben. Bei anderen Umfragen steht zwar eine entsprechende Zahl, jedoch nicht, wie sie berechnet wurde. Ohne solche Angaben bleibt grosser Spielraum für Manipulationen.

(Tages-Anzeiger)

(Erstellt: 30.10.2014, 19:34 Uhr)