Auswirkungen der Stichprobengröße auf
die Repräsentativität von Online-Befragungen

Im Verlauf der letzten Dekade haben sich die zeitlichen Ansprüche an die traditionelle Marktforschung radikal verändert. Wie [Greenberg00] zeigt, ist die Produktlebensspanne einer aktuellen Digitalkamera auf knapp 6 Monate begrenzt, wobei 80% des Produktgewinns in den ersten zwei Monaten nach Markteinführung realisiert werden. Durch diese Entwicklung ergibt sich für den Marktforscher die Notwendigkeit, Informationen über Kunden und Märkte möglichst zeitnah zu beschaffen und zur Verfügung stellen zu können.

Eine mögliche Lösung liegt in der Durchführung von Befragungen im Internet. Online-Befragungen sind mit geringen Kosten verbunden und lassen sich schnell und zeitnah durchführen – meist können bereits wenige Tage nach Beginn der Befragung erste Ergebnisse präsentiert werden. Aufgrund dieser Eigenschaften vertraten viele Branchenkenner zum Jahrtausendwechsel die Auffassung, dass Online-Befragungen konventionelle Befragungen graduell ablösen würden. Diese hohen Erwartungen haben sich inzwischen als nicht realistisch erwiesen, hauptsächlich aufgrund von Zweifeln an der Repräsentativität solcher Erhebungen.

2 Repräsentativität

Lediglich die Vollerhebung garantiert ein sicheres Ergebnis, aufgrund des hohen Aufwands wird aber meist eine Teilmenge untersucht, deren Merkmalsausprägungen stellvertretend erhoben werden. Die Merkmalsverteilung innerhalb der Stichprobe soll wiederum den erwartungstreuen Rückschluss auf die Merkmalsverteilung in der Grundgesamtheit ermöglichen. Ein solcher Rückschluss ist nur dann sinnvoll, wenn sich die Verhältnisse in der Grundgesamtheit möglichst verzerrungsfrei in der Stichprobe widerspiegeln. Ist dies der Fall, ist die Stichprobe repräsentativ [Hauptmanns03]. Die entscheidende Bedingung hierfür ist der Zufallscharakter der Stichprobe, welcher sich auch im allgemeinen Verständnis als bestimmender Faktor etabliert hat und hier nicht betrachtet wird. Statt dessen wird ein anderer Faktor beleuchtet, der sich ebenfalls auf die Repräsentativität auswirkt – die Stichprobengröße.

3 Bedeutung der Stichprobengröße

Für alle Zufallsstichproben gilt, dass eine Vergrößerung des Stichprobenumfangs die Wahrscheinlichkeit einer größeren Abweichung der erfassten Merkmalsverteilungen von denen der Grundgesamtheit senkt. Bei nicht-zufallsgesteuerten Auswahlverfahren oder Auswahlmängeln führt eine hohe Teilnehmerzahl jedoch nicht zu einer hohen Aussagekraft [Theobald00].

Ein klassisches Beispiel für einen Mangel im Auswahlverfahren, der auch durch eine sehr große Stichprobe nicht ausgeglichen werden konnte, ist das „Literary Digest Desaster“. Das US-amerikanische Magazin Literary Digest versuchte 1936 den Ausgang der Präsidentschaftswahl anhand einer Erhebung der Leserschaft des Digest zu ermitteln, das als unpolitische Publikation Leser unter Anhängern beider Lager besaß. Neben einer postalischen Befragung wurde zusätzlich eine Telefonbefragung durchgeführt, basierend auf einer Zufallsauswahl anhand des Telefonregisters. Die Befragung erreichte insgesamt mehr als 10 Millionen Wahlberechtigte, von denen sich etwa 2,3 Millionen beteiligten. Auf der Basis dieser Ergebnisse prognostizierte der Literary Digest einen Erdrutschsieg für den Republikaner Landon, tatsächlich erhielt jedoch der Demokrat Roosevelt das Mandat für eine zweite Amtszeit.

Die große Abweichung lässt sich auf zwei Verzerrungseffekte zurückführen. Bei der Telefonbefragung wurde nicht bedacht, dass Telefone 1936 nicht flächendeckend verfügbar waren und sich der Großteil aller Anschlüsse in einkommensstarken Haushalten befand, die traditionell dem konservativ-republikanischen Lager zuneigen. Es ist hervorzuheben, dass auch eine korrekt durchgeführte Zufallsauswahl nicht zu einer repräsentativen Stichprobe führt, wenn sie aus einer Teilmenge entnommen wird, in der hinsichtlich der interessierenden Merkmale keine Strukturäquivalenz zur Grundgesamtheit besteht. Dieses Problem tritt in der Online-Marktforschung insbesondere bei der Rekrutierung aus Online-Panels auf.

Der größere Anteil der Wahlberechtigten wurde auf dem Postweg erreicht, doch nur etwas mehr als 20% beteiligten sich an der Stimmabgabe. Da das Merkmal „Motivation“ in der Regel nicht zufällig in einer beliebigen Personengruppe verteilt ist, ist dadurch, dass die Angesprochenen selbst entscheiden, ob sie zur Stichprobe gehören, eine Verzerrung zu erwarten. Die Stichprobe konstituiert sich in solchen Fällen gewissermaßen selbst, ein Vorgang, der als Selbstselektion bezeichnet wird und für Online-Befragungen von großer Bedeutung ist.

Festzuhalten ist, dass keiner der beiden Effekte durch den großen Umfang der Stichprobe abgemildert wurde. Die Stichprobengröße ist daher kein entscheidendes Kriterium zur Beurteilung der Untersuchungsgüte. Obwohl dies in der Marktforschung bekannt ist, wird insbesondere in der Online-Marktforschung häufig mit großen Teilnehmerzahlen für Ergebnisse geworben. Durch die Hervorhebung der Stichprobengröße wird diese den Konsumenten gegenüber implizit als Indikator für Qualität und Repräsentativität präsentiert [Hauptmanns03].

4 Zusammenfassung und Fazit

Neben dem Zufallscharakter der Stichprobe beeinflusst auch die Stichprobengröße die Repräsentativität, deren Bedeutung wird aber häufig überschätzt. Es ist festzuhalten, dass bei nichtzufälliger Stichprobenziehung auch große Stichproben keinen positiven Effekt auf die Repräsentativität ausüben. Es muss daher im Interesse der seriösen Online-Marktforschung liegen, diesen Umstand stärker ins öffentliche Blickfeld zu rücken und nicht Probleme im Auswahlverfahren hinter hohen Teilnehmerzahlen zu verbergen.

[Greenberg00] Greenberg, D. (2000). Internet economy gives rise to realtime research, Quirk's Market Research Review, Issue 7/2000.
[Hauptmanns03] Hauptmanns, P. & Lander, B. (2003). Zur Problematik von Internet-Stichproben. In A. Theobald, M. Dreyer & T. Starsetzki (Hrsg.), Online-Marktforschung (S. 27-40). Wiesbaden: Gabler.
[Theobald00] Theobald, A. (2000). Das World Wide Web als Befragungsinstrument. Wiesbaden: Gabler.