Datenerhebung: Wie Daten korrekt gewonnen werden

Die Volkszählung des BfS ist ein gutes Beispiel für eine statistische Datenerhebung, die versucht, den Ist-Zustand möglichst genau zu beschreiben, jedoch ohne direkt darauf einzuwirken. Daneben gibt es aber auch die Möglichkeit, ein Experiment durchzuführen, um Daten zu gewinnen. Experimentelle Daten werden unter kontrollierten Bedingungen gesammelt, um Ursache-Wirkungs-Beziehungen zu untersuchen. Beide Arten der Datenerhebung haben ihre Vor- und Nachteile, die insbesondere bei der Analyse und der Interpretation der Daten zu berücksichtigen sind. So ist es mit Beobachtungsstudien viel schwieriger, Kausalzusammenhänge nachzuweisen. Demgegenüber ist es bei experimentellen Studien möglich, mittels Randomisierung, d.h. der zufälligen Zuteilung zu den einzelnen experimentellen Bedingungen, den Einfluss der experimentellen Intervention von anderen möglichen Einflussfaktoren zu trennen.

Ein Beispiel ist die Untersuchung der Auswirkungen von Schlafentzug auf die kognitive Leistungsfähigkeit von Menschen. Die Forschenden teilen dabei eine Gruppe von Probanden zufällig in zwei Gruppen ein: Der ersten Gruppe wird eine Nacht lang der Schlaf entzogen, während die zweite Gruppe eine normale Nachtruhe hat. Anschliessend werden kognitive Leistungstests durchgeführt, um die Auswirkungen des Schlafentzugs zu messen. Weil die Zuteilung der Probanden in eine der beiden Gruppen zufällig erfolgte, kann verhindert werden, dass systematisch z.B. alle besonders intelligenten Teilnehmenden in derselben Gruppe sind.

Weiterhin lassen sich Experimente oft so planen, dass die Genauigkeit der Datenerhebung steigt, sodass auch kleine Effekte und Unterschiede erfasst werden können. Im obigen Beispiel können die Forschenden beispielsweise sicherstellen, dass alle Teilnehmenden in einer Gruppe die gleichen Schlafbedingungen im Schlaflabor haben. Würden die Teilnehmenden stattdessen zu Hause übernachten, wären sie einer Vielzahl ganz unterschiedlicher Einflussfaktoren ausgesetzt, zum Beispiel durch Strassenlampen, Party-Lärm, Temperaturunterschiede usw., welche die Resultate beeinflussen könnten. Das würde die Variabilität der Ergebnisse erhöhen, wodurch es wiederum schwieriger wäre, den Effekt von Schlafentzug auf kognitive Leistungen korrekt zu erfassen.

Experimentelle Studien vereinfachen deshalb auch die Reproduzierbarkeit von Ergebnissen: Indem die Datenerhebungen unter annähernd gleichbleibenden Bedingungen wiederholt werden können, lassen sich bereits erfasste Ergebnisse überprüfen und somit bestätigen oder widerlegen.

Doch gerade die kontrollierten Bedingungen können auch gewisse Nachteile bergen: Weil ein Experiment nicht unter natürlichen, sondern eben unter experimentell kontrollierten Bedingungen stattfindet, lassen sich die erhobenen Ergebnisse nicht direkt auf die Welt ausserhalb des Experiments übertragen. Das ist ein wesentlicher Unterschied zur beschreibenden Datenerhebung, wie sie bei der Volkszählung des Bundesamts für Statistik zur Anwendung kommt. Mit der Volkszählung lassen sich direkt oder indirekt beschreibende Aussagen zur Bevölkerung in der ganzen Schweiz machen, jedoch ohne Kausalbeziehungen feststellen zu können.

Sowohl bei experimentellen wie auch bei beobachtenden Datenerhebungen macht es einen Unterschied, ob sie offen oder verdeckt durchgeführt werden. Im Falle einer offenen Durchführung wissen die Teilnehmenden einer Untersuchung mehr über die Details der Datenerhebung als bei einer verdeckten bzw. verblindeten Durchführung, bei denen bestimmte Informationen vorenthalten werden. Zum Beispiel ist es bei vielen Medikamententests Standard, dass weder die Patienten noch die behandelnden Ärzte wissen, welches Medikament verschrieben wird. So soll verhindert werden, dass das Wissen darüber, welches Medikament verschrieben wird, das Verhalten von Ärzten und Patienten systematisch verzerrt.

Dass eine solche Form der Verblindung nicht immer möglich ist, zeigt das obige Beispiel mit der experimentellen Studie zum Schlafentzug: Die Probanden wissen spätestens nach der ersten Nacht, in welche der beiden Gruppen sie eingeteilt worden sind.

Statistische Methoden spielen bei der Planung von Datenerhebungen eine zentrale Rolle, wobei es auch hier gewisse Unterschiede zwischen beobachtenden und experimentellen Erhebungen gibt.

Bei beobachtenden Erhebungen stellen sich insbesondere folgende Fragen:

• Wie erfolgt die Auswahl der Stichprobe aus der Gesamtpopulation?
• Aus welchen Quellen stammen die erhobenen Daten?
• Lässt die gewählte Stichprobe Rückschlüsse über die Gesamtpopulation zu?

Bei experimentellen Erhebungen stehen zumeist andere Fragen im Vordergrund:

• Mit welchem Zufallsverfahren werden die experimentellen Gruppen eingeteilt?
• Wie werden systematische Verzerrungen verhindert?
• Wie lassen sich externe Einflussfaktoren reduzieren?

In beiden Fällen ist die Frage zentral, wie gross die Zahl der erhobenen Datenpunkte (Stichprobe) sein muss, um präzise Aussagen über die Grundgesamtheit machen zu können. Ist die Stichprobe zu klein, so lassen sich kaum verlässliche Schlüsse aus der Datenerhebung ziehen. Ist sie zu gross, kostet die Erhebung mehr, als sie müsste.

Die Statistik hat eine Reihe von Verfahren entwickelt, um die obenstehenden Fragen zu adressieren. So beschäftigt sich die sogenannte «Stichprobentheorie» mit der korrekten Auswahl einer Stichprobe aus der Grundgesamtheit. Im Falle der Volkszählung des BfS sind relevante Grundgesamtheiten beispielsweise die Schweizer Bevölkerung, die Gesamtzahl aller Schweizer Haushalte oder die Gesamtzahl aller Schweizer Unternehmen. Ziel der Stichprobentheorie ist es, Methoden zur Stichprobenauswahl bereitzustellen, mit denen sich aus einer Stichprobe Rückschlüsse über die Grundgesamtheit ziehen lassen. 

Hierbei gibt es verschiedene Ansätze: Bei einfachen Zufallsstichproben werden, wie in Abbildung 1 skizziert, zufällig einzelne Individuen aus der gesamten Population gezogen. Bei einer stratifizierten Stichprobenerhebung wird die Population zuerst in einzelne Schichten (“strata”) unterteilt, aus denen dann jeweils zufällige Stichproben gezogen werden. Will man beispielsweise sicherstellen, dass alle vier Sprachregionen der Schweiz genügend gut abgebildet sind in der Stichprobe, könnte man die Schweizer Bevölkerung zuerst nach Wohnort unterteilen und dann gesonderte Stichproben aus den deutsch, französisch, italienisch und romanisch sprechenden Landesteilen erheben (Abbildung 2).

Die Berücksichtigung der Stichprobentheorie bei der Datenerhebung ist deshalb wichtig, weil Daten alleine nichts darüber aussagen, ob sie auch Rückschlüsse über die Gesamtpopulation zulassen. Würde das BfS beispielsweise bloss Menschen in Neuenburg befragen, liessen sich die damit gewonnen Informationen nicht auf die ganze Schweiz übertragen.

Bei experimentellen Datenerhebungen ist insbesondere die statistische Versuchsplanung von Bedeutung. Sie gibt beispielsweise vor, wie eine Stichprobe korrekt in verschiedene experimentelle Gruppen eingeteilt und wie Störfaktoren kontrolliert werden. Das korrekte Randomisierungsverfahren, d.h. die zufällige Zuteilung der Stichproben in die experimentellen Gruppen, spielt dabei eine zentrale Rolle. Sie reduziert nämlich das Risiko, dass andere Einflussfaktoren die Resultate systematisch verzerren. Somit steigert sie die Wahrscheinlichkeit, dass Unterschiede in den Ergebnissen zwischen Gruppen tatsächlich auf die unabhängige Variable zurückzuführen sind. Dies ist besonders wichtig, wenn Kausalaussagen getroffen werden sollen.

Zu einer sorgfältigen Datenerhebung gehört aber noch mehr als statistische Theorie. So muss beispielsweise sichergestellt werden, dass die Datenerhebung nicht nur korrekt geplant, sondern auch einwandfrei durchgeführt wird. Ansonsten kommt es zu fehlerhaften Dateneingaben, Ausreissern oder auch fehlenden Daten, welche die nachfolgende Analyse erschweren.

Letztlich ist bei der Interpretation von Daten immer zuerst zu fragen, wie sie erhoben wurden und was sich basierend auf der Erhebungsmethode tatsächlich aus den Daten herauslesen lässt.