Validität
Validität
Validität steht für den Grad der Genauigkeit, mit der ein zu prüfendes Merkmal tatsächlich geprüft wird. #Definition
Eine wichtige Frage zur Beurteilung der Qualität einer wissen- Gültigkeit schaftlichen Arbeit lautet: Wird gemessen, was gemessen werden sollte? Die Validität gibt an, wie genau ein Verfahren das misst, was es zu messen vorgibt.
Inhaltsgültige Ergebnisse erzielen
- richtige Inhaltsbereiche für das Problem bearbeiten
- Fragen müssen passgenau sein
- wichtige Begriffe definieren um Interpretationsspielraum möglichst gering zu halten
- Stichproben müssen repräsentativ und groß genug sein
- Folgende Fragen stellen um Validität zu prüfen
- Wird tatsächlich gemessen, was gemessen werden sollte?
- Sind die Suchfragen klar und richtig formuliert?
- Bei einer Stichprobe: Ist sie groß genug und ist die Auswahl wirklich repräsentativ?
- Wie aussagekräftig sind die einzelnen Ergebnisse?
Fehlerquellen
»Ein Psychiater schrieb einmal, die ganze Menschheit sei verrückt. Gefragt, wie er zu dieser Meinung käme, sagte er: Sehen Sie sich doch die Leute an, die in meiner Praxis sind [...]« [Kräm07, S. 97]
Survivorship bias
Umfragen
- Antwortspielräume möglichst präzise halten
- ist eine Stichprobe tatsächlich repräsentativ?
- Gibt es genug Subjekte?
1936 wurden in Amerika 10 Millionen Menschen per Briefwahl befragt, wer ihrer Meinung nach gewählt werden würde: Roosevelt oder Landon. Mehr als 2 Millionen Briefe kamen zurück; die meisten der befragten Rücksender meinten, dass Landon die Wahl gewinnen würde. Aufgrund dieser enorm großen Stichprobe schien die Rückmeldung repräsentativ zu sein. Doch die Wahl ging anders aus. Was war die Ursache für die Fehlprognose? Es stellte sich heraus, dass die Briefadressen überwiegend aus Telefonbüchern und Datenbanken mit zugelassenen Kraftfahrzeugen entnommen worden waren. Befragt hatte man also lediglich eine vermögende gesellschaftliche Klasse. Sie wünschte (das hätte man wissen können) die Wahl von Landon. Die Befragung war also keineswegs repräsentativ für die gesamte Bevölkerung und damit wenig valide (nicht inhaltsgültig), insgesamt von schlechter Qualität (vgl. [Salm83, S. 174]).