Aus Gleichzeitigkeit lässt sich kein logischer Zusammenhang ableiten: "Korrelation ≠Kausalität" Erklärung: Nur weil zwei Dinge statistisch zusammenhängen (=Korrelation), heißt das nicht, dass eines das andere verursacht (= Kausalität). Beispiel: Menschen mit kürzeren Armen haben im Schnitt auch kürzere Beine. Kinder haben nämlich im Schnitt sowohl kürzere Beine, als auch kürzere Arme als Erwachsene. Es gibt also unzweifelhaft einen statistischen Zusammenhang zwischen Arm- und Beinlänge. Trotzdem ist es nicht so, dass kürzere Arme ursächlich dazu führen, dass jemand auch kürzere Beine hat. Der Zusammenhang zwischen Arm- und Beinlänge ergibt sich daraus, dass beide das Ergebnis eines gemeinsamen Faktors sind, nämlich z.B. des Alters. Lösung: Wenn ein Zusammenhang nicht experimentell durch geeignete Studien belegt wurde, dann kann zwar das eine das andere verursachen, es kann aber ebenso gut umgekehrt sein, oder beide Beobachtungen können sich aus einem gemeinsamen Faktor ergeben, ohne dass beide direkt zusammenhängen. Man weiß es einfach nicht und sollte dementsprechend alle Möglichkeiten gleich gewichten.
Einfache Erklärungen sind die besten: Das Prinzip der größten Parsimonität ​ Erklärung: Wenn es für eine Beobachtung zwei Erklärungen gibt, die beide von den Daten in gleichem Umfang gestützt werden, dann ist die "einfachere" Erklärung (=weniger Voraussetzungen) vermutlich eher die richtige als die "kompliziertere" (= mehr Voraussetzungen). Beispiel: Wenn ich an die Wand schaue und in einem Rahmen mein "Spiegelbild" sehe, kann ich zwei Hypothesen haben: (1) An der Wand hängt ein Monitor und eine Kamera, die mein Gesicht filmen und dann wiedergeben (wie im Selfie-Modus eines Smartphones). (2) An der Wand hängt ein Spiegel. Wenn ich keine weiteren Informationen z.B. über die Stromzufuhr, etc. habe, dann wäre die wahrscheinlichere der beiden Möglichkeiten, dass einfach ein Spiegel an der Wand hängt.
Je mehr man testet, desto mehr statistische Zusammenhänge findet man. Erklärung: Zwei Dinge gelten meistens als "statistisch miteinander verbunden", also korreliert, wenn die Wahrscheinlichkeit, dass diese statistische Korrelation bei den gegebenen Daten rein zufällig existiert, unter 5% fällt. Das bedeutet aber, dass jeder 20te Test mit dieser Methode ein "falsch-positives" Ergebnis ist, also, dass eine statistische Verbindung gefunden wird, diese aber reiner Zufall ist. Beispiel: Nehmen wir an, ich möchte herausfinden, wodurch die Essgewohnheiten einer Person bestimmt werden. Dafür schaue ich mir zwanzig Eigenschaften an, die ich testen möchte (z.B. frühkindliche Erfahrung, sportliche Betätigung, psychischer Zustand, ...). Selbst wenn keine dieser Eigenschaften irgendeinen echten Effekt auf die Essgewohnheiten hat, werde ich im Schnitt einen statistisch relevanten Effekt finden. Anderes Beispiel: Beispiel: Eine Studie belegt einen statistisch hochsignifikanten Zusammenhang (p=0,008) zwischen der Anzahl der Störche und der menschlichen Geburtenrate (Mathews 2000, Teaching Statistics, 22(2):36.38, DOI: https://doi.org/10.1111/1467-9639.00013). Das war aber Zufall - kein Wissenschaftler (und garantiert auch keine Mutter) geht ernsthaft davon aus, dass die Babys von den Störchen gebracht werden - oder dass umgekehrt die Babys die Störche mitgebracht haben! Lösung: Bei Zusammenhängen, die nur in einer einzigen Studie gefunden wurden, immer vorsichtig sein. Nur eine gut gemachte Wiederholung bzw. ein erneutes Auftauchen desselben Effektes in anderen Daten ist eine gute Grundlage anzunehmen, dass der Effekt wirklich vorhanden ist.
Wissenschaftlicher Fortschritt ist nicht gradlinig. Erklärung: Wissenschaftler versuchen immer, der "Wahrheit" näher zu kommen. Oft klappt das nicht in einer geraden Linie, sondern man schlängelt sich immer näher an die Wahrheit heran, macht oft Umwege und muss manchmal sogar ein Stück zurück gehen. ​ Lösung: Ein guter Wissenschaftler muss immer an eigenen Ergebnissen und den Ergebnissen anderer zweifeln und sollte immer in der Lage sein guten Argumenten zuzuhören und sachlich argumentieren. Dass Wissenschaftler sich so oft nicht auf eine klare Meinung festlegen wollen, liegt also nicht daran, dass sie keine Ahnung von ihrem Fach haben, sondern dass sie nicht nur wissen, was sie wissen, sondern auch, was sie nicht wissen. Sie haben also immer nur "vielleicht" oder "wahrscheinlich", aber nicht in jedem Fall recht haben.