Diskussion:P-Hacking

message: Hallo    
Die Quellenangabe "a b Megan L. Head: The Extent and Consequences of P-Hacking in Science. In: plosbiology. S. 1" unter "Einzelnachweise" ist ziemlich erbärmlich. Ich weiß aber nicht wie man das richtig macht. Den richtigen Link findet man unter Weblinks. Vielleicht kann das jemand ausbessern.    
miracle173
--16:28, 26. Mär. 2017 (CEST)
thread_title:  Quelle 

message: Der Artikel verweist nicht auf wichtige Konzepte der Statistik bzw. Studienplanung, die verletzt oder missbraucht werden:
Alphafehler-Kumulierung - wenn man systematisch solange Hypothesen testet, bis in einer Stichprobe ein signifikantes Ergebnis angezeigt wird, entsteht Alphafehler-Inflation. Dies wird beim Zielscheibenfehler bewusst verschleiert. Tatsächlich ist daher der Hypothesentest eben NICHT signifikant, auch nicht "rein rechnerisch". Es wurde nämlich z.B. keine Korrektur für Mehrfachtests angewandt. Das gilt auch für die Korrelationskoeffizienten, denn sie unterliegen auch der Stichprobenvarianz_(Schätzfunktion). 
Der Zielscheibenfehler ist tatsächlich der Oberbegriff für das, was hier "p-Hacking" genannt wird. 
Der Artikel sollte besser erklären, was der Unterschied zum Zielscheibenfehler ist. Wenn ich den Artikel hier richtig verstehe, ist p-Hacking eine spezielle Art die Hypothese anzupassen bis ein vermeintlich positiver Hypothesentest herauskommt, mit Methoden des Data-Mining.
Schließlich fehlt auch Beziehung zum Evidenz-Level: Grundsätzlich ist es schwierig Studienergebnisse zu veröffentlichen, die dem gesamten Wissensstand widersprechen. Das wird hier zwar angedeutet mit dem Verweise auf Metaanalyse, die wäre aber gar nicht nötig: Die Hypothese in einer Studie muss gut begründet sein, z.B. durch ein Kausalmodell, Vorstudien oder eigene klinische Erfahrung. Es reicht nicht aus zu sagen "wir haben solange gesucht bis wir was gefunden haben". Daraus folgt, dass man bestenfalls bei explorativen Designs mit "p-Hacking" durchkommt. Die sind jedoch von niedriger Aussagekraft, siehe z.b. https://wpgs.de/fachtexte/forschungsdesigns/explorative-forschung-hypothesenpruefende-forschung-forschungsziel/
Schließlich ist die Fixierung auf die Überschreitungswahrscheinlichkeit ("p-Wert") schon ein systematischer Fehler an sich, weil man tatsächlich den gemessenen Effekt interpretiert, nicht den p-Wert. Siehe dazu Effektstärke. Vorsicht! Nur bei Korrelationskoeffizienten ("R-Wert") ist die Effektstärke tatsächlich der gemessene Effekt, ansonsten ist das eher ein Gruppenmittelwert oder Median, oder etwas vergleichbares. 
--drisokk (Diskussion) 17:01, 16. Jun. 2021 (CEST)
thread_title:  Es fehlt eine Einordung in angewandte Statistik oder Studienplanung 

message: Der Hinweis auf missbräuchliche Zwischenanalysen lautet: "Eine Variante des p {\displaystyle p} p-Hacking liegt vor, wenn während einer Studie die statistische Relevanz der Daten geprüft wird, um vom Ergebnis dieser Prüfung abhängig zu machen, ob weitere zusätzliche Daten erhoben werden. Desgleichen, wenn die Erhebung von Daten nach einer solchen Zwischenprüfung vorzeitig beendet wird. Stattdessen sollte vorab festgelegt werden, welche Datenmenge untersucht wird." 
Das ist so wie es da steht leider komplett falsch. Es gibt ein festgelegtes Protokoll für Zwischenanalysen in klinischen Studien, das genau diese Vorgehensweise regelt, siehe z.B. hier: https://www.uni-wh.de/fileadmin/user_upload/03_G/07_Humanmedizin/05_Institute/IMBE/27_-_CONSORT_Statement.pdf
Höchstens wenn man vorsätzlich von diesem Protokoll abweicht, oder fehlerhaft vorgeht, könnte man demnach von "p-Hacking" sprechen.
Desweitern steht im Abschnitt: "Wenn zur Messung eines Effektes Störfaktoren herausgerechnet werden müssen, die Auswahl der zu berücksichtigenden Störfaktoren aber von der sich jeweils ergebenden Größe des gemessenen Effekts abhängig gemacht wird, ist dies ebenfalls p {\displaystyle p} p-Hacking."
Auch das ist so wie es da steht einfach falsch. Es ist ausdrücklich erlaubt, "Confounder" oder Kovariaten wie "Schutz- und Risikofaktoren" zu kontrollieren bzw. in ein adjustiertes statistisches Modell einzubeziehen. Siehe unter Kovarianzanalyse_(Statistik). Und in diesem Fall ist garantiert der gemessene Effekt - ich glaube der Autor meint eigentlich die Effektstärke - von der Wahl der Schutz/Risikofaktoren abhängig und umgekehrt: Sonst wären es keine Risikofaktoren. Bei explorativen Studien ist es in diesem Fall üblich, beide Modelle - adjustiert und nicht-adjustiert - und die errechneten Effekte zu zitieren. Nur bei Missbrauch bzw. Unterschlagung oder Vertuschung könnte man von "p-Hacking" sprechen. Auch das wird im oben verlinkten "Consort-Statement" erklärt.
Bereits in der Einleitung ist ein missverständlicher bzw. falscher Satz eingebaut: "Der p {\displaystyle p} p-Wert wird „gehackt“, also künstlich unter die 5-%-Grenze gedrückt." Was dann im zweiten Abschnitt beschrieben wird ist aber ein bewusst provozierter Fehler 1. Art, auch "Alpha-Fehler" genannt, Alphafehler-Kumulierung. Ich halte es grundstäzlich für problematisch, neue Worte für Phänomene einzuführen, die in der statistischen Community schon sehr lange bekannt, erforscht und geregelt sind.
Besonders prominent ist hier der britische Biostatistiker Doug_Altman, der unter anderem über die Cochrane_(Organisation) viele Beiträge geliefert hat.
Es scheint auch, dass der Autor im ganzen Text zwischen umgangssprachlich fälschlich so genannten "Hypothesentests", die eigentlich "Exploration" darstellen und bestätigenden Studien und den darin getestete Hypothesen nicht unterscheidet. Der Unterschied wird hier erklärt:
https://wpgs.de/fachtexte/forschungsdesigns/explorative-forschung-hypothesenpruefende-forschung-forschungsziel/
--drisokk (Diskussion) 22:51, 16. Jun. 2021 (CEST)
replies: text: Wikipedia:Sei_mutig. Bearbeite gerne den Artikel, sodass er deines Wissens nach verbessert wäre. biggerj1 (Diskussion) 22:46, 23. Okt. 2021 (CEST)
thread_title:  In "Weitere Praktiken" und angrenzenden Abschnitten finden sich handfeste sachliche Fehler