title: Wenn Publikationsbias und zu wenig Power in einem Forschungsfeld vorliegen
Creators: name: Keinrath, Stefan
Publisher: name: :none
Year: 2022

description: Ein Problem vieler empirischer wissenschaftlicher Studien ist die nicht-Replizierbarkeit ihrer Ergebnisse. Ein daraus entstehendes Artefakt ist der sogenannte decline effect, welcher eine Reduktion der Effektstärke über die Zeit abbildet. In der Literatur wird vor allem angenommen, dass der decline effect durch Publikationsbias, Effektverschätzung und Effektverfälschung entsteht. Nach bisherigen Forschungsergebnissen scheint die Sozialpsychologische- und Persönlichkeitsforschung besonders von diesen Faktoren betroffen zu sein, weshalb es das Ziel der hier vorliegenden Studie ist, den decline effect in diesem Forschungsfeld zu erfassen. Anhand meta-metaanalytischer Verfahren wurde die Stärke und Häufigkeit des decline effects erfasst und anhand multipler und einfacher Meta-Metaregressionen mögliche Ursachen für sein Vorliegen untersucht. Die Ergebnisse zeigten, dass decline effects (Crude differences: N = 25, r = .25; jährliche Effektveränderung: N = 20, r = .01) im Vergleich zu Effektanstiegen (Crude differences: N = 11, r = .01; jährliche Effektveränderung: N = 14, r &lt; .01) häufiger auftraten und stärker ausfielen. Zusätzlich zeigte sich, dass die durchschnittliche Power der Primärstudien bei 46% lag und nur in 5 von 34 untersuchten Metaanalysen keine Anzeichen für Publikationsbias gefunden werden konnten. Anhand der hier vorliegenden Ergebnisse und den Erkenntnissen aus der Meta-Metaregression lässt sich konkludieren, dass der decline effect vor allem auf die Effektüberschätzung und die Überrepräsentation jener Effekte in der Literatur durch den Publikationsbias zurückgeführt werden kann. Durch eine stärkere Fokussierung auf Präregistrierung und einem Umdenken in der Forschungscommunity, bezüglich dem Fokus auf Signifikanz und der Wichtigkeit von Replikationsstudien, könnte diesem Missstand entgegengewirkt werden.
description: A problem of many empirical scientific studies is the non-replicability of their results. One artefact that arises from this is the so-called decline effect, which is defined as a reduction in effect size over time. In the literature it is postulated that the decline effect arises mainly from publication bias, effect overestimation and scientific fraud. According to previous findings, it seems that the research field around social psychology and personality is particularly affected by these factors, which is why the aim of the present study is to capture the decline effect in this research field. Using meta-meta-analytical procedures, the strength and frequency of the decline effect was calculated and possible explanations for its presence were examined using multiple and single meta-meta-regressions. The results showed that decline effects (crude differences: N = 25, r = .25; annual effect change: N = 20, r = .01) compared to effect increases (Crude differences: N = 11, r = .01; annual effect change: N = 14, r &lt; .01) occurred more frequently and were stronger. In addition, the average power of the primary studies was 46% and no evidence of publication bias was found in only 5 out of 34 meta-analyses. Based on the results presented here and the findings from the meta-meta-regression, it can be concluded that the decline effect can be attributed primarily to the effect overestimation and the overrepresentation of those effects in the literature due to publication bias. A stronger focus on pre-registration and a shift in the research community regarding the focus on significance of effects and the importance of replication studies could counteract this problem.