Measuring effect sizes using manifest versus latent variables: consequences and implications for research

Reporting of effect sizes allows the description of mean differences independently of sample size. In current research, these statistical values are usually calculated at the manifest level. Calculating effect sizes at the latent level within a structural equation model can, however, result in more valid, different and potentially higher estimates. Therefore, the manifest and latent estimation of different types of effect sizes in a large rehabilitation research data set were compared. The impact of the different methods for estimating effect sizes in subgroups generated by indication, sex and age was demonstrated. Calculations were conducted using data from a meta-analysis (N=5809) in which the subjective health status of patients in orthopedic (N=2386), cardiological (N=1976) and psychosomatic rehabilitation (N=1447) was measured. The results were standardized effect sizes between 0.03 and 1.44 and standardized response means between 0.05 and 1.31 for manifest variables and standardized effect sizes between 0.04 and 1.58 and standardized response means between 0.07 and 1.45 for latent variables. Thus, latent effect sizes were generally higher, although no specific factor for transforming manifest into latent effect sizes seems to exist. Although the computation of latent effect sizes does not necessarily yield higher estimates, it should nonetheless be carried out as a matter of routine. Die Ergebnisdarstellung über Effektgrößen ermöglicht die Beschreibung der Mittelwertsdifferenzen unabhängig von der Stichprobe größe. Bei aktuellen Untersuchungen werden diese statistischen Werte i.d. R. auf manifester Ebene berechnet. Durch die Berechnung der Effektgrößen auf latenter Ebene innerhalb eines Strukturgleichungsmodells können jedoch exaktere und potenziell höhere Schätzwerte erzielt werden. Aus diesem Grund wurde die manifeste und latente Schätzung der unterschiedlichen Arten von Effektgrößen in einem großen Datensatz für die Reha-Forschung verglichen. Die Wirkung der verschiedenen Methoden zur Schätzung der Effektgrößen in Untergruppen nach Indikation, Geschlecht und Alter wurde bewiesen. Die Berechnungen wurden anhand von Daten aus einer Metaanalyse (N=5809) angestellt, bei denen der subjektive Gesundheitsstatus von Patienten in der orthopädischen (N=2386), kardiologischen (N=1976) und psychosomatischen Rehabilitation (N=1447) gemessen wurde. Die Ergebnisse waren SES (standardized effect sizes) zwischen 0,03 und 1,44 und SRM (standardized response means) zwischen 0,05 und 1,31 für manifeste Variablen und SES zwischen 0,04 und 1,58 und SRM zwischen 0,07 und 1,45 für latente Variablen. Folglich waren die latenten Effektgrößen generell höher, obwohl kein spezifischer Faktor für die Umwandlung von manifesten in latente Effektgrößen zu existieren scheint. Obgleich die Berechnung von latenten Effektgrößen nicht notwendigerweise höhere Schätzwerte ergibt, sollte sie dennoch routinemäßig durchgeführt werden. Informar los tamaños del efecto permite describir las diferencias promedio independientemente del tamaño de la muestra. En las investigaciones actuales, estos valores estadísticos suelen calcularse a partir del grado de manifestación del efecto. Sin embargo, calcular los tamaños del efecto a partir del grado latente de éste dentro de un modelo donde se aplique una ecuación estructural, puede dar lugar a estimados más válidos, diferentes y potencialmente más altos. Por ende, se compararon la estimación de la manifestación y del estado latente de los diferentes tipos de tamaños del efecto en los datos utilizados en una investigación sobre rehabilitación. Se demostró el efecto de los distintos métodos empleados para estimar los tamaños del efecto en subgrupos creados atendiendo a las indicaciones, el sexo y la edad. Los cálculos se realizaron empleando datos tomados de un metanálisis (N=5809) en el que se midió el estado subjetivo de la salud de pacientes atendidos en los servicios de rehabilitación ortopédica (N=2386), cardiovascular (N=1976) y psicosomática (N=1447). Los resultados fueron los tamaños estandarizados del efecto (TEE) de entre 0,03 y 1,44 y los promedios estandarizados de las respuestas (PER) de entre 0,05 y 1,31 en el caso de las variables manifiestas, y los TEE de entre 0,04 y 1,58 y los PRE de entre 0,07 y 1,45 en el caso de las variables latentes. Por tanto, los tamaños del efecto fueron por lo general más grandes, aunque no parecen existir factores específicos para transformar en latente los tamaños del efecto manifiesto. Aunque los cálculos de los tamaños del efecto latente no necesariamente arroja estimados más altos, deben realizarse de manera sistemática. L'enregistrement de l'envergure des effets permet de décrire les différences moyennes indépendamment de la taille des échantillons. Dans le contexte des recherches actuelles, ces valeurs statistiques sont habituellement calculées en fonction du niveau manifeste. Cependant, le calcul de l'envergure des effets à partir du niveau latent dans le cadre d'un modèle d'équation structurelle peut résulter dans des évaluations plus valides, différentes et potentiellement plus élevées. C'est pourquoi les évaluations manifestes et latentes des différents types d'envergure d'effets recueillis dans un vaste jeu de données de recherche sur la rééducation ont été comparées. L'impact des différentes méthodes employées pour évaluer l'envergure des effets dans les sous-groupes obtenus en fonction de l'indication, du genre et de l'âge a été démontré. Des calculs ont été effectués en utilisant les données obtenues par méta-analyse (N=5809) dans lesquels l'état de santé subjectif des patients en rééducation orthopédique (N=2386), cardiologique (N=1976) et psychosomatiques (N=1447) a été mesuré. Les résultats obtenus ont défini des envergures d'effet standardisées (SES; ‘standardized effect sizes’) se situant entre 0,03 et 1,44 et des moyennes de réponse standardisées (SRM; ‘standardized response means’) situées entre 0,05 et 1,31 pour les variables manifestes, et des SES de 0,04 à 1,58 et des SRM de 0,07 à 1,45 {for latent variables. ∣pour les variables latentes. Ainsi, l'envergure des effets latents était généralement plus élevée, même s'il ne semble pas exister de facteurs spécifiques transformant les envergures d'effets manifestes en envergure d'effets latents. Bien que le calcul de l'envergure des effets latents ne produise pas à chaque fois des évaluations plus élevées, il devrait être effectué de manière systématique.