The ‘smallest real difference’ as a measure of sensitivity to change: a critical analysis

If assessment instruments are used to measure efficacy or effectiveness, for example of rehabilitation programmes, they have to be sensitive (or responsive) to change. However, up to now there has been no consensus on what coefficient should be used for this end. Various effect sizes and criterion measures are widely acknowledged; tests of inferential statistics are also still used. The different coefficients may well provide different rank ordering of competitive instruments. Recently, the so-called ‘smallest real difference’ (SRD) was proposed as a measure of sensitivity to change. In the original formulation, the SRD was defined as the 95% confidence limit of the standard error of measurement (SEM) of the difference scores. Conceptually this is equivalent to what is known as the ‘reliable change index’ in psychotherapy research. The absolute values of the SEM/SRD indicate measurement error. In our view, this is merely complementary to the reliability concept and not a measure of sensitivity to change. Instead, we suggest using the percentage of patients reaching the SRD criterion to compare the sensitivity to change of competitive instruments. In contrast to other sensitivity-to-change indices, such an approach takes the different reliabilities of competitive assessment instruments explicitly into account. Fragebogen zur Erfassung der gesundheitsbezogenen Lebensqualität müssen änderungssensitiv sein, wenn sie Behandlungseffekte z. B. von Rehabilitationsprogrammen abbilden sollen. Bis heute existiert kein allgemein akzeptierter Standard, welcher Koeffizient dazu herangezogen werden sollte. Verschiedene Effektgrößen und Kriteriumsmaße sind gebräuchlich, aber auch inferenzstatistische Tests werden immer noch benutzt. Die verschiedenen Statistiken können zu unterschiedlichen Rangreihen konkurrierender Instrumente führen. Vor kurzem wurde die Anwendung der so genannten ‘smallest real difference’ (SRD) als Maß für die Änderungssensitivität empfohlen. In der ursprünglichen Fassung handelt es sich bei der SRD um das 95%-Konfidenzintervall des Standardmessfehlers (standard error of measurement, SEM) der Differenzwerte. Vom Ansatz her ist dies identisch mit dem aus der Psychotherapieforschung bekannten ‘reliable change index’ von Jacobson. Die absoluten Werte der SEM/SRD-Kennziffer sind ein Maß für den Messfehler und lediglich komplementär zum Reliabilitätskonzept. Mithin handelt es sich dabei nicht um ein Maß für Änderungssensitivität. Wir schlagen stattdessen vor, den Prozentsatz der Patienten heranzuziehen, die das SRD-Konzept erfüllen, um die Änderungssensitivität konkurrierender Messinstrumente zu vergleichen. Im Gegensatz zu anderen Maßen der Änderungssensitivität berücksichtigt ein solches Vorgehen explizit die unterschiedliche Reliabilität konkurrierender Instrumente. Si des instruments d'évaluation sont utilisés pour mesurer l'efficacité ou l'efficience, par exemple de programmes de réadaptation, ils doivent être sensibles (ou réactifs) au changement. Toutefois, jusqu'à ce jour, il n'y a pas encore de consensus quant au coefficient à utiliser à cette fin. Il est reconnu que l'ampleur des effets varie et qu'il existe plusieurs mesures des critères des tests de statistique déductive sont encore utilisés. Il est fort probable que des coefficients différents classent des instruments rivaux suivant un ordre de grandeur différent. Tout récemment, ce que l'on a appelé la plus petite différence réelle (SRD en Anglais) a été proposée en tant que mesure de la sensibilité au changement. D'après la formule d'origine, la SRD est la limite de confiance de 95 % de l'erreur type de la mesure (SEM en Anglais) des cotations de la différence. Au point de vue conceptuel, cela équivaut à ce que nous appelons ≪l'indice de changement fiable≫ en recherche psychothérapeutique. Les valeurs absolues du rapport SEM/SRD indiquent une erreur de mesure. A notre avis, cela n'est qu'un complément au concept de fiabilité et non une mesure de la sensibilité au changement. Nous suggèrerions plutôt d'utiliser le pourcentage de patients atteignant le critère SRD pour comparer la sensibilité au changement des instruments rivaux. Contrairement aux autres indices de la sensibilité au changement, une telle approche prend les différentes fiabilités des instruments d'évaluation rivaux en ligne de compte. Si se utilizan instrumentos de evaluación utilizados para medir la eficacia o efectividad de programas de rehabilitación, por ejemplo, tienen que ser sensibles al cambio. Sin embargo, no existe aún consenso sobre qué coeficiente debe utilizarse para este fin. Existen diversas medidas de criterios y magnitudes de efecto ampliamente aceptadas, y se siguen utilizando también pruebas estadísticas deductivas. Es perfectamente posible que los diferentes coeficientes aporten clasificaciones distintas de los instrumentos competitivos. Recientemente se ha propuesto la llamada “diferencia real más pequeña” (DRP) como medida de la sensibilidad al cambio. En su formulación original, la DRP se definió como el límite de confianza del 95% del error estándar de la medida (EEM) de las puntuaciones de la diferencia. Desde el punto de vista conceptual, ello equivale a lo que se conoce como “índice de cambio fiable” en investigación psicoterapéutica. Los valores absolutos de EEM/DRP indican el error de medida. En nuestra opinión, esto no es más que un complemento del concepto de fiabilidad y no una medida de la sensibilidad al cambio. En su lugar, nosotros sugerimos que se utilice el porcentaje de pacientes que alcanzan el criterio de DRP para comparar la sensibilidad al cambio de los instrumentos competitivos. A diferencia de otros índices de la sensibilidad al cambio, este enfoque tiene explícitamente en cuenta la diferente fiabilidad de los instrumentos de evaluación competitivos.