Assessment of the risk of bias in rehabilitation reviews

Systematic reviews are used to inform practice, and develop guidelines and protocols. A questionnaire to quantify the risk of bias in systematic reviews, the review paper assessment (RPA) tool, was developed and tested. A search of electronic databases provided a data set of review articles that were then independently reviewed by two assessors using the RPA. The inter-rater reliability was between moderate and good (&kgr; scores 0.46–0.95). Many reviews did not describe the purpose in terms of population, intervention, comparator and outcome measure (i.e. PICO format), making inter-rater agreement on this question difficult. The RPA discriminated between high-quality reviews and those with a risk of bias (e.g. inadequate reporting of search terms, lack of independent reviewing or inclusion of non-randomized-controlled trials). The RPA questionnaire was revised to ensure that questions (on the basis of clarity of purpose, extent of search, independence of reviewers, randomized-controlled trial inclusion and availability of data) had dichotomous answers so that the positive responses scored one. The risk of bias increases as the score reduces. Anhand von systematischen Prüfungen werden die Praxis informiert und Richtlinien und Protokolle entwickelt. Ein Fragebogen zur Quantifizierung des statistischen Verzerrungsrisikos (Bias-Risikos) bei systematischen Prüfungen - das RPA-Tool (Review Paper Assessment) - wurde entwickelt und getestet. Recherchen in elektronischen Datenbanken förderten Datensätze von Übersichtsartikeln zutage, die mit Hilfe des RPA-Tools von zwei unabhängigen Assessoren geprüft wurden. Die Inter-Rater-Reliabilität lag bei mittelmäßig bis gut (&kgr;-Scores 0.46–0.95). Viele Prüfungen beschrieben nicht ihren Zweck hinsichtlich Population, Intervention, Vergleich und Zielgröße (d. h. PICO-Format), wodurch Inter-Rater-Übereinstimmungen bei dieser Frage sich als schwer erwiesen. Das RPA-Tool unterschied zwischen hochwertigen Prüfungen und solchen, die ein Bias-Risiko in sich trugen (z. B. unangemessene Berichterstattung zu den Suchkriterien, mangelnde unabhängige Prüfung oder Einschluss von nicht-randomisierten Kontrollstudien). Der RPA-Fragebogen wurde einer Prüfung unterzogen, um so sicherzustellen, dass die Fragen (auf der Grundlage von klaren Zielvorgaben, Ausmaß der Recherche, Unabhängigkeit der Prüfer, Einschluss in randomisierte Kontrollstudien und Verfügbarkeit von Daten) dichotom beantwortet wurden, damit die positiven Antworten eine Wertung ergaben. Das Bias-Risiko steigt mit abnehmendem Score. Las revisiones sistemáticas se utilizan para fundamentar la práctica y elaborar directrices y protocolos. Se creó y se evaluó un cuestionario, la herramienta de evaluación de revisiones (RPA) (review paper assessment) para cuantificar el riesgo de sesgo en las revisiones sistemáticas. Tras realizar una búsqueda en una serie de bases de datos electrónicas, se obtuvo un conjunto de datos sobre artículos que habían sido revisados de forma independiente por dos revisores utilizando la herramienta RPA. Se obtuvo una fiabilidad interclasificadores entre moderada y buena (puntuaciones &kgr; del 0.46–0.95). Muchas de las revisiones no describían el objetivo en términos de población, intervención, grupo control y resultados de las mediciones, dificultando por tanto el acuerdo sobre la fiabilidad interclasificadores. La herramienta RPA distinguió entre revisiones de alta calidad y revisiones con riesgo de sesgo (por ejemplo, revisiones que incluían información inadecuada sobre los términos de búsqueda, que no habían sido revisadas de forma independiente o que incorporaban ensayos controlados no aleatorios). El cuestionario RPA se revisó con el objetivo de garantizar que todas las preguntas obtuvieran respuestas dicotómicas (partiendo de aspectos tales como la claridad del objetivo, el grado de búsqueda, la independencia de los revisores, la incorporación de un ensayo controlado aleatorio y la disponibilidad de datos), de modo que a cada respuesta positiva se le asignaba un punto. El riesgo de sesgo aumenta conforme disminuye la puntuación. Des examens systématiques sont utilisés pour éclairer les pratiques et élaborer des lignes directrices et des protocoles. Un questionnaire pour quantifier le risque de biais dans les examens systématiques, l'outil document de synthèse d'évaluation (RPA), a été développé et testé. Une recherche dans les bases de données électroniques a permis de dégager un jeu d'articles de synthèse qui ont ensuite été indépendamment examinés par deux évaluateurs utilisant le RPA. La fiabilité inter-évaluateurs se situait entre modérée et bonne (scores &kgr; 0.46-0.95). Nombre d'évaluations ne décrivent pas les objectifs en termes de population, d'intervention, de comparateur et de mesure des résultats (par exemple, format PICO), ce qui rend difficile un accord entre les évaluateurs sur ces points. Le RPA fait la distinction entre les commentaires de haute qualité et ceux qui présentent un risque de biais (par exemple communication inadéquate des termes de recherche, manque d'examen indépendant ou inclusion d'essais non-contrôlés et randomisés). Le questionnaire RPA a été révisé pour s'assurer que les questions (en termes de clarté des objectifs, de portée de la recherche, d'indépendance des évaluateurs, d'inclusion d'essai randomisés-contrôlés et de disponibilité des données) reçoivent des réponses dichotomiques de sorte que les réponses positives se voient attribué un score de un. Le risque de partialité augmente à mesure que le score diminue.