title: Analyse der internen Validität der Leitlinienempfehlungen
title: Analysis of the internal validity of the guideline recommendations
Creators: name: Eltahir, Husam
Publisher: name: Philipps-Universität Marburg
Year: 2015
Subjects: Medical sciences, Medicine
Medizin, Gesundheit
Validity , Guideline Recommendations
Norm , Validität

description: The internal validity is a
      prerequisite for the acceptance and implementation of
      guidelines. The internal validity includes the methodological
      and content quality. The methodological quality consists of
      two core elements (systemic review and appraisal of the
      evidence and structured consensus of a representative,
      multidisciplinary group). The quality of content also
      consists of two core elements (mapping of the current state
      of knowledge and the absence of unexplained contradictions to
      other relevant sources of knowledge). In Germany, guidelines
      are classified into classes S1, S2, and S3, according the
      underlying rigour of development. The S1 class represents
      recommendations for action of expert Groups. S2 guidelines
      are characterised by formal consensus with the participation
      of the potential guideline users. The highest class
      constitutes S3 guidelines, which are expected to meet at
      least 5 criteria of systematic development: consensus,
      algorithmic logic, systemic review and appraisal of the
      evidence, outcome-analysis, decision analysis.
      Consensus-based guidelines (S2) by definition lack the
      systematic evidence base. Therefore, the question was: Does
      the lack of systematic evidence-basing in the creation of the
      guideline recommendations on content quality? The question
      was operationalised by content analysis and comparison
      between systematically selected guidelines and Systematic
      Reviews published via the Cochrane Library. 12 S2-AWMF
      guidelines (308 key recommendations), 8 GIN guidelines (78
      key recommendations) and 18 Systematic Reviews (18
      conclusions) were included. The assessment of methodological
      quality of the consensus-process by DELBI- criterion 10
      showed better overall results in the S2 guidelines as in GIN
      guidelines. The assessment of methodological quality of
      systematic reviews by Oxman-Guyatt index showed overall good
      results, so that it can be assumed that they represent a very
      solid evidence base for the content comparisons. Potential
      contradictions to recommendations of S2-guidelines were found
      in 2 G-I-N guidelines (4 key recommendations) and in 5
      systematic reviews (5 conclusions). This result is not
      worrisome, especially considering the comparable total
      numbers of key recommendations and relatively low relevance
      of contradictions. Different content was found mainly in
      areas of uncertain evidence (e.g. safety distances at
      melanoma excision, photodynamic therapy for basal cell
      carcinoma) or different interpretations of the evidence (e.g.
      use of immunoglobulins or corticosteroids in sepsis). The
      possible reasons for the differences can also be due to a
      higher influence of clinical experience in consensus-based
      guidelines. However, the sample was relatively small with a
      narrow confinement period. Thus the representativeness of the
      study was restricted. Furthermore, was limited research on
      secondary literature. The analysis of the internal validity
      of the guidelines in particular reference to the evidence
      base is feasible, but very costly. For an overall evaluation
      of the guidelines methodological and content aspects must be
      considered. Just guideline developers should be familiar with
      the methodology and content quality standard yet! They should
      be encouraged and asked for it. Peer review and expert
      interviews as alternative ways to assess the substantive
      quality of guidelines for example on the basis of external
      appraisals, field tests or public consultation should be
      verified in studies. Clinicians and specialists in
      evidence-based medicine should work with the guideline
      development go hand in hand. So the balance between content
      and methodology focusing on the development of guidelines
      could succeed. In this context, the aspect of the
      "globalisation" of guideline development should be mentioned.
      At the same rate, is resorted to as international studies,
      you should find an international consensus in the development
      of guidelines. A certain degree of flexibility must be
      possible and must be given in parts of alternatives to be
      considered national or population-specific features.
description: Die interne Validität ist eine
      Voraussetzung für die Akzeptanz und Implementierung von
      Leitlinien. Die interne Validität beinhaltet die methodische
      und inhaltliche Qualität. Die methodische Qualität besteht
      aus zwei Kernelementen (systematische Evidenzbasierung und
      strukturierte Konsensfindung durch ein für den
      Adressatenkreis repräsentatives Gremium). Die inhaltliche
      Qualität besteht ebenfalls aus zwei Kernelementen
      (Berücksichtigung aktueller Entwicklungen und Fehlen
      unerklärter Widersprüche zu anderen Quellen). Leitlinien
      werden in Deutschland in 3 Klassen S1, S2, und S3 eingestuft,
      in Anlehnung an die zugrundeliegende methodische Qualität.
      Die S1-Klasse steht für Handlungsempfehlungen von
      Expertengruppen. S2- Leitlinien charakterisieren sich durch
      formalen Konsensus mit Beteiligung der potenziellen
      Leitliniennutzer. Die höchste Entwicklungsstufe stellen die
      S3-Leitlinien dar, die zumindest 5 Kriterien der
      systematischen Entwicklung erfüllen sollen: Konsens, Logik
      (klinischer Algorithmus), Evidenzbasierung, Outcome-Analyse,
      Entscheidungsanalyse. Bei den konsensbasierten Leitlinien
      (S2) fehlt definitionsgemäß die systematische
      Evidenzbasierung. Daher ist die Fragestellung: Wirkt sich das
      Fehlen der systematischen Evidenzbasierung in der Erstellung
      der Leitlinienempfehlungen auf die inhaltliche Qualität aus?
      Die Fragestellung wurde durch inhaltliche Vergleiche zwischen
      systematisch ausgewählten internationalen Leitlinien und
      Systemtischen Reviews der Chochrane Library
      operationalisiert. 12 S2-Leitlinien im AWMF-Register (308
      Schlüsselempfehlungen), 8 GIN-Leitlinien (78
      Schlüsselempfehlungen) und 18 Systematic Reviews (18
      Schlussfolgerungen) wurden eingeschlossen. Die Bewertung der
      methodischen Qualität der Konsensfindung nach DELBI-
      Kriterium 10 zeigte insgesamt bessere Ergebnisse in den
      S2-Leitlinien als in GIN-Leitlinien. Die Bewertung der
      methodischen Qualität der Systematic Reviews nach
      Oxman-Guyatt-Index zeigte insgesamt gute Ergebnisse, so dass
      davon ausgegangen werden kann, dass diese eine sehr solide
      Evidenzgrundlage für die inhaltlichen Vergleiche darstellen.
      Potentielle inhaltliche Widersprüche mit den
      Schlüsselempfehlungen der S2-Leitlinien wurden in 2
      GIN-Leitlinien (4 Schlüsselempfehlungen) und in 5
      systematischen Übersichtsarbeiten (5 Schlussfolgerungen)
      gefunden. Dieses Ergebnis ist nicht beunruhigend, zumal unter
      Betrachtung der Gesamtzahl der Schlüsselempfehlungen der S2
      Leitlinien und der qualitativ niedrigen Relevanz einiger
      Widersprüche. Unterschiedliche Inhalte fanden sich vor allem
      in Bereichen unsicherer Evidenz (z.B. Sicherheitsabstände bei
      Melanomexzision, photodynamische Therapie bei superfiziellem
      Basalzellkarzinom) oder unterschiedliche Wertungen der
      Evidenz (z.B. Einsatz von Immunglobulinen oder
      Kortikosteroide bei Sepsis). Die möglichen Ursachen für die
      Unterschiede können auch auf einem höheren Einfluss der
      klinischen Erfahrungen in konsensbasierten Leitlinien
      beruhen. Allerdings war die Stichprobe relativ klein mit
      engem Einschlusszeitraum. Dadurch war die Repräsentativität
      der Studie eingeschränkt. Des Weiteren war die Recherche auf
      Sekundärliteraturen limitiert. Die Analyse der internen
      Validität der Leitlinien in speziellem Bezug auf die
      Evidenzbasierung ist machbar aber sehr aufwendig. Für eine
      Gesamtbewertung der Leitlinien müssen methodische und
      inhaltliche Aspekte berücksichtigt werden. Gerade
      Leitlinienentwickler sollten doch mit dem Standard der
      methodischen und inhaltlichen Qualität vertraut sein! Sie
      sollten dafür gefördert und befragt werden. Peer Review und
      Experteninterviews als alternative Möglichkeiten zur
      Einschätzung der inhaltlichen Qualität von Leitlinien z.B.
      auf Grundlage externer Begutachtungen, Praxistests oder
      öffentlicher Konsultation, sollten in Studien überprüft
      werden. Kliniker und Fachleute für evidenzbasierte Medizin
      sollten bei der Leitlinienentwicklung Hand in Hand arbeiten.
      So könnte die Gratwanderung zwischen inhaltlichen und
      methodischen Schwerpunkten bei der Leitlinienentwicklung
      gelingen. In diesem Zusammenhang sei auch der Aspekt der
      „Globalisierung“ der Leitlinienentwicklung erwähnt. Im
      gleichen Masse, wie auf internationale Studien
      zurückgegriffen wird, sollte man auch bei der Entwicklung von
      Leitlinien einen internationalen Konsens finden. Dabei muss
      ein gewisser Grad an Flexibilität möglich sein, bzw. müssen
      in Teilbereichen Alternativen eingeräumt werden, um landes-
      oder bevölkerungsspezifische Besonderheiten zu
      berücksichtigen.