Source: https://www.vfa.de/de/wirtschaft-politik/positionen/pos-isolierte-nutzenbewertung
Timestamp: 2020-07-11 11:23:27+00:00

Document:
Das hier vorliegende Positionspapier befasst sich mit der Ausgestaltung der isolierten Nutzenbewertung, die der Gesetzgeber im SGB V mit dem GKV-Wettbewerbsstärkungsgesetz (GKV-WSG) als Option für die Bewertung von Arzneimitteln vorsieht. Die mit dem GKV-WSG 2007 eingeführten Änderungen verlangen die Einhaltung internationaler Standards der Evidenzbasierten Medizin (EbM), neue Beteiligungsrechte, fordern Verfahrenstransparenz und die Beachtung von materiellen Mindestkriterien des Nutzens und führen somit zu einem insgesamt geänderten Verfahren.
Die im GKV-WSG genannten Optionen der Nutzenbewertung und der Kosten-Nutzen-Bewertung stehen nicht isoliert als rein wissenschaftliche Vorgehensweisen da, sondern müssen im Kontext der Rationierung von Gesundheitsleistungen bei begrenzten Ressourcen im deutschen Gesundheitssystem gesehen werden. Vor dem Hintergrund der bisherigen impliziten Rationierung ist es erforderlich, die Fragen, die in einer Nutzenbewertung oder Kosten-Nutzen-Bewertung bearbeitet werden sollen, zuvor in einem ausreichend öffentlich gestalteten Verfahren geklärt und ggf. priorisiert zu haben. Ein offener Scoping-Prozess zur Klärung und Definition Verfahrensspezifischer Fragen würde die Situation verbessern, dieser kann aber einen grundsätzlichen gesellschaftlichen Diskurs zum Umgang mit der Rationierung nicht ersetzen.
Zusammenfassung der grundsätzlichen VFA-Position zu den Anforderungen an die isolierte Nutzenbewertung
Es fehlt ein grundlegender, demokratisch legitimierter Prozess, auf dessen Grundlage die Auswahl und Priorisierung der in einer Nutzenbewertung zu bearbeitenden Themen stattfindet. Dieser muss geschaffen werden.
Grundlage jeder isolierten Nutzenbewertung ist Beteiligung und Transparenz. Der gesetzlich geforderte Einbezug von Betroffenen und Experten muss bereits mit der Themenfindung beginnen und sich über die Auftragsklärung auf alle verfahrensrelevanten Aspekte erstrecken. Die konkrete Beteiligung in jedem Verfahrensschritt der Nutzenbewertung sollte durch einen Scoping-Prozess realisiert werden, in dem alle wichtigen Parameter der Nutzenbewertungen gemeinsam identifiziert und konsentiert werden können.
Datengrundlage der Bewertung müssen prinzipiell Studien aller Evidenzgrade sein (Prinzip der „bestverfügbaren Evi-denz“), da in der Regel nicht zu allen Aspekten einer Fragestellung Daten aus randomisierten Studien vorliegen. Die Missachtung vorhandener Evidenz schließt wichtige Informationen aus und widerspricht den gesetzlichen Forderungen.
Es muss eine klare Trennung zwischen der Durchführung der Evidenzbewertung („Assessment“) und der darauf basierenden Entscheidung („Appraisal“) geben. Das beauftragte Institut hat ausschließlich den Auftrag für das Assessment. Für das Fällen der einzelnen Entscheidungen und insbesondere das Treffen normativer Entscheidungen fehlt dem IQWiG die juristische und politische Legitimation.
Im Assessment muss die Bewertung und Synthese der vorhandenen Evidenz ergebnisoffen, transparent und standardisiert erfolgen.
Die in der Nutzenbewertung angewandten statistischen Verfahren und Vorgehensweisen müssen dem Umstand Rechnung tragen, dass eine Nutzenbewertung eine retrospektive Datenanalyse darstellt. Statistische Aussagen in IQWiG-Bewertungen sind regelhaft nicht konfirmatorisch und haben deshalb i.d.R. eine deutlich geringere Aussagekraft als solche in prospektiven Zulassungsstudien.
Ziel der Nutzenbewertungen kann es daher nicht sein, vermeintlich „sichere“ Ergebnisse zu präsentieren, sondern das Spektrum der Evidenz und die damit verbundene Sicherheit der Aussagen so darzustellen, dass (i.d.R.) dem G-BA eine ausgewogene Entscheidung unter Würdigung der Evidenz in ihrem Spektrum und unter Berücksichtigung weiterer Kriterien ermöglicht wird.
Eine isolierte Nutzenbewertung kann nicht als Grundlage einer Kosten-Nutzen-Bewertung herangezogen werden, da beiden Verfahren unterschiedliche Konzepte zugrunde liegen. Für kostenbezogene Bewertungen sind prinzipiell Kosten-Nutzen-Bewertungen anzufertigen.[1]
Mit dem GKV-Modernisierungsgesetz von 2004 hat der Gesetzgeber die Selbstverwaltung verpflichtet, ein „Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen“ (IQWiG) einzurichten. Das Institut sollte unter anderem eine „Nutzenbewertung von Arzneimitteln“ durchführen (vgl. §§ 35b Abs. 1 und 139a Abs. 3 Nr. 5 SGB V (alt)). Mit Inkrafttreten des GKV-WSG am 01. April 2007 hat der Gesetzgeber dem Bundesministerium für Gesundheit (BMG) als auch dem gemeinsamen Bundesausschuss (G-BA) die Möglichkeit eröffnet, neben der isolierten Nutzenbewertung auch eine Kosten-Nutzen-Bewertung zu beauftragen. Für beide Verfahren wurden für die anzulegenden materiellen Kriterien und auch die Verfahrensanforderungen konkrete Vorgaben gemacht. Offen bleibt, wann welche Bewertungsform beauftragt werden sollte.
Aspekte der Kosten-Nutzen-Bewertung sind in einem gesonderten Positionspapier zur Kosten-Nutzen-Bewertung dargestellt.
In § 35 b Abs. 1 SGB V ist im Hinblick auf die isolierte Nutzenbewertung geregelt, dass diese durch Vergleich mit anderen Arzneimitteln und Behandlungsformen unter Berücksichtigung des therapeutischen Zusatznutzens für die Patienten erfolgt (§ 35 b Abs. 1 S. 3 SGB V). Zudem definiert das SGB V den Mindestkatalog für Kriterien zur Bewertung des Patienten-Nutzens (§ 35 b Abs. 1 S. 4 SGB V). Weitergehende Konkretisierungen sollen durch das beauftragte Institut erfolgen, welches gemäß § 35 b Abs. 1 S. 1 SGB V „auftragsbezogen über die Methoden und Kriterien für die Erarbeitung von Bewertungen“ und gemäß § 35 b Abs. 1 S. 5 SGB V „auf der Grundlage der in den jeweiligen Fachkreisen anerkannten internationalen Standards der evidenzbasierten Medizin“ bestimmt.
Im Hinblick auf die Verfahrensaspekte der Transparenz und Beteiligung sieht das SGB V vor, dass das Institut bei der auftragsbezogenen Erstellung der Methoden und Kriterien und der Erarbeitung von Bewertungen „hohe Verfahrenstransparenz und eine angemessene Beteiligung“ der in § 35 Abs. 2 und § 139 a Abs. 5 SGB V Genannten gewährleistet (§ 35 b Abs. 1 S. 6 SGB V). Das Institut hat seit den mit dem GKV-WSG verbundenen Gesetzesänderungen nicht nur – wie bisher – den für die Wahrnehmung der Interessen der Patientinnen und Patienten und der Selbsthilfe chronisch Kranker und behinderter Menschen maßgeblichen Organisationen sowie der/dem Beauftragten der Bundesregierung für die Belange der Patientinnen und Patienten Gelegenheit zur Stellungnahme zu geben, sondern auch den Sachverständigen der medizinischen, pharmazeutischen und gesundheitsökonomischen Wissenschaft und Praxis, der Berufsvertretung der Apotheker und den Arzneimittelherstellern sowie ggf. Sachverständigen der besonderen Therapierichtungen (§ 35 Abs. 2 SGB V). Die Gelegenheit zur Stellungnahme soll zudem „in allen wichtigen Abschnitten des Bewertungsverfahrens“ erfolgen; die Stellungnahmen sind in die Entscheidung einzubeziehen (§ 139a Abs. 5 S. 2 SGB V).
Aufgrund der Anforderungen des GKV-WSG hält der VFA eine Änderung der derzeitigen Arbeitsweise des Instituts auch im Hinblick auf die isolierte Nutzenbewertung für dringend erforderlich. Der VFA hat hierzu ein Gutachten beauftragt, in dem ein Vorschlag für die „Verfahrensweisen und Methoden zur Nutzenbewertung von Arzneimitteln in Deutschland“ dargelegt wird.[2]
Zur Umsetzung der gesetzlichen Anforderungen an die isolierte Nutzenbewertung müssen sowohl der Bewertungsprozess als auch die inhaltliche Ausgestaltung der dort genannten materiellen Kriterien festgelegt werden. Die auf den Nutzenbewertungen aufbauenden Entscheidungen können im Ergebnis zu Einschränkungen der verfügbaren medizinischen Leistungen führen, die Instrumente der Nutzenbewertung und der Kosten-Nutzen-Bewertung sind somit mögliche Instrumente der Rationierung.
Unabhängig von den in diesem Positionspapier adressierten Verbesserungen in der Anwendung der Nutzenbewertung fehlt jedoch bislang in Deutschland eine explizite und hinreichend öffentliche Priorisierung der Themen und Fragestellungen, die in Nutzenbewertungen bearbeitet werden. Eine explizite Rationierung, die im Gegensatz zur bisherigen impliziten Rationierung ethisch überhaupt erst vertretbar ist, kann aber erst auf dem Boden einer für die Öffentlichkeit nachvollziehbaren Priorisierung auf der Grundlage eines demokratisch legitimierten Prozesses stattfinden.
Nach § 139b Abs. 1 und 2 SGB V erfolgt die Beauftragung des Auftragsforschungsinstitutes durch den Gemeinsamen Bundesausschuss (G-BA) oder das Bundesministerium für Gesundheit (BMG). Angesichts des umfassenden Transparenzgebots, das aus § 35b Abs. 1 S. 6 SGB V folgt, sollten die Aufträge zum frühestmöglichen Zeitpunkt sowohl bereits mit dem vorläufigen Themenentwurf durch den Auftraggeber als auch durch das jeweils beauftragte Institut zum Zeitpunkt der Annahme veröffentlicht werden.
Die VFA-Position gliedert sich in die folgenden Schwerpunkte:
Etablierung einer adäquaten Themenfindung und Priorisierung zur Auswahl der zu bewertenden Themen.
Aktive Beteiligung der Betroffenen an der Formulierung des konkreten Auftrages durch Etablierung eines Scoping-Prozesses.
2.1 Formulierung und Präzisierung der Fragestellung gemäß den Kriterien der Evidenzbasierten Medizin (EbM).
2.2 Beteiligung der Betroffenen an allen relevanten Stellen im Bewertungsprozess.
2.3 Abschließender Bewertung der Ergebnisse („Appraisal“) und ggf. Berücksichtigung der Empfehlung durch den Auftraggeber.
Internationale Standards der Evidenzbasierten Medizin (EbM)
3.1 Bewertung der bestverfügbaren Evidenz für jeden einzelnen Endpunkt.
3.2 Ergebnisoffener und transparenter Prozess.
3.3 Darstellung der Evidenz und Evidenzsynthese gemäß internationaler Standards.
4.1 Ausschreibung und Auftragsvergabe.
4.2 Offenlegung und nachvollziehbare Bewertung der zu den Verfahren eingegangenen Stellungnahmen.
4.3 Qualitätskontrolle der Berichte durch ein externes Peer-Review.
1. Etablierung einer adäquaten Themenfindung und Priorisierung zur Auswahl der zu bearbeitenden Themen
Die Beauftragung für Nutzenbewertungen ist laut GKV-WSG für den G-BA bzw. das BMG möglich. Die Themenfindung und Priorisierung ist aber im SGB V nicht näher geregelt, sodass hierfür die internen Regelungen des G-BA bzw. des BMG greifen. Die Regelungen des BMG sind nicht bekannt, die des G-BA sind in dessen Verfahrensordnung im § 12 geregelt.[3] Das dort beschriebene Verfahren ist ausschließlich G-BA-intern veranlagt, genauere Kriterien für die Entscheidungsfindung sind nicht beschrieben. Eine Hinzuziehung der Öffentlichkeit ist erst an der Stelle vorgesehen, an der die bereits zur Bewertung beschlossenen Themen veröffentlicht werden; die Möglichkeit zur Stellungnahme wird aber auf besondere Gruppen beschränkt und ist damit nicht umfassend öffentlich realisiert.
Das bisher praktizierte Verfahren lässt Defizite in der Beteiligung (potenziell) Betroffener erkennen, sowohl was Zeitpunkte, als auch was die Möglichkeiten und Umfänge der Beteiligung betrifft. Große Teile der von den Entscheidungen betroffenen sind faktisch nahezu vollständig ausgeschlossen. Zudem enthält die Verfahrensordnung des G-BA bislang keinen expliziten Abschnitt zur Arzneimittelbewertung, sodass hier ergänzend sogar noch eine Regelungslücke festgestellt werden muss.
Gemäß den Vorgaben des § 35b Abs. 1 S. 6 SGB V in Verbindung mit § 35 Abs. 2 und §139 a Abs. 5 sind bestimmte Gruppen[4] in den Nutzenbewertungen zu beteiligen, diese Gruppen sollten auch mindestens in die Themenfindung einbezogen werden.
Diese Einbeziehung der Öffentlichkeit sollte zum jeweils frühestmöglichen Verfahrenszeitpunkt realisiert werden. Daher sollte bei den Auftraggebern (G-BA bzw. BMG) ein öffentliches Verfahren für die Themenermittlung und Priorisierung etabliert werden.[5] Die Kriterien für die Themenauswahl inklusive der Kriterien für die Priorisierung der Themenwahl sollten publiziert werden. Ein vergleichbares Verfahren wird im Deutschen Institut für Medizinische Dokumentation und Information (DIMDI) oder auch beim National Institute for Health and Clinical Excellence (NICE) bereits erfolgreich durchgeführt. In regelmäßigen Abständen sollen die Themenvorschläge überprüft und priorisiert werden.
Kriterien für die Selektion als Thema können dabei u. a. sein:
Zahl und/oder Besonderheiten der von der Krankheit/Indikation betroffenen Versicherten
Bedeutung der Maßnahme / der Indikation
unterschiedliche Qualitätsstandards in der Versorgung
Die Priorisierung sollte mittels formalisierter Konsensusverfahren wie z. B. nominalem Gruppenprozess oder Delphi-Panel erfolgen. Ergebnisse der Priorisierung und v.a. Zurückstellungen sollten begründet werden. Das Ergebnis der Priorisierung sollte für das beauftragte Institut bindend sein.
Die Themenfindung und Priorisierung sollte in einem öffentlichen Prozess stattfinden. Die bisherigen Verfahren des G-BA zur Themenfindung und Priorisierung sind insofern defizitär.
2. Aktive Beteiligung der Betroffenen an der Formulierung des konkreten Auftrages durch Etablierung eines Scoping-Prozesses
Das Gesetz fordert im § 35b Abs. 1 SGB V die auftragsbezogene Entscheidung über Methoden und Kriterien für die Erarbeitung von Bewertungen unter Einbeziehung der jeweiligen Fachkreise.[6] Der VFA schlägt vor, dass die Erstellung der Berichtspläne mehrschrittig und mit der Etablierung eines Scoping-Workshops umgesetzt wird.[7], [8] Diese Schritte sind: [9]
Auftragserteilung und Veröffentlichung des Themenentwurfes durch den Auftraggeber („Draft Scope“).
Konkretisierung durch die Scoping-Gruppe (Auftraggeber + beauftragtes Institut + gesetzlich zu Beteiligende gemäß § 35b Abs. 1 S. 6 SGB V) in einem Scoping-Workshop. Durch schriftliche Fixierung entsteht der finale Auftrag („Final Sco-pe“) des G-BA an das zu beauftragende Institut.
Das beauftragte Institut leitet diesen an die ausgewählten externen Experten. Diese verfassen basierend auf dem mit dem „Final Scope“ gegebenen Auftrag den Entwurf des Berichtsplanes („Draft Report Plan“).
In einem anschließenden Stellungnahmeverfahren zum Entwurf des Berichtsplan („Draft Report Plan“) erfolgt die Erstellung des endgültigen Berichtsplans („Final Protocol“).
Dieser Scoping-Prozess hat folgende Aufgaben:
Prüfung und Überarbeitung der Fragestellung.
Definition des patientenrelevanten Nutzens und seiner Operationalisierung durch Endpunkte / intermediäre Endpunkte (Parameter sowie Dimension des erforderlichen Zusatznutzens).
Definition klinisch relevanter Vergleichstherapien.
Definition der auftragsbezogenen Methodik inklusive Einschluss- und Ausschlusskriterien und Recherchestrategie für die Auswahl der einzubeziehenden Literatur.
Der Scoping-Workshop wird durch einen vom jeweiligen Auftraggeber bestimmten, unabhängigen Moderator geleitet. Grundlage des Scoping-Workshops ist der vorläufige Auftrag, der einen vorläufigen Themenentwurf („Draft Scope“) in Form der Forschungsfrage beinhaltet. Dem Moderator des Scoping-Workshops kommt die besondere Aufgabe zu, zwischen den Positionen der am Workshop Beteiligten neutral zu vermitteln. Die wichtigste Zielstellung des Scoping-Workshops ist ein tragfähiger Konsens in Bezug auf die zuvor genannten Inhalte und darauf basierend die Entwicklung eines tragfähigen Berichtsplans. Insbesondere die Definition patientenrelevanter Endpunkte stellt einen der wesentlichen Punkte dar, der unverzichtbar der unmittelbaren Beteiligung von Patienten bedarf. Die Einschätzung des Patientennutzens durch den Patienten selbst stellt hier die optimale Voraussetzung für die Definition der zu betrachtenden Endpunkte dar, insbesondere von Aspekten, die durch Patient-Reported Outcomes (PROs) und gesundheitsbezogene Lebensqualität operationalisierbar werden.
Die Relevanz der direkten Einbindung von Patienten in den Scoping-Prozess zeigt sich besonders darin, dass die Bedeutung von Krankheits- und Therapieeffekten zwischen Ärzten und Patienten sehr unterschiedlich eingeschätzt werden kann. Die notwendige Diskussion und Abstimmung um dieses Verständnis kann daher nur in einer gemeinsamen und auf Konsens ausgerichteten Diskussion erfolgen.[10]
Insgesamt muss der Auftrag eindeutiger definiert werden, als dies bisher in den Beauftragungen des G-BA für Nutzenbewertungen der Fall war. Im Scoping-Workshop findet die Präzisierung des Entwurfs nach § 35b Abs. 1, S. 6 SGB V statt, bei dem alle Kommentare und Fragen diskutiert werden. Die Formulierung und Präzisierung des Auftrags erfolgt dabei hinsichtlich der international anerkannten „PICO“-Kriterien:[11]
Populationen (P),
Interventionen (I),
Komparatoren (Vergleichstherapien) (C),
Outcomes (Zielgrößen) des patientenrelevanten Nutzens (O)
Für die Wahl des Komparators orientiert man sich international an:
„Best Practice“, d.h. optimale bzw. leitliniengerechte Therapie.
„Standard of Care“, d.h. verbreitete Therapiealternativen inkl. nicht-medikamentöser Therapieverfahren.[12]
Die Fristen für die Erarbeitung der Fragestellung sollten sich am Zeitbedarf der Patienten in der Scoping-Gruppe orientieren. Alle Protokolle der Sitzungen des beauftragten Instituts und der Scoping-Gruppe sind gemäß § 35b Abs. 1 S. 6 sowie § 139a Abs. 4 S. 2 SGB V zu veröffentlichen.
Innerhalb von acht Wochen nach Veröffentlichung haben die in § 35 b Abs.1 S. 6 SGB V Genannten Gelegenheit zur schriftlichen Stellungnahme.
2.2 Beteiligung der Betroffenen an allen relevanten Stellen im Bewertungsprozess
Die in § 35 b Abs. 1 S. 6 SGB V geforderte hohe Transparenz und angemessene Beteiligung ist sicherzustellen und sollte von Beginn des jeweiligen Verfahrens an bis zum Verfahrensabschluss reichen. Darüber hinaus sollten je nach Thema weitere Kreise, wie z. B. Pflegepersonal oder Angehörige hinzugezogen werden, da dies zu erhöhter Akzeptanz der Bewertungsergebnisse und zu einer unverzichtbaren Sammlung an Expertise im Bewertungsverfahren führen wird.[13]
Die Fristen für Stellungnahmen und die sprachliche Verständlichkeit der zu kommentierenden Dokumente müssen auf Beteiligte ausgerichtet werden, die über keinen professionellen wissenschaftlichen Apparat verfügen. Die Beteiligung sollte dabei in allen wichtigen Schritten des Bewertungsverfahrens stattfinden (§ 139a Abs. 5 SGB V). Neben dem bereits oben genannten Scoping-Prozess zur Entwicklung des Berichtsplans sind dies insbesondere:
Öffentliche Ausschreibung des Auftrags mit transparenter Vergabe an externe Sachverständige nach definierten Kriterien,
Zum Berichtsplan: in Form von schriftlichen Stellungnahmen und mündlichen Anhörungen,
Zum Vorbericht: in Form von schriftlichen Stellungnahmen und mündlichen Anhörungen,
Zum Endbericht: durch Möglichkeit zum Einspruch (Appeal),
Zur Entscheidung/Bewertung durch den Auftraggeber durch Anhörung.
Die Form der Beteiligung ist in Abhängigkeit vom Verfahrensstand zu sehen und ist im Flussdiagramm im Anhang differenziert dargestellt.
2.3 Abschließende Bewertung der Ergebnisse („Appraisal“) und Entscheidung durch den Auftraggeber
Der gesetzliche Auftrag an das zu beauftragende Institut besteht in der Analyse der Evidenzen in Bezug auf die Fragestellung. Die Bewertungen des Instituts sind vom G-BA gemäß § 139b Abs. 4 SGB V lediglich als „Empfehlungen [] zu berücksichtigen“, das IQWiG bzw. das beauftragte Institut darf keine normativen Entscheidungen treffen. Die Umsetzung dieser Empfehlungen muss vom G-BA unter Beachtung der versorgungsrechtlichen Rahmenbedingungen in Form einer Entscheidung umgesetzt werden, wozu vom G-BA entsprechende Verfahrensregelungen zu formulieren sind. Die Analyse des beauftragten Instituts („Assessment“) dient dem Auftraggeber daher also lediglich als Unterstützung für die endgültige Wertung und Entscheidung („Appraisal“).
Der G-BA hat für seine Entscheidung neben den Kriterien der klinischen Wirksamkeit sowie der Wirksamkeit im Versorgungsalltag, die Wirtschaftlichkeit, die Sicherheit, sowie soziale und ethische Kriterien und Versorgungsaspekte heranzuziehen und alle Faktoren gegeneinander abzuwägen. Hier spielen zum Beispiel auch Fragen der Verteilungsgerechtigkeit und des Zugangs zur Gesundheitsversorgung eine Rolle. Da im Rahmen der Bewertungen des G-BA immer wieder Fragen der Verteilungsethik adressiert werden, sollten die Auftraggeber, vornehmlich das BMG, besser aber noch i.S. einer demokratisch möglichst breiten Legitimation, das Parlament die Entscheidungskriterien definieren.
Aufgrund der Notwendigkeit, dass der G-BA seine Entscheidung in einen umfangreichen sozialrechtlichen Kontext einzuordnen hat, muss der G-BA hier eine umfassende Bewertung bzw. Einordnung treffen.
Als nicht unproblematisch wird in diesem Zusammenhang die enge Verflechtung zwischen dem G-BA (in der Rolle des Entscheiders) und dem IQWiG (in der Rolle des Bewerters) gesehen, wie sie in der Geschäftsordnung des G-BA in der Fassung vom 17.07.2008 im § 19 Abs. 4 beschrieben wird.[14] Eine regelhafte Teilnahme von Mitarbeitern des Institutes, das die Bewertung durchführt, gerade an Sitzungen des Unterausschusses Arzneimittel vom G-BA lässt eine klare Trennung der Arbeit von Bewerter und Entscheider vermissen.
Dies erscheint deswegen bedeutsam, da ebendieser Unterausschuss des G-BA gemäß seiner „Entscheidungsgrundlagen des Unterausschusses Arzneimittel“[15] zu Beginn eines Bewertungsverfahrens den Auftrag nur bilateral mit dem IQWiG konkretisiert, nach Fertigstellung des Auftrages durch das IQWiG dann aber lediglich eine „Plausibilitätskontrolle“ vornehmen will.
Weiter kommt erschwerend hinzu, dass auch die Aufforderung des Gesetzes, externe Experten mit der Durchführung der eigentlichen Nutzenbewertung zu betrauen,[16] gewissermaßen unterlaufen wird. In einer Erörterung zur Nutzenbewertung des IQWiG[17] wurde vom IQWiG selber festgestellt, dass es keine klare Trennung in der Arbeit IQWiG / Externe Experten gebe, sondern die externen Experten eng verzahnt in ständigem Austausch mit dem IQWiG arbeiten würden.
Ein unabhängiges Arbeiten der externen Experten ist somit nicht nachvollziehbar gegeben. Im Abschluss wird vom G-BA-Unterausschuss im Rahmen der Plausibilitätskontrolle unter Umständen nur das kontrolliert, was zuvor eventuell unter Kenntnis der Daten vom Institut als Berichtsplan bzw. als Vorbericht ausgearbeitet worden war. Hier besteht die große Gefahr, dass es zu Binnenabsprachen kommt.
Es sollte eine klare Trennung zwischen der Arbeit des Bewerters (i.d.R. das beauftragte Institut), der externen Experten und des Entscheiders (i.d.R. G-BA) geben.[18]
Ein möglicher Ansatz zur klaren Trennung der Arbeit ergibt sich aus dem Flussdiagramm im Anhang (Abb. 2 und 3).
3. Internationale Standards der Evidenzbasierten Medizin (EbM)
3.1 Bewertung der bestverfügbaren Evidenz für jeden einzelnen Endpunkt
§ 35b Abs. 1 S. 4 SGB V definiert als zumindest zu berücksichtigende Kriterien des Patientennutzens vor allem die Verbesserung des Gesundheitszustandes, die Verkürzung der Krankheitsdauer, die Verlängerung der Lebensdauer, die Verringerung von Nebenwirkungen und die Verbesserung der Lebensqualität. Die Frage nach der bestverfügbaren Evidenz für jedes genannte Kriterium lässt sich generell nur im Kontext der jeweiligen Fragestellung beantworten. Nicht für jede Fragestellung kann ein RCT[19] durchgeführt werden oder ist ein RCT durchgeführt worden, so z. B. häufig für Fragen zu:
Populationsbezogenen Informationen (z. B. Häufigkeit und Verteilung von Schweregraden einer Erkrankung), oder
Fragen der Compliance oder Adhärenz, da besonders hier die Studiensituation vom Versorgungsalltag abweicht, oder
Patient reported outcomes (u.a. Informationen zur Lebens-qualität).
Nach den Standards der EbM ist es unerlässlich, immer dann Daten niedrigerer Evidenzklassen für die Beantwortung der Fragen heranzuziehen, wenn keine Studien höherer Evidenzklassen für den jeweiligen Aspekt der Frage zur Verfügung stehen (EbM-Prinzip der „bestverfügbaren Evidenz“).[20]
Evidenz aus RCTs steht nicht immer zur Verfügung, zum Beispiel sei der Zusatznutzen einer Therapieoption in Hinblick auf Ereignisse genannt, die im Therapieverlauf erst spät eintreten, oder wenn Studien mit sehr langen Laufzeiten nicht ohne weiteres als RCTs durchgeführt werden können.
Anerkannte intermediäre Endpunkte müssen in solchen Fällen herangezogen werden können. Die kategorische Nichtberücksichtigung intermediärer Endpunkte würde bestimmte Erkrankungen und die betroffenen Patienten diskriminieren, weshalb die internationalen Zulassungsbehörden validierte intermediäre Endpunkte in vielen Indikationen akzeptieren.
Nicht immer ist eine Verblindung nötig oder durchführbar. Eine Studie mit fehlender Verblindung darf daher nicht per se zu einer Abwertung oder einem Ausschluss der Studie aus der Bewertung führen. Vielmehr muss eine Einzelfallprüfung unter Berücksichtigung der Gegebenheiten durchgeführt werden.
Da abhängig von den Fragestellungen die Nutzenbewertung auf verschiedenen patientenrelevanten Endpunkten beruht, muss für jeden dieser Endpunkte auch die Recherche nach dem EbM-Grundsatz der „bestverfügbaren Evidenz“ erfolgen. Somit muss immer für jede einzelne Fragestellung (die sogenannte „Such-frage“) bis zu dem Level, auf dem Informationen erhältlich bzw. in ausreichender Zahl erhältlich sind, separat gesucht werden. Dies begründet, warum eine ausschließliche Suche eingeschränkt auf klinische Studien (RCT) nicht ausreichend ist.
Sind für eine Fragestellung bereits relevante, qualitativ hochwertige systematische Reviews (ggf. mit Meta-Analysen) durchgeführt, so müssen diese nach den Prinzipien der EbM als höchste Evidenzstufe entsprechend bewertet und berücksichtigt werden. Eine Verwendung von existierenden systematischen Reviews ausschließlich zu Zwecken der „Handsuche“ von Literatur entspricht nicht den Standards der EbM. Eine Nichtbeachtung solcher vorhandener Evidenz ist demnach nur bei belegten Mängeln der Reviews akzeptabel.[21]
3.2 Ergebnisoffener und transparenter Prozess
Die Bewertung der methodischen Qualität der individuellen Studien für die Evidenzsynthese ist der Kernschritt der isolierten Nutzenbewertung. Neben der Definition der Rahmenbedingungen für die Bewertung (Berichtsplan) kann hier – bewusst oder unbewusst – Einfluss auf die Bewertung genommen werden (Bewertungsbias). Daher ist es erforderlich, dass die zugrunde liegenden Bewertungen der Studienqualität nachvollziehbar und transparent vorgenommen werden. Die entsprechenden Kriterien sind idealer Weise vor bzw. ohne Kenntnis der Studienergebnisse festzulegen. Wenn dies nicht erfolgt oder erfolgen kann, ist die Aussagekraft der Ergebnisse eingeschränkt. Deshalb sind für eine solche Bewertung folgende Elemente zu fordern:
Definition einheitlicher, sektorenübergreifender und vor Beginn der Bewertung festgelegter Bewertungskriterien,
eine internationalen Standards folgende Bewertung der Studienqualität,
eine umfassende Transparenz im Verfahren der Studienbewertung,
Datenextraktion durch zwei voneinander unabhängige Experten mit der Möglichkeit, strittige Fragen ggf. durch eine neutrale Stelle klären zu lassen, mindestens aber dissente Entscheidungen offen zu legen,
eine Veröffentlichung der Datenextraktionsbögen (z. B. in Form von Evidenztabellen).
3.3 Darstellung der Evidenz und Evidenzsynthese gemäß inter-nationaler Standards
a. Darstellung der Evidenz
Der Gesetzgeber sieht eine klare Trennung von Bewertung („Assessment“) und daraus abgeleiteter Entscheidung („Appraisal“) vor. Aufgabe des beauftragten Institutes ist, wie international üblich und auch Standard der EbM, die Bewertung der Evidenz. Es ergibt sich aus der Natur der retrospektiv-explorativen Bewertung der bereits vorliegenden Evidenz, dass es sich nicht um eine konfirmatorische Bewertung – wie dies in den jeweiligen klinischen Studien durchgeführt wird – handeln kann.
Zur Zeit reduziert das IQWiG seine Schätzung des Patientennutzens in Form einer „Empfehlung“ auf die Frage des Belegs oder Hinweises eines Zusatznutzens (im Sinne von signifikant/nicht signifikant). Im Gegensatz zu prospektiv geplanten, konfirmatorischen, klinischen Studien ist es aber grundsätzlich problematisch, bei einer Analyse von bereits bekannten Studienergebnissen im Rahmen einer Nutzenbewertung von einer statistischen Signifikanz zu sprechen.
b. Falsche Fokussierung auf Signifikanztests
Eine Nutzenbewertung stellt eine retrospektive Evidenzsynthese dar, ist also formal methodisch als Beobachtungsstudie einzuordnen. Daneben ergibt sich aus EbM-Sicht kein Bezug zur Forderung nach einer festen Signifikanzschranke und den daraus abgeleiteten Schlüssen wie z. B. „Nutzen nachgewiesen“. Betrachtet man EbM-Standards der Statistik, so nimmt selbst ein beschreibend („deskriptiv“) interpretierter p-Wert eine untergeordnete Rolle bei systematischen Evidenzdarstellungen ein. Es ist eher umgekehrt so, dass in der statistischen Grundlagenliteratur vor dem unkritischen Gebrauch von p-Werten als Mittel der retrospektiven Datenanalyse gewarnt wird.
c. Ausschluss epidemiologischer Evidenz nicht haltbar
Bei der Forderung nach einem Kausalitätsnachweis von beobachteter Wirkung und Intervention durch das IQWiG verkennt dieses die Natur einer medizinischen Studie. Ein Kausaleffekt per se kann in (klinischen) Experimenten nicht nachgewiesen werden.[22]
Mit der Nutzung der international verfügbaren Prüfinstrumente für Studien und statistische Analysen ist es möglich, die Qualität der Studien und damit auch das Ausmaß der Sicherheit bzw. der Unsicherheit der Aussagen auch von non-RCT-Studien zu beschreiben.
Das IQWiG ignoriert die aktuelle wissenschaftliche Diskussion und die Fortschritte in der Epidemiologie, wenn es grob vereinfachend behauptet: „[] Nicht randomisierte Studien liefern immer ein potenziell verzerrtes Ergebnis, auch wenn die Auswahl der Teilnehmer wenig selektiert war. In nicht randomisierten Studien kann grundsätzlich nicht von einer Strukturgleichheit der Gruppen ausgegangen werden. []“ [23] Dies ist u.a. deshalb problematisch, da in der realen Versorgungssituation, deren Steuerung das Ziel des G-BA ist, häufig eben keine Strukturgleichheit besteht, weil z. B. die Adhärenz („Adherence“) bei einer Intervention besser ist als bei der Vergleichsintervention.
Die Sicherheit der Aussagen durch isolierte Betrachtung von RCTs, die das IQWiG laut eigenen Festlegungen erzeugt, ist aufgrund der Retrospektivität der Datenanalyse so gar nicht zu erreichen. Letztlich führt damit aber das Vorgehen des IQWiG zum Ausschluss eines Großteils der vorhandenen Evidenz und damit zu einer Verkleinerung der Informationsbasis des jeweiligen Entscheiders, da bislang bei Arzneimittelbewertungen zahlreiche RCTs und nahezu regelhaft non-RCTs ausgeschlossen wurden. Da jedoch erst der Entscheider (i.d.R. der G-BA) eine Verbindung zwischen der Datenbasis, der Sicherheit der Aussage und der daraus abzuleitenden Bedeutung herzustellen hat, sollte dieser über eine möglichst vollständige Datenlage („Body of Evidence“) verfügen können, um eine informierte Entscheidung treffen und begründen zu können.
d. Falsche „Zwei-Studien-Forderung“
Mit dem neuen Methodenpapier (V3) werden vom IQWiG für den Nutzenbeleg einer Zielgröße neuerdings mindestens zwei signifikante Studien gefordert. Das IQWiG nimmt dabei Bezug auf Leitlinien der Zulassungsagenturen, um seine Forderung nach zwei signifikanten Studien zu rechtfertigen.
Neben der fehlenden Begründung ist eine solche Pauschalforderung in der Praxis unerfüllbar, da eine klinische Arzneimittelentwicklung international mit den Zulassungsbehörden abgestimmt werden muss und darüber hinaus ein nationaler IQWiG-Berichtsplan mit Indikation, Zielgrößen, Vergleichspräparaten zum Zeitpunkt der Zulassung noch unbekannt ist. Die Forderung steht ebenso im direkten Gegensatz zu den Standards der inter-nationalen evidenzbasierten Medizin.
Die „Zwei-Studien-Regel“ des IQWiG führt in der Nutzenbewertung zudem zu logisch inkonsistenten Situationen: Eine Meta-Analyse ist u.a. dann nicht durchführbar, wenn die Studienergebnisse einzelner Studien zu heterogen sind. Zwei grenzwertig nicht-signifikante Studien werden durch eine Meta-Analyse im Allgemeinen einen formal statistisch signifikanten Effekt liefern. Wird nun in einer der beiden Studien der Effekt größer, so führt dies zu statistischer Heterogenität mit der Folge, dass nach IQWiG-Kriterien (z. B. großer I-2 Wert) die Studien nicht zusammenzufassen sind. Da in diesem Fall nur eine Studie signifikant ist, wird nach dem Methodenpapier 3.0 kein Zusatznutzen festgestellt, obwohl der Effekt deutlicher als bei den beiden grenzwertig nicht-signifikanten Studien ausfällt.[24],[25],[26]
Die Zwei-Studien-Regel in der Nutzenbewertung ist demnach nicht begründbar, nicht sinnvoll, und führt zu logischen Widersprüchen und kann im schlimmsten Fall die Grundlage fehlinformierter Entscheidungen sein.
e. Anforderungen an Meta-Analysen
In den Allgemeinen Methoden 3.0 heißt es hierzu: „Das Institut verwendet daher vorrangig Modelle mit zufälligen Effekten und weicht nur in begründeten Ausnahmefällen auf Modelle mit festen Effekten aus.“[27] Dies stellt gegenüber den Methoden 2.0 einen wissenschaftlichen Rückschritt dar, denn dort wollte das IQWiG „immer beide Methoden anwenden und im Falle von divergenten Resultaten diese beschreiben.“[28]
Beim Thema Meta-Analysen stellen die sehr detaillierten Ausführungen des Cochrane-Handbuches einen de-facto Standard in der internationalen EbM dar.[29] Dort wird erstens davor gewarnt, im Falle von wenigen Studien ein Modell mit zufälligen Effekten zu benutzen. Zweitens wird auf die Validität von p-Werten basierend auf Modellen mit festen Effekten hingewiesen. Das heißt, dass gerade in der vom IQWiG herbeigeführten „typischen“ Situation von sehr wenigen Endpunktstudien und der unangemessenen Fokussierung auf p-Werte und Signifikanzschranken nur das Meta-Analyse-Modell mit festen Effekten valide und robust ist und zu interpretierbaren Ergebnissen führt. Demgegenüber macht das Modell mit zufälligen Effekten zusätzliche, teilweise nicht verifizierbare Annahmen, und kann insbesondere bei geringer Studienzahl zu einem Ergebnis führen, das jedem der Einzelstudienergebnisse widerspricht.
f. Subgruppenanalysen
Auch in den Allgemeinen Methoden 3.0 des IQWiG wird eine bekannte Problematik der Subgruppenanalysen bei der retrospektiven Evidenzsynthese nicht angesprochen: Da eine Nutzenbewertung nach dem Vorliegen der Studien beginnt, können die Studien auf keine Weise mehr an Fragenaspekte der Nutzenbewertung angepasst und quasi „gepowert“ werden. Mithin kann es sein, dass in der Nutzenbewertung einige Studien „nicht voll-ständig zur Frage passen“, obwohl sie ansonsten alle inhaltlichen und Qualitätskriterien erfüllen würden. Es kann sein, dass solche Studien nur mit Teilaspekten oder nur für Subgruppen mit der Frage der Nutzenbewertung übereinstimmen.
Vom Standpunkt der Evidenzsynthese gibt es hier keinen wissenschaftlichen Grund, die Subgruppenresultate dieser Studien zu ignorieren. Im Umkehrschluss kann aber eine fehlende Signifikanz in einer Subgruppenanalyse nicht als vermeintlich fehlende Evidenz ausgelegt werden, da ja eben die Studie nicht a priori für diese Subgruppenbetrachtung gepowert worden war.
Letztlich geht es nicht um die Frage, ob das beauftragte Institut eine Analyse der Evidenz für „sicher“ hält, sondern darum, welche Entscheidungen der G-BA anhand der beschriebenen (Un-) Sicherheit der Daten treffen kann. Um hier eine möglichst umfassende Informationsbasis zu haben, sollte die vorhandene Evidenz i.S. der „bestverfügbaren Evidenz“ berücksichtigt worden sein, und die zu betrachtenden Outcomes und Kriterien der Bewertung sollten zu Beginn in einem Scoping-Workshop definiert worden sein.
g. Anwendung statistischer Methoden
Neben den „klassischen“ statistischen Verfahren wurden mit den Netzwerk-Meta-Analysen (indirekte Meta-Analyse) in letzter Zeit Verfahren entwickelt, um mit Problemen insbesondere bei fehlender Datenlage zum direkten (Nutzen-) Vergleich umgehen zu können. Die Methode birgt noch Fragen in sich, ist jedoch vielversprechend und liefert bei fehlenden direkten Vergleichen den bestmöglichen Schätzer für den zu erwartenden relativen Effekt.[30] Aus diesem Grund fordert das NICE diese Verfahren explizit, wenn keine direkten Vergleichsstudien vorliegen.[31]
Insbesondere Bayes-Verfahren kommen hier zur Anwendung. Generell bekäme durch die Anwendung von Bayes-Verfahren die Debatte um die Wahl des statistischen Modells neue Lösungsansätze; ferner können damit auch verschiedene Datenquellen leicht zusammengeführt werden. Bayes-Verfahren sind auch deshalb sehr geeignet, da sie dem Entscheider direkte Wahrscheinlichkeiten für Fragestellungen liefern und nicht auf „willkürlich“ festgelegten 5%-Signifikanzwerten beruhen.
4. Verfahrenstransparenz
4.1 Ausschreibung und Auftragsvergabe
Das beauftragte Institut hat zur Erledigung seiner Aufgaben wissenschaftliche Forschungsaufträge an externe Sachverständige zu vergeben (§ 139 b Abs. 3 S. 1 SGB V). Die Auswahl sollte hierbei aufgrund nachvollziehbarer, objektiver Kriterien erfolgen. Das Ausschreibungsverfahren sowie die Kriterien zur Expertenauswahl sollten veröffentlicht werden, um eine höchstmögliche Transparenz zu gewährleisten.[32] Die Forderung in § 35b Abs. 1 S. 6 SGB V nach durchgehender Verfahrenstransparenz macht ggf. eine öffentliche, europaweite Ausschreibung erforderlich. Dadurch wird erreicht, dass eine unbeschränkte Zahl von Experten ihre Dienste anbieten kann und keine Vorselektion durch die Auftraggeber erfolgt.
Voraussetzung für eine transparente Ausschreibung ist die eindeutige Beschreibung der zu erbringenden Leistung. Hierzu ist es erforderlich, dass der Auftrag möglichst klar formuliert wird. Eine Präzisierung alleine durch bilaterale Abstimmung zwischen Auftraggeber und dem beauftragten Institut ohne Beteiligung der im Gesetz genannten zu beteiligenden Gruppen schwächt die Qualität des Auftrages.[33]
Die Hinzuziehung der externen Sachverständigen gemäß § 139b Abs. 3 SGB V sollte bereits zur Klärung der Fragestellung im Rahmen des Scoping-Prozesses erfolgen. Der genaue Wortlaut der Ausschreibung und alle erfolgreichen – ggf. pseudo- oder anonymisierten - Bewerbungen um die Aufträge müssen gemäß der Transparenzforderung des § 35b Abs. 1 S. 6 SGB V zeitnah veröffentlicht werden, um Beeinflussungen des Verfahrens durch verdeckte Beteiligte zu verhindern.
Für den Fall etwaiger Beschwerden bzw. Nachprüfungen durch unterlegene Bewerber ist für alle Ausschreibungen mindestens Folgendes zu dokumentieren:
Gründe für die Zuschlagserteilung
Anzahl der eingegangenen Angebote
Niedrigster und höchster Angebotspreis
4.2 Offenlegung und nachvollziehbare Bewertung der zu den Verfahren eingehenden Stellungnahmen
Der gesamte Verfahrensablauf der Bewertungen sieht mehrere Möglichkeiten zur Stellungnahme durch Betroffene und die Öffentlichkeit vor (siehe Anhang). Diese Stellungnahmen werden in den jeweiligen Schritten gesichtet und bewertet. Das Ergebnis dieser Bewertung wird entsprechend zeitnah dokumentiert und veröffentlicht.
Sowohl die eingegangenen Stellungnahmen als auch Kommentar und Begründung bezüglich der Berücksichtigung durch das beauftragte Institut sollten jeweils 2 Wochen nach Abschluss des Stellungnahmeverfahrens veröffentlicht werden und sollten immer Teil des jeweils folgenden Berichtsplans, Vor- oder Abschlussberichts sein. Für Einsprüche zu den Entscheidungen kann der Stellungnehmende die Scoping-Gruppe anrufen.
4.3 Qualitätskontrolle durch ein externes Peer-Review
Qualitätskriterium für jede wissenschaftliche Arbeit – und damit auch für Nutzenbewertungen des beauftragten Instituts – ist ein externes Peer Review, durch das die Forderungen des § 35b Abs. 1 S. 6 SGB V erfüllt werden. Das Verfahren der internen und externen Begutachtung ist für alle Publikationen als obligatorisch einzufordern, wobei hier der wichtigere Fokus auf einem unabhängigen, externen Peer-Review liegen sollte. Das interne Review hat im Gegensatz zum externen Review lediglich – dabei eine durchaus relevante – Bedeutung für die interne Qualitätssicherung des beauftragten Institutes.
Peer-Review-Verfahren haben sich für wissenschaftliche Publikationen etabliert und sollten vergleichbar transparent für die Bewertungsverfahren des beauftragten Instituts angewandt werden.[34]
Die Auswahl der Peer-Reviewer muss dabei analog zum wissenschaftlichen Peer-Review-Prozess unabhängig vom beauftragten Institut sein und sollte z. B. von einer unabhängigen (Clearing-) Stelle vorgenommen werden. Die Ergebnisse des Peer-Reviews sind immer zu veröffentlichen.
Wichtig ist die wirklich unabhängige Durchführung des externen Peer-Reviews als zentrales externes Qualitätsmerkmal wissenschaftlicher Arbeit. Deswegen hat die Neutralität des externen Reviewers gegenüber dem beauftragten Institut größte Bedeutung, und deshalb kann die Auswahl und die Entlohnung des Reviewers durch das Institut, dessen Produkte Gegenstand der Prüfung sind, nicht erfolgen.
Für die Geheimhaltung der Ergebnisse des externen Reviews und auch des Reviewers gibt es auch deswegen keine Begründung, da dessen Aufgabe gerade in der kritischen Überprüfung der Berichte des beauftragten Institutes besteht.
Daher kann nur eine mögliche – und beim IQWiG bislang regelhaft vorhandene - Verbindung von Review und zu prüfender Arbeit zu Interessenkonflikten führen, wenn sie nicht bekannt ist bzw. geprüft werden kann.
Eine Benennung des externen Reviewers durch das Institut unter der Maßgabe, dass durch ebendieses Review die Arbeit des Instituts überprüft werden soll, ist grundsätzlich abzulehnen. Rein formal handelt es sich bei einer solchen Konstellation nicht um eine externes, sondern um ein internes Review, das hier nicht ausreicht.
Die Ergebnisse der Reviews müssen im Sinne des Transparenzgebotes des § 35b Abs. 1 S. 6 SGB V spätestens zusammen mit dem jeweiligen Bericht veröffentlicht werden.
Abb. 1: Vereinfachte Darstellung des Verfahrensablaufes zu Beginn der Nutzenbewertung, spezifische Details siehe nachfolgende Abb. 2 und 3:
Abb. 2: Prozess der Nutzenbewertung:
Arbeitsschritte von der Themenfindung bis zur Publikation des endgültigen Berichtsplans (nach Bekkering & Kleijnen, modifiziert)
Abb. 3: Prozess der Nutzenbewertung:
Arbeitsschritte vom Berichtsplan bis zur Entscheidung
1 Die Anforderungen hierzu sind in einem gesonderten Positionspapier zur Kosten-Nutzen-Bewertung dargelegt.
2 Bekkering, G.E.; Kleijnen, J.: Verfahrensweisen und Methoden zur Nutzenbewertung von Arzneimitteln in Deutschland.
Dtsch Med Wochenschr 2008;133:S221-248, Supplement 7. Englische Fassung: Eur J Health Econ, DOI 10.1007/s10198-008-0122-5.
3 Verfahrensordnung des G-BA vom 20. September 2005, zuletzt geändert am 18. April 2006, in Kraft getreten am 7. Juli 2006, http://www.g-ba.de/downloads/62-492-83/VerfO_2006-04-18.pdf, Zugriff: 20.10.2008, 12:00 Uhr
4 Sachverständige der medizinischen und pharmazeutischen Wissenschaft und Praxis sowie der Arzneimittelhersteller und der Berufsvertretungen der Apotheker; Sachverständige der medizinischen, pharmazeutischen und gesundheitsökonomischen Wissenschaft und Praxis; die Arzneimittelhersteller sowie die für die Wahrnehmung der Interessen der Patienten und der Selbsthilfe chronisch Kranker und behinderter Menschen maßgeblichen Organisationen sowie den Bundespatientenbeauftragten.
5 Bekkering, G.E.; Kleijnen, J.: Abschnitt 3.2.1 und Abschnitt 6.1
6 Bekkering, G.E.; Kleijnen, J.: Abschnitt 4.3
7 Bekkering, G.E.; Kleijnen, J.: Abschnitt 3.2.2
8 Die Bezeichnungen der einzelnen Verfahrensschritte ergeben sich durch die Definitionen des Gutachtens von Bekkering und Kleijnen.
9 Bekkering, G.E.; Kleijnen, J.: Abschnitt 3.1.3
10 Bekkering, G.E.; Kleijnen, J.: Abschnitt 3.2.2
11 Bekkering, G.E.; Kleijnen, J.: Abschnitt 3.1.4
12 Bekkering, G.E.; Kleijnen, J.: Abschnitt 4.2
13 Bekkering, G.E.; Kleijnen, J.: Abschnitt 3.2
14 http://www.g-ba.de/downloads/39-261-714/2008-07-17-GO-neu.pdf, Zugriff: 07.08.08, 10:30 Uhr
15 http://www.g-ba.de/downloads/17-98-2568/2008-05-15-AMR_EGL-Nutzenbewertung.pdf, Zugriff: 05.08.08, 13:00 Uhr
16 § 139b Abs. 3 SGB V
17 Dokumentation der Erörterung zum Vorbericht „Langwirksame Insulinanaloga zur Behandlung des Diabetes mellitus Typ 2 (A05-03)“ vom 17.06.2008, wird vom IQWiG noch veröffentlicht, siehe http://www.iqwig.de/index.558.html
18 Bekkering, G.E.; Kleijnen, J.: Abschnitt 3.1.8
19 Randomisiert kontrollierte Studie (Randomised Controlled Trial, RCT): Studienform, bei der die Patienten nach einem Zufallsverfahren (mit verdeckter Zuordnung) auf die Therapie- bzw. die Kontrollgruppe verteilt (Randomisierung) und auf das Auftreten von zu Beginn der Studie festgelegter Endpunkte in der Therapie- bzw. Kontrollgruppe nachbeobachtet werden
20 Bekkering, G.E.; Kleijnen, J.: Abschnitt 4.1.4
21 Bekkering, G.E.; Kleijnen, J.: Abschnitt 4.1.3
22 Hernand, 2004. A definition of causal effect for epidemiological research. J Epidemiol Community health, 58:256-71
23 IQWiG, Allgemeine Methoden V 3.0, S. 11, Abschnitt 1.3.6; Punkt 2
24 Bekkering, G.E.; Kleijnen, J.: Abschnitt 4.1.2
25 Details siehe insbesondere die Folien 14 bis 26 der PDF-Datei, verfügbar unter: http://www.iqwig.de, Zugriff: 07.08.08, 10:07 Uhr
26 Details siehe insbesondere die Folien 31 bis 38 der PDF-Datei, verfügbar unter: http://www.iqwig.de, Zugriff: 07.08.08, 10:07 Uhr
27 IQWiG, Allgemeine Methoden V 3.0, S. 112
28 IQWiG, Methoden V 2.0, S. 30
29 Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.0.0 [updated February 2008]. The Cochrane Collaboration, 2008. Available from www.cochrane-handbook.org.
30 Freemantle, N. Biostatistical aspects for the use of evidence based medicine in health technology assessment, Eur J Health Econ; DOI 10.1007/s10198-008-0123-4
31 NICE: Guide to the Methods of Technology Appraisal – June 2008; http://www.nice.org.uk, Zugriff: 07.08.08, 09:41 Uhr
32 Bekkering, G.E.; Kleijnen, J.: Abschnitt 3.1.2 und Abschnitt 6.2
33 Bekkering, G.E.; Kleijnen, J.: Abschnitt 3.1.3
34 Bekkering, G.E.; Kleijnen, J.: Abschnitt 3.1.7 und Abschnitt 6.7

References: § 35
 § 35
 § 35
 § 35
 § 139
 § 139
 § 35
 § 12
 § 35
 § 35
 §139
 § 35
 § 35
 § 35
 § 35
 § 139
 § 35
 § 35
 § 139
 § 19

§ 35
 § 35
 § 139
 § 35
 § 35
 § 35
 § 139