Source: https://de.slideshare.net/TK_Presse/qualittsmonitoring-in-der-ambulanten-psychotherapie
Timestamp: 2017-06-23 00:20:28
Document Index: 76231014

Matched Legal Cases: ['§ 63', '§ 63', '§ 63', '§ 63', '§ 65', '§63']

Abschlussbericht des Modellvorhabens der Techniker Krankenkasse zum "Qualitätsmonitoring in der ambulanten Psychotherapie". Dieses Dokument kann für redaktionelle Zwecke und mit dem Hinweis "Quelle: Techniker Krankenkasse" honorarfrei verwendet werden. Eine Nutzung zu Werbezwecken ist ausgeschlossen.
Qualitätsmonitoring in der ambulanten Psychotherapie ABSCHLUSSBERICHTModellvorhaben der Techniker Krankenkasse nach § 63 Abs. 1 SGB V 2.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 3ImpressumWittmann, W.W., Lutz, W., Steffanowski, A., Kriz, D., Glahn, E.M., Völkle, M.C.,Böhnke, J.R., Köck, K., Bittermann, A. & Ruprecht, T. (2011). Qualitätsmonitoringin der ambulanten Psychotherapie: Modellprojekt der Techniker Krankenkasse -Abschlussbericht. Hamburg: Techniker Krankenkasse.Der Abschlussbericht wurde im Auftrag der TK erstelltvon den Evaluatoren des TK-Modellprojekts:Prof. Dr. Werner W. Wittmann, Dr. Andrés Steffanowski,Dr. David Kriz, Esther M. Glahn, Dr. Manuel C. VölkleOtto -Selz-Institut für Angewandte Psychologieverantwortlich für die Kapitel (ansonsten gemeinsam)3.5, 3.7, 3.8.2, 3.9, 4.1, 4.2.1, 4.2.4 – 5.1.1, 5.2.-5.4.Prof. Dr. Wolfgang Lutz, Jan R. Böhnke, Katharina Köck, André BittermannUniversität Trier, Abteilung für Klinische Psychologie und Psychotherapieverantwortlich für die Kapitel (ansonsten gemeinsam)3.6, 3.8.1, 4.2.2, 4.2.3, 5.1.2, 6, 7Kontaktadresse Mannheim Kontaktadresse TrierDr. Andrés Steffanowski Dipl.-Psych. Katharina Köck-Wissenschaftlicher Mitarbeiter- -Wissenschaftliche Mitarbeiterin-Otto-Selz-Institut für Angewandte Psychologie Klinische Psychologie & PsychotherapieArbeitsbereich 1: Methoden, Diagnostik & Evaluation Fachbereich 1Universität Mannheim, L 13, 15 Universität Trier68131 Mannheim 54286 Trierandres@steffanowski.de koeck@uni-trier.de 3.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 4Abkürzungen:IG Experimentalgruppe (Versicherte, die an der Studie teilnehmen und per Randomisierung dem modifizierten Gutachterverfahren zugeteilt wurden).KG Kontrollgruppe 1 (Versicherte, die an der Studie teilnehmen und per Randomisierung dem herkömmlichen Gutachterverfahren zugeteilt wurden)KG2 Kontrollgruppe 2 (Versicherte, die nicht an der Studie teilnehmen, aber im Bereich der teilnehmenden KVen Westfalen-Lippe, Hessen und Südbaden versichert sind.KG3 Kontrollgruppe 3 (Versicherte, die nicht an der Studie teilnehmen und auch nicht im Bereich der teilnehmenden KVen Westfalen-Lippe, Hessen und Südbaden versichert sind.KV Kassenärztliche VereinigungQS QualitätssicherungRCT Randomisierter KontrollgruppenplanTK Techniker Krankenkasse5-Datenbox-Konzeption:PR-Box Prädiktor-Box (vor der Intervention)KR-Box Kriterien-Box (nach der Intervention)EVA-Box Stakeholderinteressen (bestimmen die Kriterienauswahl der KR-Box)ETR-Box Experimentelle Treatment-Box (während der Behandlung)NTR-Box Nichtexperimentelle Treatment-Box (während der Behandlung)Messzeitpunkte:A Messung bei Therapiebeginn „Aufnahme-Messung“E Messung bei Therapieende „Entlass-Messung“K Messung bei 1-Jahres-Katamnese „Katamnesemessung“V VerlaufsmessungStichproben:T1: N = 1.629 Therapeutendokumentationen zu Therapiebeginn (A-Messung)T2: N = 934 Therapeutendokumentationen zu Therapieende (A- und E-Messung)P1: N = 1.598 Patientendokumentationen zu Therapiebeginn (A-Messung)P2: N = 597 Patientendokumentationen zu Therapieende (A- und E-Messung)P3: N = 468 Patientendokumentationen zur 1-Jahres-Katamnese (A- und K-Messung)P4: N = 300 Patientendokumentationen (A-, E- und K-Messung liegt vor) 4.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 5Hinweis der Autoren:Zur besseren Lesbarkeit wurden bei der Abfassung des Abschlussberichtes folgende Konventionen beider Schreibweise in diesem Bericht gewählt: • Es wird eine einheitliche Schreibweise z.B. „Therapeuten“ oder „Patienten“ verwendet, welche sowohl das männliche als auch das weibliche Geschlecht einbezieht. • Die niedergelassenen ärztlichen und psychologischen Psychotherapeuten und Psychotherapeu- tinnen werden einheitlich als „Therapeuten“ bezeichnet. • Die am Modellvorhaben teilnehmenden Patienten der zur Interventionsgruppe clusterrandomi- sierten Therapeuten (im Evaluationsplan als EX-Grp bezeichnet) werden als IG bezeichnet • Die am Modellvorhaben teilnehmenden Patienten der zur Kontrollgruppe clusterrandomisierten Therapeuten (im Evaluationsplan als KON-Grp 1 bezeichnet) werden als KG bezeichnet • Die nicht am Modellvorhaben teilnehmende Referenzgruppe (anonymisierte Leistungsdaten von TK-Versicherten) in den drei KV-Modellregionen Westfalen-Lippe, Hessen und Freiburg (im Eva- luationsplan als KON-Grp 2 bezeichnet) wird als KG2 bezeichnet. • Die nicht am Modellvorhaben teilnehmende Referenzgruppe (anonymisierte Leistungsdaten von TK-Versicherten) außerhalb der drei KV-Modellregionen (im Evaluationsplan als KON-Grp 3 be- zeichnet) wird als KG3 bezeichnet. • Beim Inventar für interpersonale Probleme (IIP) wird in der Studie durchgängig die deutsche Kurzversion mit 64 Items nach Horowitz, Strauss und Kordy (2000) verwendet und mit der Ab- kürzung IIP-D bezeichnet.Gesetzliche GrundlageZiele, Dauer, Art und allgemeine Vorgaben zur Ausgestaltung des TK-Modellvorhabens "Qualitäts-monitoring in der ambulanten Psychotherapie" sowie die Bedingungen für die Teilnahme von Versicher-ten wurden gemäß § 63 SGB V Abs. 5 vom Verwaltungsrat der TK am 24. September 2004 als 29. Nach-trag zur Satzung der Techniker Krankenkasse (TK) vom 1. Januar 2000 beschlossen und vom Bundesver-sicherungsamt (BVA) mit Bescheid vom 7. Januar 2005 genehmigt. Mit BVA-Bescheid vom 5. November2007 wurde auch die vom Verwaltungsrat der TK am 28. September 2007 beschlossene Verlängerungdes Modellvorhabens als 53. Nachtrag zur Satzung der Techniker Krankenkasse (TK) vom 1. Januar 2000genehmigt (AZ II3-59015.0-4069/2003).Projektberatung und -betreuungDie TK wurde bei der Konzeption des Modellvorhabens beratend unterstützt durch die Autoren diesesBerichts (Prof. Dr. Werner Wittmann und Prof. Dr. Wolfgang Lutz) sowie weiterhin durch Herrn Prof. Dr.rer. nat. Thomas Fydrich (seinerzeit Leiter des Zentrums für Psychologische Psychotherapie an der Uni-versität Heidelberg, seit 2004 Professor für Psychotherapie und Somatopsychologie am Institut für Psy-chologie der Humboldt-Universität zu Berlin), Herrn Prof. Dr. phil. Rainer Richter (Leiter der Poliklinik fürPsychosomatik und Psychotherapie am Zentrum für Innere Medizin des Universitätsklinikums Hamburg-Eppendorf, Präsident der Deutschen Fachgesellschaft für Tiefenpsychologisch fundierte Psychotherapieund Präsident der Bundespsychotherapeutenkammer) sowie Herrn Prof. em. Dr. Gerd Rudolf (seinerzeitLeiter des Instituts für Psychotherapieforschung und Qualitätssicherung an der Universität Heidelberg).Als externes Trustcenter und als Datenstelle fungierte das Apparatezentrum der Hogrefe Verlag GmbH &Co. KG in Göttingen. Betreut wurde das Projekt dort von Herrn Karl-Heinz Schlawis und Herrn Wolf-Rüdiger Just.Die Gesamtleitung des TK-Modellvorhabens lag bei Hauptverwaltung der Techniker Krankenkasse inHamburg. Verantwortlich waren dort bis zum 30.06.2006 Herr Andreas Nagel und ab dem 01.07.2006Herr Dr. med. Thomas M. Ruprecht, Fachbereich Versorgungsmanagement - Innovationen und Angebo-te. 5.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 6DanksagungEin so umfassendes Projekt wie das Modellvorhaben „Qualitätsmonitoring in der ambulanten Psycho-therapie“ der Techniker Krankenkasse ist stets gekennzeichnet durch die direkten wie indirekten Beiträ-ge einer Vielzahl beteiligter Einzelpersonen und Interessensgruppen.Besonders hervorheben möchten wir an dieser Stelle jedoch die Arbeit des Wissenschaftlichen Beirats.Seinen Mitgliedern Herrn Prof. Dr. C. E. Scheidt (Vorsitzender), Herrn Dr. J. Brockmann, Herrn Prof. Dr. F.Caspar, Herrn Prof. G. Rudolf, Herrn Prof. Dr. U. Stangier und Herrn Dr. H. Vogel sowie den Beisitzendendes Wissenschaftlichen Beirats Herrn Dr. H. Herholz, Herrn Dr. P. Hinz, Herrn A. Kintrup, Herrn J. Klauen-flügel, Frau Dr. R. Simon und Herrn M. Singmann verdanken die Autoren dieses Berichts und das gesam-te Projekt eine Vielzahl wertvoller Anmerkungen und Vorschläge. Es soll erst gar nicht der Versuch einerRekonstruktion der individuellen Beiträge zu diesem Projekt unternommen werden, doch steht außerFrage, dass durch die stets konstruktive Kritik des Wissenschaftlichen Beirates das Modellvorhaben alsGanzes wiederholt profitieren konnte. 6.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 7Inhalt1 Zusammenfassung .......................................................................................................................... 11 1.1 Methodisches Vorgehen ............................................................................................................ 11 1.2 Ergebnisse .................................................................................................................................. 122 Evaluationsplan vom 04.11.2003 ................................................................................................... 13 2.1 Ziele der Evaluation .................................................................................................................... 13 2.2 Evaluationsdesign ....................................................................................................................... 14 2.2.1 Vorbemerkung .................................................................................................................... 14 2.2.2 Messinstrumente ............................................................................................................... 15 2.2.3 Vergleichsstrategien ........................................................................................................... 19 2.3 Statistische Datenanalyse........................................................................................................... 23 2.3.1 Teststärkeanalyse und Fallzahlenberechnung ................................................................... 23 2.3.2 Datenaufbereitung und Datenreduktion ........................................................................... 26 2.3.3 Deskriptive statistische Analysen ....................................................................................... 26 2.3.4 Inferenzstatistische Analysen ............................................................................................. 26 2.3.5 Exploratorische Analysen ................................................................................................... 26 2.4 Zentrale Hypothesen .................................................................................................................. 26 2.4.1 Mittelwertsunterschiede .................................................................................................... 27 2.4.2 Korrelative Zusammenhänge und Strukturgleichungsverfahren ....................................... 27 2.4.3 Gesamtbewertung .............................................................................................................. 28 2.5 Qualitätssicherung der Daten .................................................................................................... 29 2.6 Durchführung der Evaluation ..................................................................................................... 29 2.6.1 Zeitplan ............................................................................................................................... 29 2.6.2 Aufgaben des Evaluationsteams ........................................................................................ 29 2.7 Anlage A: Berechnung der Break-Even-Effektgröße .................................................................. 30 2.8 Anlage B: Einstellungen zur Qualitätssicherung ......................................................................... 33 2.9 Anlage C: Evaluationsfragen aus Patientensicht ........................................................................ 35 2.10 Anlage D: Evaluation der Rückmeldungen u. Handlungsempfehlungen ................................... 363 Realisierung des Projekts ............................................................................................................... 37 3.1 Evaluationsdesign und Messzeitpunkte ..................................................................................... 37 3.2 Auswahl der Erhebungsinstrumente .......................................................................................... 38 3.3 Bewertungs- und Entscheidungshilfen ....................................................................................... 40 3.3.1 Standardisierte Ergebnisbewertung mit Effektgrößen ...................................................... 40 3.3.2 Multiple Ergebniskriterien .................................................................................................. 41 3.4 Randomisierung der Studientherapeuten.................................................................................. 42 7.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 8 3.5 Schulung der Therapeuten ......................................................................................................... 45 3.6 Hotline für Therapeuten ............................................................................................................. 46 3.7 Datenerhebung und Fragebogenrücklauf .................................................................................. 47 3.7.1 Fragebogenrücklauf der Therapeuten ................................................................................ 48 3.7.2 Fragebogenrücklauf der Patienten ..................................................................................... 50 3.8 Gründe für fehlende Dokumentationen ..................................................................................... 52 3.8.1 Nichtteilnahme von Patienten am Modellvorhaben .......................................................... 52 3.8.2 Fehlende Abschluss- und Katamnesedokumentationen .................................................... 54 3.9 Abschließende Bewertung.......................................................................................................... 564 Stichprobenbeschreibung und Überprüfung der Randomisierung ................................................ 58 4.1 Repräsentativität der Daten: Stichprobe TK ............................................................................... 58 4.2 Therapeutenangaben bei Behandlungsbeginn: Stichprobe T1 .................................................. 60 4.2.1 Basisdokumentation ........................................................................................................... 60 4.2.2 Therapieeingangsdiagnostik ............................................................................................... 67 4.2.3 Erfassung der Therapieziele mit dem Berner Inventar für Therapieziele (BIT-CT) ............. 78 4.2.4 Psychopharmakologische Behandlung ............................................................................... 80 4.2.5 Therapeuten-Ratings bei Therapiebeginn .......................................................................... 82 4.3 Patientenangaben bei Therapiebeginn (Stichprobe P1) ............................................................ 82 4.4 Zusammenfassende Bewertung ................................................................................................. 835 Wirksamkeit (Makroebene)............................................................................................................ 84 5.1 Abschlussdokumentation der Therapeuten (Stichprobe T2) ..................................................... 84 5.1.1 Behandlungsverlauf und Situation bei Therapieende ........................................................ 84 5.1.2 Therapieziele zum Ende der Therapie ................................................................................ 86 5.2 Angaben der Therapeuten zur OPD (optional, nur IG) ............................................................... 87 5.2.1 Zu Therapiebeginn ausgewählte Konflikt- und Strukturbereiche ...................................... 87 5.2.2 Konstruktion der Fokusskala .............................................................................................. 89 5.2.3 Prä-Post-Vergleich auf der Fokusskala ............................................................................... 90 5.2.4 Validierung der Fokusskala anhand der Patientenmessungen .......................................... 91 5.2.5 Zusammenfassende Bewertung ......................................................................................... 91 5.3 Therapeutenratings .................................................................................................................... 92 5.3.1 Drop-Out-Analyse für die Therapeutenangaben ................................................................ 92 5.3.2 Status- und Ergebnisindikatoren der Therapeutenangaben .............................................. 93 5.3.3 Vergleich zwischen Interventions- und Kontrollgruppe ..................................................... 94 5.3.4 Vergleich zwischen Therapiebeginn und Therapieende .................................................. 100 5.3.5 Statistische Kontrolle möglicherweise vorhandener Confounder ................................... 101 5.4 Patientenratings ....................................................................................................................... 103 5.4.1 Drop-Out-Analyse für die Patientenangaben ................................................................... 103 8.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 9 5.4.2 Status- und Ergebnisindikatoren der Patientenangaben ................................................. 105 5.4.3 Vergleich zwischen Interventions- und Kontrollgruppe (Stichprobe P2) ......................... 106 5.4.4 Statistische Kontrolle möglicherweise vorhandener Confounder (Stichprobe P2) ......... 110 5.4.5 Vergleich zwischen Therapiebeginn und Therapieende (Stichprobe P2)......................... 111 5.4.6 Bias-Korrektur der Prä-Post-Effekte (Stichprobe P2) ....................................................... 112 5.4.7 Vergleich zwischen Interventions- und Kontrollgruppe (Stichprobe P3) ......................... 113 5.4.8 Statistische Kontrolle möglicherweise vorhandener Confounder (Stichprobe P3) ......... 117 5.4.9 Vergleich zwischen Therapiebeginn und 1-Jahres-Katamnese (Stichprobe P3) .............. 118 5.4.10 Bias-Korrektur der Prä-Post-Effekte (Stichprobe P3) ....................................................... 118 5.4.11 Verlaufsmessung auf dem multiplen Ergebnisindikator (Stichprobe P4) ........................ 119 5.4.12 Explorative Abschätzung der Kosten-Nutzen-Relation anhand der Effektgrößen ........... 1196 Entscheidungsregeln im Modellvorhaben (Mesoebene) ............................................................. 121 6.1 Entscheidungsregeln zu Beginn sowie im Verlauf .................................................................... 121 6.2 Evaluation der Entscheidungsregeln ........................................................................................ 127 6.2.1 Patienten mit und ohne Komorbidität bei den Eingangsdiagnosen ................................ 127 6.2.2 Psychometrische Diagnostik zu Therapiebeginn: Überprüfung der Grenzwerte............. 129 6.3 Verlaufserhebungen und Rückmeldungen ............................................................................... 134 6.3.1 Rückmeldung zu Beginn der Therapie .............................................................................. 134 6.3.2 Rückmeldung und Fortschritt im Therapieverlauf ........................................................... 135 6.3.3 Verlaufsprofile und Rückmeldung .................................................................................... 137 6.3.4 Modifiziertes Gutachterverfahren im Therapieprozess und im Verlauf .......................... 1447 Praktikabilität und Akzeptanz des Modellvorhabens (Mikroebene)............................................ 145 7.1 Evaluation aus Therapeutensicht ............................................................................................. 145 7.1.1 Praktikabilitätseinschätzung durch die Therapeuten....................................................... 145 7.1.2 Bewertung der eingesetzten Assessment-Instrumente durch die Therapeuten ............. 147 7.1.3 Nutzung der Rückmeldungen durch die Therapeuten ..................................................... 147 7.1.4 Praktikabilitätseinschätzung durch die Therapeuten und Anzahl der Therapien ............ 149 7.2 Evaluation aus Patientensicht .................................................................................................. 150 7.2.1 Bewertung des Modellvorhabens durch die Patienten ................................................... 150 7.2.2 Akzeptanz der ambulanten Therapie durch die Patienten .............................................. 152 7.3 Evaluation aus Gutachtersicht.................................................................................................. 1558 Beantwortung der Studienfragestellungen .................................................................................. 157 8.1 Hauptfragestellungen ............................................................................................................... 157 8.2 Nebenfragestellungen .............................................................................................................. 1579 Diskussion ..................................................................................................................................... 160 9.1 Effektivität ................................................................................................................................ 160 9.1.1 Angaben zum gesundheitlichen Befinden (EMEK-nonmonetär)...................................... 160 9.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 10 9.1.2 Gesundheitsökonomische Daten (EMEK-monetär) .......................................................... 160 9.2 Effizienz..................................................................................................................................... 160 9.2.1 Kosten-Nutzen-Verhältnis: Effektivität pro Therapiestunde ............................................ 160 9.2.2 Dokumentationsaufwand für die Therapeuten................................................................ 160 9.3 Nebenfragestellungen .............................................................................................................. 161 9.3.1 Kategoriale Diagnostik ...................................................................................................... 161 9.3.2 Ausgangsbelastung und Psychotherapiebedarf der Patienten ........................................ 161 9.3.3 Verlaufsmessungen .......................................................................................................... 161 9.3.4 Prä-Post-Effekte ................................................................................................................ 162 9.3.5 Abschätzung der Kosten-Nutzen-Relation anhand der Prä-Post-Effektgrößen ............... 163 9.3.6 Zufriedenheit der Patienten und Therapeuten ................................................................ 164 9.3.7 Therapiedauer und Varianzen .......................................................................................... 164 9.4 Methodische Aspekte ............................................................................................................... 165 9.5 Fazit .......................................................................................................................................... 16610 Literaturverzeichnis ...................................................................................................................... 16711 Anhang: Fragebogen Nichtteilnehmer - Sonstige Gründe für die Nichtteilnahme am Modellprojekt aus Therapeuten- und Patientensicht im Original-Wortlaut ................................ 17012 Anhang: Offene Antworten zu den Evaluationsfragen aus Patienten- und Gutachtersicht im Original-Wortlaut.......................................................................................................................... 17813 Anhang: Optimierung der Rückmeldungen im Projektverlauf ..................................................... 191 13.1 Anonymisierte Beispiel-Auswertung (grafische Rückmeldung) vor Modifikation der Rückmeldungen ........................................................................................................................ 193 13.2 Anonymisierte Beispiel-Auswertung (grafische Rückmeldung) nach Modifikation der Rückmeldungen ........................................................................................................................ 198 10.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 111 Zusammenfassung1.1 Methodisches VorgehenDer vorliegende Abschlussbericht dokumentiert die Ergebnisse des Modellvorhabens der TechnikerKrankenkasse (TK) nach § 63 Abs. 1 SGB V „Qualitätsmonitoring in der ambulanten Psychotherapie“(MVPT). Es wurde im Jahr 2003 initiiert, zum 01.05.2005 gestartet, am 05.11.2007 (Bescheid des BVA)verlängert und zum 31.05.2011 mit dem vorliegenden Bericht abgeschlossen.Zugrunde liegt ein clusterrandomisiertes Design mit 200 Therapeuten der Interventionsgruppe (IG) und200 Therapeuten in der Kontrollgruppe (KG) in drei Modellregionen: Kassenärztliche Vereinigung (KV)Westfalen-Lippe, KV Hessen und KV Baden-Württemberg / Bezirk Südbaden.Die 400 per Ausschreibung ermittelten, freiwillig am Modellvorhaben teilnehmenden Therapeuten wur-den zunächst auf die IG und KG randomisiert (jeweils 200). Diese Therapeuten offerierten die (freiwilli-ge) Studienteilnahme den insgesamt 4.452 TK-Versicherten (Grundgesamtheit), die sich bei ihnen wäh-rend der Feldphase (01.05.2005 bis 30.06.2009) in psychotherapeutische Behandlung begaben und dieEinschlusskriterien erfüllten. 1.708 Patienten (IG: 1.031, KG: 677) konnten für das Modellvorhaben ge-wonnen werden. Das Indikationsspektrum ist charakteristisch für die ambulante psychotherapeutischeVersorgung. Am häufigsten sind depressive Störungen vertreten, gefolgt von Angsterkrankungen.Zu Therapiebeginn (A), bei Therapieende (E) und zur 1-Jahres-Katamnese (K) wurden beim Patientenpsychometrische Daten erhoben, u.a. BSI, IIP-D sowie ein störungsspezifisches Instrument. Letztereswurde im Rahmen der Probatorik aufgrund der Hauptdiagnose für jeden Patienten individuell festgelegt(im MVPT meist der BDI aufgrund der Prävalenz depressiver Störungen). Alle Therapeuten füllten au-ßerdem bei A und E eine Basisdokumentation aus.Auf der Basis dreier psychometrischer Instrumente (BSI für allgemeine Symptomatik, IIP-D für interper-sonale Probleme sowie einem störungsspezifischen Instrument je Patient) wurden zur Beurteilung derKrankheitslast bei Therapiebeginn Entscheidungsregeln ("klinisch auffällig" bzw. "unauffällig") sowie zurVeränderung der psychischen Problematik während der Therapie entsprechende Rückmeldungen für dieTherapeuten der IG erstellt und evaluiert.Bei Versicherten der IG genehmigte die TK im Falle klinisch auffälliger Werte eine Langzeittherapie ohneEinschaltung eines Gutachters. Nur in unklaren Fällen wurde eine (modifizierte) Begutachtung eingelei-tet. Zudem erfolgten in der IG zu festgelegten Messzeitpunkten Verlaufsmessungen (V), deren Ergebnis-se grafisch aufbereitet und den Therapeuten der IG umgehend rückgemeldet wurden. Optional bestanddie Möglichkeit, die Ergebnisse auch mit den Patienten zu besprechen. Den grafischen Reports konntendie Therapeuten entnehmen, ob und wenn ja welche Veränderung der psychischen Problematik vorlag.Bei Versicherten der KG war für die Bewilligung einer Langzeittherapie die traditionelle Begutachtunggemäß Psychotherapie-Richtlinien erforderlich. V-Messungen bzw. Rückmeldungen der Testergebnissean die Therapeuten der KG (und damit auch der Patienten) fanden nicht statt.Es bestand immer die Möglichkeit, das Therapieende schon vor Erreichen der bewilligten Sitzungszahleinzuleiten, in der IG z.B. bei Rückmeldung einer positiven Entwicklung (stabile Abnahme der psychi-schen Problematik).Für den Therapiebeginn (A), fünf Verlaufsmessungen (V), die Abschlüsse (E) sowie die Katamnesen (K)liegen genügend Daten vor, um stabile Auswertungen mit einer hinreichenden Teststärke vornehmen zukönnen. Zusätzlich zur summativen Ergebnisevaluation auf Makro-, Meso- und Mikroebene (vgl. Evalua-tionsplan) wurde eine formative Evaluation zur Akzeptanz des Modellvorhabens aus Patienten-, Thera-peuten- und Gutachtersicht sowie der Entscheidungsregeln für die grafischen Rückmeldungen durchge-führt. Die Auswertung zeigt eine gute Akzeptanz bei den Patienten sowie eine etwas zurückhaltendereBewertung der Therapeuten (wenngleich die grafischen Reports als nützlich bewertet werden). Eherkritisch bewerteten hingegen die Gutachter das Modellvorhaben. 11.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 121.2 ErgebnisseDie zentralen Fragestellungen des Projektes waren: 1. Führt der Einsatz von Qualitätsmonitoringinstrumenten des TK-Modells in ambulanten Psycho- therapien zu einer höheren Ergebnisqualität (Effektivität) im Vergleich zur traditionellen Richtli- nienpsychotherapie ? 2. Kann das TK-Modell die Effizienz der ambulanten Psychotherapie nachhaltig verbessern?Es zeigen sich auch bei Berücksichtigung möglicher Confoundervariablen keine statistisch signifikantenUnterschiede zwischen IG und KG auf den zur Bewertung der Ergebnisqualität herangezogenen Skalenund multiplen Ergebniskriterien. Die erste Studienfrage ist somit zu verneinen. Auch die zweite Studien-fragestellung muss mit nein beantwortet werden.Bei Therapiebeginn sind die Mittelwerte in den Messinstrumenten für alle Instrumente vergleichbar mitden klinischen Normstichproben. Für 93% der Fälle ergeben sich mittlere bis schwere klinische Beein-trächtigungen. Lediglich bei 7% der Patienten lag eine geringe Beeinträchtigung vor, so dass bei Patien-ten der IG das modifizierte Gutachterverfahren eingeleitet wurde.Bei den Zwischenmessungen (V) verzeichnen bereits über 30% Patienten eine Abnahme der Problema-tik, 20% eine Zunahme, bei rund 50% der Patienten kann (noch) keine Veränderung gemessen werden.Bei den Abschlussmessungen (E) und Katamnesen (K) war bei ca. 65% der dokumentierten Fälle eineAbnahme der Problematik sichtbar, bei 28% keine signifikante Veränderung, bei 7% eine Verstärkung.Insgesamt zeigen die explorativ berechneten, biaskorrigierten Prä-Post-Vergleiche große Effekte beimVergleich zwischen Anfangs- (A) und Abschlussmessung (E) in einer Größenordnung von d = 1,0, die zu-dem in der 1-Jahres-Katamnese (K) stabil sind. Eine Kosten-Nutzen-Analyse unter Verwendung nichtmo-netärer Ergebnismaße auf der Grundlage der Gleichung von Brogden, Cronbach und Gleser (Brogden,1949; Cronbach & Gleser, 1965) erbrachte einen Nutzen zwischen 2 und 4 Euro pro investiertem Euro.Diese Ergebnisse dokumentieren einen beachtlichen Effekt der ambulanten Psychotherapie im Gesund-heitswesen.Mit Blick auf die externe Validität und der Interpretation aller Ergebnisse ist einschränkend zu beachten,dass nur etwa die Hälfte der von den Therapeuten im Studienzeitraum behandelten TK-VersichertenPatienten am Modellvorhaben teilgenommen hat. Zudem ist die Datenausfallrate zum E- und K-Zeitpunkt erheblich. So konnten für die Patientenangaben zum E-Zeitpunkt lediglich 597, für den K-Zeitpunkt lediglich 468 vollständige Datensätze gewonnen werden. Es ergaben sich allerdings keineHinweise auf systematische Selektionseffekte in Abhängigkeit von der Gruppenzugehörigkeit IG/KG.Fazit: Mit Blick auf die Prozess- und Ergebnisqualität psychotherapeutischer Behandlungen ergaben sichkeine empirisch belegbaren, statistisch signifikanten Unterschiede zwischen IG und KG, weder durch diepsychometrischen Messungen bei den Patienten bzw. Befragungen von Therapeuten und Patienten,noch durch den weitgehenden Verzicht auf das traditionelle Gutachterverfahren bei der Genehmigungvon Langzeittherapien in der IG. Geht man davon aus, dass es sich beim Gutachterverfahren ebenso wiebeim TK-Modell um eine Form der Qualitätsbeurteilung handelt, lassen sich im Vergleich beider Vorge-hensweisen keine Unterschiede in den Behandlungsergebnissen feststellen.Das Modellvorhaben liefert wertvolle Daten zur Versorgungsforschung, die auf eine hohe Wirksamkeitder ambulanten Psychotherapie hinweisen und damit ihre gesamtgesellschaftliche Bedeutung unter-streichen. 12.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 132 Evaluationsplan vom 04.11.2003Die Hintergründe zur Entwicklung des Modellvorhabens "Qualitätsmonitoring in der ambulanten Psy-chotherapie", die Inhalte, die angewendeten Methoden und die Erläuterung der Durchführung sind inder nachfolgenden Projektbeschreibung ausführlich dargelegt (§ 63 SGB V). Der Gegenstand dieses Eva-luationsplans nach § 65 SGB V sind die Fragestellungen und Hypothesen, das Evaluationsdesign und dieDatenanalysen.2.1 Ziele der EvaluationDie beiden Kernziele des Projektes bestehen darin, im Rahmen der Richtlinienpsychotherapie verschie-dene diagnostische Maßnahmen zur Qualitätssicherung zu erproben und zu vergleichen. Dies soll dazubeitragen, wissenschaftlich fundierte Befunde zur Prozess- und Ergebnisqualität der Psychotherapie imambulanten Bereich zu erheben. Die Hauptfragestellung zielt auf die Erprobung neuer Qualitätssiche-rungsinstrumente und -maßnahmen in der ambulanten Psychotherapie und der Evaluation von derenQualität und deren Wirtschaftlichkeit. Dabei wird das traditionelle QS-Verfahren mit dem QS-Verfahrennach dem TK-Model verglichen.Die QS-Maßnahmen des TK-Modells sehen die Kombination der folgenden vier Komponenten vor (vgl.Abbildung 1):Abbildung 1. TK-ModellDas vorliegende TK-Modell besteht aus einer Kombination von Maßnahmen der internen Qualitätssiche-rung (Eingangsdiagnostik, Verlaufsmonitoring und Abschlusserhebung) mit Instrumenten der externenQualitätssicherung (modifiziertes Gutachterverfahren) und geht von einer positiven wechselseitigenBeeinflussung aus. Ein zeitnaher Austausch zwischen Therapeut (ggf. auch Patient) und Gutachter bzw.der unabhängigen Auswertungsstelle ist ein wichtiger Bestandteil des QS-Projektes.Die zentralen Fragestellungen des Projektes sind: 1. Führt der Einsatz von Qualitätsmonitoringinstrumenten des TK-Modells in ambulanten Psycho- therapien zu einer höheren Ergebnisqualität (Effektivität) im Vergleich zur traditionellen Richtli- nienpsychotherapie ? 2. Kann das TK-Modell die Effizienz der ambulanten Psychotherapie nachhaltig verbessern?Diese Hauptfragestellungen lassen sich nach der Makro-, Meso- und Mikroebene differenzieren, die imRahmen der Abschlussevaluation untersucht werden und in Kapitel 1.6 (Hypothesen) im Einzelnen be-schrieben werden. 13.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 142.2 EvaluationsdesignFür das gesamte Evaluationsdesign wird die ,,Konzeption der fünf Datenboxen“ herangezogen, die eineSynthese unterschiedlicher Evaluationsschulrichtungen in sich vereint. Diese Konzeption hat sich bereitsin vielen Anwendungsfeldern bewährt (Schmidt, 1991; Wittmann, 1990; Wittmann & Walach, 2001;Wittmann, Nübling, & Schmidt, 2002).2.2.1 VorbemerkungEvaluationen sind Bewertungen, die naturgemäß bei allen beteiligten Gruppen Vorbehalte, Miss-brauchsbefürchtungen, Hoffnungen und Ängste auslösen. Es ist deshalb wichtig, klar nach den verschie-denen Gruppen, den sogenannten Stakeholdern, zu unterscheiden und die verwendeten Kriterien, diedie einzelnen Gruppen betreffen, fair und nachvollziehbar zu gestalten.Die wichtigsten Stakeholdergruppen sind: • die Versicherten (Psychotherapienutzer und Nichtnutzer) • die ärztlichen und psychologischen Psychotherapeuten • die Kassenärztlichen Vereinigungen • die Hochschulambulanzen • die Gutachter • die wissenschaftlichen Fachvertreter aus Klinik und Forschung • die Techniker Krankenkasse (TK) • die Gesundheitspolitiker • die gesundheitspolitisch interessierte ÖffentlichkeitDie TK hat in der Planungsphase große Anstrengungen unternommen, die zu verwendendenKriterienmaße und Messinstrumente unter Einbezug unterschiedlicher Expertengruppen auf die einzel-nen Therapien und Störungsformen zuzuschneiden. Damit werden die Interessen und Fragestellungender unterschiedlichen Stakeholdergruppen im Modellprojekt berücksichtigt. Die aus dem Modellprojektzu erwartenden Antworten dürften daher für alle Gruppen, gerade angesichts der Debatten um unserGesundheitswesen, von hoher Relevanz sein.Randomisierte Kontrollgruppenpläne (RCTs) sind einerseits in der Regelversorgung durch gesetzlicheRahmenbedingungen erschwert. Einzelne Stakeholdergruppen zeigen andererseits aus den unterschied-lichsten Interessen Vorbehalte gegenüber RCTs, meist mit Argumenten, die die externe Validität favori-sieren. Andererseits wird das Potential von RCTs gerade in der Praxis, die durch Modellvorhaben nach §63 Abs. l SGB V ermöglicht werden, nicht voll ausgeschöpft. Der hier unterbreitete Evaluationsplan ver-sucht, beiden Gesichtspunkten gerecht zu werden. Es wird wo immer möglich randomisiert, dort wodies nicht möglich ist, werden Kontrollstrategien entwickelt und gleichzeitig ein Maximum anGeneralisierbarkeit der Ergebnisse angestrebt.Das TK-Modellprojekt hat ausdrücklich diesen Fokus auf die reale Regelversorgung. Es wird aber erwar-tet, dass sich auch in diesem Bereich positive Effekte nachweisen lassen. Die ambulant tätigen Thera-peuten wurden ja von denjenigen Therapeuten ausgebildet, die hinter den obengenannten erfolgrei-chen psychotherapeutischen Interventionen stehen. Break-Even-Point Analysen, d.h. „Wie groß mussein Effekt sein, an dem sich Kosten und Nutzen gerade aufwiegen?“ weisen darauf hin, dass dieser Punktbereits bei relativ kleinen Effekten liegt. Die Berechnung der Fallzahlen berücksichtigt diesen Sachver-halt und sieht einen Stichprobenumfang vor, der auch kleine Effekte mit genügend großer statistischerTeststärke entdecken kann, wenn sie vorhanden sein sollten.Der Hauptfokus des Modellprojektes liegt vor allem darin, wie durch neue qualitätssichernde Maßnah-men (mit kurzen Reaktionszeiten) in der realen Versorgung die Effektivität weiter gesteigert werdenkann. Diagnostische Informationen, die zur Therapiezielfindung dienen und ein Monitoring der Zielerrei-chung erlauben, sind in diesem Zusammenhang von hohem potenziellem praktischem Nutzen. 14.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 152.2.2 MessinstrumenteDie Auswahl und Zuordnung der einzelnen Messinstrumentgruppen kann konzeptuell über die Konzep-tion der fünf Datenboxen veranschaulicht werden (Abbildung 2). Diese Konzeption unterscheidet Da-tenquellen die vor einer Intervention (PR: Prädiktorbox), während einer Intervention (ETR: experimen-telle Treatmentbox und NTR: nichtexperimentelle Treatmentbox) und nach einer Intervention (KR:Kriterienbox) erhoben werden sollen. Die fünfte Datenbox (EVA: Evaluationsbox) umfasst die einzelnenStakeholdergruppen mit ihren unterschiedlichen Interessen und Zielsetzungen. Informationen zu dieserDatenbox müssen zu Beginn jeder Evaluationsstudie erfasst werden, um die Konstruktvalidität der Mess-instrumente und Akzeptanz der Ergebnisse schon im Vorfeld der eigentlichen Studie zu maximieren.Abbildung 2. Ein umfassendes Forschungskonzept zur systematischen Programmevaluation. PR-Box: Prädiktor-Box. ETR-Box:Experimentelle Treatment-Box. NTR-Box: Nichtexperimentelle Treatment-Box. KR-Box: Kriterien-Box. r PR,ETR: Korrelationzwischen PR- und ETR-Box etc.Die Anordnung der vier erstgenannten Datenboxen folgt einer klaren zeitlichen Reihenfolge und erlaubtauch für nichtexperimentelle korrelative Datenkonstellationen kausale Aussagemöglichkeiten über diestatistische Methode der Pfadanalyse. Diese Methode kann entweder klassisch über hierarchische Reg-ressionsanalysen oder über die modernen Methoden der Strukturgleichungsverfahren (SEM: structuralequation modeling) durchgeführt werden. 15.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 162.2.2.1 Datenquellen zu Beginn der ambulanten Psychotherapie (PR-Box)Tabelle 1 und Tabelle 2 geben einen Überblick über die diagnostischen Verfahren, die von Patientenbzw. Therapeuten bearbeitet werden.Tabelle 1. Diagnostische Verfahren und Erhebungen für Patienten 1-Jahres- Beginn Zwischen Ende KatamneseBasisdokumentation Anfang xBrief Symptom Check List (BSI) x (x) x xInterpersonale Probleme (IIP-D) x (x) x xStörungsspezifische Verfahren x (x) x x(BDI, AKV, HZI, SOMS oder EDI)Therapeutische Arbeitsbeziehung x (x) x(HAQ-II)Gesundheitsbezogene x (x) x xLebensqualität (SF-12)Basisdokumentation Ende xAnmerkungen. (x) Nur bei der Interventionsgruppe erhoben.Tabelle 2. Diagnostische Verfahren und Erhebungen für Therapeuten Beginn Zwischen EndeTherapeutenbasisbogen (einmalig) xBasisdokumentation Beginn xSKID Screening xICD-Diagnostik nach ICDL xOPD Achsen Konflikt und Struktur x(TP/AT)Beeinträchtigungsschwere (BSS) x (x) xProblemrelevante Lebensbereiche x (x) xBeeinträchtigung Funktionsniveau x (x) x(GAF)Therapeutische Arbeitsbeziehung x (x) x(HAQ-I)Therapieziele (VT) x (x) xHeidelberger Umstrukturierungsska- (x) xla (TP/AT)Basisdokumentation Ende xAnmerkungen. VT – Verhaltenstherapie, TP – Tiefenpsychologische Therapie, AT – Analytische Therapie. (x) Nur bei derInterventionsgruppe erhoben 16.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 172.2.2.2 Datenquellen zur Operationalisierung der Treatment-BoxenIn der ETR-Box operationalisiert ein einfacher Dummy-Vektor den Kontrast der Experimentalgruppe(Wert 1) zu Kontrollgruppe 1 (Wert 0). Bei erfolgreicher Randomisierung ist die Korrelation rPR, ETR zwi-schen allen PR-Box Variablen und diesem Dummy-Vektor gleich Null, d.h. Experimental- und Kontroll-gruppe unterscheiden sich nicht voneinander. Die Kontrastvektoren zur Operationalisierung der Kont-rollgruppen 2 und 3 in Relation zueinander und zur Experimentalgruppe und der Kontrollgruppe 1 müs-sen der NTR-Box zugewiesen werden, da die Teilnahme am Modellvorhaben insgesamt ja freiwillig er-folgt (unabhängig davon, ob der betreffende Therapeut nun der Experimental- oder Kontrollgruppe zu-gelost wird). Hier kann über die Korrelationen rPR, NTR untersucht werden, welche Selektionseffekte beiden beiden Studiengruppen gegenüber der Kontrollgruppe 2 und 3 zu berücksichtigen sind.Neben den Dummy-Variablen zur Operationalisierung der Gruppenunterschiede können die Informatio-nen die für die Experimentalgruppe erhoben werden zusätzlich in die ETR-Box eingebracht werden.Hierzu zählen alle Informationen die im Therapeutenbogen (siehe Projektbeschreibung) und im HAQ(Bassler, Potratz, & Krauthauser, 1995) erhoben werden. Diese Informationen können als individuelleUnterschiede der Therapeuten und als individuelle Unterschiede der Therapeut/Patientenbeziehung mitden Kriterienmaßen der KR-Box, sichtbar an den Korrelationen rETR, KR analysiert werden. Diese Variablenkönnen als Therapiedosis oder Therapiequalitätsmerkmale aufgefasst werden, sie liefern Informationenwie die Höhe der Effekte möglicherweise mit solchen Merkmalen variieren.Die Variationen des Gutachterverfahrens alt und neu können ebenfalls den Treatment-Boxen zugeord-net werden. Die Art der Variationen sind aber nicht experimentell variiert, sie werden so abgebildet wiesie in der Praxis entstehen und werden daher der NTR-Box zugeordnet. Die Gutachter für die drei The-rapievarianten werden aber den zu begutachtenden Therapiefällen innerhalb jeder Therapierichtungper Zufall zugeordnet.2.2.2.3 Datenquellen zur Operationalisierung der Kriterien-BoxIn die KR-Box werden alle Variablen eingeordnet, für die Messwerte am Ende der Behandlung und zur 1-Jahres-Katamnese erhoben werden. Diese Messwerte können als Rohwerte oder als Differenzwerte zumAssessment in der PR-Box verwendet werden. Differenzwerte können für die Experimentalgruppe füralle Variablen die sowohl in der PR-Box als auch in der KR-Box erhoben werden berechnet werden. Fürdie Kontrollgruppe erfolgt die Prä-Messung (PR-Box) nur für BSI und IIP-D, so dass dort Differenzwertenur für diese Variablen berechenbar sind. Weiterhin werden diese gemeinsamen Variablen verwendet,um den Randomisierungserfolg auch tatsächlich überprüfen zu können.Die Vielzahl der Kriterienmaße kann entweder über theoriegeleitete Aggregation oder über faktoren-analytische Verfahren zu sogenannten einmaligen, messzeitpunktspezifischen, multiplen Ergebniskrite-rien (EMEK) verarbeitet werden. Die meisten der einzelnen Ergebnismaße korrelieren positiv unterei-nander, was eine solche Strategie rechtfertigt. Solche EMEKs zeichnen sich dann durch höhere Reliabili-tät und Validität aus. In den obengenannten Programmevaluationsstudien (Zauberberg und EQUA) wur-den solchermaßen aggregierte Kriterien, die zudem noch differenziert nach den Interessen verschiede-ner Stakeholdergruppen aggregiert werden können, mit großem Erfolg eingesetzt. Zeigen sich z.B. ver-gleichbare Effekte auf einem rein monetär bewertbaren EMEK, ebenso wie auf einem EMEK das nurpsychosoziale Kriterien oder nur Befindlichkeitsmerkmale umfasst, so steigen Glaubwürdigkeit der Er-gebnisse über Effektivität und Effizienz eines Programms. Kontroversen über den Ertrag eines Modell-projektes oder Programms werden dann abgeschwächt und die Akzeptanz über das Umsetzungspoten-tial steigen.In die monetäre Analyse gehen neben den Behandlungskosten für die Psychotherapiesitzungen die Kos-ten ein, die im Rahmen des klassischen Gutachterverfahrens und des modifizierten Gutachterverfahrensentstehen. In der Abschlussbetrachtung ist zu berücksichtigen, dass die Stückkosten der einzelnen diag-nostischen Instrumente bei einem Routineeinsatz deutlich sinken dürften und dass dann der Break- 17.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 18Even-Point (Effektgröße d) in der Routineversorgung nach Abschluss des Modellprojektes noch weiterabsinkt.2.2.2.4 Datenquellen zur Operationalisierung der EVA-BoxDie Evaluationsbox ganz rechts in Abbildung 2 enthält die Interessen und Zielsetzungen der Stakeholder.Bei der Auswahl der Messinstrumente und der Wahl der Varianten des Evaluationsplanes wurden dieseInteressen bereits in der Planungsphase berücksichtigt (siehe oben). Entscheidend ist jedoch auch wiedas gesamte Modellprojekt mit seinen qualitätssichernden Maßnahmen von der Gruppe der Patientenund Therapeuten bewertet und eingeschätzt wird. Zum Abschluss der Therapie (Therapeut und Patient)und in der Katamnese (Patient) werden deshalb Fragebogen zur Zufriedenheit und Akzeptanz desQualitätsmonitorings eingesetzt. Hierzu werden Fragebogen wie ZUF-8 (Schmidt, Lamprecht, &Wittmann, 1989) und das amerikanische SERVQUAL-System, speziell adaptiert auf das Modellprojekt,eingesetzt. Diese Adaptionen müssen noch erfolgen und werden vom Evaluationsteam in der Anfangs-phase des Projektes entwickelt.2.2.2.5 Variationen des DatenerhebungsmodusDie gesamte psychometrische Datenerhebung der Selbstbeurteilung soll nach Möglichkeit internetba-siert über das Hogrefe Testsystem erfolgen. Für diejenigen Teilnehmer, welche der klassischen Papierva-riante den Vorzug geben, soll auch die Möglichkeit bestehen, die ausgefüllten Fragebögen an die unab-hängige Datenstelle zu senden, wo diese dann eingegeben und der Studiendatenbank hinzugefügt wer-den. Die Art der Datenerhebung wird dokumentiert und als mögliche Kovariate im Hinblick auf alle Da-tenboxen analysiert.2.2.2.6 Übersicht der MessinstrumenteDie Operationalisierung der verschiedenen Datenboxen ist in der Tabelle 3 im Überblick dargestellt.Tabelle 3. Überblick zur Operationalisierung der DatenboxenPR-Box ETR-Box NTR-Box KR-Box EVA-BoxPrädiktoren Experimentelle Nichtexperiment. Kriterien nach Evaluationsbox Treatment-Box Treatment-Box der Intervention (Intervention) (Kontrollgruppe)Basisdokumen- Dummy-Vektor Dummy-Vektoren Basisdokumen- Fragestellungentation Patient und =1/0 für zusätzliche tation Patient und der verschiede-Therapeut Kontrollgruppen Therapeut nen StakeholderDiagnose DiagnoseOPD OPDUmstruktu- Umstruktu-rierungsskala rierungsskalaBSI BSIIIP-D IIP-DSpezifischer Test Spezifischer TestHAQ HAQSF-12 SF-12 18.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 192.2.3 VergleichsstrategienDie Evaluation wird soweit wie möglich als randomisiertes Kontrollgruppendesign (RCT= randomizedclinical trial) durchgeführt. Bestimmte Rahmenbedingungen, die durch die Einbettung des Modellprojek-tes in die reale Versorgung mit ambulanter Psychotherapie bedingt sind, verhindern jedoch eine perfek-te Randomisierung für alle Fragestellungen. Bei diesen Problemen werden jedoch quasiexperimentelleKontrollstrategien eingesetzt, die ein Höchstmaß an interner Validität und damit an kausalen Aussage-möglichkeiten erlauben. Forschungsleitend sind insgesamt betrachtet die Gütestandards der Versuchs-planung nach Cook und Campbell (1979) bzw. Shadish, Cook und Campbell (2002): • interne Validität • statistische Schlussfolgerungsvalidität • externe Validität • KonstruktvaliditätDurch umfangreiche Rekrutierungsbemühungen wird versucht, möglichst viele Therapeuten und damitimplizit auch ihre TK-Patienten zur Teilnahme am Modellprojekt zu motivieren. Auf der Grundlage derstatistischen Fallzahlenberechnung wurden drei Kassenärztliche Vereinigungen (Hessen, Südbaden undWestfalen-Lippe) ausgewählt, in denen die Rekrutierung von Therapeuten stattfinden soll.2.2.3.1 Randomisierungsstrategien zur kausalen Wirksamkeit des QualitätsmonitoringsDie Auswahl der Therapeuten, die das Qualitätsmonitoringsystem anwenden sollen, erfolgt durch eineZufallsauswahl der Therapeuten, die ihre Teilnahmebereitschaft bekundet haben. Die Liste der teilnah-mebereiten Therapeuten wird dem Evaluationsteam von der KV in Form einer Liste anonymisierten The-rapeutencodes übermittelt, so dass eine Verblindung sichergestellt ist. Sodann wird die Randomisierungvom Evaluationsteam in zwei Gruppen durchgeführt.Die eine Gruppe stellt die Experimentalgruppe (EX-Grp) dar, nachfolgend auch einfach als IG bezeichnet.Die Kontrollgruppe 1 (KON-Grp 1) umfasst die teilnahmebereiten Therapeuten, die nicht der Experimen-talgruppe zugelost wurden (vgl. Abbildung 3) und wird nachfolgend auch einfach als KG bezeichnet. Beidieser Gruppe wird die psychometrische Diagnostik ebenfalls zu Beginn, am Ende der Therapie und beider 1-Jahres-Katamnese in einer reduzierten Form (Basiserhebung mit BSI und IIP-D) durchgeführt. Da-durch ergeben sich zwei Vergleichsmöglichkeiten von Mittelwertsunterschieden auf den verwendetenKriterienmaßen. Dieser Vergleich von IG und KG erlaubt einen kausalen Nachweis der Wirksamkeit dermodifizierten Vorgehensweise im Modellprojekt mit der bisherigen Praxis. Durch erfolgreicheRandomisierung werden alle rivalisierenden Alternativerklärungen der Effekte ausgeschlossen. DerRandomisierungserfolg wird im Sinne eines Manipulationsschecks über Informationen aus der Eingangs-diagnostik (PR-Box), die für Experimental- und Kontrollgruppe vergleichbar erhoben werden (BSI und IIP-D), geprüft.Abbildung 3. Randomisierungsstrategien. 19.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 20Weiterhin werden Informationen aus dem Therapeuten-Praxisbogen und Kennwerte der Abschlussdo-kumentation am Behandlungsende, die sich jedoch auf den Behandlungsbeginn beziehen, wie z.B. Diag-nosen, herangezogen. Durch diese Maßnahmen kann die Vergleichbarkeit von Therapeuten und derenteilnahmebereiten Patienten zwischen beiden Gruppen ausführlich überprüft und sichergestellt werden.Diese Strategie hilft, die interne Validität des Evaluationsplanes zu kontrollieren und zu maximieren.2.2.3.2 Nichtexperimentelle Kontrollstrategien zur Maximierung der GeneralisierbarkeitEs ist aber nicht auszuschließen, dass sich die teilnahmemotivierten Therapeuten und deren teilnahme-motivierten Patienten systematisch von den nichtteilnahmebereiten Gruppen unterscheiden. Teilnah-mebereite Therapeuten könnten kompetenter sein und/oder ihre teilnahmebereiten Patienten einehöhere Psychotherapiemotivation aufweisen. Dies gefährdet wiederum vor allem dieGeneralisierbarkeit (externe Validität) der Ergebnisse auf das gesamte reale Versorgungssystem ambu-lanter Psychotherapie. Eine Randomisierung aller niedergelassenen Psychotherapeuten und ihrer Pati-enten ist jedoch nicht möglich und durchsetzbar. Voraussetzung für alle Modellprojekte ist die Einver-ständniserklärung (informed consent) von Therapeut und Patient.Um diese Gefährdung der externen Validität abschätzen und zumindest partiell überprüfen zu können,werden zwei weitere Kontrollgruppen eingesetzt. Die TK zieht in Abstimmung mit dem TK-Datenschützer eine nach Therapierichtungen (VT, TP, AT) geschichtete Zufallsstichprobe aus der Gruppederjenigen Therapeuten, die nicht an der Studie teilgenommen haben. Sie liefert die Kernkriterien derVersicherten, die von dieser Gruppe behandelt wurden, ebenfalls in anonymisierter Form an das Evalua-tionsteam. Diese Gruppe von Versicherten sollte zu gleich großen Teilen aus Versicherten der teilneh-menden KVen (KON-Grp 2) und aus nicht ausgewählten KVen (KON-Grp 3) stammen. Diese beidenGruppen bezeichnen wir als Kontrollgruppen 2 und 3. Für diese beiden Gruppen stehen keine Daten ausdem QS-System zur Verfügung. Die TK verfügt jedoch über personenbezogene Leistungsdaten, z. T. inEDV-Form (Data-Warehouse), für alle vier Gruppen, d.h. Experimentalgruppe und die drei Kontrollgrup-pen. Diese Daten lassen sich nach direkten Kosten wie medikamentöse Therapie (Arzneimittel), statio-näre Behandlung (Krankenhaus), Kuren, Krankengeld und indirekte Kosten (Arbeitsunfähigkeitstage)gliedern. Alle kostenrelevanten Daten der vier Gruppen werden für den Zeitraum ein Jahr vor der ambu-lanten Psychotherapie und den Katamnese-Zeitraum ein Jahr nach Ende der Behandlung personenspezi-fisch aggregiert. Diese Daten werden dem Evaluationsteam in anonymisierter Form zur Analyse zur Ver-fügung gestellt.Beim Randomisierungsprozess Gutachten erhält jeder Gutachter einen Code, und die Randomisierungwird vom Evaluator geschichtet nach der Therapierichtung vorgenommen. Bei jedem notwendigen Gut-achten wird der Gutachter durch einen Zufallsgenerator bestimmt. Diese Reihenfolge kann a-priori überdie Laufnummer (1-xxxx) der zu begutachtenden Fälle erfolgen.Der Vergleich der vier Gruppen erlaubt zumindest für einige entscheidende Variablen die Überprüfungder Generalisierbarkeit der Ergebnisse und gibt damit Antworten auf Fragen der externen Validität. Die-se Datenbasis ermöglicht aber auch durch den Vorher-Nachher-Vergleich und den Vergleich zwischenden Gruppen, die Beantwortung der unter der Makroebene (Wirksamkeit und Wirtschaftlichkeit) aufge-stellten Fragestellungen.2.2.3.3 Kontrollstrategien zur Überprüfung der KonstruktvaliditätKonstruktvalidität kann bezüglich Ursachen und Effekten unterschieden werden und bezieht sich vorallem auf die eingesetzten Messinstrumente. In der Planungsphase wurden Experten aus den unter-schiedlichen Therapierichtungen eingesetzt, um die Inhaltsvalidität der Verfahren zu optimieren. DieseInstrumente stellen einen Kompromiss dar, der von allen Gruppen im Konsensverfahren akzeptiert wur-de. Die Messinstrumente werden bisher nicht routinemäßig in der Regelversorgung eingesetzt. Vor al-lem aus psychoanalytischer Stakeholderperspektive wurden in der Planungsphase des ModellvorhabensBedenken gegen quantifizierende Instrumente dahingehend geäußert, dass eine Dominanz psychomet- 20.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 21rischer, quantitativer Verfahren die Konstruktvalidität psychodynamischer Ursachen und Effekte nichtadäquat abbilden könne. In unseren eigenen Programmevaluationsstudien erwies sich dieser Einwandbislang als unbegründet (Wittmann, Nübling, & Schmidt, 2002), so konnten der Stellenwert und dieKonstruktvalidität der psychometrischen Messinstrumente für psychoanalytische Interventionen überbeachtliche Effektgrößen mehrfach nachgewiesen werden. Diese Programmevaluationen untersuchtenstationäre psychoanalytische Behandlungsprogramme, wie sie in psychosomatisch ausgerichteten Groß-kliniken mit sechs bis achtwöchigen Aufenthalt durchgeführt werden.2.2.3.4 Implementation und Evaluation des modifizierten GutachterverfahrensDas gesamte Modellprojekt besteht aus einer Kombination zweier qualitätssichernder Innovationen,erstens der Einführung eines umfassenden Inventars an psychometrischen Messinstrumenten zumMonitoring des Therapieverlaufs und der Zielerreichung, sowie zweitens einer darauf aufbauendenNeuorientierung des Gutachterwesens.Hier erwarten wir Antworten auf den Zielbereich der Mesoebene: Diagnostische und adaptive Entschei-dungsstrategien. Die Entscheidungsregeln werden in einer ersten formativen Evaluationsphaseexplorativ entwickelt und optimiert, um dann in der zweiten Phase summativ evaluiert zu werden.2.2.3.4.1 Formative Evaluation der Entscheidungsregeln, des grafischen Rückmeldemodells und des GutachterverfahrensIn einem ersten Evaluationsschritt der sogenannten formativen Evaluation sollen die spezifischen empi-rischen Entscheidungsregeln des TK-Projektes (vgl. Lutz et al., 2005) evaluiert und optimiert werden.Dies erfolgt sobald 200 Patienten das TK-Projekt mit mindestens 20 Sitzungen durchlaufen haben. DieDaten dieser Patienten werden eingesetzt, um die Normen und Berechnungen, welche den Entschei-dungsregeln zugrunde lagen, anhand des TK-Datensatzes anzupassen. Die Grundlage der Entscheidungs-regeln für die Stabilitätsabschätzungen war bisher ein Datensatz der Psychotherapeutischen Ambulanzder Universität Bern, Schweiz.Die klinischen Grenzwerte sowie die Entscheidungsregeln hinsichtlich der Entwicklungsverläufe wurdenauf der Grundlage dieses Datensatzes entwickelt. Wenn auch dieser Datensatz in vielen Punkten reprä-sentativ für ambulante Psychotherapie in der Bundesrepublik Deutschland sein dürfte, so sind dochauch Abweichungen bei diesem Klientel zu erwarten. Aus diesem Grund sollten die Grenzwerte, klini-schen Normen sowie die Entscheidungsregeln hinsichtlich des bis zu diesem Zeitpunkt zur Verfügungstehenden Datensatzes angepasst werden.2.2.3.4.2 Summative Evaluation der Entscheidungsregeln, des grafischen Rückmeldemodells und des GutachterverfahrensDie folgenden vier summativen Evaluationsschritte werden im Anschluss an die formative Evaluationerarbeitet: a) Evaluation der Entscheidungsregeln und Erstellung eines endgültigen Entscheidungsalgorithmus. Das forschungsstrategische Vorgehen entspricht dem Vorgehen der formativen Evaluation. Die Regeln werden anhand des Gesamtdatensatzes angepasst. Wichtig ist, dass nun auf der Basis sämtlicher zur Verfügung stehender Patientenangaben, die Grenzwerte, klinischen Normen so- wie die Entscheidungsregeln evaluiert werden können und die Erfahrungen für eine routinemä- ßige Anwendung nutzbar gemacht werden können. Zur Durchführung bedarf es einer kontinu- ierlichen Prüfung und fortlaufender Updates des Datensatzes durch das Forschungsteam. b) Statistischer Vergleich zur Bedarfsgerechtigkeit der Indikationsentscheidungen. Neben der im vorherigen Abschnitt beschriebenen Erhebung zu den Einstellungen der Therapeuten sowie der Gutachter zur QS und dem neuen System wird zusätzlich ein Vergleich anhand der psychometri- schen Informationen zu dem alten und neuen Gutachterverfahren durchgeführt werden. Dazu 21.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 22 erfolgt ein Vergleich hinsichtlich der Behandlungsdauer unter Berücksichtigung der Ausgangsla- ge der Patienten sowie den Behandlungsbedingungen. Zentrales Ziel ist eine optimale Indikation für die Patienten. Das alte Gutachtersystem verteilt bestimmte Behandlungskontingente relativ unabhängig von der konkreten (empirisch nachvollziehbaren) Ausgangslage der Patienten. Da- her muss analysiert werden, inwieweit sich durch das modifizierte Gutachtersystem eine Opti- mierung der Indikationsentscheidungen dahingehend ergibt, dass bedürftige Patienten eine aufwendigere Therapie erhalten und weniger bedürftige Patienten eine weniger aufwendigere Therapie. c) Befragung zur Evaluation von QS-Maßnahmen und des Gutachtersystems an Therapeuten und Gutachtern. In einem weiteren Evaluationsschritt wird eine Befragung zur Einschätzung des neuen Gutachterverfahrens und der QS-Maßnahmen an den Therapeuten sowie den Gutachtern durchgeführt. Dazu wird ein speziell zur Evaluation von Qualitätssicherungsmaßnahmen in der Psychotherapie entwickelter Fragebogen modifiziert und eingesetzt (Lutz et al., 1997). Dieser Fragebogen wird durch Fragen zu dem im Modellprojekt der TK neuartig eingesetzten Gutach- terverfahren, den Qualitätssicherungsmaßnahmen, den Handlungskonsequenzen, der Überein- stimmung zwischen der klinischen Sicht und den empirischen Handlungsempfehlungen sowie zur Durchführung und Praxisrelevanz ergänzt. Zentral soll in diesem Schritt die Sicht der Thera- peuten zu den Stärken und Schwächen sowie der Effektivität und Effizienz (altes versus neues Verfahren) herausgearbeitet werden. Aus diesen Angaben lassen sich wiederum wertvolle Schlussfolgerungen für ein zukünftig optimal einsetzbares Qualitätssicherungssystem und Gut- achterverfahren ziehen (siehe Anlage B: Einstellungen zur Qualitätssicherung). d) Auswertung der Evaluationsfragen aus der Patientensicht. In die Erhebungen zum Therapieende werden zusätzliche Fragen zu den Effekten der Erhebungen, zur Qualität der Fragebogen, der Ergebnisabschatzung durch die Patienten sowie der Patientenzufriedenheit integriert. Anhand der Analysen zu diesen Fragen können wertvolle Informationen zur Patientensicht hinsichtlich des TK-Projektes bzw. des neuen Evaluationssystems ermittelt werden (siehe Anlage C: Evalua- tionsfragen aus Patientensicht). e) Effekte der grafischen Rückmeldung und Handlungsempfehlungen für die Therapeuten und Gutachter. In diesem Schritt wird über die globale Abschatzung zu den Effekten aus Therapeu- ten- und Gutachtersicht eine gezielte Evaluation am jeweiligen Patienten erfolgen. Die Angaben, welche in diesem Evaluationsschritt ausgewertet werden, befassen sich mit den Effekten, wel- che das grafische Rückmeldesystem sowie die darin integrierten Handlungsempfehlungen für das konkrete Handeln der Therapeuten haben. Angepasste Fragen werden in das neue Gutach- terverfahren integriert und erlauben so die Abschatzung von konkreten Effekten, welche die Rückmeldungen für die Gutachter haben bzw. welche Konsequenzen daraus gezogen werden. Weiterhin spielen hier Fragen zur Konsistenz zwischen empirischen Handlungsregeln und klini- schem Eindruck bzw. der Nützlichkeit beider Datenquellen eine zentrale Rolle (siehe Anlage D: Evaluation der Rückmeldungen und Handlungsempfehlungen).Tabelle 4 zeigt das Analyseschema der Mesoebene mit den drei Stakeholdern und der Konsistenz zwi-schen der klinischen und der empirischen Beurteilung.Tabelle 4. Analyseschema Mesoebene: Qualität der Indikationsentscheidung in der ambulanten Psychotherapie(Beginn/Verlauf/Ende)Stakeholder Studiengruppe Klinischer Empirische Konsistenz Stärken / Eindruck Bewertung SchwächenPatient TK-Modell x x x x Gutachterverfahren x xTherapeut TK-Modell x x x x Gutachterverfahren x xGutachter TK-Modell x x x x Gutachterverfahren x x 22.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 232.2.3.5 Kontrollstrategien zur Überprüfung der Akzeptanz des Qualitätsmonitorings, des alten und des neuen GutachterverfahrensDie Messinstrumente ZUF-8 und SERVQUAL werden für die EX-Grp und KON-Grp 1 eingesetzt. DieseMessinstrumente erlauben die Analyse von Mittelwertsunterschieden zwischen den drei Therapierich-tungen in Bezug auf Ertrag und Akzeptanz. Korrelative Analysen zu PR-, ETR- und KR-Box Variablen er-lauben die Beantwortung von Fragen, in welchem Ausmaß Akzeptanz und Zufriedenheit mit Eingangs-,Therapie- und Erfolgsmerkmalen korrelieren. Dieser Teil des Evaluationsdesigns beantwortet die Frage-stellungen des Zielbereiches Mikroebene: Praktikabilität und Akzeptanz.Tabelle 5. Messinstrumente auf Meso- und Mikroebene Patient Therapeut GutachterEinstellungen zur Qualitätssicherung, Anlage B x (x)Evaluationsfragen aus Patientensicht, Anlage C xEvaluation der Rückmeldungen und Handlungsempfehlun- x (x)gen, Anlage DZUF-8, Fragebogen zur Messung der Patientenzufriedenheit xSERVQUAL, Einstellungen und Zufriedenheit bei Dienstleis- x xtungen (Parasuraman, Zeithaml, Berry 1985)2.3 Statistische DatenanalyseDas Modellprojekt fordert und ermöglicht den Einsatz eines breiten Spektrums an einfachen und kom-plexen Datenanalyseverfahren, adaptiert an die jeweilige Fragestellung, um damit eine möglichst hohestatistische Schlussfolgerungsvalidität zu erzielen.2.3.1 Teststärkeanalyse und FallzahlenberechnungEin zentraler Aspekt der statistischen Schlussfolgerungsvalidität ist die a-priori Planung einer ausrei-chenden Fallzahl für die vier verschiedenen Gruppen, um praktisch relevante Effektgrößen mit hoherTeststärke (Power = 1 - Fehler 2. Art) bei gegebenen Alpha-Niveau (Fehler 1. Art) auch entdecken zukönnen, falls vorhanden. Die Ableitung der erforderlichen Fallzahlen findet auf der Basis der Berechnungder Break-Even-Effektgröße und Variationen und Sensitivitätsanalysen für monetär bewertbare Kriterienstatt (siehe Anlage A).Als Effektgrößenmaße werden Cohen’s d und das Glasssche delta für alle Prä-Post-Vergleiche und alleMittelwertsunterschiede zwischen den vier Gruppen eingesetzt. Bei Cohen’s d werdenMittelwertsunterschiede im Prä-Post-Vergleich durch die gepoolte Standardabweichung prä-post divi-diert. Bei Mittelwertsunterschieden wird diese Differenz durch die gepoolte Standardabweichung derbeiden zu vergleichenden Gruppen dividiert. Beim Glassschen delta wird die Differenz im Prä-Post-Vergleich nur durch die Standardabweichung (SD) prä und beim Vergleich zweier unabhängiger Gruppennur durch die Standardabweichung der Kontrollgruppe dividiert. Bei Cohens d kann ein differentiellerEffekt die berechnete Effektgröße im Vergleich zum Glassschen delta erhöhen, wenn die SD-post kleinerals die SD-prä ausfällt und im Vergleich zum Glassschen delta erniedrigen wenn die SD-post größer aus-fällt als die SD-prä. Vergleichbare Effekte ergeben sich, wenn die SDs von EX-Grp und KON-Grp unter-schiedlich ausfallen. Erhöhungen und Reduzierungen von SDs sind Anzeichen für differentielle Effekte,die zusätzlich zu Mittelwertsunterschieden auftreten können, wenn Subgruppen von Patienten stärkervon einer Intervention profitieren als andere.Beide Effektgrößevarianten liefern jedoch Ergebnismaße, die unabhängig von der Skalierung des ver-wendeten Kriteriums sind. Sie erlauben einen direkten Vergleich unterschiedlicher Kriterienmaße. Siesind metaanalytisch aggregierbar und können synthetisiert werden. Prä-Post Effektgrößemaße lassensich auch für jede einzelne Person berechnen, was über die Analyse von Mittelwertsunterschieden hin- 23.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 24aus korrelative Analysen zur Prognose und Erklärung der individuellen Variabilität der Effekte über mul-tiple Regressionen und Pfadanalysen zulässt.Legt man die gewünschte Effektgröße, das Alpha-Niveau und die Power fest, so lässt sich die benötigteFallzahl ausrechnen. Was ist jedoch ein gewünschter Effekt? Cohen stellte ein heuristisch aus der For-schungspraxis abgeleitete Klassifikation vor, so bezeichnete er d=.20, .50 bzw. .80 als kleine, mittlerebzw. große Effekte. Diese Klassifikation gilt jedoch nur für gruppenstatistische Mittelwertsunterschiede.Für individuelle Effekte wurde das Konzept der klinisch relevanten oder bedeutsamen Effekte vorge-schlagen, das auf individuellen Veränderungswerten, dem Standardmessfehler (Reliabilität) des Messin-strumentes und der Prä-Posttestkorrelation beruht. Dieses Konzept wird bei der Indikation zum mögli-chen Therapieende und dem neuen Gutachterverfahren eingesetzt. Für die Fallzahlenberechnung müs-sen wir jedoch das gruppenstatistische Cohen d heranziehen.Für die Stakeholdergruppen TK und die gesundheitspolitische Öffentlichkeit sind kostenrelevante Krite-rien von hoher Bedeutung. Welche Effekte sind unter dieser Perspektive relevant und bedeutsam? InWittmann, Nübling und Schmidt (2002) ist eine Strategie vorgestellt, wie groß ein solcher Effekt amBreak-Even Punkt sein muss, ein Effekt an dem sich Kosten und Nutzen gerade aufwiegen. Wir habendabei Ideen und Konzeptionen weiterentwickelt, die bereits von Schmidt, Hunter und Pearlman (1982)vorgelegt wurden. Ein Effekt der etwas größer als der Break-Even-Effekt ist, lohnt sich aus einer ROI-Perspektive (ROI= return on investment). Zu unserer Überraschung liegt der Break-Even-Effekt im Be-reich von d=.15, d.h. unterhalb von d=.20. Bereits kleine Effekte beginnen sich unter einer rein monetä-ren Betrachtung zu lohnen (siehe Anhang A zu den Berechnungsgrundlagen und den getroffenen An-nahmen).Wir haben deshalb die Fallzahlenberechnung auf dieser Basis durchgeführt und kommen zu einer Fall-zahl von je 1.400 Patienten für Experimental- und Kontrollgruppe, für d=. 15, alpha=.01 und power=.95.Liberalisiert man diese strengen Kriterien in d=.20, alpha=.05 und power=.95 benötigt man 540 Perso-nen pro Gruppe. Eine Teilnehmerzahl von ca. 1.100 Versicherten erlaubt also bereits in Cohens Termi-nologie kleine Effekte auf monetären Kriterien statistisch abzusichern, wenn sie vorhanden sein sollten.Wie bei jedem längsschnittlich angelegten Design werden unweigerlich sogenannte Dropouts entstehen.Patienten könnten die Befragungsinstrumente unvollständig ausfüllen, die Therapie abbrechen oderInformationen könnten bei einzelnen Patienten verloren gehen. Für solche fehlenden Daten innerhalbder Befragungsinstrumente gibt es Schätzverfahren (EM-Algorithmen), die dann eingesetzt werden.Kompletter Datenausfall führt zur Reduzierung der Stichprobe. Wir rechnen damit, dass der Datenausfallnicht größer ist als 20%. Es wird geprüft, ob der Datenausfall als ein Zufallsprozess zu betrachten ist oderob eine systematische Selektion vorliegt. Weiterhin werden ex-post-facto Power-Analysen durchgeführt.Diese ermöglichen dann bei Vorliegen der tatsächlichen verwertbaren Stichprobengröße, dem festge-setzten Alpha-Fehlerniveau und dem empirisch erzielten Effekt die Berechnung der Teststärke. Solltediese Teststärke nicht ausreichen, kann entschieden werden, wie lange das Modellvorhaben noch wei-terlaufen müsste, um die gewünschte Teststärke zu erzielen.In die Planung der Fallzahlen sind bereits Sicherheitspuffer eingebaut, die aus heutiger Sicht ein solchesSzenario als unwahrscheinlich erscheinen lassen. Diese Puffer liegen in der gewählten Effektgröße undder Teststärke (Power=.95). Erhöht man den erwarteten Effekt am Break-Even-Point von d=. 15 aufd=.20, so liegen wir mit den Erwartungen immer noch im Bereich kleiner Effekte, bei denen sich dieQualitätssicherung bereits zu lohnen beginnt. Senkt man die Teststärke von .95 auf .90 so benötigt manebenfalls deutlich weniger Personen. In der akademischen Forschungspraxis begnügt man sich sogarhäufig mit dem Wert .80,Die Teststärke wurde bewusst höher gesetzt, um in diesem sensiblen Bereich Konflikten über die Bewer-tung der erzielten Effekte vorzubeugen. Eine Stichprobengröße von 1.000 Personen reicht nach unserenBerechnungen (siehe Anhang A) aus, um allen beteiligten Stakeholdergruppen eine faire Bewertungs-grundlage zu geben. Sollte der tatsächlich erzielte Effekt, den wir a-priori noch nicht kennen, in einemGrenzbereich liegen der zu Bewertungskonflikten fuhrt, so kann die Stichprobenfallzahl durch Verlänge-rung der Laufzeit gegebenenfalls erhöht werden. Ob ein solcher Fall eintreten wird, lässt sich jedoch 24.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 25bereits nach der Hälfte der Laufzeit des Modellvorhabens abschätzen, da dann die bis dahin erzieltenEffektgrößen insgesamt und für bestimmte Teilgruppen berechenbar sind.Effekte im Spiegel nichtmonetär bewertbarer Kriterien sind ebenso wichtig. Aus der Psychotherapiefor-schung und den Programmevaluationsstudien zur stationären Psychotherapie wissen wir, dass dieseEffekte im Bereich von mittleren und großen Effekten liegen, deshalb können solche Effekte auf jedenFall mit der geplanten Fallzahl gesichert werden. Die vorgeschlagene Fallzahl entspricht daher allen un-terschiedlichen Stakeholdergruppen.Wie lassen sich diese Fallzahlen praktisch realisieren? Unter der begründeten Annahme, dass ein Psy-chotherapeut ca. vier neue TK-Versicherte pro Jahr behandelt und der Tatsache, dass in der KV-Hessen2.010 und in der KV-Südbaden 531 Psychotherapeuten zugelassen sind, werden etwa 8.040 bzw. 2.124Versicherte der TK in den beiden Regionen eine Behandlung aufsuchen. Bei einer Therapeuten-Teilnahmequote von geschätzten 10% könnten damit insgesamt etwa 1.000 Personen pro Jahr in dieStudie aufgenommen werden, was einer Teilnehmerzahl von etwa 2.000 Patienten im Laufe von zweiJahren entsprechen würde. Mit dieser Teilnehmerzahl könnten sogar kleine Effekte mit einer gutenTeststärke nachgewiesen werden.Tabelle 6. Zugelassene Psychotherapeuten und Schätzung teilnehmender TK-Patienten pro Jahr. KV Hessen KV Südbaden KV Westfalen-Lippe SummeZugelassene 2.010 531 1.307 3.848PsychotherapeutenTeilnehmerquote 10% 804 212 523 1.539Teilnehmerquote 20% 1.608 425 1.046 3.078Teilnehmerquote 30% 2.412 637 1.568 4.618Anmerkung. Die Schätzung erfolgt unter der Annahme, dass ein Psychotherapeut pro Jahr vier TK-Versicherte behandelt.Die Laufzeit des Modellprojektes ist vor allem durch die maximale bewilligbare Stundenzahl und dieTherapiedichte (Anzahl der Sitzungen pro Woche) mitbedingt. Zusätzlich zur Laufzeit der Therapie mussnoch das Jahr bis zur Katamnese berücksichtigt werden. Die Gruppe der analytischen Langzeittherapienist naturgemäß der entscheidende Faktor für den Abschluss des Modellprojektes.Ausgehend von einer Therapiefrequenz von einer Sitzung pro Woche (TP und VT), wären alle Daten ei-ner VT mit dem maximalen Kontingent von 80 Stunden einschließlich der Katamneseerhebung (52 Wo-chen) nach 132 Wochen bzw. eineinhalb Jahren verfügbar. Bei einer TP-Langzeitbehandlung von 100Stunden und 52 Wochen Katamnese beträgt der Beobachtungszeitraum 152 Wochen. Bei der AT (hierausgehend von 3 Sitzungen pro Woche) wären ebenfalls 152 Monate bzw. knapp 3 Jahre vorzuhalten(jeweils ohne Urlaub und sonstige Unterbrechungen kalkuliert).Falls die Teilnahmebereitschaft im ersten Jahr bei wenigstens 10% oder darüber liegt, könnte das Mo-dellprojekt in einem überschaubaren Rahmen von drei Jahren in den wichtigsten Aspekten abgeschlos-sen werden.Die Daten werden beginnend mit der Eingangsdiagnostik kontinuierlich an das Evaluationsteam zurAuswertung weitergeleitet. Für alle 500 Fälle wird eine Zwischenauswertung vorgenommen. Diese Sub-stichproben können wie in einer Metaanalyse einzeln und kontinuierlich über den Projektverlauf aggre-giert analysiert und dargestellt werden. Es wird erwartet, dass die Größe der Effekte desQualitätsmonitorings mit zunehmender Laufzeit und größerer Vertrautheit der Therapeuten mit demSystem ansteigt. Sollten die Effekte deutlich größer als die a priori errechneten Break-Even-Effekte sein,so kann die notwendige Fallzahl und damit die Laufzeit deutlich verkürzt werden. Eine maximale Laufzeitvon drei Jahren müsste dann zumindest für VT und TP nicht überschritten werden. 25.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 262.3.2 Datenaufbereitung und DatenreduktionDie einzelnen Datenquellen, die wir den Datenboxen zugeordnet haben, umfassen eine Fülle an Variab-len und Merkmalen, die über theoriegeleitete Aggregationen und exploratorische Faktorenanalysenreduziert werden, um der Kapitalisierung von Zufallseffekten vorzubeugen. Auf der Kriterienseite wer-den sogenannte multiple Ergebniskriterien für monetäre und nichtmonetäre Ergebnisaspekte gebildet(Schmidt, Bernhard, Wittmann, & Lamprecht, 1987; Wittmann, Nübling, & Schmidt,Evaluationsforschung und Programmevaluation im Gesundheitswesen, 2002). Ein EMEK-monetär wirdals Summe der Reduktion von Leistungen in den Bereichen Krankengeld, Krankenhaus, Kuren und Medi-kamentenkonsum gebildet, das EMEK-nonmonetär aus den Veränderungen im BSI, IIP-D und SF-12. DieRechtfertigung der Bildung solcher EMEK-Aggregate wird über die interne Korrelation der Indikatorenüberprüft. Beide Varianten können aber auch theoriegeleitet begründet werden, da das monetäre EMEKden Ressourcenverbrauch in Geldwerteinheiten abbildet und das nichtmonetäre EMEK einen Index fürdie Verbesserung der Lebensqualität darstellt.2.3.3 Deskriptive statistische AnalysenFür Patienten und Therapeuten werden die wichtigsten soziodemographischen Variablen hinsichtlichHäufigkeiten, Proportionen oder Prozentsätze für kategoriale Variablen dargestellt. Für stetige Variablenwerden die Maße der zentralen Tendenz (Mittelwerte und Median) und die Streuungsmaße Standard-abweichung, Schiefe und Rangemaße berichtet.2.3.4 Inferenzstatistische AnalysenGrundlage für die inferenzstatische Analyse ist das allgemeine lineare Modell im Sinne von Cohen,Cohen, West, & Aiken (2003), das varianzanalytische Datenanalysen und Methoden der Regressi-on/Korrelation miteinander verknüpft. Alle Analysen werden über Methoden der Regressionsdiagnostikauf Ausreißer und Verteilungsannahmen hin überprüft. Bei Verletzungen der Verteilungsannahmenwerden die entsprechenden verteilungsfreien Analyseverfahren eingesetzt.2.3.5 Exploratorische AnalysenDer Datensatz ist von der Anzahl der erhobenen Variablen äußerst umfangreich, so dass sich neben dena-priori spezifizierten Hypothesen viele explorativ interessante Fragestellungen bearbeiten lassen.Hauptziel der exploratorischen Analyse ist die Varianzaufklärung ausgewählter multipler Kriterienmaßedurch die Prädiktor- und die Treatmentboxvariablen. Die Suchstrategien lauten beispielsweise: • Welche Kombination von PR- und ETR/NTR-Box Variablen führen zu einer maximalen multiplen Korrelation? • Gibt es Therapieziele die sich leichter erreichen lassen als andere? Hier wird eine qualitativ ori- entierte Inhaltsanalyse der Ziele verfolgt. • Resultieren unterschiedliche Effektgrößen für unterschiedliche Diagnosegruppen?Die empirisch gestützten Entscheidungsregeln des grafischen Rückmeldesystems werden in der formati-ven Evaluationsphase (siehe 2.2.3.4.1) ebenfalls exporatorisch gewonnen.2.4 Zentrale HypothesenDie Hypothesen orientieren sich an univariaten, bivariaten und multivariaten Verteilungskennwertender Kriterienvariablen und dienen zur Beurteilung des Gesamterfolgs des Modellvorhabens. 26.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 272.4.1 Mittelwertsunterschiede2.4.1.1 Makroebene - Wirksamkeit und Wirtschaftlichkeit a) Das Qualitätsmonitoring führt bei allen nicht monetären Kriterienmaßen zu signifikant bes- seren Ergebnissen als bei der Kontrollgruppe 1, für die diese Kriterien ebenfalls erhoben werden (für die Kontrollgruppen 2 und 3 werden diese Informationen nicht erhoben). b) Das Qualitätsmonitoring, das bei der Experimentalgruppe verwendet wird, führt zu höheren Effektgrößen auf dem EMEK-nonmonetär bei allen Vergleichen von EX-Grp. mit KON-Grp. 1, und auf dem EMEK-monetär bei der Katamnese zu allen Kontrollgruppen 1-3. c) Wir erwarten für alle vier Gruppen im EMEK-monetär Effektgrößen d>.20 im Vorher- Nachher-Vergleich, d.h. für den Vergleich des Einjahreszeitraumes vor der Therapie und den der Katamnese.2.4.1.2 Mesoebene - Diagnostische und adaptive Entscheidungsstrategien a) Die Vorgehensweise nach dem TK-Modell (EX-Grp.) führt zu einem bedarfsgerechteren Ein- satz der therapeutischen Ressourcen (Indikator: Varianz der Behandlungsdauer in der EX- Grp. ist größer als in der KON-Grp. 1). b) Die Indikationsstellung bei der Aufnahme von Psychotherapie kann in der EX-Grp. durch den Einsatz verschiedener diagnostischer Instrumente gegenüber der KON-Grp. l verbessert werden. c) Die Therapeuten in der EX-Grp. nutzen die Handlungsempfehlungen in unterschiedlicher Weise. d) Die beteiligten Gutachter der EX-Grp. nutzen die Handlungsempfehlungen in unterschiedli- cher Weise. e) Die Konsistenz der eingesetzten Entscheidungsregeln und Handlungsoptionen unterscheidet sich aus Patienten-, Therapeuten- und Gutachtersicht. f) Die in der EX-Grp. eingesetzten Messinstrumente decken die zentralen Problembereiche aus Patientensicht ab. g) Der Umfang des Erhebungsinventars muss für einen praktikablen Einsatz in der Routine an- gepasst werden.2.4.1.3 Mikroebene - Praktikabilität und Akzeptanz a) Die Patienten in der Experimentalgruppe erleben die Rückmeldung als eine Stärkung ihrer Befähigung (Empowerment). b) Es wird eine relativ hohe Akzeptanz der ambulanten Psychotherapie bei Experimental- und Kontrollgruppe auf den Messinstrumenten ZUF-8 und SERVQUAL erwartet. c) Experimental- und Kontrollgruppe unterscheiden sich im Spiegel der Patientensicht nicht signifikant voneinander. d) Die Praktikabilitätseinschätzung des Qualitätsmonitorings aus Therapeutensicht steigt mit der Anzahl der Therapien, die mit diesem System durchgeführt werden.2.4.2 Korrelative Zusammenhänge und StrukturgleichungsverfahrenZwischen PR-Box, ETR/NTR-Box Variablen sowie zur KR-Box wird, gestützt auf frühere Forschungsergeb-nisse, eine Reihe korrelativer Zusammenhänge erwartet.Modellhypothesen („latent growth") zum Prozess des Verlaufs der Zwischen- und Endmessungen. DieZwischenmessungen der psychometrischen Messinstrumente bei der Experimentalgruppe werden hin-sichtlich Ausgangsniveau (Intercept) und Prozessverlauf (slope) hin analysiert. 27.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 282.4.3 GesamtbewertungInsgesamt stellt sich die Frage, unter welchen Bedingungen die im Modellvorhaben eingesetzten In-strumente und Prozesse für den Einsatz in der Routineversorgung empfohlen werden können. Der Erfolgdes Modellvorhabens wird aus der Perspektive der unterschiedlichen Stakeholdergruppen unterschied-lich bewertet werden, da sie sich in der Gewichtung der Erfolgsparameter unterscheiden werden. EineGruppe wird besonders den Erfolg in Geldwerteinheiten bewerten, eine andere Gruppe wird Aspekteder Lebensqualität, gesundheitliches Wohlbefinden, Symptomreduktion und Zufriedenheit am höchstengewichten.Wir haben einen breiten Kriterienkatalog von monetär bewertbaren Parametern und von nichtmonetä-ren Kriterien vorgesehen, die zu getrennten Indexskalen aggregiert werden. Erstere werden einer Kos-ten-Nutzen-Analyse unterzogen und letztgenannte einer Kosteneffektivitäts-Analyse. Im Anhang A ha-ben wir eine Form der Kosten-Nutzen-Analyse vorgestellt, die es erlaubt, einen Erfolgsparameter d amBreak-Even-Point zu berechnen, an dem sich monetäre Kosten und Nutzen gerade aufwiegen. DieserWert liegt nach unseren Modellrechnungen auch nach Variationen im Sinne einer Sensitivitätsanalyseeher um den Wert d=.20, der in der Fachliteratur als kleiner Effekt betrachtet wird. Sollte der tatsächli-che Erfolg im monetären Index um die Hälfte größer sein, d.h. d=.30, so wäre das Modellprojekt alleinean diesem Parameter bereits ein großer Erfolg. Betriebswirtschaftlich wäre dann der Index ROI = 1,5.Bereits deutlich kleinere ROIs werden in anderen Bereichen schon als ein Erfolg betrachtet.Für den nichtmonetären Index können die Effektgrößenmaße d ebenfalls als standardisierteMittelwertsdifferenz vor und nach der Behandlung und im Vergleich zu Kontrollgruppen berechnet wer-den. Zur vergleichenden Bewertung werden hier als Benchmarks einerseits die bisher berichteten Maßeaus Meta-Analysen der internationalen Psychotherapieforschung herangezogen, die im Schnitt umd=.80 liegen, andererseits werden zum Vergleich auch die bisher im deutschen Sprachraum berichtetenEffekte stationärer Psychotherapie wie sie im Bereich der psychosomatischen Rehabilitation erforschtwurden herangezogen. Auch in diesem Bereich sind die berichteten Effekte beachtlich, sie streuen um0,60 bis über 1,00 (Wittmann, Nübling & Schmidt, 2002). Da die Meta-Analysen meist auf gut kontrol-lierten Studien beruhen, erwarten wir in der realen Versorgungspraxis eine gewisse Reduktion des Wir-kungsgrades, da dort die Rahmenbedingungen nicht so gut kontrollierbar sind.Von einem Erfolg sprechen wir, wenn ein d>.40 erreicht wird und dieser Effekt im Verlauf des Projektesvom ersten zu dritten Jahr signifikant ansteigt. Ein solcher Anstieg wäre ein Nachweis der internen Qua-litätssicherung, der auch durch einen Anstieg in der Zufriedenheit der Patienten und Therapeuten be-gleitet werden sollte. Wir erwarten weiterhin eine stärkere Nutzung der Daten des Qualitätsmonitoringsfür Ausbildung und Supervision, insbesondere die beteiligten Hochschulambulanzen dürften hierbei eineVorreiterrolle spielen. 28.
Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 292.5 Qualitätssicherung der DatenDie Qualitätssicherung der psychometrisch erhobenen Daten wird durch das Hogrefe-Apparatezentrumsichergestellt, die der kassengespeicherten Daten durch die EDV-Abteilung der TK. Eine Substichprobebestehend aus den ersten 50 Fällen wird zusätzlich vom Evaluationsteam auf Plausibilität, Vollständig-keit und Ausreißer geprüft. Weiterhin soll die Rückmeldung der Daten an die Therapeuten bezüglichZeitintervall, Vollständigkeit und Verständlichkeit überprüft werden.2.6 Durchführung der Evaluation2.6.1 ZeitplanDie Evaluation soll zeitnah und parallel zum Projektverlauf und nicht erst nach Abschluss des Modellpro-jektes erfolgen. Tabelle 7 gibt den Zeitplan des Modellvorhabens wieder.Tabelle 7. Zeitplan 2004 2005 2006 2007Einrichtung Datenerfassung xBestandsaufnahme Literatur x x xAuswertungsplanung x x xDokumentation x x x x x x x x x x x x x xStandardauswertung x x x x x x x x x x x x xJahresauswertung x x x xAbschlussauswertung x x x2.6.2 Aufgaben des Evaluationsteams a) Randomisierung der Therapeuten zu Experimental- und Kontrollgruppe zu Projektbeginn und fortlaufend bis die notwendigen Fallzahlen erreicht sind sowie die Randomisierung der Gutachten. b) Qualitätskontrolle der vom Trust Center gelieferten Daten an einer ersten Substichprobe von 50 Patienten. c) Kurze strukturierte telefonische Rückfragen bei ausgewählten Therapeuten bezüglich Prakti- kabilität der Internet- bzw. Papier und Bleistift-Version und bezüglich der Rückkopplung der psychometrischen Eingangs- bzw. Verlaufsdiagnostik, vor allem im ersten halben Jahr des Modellprojektes. Gegebenenfalls kann diese Nachfrage auch über E-Mail internetbasiert er- folgen. d) Kontinuierliches Effektmonitoring über die wichtigsten Ergebnisparameter für abgeschlos- sene Subgruppen von jeweils 500 Fällen zur Frühevaluation des Modellprojektes. e) Anpassung, Adaptation und Optimierung der Berner Entscheidungsregeln in der formativen Phase. f) Kontinuierliche summative Evaluation der Entscheidungsregeln im Abstand eines halben Jahres im ersten Projektjahr, dann im Einjahresabstand. g) Anpassung und Vorbereitung der Fragebogenerhebungen „Einstellungen zur Qualitätssiche- rung und zum Gutachtersystem". h) Jahresberichte und Abschlussbericht des gesamten Modellprojektes. Empfohlen