Challenges encountered in measuring outcome for a rural psychiatric residential program

Evaluation of outcome measures can provide policymakers with valuable information on the effectiveness of psychiatric rehabilitation. Two specific challenges in collecting outcome measures for psychiatric rehabilitation programs are heterogeneity of outcomes and difficulty with follow-up. These two challenges were illustrated in the process of evaluating Rose Hill Center, a rural residential psychiatric rehabilitation program. The original design was to conduct interviews with former residents and family members and verify healthcare utilization. The difficulty of locating people and their reluctance to participate conspired to lower the follow-up rates. The design was modified to improve the follow-up rate but decrease the details of specific outcomes. The results showed a high but biased follow-up rate, with more information obtained for people who graduated from the program. The residents with planned discharge showed excellent outcomes in terms of living situation, working situation, healthcare utilization, and low severity of current symptoms. High compliance with medication spoke to the program's philosophy of including the residents in the decision-making process. The dual challenges of heterogeneity of outcomes and difficulty in follow-up that limit efforts to document the value of psychiatric rehabilitation are discussed.Die Beurteilung von Outcome-Maßen kann politischen Entscheidungsträgern im Gesundheitswesen wertvolle Informationen zur Wirksamkeit der psychiatrischen Rehabilitation liefern. Zwei spezielle Herausforderungen beim Erheben von Outcome-Daten der psychiatrischen Rehabilitation sind die Heterogenität der Outcome-Daten und die Schwierigkeit, die Patienten nachzubeobachten. Diese beiden Probleme wurden bei der Beurteilung des Rose Hill Centers, einem ländlichen, mit Wohnheim verbundenen Rehabilitationsprogramm, herausgestellt. Das ursprüngliche Konzept bestand in darin, Befragungen früherer Teilnehmer und Angehöriger durchzuführen und die Inanspruchnahme von Gesundheitsressourcen zu verfolgen. Die Schwierigkeit Menschen aufzufinden und ihr Widerstand gegen eine Teilnahme führten zu niedrigen Follow-up-Quoten. Das Design wurde modifiziert, um die Follow-up-Quote zu verbessern, war jedoch mit einer Reduktion des Umfangs von Einzelheiten spezieller Outcome-Daten verbunden. Die Ergebnisse wiesen eine hohe, aber verzerrte Follow-up-Quote aus, da mehr Informationen von den Personen erhalten wurden, die das Programm nach Plan abgeschlossen haben. Die Teilnehmer, die planmäßig entlassen wurden, zeigten exzellente Ergebnisse im Hinblick auf Lebenssituation, Arbeitssituation, Inanspruchnahme von Gesundheitsressourcen und einen geringen Schweregrad der aktuellen Symptome. Eine hohe Compliance mit der Medikation sprach für die Philosophie des Programms, die Teilnehmer in die Entscheidungsfindung einzubeziehen. Die doppelte Herausforderung der Heterogenität der Ergebnisse und die Schwierigkeit die Patienten nachzubeobachten, was die Bemühungen den Wert einer psychiatrischen Rehabilitation zu dokumentieren erschwert, werden diskutiert.La mesure des paramètres d'évolution peut fournir aux décideurs des informations utiles sur l'efficacité de la réadaptation psychiatrique. L'enregistrement de ces paramètres lors des programmes de réadaptation psychiatrique se heurte à deux défis: l'hétérogénéité des évolutions et les difficultés du suivi. Les auteurs ont été confrontés à ces deux défis lors de l'évaluation du programme de réadaptation psychiatrique du Rose Hill Center, une institution en milieu rural. Le concept initial était de mener des entretiens avec d'anciens pensionnaires et des membres de leurs familles et de vérifier l'utilisation des ressources de santé. En raison de la difficulté à retrouver ces personnes et de leurs réticences à participer aux entretiens, le niveau du suivi s'est trouvé abaissé. La conception de l'étude a été modifiée, afin d'améliorer le niveau du suivi mais de réduire les détails des évolutions spécifiques. Les résultats ont montré un niveau de suivi élevé mais biaisé, les personnes ayant terminé avec succès le programme de réadaptation apportant plus d'informations. Chez les pensionnaires dont la sortie était prévue, l'évolution a été excellente en termes de type de vie, de situation professionnelle, d'utilisation des ressources de santé et de faible sévérité des symptômes. Une forte compliance a plaidé en faveur de la philosophie du programme de faire participer les pensionnaires aux prises de décisions. Le double défi de l'hétérogénéité des évolutions et des difficultés du suivi, qui limite les efforts destinés à documenter la valeur de la réadaptation psychiatrique, fait l'objet d'une discussion.La evaluación de las medidas de resultados pueden aportar a los responsables de la formulación de políticas información valiosa sobre la eficacia de la rehabilitación psiquiátrica. Dos problemas concretos que surgen en la obtención de estas medidas en los programas de rehabilitación psiquiátrica son los relativos a la heterogeneidad de los resultados y a la dificultad del seguimiento. Ambos problemas se pusieron de manifiesto en el proceso de evaluación del Rose Hill Center, un programa de rehabilitación psiquiátrica en residencias rurales. El diseño original implicaba la realización de entrevistas a antiguos residentes y sus familiares, y la verificación del uso de los recursos sanitarios. La dificultad de localizar a las personas y su negativa a participar se aunaron para aminorar las tasas de seguimiento. Así pues, se modificó el diseño para mejorar la tasa de seguimiento, a costa de reducir los detalles de los resultados concretos. Se consiguió una elevada tasa de seguimiento, aunque sesgada, obteniéndose más información de las personas que acababan de terminar el programa. Los residentes que tenían ya prevista el alta presentaron resultados excelentes en términos de situación vital, situación laboral, uso de los recursos sanitarios y baja intensidad de los síntomas. El elevado cumplimiento de la medicación abogó en favor de la filosofía del programa, basado en la participación de los residentes en el proceso de toma de decisiones. Se aborda el doble problema de la heterogeneidad de los resultados y la dificultad del seguimiento, que limitan los esfuerzos por documentar el valor de la rehabilitación psiquiátrica.