ICD-11 kişilik bozukluğu tanı ölçütlerine yönelik klinisyen değerlendirmeleri ile özbildirim ölçeğinin geçerlik ve güvenirliği
The validity and reliability of clinicians' ratings and self-report scale scores in evaluating ICD-11 (international classification of diseases - 11TH edition) diagnostic criteria for general personality disorder
Yazar: TUĞBA AYDIN SEYREK
Danışman: PROF. DR. İBRAHİM FERHAN DEREBOY
Adnan Menderes Üniversitesi / Tıp Fakültesi / Ruh Sağlığı ve Hastalıkları Ana Bilim Dalı
Derece: Tıpta Uzmanlık, 2022
Konu: Psikiyatri = Psychiatry
Dizin: Hastalık = Disease ; Kişilik = Personality ; Kişilik bozuklukları = Personality disorders ; Sınıflandırma = Classification ; Teşhis = Diagnosis ; Ölçekler = Scales

Özet:
Amaç ve hipotez: Bu çalışmada, ICD-11 kişilik bozukluğu (KB) tanı ölçütlerine yönelik klinisyen değerlendirmelerinin güvenirliğinin ve iki özbildirim ölçeğinin klinisyenlerin tanısal değerlendirmelerine karşı geçerliğinin incelenmesi amaçlanmıştır. Çalışmanın hipotezleri; ICD-11 tanı ölçütlerine göre hazırlanmış KB formu üzerinden katılımcıları değerlendiren klinisyenlerin arasındaki uyuşma yeterli düzeyde (kappa veya ICC ≥ 0,60) olacaktır. Klinisyenlerin KB tanı ve şiddetine ilişkin değerlendirmeleri ile SASPD ve WHODAS ölçek puanları arasında yeterli düzeyde uyuşma olacaktır. 
Yöntem: Araştırma verilerinin toplanması Mart 2021-Kasım 2021 tarihleri arasında gerçekleştirilmiştir. Araştırmaya yaşları 18-61 arasında değişen toplam 48 gönüllü hasta alınmıştır. Katılımcılar olgu rapor formu üzerinde sosyodemografik özelliklerine ilişkin bilgi vermenin yanısıra, SASPD (Standardized Assessment of Severity of Personality Disorder) ve WHODAS-36 özbildirim ölçeklerini doldurmuştur. Bu özbildirimlerden habersiz bir klinisyen, her bir katılımcı ile tanısal görüşme yaparak değerlendirmelerini ICD-11 Kişilik Bozukluğu tanı ölçütlerine göre hazırlanmış bir araştırma formu üzerinde kodlamıştır. İkinci bir klinisyen ilk görüşmenin ses kayıtlarına dayanarak ulaştığı tanısal kararlarını başka bir ICD-11 KB formu üzerinde belirtmiştir. Klinisyenlerin genel KB tanıları arasındaki uyuşma kappa katsayısı ile, boyutsal değerlendirmeleri arasındaki uyuşma sınıfiçi korelasyon katsayısı – ICC ile incelenmiştir. Özbildirim ölçek puanları ile klinisyenlerin KB şiddet değerlendirmeleri ile arasındaki uyuşmanın incelenmesinde Spearman rho ve eta korelasyon katsayılarından,  ölçeklerin uygun kesme noktasının belirlenmesinde ROC analizinden yararlanılmıştır.  Özbildirim ölçeklerinin iç tutarlılığını belirlemek amacıyla Cronbach alfa katsayısı hesaplanmıştır. Tip-1 hata düzeyi %5 olarak kabul edildiği için, popülasyon parametrelerinin kestirilmesinde, elde edilen örneklem parametrelerinin %95 güven aralıkları göz önüne alınmıştır.
Bulgular: Klinisyenler örneklemin % 37,5'inde genel KB tanısı olduğu, %58,3'ünde olmadığı konusunda uzlaşmış; % 4,2'sinin tanısal statüsü konusunda uzlaşamamıştır. Hesaplanan güvenirlik katsayısı kappa katsayısı 0,91(%95 GA = 0.77-1.00) klinisyenlerin tanısal yargıları arasında şansa bağlı olanın ötesindeki uyuşmanın çok yüksek düzeyde olduğunu göstermektedir. Görüşme formu üzerinde iki klinisyen tarafından bağımsız olarak kodlanan kişilik işlevselliği, KB özgül belirtileri ve sosyal işlevselliğe yönelik boyutsal değerlendirmelerin tümünün güvenirliği yüksek düzeyde bulunmuştur (ICC > 0,80). Her iki klinisyenin KB şiddetine yönelik toplu değerlendirmeleri ile SASPD toplam puanı arasındaki korelasyonlar 0,60 dolayında, WHODAS genel yetiyitimi puanı arasındaki korelasyonlar 0,70 dolayında hesaplanmıştır. Buna paralel olarak, her iki klinisyenden KB tanısı alan 18 hastanın özbildirim ölçeklerinden aldıkları puanların tümü KB tanısı olmayan 28 hastanın puanlarından anlamlı ölçüde (p ≤ 0,005) yüksek bulunmuştur. İki grup arasında WHODAS puanları açısından en büyük farkın genel yetiyitimi puanında gözlenmesi nedeniyle, SASPD puanı yanı sıra bu puanın kesme noktasındaki performansının incelenmesine gerek duyulmuştur. ROC analizi SASPD için uygun kesme puanını 9 olarak önermiş, bu kesme puanı ile ölçeğin duyarlılığının %78, özgüllüğünün %75, tanısal doğruluğunun %76 olduğu belirlenmiştir. Gerek bu değerler gerekse kestirilen popülasyon kappa değerleri (kappa = 0,52; %95 GA= 0,26-0,76) ölçeğin geçerliğinin en azından kabul edilebilir sınırlarda olduğunu düşündürmüştür. Bununla birlikte SASPD ölçeğinin güvenirliğinin kabul edilebilir sınırların altında (alfa = 0,65; %95 GA= 0,46-0,79) olduğu belirlenmiş, güvenirlik sorununun kaynağında, toplam puanla 0,30 düzeyinin altında korelasyon gösteren üç maddenin yattığı belirlenmiştir. Bunlar; düzenli olma, başka insanları umursama ve kendine yetme ile ilgili maddelerdir. ROC analizi WHODAS özbildirim ölçeği genel yetiyitimi puanı için uygun kesme puanını 1,30 olarak önermiş, bu kesme noktası ile ölçeğin duyarlılığı %82, özgüllüğü %88, doğruluğu %85 olarak hesaplanmıştır. Gerek bu değerler gerekse kestirilen popülasyon kappa değerleri (kappa = 0,70; %95 GA= 0,46-0,90) ölçeğin geçerliğinin yeterliden mükemmele uzanan bir aralıkta  olduğunu düşündürmüştür. WHODAS genel yetiyitimi puanının iç tutarlığı çok yüksek düzeyde (Cronbach alfa = 0,97; %95 GA= 0,96 - 0,99) hesaplanmış; tüm soruların düzeltilmiş madde-toplam korelasyonları 0,30'un üzerinde bulunmuştur. Bu veriler genel yetiyitimi puanının ICD-11 KB tanısını yordamak açısından geçerli ve güvenilir bir araç olduğunu düşündürmektedir. Bekleneceği gibi, 36 soruluk uzun formdan seçilen 12 madde ile oluşturulan kısa WHODAS formundan elde edilen puan da benzer psikometrik özellikleri sergilemektedir. WHODAS kısa form puanının Cronbach alfa güvenirlik katsayısı 0,91 (%95 GA= 0,86 - 0,95);  kesme noktası olan 1,04 ile birlikte kullanıldığında kappa geçerlik katsayısı 0,70 (%95 GA= 0,46- 0,90), duyarlılığı %88, özgüllüğü %83, doğruluğu %85 düzeyindedir.
Sonuç: Bulgularımız, ICD-11 ölçütlerine göre hazırlanmış KB tanılama formunu kullanılarak gerçekleştirilen hem kategorik hem de boyutsal değerlendirmelerin güvenirliğinin yüksek olduğunu düşündürmektedir. SASPD puanlarının KB tanısı ve şiddetini yordamaya yönelik geçerliği kabul edilebilir sınırlarda, ancak güvenirliği kabul edilebilir sınırların altında bulunmuştur. Bu yüzden ölçeğin tarama amaçlı kullanımı önerilememektedir. Öte yandan,  36 soruluk WHODAS özbildirim ölçeği genel yetiyitimi puanlarının KB tanısı ve şiddetini yordamaya yönelik geçerliği yeterli düzeyde, güvenirliği yüksek düzeyde bulunmuştur. Bu psikometrik verilerin ışığında, WHODAS kısa veya uzun formlarından elde edilen genel yetiyitimi puanlarının klinik ve araştırma amaçlı olarak KB tanısını tarama amacıyla kullanıma uygun olduğu söylenebilir.

Abstract:
Purpose and hypothesis: The present study aimed to investigate the inter-rater reliability of the clinicians' diagnostic ratings concerning the ICD-11 criteria set for general personality disorder (PD), and to explore the validity of two self-report scales against clinicians' evaluations. We tested the research hypotheses that good levels of chance-corrected agreement (kappa or ICC ≥ 0.60) are to be found between criteria ratings by a pair of clinicians and between their ratings and the SASPD and WHODAS scores. 
Methods: The data were collected between March 2021 and November 2021. The sample consisted of 48 volunteering in- or out-patients ranging in age between 18-61 years. Each participant was administered the SASPD (Standardized Assessment of Severity of Personality Disorder) and 36-item WHODAS 2.0 (World Health Organization Disability Scale) and was interviewed and rated concerning the ICD-11 criteria for general PD by a clinician using a form designed for this study. Each participant was also rated by a second clinician listening to the audio-recorded interview. The agreement level between two clinicians in terms of dimensional ratings and categorical diagnoses were estimated by means of intraclass correlation coefficient (ICC) or kappa, respectively.  Spearman rho and eta correlation coefficients were used to analyze the agreement between self-report scale scores and clinicians' severity ratings, and ROC analysis was employed to search for the optimal cut-off scores to be used to predict clinicians' categorical PD diagnoses. The internal consistency of the self-report scales was investigated through Cronbach's alpha coefficient and corrected item-total correlations. Since the Type-1 error rate was accepted as 0,05, the 95% confidence intervals of the obtained sample parameters were taken into account in estimating the population parameters.
Findings: The clinicians agreed on the presence of a PD diagnosis in 37.5% and on the absence of a diagnosis in 58.3% of the sample, while disagreed on the 4.2%. The calculated kappa coefficient of 0.91 (95% CI = 0.77-1.00) indicates a high level of agreement beyond chance between the clinicians' diagnostic judgments. Likewise, the inter-rater reliability of the clinicians' dimensional ratings involving personality functioning, PD-specific symptoms, and social functionality was very good (i.e., ICC > 0.80). The correlations of the clinicians' individual and combined ratings of PD severity with SASPD total score and the WHODAS general disability score were around 0.60 and 0.70, respectively. Accordingly, the self-report scale scores of 18 patients with a consensus PD diagnosis were significantly (p ≤ 0.005) higher than those of the 28 patients without. Among the various scores obtained from WHODAS, the general disability score was associated with the largest difference between the two groups. Hence, we explored the performance of this score and the SASPD total score with optimal cut-offs. ROC analysis suggested the optimal cut-off point of 9 for SASPD scores maximizing the diagnostic accuracy to 76% with 78% sensitivity and 75% specificity. These values and the population validity estimates (kappa = 0.52; 95% CI = 0.26-0.76) suggested that the validity of the scale was within acceptable limits.The reliability of the SASPD, however, was unacceptably low, particularly for clinical use (alpha = 0.65; 95% CI = 0.46-0.79), mostly due to low item-total correlations (i.e., ≤ 0.30) observed for the final three items involving orderliness, caring for other people, and self-sufficiency. Conversely, the WHODAS-36 general disability score used with an optimal cut-off score of 1.30 as suggested by ROC analysis classified subjects with or without PD diagnosis with an accuracy of 85%, a sensitivity of 82%, and a specificity of 88%. Furthermore, the internal consistency of the general disability score was very high (Cronbach's alpha = 0.97; 95% CI= 0.96 - 0.99), and the entire corrected item-total correlations were over 0.30 level. These findings as well as the population validity estimates (kappa = 0.70; 95% CI = 0.46-0.90) suggested that the cut-off applied general disability score obtained from  36-item WHODAS is a valid and reliable tool to predict clinical PD diagnosis. As expected, the general disability score as a composite of 12 items of the WHODAS short form has similar psychometric properties when used with a cut-off score of 1.04. Briefly, the WHODAS-12 scores are associated with a Cronbach's alpha of 0.91 (95% CI = 0.86 - 0.95), kappa of 0.70 (95% CI = 0.46-0.90), sensitivity of 0.88, specificity of 0.83, and accuracy of 0.85.
Conclusion: Our findings reveal high inter-rater reliability of diagnostic evaluations involving dimensional and categorical ratings of the ICD-11 criteria for general PD on a form designed for this study. The validity of the SASPD scores in predicting the PD diagnosis and severity was within acceptable limits, though the reliability was not. Therefore, use of this instrument to screen personality pathology can hardly be recommended. On the other hand, the general disability scores yielded either by short or long WHODAS self-report forms emerge as valid and highly reliable measures of ICD-11 defined PD. Therefore, data from the current psychometric study strongly support the use of WHODAS self-report forms to predict PD diagnosis for clinical and/or research purposes in Turkey.