Interlaboratory Reproducibility In Reporting Inadequate Cervical Smears—A Multicentre Multinational Study
Authors: CIATTO S. , CARIAGGI M. P. , MINUTI A. P. , CONFORTINI M. , PALLI D. , PAS L. , McKEE G. , SCHENCK U. , BONACCORSI A. , CORRADI G. , OLIVATI S. , PIERI L. , CARRETTIT D. , COCCHIT V. 
Published: May 2007

A set of 300 vaginal smears was interpreted by 13 cytologists from six European laboratories, who were requested to report inadequate and suboptimal smears. the set had been appropriately seeded to reach approximately 10% inadequate and 20% suboptimal smear frequency. According to the majority report, 230 smears were classified as adequate (76.7%), 43 as inadequate (14.3%), and 27 as suboptimal (9.0%). Agreement with the majority report ranged from 52% to 91% (average 78%). Kappa statistics for reporting inadequate smears showed a high level of agreement for five cytologists, and fair to good agreement for eight. In contrast, K statistics for reporting suboptimal smears showed fair to good agreement with the majority report only in five instances, whereas agreement was poor for eight cytologists.

‘Inadequate smear’rates may be used to compare the quality of smears received in different laboratories, as there is a high level of agreement among cytologists as to what constitutes an inadequate smear. However, this is not true for ‘suboptimal smear’ rates, and more precise reporting criteria must be defined and tested if an intermediate category is to be retained to report poor quality smears: more precise reporting criteria must be defined and tested if an intermediate category is to be retained to report poor quality smears.

Une série de 300 frottis cervico‐vaginaux a été examinee par 13 cytologistes appartenant à 6 laboratoires européens auxquels il avait été demandé de signaler les frottis inadéquats et sub‐optimaux. Cette série de frottis a été constituée de façon à atteindre approximativement une fréquence de 10% de frottis inadéquats et de 20% de frottis sub‐optimaux. Si I'on considère les réponses faites par la majorité des cytologistes, 230 frottis ont été classés adéquats (76,7%), 43 classés inadéquats (14,3%), et 27 comme sub‐optimaux (9,0%). La concordance avec les réponses de la majorité des cytologistes varie de 52%à 91% (moyenne 78%). Concernant le signalement des frottis inadéquats, le test Kappa est excellent pour 5 cytologistes et moyen à bon pour les 8 autres. Au contraire, pour le signalement des frottis sub‐optimaux, le test Kappa montre un accord moyen à bon avec les réponses de la majorité seulement dans 5 cas alors que I'agrément est mauvais pour 8 cytologistes. La fréquence des frottis inadéquats peut être utilisée pour comparer la qualité de prélèvement du frottis dans différents laboratoires, alors que les comparaisons de la fréquence des frottis sub‐optimaux sont discutables, du fait d'un biais de diagnostic évident. Des critéres plus précis pour le signalement des frottis sub‐optimaux doivent étre définis et testés si cette catégorie doit être retenue pour rapporter les frottis de mauvaise qualité.

300 Abstriche wurden durch 13 Zytologen aus 6 europäischen Laboratorien hinsichtlich der Kriterien ‘unbrauchbar’und ‘suboptimal’beurteilt. Die Sammlung enthielt etwa 10% unbrauchbare und 20% suboptimale Präparate. Mehrheitlich wurden 230 Abstriche als auswertbar (76,7%), 43 als unbrauchbar (14,3%) und 27 als suboptimal (9,0%) bezeichnet. Die Statistik ergab hinsichtlich der unbrauchbaren Abstriche eine ausgezeichnete Ûbereinstimmung für 5 und eine gute Ûbereinstim‐mung für 8 Zytologen. Demgegenüber zeigte sich hinsichtlich der Beurteilung suboptimal nur 5mal eine gute und 8mal eine schlechte Ûbereinstimmung. Damit ist die Kategorie suboptimal ungeeignet zum Vergleich und bedarf einer genaueren Definition wenn sie für die Qualitätskontrolle eingesetzt werden soll.