Thoracic and Cardiac Imaging / Imagerie cardiaque et imagerie thoracique RSNA Expert Consensus Statement on Reporting Chest CT Findings Related to COVID-19: Interobserver Agreement Between Chest Radiologists

Purpose: To assess the interobserver variability between chest radiologists in the interpretation of the Radiological Society of North America (RSNA) expert consensus statement reporting guidelines in patients with suspected coronavirus disease 2019 (COVID-19) pneumonia in a setting with limited reverse transcription polymerase chain reaction testing availability. Methods: Chest computed tomography (CT) studies in 303 consecutive patients with suspected COVID-19 were reviewed by 3 fellowshiptrained chest radiologists. Cases were assigned an impression of typical, indeterminate, atypical, or negative for COVID-19 pneumonia according to the RSNA expert consensus statement reporting guidelines, and interobserver analysis was performed. Objective CT features associated with COVID-19 pneumonia and distribution of findings were recorded. Results: The Fleiss kappa for all observers was almost perfect for typical (0.815), atypical (0.806), and negative (0.962) COVID-19 appearances (P < .0001) and substantial (0.636) for indeterminate COVID-19 appearance (P < .0001). Using Cramer V analysis, there were very strong correlations between all radiologists’ interpretations, statistically significant for all (typical, indeterminate, atypical, and negative) COVID-19 appearances (P < .001). Objective CT imaging findings were recorded in similar percentages of typical cases by all observers. Conclusion: The RSNA expert consensus statement on reporting chest CT findings related to COVID-19 demonstrates substantial to almost perfect interobserver agreement among chest radiologists in a relatively large cohort of patients with clinically suspected COVID-19. It therefore serves as a reliable reference framework for radiologists to accurately communicate their level of suspicion based on the presence of evidence-based objective findings. Résumé Objectif : Évaluer la variabilité inter-observateurs entre radiologistes thoraciques concernant les lignes directrices de la déclaration de consensus d’experts de la Radiological Society of North America (RSNA) pour le signalement des patients ayant une pneumonie COVID-19 suspectée dans un établissement où la disponibilité des tests de dépistage par rt-PCR est limitée. Méthodes : Des études de tomodensitométries (TDM) thoraciques effectuées chez 303 patients consécutifs suspects de COVID-19 ont été analysées par 3 radiologistes thoraciques formés dans le cadre d’un fellowship. Chaque cas a été classé selon sa forme (typique, indéterminé, atypique ou négatif) pour la pneumonie COVID-19 en suivant les lignes directrices pour leur signalement tirées de la déclaration de consensus d’experts de la RSNA; une analyse inter-observateurs a ensuite été effectuée. Les caractéristiques objectives des TDM associées à la pneumonie COVID-19 et la répartition des constatations ont été consignées. Résultats : Le kappa de Fleiss pour tous les observateurs a été presque parfait pour toutes les formes typiques (0,815), atypiques 1 Department of Radiology, Vancouver General Hospital, British Columbia, Canada 2 University of British Columbia, Vancouver, British Columbia, Canada 3 Department of Radiology, Delfin Clinic, Salvador, Bahia, Brazil Corresponding Author: Danielle Byrne, FFR (RCSI), Department of Radiology, Vancouver General Hospital, Vancouver, British Columbia, Canada V5Z 1M9. Email: dbyrne.radiology@gmail.com Canadian Association of Radiologists’ Journal 1-8 a The Author(s) 2020 Article reuse guidelines: sagepub.com/journals-permissions DOI: 10.1177/0846537120938328 journals.sagepub.com/home/caj (0,806) et négatives (0,962) de COVID-19 (P < 0,0001) et substantiel (0,636) pour les formes indéterminées de COVID-19 (P < 0,0001). L’analyse V de Cramer a montré de très fortes corrélations entre toutes les interprétations des radiologistes, avec une signification statistique pour toutes les formes (typiques, indéterminées, atypiques et négatives) de COVID-19 (P < 0,001). Les constatations objectives à l’imagerie par TDM ont été consignées avec des pourcentages semblables de cas typiques par tous les observateurs. Conclusion : La déclaration de consensus d’experts de la RSNA pour le signalement des constatations à la TDM thoracique en rapport avec la COVID-19 démontre une concordance substantielle à presque parfaite entre les radiologistes thoraciques dans une cohorte relativement importante de patients ayant une infection COVID-19 suspectée cliniquement. Il s’agit donc d’un cadre de référence fiable permettant aux radiologistes de communiquer avec exactitude leur niveau de soupçon en se basant sur la présence d’éléments objectifs reposant sur des données probantes.