COVID-19 pnömonisinin düşük ve standart doz toraks BT ile tespitinde yapay zekanın tanıya etkisi
The effect of artificial intelligence on detection of COVID-19 pneumonia with low and standard dose chest ct
Yazar: ÖZGE FINDIK ŞENER
Danışman: PROF. DR. HAKKI MUAMMER KARAKAŞ
Sağlık Bilimleri Üniversitesi / İstanbul Fatih Sultan Mehmet Eğitim ve Araştırma Hastanesi / Radyoloji Ana Bilim Dalı
Derece: Tıpta Uzmanlık, 2022
Konu: Radyoloji ve Nükleer Tıp = Radiology and Nuclear Medicine
Dizin: COVID 19 = COVID 19 ; Pandemiler = Pandemics ; Pnömoni = Pneumonia ; Sinir ağları = Nerve net ; Teşhis = Diagnosis ; Tomografi = Tomography ; Yapay zeka = Artificial intelligence

Özet:
Amaç: 
COVID-19 pandemisi ile toraks BT (bilgisayarlı tomografi) görüntüleme sayılarındaki belirgin artış, birey ve toplum bazlı radyasyon maruziyet seviyesinin ve uzun dönem sitokastik etki riskinin artmasına yönelik endişeleri artırmaktadır. Bu nedenle optimal görüntü kalitesini koruyan en düşük dozlu çekim protokolleri önerilmekte ancak düşük doz ile yapılan çekimlerde görüntü kalitesinde azalmalar ve artan gürültü sonucunda diagnostik doğrulukta kayıplar olabileceği bilinmektedir. Görüntüleme sayılarındaki eksponansiyel artışın bir diğer sonucu; radyoloji hekimleri üzerinde artan iş yükü, raporlamada ve COVID-19 hastalığının tespit ve izolasyonunda olası gecikmeler, dolayısıyla pandemi kontrolünde aksamalardır. Yukarıda belirtilen her iki temel soruna çözüm olabilecek şekilde, COVID-19 tanısında düşük doz çekimlerin yapay zeka yöntemleri ile değerlendirilmesinin, incelemenin duyarlılık ve doğruluğunu arttırabileceği hipotetize edilmektedir. Çalışmamızın amacı; standart ve düşük doz çekimleri derin sinir ağı modelleri ile değerlendirmek, düşük doz çekimlerin COVID-19 pnömonisinin tipik bulgularını (buzlu cam dansiteleri ve konsolidasyonları) saptamadaki başarısını, standart doz çekimler ile kıyaslamak ve böylece yapay zeka destekli düşük doz çekimlerin standart çekimlere alternatif olabilirliğini araştırmaktır. 

Gereç ve Yöntem: 
Retrospektif ve tek merkezli çalışmamızda veri seti, 21 Mart – 2 Nisan 2020 tarihleri arasında COVID-19 şüphesiyle başvuran, başvuru sırasında PCR testi alınan, aynı seansta ardışık standart ve düşük doz toraks BT çekilen, yaşları 18 ile 97 arasında (yaş ortalaması 44.05±16.59) olan, 437'si erkek (%59.1) ve 303'ü kadın (%40.9), toplamda 740 hastadan oluşmaktadır. Veri setindeki 65 hastanın PCR sonucu pozitif saptanmıştır. Veri setindeki 22'si PCR pozitif, 50'sinde toraks BT'de pnömoni bulguları saptanan 83 hastaya ait 5616 görüntü standart doz model ve bu gruptan 79 hastaya ait 4875 görüntü düşük doz model eğitiminde kullanılmış olup 43'ü PCR pozitif 657 hastaya ait standart ve düşük doz toraks BT çekimleri sonuç analizinde değerlendirilmiştir. Standart ve düşük doz yapay zeka (YZ) modellerinin görüntü bazlı duyarlılık, özgüllük, doğruluk, kesinlik (precision) ve F-skoru değerleri istatistiksel olarak sunulmuştur. 657 hastaya ait standart ve düşük dozlu çekimler ilgili modellerde değerlendirilmiştir. YZ destekli standart ve düşük doz BT çekimlerinin duyarlılık ve özgüllükleri birbirleri ve radyolog hekim sonuçları ile karşılaştırılmıştır. Ayrıca bu gruptaki her hastanın COVID-19 pnömonisinin toraks BT'de tipik infiltrasyon bulguları olan buzlu cam opasitesi ve konsolidasyon alanları, voksel bazlı hacim değerleriyle hesaplanmıştır. Böylece aynı hastaya ait ardışık iki doz çekimde saptanan infiltrasyon hacimleri ayrı ayrı (buzlu cam infiltrasyon hacmi, konsolidasyon infiltrasyon hacmi) ve toplam infiltrasyon hacmi olarak istatistiksel olarak karşılaştırılmış olup yapay zeka destekli düşük doz çekimlerin infiltrasyonları saptamada standart doz çekim başarısına ulaşıp ulaşamayacağı ve pratik kullanımda standart çekimlere alternatif olabilirliği araştırılmıştır. 

Bulgular: 
COVID-19 pnömonisine ait radyolojik bulguların yüksek doğrulukla ve hızla saptanması amacıyla aynı parametreler ile geliştirilen standart ve düşük doz derin sinir ağı modellerinin test setlerinde görüntü bazlı istatistikleri sırasıyla standart doz için; duyarlılık %99, özgüllük %98, doğruluk %98, kesinlik (precision) %95, F-skoru %97 ve düşük doz model için  duyarlılık %83, özgüllük %97, doğruluk %93, kesinlik (precision) %92, F-skoru %87 bulunmuştur.
Çalışmamızda YZ destekli standart ve düşük doz modellerin hasta bazlı duyarlılığının radyolog hekim sonuçlarına kıyasla düşük olduğu, özellikle ilk tanıda tek başına karar verici olarak kullanımlarının önerilmediği ancak her bir hasta için ortalama yaklaşık 30 sn'de hızlı değerlendirme ve kantitatif ölçüm yapabilmeleri nedeniyle radyolog hekimlere karar destek aşamalarında yardımcı olabilecekleri ve pandemide iş akışını kolaylaştırabilecekleri öngörülmektedir. YZ destekli düşük doz çekimlerin COVID-19 pnömoni bulgularını saptamada hasta bazlı duyarlılığının (%84), YZ destekli standart doz çekimler ile aynı olduğu (%84), özgüllüğünün ise daha düşük olduğu (sırasıyla %64 ve %76) ve COVID-19'un en sık saptanan tipik infiltrasyon bulgusu olan buzlu cam opasitelerinin (BCO) YZ destekli düşük doz çekimlerde tespitinde ve karakterizasyonunda hatalar olduğu saptanmıştır. YZ destekli standart doz çekimler ile YZ destekli düşük doz çekimler arasında konsolidasyon hacimlerinde anlamlı farklılık saptanmaması nedeniyle, düşük doz çekimlerde saptanan BCO hacim farklılığı ve artışına, konsolidasyonların BCO olarak yanlış kategorizasyonunun etkisi olduğu ancak bunun istatistiksel olarak anlamlı olmadığı, esas etkinin artan gürültü nedeniyle normal parankim alanlarının BCO olarak yanlış kategorizasyonundan kaynaklandığı sonucuna varılmıştır. 

Sonuç: 
Çalışma sonucunda yapay zeka modeli ile değerlendirilen düşük doz BT görüntülerin COVID-19 pnömoni bulgularını saptamada duyarlılığının, radyolog hekim sonuçlarına kıyasla düşük olduğu, YZ destekli standart doz BT görüntülerine kıyasla duyarlılığının aynı ancak özgüllüğünün düşük olduğu saptanmıştır. Ayrıca YZ modellerinde infiltrasyon hacimlerini saptamada, ardışık iki doz arasında buzlu cam opasitesi hacimlerinde istatistiksel olarak anlamlı farklılık saptanmıştır. Bu nedenle YZ destekli düşük doz çekimlerin özellikle ilk tanıda tek başına standart doz çekimlere alternatif olamayacağı, derin sinir ağı modellerinin saniyeler içerisinde değerlendirme yapabilmesi ile karar destek aşamalarında zaman yönetimi ve iş akışını kolaylaştırmada umut verici oldukları ancak derin sinir ağı modelini geliştirmeye yönelik ve düşük doz çekimlerde görüntü kalitesini artırmaya yönelik daha fazla araştırma ve geliştirmeye ihtiyaç duyulduğu sonucuna varılmıştır.

Abstract:
Introduction and Aim: 
The significant increase in the number of chest CT (computed tomography) imaging with the COVID-19 pandemic raises concerns about the increase in individual and population-based radiation exposure levels and the risk of long-term cytochastic effects. For this reason, the lowest-dose scan protocols that preserve the optimal image quality are recommended, but it is known that there may be loss in diagnostic accuracy as a result of decrease in image quality and increased noise in low-dose CT scan. Other consequences of the exponential increase in the number of imagings; increased workload on radiologists, possible delays in reporting, detection and isolation of COVID-19 disease and thus disruptions in pandemic control. It is hypothesized that the evaluation of low-dose CT scans with artificial intelligence methods in the diagnosis of COVID-19 may increase the sensitivity and accuracy of the examination, which can be a solution to both of the above-mentioned main problems. The aim of our study; to evaluate standard and low-dose scans with deep neural network models, to compare the success of low-dose scans in detecting typical findings (ground glass opasities and consolidations) of COVID-19 pneumonia with standard-dose scans and thus to investigate the possibility of artificial intelligence-assisted low-dose CT scans to be an alternative to standard scans.

Materials and Methods: 
In our retrospective and single-center study, the dataset was comprised of patients between the ages of 18 and 97 (mean age 44.05±16.59 years), who applied with the suspicion of COVID-19 between March 21 and April 2, 2020 and had PCR test and consecutive standard and low-dose chest CT scans in the same session at the time of admission. It consists of a total of 740 patients, of whom 437 (59.1%) were male and 303 (40.9%) were female. The PCR results of 65 patients in the data set were positive. In the data set, 5616 images of 83 patients, 22 of whom were PCR positive and 50 of whom had pneumonia findings in chest CT, were used in standard dose model training and 4875 images of 79 patients from this group were used in low dose model training whereas standard and low dose chest CT scans of 657 patients, 43 of whom were PCR positive, were evaluated in the outcome analysis. Image-based sensitivity, specificity, accuracy, precision and F-score values of standard and low-dose AI models are presented statistically. Standard and low-dose CT scans of 657 patients were evaluated in the relevant models. Sensitivity and specificity of AI-assisted standard and low-dose CT scans were compared with each other and with the results of the radiologist. In addition, the ground glass opacity and consolidation areas, which are typical infiltration findings of COVID-19 pneumonia on chest CT of each patient in this group, were calculated with voxel-based volume values. Thus, the infiltration volumes detected in two consecutive scans of the same patient were statistically compared separately (ground glass infiltration volume, consolidation infiltration volume) and in total; then it was investigated whether artificial intelligence assisted low-dose scans can achieve the success of standard-dose scans in detecting infiltrations and the possibility of being an alternative to standard scans in practical use.

Results:
Image-based statistics in test sets of standard and low-dose deep neural network models developed with the same parameters for high accuracy and rapid detection of radiological findings of COVID-19 pneumonia; sensitivity 99%, specificity 98%, accuracy 98%, precision 95%, F-score 97%, and sensitivity 83%, specificity 97%, accuracy 93%, precision 92%, F- score 87%, respectively.
In our study, the patient-based sensitivity of AI-supported standard and low-dose models was low compared to the results of the radiologist, and they were not recommended to be used as a decision maker alone, especially in the first diagnosis, but because they could make rapid evaluation and quantitative measurement in approximately 30 seconds for each patient, it is foreseen that they can help to the radiologists in the stages of decision support and facilitate the workflow during the pandemic. The patient-based sensitivity of AI-assisted low-dose scans (84%) in detecting findings of COVID-19 pneumonia was the same (84%) as AI-assisted standard-dose scans (84%), while the specificity was lower (64% and 76%, respectively). Also it has been found that there are some errors in the detection and characterization of ground glass opacities, which are the most common typical infiltration finding of COVID-19, in AI-assisted low-dose scans. Since there was no significant difference in consolidation volumes between AI-assisted standard-dose scans and AI-assisted low-dose scans, miscategorization of consolidations as GGO had an effect on the difference and increase in GGO volume detected in low-dose scans, but this was not statistically significant; It was concluded that the main effect was due to the miscategorization of normal parenchyma areas as GGO due to increased noise.

Conclusion: 
As a result of the study, the sensitivity of low-dose CT images evaluated with the artificial intelligence model in detecting COVID-19 pneumonia findings is low compared to the results of the radiologist; Compared to AI-assisted standard dose CT images, the sensitivity was the same but the specificity was low. In addition, in determining the infiltration volumes in AI models, a statistically significant difference was found in the volumes of ground glass opacity between two consecutive doses. For this reason, AI-assisted low-dose scans may not be an alternative to standard-dose scans alone, especially in the first diagnosis; However, deep neural network models have been shown to be promising in facilitating time management and workflow in decision support stages, with the ability to evaluate within seconds. Thus, it was concluded that more research and development is needed to improve the deep neural network model and improve image quality in low-dose scans.