胸部X線画像を用いて深層学習により新型コロナウイルスの感染陽性・陰性を予測する

# この記事の要約

- 胸部レントゲン画像，または胸部CT画像を用いて，深層学習により新型コロナウイルス（以下，COVID-19）の感染陽性・陰性かを判断する論文を紹介
- COVID-19患者，他の肺炎患者，健常者の画像に対する分類実験に対して，90%程度（すごいやつは98%程度）の分類精度が出ることが確認される
- しかし，これらの画像を用いた検査が偽陽性・偽陰性などとなる危険があり，かつ感染リスクもあるため，医療業界は現状画像検査を推奨していない

なお，本記事では深層学習モデルの解説の様なことはしません．あくまで，COVID-19の騒動に対して深層学習の活用例があるという内容と，それに関する医療の情報を整理した記事です．



# 最重要！画像検査がPCR検査の代わりになる訳ではない

論文で主張されている分類精度は極めて高く，また日本におけるPCR検査の実施数を鑑みると，いますぐ画像検査を拡充させた方がよいと思うかもしれませんが，そうはいかないようです．この辺りは日本医学放射線学会の提言を参考にしながら，本記事の後半でまとめます．



# 関連する論文とリンク

- [COVID-19 Image Data Collection](https://arxiv.org/pdf/2003.11597.pdf)
- [Can AI help in screening Viral and COVID-19 pneumonia?](https://arxiv.org/ftp/arxiv/papers/2003/2003.13145.pdf)
- [CoroNet: A Deep Neural Network for Detection and Diagnosis of Covid-19 from Chest X-ray Images](https://arxiv.org/ftp/arxiv/papers/2004/2004.04931.pdf)
- [A Deep Convolutional Neural Network for COVID-19 Detection Using Chest X-Rays](https://arxiv.org/pdf/2005.01578v1.pdf)
- [新型コロナウイルス感染症（DOVID-19）流行期における放射線診療についての提言](http://www.radiology.jp/member_info/news_member/20200421_01.html)
- [新型コロナウイルス感染症（COVID-19）に対する胸部CT検査の指針（Ver.1.0）](http://www.radiology.jp/member_info/news_member/20200424_01.html)
- [新型コロナウイルス感染予防対策についてのQ＆A](https://jeaweb.jp/covid/qa/index.html)




# 胸部レントゲン画像と胸部CT画像

まずは使用する画像に関して簡単にまとめます．以下の記事がわかりやすいと思いました（[肺がんを早期発見！ レントゲンとCTの違いとは？](https://www.mrso.jp/colorda/az/2092/)）．以下，レントゲン画像もCT画像も，どちらも胸部のものとします．

レントゲン画像とは，放射線（の内のX線）を使って肺を正面や横から撮影した画像です．一般の健康診断でも行われているので，ほとんどの方が経験したことのある検査だと思います．かなり高速にできる検査です．レントゲン画像に怪しい影があったりすると，肺炎などといった病気と診断されるようです．

しかし，やはりレントゲン画像だけでは判断することが難しい例もあるようです．そこで同じく放射線を使って撮影するCT画像（CT: Computed Tomography）というものがあります．これは体を輪切りにした画像を何枚も撮影した画像です．レントゲン画像では2次元的にしか肺を見ることができませんが，CT画像であれば3次元的に肺を見ることができます．つまり，CT画像の方がより細かく肺を見ることができるようです．当然その分CT画像を撮影するためのデメリット（被ばく量や金額）も存在します．

![4851_1_compression.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/329950/9939d23d-ac7b-5056-ef64-b7b8cbe2d886.jpeg)

上図において，上がレントゲン画像，下がCT画像になります（以下より引用[第5回 CTscan～断面を見るということと最近の進歩](https://nursepress.jp/4851)）．この例だと，レントゲン画像からは腫瘍が見られませんが，CT画像では腫瘍が確認できるようです．



# データセット

COVID-19患者やそれ以外の肺炎患者，また健常者のレントゲン画像やCT画像をまとめたデータセットが公開されはじめています（例えば[covid-chestxray-dataset](https://github.com/ieee8023/covid-chestxray-dataset)）．上記のGitHubのレポジトリに動画があるのですが，とても大切なことを言っています．

> Please do not claim diagnostic performance of a model without clinical study! This is not a kaggle competition dataset.

**臨床試験なしで精度を主張しないでください**ということです．やはり医療関連の問題ですので，一般的な機械学習に関する研究の様に，安易に精度を主張しないで欲しいということなのでしょう（しかし後に紹介する論文では精度がアピールされていますね...）．

![data_samples.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/329950/e7e02c54-933c-c8e9-2df2-107bcf8195c7.jpeg)

上図は，(A)健常者，(B)COVID-19，(C)COVID-19ではないウイルス性の肺炎患者のレントゲン画像です（以下より引用[Can AI help in screening Viral and COVID-19 pneumonia?](https://arxiv.org/ftp/arxiv/papers/2003/2003.13145.pdf)）．何を見て判断すれば良いのか私にはわかりませんが，これを深層学習を用いて分類できるようにします．

なお，上記で紹介したデータ以外にも，今は色々なデータがあると思います．



# 結果

以下，3つの論文で使用されたモデルと結果についてまとめます．

## [Can AI help in screening Viral and COVID-19 pneumonia?](https://arxiv.org/ftp/arxiv/papers/2003/2003.13145.pdf)での結果

- AlexNet，ResNet18，DenseNet201，SqueezeNetを使用
- SqueezeNetが最も高性能
- 健常者とCOIVD-19患者の分類実験にて，accuracy 98.3%，sensitivity 96.7%，specificity 100%，precision 100%
- 健常者，COIVD-19患者，それ以外のウイルス性肺炎患者の分類実験にて，accuracy 98.3%，sensitivity 96.7%，specificity 99%，precision 100%

## [CoroNet: A Deep Neural Network for Detection and Diagnosis of Covid-19 from Chest X-ray Images](https://arxiv.org/ftp/arxiv/papers/2004/2004.04931.pdf)での結果

- Xceptionを基にしたCoroNetを提案
- 健常者，細菌性肺炎，ウイルス性肺炎，COVID-19患者の4種類に分類
- 89.5%の分類精度を達成し，特にCOVID-19患者に対してはprecisionとrecall rateが 97%と100%

## [A Deep Convolutional Neural Network for COVID-19 Detection Using Chest X-Rays](https://arxiv.org/pdf/2005.01578v1.pdf)での結果

- CheXNet（DenseNet121をImageNetを用いて訓練した後に，レントゲン画像のデータセットで再度訓練したもの）を提案
- COVID-19患者
を含む14種類のクラス分類を行い，分類精度は97.8%であり，特にCOVID-19に対する精度は98.3%
- Layer Wise Relevance Propagationを用いてネットワークが反応する部分を可視化（下の画像はCOVID-19患者のレントゲン画像であり，赤い部分にネットワークが反応している）
- しかし，反応部分とCOVID-19患者における特徴の様なものに関する言及はない

![covid-19_with_heatmap.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/329950/0a6d99bd-9700-7813-8964-a1094bc6c073.jpeg)

どの論文でも，ものすごい精度が出ているなと感じます．しかし，だからと言ってすぐに現場で使えるという訳でもないようです．以下，日本医学放射線学会の提言をまとめながら，現状の画像検査の有用性をまとめます．



# 画像検査の有用性

日本医学放射線学会は，20年4月21日付けで，以下のページに（[新型コロナウイルス感染症（DOVID-19）流行期における放射線診療についての提言](http://www.radiology.jp/member_info/news_member/20200421_01.html)）画像検査に対する提言をまとめています．なお，まず重要なこととして，

> これまでのところエビデンスは限られている。
> （中略）
> なお、本提言は暫定的なものであり、今後の本邦におけるCOVID-19の蔓延の程度、検査体制の整備、治療薬や予防ワクチンの開発状況等によって、本提言の内容は見直されることがある。

と一番最初に書いてあります．つまり，画像検査で良い結果が得られる保証は上記記事執筆時にはないということ，しかしこの提言は，今後の展開によって変わるものである，ということに留意してください．

以下，簡単に上記ページを要約します．医療初心者が勝手にまとめたものなので，この情報を鵜呑みにせず，詳しく知りたい方は必ず上記ページを読んでください．

- COVID-19患者に対するCT画像検査は推奨しない
- COVID-19の症状があったとしても，必ず全員にCT画像上で肺炎の所見が見られるわけではない（ダイヤモンドプリンセスの事例から）
- またその逆に，COVID-19の症状がなくても，CT画像上で肺炎の所見が見られることはある（普通の肺炎の患者である可能性もある）
- つまり，CT検査で異常が見られなかったとしても，COVID-19に感染していないという証拠にはならない
- CT検査室でのウイルス拡散のリスクもある

という様な感じです．つまり画像検査によって，COVID-19患者のスクリーニング（疑わしい人だけをピックアップするようなこと）を行うことはかなり難しいようであり，現時点では画像検査が有用であるとは断言できないようです．

また20年4月24日付けで，以下のページで提言をおこなっています（[新型コロナウイルス感染症（COVID-19）に対する胸部CT検査の指針（Ver.1.0）](http://www.radiology.jp/member_info/news_member/20200424_01.html)）．これも簡単にまとめますが，鵜呑みにはしないでください．

- 原則，スクリーニングとしてのCT検査は推奨できない
- PCR検査が陽性であっても，CT検査で陰性と判断される偽陰性（陽性患者を陰性と判断してしまう）のケースがある
- COIVD-19患者の画像に特徴的な所見が存在することは報告されているが，他の病気とのオーバーラップが大きく，偽陽性（陽性でない患者を陽性と判断する）可能性がある

偽陰性の存在に関しては，ダイヤモンドプリンセスの例をまとめた論文で報告されているようです（[Chest CT Findings in Cases from the Cruise Ship “Diamond Princess” with Coronavirus Disease 2019 (COVID-19)](https://pubs.rsna.org/doi/10.1148/ryct.2020200110)）．また，画像検査を行う際に関して，以下の様に提言しています．

- 臨床医が肺炎を疑い画像診断を必要と判断した場合に，十分に留意しながらまずはレントゲン撮影を行う
- レントゲン画像で異常影がみられ，他疾患と鑑別を要する場合にはCT撮影を行う
- 症状，地域の情勢から，COVID-19に感染していると判断される可能性が高いがPCR検査で確定できない場合，かつ疾患の進行するリスクが高いと判断される場合にはCT撮影を行う

つまり，画像検査は偽陽性や偽陰性の可能性があるため，安易に利用することを推奨できないようです．画像検査をしたとしても，結局はPCR検査の結果を待たないと判断できない，というのが現状のようです．この様な状況であるため，感染拡大のリスクを鑑みて画像検査を容易に行わないで欲しいと提言しています．



## PCR検査の精度

せっかくなのでPCR検査の精度についても少し調べてみました．以下のページをまとめます（[新型コロナウイルス感染予防対策についてのQ＆A](https://jeaweb.jp/covid/qa/index.html)）．

- そもそもCOVID-19に感染しているかどうかの真値を得られない（現状では統計的に確かなことも言えない）ので，今の段階で精度を議論することは難しい
- 一例では，後に全員が陽性になった集団に対して，早期の検査では60~70%程度しか陽性反応が出なかったという例も報告されている
- だからといって，検出精度が60~70%程度であるということを示唆するわけではない
- PCR検査の精度の問題ではなく，検体の採取に問題がある場合もある（そもそも検体を採取する鼻や喉の部分にウイルスがいない場合もある）
- ちゃんとウイルスが取れているのであれば，精度が高い検査であるといえる

やはりPCR検査も完璧に行うのは難しいようです．COIVD-19は肺の奥の方にウイルス量が多いことも指摘されているようであり，痰などの肺の奥から取れる検体での検査が望ましいようです．



# 個人的感想

個人的な経験ですが，深層学習で95％程度の性能が出る際は，人間が見てもわかりやすいケースが多と思います．しかしながら，実際に現場の意見としては，判断が難しいと考えているようです．つまり，深層学習が

- 過学習を起こしている
- 本当に人間が理解できない特徴を獲得している

のどちらかかと思いますが，どちらも検証は難しいです．

深層学習が私たちの生活に大きな影響を与えたことは間違いありません．しかし，このCOVID-19の騒動で，深層学習が活躍しているかどうかの判断は少し難しいと思います．深層学習はデータを要求しますが，人類初の事象に対しては，当然データはありません．そんな中で，古典的なモデルを使った感染者数予測などに関する報道が目立つ気もします．

改めて深層学習とCOVID-19の情報を集めてみて，深層学習が真に役立つためにも，次の一歩を考える必要があるのではないかと感じました．



# まとめ

胸部X線画像を用いて，深層学習によりCOVID-19の感染陽性・陰性かを予測する取組を紹介しました．またこれにともない，実際の医療の立場の人が画像検査に対してどう考えているのかもまとめてみました．結果として，

- 深層学習を使った予測はとても高性能（精度が98%という例もある）
- しかし医療の立場では画像検査が有効とは現状認められない

ということがわかりました．

余談ですが，日本放射線科専門医会・医会が[国内におけるCOVID19の胸部CT所見をまとめた資料を掲載しました](https://jcr.or.jp/2020/05/04/1-7/)を20年5月4日付けで公開していますが，会員専用ページであるため見れません．プライバシーの問題や，誤った情報が広がるなどといった問題を危惧して，フリーでの公開をしていないのだと思いますが，こういった情報も公開していただけると，研究者としてはありがたいなと思います．

またさらに余談ですが，ここ数日COVID-19関連のデータセットを探していて，感染者数などのデータに関しても，日本のものはアクセスがしずらいなと感じました．kaggleに全世界の感染者数の推移に関するデータセットがありますが，日本政府が発表しているものとは差異があります．幸いにも，手作業でデータセット（CSVファイル）を作成し，公開してくれている方がいます（[COVID-19 dataset in Japan](https://www.kaggle.com/lisphilar/covid19-dataset-in-japan)）．日本のデータは画像やPDFで公開されているようで，それをCSVに起こしてくれたそうです．こういったデータに対するアクセシビリティが上がっていかないと，日本から発信できる技術も少なくなってしまうのではと危惧してしまいます．

日本はプライバシーを尊重する大変良い国だと思います．しかし，こういったデータへのアクセシビリティの低さは，近年の技術発展の流れを鑑みると改善が必要かと感じてしまいます．COVID-19に関するデータがよりアクセスしやすい形となり，それを利用した何か新しい技術ができることを願い，最後にこんなことを書いておきます．



# 最後の最後に

ゴールデンウイークのステイホーム中に，以下の記事を読みました（[1ミリでいいからコロナに反撃したいエンジニアのための“仮想特効薬”の作り方](https://eetimes.jp/ee/articles/2005/03/news014.html)）．家庭用のPCでも，新薬作成のシミュレーションの様なことができるようです．これを見て，ウイルスや感染症とはまったく関係ない研究者ではありますが，何か自分も貢献できないだろかと思い，COVID-19に関する勉強を始めてみました．この大惨事が終結することをただ受け身で待つだけでなく，少しでも何かに貢献できればと思い，この記事を書いてみました．少しでも何かの役に立てば幸いです．