１版様式

Ｃ−１９、Ｆ−１９−１、Ｚ−１９ （共通）

科学研究費助成事業

研究成果報告書
令和

元 年

６ 月 ２１ 日現在

機関番号： ２４２０１
研究種目： 基盤研究(C)（一般）
研究期間： 2016 〜 2018
課題番号： １６Ｋ０１４１５
研究課題名（和文）コンテキスト・アウェアネスを活用した眼底画像からの血管解析法と病変検出法の開発

研究課題名（英文）Development of blood vessels analysis and abnormalities detection based oncontext awareness on retinal images
研究代表者
畑中裕司（Hatanaka, Yuji）

滋賀県立大学・工学部・准教授

研究者番号：００３５３２７７
交付決定額（研究期間全体）：（直接経費）

3,600,000 円

研究成果の概要（和文）：眼底検査は循環器疾患を対象にした検診や人間ドックで用いられている。しかし、検診では医師が目視に頼って主観的評価を行っており、診断の再現性が低く、かつ時間的・人資源的に効率が悪い。過去画像を参照した被験者の経時変化も非効率であるために行われていない。本研究では、眼底を経時的な観点で診断するためのツール開発と、収集した眼底画像データベースから抽出したコンテキストを利用して循環器疾患の病変を自動検出するツールを開発した。

研究成果の学術的意義や社会的意義
少子高齢化社会を迎えるにあたり、低コストで再現性のある定量的な検診が求められる。眼底検査を診断する医師の負担増を招かずに被験者の血管状態の経時変化を解析するためのツールが実在しない。本研究では基礎的なツールを開発し、経時変化解析の有用性に関する臨床研究に役立つことを期待する。また、本研究では画像と教師データを与えることで眼底血管のコンテキストの集約化が可能となり、先行研究よりも容易にツールの導入と運用が可能である。

研究成果の概要（英文）：Funduscopy is introduced in human health checkup and screening forcardiovascular disease. However, physicians subjectively diagnose blood vessels by visualobservation, so that such a diagnosis is low reproducibility and inefficiency in viewpoints of atime and a human cost. A temporal change analysis by using a previous retinal image is also
inefficiency for physicians, so that that analysis is not introduced in cardiovascular screening.
The aim of this study is to develop two tools, which is a diagnostic tool for a temporal change ofblood vessel and a cardiovascular disease detection tool using the blood vessel context on retinalimages.

研究分野： 医用画像処理
キーワード： 高血圧性眼底 循環器疾患 細動脈狭細化
層畳み込みニューラルネットワーク

血管解析

病変検出

経時変化

レジストレーション

深１．研究開始当初の背景
循環器検診の目的で撮影される眼底画像は、ビッグデータとして蓄積されると重要な非侵襲生体データとなり得る。しかし、眼底検査の精度管理、読影のための時間的・人資源的な効率の確保が困難であることから、ビックデータを十分に生かせる環境にない。また、人的作業の自動化を図るにしても、既存の眼底画像の解析手法がフィルタ処理で眼底画像を強調した後に解析する手法であるため、自動化手法の精度が人間の判別水準に達していない。
２．研究の目的
本研究では、過去の症例解析から得られる病変の特徴や眼底の経時変化などの情報から眼底画像解析に有用な情報をコンテキストとして抽出し、それらを利用した血管解析法や病変検出法を開発する。
３．研究の方法
生体検査で唯一、血管を直視できる眼底画像は、循環器疾患を対象にした検診や人間ドックで用いられている。
眼底検査は医師が目視に頼って主観的評価を行っていることが現状であり、診断の再現性が低いことや時間的・人資源的に効率が悪い。また、過去画像の参照による微小な疾病変化を観察する手法は、時間的・人資源的に効率が悪いために有効利用されていない。
本研究では、眼底を経時的な観点で診断するためのツール開発と、眼底画像データベースから血管や病変のコンテキストを集約し、細動脈の状態を解析するツールと病変を自動検出する処理を開発した。
(1) 時系列の眼底画像のレジストレーション
本研究では、細動脈の狭細化や口径不同などの経時変化の臨床研究を進めるためのツール開発を目指した。過去と現在の血管の経時変化を解析するために、図 1 に示す処理で過去と現在の眼底画像のレジストレーションを行う。眼底は球の内面であるため、画像には歪曲歪みがある。そこで、まずは引用文献①（以下、引①とする）を用いて視神経乳頭部を自動抽出し、その重心位置で大まかに位置合わせを行った。そして，血管の芯線を ICP（Iterative ClosestPoint）アルゴリズムで詳細に位置合わせした。
つぎに、過去画像と現在画像で対応する血管を認識し、それぞれの血管径を計測することで経時変化を解析できる図 2 のような処理を開発した．まずは引②を用いて血管の分岐点と交叉点を自動検出して血管を枝セグメント化し、過去と現在画像で対応する枝セグメントの認識を行った．つぎに、血管抽出した過去画像と現在画像を重ね合わせて、領域が重なる枝セグメン
トを同一のセグメントとした。最後に、視神経乳頭側から枝セグメントを A*アルゴリズムで探索しながら、引②を用いて過去画像と現在画像の血管径をそれぞれ計測する。
(2)血管解析：動脈の狭細化検出
眼底画像上の血管領域は溝のような画素値分布になるので、従来の血管抽出法では主にコントラスト強調フィルタが適用されてきた。申請者らも(1)の研究においては、ブラックトップハット変換を用いて血管を強調し、抽出していた。フィルタの設計は経験的かつ実験的に行うことが一般的であるが、眼底血管には血柱反射や蛇行などの様々なパターンがあるため、汎用的なフィルタ設計が困難であった。そこで、本研究では、深層畳み込みニューラルネットワーク（DCNN: Deep Convolutional Neural Network）を用いた血管抽出処理を開発した。様々な血管の局所領域を DCNN に学習させ、眼底画像の局所領域の血管の有無判定を DCNN で行う手法とした。学習データには血管の反射や蛇行などの様々なコンテキストが含まれるため、DCNN の学習過程においてプーリング層にコンテキストが集約されたフィルタが構築される点が従来のフィルタベースの手法と異なる。
眼底の健診において、視神経乳頭周りの動脈と静脈の口径比（AVR: Arteriovenous Ratio）

過去画像

現在画像

分岐交叉の検出
血管抽出

細線化

視神経乳頭領域の抽出

視神経乳頭領域の抽出

血管抽出

分岐交叉で血管を分割
細線化

血管の対応関係の認識

乳頭の重心で位置合わせ
ICPアルゴリズムによる位置合わせ
血管径の経時変化解析（計測）

図 1 眼底画像のレジストレーション

過去画像での計測点の決定

現在画像での計測点の決定

血管径の計測図 2 血管の経時変化解析のフロー

を用いて動脈の狭細化を判定している。したがって、動静脈の分類処理が必要であり、従来は血管の芯線を求めて、芯線の RGB 画素値を用いた線形判別関数で動静脈を分類していた。しかし、血柱反射のある血管の分類ができない問題があり、本研究では DCNN を用いて、自動抽出した血管から動静脈判別する識別器を開発した。最後に引②を用いて動静脈の口径をそれぞれ計測し、動静脈口径比を求めた。
(3)病変検出
図 3 に示すような、糖尿病網膜症の判定所見である毛細血管瘤を自動検出する処理を開発した。(2)と同様に、DCNN の学習処理によって、プーリング層に毛細血管瘤のコンテキストが集約されることを期待した。しかし、毛細血管瘤は直径数画素の小さな点状領域であるため、一般的な DCNN のアプローチでは不十分であった。そこで、非 DCNN の手法として開発した雑誌論文③の中で用いた二重リングフィルタ、Shape Index、Gabor フィルタを用いて点状領域を強調し、DCNN に入力した。同時に、眼底画像の緑色成分画像を入力とした DCNN も構築し、2 つのDCNN が共に検出した領域を毛細血管瘤の初期検出候補とした。最後に、テクスチャ特徴と形状特徴を用いた 3 層ニューラルネットワークを用いて、偽陽性（誤検出）を削除する処理を行った。
４．研究成果(1) 時系列の眼底画像のレジストレーション
本研究では、2009 年と 2013 年に検診で撮影された 10 名の同一被験者の眼底画像を用い、2009年と 2013 年の眼底画像を重ね合わせたときの Jaccard Similarity Index（JSC）で評価した。
レジストレーションを行わなかったとき、10 枚の平均 JSC標準偏差は 0.2330.090 であった。
視神経乳頭の重心でレジストレーションを行うと、0.6010.093 に向上した。さらに、ICP アルゴリズムで詳細にレジストレーションを行うと、0.6910.079 に向上した。図 4 に血管の枝セグメントを対応付けした結果の例と、そのラベル 1 の 2009 年と 2013 年の血管径計測の結果を示す。血管のセグメンテーションに課題を残しており、2013 年の測定点 60〜70 で計測ミスが生じている。しかしながら、人間が手作業で計測した結果と本手法の血管径の平均誤差は約1 画素であり、人為的な誤差の範囲であった。本研究で用いた眼底画像において、2009 年と 2013年の 4 年間で大きく血管の状態が悪化した被験者が存在しなかったため、臨床研究への適用可能性までは追求できなかった。血管のセグメンテーション精度が向上すれば、提案手法が臨床研究に寄与できると考える。
(2)血管解析
研究用に公開されている DRIVE（Digital Retinal Images for Vessel Extraction）データベースを用いて、血管抽出精度を評価した。DRIVE は Web で公開されており、エキスパートが手動抽出した血管画像が付属している。アルゴリズムの学習用画像 20 枚と評価用画像 20 枚で構成されている。開発した処理の DCNN の出力値を対象として、受信者動作特性（ROC: Receiver
Operating Characteristic：ROC）解析に基づく ROC 曲線下面積（AUC: Area Under the Curve）を求めたところ、0.964 であった。主要な先行研究のようにフィルタ設計の問題の解消を図るために別途、高次局所自己相関特徴を用いた血管抽出処理も開発した（5 の雑誌論文⑤）。この方法を DRIVE データベースに適用したとき、その AUC は 0.960 であった。したがって、DCNN による血管抽出処理は、十分な性能を有することを示せた。
前述の DRIVE データベースは画像の解像度が低いため、INSPIRE‑AVR(Iowa Normative Set for

眼底画像

二重リングフィルタ

ShapeIndex

Gaborフィルタ

緑成分

DCNN

2009 年2013 年

DCNN

偽陽性削除

眼底画像

図 3 血管径の計測結果例

図 4 血管径の計測結果例

Processing Images of Retina)を用いて動静脈分類と AVR 計測の精度を評価した。本データベースには眼底画像 40 枚が含まれ、2 名のエキスパートが手動計測した AVR が添付されている。
動静脈をアノテーションしたデータが含まれていないため、Dashtbozorg らが作成した動静脈のラベルを用いて、無作為抽出した眼底画像 10 枚に適用したとき、視神経乳頭周りにおける動静脈の 93％を正しく分類した。さらに、INSPIRE‑AVR の画像 40 枚を用いて、AVR 計測を行った。
2 名のエキスパート間の絶対誤差の平均は 0.05 であったが、エキスパート名と開発した手法による AVR 計測の絶対誤差の平均は 0.06 であった。以上の結果より、開発した手法はエキスパー
ト 2 名の個人差に近い精度で AVR を計測できるといえる。
(3)病変検出研究用に公開されている DIARETDB1（Standard Diabetic Retinopathy Database Calibrationlevel 1）データベースを用いて、毛細血管瘤の自動検出精度を評価した。本データベースは学習用画像 28 枚と評価用画像 61 枚から構成されている。その結果、画像当たりの偽陽性数が 8箇所となるようにシステムのパラメタを設定したとき、毛細血管瘤の検出率が 87%となった。
同じく DCNN を用いた海外の競合手法による同一データベースでの検出率 64％を大きく上回っていることから、開発した手法の検出精度が良好であることが示された。
(4)結果のまとめ
本研究では、血管状態の経時変化を容易に観察できるツールを開発し、細動脈の狭細化などの血管異常の定量的判定の改善法の検討を計画した。国内施設で収集した検診目的の眼底画像は、4 年間で血管状態が目立って変化した症例を見つけることができなかった。したがって、血管の経時変化を定量的に観察するツール開発(1)と、現在の検診で目視観察している AVR の定量的な計測処理の開発(2)を別々に実施した。評価実験によって、それぞれが高い精度で処理できることを示した。本研究では(1)と(2)の融合を眼底画像データベースの収集課題で実施できなかったが、両者の融合によって細動脈の狭細化が進行する現象を定量的かつ容易に観察することが可能になる。また、(1)と(2)の融合により、過去画像における解析結果を現在画像に適用できるようになり、動静脈の認識処理などを現在画像で行う必要がなくなる。例えば、ツールが動静脈を誤認したとき、ユーザが分類結果を修正しておけば、未来に撮影される眼底画像
では過去の分類結果を適用するため、誤認することがなくなる。(2)においても、解析結果をユーザが修正し、修正した結果、即ち正解データを用いて DCNN をファインチューニングすることによって DCNN の精度向上が期待できるため、将来の医療情報のビッグデータ化に対応できる基礎技術を開発できたと考える。
＜引用文献＞① C.Muramatsu, T.Nakagawa, A.Sawada, Y.Hatanaka, T.Hara, T.Yamamoto and H.Fujita:
Automated segmentation of optic disc region on retinal fundus photographs: Comparisonof contour modeling and pixel classification methods, Computer Methods and Programsin Biomedicine, Vol.101, No.1, 2011, 23‑32② 立木宏和, 畑中裕司, 奥村 進, 小郷原一智, 村松左子, 藤田広志：網膜動脈硬化症判定のための血管径の計測法の開発，第 34 回日本医用画像工学会大会 予稿集，2015, PP‑10５．主な発表論文等〔雑誌論文〕（計 8 件）① 宮下充浩，畑中裕司，小郷原一智，村松千左子，砂山 渡，藤田広志：畳み込みニューラル
ネ ッ ト ワ ー ク を 用 い た 眼 底 画 像 に お け る 毛 細 血 管 瘤 の 自 動 検 出 ， Medical Imaging
Technology, Vol.36, No.4, 2018, 189‑195
DOI: 10.11409/mit.36.189② 畑中裕司：眼底画像診断における最新動向, 画像電子学会誌, Vol.47, No.3, 2018, 268‑273
https://www.iieej.org/journal/画像電子学会誌‑vol‑47‑no‑3/③ Yuji Hatanaka, Tsuyoshi Inoue, Kazunori Ogohara, Susumu Okumura, Chisako Muramatsu
and Hiroshi Fujita: Automated microaneurysm detection in retinal fundus images basedon the combination of three detectors, Journal of Medical Imaging and Health
Informatics, Vol.8, No.5, 2018, 1103‑1112
DOI: 10.1166/jmihi.2018.2419④ 畑中裕司：濃度勾配ベクトル集中度を用いた眼底画像における毛細血管瘤の自動検出，画像ラボ, vol.29, no.1, 2018, 17‑23
https://www.nikko‑pb.co.jp/products/detail.php?product̲id=4234⑤ Yuji Hatanaka, Kazuki Samo, Kazunori Ogohara, Wataru Sunayama, Chisako Muramatsu,Susumu Okumura and Hiroshi Fujita: Automated blood vessel extraction based onhigh‑order local autocorrelation features on retinal images, VipIMAGE 2017, Lecture
Notes in Computational Vision and Biomechanics, Vol. 27, 2017, 803‑808
DOI: 10.1007/978‑3‑319‑68195‑5̲87⑥ Yuji Hatanaka, Mikiya Tajima, Ryo Kawasaki, Koko Saito, Kazunori Ogohara, ChisakoMuramatsu, Wataru Sunayama and Hiroshi Fujita: Retinal biometrics based on iterative
closest point algorithm, Proc. 39th Annual International Conference of the IEEE
Engineering in Medicine and Biology Society, 2017, pp.373‑376
DOI: 10.1109/EMBC.2017.8036840⑦ 畑中裕司，立木宏和，奥村 進，小郷原一智，村松千左子，藤田広志：眼底画像における主幹動静脈の独立抽出法，医用画像情報学会雑誌，Vol.34, No.3, 2017, 136‑140
DOI: 10.11318/mii.34.136⑧ Yuji Hatanaka, Hirokazu Tachiki, Kazunori Ogohara, Chisako Muramatsu, Susumu Okumura
and Hiroshi Fujita: Artery and vein diameter ratio measurement based on improvementof arteries and veins segmentation on retinal images, Proc. 38th Annual International
Conference of the IEEE Engineering in Medicine and Biology Society, 2016, 1336‑1339
DOI: 10.1109/EMBC.2016.7590954〔学会発表〕（計 18 件）
① 田島幹也，畑中裕司，川崎 良，斎藤公子，小郷原一智，村松千左子，奥村 進，藤田広志：眼底画像における経時変化解のための位置合わせアルゴリズム，第 35 回日本医用画像工学会大会，PP‑45, 千葉，2016② 畑中裕司，佐茂和輝，小郷原一智，村松千左子，砂山 渡，藤田広志：ブラックハット変換と高次局所自己相関特徴に基づく眼底血管の自動抽出，画像電子学会第 278 回研究会，函館，2016③ 渡邊颯友，村松千左子，周 向栄，畑中裕司，原 武史，藤田広志：眼底画像における全畳み込みニューラルネットワークを用いた網膜神経線維層欠損検出，平成 28 年度日本生体医工学会東海支部大会, 2016
④ Yuji Hatanaka, Kazunori Ogohara, Susumu Okumura, Chisako Muramatsu and Hiroshi
Fujita: Automatic detection of microaneurysms on non‑contrast retinal images, 2017
International Workshop on Advanced Image Technology, Penang, Malaysia, 2017
⑤ Kazuki Samo, Yuji Hatanaka, Kazunori Ogohara, Wataru Sunayama, Chisako Muramatsu,and Hiroshi Fujita: Automated classification of arteries and veins in retinal images
for measurement of arteriolar‑to‑venular diameter ratio, 2017 International Forumon Medical Imaging in Asia, Naha, 2017
⑥ Mikiya Tajima, Yuji Hatanaka, Kazunori Ogohara, Wataru Sunayama, Ryo Kawasaki, Koko
Saito, Chisako Muramatsu and Hiroshi Fujita: Preliminary study: A person
identification method using blood vessel in retinal fundus images, 2017 InternationalForum on Medical Imaging in Asia, Naha, 2017⑦ 畑中裕司，宮下充浩，小郷原一智，村松千左子，砂山渡，奥村 進，藤田広志:非造影眼底
画像における毛細血管瘤の自動検出，医用画像情報学会 平成 28 年度春季（第 177 回）大会，福岡，2017⑧ Ryusuke Watanabe, Chisako Muramatsu, Kyoko Ishida, Akira Sawada, Yuji Hatanaka,Tetsuya Yamamoto, Hiroshi Fujita: Automated detection of nerve fiber layer defects
on retinal fundus images using fully convolutional network for early diagnosis ofglaucoma, SPIE Medical Imaging 2017: Computer‑Aided Diagnosis, Orlando, FL, USA, 2017⑨ 渡邊颯友，村松千左子，周 向栄，畑中裕司，原 武史，藤田広志：眼底画像における全畳み込みニューラルネットワークを用いた網膜神経線維層欠損検出法の改良，医用画像情報学会 平成 29 年度年次（第 178 回）大会，大阪，2017⑩ 宮下充浩，畑中裕司，砂山 渡，小郷原一智，村松千左子，藤田広志：畳み込みニューラ
ルネットワークを用いた眼底画像における毛細血管瘤の自動検出，第 36 回日本医用画像工学会大会，岐阜，2017⑪ 井川 響，畑中裕司，砂山 渡，小郷原一智，村松千左子，藤田広志：深層畳み込みニューラルネットワークを用いた眼底の血管抽出，第 36 回日本医用画像工学会大会，岐阜，2017⑫ 後藤拓真，村松千左子，石田恭子，澤田 明，畑中裕司，山本哲也，藤田広志：眼底画像における視神経乳頭周辺を用いた Deep Learning による緑内障診断，第 36 回日本医用画像工学会大会，岐阜，2017⑬ Yuji Hatanaka, Mitsuhiro Miyashita, Kazunori Ogohara, Wataru Sunayama, Chisako
Muramatsu and Hiroshi Fujita: Automatic microaneurysms detection on retinal images
using deep convolution neural network, 2018 International Workshop on Advanced Image
Technology, Chiang Mai, Thailand, 2018
⑭ Yuji Hatanaka, Hibiki Ikawa, Mitsuhiro Miyashita, Wataru Sunayama, Kazunori Ogohara,
Chisako Muramatsu and Hiroshi Fujita: Retinal image analysis using convolutional
neural network, 40th Annual International Conference of the IEEE Engineering inMedicine and Biology Society, Honolulu, Hawai, USA, 2018⑮ 宮下充浩，畑中裕司，砂山 渡，小郷原一智，村松千左子，藤田広志：畳み込みニューラ
ルネットワークを用いた眼底画像における毛細血管瘤の自動検出 〜偽陽性候補の削減〜，
第 37 回日本医用画像工学会大会，筑波，2018

⑯ Hibiki Ikawa, Yuji Hatanaka, Wataru Sunayama, Kazunori Ogohara, Chisako Muramatsu
and Hiroshi Fujita: Arteriovenous classification method using convolutional neuralnetwork for early detection of retinal vascular lesion, 2019 International Forum on
Medical Imaging in Asia, Singapore, 2019⑰ 宮下充浩，畑中裕司，小郷原一智，村松千左子，砂山 渡，藤田広志：深層学習を用いた眼底画像における毛細血管瘤の自動検出の汎化性能の検討，
医用画像連合フォーラム 2019，沖縄, 2019⑱ 畑中裕司：眼底画像診断のための AI 開発，平成 30 年度 第 52 回光学五学会関西支部連合
講演会，大阪, 2019〔図書〕
（計 3 件）① Yuji Hatanaka and Hiroshi Fujita, Taylor and Francis, Computer‑aided Diagnosis with
Retinal Fundus Images in Medical Image Analysis and Informatics: Computer‑aidedDiagnosis and Therapy (Eds. Paulo Mazzoncini de Azevedo Marques, Arianna Mencattini,Marcello Salmeri and Rangaraj M. Rangayyan), 2017, 29‑55② 畑中裕司，オーム社，動かす，医用画像ディープラーニング入門（藤田広志監修），2019，41‑52③ 畑中裕司，オーム社，眼底画像，医用画像ディープラーニング入門（藤田広志監修），2019，
46‑150〔産業財産権〕○出願状況（計 0 件）
○取得状況（計 0 件）
〔その他〕
なし
６．研究組織(1)研究分担者

研究分担者氏名：川崎 良
ローマ字氏名：Ryo Kawasaki
所属研究機関名：大阪大学
部局名：医学系研究科
職名：教授
研究者番号（8 桁）：70301067