(57)【要約】  本発明の一実施形態の畳み込みニューラルネットワーク（ＣＮＮ）を用いた消化器官の内視鏡画像による疾患の診断支援方法は、前記消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、もしくは、重症度のレベルに対応する情報の少なくとも１つの確定診断結果と、を用いてＣＮＮを訓練し、前記訓練されたＣＮＮは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、疾患の重症度のレベル、又は、疾患の深達度（浸潤深さ）に対応する確率の少なくとも１つを出力する。本実施形態によれば、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、疾患の重症度のレベル、疾患の深達度等を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。
2020105699.tif 000002
【特許請求の範囲】
【請求項１】
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果と、
を用いて畳み込みニューラルネットワークシステムを訓練し、
前記訓練された畳み込みニューラルネットワークシステムは、前記消化器官の第２の内視鏡画像に基いて、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する確率の少なくとも１つを出力する、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練された畳み込みニューラルネットワークプログラムは、前記内視鏡画像入力部から入力されたワイヤレスカプセル内視鏡画像の突出病変の確率スコアを出力することを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項２】
前記訓練された畳み込みニューラルネットワークプログラムは、検出した前記突出病変の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の内視鏡画像内に前記確率スコアを表示することを特徴とする、請求項１に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項３】
前記第２の内視鏡画像内には、前記小腸の前記疾患の陽性又は陰性の確定診断結果に基いて前記突出病変の領域として表示され、
前記訓練された畳み込みニューラルネットワークプログラムは、前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークプログラムの診断結果の正誤を判定することを特徴とする、請求項１に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項４】
前記重なりが、
（１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
（２）前記訓練された畳み込みニューラルネットワークプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
前記訓練された畳み込みニューラルネットワークプログラムの診断は正しいと判定することを特徴とする、請求項３に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項５】
前記小腸の前記疾患の陽性又は陰性の診断結果は、前記突出病変がポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造のいずれかであることを判定することを特徴とする、請求項１に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項６】
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果と、
を用いて畳み込みニューラルネットワークシステムを訓練し、
前記訓練された畳み込みニューラルネットワークシステムは、前記消化器官の第２の内視鏡画像に基いて、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する確率の少なくとも１つを出力する、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
前記消化器官が小腸であり、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記疾患が出血の有無であることを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
【請求項７】
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果と、
を用いて畳み込みニューラルネットワークシステムを訓練し、
前記訓練された畳み込みニューラルネットワークシステムは、前記消化器官の第２の内視鏡画像に基いて、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する確率の少なくとも１つを出力する、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
前記消化器官が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記疾患が扁平上皮癌の深達度であることを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
【請求項８】
前記食道の前記疾患の陽性又は陰性の診断結果は、前記扁平上皮癌の深達度が粘膜上皮−粘膜固有層、粘膜筋板、粘膜下層表面近傍、粘膜下層中間部以深のいずれかであることを判定することを特徴とする、請求項７に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
【請求項９】
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果と、
を用いて畳み込みニューラルネットワークシステムを訓練し、
前記訓練された畳み込みニューラルネットワークシステムは、前記消化器官の第２の内視鏡画像に基いて、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する確率の少なくとも１つを出力する、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
前記消化器官の部位が咽頭であって、前記内視鏡画像が食道胃十二指腸内視鏡検査画像であり、前記疾患が咽頭癌であることを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
【請求項１０】
前記内視鏡画像が白色光内視鏡画像であることを特徴とする、請求項９に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
【請求項１１】
前記畳み込みニューラルネットワークは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする、請求項１−１０のいずれかに記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
【請求項１２】
前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１−１０のいずれかに記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法。
【請求項１３】
内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
前記畳み込みニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記畳み込みニューラルネットワークプログラムは、
前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報に対応する確率の少なくとも１つを前記出力部に出力するものとされており、
前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練された畳み込みニューラルネットワークプログラムは、前記内視鏡画像入力部から入力されたワイヤレスカプセル内視鏡画像の突出病変の確率スコアを出力することを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項１４】
前記訓練された畳み込みニューラルネットワークプログラムは、検出した前記突出病変の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の内視鏡画像内に前記確率スコアを表示することを特徴とする、請求項１３に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項１５】
前記第２の内視鏡画像内には、前記小腸の前記疾患の陽性又は陰性の確定診断結果に基いて前記突出病変の領域として表示され、
前記訓練された畳み込みニューラルネットワークプログラムは、前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練された畳み込みニューラルネットワークプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練された畳み込みニューラルネットワークプログラムの診断結果の正誤を判定することを特徴とする、請求項１３に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項１６】
前記重なりが、
（１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
（２）前記訓練された畳み込みニューラルネットワークプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
前記訓練された畳み込みニューラルネットワークプログラムの診断は正しいと判定することを特徴とする、請求項１５に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項１７】
前記訓練された畳み込みニューラルネットワークプログラムは、前記第２の画像内に前記突出病変がポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造のいずれかであることを表示することを特徴とする、請求項１３に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項１８】
内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
前記畳み込みニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記畳み込みニューラルネットワークプログラムは、
前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報に対応する確率の少なくとも１つを前記出力部に出力するものとされており、
前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練された畳み込みニューラルネットワークプログラムは前記第２の画像内に前記疾患としての出血の有無の確率を表示することを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項１９】
内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
前記畳み込みニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記畳み込みニューラルネットワークプログラムは、
前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報に対応する確率の少なくとも１つを前記出力部に出力するものとされており、
前記消化器官の部位が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記訓練された畳み込みニューラルネットワークプログラムは前記第２の画像内に前記疾患としての扁平上皮癌の深達度を表示することを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項２０】
前記訓練された畳み込みニューラルネットワークプログラムは、前記第２の画像内に前記扁平上皮癌の深達度が粘膜上皮−粘膜固有層、粘膜筋板、粘膜下層表面近傍、粘膜下層中間部以深のいずれかであることを表示することを特徴とする、請求項１９に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項２１】
内視鏡画像入力部と、出力部と、畳み込みニューラルネットワークが組み込まれたコンピュータと、を有する畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
前記畳み込みニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記畳み込みニューラルネットワークプログラムは、
前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、前記疾患の深達度に対応する情報に対応する確率の少なくとも１つを前記出力部に出力するものとされており、
前記消化器官の部位が咽頭であって、前記内視鏡画像が食道胃十二指腸内視鏡検査画像であり、前記疾患が咽頭癌であることを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項２２】
前記内視鏡画像が白色光視鏡画像であることを特徴とする、請求項２１に記載の畳み込みニューラルネットワークシステムを用いた化器官の内視鏡画像による疾患の診断支援システム。
【請求項２３】
前記畳み込みニューラルネットワークプログラムは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする、請求項１３−２２のいずれかに記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項２４】
前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１３−２２のいずれかに記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援システム。
【請求項２５】
請求項１３−２４のいずれかに記載の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする、畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による診断支援プログラム。
【請求項２６】
請求項２５に記載の畳み込みニューラルネットワークシステムを用いた消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワーク（neural network）を用いた消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プロラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
消化器官、例えば、喉頭、咽頭、食道、胃、十二指腸、胆道、膵菅、小腸、大腸などに対し、内視鏡検査が多く行われている。上部消化器官の内視鏡検査は、胃癌、食道癌、消化性潰瘍、逆流性胃炎などのスクリーニングのために、また、大腸の内視鏡検査は大腸癌、大腸ポリープ、潰瘍性大腸炎等のスクリーニングのために、しばしば行われている。特に上部消化器官の内視鏡検査は、様々な上腹部症状の詳細な検査、胃の病気に対するバリウム検査の陽性結果を受けての精密検査、及び、日本の定期健康診断に一般的に組み込まれている異常な血清ペプシノゲンレベルに対する精密検査にも有用である。また、近年では、胃癌検診は従来のバリウム検査から胃内視鏡検査への移行が進んでいる。【０００３】
胃癌は、最も一般的な悪性腫瘍の１つであり、数年前には世界中で約１００万件も発症したものと推定されている。胃癌発症の根本原因のうち、ヘリコバクター・ピロリ（Helicobacter pylori、以下、「Ｈ．ピロリ」ということがある。）感染は、萎縮性胃炎、腸上皮化生を誘導し、最終的には胃癌発症につながる。世界中で非噴門胃癌のうちの９８％はＨ．ピロリが寄与していると考えられている。Ｈ．ピロリに感染した患者の胃癌の危険性が高まり、Ｈ．ピロリ除菌後の胃癌の発生率が低下したことを考慮し、国際癌研究機関（International Agency for Research on Cancer）は、Ｈ．ピロリを明確な発癌物質と分類している。この結果から、胃癌発症のリスクを低減させるためにはＨ．ピロリの除菌が有用であり、抗菌薬によるＨ．ピロリの除菌はわが国の保険診療にもなっており、今後とも保健衛生上強く奨励される治療法である。事実、日本国の厚生労働省は、２０１３年２月にＨ．ピロリ感染による胃炎患者の根絶治療のための健康保険適用を承認した。【０００４】
Ｈ．ピロリ感染の存在についての鑑別診断には、胃内視鏡検査は極めて有用な情報を提供する。毛細血管がきれいに見える場合（ＲＡＣ（regular arrangement of collecting venules））や胃底腺ポリープはＨ．ピロリ陰性の胃粘膜に特徴的であるが、萎縮、発赤、粘膜腫脹、皺壁肥大は、Ｈ．ピロリ感染胃炎の代表的な所見である。また、斑状赤斑は、Ｈ．ピロリを除菌した胃粘膜の特性である。Ｈ．ピロリ感染の正確な内視鏡診断は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定、尿素呼気試験、又は迅速ウレアーゼ試験などの様々な検査によって確認され、検査結果が陽性の患者はＨ．ピロリ除菌に進むことができる。内視鏡検査は広く胃病変の検査に使われるが、臨床検体分析によらずに胃病変の確認時にＨ．ピロリ感染までも特定できるようになれば、画一的に血液検査や尿検査等を行うことのなく、患者の負担は大きく減り、また医療経済上の貢献も期待できる。【０００５】
また、食道癌は８番目に多い癌で、６番目に多い癌の死亡原因であり、２０１２年には４５６，０００件の新たな症例と４０万人の死亡が推定されている。ヨーロッパや北米では食道腺癌の発生率は急速に高まっているが、扁平上皮癌（ＳＣＣ）は全世界の食道癌の８０％を占める最も一般的な腫瘍型である。進行した食道ＳＣＣ患者の全生存率は依然として低いままである。しかし、この癌が粘膜癌又は粘膜下癌として検出されれば、良好な予後が期待できる。【０００６】
また、全大腸内視鏡検査（colonoscopy、ＣＳ）は、結腸・直腸癌（colorectal cancer、ＣＲＣ）、結腸・直腸ポリープ及び炎症性大腸疾患などの結腸・直腸疾患を高感度及び高特異度を持って検出することができる。このような疾患の早期診断により、患者はよりよい予後の早期治療が可能になるため、ＣＳの十分な品質を提供することが重要である。【０００７】
このように、上部消化器官及び大腸の内視鏡検査は広く行われるようになっているが、小腸に対する内視鏡検査は、一般的な内視鏡を小腸の内部にまで挿入することが困難なため、あまり行われていない。一般的な内視鏡は長さが約２ｍ程度であり、小腸まで内視鏡を挿入するには、経口的に胃及び十二指腸を経由して、あるいは経肛門的に大腸を経由して小腸まで挿入する必要があり、しかも、小腸自体は６−７ｍ程度もある長い器官であるので、一般的な内視鏡では小腸全体に亘る挿入及び観察が困難なためである。そのため、小腸の内視鏡検査には、ダブルバルーン内視鏡(特許文献１参照）又はワイヤレスカプセル内視鏡（Wireless Capsule Endoscopy、以下単に「ＷＣＥ」ということがある。）(特許文献２参照）が使用されている。【０００８】
ダブルバルーン内視鏡は、内視鏡の先端側に設けられたバルーンと、内視鏡を覆うオーバーチューブの先端側に設けられたバルーンとを、交互にあるいは同時に膨らませたりしぼませたりして、長い小腸をたぐり寄せるようにして短縮化・直線化しながら検査を行う方法であるが、小腸の長さが長いので、一度に小腸の全長に亘って検査を行うことは困難である。そのため、ダブルバルーン内視鏡による小腸の検査は、通常は経口的な内視鏡検査と、経肛門的な内視鏡検査との２回に分けて行われている。【０００９】
また、ＷＣＥによる内視鏡検査は、カメラ、フラッシュ、電池、送信機等が内蔵された経口摂取可能なカプセルを飲み込み、カプセルが消化管内を移動中に撮影した画像を無線で外部に送信し、これを外部で受信及び記録することにより検査が行われるものであり、一度に小腸の全体に亘る撮影が可能である。【００１０】
また、咽頭癌はしばしば進行した段階で検出され、予後は不良である。さらに、咽頭癌の進行した患者は、外科的切除と化学放射線療法を必要とし、美容上の問題と、嚥下及び会話の機能喪失の両方の問題があり、結果として生活の質を大きく低下させる。従前、食道胃十二指腸内視鏡（ＥＧＤ）検査では、患者の不快感を軽減するために内視鏡が咽頭を素早く通過することが重要であると考えられ、咽頭の観察も確立されていなかった。内視鏡医は、食道の場合とは異なり、気道への誤嚥のリスクがあるため、咽頭でヨウ素染色を使用できない。したがって、表在性咽頭癌はほとんど検出されなかった。【００１１】
しかし、近年、狭帯域イメージング（ＮＢＩ）などの画像強調内視鏡検査の開発及び内視鏡医の意識の向上もあり、食道胃十二指腸内視鏡検査中の咽頭癌の検出が増加している。表在性咽頭癌（ＳＰＣ）の検出の増加に伴い、表在性胃腸癌の局所切除として確立された内視鏡的切除術（ＥＲ）、内視鏡的粘膜下層剥離術（ＥＳＤ）、又は内視鏡的粘膜切除術（ＥＭＲ）により表在性咽頭癌を治療する機会が得られる。また、表在性咽頭癌の患者の機能と生活の質を維持する理想的な低侵襲治療である表在性咽頭癌の内視鏡的粘膜下層剥離術による短期及び長期の好ましい治療結果も報告されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００２−３０１０１９号公報
【特許文献２】特開２００６−０９５３０４号公報
【特許文献３】特開２０１７−０４５３４１号公報
【特許文献４】特開２０１７−０６７４８９号公報
【非特許文献】
【００１３】
【非特許文献１】Bibault JE, Giraud P, Burgun A. Big Data and machine learning in radiation oncology: State of the art and future prospects. Cancer Lett. 2016;382(1):110-117.
【非特許文献２】Esteva A, Kuprel B, Novoa RA, et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature. 2017;542(7639):115-118.
【非特許文献３】Gulshan V, Peng L, Coram M, et al. Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs. JAMA. 2016;316(22):2402-2410.
【非特許文献４】Byrne MF, Chapados N, Soudan F, et al. Real-time differentiation of adenomatous and hyperplastic diminutive colorectal polyps during analysis of unaltered videos of standard colonoscopy using a deep learning model. Gut. 2017.
【非特許文献５】Chen PJ, Lin MC, Lai MJ, Lin JC, Lu HH, Tseng VS. Accurate Classification of Diminutive Colorectal Polyps Using Computer-Aided Analysis. Gastroenterology. 2018;154(3):568-575.
【非特許文献６】Misawa M, Kudo SE, Mori Y, et al. Artificial Intelligence-Assisted Polyp Detection for Colonoscopy: Initial Experience. Gastroenterology. 2018.
【非特許文献７】Takiyama H, Ozawa T, Ishihara S, et al. Automatic anatomical classification of esophagogastroduodenoscopy images using deep convolutional neural networks. Sci Rep. 2018;8(1):7497.
【非特許文献８】Hirasawa T, Aoyama K, Tanimoto T, et al. Application of artificial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images. Gastric Cancer. 2018.
【非特許文献９】Shichijo S, Nomura S, Aoyama K, et al. Application of Convolutional Neural Networks in the Diagnosis of Helicobacter pylori Infection Based on Endoscopic Images. EBioMedicine. 2017;25:106-111.
【非特許文献１０】Iakovidis DK, Koulaouzidis A. Automatic lesion detection in capsule endoscopy based on color saliency: closer to an essential adjunct for reviewing software. Gastrointestinal endoscopy 2014 Nov;80(5):877-83.
【非特許文献１１】Boal Carvalho P, Magalhaes J, Dias DE Castro F, et al. Suspected blood indicator in capsule endoscopy: a valuable tool for gastrointestinal bleeding diagnosis. Arq Gastroenterol. 2017;54(1):16-20.
【非特許文献１２】Muto M, Minashi K, Yano T, et al. Early detection of superficial squamous cell carcinoma in the head and neck region and esophagus by narrow band imaging: a multicenter randomized controlled trial. J Clin Oncol. 2010 Mar 20; 28(9): 1566-1572.
【非特許文献１３】Korman LY, Delvaux M, Hagenmuller F, Keuchel M, Friedman S, Weinstein M, Shetzline M, Cave D, de Franchis R: Capsule endoscopy structured terminology (CEST): proposal of a standardized and structured terminology for reporting capsule endoscopy procedures. Endoscopy 2005, 37(10):951-959.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
このような消化器官の内視鏡検査においては、多くの内視鏡画像が収集されるが、精度管理のために内視鏡専門医による内視鏡画像のダブルチェックが義務付けられている。年に数万件もの内視鏡検診に伴い、二次読影において内視鏡専門医が読影する画像枚数は１人あたり１時間で約２８００枚と膨大なものとなっており、現場の大きな負担となっている。【００１５】
特に小腸のＷＣＥによる検査では、ＷＣＥの移動は、ＷＣＥ自体の動きによるものではなく、腸の蠕動によるものであるため、外部から動きを規制することはできないので、見逃しを防ぐために一度の検査で多数の画像が撮影され、しかも、ＷＣＥが小腸を移動している時間は約８時間もあるため、一度の検査で撮影される画像は非常に多くなる。たとえば、ＷＣＥは１人あたり約６０，０００枚の画像を無線で送信するので、内視鏡専門医は早送りしてチェックすることとなるが、異常な所見は１フレームないし２フレームしか現れない可能性があるため、これによる平均的なＷＣＥ画像分析には３０−１２０分の厳しい注意と集中が必要である。【００１６】
しかも、これらの内視鏡画像に基づく診断は、内視鏡専門医に対する訓練や、保存画像をチェックするのに多くの時間を要するばかりか、主観的であり、様々な偽陽性判断及び偽陰性判断を生じる可能性がある。さらに、内視鏡専門医による診断は、疲労により精度が悪化することがある。このような現場の多大な負担や精度の低下は、受診者数の制限にもつながる可能性があり、ひいては需要に応じた医療サービスが十分に提供されない懸念も想定される。【００１７】
また、表在性咽頭癌（ＳＰＣ）の検出と治療に関するほとんど全ての報告は日本国からのものであり、これらの手法で採用されている狭帯域イメージング（ＮＢＩ）や拡大内視鏡（ＩＥＥ）検査などの画像強調内視鏡検査は世界中で普及しているわけではない。内視鏡医への十分な教育なしに、狭帯域イメージングや拡大内視鏡を使用せずに表在性咽頭癌を検出することは困難だからある。そのため食道胃十二指腸内視鏡検査画像で表在性咽頭癌を検出する効率的なシステムが強く求められている。【００１８】
上記の内視鏡検査の労務負荷と精度低下の改善のためには、ＡＩ（人工知能：artificial intelligence）の活用が期待されている。近年の画像認識能力が人間を上回ったＡＩを内視鏡専門医のアシストとして使用できれば、二次読影作業の精度とスピードを向上させるものと期待されている。近年、ディープラーニング（深層学習）を用いたＡＩが様々な医療分野で注目されており、放射線腫瘍学、皮膚癌分類、糖尿病性網膜症(非特許文献１−３参照）や消化器内視鏡分野、特に大腸内視鏡を含む分野(非特許文献４−６参照）だけでなく、様々な医療分野において、医学画像を専門医に替わってスクリーニングできるとの報告がある。また、各種ＡＩを利用して医用画像診断を行った特許文献（特許文献３、４参照）も存在する。しかし、ＡＩの内視鏡画像診断能力が実際の医療現場において役立つ精度（正確性）と性能（スピード）を満たせるかどうかについては、十分に検証されておらず、ＡＩを利用した内視鏡画像に基づく診断は、未だに実用化されていない。【００１９】
ディープラーニングは、複数に重ねて構成されたニューラルネットワークを用いて、入力データから高次の特徴量を学習できる。また、ディープラーニングは、バックプロパゲーション・アルゴリズムを使用して、各層の表現を前の層の表現から計算するために使用される内部パラメータを、装置がどのように変更すべきかを示すことによって更新することができる。【００２０】
医用画像の関連付けに際しては、ディープラーニングは、過去に蓄積された医用画像を用いて訓練することができ、医学的画像から患者の臨床的特徴を直接得ることができる強力な機械学習技術になり得る。ニューラルネットワークは脳の神経回路の特性を計算機上のシミュレーションによって表現した数理モデルであるところ、ディープラーニングを支えるアルゴリズムのアプローチがニューラルネットワークである。畳み込みニューラルネットワーク（ＣＮＮ）は、Szegedyらによって開発され、画像の深層学習のための最も一般的なネットワークアーキテクチャである。【００２１】
消化管内視鏡検査における内視鏡画像の判定作業において、高い精度を維持した上での効率化が大きな課題になっている。また、この分野の画像解析にＡＩを活用しようとしたときには、そのＡＩ技術の向上が大きな課題となっている。発明者等は、解剖学的部位に応じて食道・胃・十二指腸の画像を分類でき、内視鏡画像中の胃癌を確実に見出すことができるＣＮＮシステムを構築した(非特許文献７，８参照）。【００２２】
さらに、発明者等は、最近、内視鏡画像に基づくＨ．ピロリ胃炎の診断におけるＣＮＮの役割を報告し、ＣＮＮの能力が経験豊富な内視鏡医に匹敵し、診断時間がかなり短くなることを示した（非特許文献９参照）。しかし、このＣＮＮは、訓練／検証用データセットとして、Ｈ．ピロリ除菌された症例が除外され、Ｈ．ピロリ陽性及び陰性の症例のみが用いられており、予めＨ．ピロリ除菌された症例を除外した訓練／検証用データセットの構築に手間が掛かるという課題が存在するほか、Ｈ．ピロリ陽性及び陰性の症例のみでなく、Ｈ．ピロリ除菌された症例をも正確に同定することができるかどうかは評価できないという課題が存在している。【００２３】
また、ＣＳを実施する場合、開業医は通常、直腸、結腸、及び終末回腸の一部を検査するが、疾患の臨床特性は結腸・直腸の解剖学的部位によって異なる。例えば、いくつかの最近の研究によると、結腸・直腸癌では、化学療法による疫学、予後及び臨床結果に関して、右側結腸及び左側結腸でいくつかの違いが指摘されている。同様に、大腸の解剖学的部位は、潰瘍性大腸炎の治療にとって重要である。潰瘍性大腸炎における経口薬剤ないし座薬の適用性は大腸炎の存在位置に基づくからである。従って、ＣＳ検査に際して結腸・直腸疾患の解剖学的部位を正確に特定することは臨床的に意味がある。【００２４】
ＣＳは糞便潜血陽性の場合や腹部症状のスクリーニングに一般的に使用されるが、施術者が大腸内視鏡を自由に取り扱い、異常領域を認識し、病気を正確に診断するのに十分な特別な訓練が必要である。そのような技能を得るのに時間がかかる理由の１つは、内視鏡検査中の解剖学的認識の困難性である。結腸のそれぞれの部位の解剖学的な相違点と、結腸のさまざまな部分の類似性のため、ＣＳの初心者だけでなくＣＳの専門家も、その内視鏡スコープの先端の正確な位置を認識することができない。【００２５】
したがって、開業医がＣＳを行い、異常を検出するためには、ＣＳ画像を介して結腸の解剖学的部分を正確に認識することが必要である。最近の証拠によると、十分なスキルを得るには、ＣＳ試験の全部を修了した経験が少なくとも２００件必要ある。実際、日本国では、内視鏡専門の認定は５年以上の内視鏡訓練の後にのみ行われる。【００２６】
また、ＷＣＥによって発見される小腸における最も一般的な症状は、びらんや潰瘍などの粘膜破壊である。これらは主に非ステロイド性抗炎症薬（ＮＳＡＩＤ）によって引き起こされ、時にはクローン病または小腸悪性腫瘍によって引き起こされるため、早期診断と早期治療が必要である。従前の各種報告では、小腸のびらんないし潰瘍による粘膜が破壊されている部分は、周囲の正常粘膜との間に色の差が小さいため、ソフトウェア的に自動検出するには血管拡張症を検出する場合よりも劣っていた（非特許文献１０参照）。また、小腸のＷＣＥ画像に対してＣＮＮを適用して、小腸の各種疾患や、出血ないし突出病変を診断することについての研究はない。【００２７】
さらに、粘膜又は粘膜下癌と定義される表在食道扁平上皮癌(以下、ＳＣＣということがある。）は、日本で診断されたすべての食道癌の３８％を占めている。表在食道ＳＣＣでは、食道切除術及び内視鏡的切除術（ＥＲ）が適用可能であるが、両者は侵襲性の点で大きく異なる。適切な治療法を選択する際には、転移の危険性やＥＲの治癒の可能性を考慮すると、癌の深達度(浸潤深度）が最も重要な因子である。【００２８】
癌の深達度の内視鏡診断は、食道癌の術後経過、突出、硬さ、及び微小血管の変化等、様々な内視鏡所見を評価するのに十分な専門知識を必要とする。表在食道ＳＣＣの深達度の診断には非拡大内視鏡（非ＭＥ）検査、拡大内視鏡（ＭＥ）検査、超音波内視鏡（ＥＵＳ）検査が用いられている。非拡大内視鏡を用いた診断は、主観的であり、観察者間の変動性の影響を受ける可能性のある癌の突出、陥没、及び硬さに基づく。拡大内視鏡検査は、食道癌の深達度と密接に関連している微小血管構造の明確な観察を可能にする。【００２９】
超音波内視鏡と拡大内視鏡による診断は、非拡大内視鏡による診断よりも客観的であるが、複雑であり、医師の専門知識に影響される。したがって、超音波内視鏡と拡大内視鏡の報告された癌の深達度の正確な精度は相反しており、満足のいくものではない。そのため、食道癌の癌侵襲深度をより客観的に簡単に診断する方法として、革新的なアプローチが求められている。【００３０】
本発明は、上記のような従来技術の課題を解決すべくなされたものである。すなわち、本発明の第１の目的は、消化器官の内視鏡画像を用い、ＣＮＮシステムを用いることによって、例えばＨ．ピロリ陽性及び陰性の症例のみでなく、Ｈ．ピロリ除菌された症例をも正確に同定することができる消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。【００３１】
また、本発明の第２の目的は、消化器官の内視鏡画像を用い、ＣＮＮシステムを用いることによって、例えば結腸・直腸疾患の解剖学的部位を正確に特定することができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。【００３２】
また、本発明の第３の目的は、ＷＣＥによる小腸の内視鏡画像に基く、ＣＮＮシステムを用いた小腸のびらん／潰瘍や出血の有無ないし突出病変を正確に同定することができる小腸の疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。【００３３】
さらに、本発明の第４の目的は、非拡大内視鏡及び拡大内視鏡を用いた食道内視鏡画像に基づく、表在食道ＳＣＣの深達度とその分類を行うことができる表在食道ＳＣＣの診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。【００３４】
さらに、本発明の第５の目的は、食道胃十二指腸内視鏡（ＥＧＤ）検査画像に基づく、ＣＮＮシステムを用いた表在性咽頭癌の有無を正確に特定することができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００３５】
本発明の第１の態様の畳み込みニューラルネットワークシステム（以下、「ＣＮＮシステム」ということがある。）を用いた消化器官の内視鏡画像による疾患の診断支援方法は、ネットワークシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
前記消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、重症度のレベル、もしくは、疾患の深達度の少なくとも１つの確定診断結果と、
を用いて前記ＣＮＮシステムを訓練し、
前記訓練されたＣＮＮシステムは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを出力することを特徴とする。【００３６】
かかる態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ＣＮＮシステムが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性、重症度のレベル、もしくは、疾患の深達度の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。【００３７】
また、本発明の第２の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第２の内視鏡画像は、それぞれが撮像された消化器官の部位に関連付けられていることを特徴とする。【００３８】
訓練されていないＣＮＮシステムでは、具体的な消化器官の内視鏡画像が如何なる部位の画像であるかを識別するのが困難な場合がある。第２の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、それぞれの部位によって分類された内視鏡画像を用いて訓練されたＣＮＮシステムとなっているので、ＣＮＮシステムに対し、それぞれの部位に応じたきめ細かい訓練が可能であるため、第２内視鏡画像に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する確率等の検出精度が向上する。【００３９】
また、本発明の第３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第２の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする。【００４０】
第３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、咽頭、食道、胃、十二指腸及び大腸の部位毎の分類が正確にできるので、それぞれの部位に対する疾患の陽性及び陰性のそれぞれの確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する確率等の検出精度が向上する。【００４１】
また、本発明の第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。【００４２】
消化器官はそれぞれ複雑な形状をしているため、部位の分類数が少ないと具体的な内視鏡画像が当該消化器官の如何なる部位の画像であるかを認識するのが困難な場合がある。第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、複数の消化器官のそれぞれにおいて複数箇所に区分されているので、短時間に高精度の診断結果を得ることができるようになる。【００４３】
また、本発明の第５の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３又は第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が胃であって、前記少なくとも１つの確定診断結果は、Ｈ．ピロリ感染陽性、Ｈ．ピロリ感染陰性及びＨ．ピロリ除菌のいずれかを含み、前記ＣＮＮは、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力することを特徴とする。【００４４】
本発明の第５の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、極めて短時間で、かつ、日本消化器内視鏡学会専門医と同等の精度で被験者のＨ．ピロリ感染の陽性又は陰性のそれぞれの確率だけでなく、Ｈ．ピロリ除菌済である確率も出力することができ、別途確定診断を行わなければならない被験者を短時間で正確に選別することができるようになる。なお、確定診断は、選別された被験者に対して血液又は尿の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原検査、又は尿素呼気検査を行うことにより行うことができる。【００４５】
また、本発明の第６の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮシステムは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。【００４６】
また、本発明の第７の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門であり、前記ＣＮＮは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。【００４７】
また、本発明の第８の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸−上行結腸−横行結腸からなる右側結腸、下行結腸−Ｓ字結腸−直腸からなる左側結腸及び肛門であり、前記ＣＮＮシステムは、前記第２の内視鏡画像が撮像された区分として、終末回腸、盲腸−上行結腸−横行結腸からなる右側結腸、下行結腸−Ｓ字結腸−直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。【００４８】
本発明の第６−８のいずれかの態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、大腸の区分毎の分類が正確にできるようになり、精密に検査しなければならない区分が理解しやすくなる。なお、大腸の区分の選択は、大腸疾患の出現傾向や出現頻度等を考慮し、それぞれの区分に対するＣＮＮシステムの感度及び特異性をも考慮し、適宜に選択すればよい。【００４９】
また、本発明の第９の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡（ＷＣＥ）画像であり、前記疾患がびらん及び潰瘍の少なくとも一つ又は突出病変であることを特徴とする。【００５０】
本発明の第９の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、多数の被験者についてのＷＣＥによる小腸の内視鏡画像に対して、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の小腸のびらん及び潰瘍の少なくとも一つ又は突出病変の陽性及び／又は陰性の領域及び確率を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになり、内視鏡専門医によるチェック／修正が容易になる。なお、かかる態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、小腸のＷＣＥ内視鏡画像ではびらんと潰瘍との区別が明確ではないが、これらの少なくとも一つを正確に自動的に選別することができるようになる。【００５１】
本発明の第１０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第９の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記小腸の前記疾患の陽性又は陰性の確定診断結果は、前記第２の内視鏡画像内に前記疾患の陽性の領域として表示されたものであり、前記ＣＮＮシステムは、検出した前記疾患の陽性の領域を前記第２の内視鏡画像内に表示するとともに、前記第２の画像内に前記確率スコアを表示することを特徴とする。【００５２】
本発明の第１０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、第２の内視鏡画像内に、内視鏡専門医による確定診断結果が得られた領域と、訓練されたＣＮＮシステムによって検出された疾患の陽性の領域とが正確に対比できるので、ＣＮＮの感度及び特異度をより良好なものとすることができるようになる。【００５３】
また、本発明の第１１の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練されたＣＮＮシステムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記ＣＮＮシステムの診断結果の正誤を判定することを特徴とする。【００５４】
本発明の第１１の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、第２の内視鏡画像内に、内視鏡専門医による確定診断結果が得られた領域と、訓練されたＣＮＮシステムによって検出された疾患の陽性の領域とが表示されているので、それらの領域の重なり状態によって、直ちに訓練されたＣＮＮの診断結果に対比することができるようになる。【００５５】
また、本発明の第１２の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記重なりが、
（１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
（２）前記ＣＮＮシステムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
前記ＣＮＮシステムの診断は正しいと判定することを特徴とする。【００５６】
本発明の第１２の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ＣＮＮシステムの診断の正誤を容易に判定することができるようになり、訓練されたＣＮＮシステムの診断の精度が向上する。【００５７】
また、本発明の第１３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第９−１２のいずれかの態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記訓練されたＣＮＮシステムは、前記第２の画像内に、検出した前記疾患の陽性の領域とともに前記確率スコアを表示することを特徴とする。【００５８】
本発明の第１３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、内視鏡専門医が、多数の被験者についてのＷＣＥによる小腸の内視鏡画像に対する小腸の疾患の陽性及び／又は陰性の領域及び確率スコアを、短時間で、正確に把握することができるようになり、内視鏡専門医によるチェック／修正が容易になる。【００５９】
本発明の第１４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記疾患が出血の有無であることを特徴とする。【００６０】
第１４の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、小腸の血液成分を含む画像と正常な粘膜画像とを正確にかつ高速に区別できるので、内視鏡専門医によるチェック／修正が容易になる。【００６１】
また、本発明の第１５の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記消化器官の部位が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記疾患が扁平上皮癌（ＳＣＣ）の深達度であることを特徴とする。さらに、本発明の第１６の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１５の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記小腸の前記疾患の陽性又は陰性の確定診断結果は、前記扁平上皮癌の深達度が粘膜上皮−粘膜固有層（ＥＰ−ＬＰＭ）、粘膜筋板（ＭＭ）、粘膜下層表面近傍（ＳＭ１）、粘膜下層中間部以深（ＳＭ２−）のいずれかであることを判定することを特徴とする。【００６２】
本発明の第１５又は第１６の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、食道の表在食道ＳＣＣの深達度を短時間で、正確に把握することができるため、表在食道ＳＣＣに対する内視鏡的切除術（ＥＲ）の適用性の判断を正確に行うことができるようになる。【００６３】
また、本発明の第１７の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、前記消化器官の部位が咽頭であって、前記内視鏡画像が食道胃十二指腸内視鏡検査画像であり、前記疾患が咽頭癌であることを特徴とする。【００６４】
本発明の第１７の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、通常の食道胃十二指腸内視鏡検査の際にも高感度かつ高精度に咽頭癌の存在を検知することができるようになる。【００６５】
また、本発明の第１８の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１７の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記内視鏡画像が白色光内視鏡画像であることを特徴とする。【００６６】
本発明の第１８の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、世界中で広く用いられている白色光内視鏡により得られた画像によって咽頭癌の存在を検知することができるため、練度の低い医師でも誤り少なく正確に咽頭癌の存在を検知することができるようになる。【００６７】
また、本発明の第１９の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１−１８のいずれかの態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記ＣＮＮは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする。【００６８】
Ｘ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置は、それぞれの消化器官の構造を立体的に表すことができるから、第１−１８のいずれかの態様におけるＣＮＮシステムの出力と組み合わせると、内視鏡画像が撮影された部位をより正確に把握することができるようになる。【００６９】
また、本発明の第２０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１−１９のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。【００７０】
第２０の態様のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、入力された第２の内視鏡画像に対する消化器官の疾患陽性及び陰性のそれぞれの確率ないし重症度を短時間で出力することができるので、第２の内視鏡画像の入力形式によらず、例えば遠隔地から送信された画像であっても、動画であっても利用可能となる。なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。これらによって、いわゆるクラウドサービスや遠隔支援サービスの形態として利用可能である。【００７１】
また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。これらによって、いわゆる医療機関や検診機関に簡便にシステムを移植又は設置できる形態を提供することができる。【００７２】
さらに、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムは、
内視鏡画像入力部と、出力部と、ＣＮＮプログラムが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性又は陰性、過去の疾患、重症度のレベル、もしくは、疾患の深達度の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
前記ＣＮＮプログラムを記憶する第３の記憶領域と、
を備え、
前記ＣＮＮプログラムは、
前記第１の記憶部に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、疾患の深達度、又は、撮像された部位に対応する確率の少なくとも１つを前記出力部に出力することを特徴とする。【００７３】
また、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。【００７４】
また、本発明の第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことを特徴とする。【００７５】
また、本発明の第２４の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位は、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。【００７６】
また、本発明の第２５の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３又は２４の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が胃であって、前記ＣＮＮプログラムは、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力する。【００７７】
また、本発明の第２６の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３又は２４の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であり、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮプログラムは、前記第２の内視鏡画像が撮像された前記区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。【００７８】
また、本発明の第２７の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３又は２４の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つであり、前記ＣＮＮプログラムは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。【００７９】
また、本発明の第２８の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３又は２４の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が大腸であって、前記区分が終末回腸、盲腸−上行結腸−横行結腸からなる右側結腸、下行結腸−Ｓ字結腸−直腸からなる左側結腸及び肛門であり、前記訓練されたＣＮＮプログラムは、前記第２の内視鏡画像が撮像された部位として、終末回腸、盲腸−上行結腸−横行結腸からなる右側結腸、下行結腸−Ｓ字結腸−直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力することを特徴とする。【００８０】
また、本発明の第２９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練されたＣＮＮプログラムは、前記内視鏡画像入力部から入力されたワイヤレスカプセル内視鏡画像のびらん及び潰瘍の少なくとも一つ又は突出病変の確率スコアを出力することを特徴とする。【００８１】
また、本発明の第３０の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２９の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたＣＮＮプログラムは、検出した前記びらん及び潰瘍の少なくとも一つ又は突出病変の確率スコアを前記第２の内視鏡画像内に表示することを特徴とする。【００８２】
また、本発明の第３１の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２９の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像内には、前記小腸の前記疾患の陽性又は陰性の確定診断結果に基いて前記疾患の陽性の領域として表示され、前記訓練されたＣＮＮプログラムは、前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と、前記訓練されたＣＮＮプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域との重なりにより、前記訓練されたＣＮＮプログラムの診断結果の正誤を判定することを特徴とする。【００８３】
また、本発明の第３２の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第３１の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、
前記重なりが、
（１）前記小腸の前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域の８０％以上である時、又は、
（２）前記訓練されたＣＮＮプログラムにより前記第２の内視鏡画像内に表示された前記疾患の陽性の領域が複数存在するとき、いずれか一つの領域が前記疾患の陽性又は陰性の確定診断結果としての前記第２の内視鏡画像内に表示された前記疾患の陽性の領域と重なっている時、
前記訓練されたＣＮＮプログラムの診断は正しいと判定することを特徴とする。【００８４】
また、本発明の第３３の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２９−３２のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたＣＮＮプログラムは、前記第２の画像内に、検出した前記疾患の陽性の領域とともに前記確率スコアを表示することを特徴とする。【００８５】
また、本発明の第３４の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が小腸であって、前記内視鏡画像がワイヤレスカプセル内視鏡画像であり、前記訓練されたＣＮＮプログラムは前記第２の画像内に前記疾患としての出血の有無の確率を表示することを特徴とする。【００８６】
また、本発明の第３５の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が食道であって、前記内視鏡画像が非拡大内視鏡画像又は拡大内視鏡画像であり、前記訓練されたＣＮＮプログラムは前記第２の画像内に前記疾患としての扁平上皮癌の深達度を表示することを特徴とする。【００８７】
また、本発明の第３６の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第３５の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたＣＮＮプログラムは、前記第２の画像内に前記扁平上皮癌の深達度が粘膜上皮−粘膜固有層、粘膜筋板、粘膜下層表面近傍、粘膜下層中間部以深のいずれかであることを表示することを特徴とする。【００８８】
また、本発明の第３７の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記消化器官の部位が咽頭であって、前記内視鏡画像が食道胃十二指腸内視鏡画像であり、前記疾患が咽頭癌であることを特徴とする。【００８９】
また、本発明の第３８の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第３７の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記内視鏡画像が白色光視鏡画像であることを特徴とする。【００９０】
また、本発明の第３９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１−３８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記ＣＮＮプログラムは、さらにＸ線コンピュータ断層撮影装置、超音波コンピュータ断層撮影装置又は磁気共鳴画像診断装置からの３次元情報と組み合わされていることを特徴とする。【００９１】
また、本発明の第４０の態様の消化器官の内視鏡画像による疾患の診断支援システムは、本発明の第２１−３９のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。【００９２】
本発明の第２１−４０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、それぞれ第１−２０のいずれかの態様のＣＮＮを用いた消化器官の内視鏡画像による疾患の診断支援方法と同様の効果を奏することができる。【００９３】
さらに、本発明の第４１の態様の消化器官の内視鏡画像による診断支援プログラムは、第２１−４０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。【００９４】
本発明の第４１の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第２１−４０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による診断支援プログラムを提供することができる。【００９５】
また、本発明の第４２の態様のコンピュータ読み取り可能な記録媒体は、第４１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする。【００９６】
本発明の第４２の態様の消化器官の内視鏡画像によるコンピュータ読み取り可能な記録媒体によれば、第４１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。
【発明の効果】
【００９７】
以上述べたように、本発明によれば、ＣＮＮを組み込んだプログラムが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、疾患の重症度のレベル、疾患の深達度等を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。
【図面の簡単な説明】
【００９８】
【図１】図１ＡはＨ．ピロリ感染の陽性の場合の胃内視鏡画像例であり、図１ＢはＨ．ピロリ感染の陰性の場合の胃内視鏡画像例であり、図１ＣはＨ．ピロリ除菌後の胃内視鏡画像例である。
【図２】胃の主要な解剖学的部位を示す図である。
【図３】GoogLeNetの動作を示す模式概念図である。
【図４】実施形態１のＣＮＮ構築用の検証用データセット用の患者の選別を示す図である。
【図５】大腸の主要な解剖学的部位を示す図である。
【図６】実施形態２のＣＮＮシステム構築用のフローチャートの概略図である。
【図７】実施形態２の代表的な大腸内視鏡画像とＣＮＮにより認識された各部位の確率スコアを示す図である。
【図８】図８Ａ−図８Ｆは、それぞれ順に終末回腸、盲腸、上行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の受信機動作特性（ＲＯＣ）曲線を示す図である。
【図９】図９Ａは肛門と正しく認識された画像と各部位の確率スコアを示す図であり、図９Ｂは肛門と誤認識された終末回腸の画像と各部位の確率スコアを示す図である。
【図１０】図１０Ａは盲腸と正しく認識された画像と各部位の確率スコアを示す図であり、図１０Ｂは終末回腸と誤認識された盲腸の画像と各部位の確率スコアを示す図である。
【図１１】実施形態３のＣＮＮシステム構築用のフローチャートの概略図である。
【図１２】実施形態３のＣＮＮによるＲＯＣ曲線の一例を示す図である。
【図１３】図１３Ａ−図１３Ｄは、実施形態３のＣＮＮによって正しく診断された代表的な小腸内視鏡画像とＣＮＮにより認識された特定部位の確率スコアを示す図である。
【図１４】図１４Ａ−図１４Ｅは実施形態３のＣＮＮによってそれぞれ順に暗さ、側方性、泡、破片、血管拡張に基いて偽陽性と診断された画像の例であり、図１４Ｆ−図１４Ｈは真のびらんであるが偽陽性と診断された画像の例である。
【図１５】実施形態４のＣＮＮシステム構築用のフローチャートの概略図である。
【図１６】実施形態４のＣＮＮによるＲＯＣ曲線の一例を示す図である。
【図１７】図１７Ａ−図１７Ｅは、それぞれ実施形態4のＣＮＮによってポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造の５つのカテゴリーに正しく検出及び分類された代表的な領域を示す図である。
【図１８】図１８Ａ−図１８Ｃは、全て実施形態４のＣＮＮによって正しく検出できなかった一人の患者の画像の例である。
【図１９】偽陽性画像中、内視鏡専門医が真の突出病変であると診断した画像の例である。
【図２０】実施形態５のＣＮＮシステム構築用のフローチャートの概略図である。
【図２１】実施形態５のＣＮＮによるＲＯＣ曲線の一例を示す図である。
【図２２】図２２Ａは実施形態５のＣＮＮシステムによって正しく分類された代表的な血液を含む画像であり、同じく図２２Ｂは正常粘膜画像を示す画像である。
【図２３】図２３ＡはＳＢＩによって血液成分を含むものとして正しく分類された画像であり、図２３Ｂは赤色領域推定表示機能（ＳＢＩ）によって正常粘膜として誤って分類された画像である。
【図２４】実施形態６のＣＮＮを適用する食道の表在性扁平上皮癌（ＳＣＣ）の深達度とその分類との関係を説明する概略断面図である。
【図２５】図２５Ａ−図２５Ｄは、それぞれ実施形態７のＣＮＮシステムによって正しく咽頭癌と分類された代表的な画像の例である。
【図２６】図２６Ａ−図２６Ｆは、それぞれ実施形態７のＣＮＮシステムによって擬陽性と分類された代表的な画像の例である。
【図２７】実施形態７のＣＮＮシステムによるＷＬＩ及びＮＢＩの感度及び陽性的中率を示すグラフである。
【図２８】図２８Ａ−図２８Ｄは、それぞれ実施形態７のＣＮＮシステムによって偽陰性と分類された画像の例である。
【図２９】実施形態８のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法のブロック図である。
【図３０】実施形態９の消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体についてのブロック図である。
【発明を実施するための形態】
【００９９】
以下、本発明に係る消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合及び大腸の部位別認識の場合を例にとって詳細に説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例を示すものであって、本発明をこれらの場合に特定することを意図するものではない。すなわち、本発明は特許請求の範囲に含まれるその他の実施形態のものにも等しく適応し得るものである。また、本発明において、画像という用語には、静止画像だけでなく、動画も含まれる。
【０１００】
［実施形態１］
実施形態１では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合に適用した例を説明する。発明者の一人が属する医院において、延べ３３人の内視鏡検査医が白色光による通常の倍率の内視鏡を用い、食道胃十二指腸内視鏡（以下、「ＥＧＤ」ということがある。）検査を行った。ＥＧＤの適応症は、様々な上腹部症状、胃の病気に対するバリウム検査の陽性結果、異常な血清ペプシノゲンのレベル、胃や十二指腸の既往症又はスクリーニングに関するプライマリケア医からの紹介であった。
【０１０１】
標準的なＥＧＤ用内視鏡（ＥＶＩＳ  ＧＩＦ−ＸＰ２９０Ｎ、ＧＩＦ−ＸＰ２６０、ＧＩＦ−ＸＰ２６０ＮＳ、ＧＩＦ−Ｎ２６０；オリンパスメディカルシステムズ社、東京）で白色光を用いて画像を撮影し、ＥＧＤを行った。得られた画像は通常の倍率の画像であり、拡大された画像は使用していない。
【０１０２】
全ての患者は、Ｈ．ピロリ感染の有無の検出のための検査を受けた。その検査は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定及び尿素呼気試験の少なくとも一つであった。そして、これらの検査のいずれかにおいて陽性反応を示した患者は、Ｈ．ピロリ陽性と分類された。Ｈ．ピロリ陽性と診断されなかった患者において、Ｈ．ピロリ除菌治療を受けた経験がなかった者はＨ．ピロリ陰性と分類された。また、過去にＨ．ピロリ除菌治療を受け、既に除菌に成功した患者はＨ．ピロリ除菌と分類された。図１に、得られた典型的な胃部内視鏡画像を示す。なお、図１ＡはＨ．ピロリ陽性と診断された画像の例であり、図１ＢはＨ．ピロリ陰性と診断された画像の例であり、図１ＣはＨ．ピロリ除菌後の画像の例である。
【０１０３】
［データセットについて］
２０１５年１２月−２０１７年４月にかけて行われた５，２３６人のＥＧＤの画像を遡及的にレビューすることにより、ＣＮＮベースの診断システムの訓練及び検証に使用するデータセット（それぞれ「訓練用データセット」及び「検証用データセット」といい、両者纏めて「訓練／検証用データセット」という。また、訓練及び検証の両者を纏めて「訓練／検証」ということがある。）を用意した。胃癌、潰瘍、又は粘膜下腫瘍の存在又は病歴を有する患者のデータは、訓練／検証用データセットから除外した。Ｈ．ピロリ陽性、Ｈ．ピロリ陰性又はＨ．ピロリ除菌と診断された胃の画像は、胃内の食物残渣、出血及びハレーションによる不明瞭な画像を除外するために、内視鏡専門医によってさらにスクリーニングされた。また、評価対象となる内視鏡画像データセット（「テストデータセット」という。）も用意した。なお、この「訓練／検証用データ」が本発明の「第１の内視鏡画像」に対応し、「テストデータ」が本発明の「第２の内視鏡画像」に対応する。
【０１０４】
表１に示したように、Ｈ．ピロリ陽性と判定された７４２人、Ｈ．ピロリ陰性と判定された３，４６９人及びＨ．ピロリ除菌と判定された８４５人の患者から得られた９８，５６４枚の画像を訓練用データセット用に調製した。９８，５６４枚の内視鏡画像を、０−３５９°の間でランダムに回転させ、周囲の黒い枠部分をトリミングして削除し、適宜に０．９−１．１倍のスケールで縮小ないし拡大し、画像数を増加させた。このような画像数の増加は、回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを含み、ツールによって自動的に行うことができる。なお、狭帯域画像などの強調された画像を除外し、通常の倍率を有する通常の白色光画像のみが含まれるようにしてもよい。次いで、胃の７箇所（噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞及び幽門、図２参照）にしたがって分類された画像を用いてＣＮＮシステムを構築した。
【０１０５】
［検証用データセットの準備］
上述した訓練用データセットを用いて構築された実施形態１のＣＮＮシステムと内視鏡検査医との診断精度を評価するために、検証用データセットを準備した。発明者の一人が属する医院において、２０１７年５月から６月にかけて内視鏡検査を行った８７１人の患者の画像データのうち、Ｈ．ピロリの感染状況が不明である２２人及び胃切除術を受けた２人の画像データを除外し、最終的に８４７人の患者（それぞれ７０人のＨ．ピロリ陽性、４９３人のＨ．ピロリ陰性及び２８４人のＨ．ピロリ除菌）からの合計２３，６９９枚の画像を含んでいた（図３参照）。
【０１０６】
これらの患者の人口統計学的特徴及び画像の特徴を表１に示した。
【表１】
2020105699.tif 000003
【０１０７】
臨床診断は、糞便抗原検査によるものが２６４人（３１％）、尿中の抗Ｈ．ピロリＩｇＧレベルによるものが１２６人（１５％）であった。６３人（７％）の症例で複数の診断検査が行われた。訓練データセットと検証用データセットの間に重複はない。
【０１０８】
［訓練／検証・アルゴリズム］
ＣＮＮベースの診断システムを構築するため、Szegedyらによって開発された最先端のディープラーニングニューラルネットワークの開発基盤として、バークレー・ビジョン・ラーニング・センター（ＢＶＬＣ）で最初に開発されたCaffeフレームワークを利用し、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャとして２２層からなるGoogLeNet（https://arxiv.org/abs/1409.4842）を使用した。
【０１０９】
本実施形態１で用いたＣＮＮシステムは、図４に示したように、バックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて訓練されている。ＣＮＮの各層は、AdaDelta（https://arxiv.org/abs/1212.5701）を使用し、グローバル学習率が0.005で確率的最適化が行われている。全ての画像をGoogLeNetと互換性を持たせるために、各画像を２４４×２４４ピクセルにリサイズした。また、ImageNetを通して自然画像の特徴量を学んだ訓練済みのモデルを訓練開始時の初期値として使用した。ImageNet（http://www.image-net.org/）は、２０１７年当初で１，４００万点以上もの画像が収載されているデータベースである。この訓練手法は転移学習と呼ばれ、教師データが少ない場合でも有効であることが認められている。なお、実施形態１のＣＮＮシステムでは、ＣＰＵとしてINTEL社のCore i7-7700Kを使用し、グラフィックス処理装置用ＧＰＵとしてNVIDEA社のGeForce GTX 1070を使用した。
【０１１０】
［評価アルゴリズム］
訓練／検証された実施形態１のＣＮＮシステムは、入力された画像に対してのＨ．ピロリ陽性、Ｈ．ピロリ陰性及びＨ．ピロリ除菌の診断結果として、０から１の間の確率値（ＰＳ）を出力する。Ｈ．ピロリ陽性の確率スコアをＰｐ、Ｈ．ピロリ陰性の確率スコアをＰｎ、Ｈ．ピロリ除菌の確率スコアをＰｅと表すと、Ｐｐ＋Ｐｎ＋Ｐｅ＝１となる。この３つの確率値の最大値をとるものが最も確からしい「ＣＮＮの診断」として選択された。
【０１１１】
全ての患者情報は、患者の匿名性を維持するためのデータ分析の前に削除された。この研究は、日本医師会制度審査委員会（ID JMA-IIA00283）の承認を得て、ヘルシンキ宣言の下で実施された。
【０１１２】
実施形態１で測定されたＣＮＮシステムによる診断結果と臨床検査による診断結果との関係を表２に纏めて示した。
【表２】
2020105699.tif 000004
【０１１３】
全２３，６９９枚の画像の中で、ＣＮＮシステムは４１８枚の画像をＨ．ピロリ陽性と診断し、２３，０３４枚の画像をＨ．ピロリ陰性と診断し、さらに２４７枚の画像をＨ．ピロリ除菌と診断した。ＣＮＮシステムが全画像をＨ．ピロリ陰性と診断した６５５人中、臨床検査では４６６人（７１％）が同様にＨ．ピロリ陰性と診断されたが、２２人（３％）がＨ．ピロリ陽性と診断され、１６７人（２５％）がＨ．ピロリ除菌と診断された。
【０１１４】
また、ＣＮＮシステムが少なくとも１画像を「Ｈ．ピロリ陽性又は除菌」と診断した１９２人中、臨床検査では４８人（２５％）がＨ．ピロリ陽性、１１７人（６１％）がＨ．ピロリ除菌、計１６５人（８６％）が同様に「Ｈ．ピロリ陽性又は除菌」と診断されたが、２７人（１４％）はＨ．ピロリ陰性と診断された。さらに、ＣＮＮシステムが少なくとも１画像についてＨ．ピロリ除菌と診断した１１９人中、臨床検査では８３人（７０％）が同様にＨ．ピロリ除菌と診断されたが、１６人（１３％）がＨ．ピロリ陰性と診断され、２０人（１７％）がＨ．ピロリ陽性と診断された。なお、ＣＮＮシステムが２３，６６９枚の画像を診断するのに掛かった時間は２６１秒である。
【０１１５】
表２に示した結果から、以下のことが分かる。すなわち、ＣＮＮを用いた胃内視鏡画像によるＨ．ピロリ感染状態の診断に際しては、ＣＮＮ構築用の訓練／検証用データセットとして、臨床検査によりＨ．ピロリ陽性及び陰性と診断された画像だけでなく、Ｈ．ピロリ除菌と診断された画像も含めて構築することにより、短時間で「Ｈ．ピロリ陽性又は除菌」の症例を抽出するのに有用であることが分かる。さらに、このＣＮＮに基づくスクリーニングシステムは、臨床実践に導入するのに十分な感度と特異度を有しており、内視鏡検査時に撮影された画像（テストデータ）のスクリーニングに際する内視鏡専門医の作業負荷を著しく低減することができることを示している。
【０１１６】
この実施形態１のＣＮＮによれば、疲労なしにＨ．ピロリ感染のスクリーニング時間をずっと短くすることができ、内視鏡検査後すぐに報告結果が得られるようになる。これにより、世界中で解決すべき大きな課題である内視鏡検査医のＨ．ピロリ感染診断の負担軽減と医療費の削減に貢献することができる。さらに、この実施形態１のＣＮＮによるＨ．ピロリ診断は、内視鏡検査時の画像を入力すれば直ぐに結果が得られるため、完全に「オンライン」でＨ．ピロリ診断補助を行うことができ、いわゆる「遠隔医療」として地域による医師の分布の不均一性の問題を解決することができるようになる。
【０１１７】
我が国においては、特に高齢者ではＨ．ピロリ感染が多く、２０１３年２月にＨ．ピロリ感染による胃炎患者に対するＨ．ピロリ除菌療法に対して健康保険が適用されるようになり、実際にはこのＨ．ピロリ除菌療法はＨ．ピロリ感染患者を対象として広く採用されるようになっている。さらに、２０１６年に開始された胃癌の内視鏡画像によるマススクリーニングでは、大量の内視鏡画像が処理されており、より効率的な画像スクリーニング法が必要とされている。実施形態１で得られた結果は、大量の保存画像をこのＣＮＮを用いて、内視鏡検査者の評価なしでも、Ｈ．ピロリ感染のスクリーニングを大きく助けることができ、さらなる試験によりＨ．ピロリ感染の確認につながるとともに最終的にはＨ．ピロリ除菌に至る可能性があることを示唆している。しかも、Ｈ．ピロリ感染状況に対するＣＮＮの診断能力は、胃の各部位の分類を加えることにより向上するが、胃癌の診断能力もＨ．ピロリ感染状況の情報を追加することにより改善される。
【０１１８】
なお、実施形態１では、ＣＮＮのアーキテクチャとしてGoogLeNetを使用した例を示したが、ＣＮＮのアーキテクチャは日々進化しており、最新のものを採用するとより良好な結果が得られる場合がある。また、ディープラーニングフレームワークとして同じくオープンソースのCaffeを使用したが、他にCNTK、TensorFlow、Theano、Torch、MXNet等を使用し得る。さらに、最適化手法としてAdamを使用したが、他に周知のＳＧＤ（Stochastic Gradient Descent：確率的勾配降下法）法、ＳＧＤに慣性項（Momentum）を付与したMomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等を適宜に選択して使用し得る。
【０１１９】
以上述べたように、実施形態１のＣＮＮシステムによる胃の内視鏡画像によるＨ．ピロリ感染の診断精度は、内視鏡検査医に匹敵した。したがって、実施形態１のＣＮＮシステムは、スクリーニング又はその他の理由により、得られた内視鏡画像からＨ．ピロリ感染患者を選別するのに役立つ。また、Ｈ．ピロリ除菌後の画像をＣＮＮシステムに学習させたので、Ｈ．ピロリが除菌できたかどうかの判定にも使える。
【０１２０】
［診断支援システム］
実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、基本的に、内視鏡画像入力部と、記憶部（ハードディスクないし半導体メモリ）と、画像解析装置と、判定表示装置と、判定出力装置とを備えている。他に、直接内視鏡画像撮像装置を備えているものであってもよい。また、このコンピュータシステムは、内視鏡検査施設から離れて設置され、遠隔地から画像情報を得て中央診断支援システムとしたり、インターネット網を介したクラウド型コンピュータシステムとしても稼働させることができる。
【０１２１】
このコンピュータは、内部の記憶部に、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像を記憶する第１の記憶領域と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果を記憶する第２の記憶領域と、ＣＮＮプログラムを記憶する第３の記憶領域と、を備えることになる。この場合、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像は数が多くてデータ量が大きくなること、ＣＮＮプログラムの作動時に大量のデータ処理が行われることから、並列処理とすることが好ましく、また、大容量の記憶部を有することが好ましい。
【０１２２】
近年、ＣＰＵやＧＰＵの能力の向上が著しく、実施形態１で使用した診断支援システムとしてのＣＮＮプログラムを組み込んだコンピュータは、ある程度高性能な市販のパーソナルコンピュータを使用した場合であれば、Ｈ．ピロリ感染胃炎診断システムとしても、１時間に３０００症例以上を処理でき、１枚の画像については約０．２秒で処理することができる。そのため、内視鏡で撮影中の画像データを実施形態１で使用したＣＮＮプログラムを組み込んだコンピュータに与えることにより、リアルタイムでのＨ．ピロリ感染判定も可能となり、世界中や僻地から送信された胃内視鏡画像はもちろんのこと、たとえそれが動画であっても、遠隔で診断可能となる。特に、近年のコンピュータのＧＰＵは性能が非常に優れているので、実施形態１のＣＮＮプログラムを組み込むことにより、高速かつ高精度の画像処理が可能となる。
【０１２３】
また、実施形態１の診断支援システムとしてのＣＮＮプログラムを組み込んだコンピュータの入力部に入力する被験者の消化器官の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像又はコンピュータ読み取り可能な記録媒体に記録された画像とすることができる。すなわち実施形態１の診断支援システムとしてのＣＮＮプログラムを組み込んだコンピュータは、短時間で入力された被験者の消化器官の内視鏡画像に対して消化器官の疾患陽性及び陰性のそれぞれの確率を出力することができるので、被験者の消化器官の内視鏡画像の入力形式によらず利用可能となる。
【０１２４】
なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。
【０１２５】
［実施形態２］
実施形態２では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、大腸の部位別分類に適用した例を説明する。大腸の各部位は、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門からなる。なお、大腸の主要な解剖学的分類を図５に示した。実施形態２では、これらの部位別の画像を自動的に区別できるように、ＣＮＮシステムを訓練及び検証した。
【０１２６】
発明者の一人が属する医院において、２０１７年１月から２０１７年１１月にかけて、全大腸内視鏡検査（ＣＳ）を受けた患者の臨床データを回顧的にレビューした。ＣＳを実施した理由は、腹痛、下痢、陽性糞便免疫化学検査、同一医院における過去のＣＳのフォローアップ、単なるスクリーニングなどであった。結腸・直腸の解剖学的部位を正確に特定するため、十分に空気が吹き込まれた、結腸・直腸の部位を特定できた正常な結腸・直腸画像のみを用いた。除外された画像は、結腸・直腸ポリープ、癌及び生検跡のようなものが大部分を占めており、重度の炎症又は出血を有するものも除外された。また、通常の倍率の白色光画像又は強調画像のみが含まれていた。
【０１２７】
このＣＳ法で撮影された画像は、標準的な大腸内視鏡（ＥＶＩＳ  ＬＵＣＥＲＡ  ＥＬＩＴＥ，ＣＦ  ＴＹＰＥ  Ｈ２６０ＡＬ／Ｉ，ＰＣＦ  ＴＹＰＥ  Ｑ２６０ＡＩ，Ｑ２６０ＡＺＩ，Ｈ２９０Ｉ，及びＨ２９０ＺＩ，オリンパスメディカルシステムズ、東京、日本）を用いて撮影された。回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸及び肛門の画像をＣＳ中に撮影し、それぞれのＣＳ中に平均２４枚の画像を得た。
【０１２８】
なお、ＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態２のＣＮＮに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、日本医師会倫理審査委員会（ID：JMA-IIA00283）の承認を得た。
【０１２９】
実施形態２のＣＮＮシステムのフローチャートの概要を図６に示す。ここではＣＮＮシステムを終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸、肛門及び分類不能の７つのカテゴリーに訓練／検証するために、内視鏡専門医によって画像を分類した。訓練／検証のための全ての画像は、ＣＮＮシステムを訓練／検証する前に少なくとも２人の内視鏡専門医によって分類をチェックされた。訓練／検証用データセットは、終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸及び肛門の６つのカテゴリーに分類された。訓練／検証用データセットには分類不能な画像は含まれていなかった。
【０１３０】
従来、結腸・直腸ポリープに対するＡＩシステムを構築するために必要な画像データは５，０００枚以下の画像で訓練することにより行われていた。そこで、十分なデータ量を確保するため、約１０，０００枚の画像を基に実施形態２のＣＮＮシステムを構築することを目指した。２０１７年１月から２０１７年３月までに収集された４０９人の画像９９９５枚を訓練用画像として用意し、２０１７年１１月に取得した１１８人の画像５１２１枚を検証用画像セットに用いた（表３参照）。両方の画像セットの各解剖学的部位の画像数を表４に示した。
【０１３１】
【表３】
2020105699.tif 000005
【０１３２】
【表４】
2020105699.tif 000006
【０１３３】
このようにして得られた実施形態２の訓練／検証用データセットは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態２で用いたＣＮＮシステムは、実施形態１のＣＮＮシステムと同様のものを用いて訓練した。
【０１３４】
実施形態２のＣＮＮシステムは、訓練／検証用の画像について、各画像の部位毎の確率スコア（ＰＳ）を出力する。確率スコアは０−１（０−１００％）の範囲であり、画像が属する大腸の部位の確率を表している。ＣＮＮシステムは、各画像を７つの部位毎（終末回腸、盲腸、上行及び横行結腸、下行及びＳ字結腸、直腸、肛門及び分類不能）の確率スコアを算出する。確率スコアの最高値を得た解剖学的部位が画像の部位として割り当てられる。なお、大腸の部位は、それぞれの組織の類似性から、盲腸、上行結腸及び横行結腸を纏めて右側結腸と、下行結腸、Ｓ字結腸及び直腸を左側結腸とし、終末回腸、右側結腸、左側結腸及び肛門の４部位に分類することもある。
【０１３５】
例えば、図７の左側の大腸内視鏡画像は上行−横行結腸画像の例であるが、ＣＮＮシステムは、上行−横行結腸の確率スコアが９５％と判断したが、下行−Ｓ字結腸の確率スコアが５％であるとも判断した例を示している。結果として、ＣＮＮシステムは図７の左側の大腸内視鏡画像を上行−横行結腸であると割り当てている。
【０１３６】
実施形態２のＣＮＮシステムによる主要な目的は、大腸内視鏡画像のＣＮＮシステムによる解剖学的分類の感度及び特異度を求めることである。受信機動作特性（ＲＯＣ）曲線を各部位について描き、GraphPad Prism 7（GraphPad software、Inc、California、U.S.A）によりＲＯＣ曲線の下側部分の面積（ＡＵＣ）を算出した。実施形態２のＣＮＮシステムによって作成された大腸の部位別のＲＯＣ曲線を図８に示した。なお、図８Ａ−図８Ｆは、それぞれ順に終末回腸、盲腸、上行結腸、下行結腸、Ｓ字結腸、直腸及び肛門のＲＯＣ曲線を示す図である。
【０１３７】
実施形態２で構築されたＣＮＮシステムは、検証用データセットの画像の６６．６％（３，４１０枚／５，１２１枚）を正しく認識した。表５は、ＣＮＮシステムが画像に提割り当てた確率スコアによる正しい認識率を示す。
【表５】
2020105699.tif 000007
【０１３８】
ＣＮＮシステムは、確率スコアが９９％を超える画像については、全画像（５，１２１枚）中１０％（５０７枚）を割り当てたが、そのうち４６５枚（正しく分類されたものの１４％）が臨床診断により正しく分類されたものであり、精度は９１．７％であった。
【０１３９】
同じく、ＣＮＮシステムは、確率スコアが９０％を越え、９９％以下の画像については、全画像中２５％（１，２９６枚）を割り当てたが、そのうち１，０３９枚（正しく分類されたものの３０％）が臨床診断により正しく分類されたものであり、精度は８０．２％であった。同じく、ＣＮＮシステムは、確率スコアが７０％を超え、９０％以下の画像については、全画像中３０％（１，５４９枚）を割り当てたが、そのうち１，００９枚（正しく分類されたものの３０％）が臨床診断により正しく分類されたものであり、精度は６５．１％であった。
【０１４０】
同じく、ＣＮＮシステムは、確率スコアが５０％を超え、７０％以下の画像については、全画像中２７％（１，３９７枚）を割り当てたが、そのうち７６１枚（正しく分類されたものの２２％）が臨床診断により正しく分類されたものであり、精度は５４．５％であった。さらに、ＣＮＮシステムは、確率スコアが５０％以下の画像については、全画像中７％（３７２枚）を割り当てたが、そのうち１３６枚（正しく分類されたものの４％）が臨床診断により正しく分類されたものであり、精度は３６．６％であった。
【０１４１】
表６は、臨床診断により分類された解剖学的部位毎のＣＮＮシステムの出力の分布を示す。ここでは、「分類不能」に分類された画像はなかった。
【表６】
2020105699.tif 000008
【０１４２】
実施形態２で構築されたＣＮＮシステムは、肛門の画像９１．４％の最も高い感度で認識し、次いで、下行結腸及びＳ字結腸を９０．０％の次に高い感度で、終末回腸を６９．４％の感度で、上行結腸及び横行結腸を５１．１％の感度で、さらに盲腸を４９．８％の感度で認識したが、直腸は２３．３％の最も低い感度でしか認識できなかった。また、それぞれの解剖学的部位に対する特異度は、下行結腸及びS状結腸の部位（６０．９％）を除いて９０％以上であった。なお、実施形態２で構築したＣＮＮシステムは、各解剖学的部位について０．８を超えるＡＵＣ値を有する画像を認識した。
【０１４３】
表７は、盲腸、上行結腸及び横行結腸を「右側結腸」と表し、下行結腸、Ｓ字結腸及び直腸を「左側結腸」と表した場合の、実施形態２で構築したＣＮＮシステムの終末回腸、右側結腸、左側結腸及び肛門の出力分布を示す。左側結腸は、９１．２％の高い感度及び６３．％の比較的低い特異性を示したが、回腸末端、右側結腸及び肛門は逆の結果を示した。
【表７】
2020105699.tif 000009
【０１４４】
次に、各解剖学的部位について、特定の確率スコア毎、すなわち、７０％≧ＰＳ＞６０％、８０％≧ＰＳ>７０％、９０％≧ＰＳ>８０％及びＰＳ＞９０％の４区分に従って、感度及び特異度を計算した。計算結果を表８に示した。
【表８】
2020105699.tif 000010
【０１４５】
表８に示した結果によると、直腸を除くすべての部位に関し、全ての確率スコアにおいて、確率スコアが高いほど感度及び特異度が高くなっていた。しかし、直腸では、確率スコアが高い程特異度は高くなっていたが、感度は確率スコアの傾向とは一致していなかった。
【０１４６】
実施形態２のＣＮＮシステムによって誤って認識された１，７１１枚（全画像数−正常判定数＝５，１２１−３，４１０＝１，７１１、表５参照）の画像をレビューした。実施形態２のＣＮＮシステムは、全画像の１７．５％（２９９枚／１，７１１枚）を間違って認識し、確率スコアは０．９以上であった。図９及び図１０に、実施形態２のＣＮＮシステムによって間違って認識された画像の典型的な例を示す。図９Ａは肛門と正しく認識された内視鏡画像の例であり、図９Ｂは肛門として間違って認識された終末回腸の画像を示す。図９Ｂの内腔の輪郭は肛門の輪郭に類似していた。図１０Ａは盲腸と正しく認識された内視鏡画像の例であり、図１０Ｂは終末回腸と誤って認識された盲腸の画像の例である。図１０Ａには盲腸の特徴の１つとして虫垂の穴が見えるが、図１０Ｂでは終末回腸として間違って認識された。
【０１４７】
以上述べたように、実施形態２では４０９人の９９９５枚の大腸内視鏡画像に基づいてＣＮＮシステムを構築した。このＣＮＮシステムは、大規模な独立した検証用データセットを用いて解剖学的部位を識別したところ、臨床的に有用な性能を示した。このＣＮＮシステムは、６０％以上の精度で結腸の画像を認識することができた。したがって、このＣＮＮシステムは、近い将来の大腸内視鏡検査用のＡＩシステムの開発の基礎となるであろう。
【０１４８】
結腸疾患のためのＡＩシステムを開発するためには、画像の効率的な解剖学的部位の認識能力が第一の重要なステップである。従来、結腸ポリープの認識のためのＡＩシステムが知られていたが、感度は７９％−９８．７％の範囲であり、特異度は７４．１％−９８．５％の範囲であった。しかし、従来のシステムは、ポリープの解剖学的部位を認識する能力を有さなかった。ポリープ又は大腸癌の出現頻度は、結腸の解剖学的部位によって異なることはよく知られている。実施形態２のＣＮＮシステムがその解剖学的部位に基づいて結腸の病変を検出する感度を変えることができれば、より効果的なＡＩシステムを開発することができる。
【０１４９】
実施形態２で構築されたＣＮＮシステムでは、精度は確率スコアの値によって異なった。一般に、高い確率スコアを有する画像が高い精度で認識されるので、ＣＮＮシステムは、高い確率スコアを有する画像のみに限定することにより、より良好に機能することができる。臨床的に有用な応用のためには、認識結果を確実にする確率スコアの適切な値が必要である。
【０１５０】
実施形態２で構築されたＣＮＮシステムの結果は、胃腸画像を分類できるＣＮＮシステムを構築した発明者等の以前の報告と比較すると、良好ではなかった。従来の胃腸の解剖学的部位を認識するための感度及び特異度は、喉頭で９３．９％及び１００％、食道で９５．８％及び９９．７％、胃で９８．９％及び９３．０％、十二指腸で８７．０％及び９９．２％であった。
【０１５１】
しかし、臨床医にとってさえ、大腸内視鏡画像の解剖学的部位を、胃腸内視鏡画像の解剖学的部位と同様に正確に認識することは、より困難である。例えば、臨床医は上行−横行結腸の画像と下行−Ｓ字結腸の画像とを区別できないことがある。特に、各部位間にマージンにある画像は認識しにくい。さらに、臨床医は、通常、画像の連続的な順序又は臨床現場での以前の画像又は後の画像との関係を考慮することによって、大腸内視鏡の画像がどこの部分であるかを認識することができる。したがって、ＣＮＮシステムの単一画像に基づく６６％の精度は、前画像と後画像との関係を統合するとより良い性能が達成できるので、過小評価することはできない。
【０１５２】
実施形態２で構築したＣＮＮシステムの感度及び特異性は、解剖学的部位によって異なる。下行結腸−Ｓ字結腸の部位は、９０％以上の高い感度を有したが、特異性は６９．９％と最も低かった。対照的に、回腸末端、盲腸、上行結腸―横行結腸及び直腸では高い特異性を有していたが、感度は２３．３−６９．４％と低感度であった。また、実施形態２のＣＮＮシステムは、９０％以上の高い感度と特異度で肛門を認識した。興味深いことに、高い確率スコアを有する画像の中から算出した場合、直腸の認識感度は低下した。
【０１５３】
実施形態２のＣＮＮシステムでは、直腸画像に対しては確実に正しく出力されず、直腸画像が下行−Ｓ状結腸として認識された。直腸が低感度で認識された理由は、特徴的な部分がないためであろう。しかし、実施形態２のＣＮＮシステムは、終末回腸及び盲腸では、回盲弁、虫垂口などの特徴的な部分を有していたが、認識感度は比較的低かった。このような結果が得られた理由は、実施形態２のＣＮＮシステムが各部位に属するそのような特徴的な部分を認識できなかったことによって説明することができる。その理由は、実施形態２のＣＮＮシステムは、画像全体の構造のみに基づいて画像を認識することができ、ＣＮＮシステムに画像内の各部位に基づく特徴部分をそれぞれ教示することなく、全画像を各部位に分類するだけであるからである。画像の典型的な部分を実施形態２のＣＮＮシステムに教えることができれば、それらの部位の認識精度は高くなる。
【０１５４】
すなわち、内視鏡を部位の表面に近づけたり、内腔が空気に不十分に吹き込まれたりすると、内腔の形状を捕捉することが困難になる。食道・胃・十二指腸の画像では、食道、胃、及び十二指腸の上皮が互いに異なるため、表面の微細構造に基づいて画像を認識する必要がある。例えば、胃の中では、上皮は解剖学的部位によって異なる。例えば、幽門腺は胃幽門に分布し、胃底腺は他の領域に存在している。
【０１５５】
一方、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、及び直腸の微細構造パターンはほぼ同じである。したがって、表面微細構造をＣＮＮシステムに教えて結腸・直腸の画像を区別するようにすることは非効率的である。ただ、実施形態２のＣＮＮシステムにおいて、終末回腸又は肛門を認識するためには、表面微細構造を教えることは有用である。
【０１５６】
さらに、実施形態２のＣＮＮシステムにおいて、画像の正確な位置決め能力を高めるために、大腸内視鏡検査とコンピュータ断層撮影や透視画像などの３次元情報を表示できる他のＸ線ＣＴ（Computed Tomography：コンピュータ断層撮影装置）、ＵＳＣＴ（Ultrasonic Computer Tomography：超音波コンピュータ断層撮影装置）、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像診断装置）など、医療用画像における撮像手段（modality：モダリティ）とを組み合わせることができる。訓練用データセットにこれらのモダリティがある画像を使用できる場合、ＣＮＮシステムは大腸内視鏡画像の位置をより正確に認識することができる。
【０１５７】
結腸の解剖学的部位を自動的に認識する能力は、診断と治療の両方に大きな影響を与える。第１に、結腸疾患がどこにあるかを認識する。例えば、潰瘍性大腸炎の治療のため、大腸炎の存在部位に基づいて治療又は適切な種類の薬剤を投与することができる。また、結腸・直腸癌に関しては、癌が存在する解剖学的部位は手術のための重要な情報となる。
【０１５８】
第２に、結腸の解剖学的部位に関する情報は、大腸内視鏡の挿入と排出の両方の間の正確な検査に有用である。特に訓練中の研修医ないし初診医にとって内視鏡スコープの挿入を完了させるための最も困難な要因の１つは、内視鏡スコープがどこに挿入されているかを認識することである。ＣＮＮシステムによって内視鏡スコープが客観的にどこにあるかを認識することができるようにすると、訓練中の研修医ないし初診医が大腸内視鏡を挿入するのに役立つ。解剖学的部位を認識する機能がビデオ画像に採用された場合、大腸内視鏡の挿入を完了するための時間及び困難性が低減される。
【０１５９】
［実施形態３］
実施形態３では、ワイヤレスカプセル内視鏡（ＷＣＥ）画像による小腸のびらん／潰瘍に関する疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。なお、実施形態３では、びらんと潰瘍との区別が困難であったので、両者合わせて「びらん／潰瘍」と表してある。すなわち、この明細書における「びらん／潰瘍」という用語は、「びらん」、「潰瘍」、「びらん及び潰瘍」の意味だけでなく、「びらん及び潰瘍のどちらかは明確でないが、少なくとも正常粘膜ではない」ものも含む意味で用いられている。
【０１６０】
［データセットについて］
発明者の一人が属する医院において、２００９年１０月から２０１４年１２月までの間にＷＣＥを受けた１１５人の患者から、訓練用データセットとして小腸のびらん／潰瘍の画像を５３６０枚収集した。また、実施形態３のＣＮＮシステムの検証のために、２０１５年１月から２０１８年１月までに６５人の患者からの１０，４４０枚の独立した画像を準備し、検証用データセットとして用いた。これらの検証用データセットのうち、４５人の患者の４４０画像は小腸のびらん／潰瘍を有しており、２０人の患者の１０，０００画像は小腸の正常粘膜であると３人の内視鏡専門医により診断されている。ＷＣＥとしては、Pillcam（登録商標）ＳＢ２又はＳＢ３ＷＣＥ装置（Given Imaging, Yoqneam, Israel）を用いて実施した。
【０１６１】
なお、実施形態３のＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態３のＣＮＮシステムに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、東京大学倫理委員会（Ｎｏ．１１９３１）及び日本医師会（ＩＤ：ＪＭＡ−ＩＩＡ００２８３）の承認を得た。実施形態３のＣＮＮシステムのフローチャートの概要を図１０に示す。
【０１６２】
ＷＣＥの適応症は、原因不明の消化管出血（ＯＧＩＢ：Obscure Gastrointestinal Bleeding）が主であり、他に他の医療機器を用いて異常小腸画像が観察された例、腹痛、過去の小腸症例のフォローアップ、下痢スクリーニングに関するプライマリケア医からの紹介等であった。病因としては、非ステロイド性抗炎症が多く、それに次いで炎症性腸疾患、小腸悪性腫瘍、吻合部潰瘍が主であったが、病因を確定できなかったものも多かった。ＣＮＮシステムの訓練用及び検証用に用いられたデータデットの患者特性を表９に示した。
【０１６３】
【表９】
2020105699.tif 000011
【０１６４】
［訓練／検証・アルゴリズム］
実施形態３のＣＮＮシステムを構築するために、アルゴリズムを変更することなく、Single Shot MultiBox Detector（ＳＳＤ、https://arxiv.org/abs/1512.02325）と呼ばれるディープニューラルネットワークアーキテクチャを利用した。まず、２人の内視鏡専門医によって、訓練データセットの画像内のびらん／潰瘍のすべての領域に、手動で長方形の境界ボックスを有する注釈が付けられた。これらの画像は、バークレー・ビジョン・ラーニング・センター（Berkeley Vision and Learning Center）で最初に開発されたCaffeフレームワークを通じてＳＳＤアーキテクチャに組み込まれた。Caffeフレームワークは、最初に開発された、最も一般的で広く使用されているフレームワークの１つである。
【０１６５】
実施形態３のＣＮＮシステムは、境界ボックスの内側の領域がびらん／潰瘍領域であり、他の領域が背景であると訓練された。そして、実施形態３のＣＮＮシステムは、それ自体で境界ボックス領域の特定の特徴を抽出し、訓練データセットを介してびらん／潰瘍の特徴を「学習」した。ＣＮＮのすべての層は、グローバル学習率０．０００１で確率的最適化が行われている。各画像は３００×３００ピクセルにリサイズした。それに応じて境界ボックスのサイズも変更された。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。ＣＰＵとしてINTEL社のCore i7-7700Kを使用し、グラフィックス処理装置用ＧＰＵとしてNVIDEA社のGeForce GTX 1070を使用した。
【０１６６】
［結果の測定及び統計］
まず、検証用データセットの画像内のびらん／潰瘍の全てに、手作業で長方形の境界ボックス（以下、「真のボックス」という。）を太線で付与した。また、実施形態３の訓練されたＣＮＮシステムは、検証用データセットセットの画像内の検出したびらん／潰瘍の領域に長方形の境界ボックス（以下、「ＣＮＮボックス」という。）を細線で付与するとともに、びらん／潰瘍の確率スコア（範囲は０−１）を出力した。確率スコアが高いほど、実施形態３の訓練されたＣＮＮシステムはその領域にびらん／潰瘍が含まれている確率が高いと判断していることを示している。
【０１６７】
発明者等は、各画像がびらん／潰瘍を含むか否かについて、実施形態３のＣＮＮシステムが判別する能力を評価した。この評価を実行するために、以下の定義を使用した。
１）ＣＮＮボックスが真のボックスに８０％以上重なったときは正解とした。
２）複数のＣＮＮボックスが１つの画像内に存在し、それらのボックスの１つでもびらん／潰瘍を正しく検出した場合、画像が正しく識別されたと結論付けた。
なお、このようにして正解と判断されたＷＣＥ内視鏡画像は、その情報を画像に付与して撮影された画像のダブルチェックの現場で診断補助として活用したり、ＷＣＥ内視鏡検査時に動画でリアルタイムで情報を表示して診断補助として活用される。
【０１６８】
また、確率スコアのカットオフ値を変えることによって、受信機動作特性（ＲＯＣ）曲線をプロットし、実施形態３の訓練されたＣＮＮシステムによるびらん／潰瘍識別の評価のために曲線下面積（ＡＵＣ）を計算した。Youdenインデックスに従ったスコアを含む確率スコアに対する様々なカットオフ値を用いて、実施形態３のＣＮＮシステムのびらん／潰瘍を検出する能力である、感度、特異度及び精度を計算した。なお、Youdenインデックスは、感度と特異度で計算された最適なカットオフ値を決定するための標準的な方法の１つであり、「感度＋特異度−１」の数値が最大となるようなカットオフ値を求めるものである。ここではＳＴＡＴＡソフトウェア（バージョン１３；Stata Corp、College Station、TX、USA）を用いてデータを統計的に分析した。
【０１６９】
検証用データセットは、６５人の患者（男性＝６２％、平均年齢＝５７歳、標準偏差（ＳＤ）＝１９歳）からの１０，４４０画像からなっていた。実施形態３の訓練されたＣＮＮシステムは、これらの画像を評価するのに２３３秒を要した。これは、毎秒４４．８画像の速度に等しい。びらん／潰瘍を検出した実施形態３の訓練されたＣＮＮシステムのＡＵＣは０．９６０（９５％信頼区間［ＣＩ］、０．９５０−０．９６９；図１１参照）であった。
【０１７０】
Youdenインデックスによれば、確率スコアの最適カットオフ値は０．４８１であり、確率スコアが０．４８１の領域がＣＮＮによってびらん／潰瘍として認識された。そのカットオフ値では、ＣＮＮの感度、特異度及び精度は、８８．２％（９５％ＣＩ（信頼区間）、８４．８−９１．０％）、９０．９％（９５％ＣＩ、９０．３−９１．４％）及び９０．８％（９５％ＣＩ、９０．２−９１．３％）であった（表１０参照）。なお、表１０は、確率スコアのカットオフ値を０．２から０．９まで０．１ずつ増加させて計算した、それぞれの感度、特異度及び精度を示している。
【０１７１】
【表１０】
2020105699.tif 000012
【０１７２】
このようにして、確率スコアのカットオフ値＝０．４８１として実施形態３の訓練されたＣＮＮシステムにより分類されたびらん／潰瘍の分類結果と内視鏡専門医によるびらん／潰瘍の分類結果との関係を表１１に纏めて示した。
【表１１】
2020105699.tif 000013
【０１７３】
また、図１２Ａ−（図１２ＤはそれぞれＣＮＮシステムによって正しく検出された代表的な領域を示し、図１３Ａ−図１３ＨはそれぞれＣＮＮシステムによって誤分類された典型的な領域を示している。偽陰性画像は、表１２に示されるように、境界不明瞭（図１３Ａ参照）、周囲の正常粘膜と類似の色、小さすぎ、全体の観察不可（側方性（患部が側面にあるので見え難い）ないし部分性（部分的にしか見えない））（図１３Ｂ参照）の４つの原因に分類された。
【０１７４】
【表１２】
2020105699.tif 000014
【０１７５】
一方、偽陽性画像は、表１３に示したように、正常粘膜、泡（図１３Ｃ）、破片（図１３Ｄ）、血管拡張（図１３Ｅ）、真のびらん（図１３Ｆ−図１３Ｈ）の５つの原因に分類された。
【表１３】
2020105699.tif 000015
【０１７６】
以上述べたように、実施形態３の訓練されたＣＮＮシステムによれば、ＷＣＥの小腸像におけるびらん及び潰瘍の自動検出のためのＣＮＮベースのプログラムが構築され、９０．８％の高い精度（ＡＵＣ、０．９６０）の独立した試験画像におけるびらん／潰瘍を検出できることが明らかにされた。
【０１７７】
［実施形態４］
実施形態４では、ワイヤレスカプセル内視鏡（ＷＣＥ）画像による小腸の突出病変に関する疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。なお、突出病変との形態学的特徴は、ポリープ、結節、腫瘤／腫瘍から静脈構造までさまざまであり、これらの病変の病因には、神経内分泌腫瘍、腺癌、家族性腺腫性ポリポーシス、プーツ−ジェガーズ(Peutz-Jeghers)症候群、濾胞性リンパ腫及び胃腸間質腫瘍が含まれまる。これらの病変には早期診断と治療が必要であるため、ＷＣＥ検査の見落としを避ける必要がある。
【０１７８】
［データセットについて］
発明者が属する複数の医院において、２００９年１０月から２０１８年５月まで、ＷＣＥを受けた２９２人の患者から、訓練用データセットとして突出病変の画像を３０，５８４枚収集した。また、ＣＮＮのトレーニングに使用される画像とは無関係に、突出病変のない１０，０００枚の画像と、突出病変のある７，５０７枚の画像を含む、９３人の患者からの合計１７，５０７枚の画像を検証に使用した。突出病変は、ＣＥＳＴ分類の定義（非特許文献１３参照）に基づいて、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造の５つのカテゴリーに形態学的に分類した。ただし、ＣＥＳＴ分類の定義における腫瘤／腫瘍病変は、上皮腫瘍と粘膜下腫瘍とに分けて分類した。
【０１７９】
［訓練／検証・アルゴリズム］
実施形態４のＣＮＮシステムのフローチャートの概要を図１５に示した。実施形態４のＣＮＮシステムでは、実施形態３の場合と同様のＳＳＤディープニューラルネットワークアーキテクチャ及びCaffeフレームワークを利用した。まず、６人の内視鏡専門医によって、訓練データセットの画像内の突出病変の全ての領域に、手動で長方形の境界ボックスを有する注釈が付けられた。注釈はそれぞれの内視鏡専門医により個別に実行され、コンセンサスは後で決定された。 これらの画像はCaffeフレームワークを通じてＳＳＤアーキテクチャに組み込まれた。
【０１８０】
実施形態４のＣＮＮシステムは、境界ボックスの内側の突出病変であり、他の領域が背景であると訓練された。そして、実施形態４のＣＮＮシステムは、それ自体で境界ボックス領域の特定の特徴を抽出し、訓練データセットを介して突出病変の特徴を「学習」した。ＣＮＮの全ての層は、グローバル学習率０．０００１で確率的最適化が行われている。各画像は３００×３００ピクセルにリサイズした。それに応じて境界ボックスのサイズも変更された。これらの値は、全てのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。ＣＰＵとしてINTEL社のCore i7-7700Kを使用し、グラフィックス処理装置用ＧＰＵとしてNVIDEA社のGeForce GTX 1070を使用した。なお、ＷＣＥとしては、実施形態３の場合と同様のPillcam ＳＢ２又はＳＢ３ＷＣＥ装を用いて実施した。データは、ＳＴＡＴＡソフトウェア（バージョン１３；Stata Corp、College Station、TX、USA）を使用して分析された。
【０１８１】
なお、実施形態４のＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態４のＣＮＮシステムに関与した内視鏡医のいずれも、識別可能な患者情報にアクセスすることができないようにした。このＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、日本医師会倫理委員会（ID:JMA-IIA00283）、仙台厚生病院（No.30-5）、東京大学病院（No.11931）、広島大学病院（No.E-1246）の承認を得た。
【０１８２】
［結果の測定及び統計］
まず、検証用データセットの画像内の突出病変の領域の全てに、手作業で長方形の境界ボックス（以下、「真のボックス」という。）を太線で付与した。また、実施形態４の訓練されたＣＮＮシステムは、検証用データセットセットの画像内の検出した突出病変の領域に長方形の境界ボックス（以下、「ＣＮＮボックス」という。）を細線で付与するとともに、突出病変の領域の確率スコア（ＰＳ：範囲は０−１）を出力した。確率スコアが高いほど、実施形態４の訓練されたＣＮＮシステムはその領域に突出病変が含まれている確率が高いと判断していることを示している。
【０１８３】
発明者等は、実施形態４のＣＮＮシステムが各画像が突出病変を含むか否かについて判別する能力を、各画像の確率スコアの降順でＣＮＮボックスを評価した。ＣＮＮボックス、突出病変の確率スコア、及び突出病変のカテゴリーは、ＣＮＮボックスが突出病変を明確に囲んでいたときはＣＮＮの結果として決定された。
【０１８４】
ＣＮＮボックスが多数描かれているために視覚的に判断することが困難であった場合、ＣＮＮボックスと真のボックスのオーバーラップが０．０５Intersection over Unions (ＩｏＵ)と等しいかそれよりも大きい場合は、ＣＮＮの結論として決定された。なお、ＩｏＵは、オブジェクト検出器の精度を測定する評価方法であり、２つのボックスの重複領域を２つのボックスの結合領域で割ることによって計算される。
ＩｏＵ＝（オーバーラップ領域）／（両者合わせた領域）
ＣＮＮボックスが上記のルールに適用されなかった場合、確率スコアが次に低いＣＮＮボックスが順番に評価された。
【０１８５】
複数の真のボックスが１つの画像に表示されたときに、ＣＮＮボックスの１つが真のボックスと重なる場合、そのＣＮＮボックスはＣＮＮの結果であると決定された。突出病変のない画像の場合、確率スコアが最大のＣＮＮボックスがＣＮＮの結果として決定された。３人の内視鏡専門医が全ての画像に対してこれらのタスクを実行した。
【０１８６】
確率スコアのカットオフ値を変化させることで受信機動作特性（ＲＯＣ）曲線をプロットし、実施形態４の訓練されたＣＮＮシステムによる突出病変識別の程度を評価するために曲線下面積（ＡＵＣ）を計算した（図１６参照）。そして、実施形態３の場合と同様にして、Youdenインデックスに従ったスコアを含む確率スコアに対する様々なカットオフ値を用いて、実施形態４のＣＮＮシステムの突出病変を検出する能力である、感度、特異度及び精度を計算した。
【０１８７】
実施形態４における二次的な結果は、ＣＮＮによる突出病変の５つのカテゴリーへの分類、及び個々の患者分析における突出病変の検出である。分類の精度については、ＣＮＮと内視鏡専門医との分類の一致率を調べた。突出病変の検出率に関する個々の患者分析では、ＣＮＮが同じ患者の複数の画像で少なくとも１つの突出病変画像を検出した場合、ＣＮＮによる検出は正しいと定義された。
【０１８８】
さらに、ＣＮＮプロセスを行った後、検証データトセット内の１０，０００枚の臨床的に正常とされた画像を再評価した。正常画像とされた画像中、幾つかの真の突出病変であると思われるＣＮＮボックスが抽出された。この病変は医師によって見落とされている可能性がある。これは、３人の内視鏡専門医のコンセンサスに基づいている。
【０１８９】
また、実施形態４のＣＮＮシステムの訓練用及び検証用に用いられたデータデットの患者特性及び訓練用データセットと検証用データセットの詳細を表１４に示した。検証用データセットは、７３人の患者（男性、６５．８％、平均年齢、６０．１歳、標準偏差、１８．７歳）からの突出病変を含む７，５０７枚の画像と、２０人の患者（男性、６０．０％、平均年齢、５１．９歳、標準偏差、１１．４歳）からの病変のない１０，０００枚の画像で構成されていた。
【０１９０】
【表１４】
2020105699.tif 000016
【０１９１】
実施形態４で構築されたＣＮＮは、５３０．４６２秒で全画像の分析を終え、１画像あたりの平均速度は０．０３０３秒であった。突出病変の検出に使用された実施形態４のＣＮＮのＡＵＣは０．９１１（９５％信頼区間（Ｃｌ）、０．９０６９−０．９１５５）であった（図１６参照）。
【０１９２】
Youdenインデックスによると、確率スコアの最適なカットオフ値は０．３１７であった。したがって、確率スコアが０．３１７以上の領域がＣＮＮによって検出された突出病変として認識された。そのカットオフ値を使用すると、ＣＮＮの感度と特異度はそれぞれ９０．７％（９５％ＣＩ、９０．０％−９１．４％）と７９．８％（９５％ＣＩ、７９．０％−８０．６％）であった（表１５）。
【０１９３】
【表１５】
2020105699.tif 000017
【０１９４】
突出病変のカテゴリーのサブグループ分析では、ＣＮＮの感度は、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造の検出について８６．５％、９２．０％、９５．８％、７７．０％、及び９４．４％であった。図１７Ａ−図１７Ｅは、それぞれ実施形態４のＣＮＮによってポリープ、結節、上皮腫瘍、粘膜下腫瘍及び静脈構造の５つのカテゴリーに正しく検出及び分類された代表的な領域を示す。
【０１９５】
個々の患者の分析では、突出病変の検出率は９８．６％（７２／７３）であった。突出病変のカテゴリー別に、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造の患者あたりの検出率は、９６．７％（２９／３０）、１００％（１４／１４）、１００％（１４／１４）、１００％（１１／１１）、及び１００％（４／４）であった。ただし、図１８Ａ―ズ１８Ｃに示した１人の患者のポリープの３つの画像は、全て実施形態４ってＣＮＮによって検出できなかった。この画像では、ＣＮＮボックスの全ての確率スコアは０．３１７未満であったため、ＣＮＮによって突出病変としては検出されなかった。また、突出病変を持たないように見えるが、ＣＮＮが確率スコア０．３１７以上のＣＮＮボックスを提供した偽陽性画像（ｎ＝２，０１９）中、２つが内視鏡専門医によって真の突出病変であることが示唆された（図１９）。
【０１９６】
ＣＮＮ及び専門の内視鏡医による突出病変のラベル付けを表１６に示した。ポリープ、結節、上皮腫瘍、粘膜下腫瘍、及び静脈構造に対するＣＮＮ及び内視鏡医のラベル付けの一致率は４２．０％、８３．０％、８２．２％、４４．５％及び４８．０％であった。
【０１９７】
【表１６】
2020105699.tif 000018
【０１９８】
以上述べたように、実施形態４におけるＣＮＮでは、ＣＥＳＴに基づくカテゴリーを適用し、ポリープ、結節、上皮腫瘍、粘膜下腫瘍、静脈構造などのカテゴリー間の感度の違いもあるが、高感度で、良好な検出率で検出及び分類できることが明らかにされた。
【０１９９】
［実施形態５］
ワイヤレスカプセル内視鏡（以下、単に「ＷＣＥ」という。）は、小腸疾患を調査するための不可欠なツールとなっており、主要な適応症は明らかな出血源が見当たらない原因不明の消化管出血（ＯＧＩＢ）が主である。ＷＣＥ画像のスクリーニングに際し、医師は患者一人あたり１０，０００枚の画像を３０−１２０分もかけて読影している。そのため、ＷＣＥの画像解析には血液成分を自動的に検出できるかどうかが重要である。このようなＷＣＥ画像における血液成分を自動的に検出する手段として、例えば「赤色領域推定表示機能」（Suspected Blood Indicator。以下単に「ＳＢＩ」という。）が知られている（非特許文献１１参照）。ＳＢＩは、ＲＡＰＩＤ ＣＥ読影ソフトウェア（Ｍｅｄｔｒｏｎｉｃ、ミネソタ州、ミネアポリス、米国）に搭載されている画像選択ツールであり、出血の可能性がある領域を赤色のピクセルでタグ付けする。
【０２００】
実施形態５では、上述したＳＢＩと対比して、ＣＮＮシステムを用いたＷＣＥ画像による小腸の出血の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。なお、小腸の血液成分の検出に際しては、血液の量的な推測が可能であり、この場合、血液の分布範囲等から血液量を推測することも可能である。ただし、以下では血液成分の有無、すなわち出血の有無について検出する場合を例示する。 
【０２０１】
［データセットについて］
発明者の一部が属する単一の機関（東京大学病院、日本）において、２００９年１１月から２０１５年８月までのＷＣＥ画像を遡及的に取得した。その期間中、ＷＣＥは実施形態３の場合と同様の、Pillcam ＳＢ２又はＳＢ３ ＷＣＥ装置を使用して実施した。２人の内視鏡専門医が、ＳＢＩの結果を考慮せずに、内腔に血液成分を含む画像及び正常な小腸粘膜の画像を分類した。内腔の血液成分は、活動性出血又は凝血塊と定義されている。
【０２０２】
実施形態５のＣＮＮシステムの訓練用データセットとして、２７，８４７枚の画像（２９人の患者の血液成分を含む６，５０３枚の画像及び１２人の患者の正常小腸粘膜の２１，３４４枚の画像）を収集した。同じくＣＮＮシステムの検証用データセットとして、訓練用データセットとは別に、２５人の患者から１０，２０８枚の画像を用意した。これらの画像のうち、５人の患者からの２０８枚の画像は小腸に出血があることを示しており、２０人の患者からの１０，０００枚の画像は正常な小腸粘膜のものであった。実施形態５のＣＮＮシステムのフローチャートの概要を図２０に示した。
【０２０３】
なお、実施形態５のＣＮＮシステムを訓練／検証するために、アルゴリズムの開発に先立って画像に付随する全患者情報を匿名化した。実施形態５のＣＮＮに関与した内視鏡医のいずれも識別可能な患者情報にアクセスすることができないようにした。この実施形態５のＣＮＮシステムの訓練／検証は、匿名化されたデータを使用した後ろ向き調査であったため、患者の同意書についてはオプトアウトアプローチを採用した。この研究は、東京大学倫理委員会（No.11931）及び日本医師会（ID JMA-IIA00283）の承認を得た。
【０２０４】
［訓練／検証・アルゴリズム］
実施形態５で用いたＣＮＮシステムのアルゴリズムは、５０層のディープニューラルネットワークアーキテクチャであるResNet50(https://arxiv.org/abs/1512.03385)を使用して開発された。その後、新しく開発されたＣＮＮシステムを訓練して検証するために、バークレー・ビジョン・ラーニング・センターで最初に開発されたＣａｆｆｅフレームワークを使用して訓練された。そして、ＳＧＤ（Stochastic Gradient Descent）を使用し、ネットワークのすべての層をグローバル学習率０．０００１で確率的最適化を行った。全ての画像は、ResNet50との互換性を付与するために、２２４×２２４ピクセルにリサイズした。
【０２０５】
［結果の測定及び統計］
実施形態５のＣＮＮシステムにおける主要な結果には、受信機動作特性（ＲＯＣ）曲線の曲線下面積（ＡＵＣ）、感度、特異度、及び血液成分の画像と正常粘膜の画像との間のＣＮＮシステムの識別能力の精度が含まれている。訓練された実施形態５のＣＮＮシステムは、画像当たりの血液成分についての確率スコアとして、０から１の間の連続した数値を出力した。確率スコアが高いほど、ＣＮＮシステムは画像に血液成分が含まれている確率が高いと判断していることを示している。実施形態５におけるＣＮＮシステムの検証テストは、単一の静止画像を使用して実行され、確率スコアの閾値を変化させることによってＲＯＣ曲線をプロットし、識別の程度を評価するためにＡＵＣを計算した。
【０２０６】
実施形態５では、ＣＮＮシステムによる最終的な分類のために、確率スコアのしきい値を単純に０．５に設定し、血液成分を含む画像と正常粘膜の画像との間のＣＮＮシステムの識別能力の感度、特異性及び精度を計算した。さらに、検証セットでは、１０，２０８枚の画像を検討することにより、血液成分を含む画像と正常粘膜の画像との間のＳＢＩによる識別能力の感度、特異性及び精度を評価した。実施形態５のＣＮＮシステムとＳＢＩとの能力の差異は、マクネマーの検定を使用して比較された。得られたデータは、ＳＴＡＴＡソフトウェア（バージョン１３；Stata Corp、College Station、TX、USA）を用いて統計的に分析された。
【０２０７】
検証用データセットは、２５人の患者からの１０，２０８枚の画像から構成されていた（男性、５６％、平均年齢、５３．４歳、標準偏差、１２．４歳）。実施形態５の訓練されたＣＮＮシステムは、これらの画像を評価するのに２５０秒要した。これは毎秒４０．８枚の画像の速度に等しい。血液成分を含む画像を識別する実施形態５のＣＮＮシステムのＡＵＣは０．９９９８であった（９５％ＣＩ(信頼区間）、０．９９９６−１．００００；図２１参照）。また、表１５は、確率スコアのカットオフ値を０．１から０．９まで０．１ずつ増加させることによって計算されたそれぞれの感度、特異度及び精度を示す。
【０２０８】
【表１７】
2020105699.tif 000019
【０２０９】
確率スコア０．５のカットオフ値で、実施形態５のＣＮＮシステムの感度、特異度及び精度はそれぞれ９６．６３％（９５％ＣＩ、９３．１９−９８．６４％）、９９．９６％（９５％ＣＩ、９９．９０−９９．９９％）及び９９．８９％（９５％ＣＩ、９９．８１−９９．９５％）であった。なお、表１５の確率スコアのカットオフ値０．２１は、Youdenの指数に従って計算された最適カットオフ値であるが、この検証用データセットでは、Youdenインデックスのカットオフ値における精度は、０．５の単純カットオフ値における精度よりも低かった。また、図２２は、実施形態５のＣＮＮシステムによって正しく分類された代表的な血液を含む画像(図２２Ａ）と正常粘膜画像(図２２Ｂ）を示している。なお、図２２Ａ及び図２２Ｂのそれぞれの実施形態５のＣＮＮシステムによって得られた確率値を下記表１８に示した。
【０２１０】
【表１８】
2020105699.tif 000020
【０２１１】
一方、ＳＢＩの感度、特異度及び精度は、それぞれ７６．９２％（９５％ＣＩ、７０．５９−８２．４７％）、９９．８２％（９５％ＣＩ、９９．７２−９９．８９％）及び９９．３５％（９５％ＣＩ、９９．１８−９９．５０％）であった。これらはいずれも、ＣＮＮシステムよりも有意に低かった（ｐ＜０．０１）。表１９に実施形態５のＣＮＮシステムとＳＢＩの分類の相違を示した。
【０２１２】
【表１９】
2020105699.tif 000021
【０２１３】
図２３は、実施形態５のＣＮＮによって正常粘膜として分類された７つの偽陰性画像を示している。これらのうち、図２３Ａに示した４つの画像はＳＢＩによって血液成分を含むものとして正しく分類されたものであり、図２３Ｂの３つの画像はＳＢＩによって正常粘膜として誤って分類されたものである。なお、図２３Ａ及び図２３Ｂのそれぞれの実施形態５のＣＮＮシステム及びＳＢＩによって得られた分類を下記表２０に、同じくＣＮＮシステムとＳＢＩとの分類の関係を表２１にそれぞれ示した。
【０２１４】
【表２０】
2020105699.tif 000022
【０２１５】
【表２１】
2020105699.tif 000023
【０２１６】
以上述べたように、実施形態５の訓練されたＣＮＮシステムによれば、９９．９％の高精度で血液成分を含む画像と正常な粘膜画像を区別できた（ＡＵＣ、０．９９９８）。また、ＳＢＩとの直接比較では、実施形態５の訓練されたＣＮＮシステムがＳＢＩよりも正確に分類できることが示された。単純カットオフポイント０．５でも、実施形態５の訓練されたＣＮＮシステムは、感度及び特異性の両方でＳＢＩより優れていた。この結果は、実施形態５の訓練されたＣＮＮシステムがＷＣＥの非常に正確なスクリーニングツールとして使用できることを示している。
【０２１７】
［実施形態６］
実施形態６では、通常の内視鏡（非拡大内視鏡，非ＭＥ）、超音波内視鏡（ＥＵＳ）及び拡大内視鏡（ＭＥ）による扁平上皮癌（ＳＣＣ）の深達度を診断する診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。
【０２１８】
まず、食道のＳＣＣの深達度とその分類との関係を図２４を用いて説明する。食道は、食道の内面側から、粘膜上皮（ＥＰ）、粘膜固有層（ＬＰＭ），粘膜筋板（ＭＭ）、粘膜下層（ＳＭ）、固有筋層及び外膜からなっている。ＳＣＣが粘膜上皮（ＥＰ）内に止まっている場合は「ＥＰ」と表示し、「Ｔｉｓ」に分類される。ＳＣＣが粘膜上皮の下部の粘膜固有層（ＬＰＭ）まで達している場合は「ＬＰＭ」と表示し、同じく粘膜筋板（ＭＭ）まで達している場合は「ＭＭ」と表示し、両者ともに「Ｔ１ａ」に分類される。
【０２１９】
これらの粘膜上皮、粘膜固有層及び粘膜筋板が一般的に「粘膜」と称される箇所である。日本のガイドライン及び欧州のガイドラインによれば、ＥＲは、上皮（ＥＰ）／粘膜固有層（ＬＰＭ）、粘膜筋（ＭＭ）／２００μｍ程度まで達しているものに適用することが望ましいとされている。
【０２２０】
ＳＣＣが粘膜固有層の下部の粘膜下層まで達しているものは，その深さに応じて順に「ＳＭ１」、「ＳＭ２」及び「ＳＭ３」と表示し、全て「Ｔ１ｂ」に分類される。なお、「ＳＭ１」、「ＳＭ２」及び「ＳＭ３」の区分の境界は明確なものではないが、一応、感覚的に粘膜下層表面近傍、粘膜下層中間部及び粘膜下深部の３区分に分けることができる。
【０２２１】
上記のガイドラインでは、Ｔ１ａよりも深く達したＴ１ｂに分類されるＳＣＣに対してＥＲの適用性については示されていない。しかしながら、ＳＣＣの深達度がＴ１ａ（ＭＭ及びＳＭ１）である場合には、癌の転移確率は１０％未満であると報告されているので、食道切除術の高い死亡率及び実質的な罹患率に基づき、特に患者が老人であるか虚弱である場合には、ＥＲはＴ１ａ（ＭＭ及びＳＭ１）のための最も適切な初期治療と見なされている。食道切除術は、転移リスクが２５％を超えているため、通常Ｔ１ｂ（粘膜下層中間部（ＳＭ２）又は粘膜下深部（ＳＭ３））の場合に適応される。したがって、ＳＣＣの深達度の術前診断のための最も重要な仕事は、Ｔ１ａ（ＥＰ及びＳＭ１）をＴ１ｂ（ＳＭ２又はＳＭ３）と区別することである。
【０２２２】
［データセットについて］
発明者の一人が属する医院において日常撮影された内視鏡画像を用いてＣＮＮシステムの訓練を行った。使用した内視鏡システムは、高解像度ないし高精細上部胃腸内視鏡（ＧＩＦ−ＸＰ２９０Ｎ，ＧＩＦ−Ｑ２６０Ｊ，ＧＩＦ−ＲＱ２６０Ｚ，ＧＩＦ−ＦＱ２６０Ｚ，ＧＩＦ−Ｑ２４０Ｚ，ＧＩＦ−Ｈ２９０Ｚ，ＧＩＦ−Ｈ２９０，ＧＩＦ−ＨＱ２９０及びＧＩＦ−Ｈ２６０Ｚ；オリンパス製，東京，日本）及びビデオプロセッサ（ＣＶ２６０；オリンパス製）、高精細拡大胃腸内視鏡（ＧＩＦ−Ｈ２９０Ｚ，ＧＩＦ−Ｈ２９０，ＧＩＦ−ＨＱ２９０，ＧＩＦ−Ｈ２６０Ｚ：オリンパス製）及びビデオプロセッサ（ＥＶＩＳ  ＬＵＣＥＲＡ  ＣＶ−２６０／ＣＬＶ−２６０及びＥＶＩＳ  ＬＵＣＥＲＡ  ＥＬＩＴＥ  ＣＶ−２９０／ＣＬＶ−２９０ＳＬ；オリンパスメディカルシステム製）、高解像度内視鏡（ＥＧ−Ｌ５９０ＺＷ，ＥＧ−Ｌ６００ＺＷ及びＥＧ−Ｌ６００ＺＷ７；富士フィルム製，東京，日本）及びビデオ内視鏡システム（ＬＡＳＥＲＥＯ：富士フイルム製）であった。
【０２２３】
訓練画像は、標準白色光画像、狭帯域光（ＮＢＩ）画像及び青色レーザ光(ＢＬＩ）を用いた画像であるが、以下の除外基準に属する患者の画像は除外された。この除された画像には、重度の食道炎を有する患者、化学療法の病歴を有する患者、食道への放射線照射、潰瘍又は潰瘍の瘢痕に隣接する病変、少なすぎる空気吹き込みによる低品質の画像、出血、ハレーション、ぼけ、焦点外れ、又は粘液が含まれる。
【０２２４】
選択後、８０４名の患者の病理学的に証明された表在食道ＳＣＣからの８，６６０枚の非拡大内視鏡画像及び５，６７８の拡大内視鏡画像を訓練画像データセットとして収集した。これらの画像は、ＪＰＥＧ(Joint Photographic Experts Group)形式で保存され、切除標本の病理診断に基づいて、病理学的ｐＥＰ及びｐＬＰＭ、ｐＭＭ、ｐＳＭ１、及び、ｐＳＭ２及びｐＳＭ３癌に分類された。その後、日本消化器内視鏡学会の指導医によって手作業で四角枠の標識を付与した。癌の全領域は、ｐＥＰ−ｐＳＭ１癌のために標識され、ｐＳＭ２及びｐＳＭ３のもののみがＳＭ２及びＳＭ３癌のために特別に標識された。
【０２２５】
内視鏡ビデオプロセッサの構造強化は、狭帯域イメージング（ＮＢＩ）はＢモードレベル８に設定され、青色レーザイメージング（ＢＬＩ）のレベルレベルは５−６に設定された。拡大観察時に内視鏡ズームレンズの先端と粘膜面との間の距離を適切に保つため、内視鏡の先端に黒い軟質フードを取り付けた。非拡大白色光画像、ＮＢＩ又はＢＬＩによる初期ルーチン検査を行って、癌の突出の程度、陥没の程度及び硬さを評価した。
【０２２６】
続いて、ＮＢＩを拡大して、表面血管構造の外観、特に毛細血管の毛細血管ループの変化を評価した。最後に、癌の広がりを描写するためにヨウ素染色を行った。
【０２２７】
［訓練／検証・アルゴリズム］
実験形態６のＣＮＮシステムは、アルゴリズムを変更することなく、実質的に実施形態３の場合と同様のシングルショットマルチボックス検出器（ＳＳＤ）と呼ばれるＣＮＮアーキテクチャと、Caffeフレームワークとを用いた。
【０２２８】
訓練は、グローバル学習率０．０００１の確率勾配降下で行った。各画像は３００×３００ピクセルにリサイズされ、四角枠も最適なＣＮＮ分析を行うようにサイズを変更した。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。
【０２２９】
［結果の測定及び統計］
実験形態６の訓練されたＣＮＮシステムに基づく評価は、表在食道ＳＣＣの独立した検証試験データによって行われた。２０１７年１月から２０１８年４月まで、発明者の一人が属する病院で内視鏡的粘膜下層剥離術又は食道切除術を受けた患者から画像を収集した。訓練データセットと同じ除外基準を満たす患者を除外した後、１５５人の患者を選択した。一人の患者から３−６枚の代表的な画像（非拡大内視鏡及び拡大内視鏡）を選択し、ＣＮＮシステムによって診断した。
【０２３０】
実験形態６の訓練されたＣＮＮシステムは、その診断の確率に対応する、０と１との間の連続数を有するＥＰ−ＳＭ１又はＳＭ２／ＳＭ３癌の診断を生成する。病変の全領域がＥＰ−ＳＭ１に限定されていると診断された場合、病変はＥＰ−ＳＭ１癌と診断された。病変の一部がＳＭ２又はＳＭ３に侵入したと診断された場合、病変はＳＭ２／３癌と診断された。非拡大内視鏡、拡大内視鏡及び最終診断（非拡大内視鏡＋拡大内視鏡）の結果を分析した。
【０２３１】
実験形態６の訓練されたＣＮＮシステムと医師の判断の正確性を比較するために、内視鏡専門家として日本消化器内視鏡学会の１６名の認定内視鏡専門医が招待された。内視鏡専門医は医師として９−２３年の専門知識を有し、３０００−２００００回の内視鏡検査を経験している。彼らはまた、術前診断及び胃腸癌の内視鏡的切除を日常的に行っている。彼らに対し、ＣＮＮシステムと同じ検証テストデータが提供され、ＥＰ−ＳＭ１又はＳＭ２／ＳＭ３癌の診断を行なった。
【０２３２】
主な出力指標は、診断精度、感度、特異性、陽性予測値（ＰＰＶ）、陰性予測値（ＮＰＶ）、及び診断時間であった。これらの値を実験形態６の訓練されたＣＮＮシステムと内視鏡専門医との間で比較した。癌の深達度の診断における観察者間の変動を評価するために、κ統計が用いられた。κ値＞０．８は、ほぼ完全な一致を示し、κ値＝０．８−０．６は実質的な一致、κ値＝０．６−０．４は中程度の一致、κ値＝０．４−０．２は低度の一致、κ値<０．２はわずかな一致、κ値＝０は偶然の一致を示し、κ値<０は不一致を示唆している。全ての計算は統計ソフトＥＺＲを用いて行った。
【０２３３】
この調査は、大阪国際癌研究所（No.2017-1710059178）及び日本医師会（ID JMA-IIA00283）の承認を受けて行われた。
【０２３４】
実験形態６の訓練されたＣＮＮシステムの診断の妥当性を調べるため、１５５人の患者からの合計で４０５枚の非拡大内視鏡画像と、５０９枚の拡大内視鏡画像を選択した。選択された患者の人口統計を表２２に要約した。
【表２２】
2020105699.tif 000024
【０２３５】
全ての画像を診断するための所要時間は２９秒であった。表２３に示したように、ｐＥＰ−ＳＭ１癌（非拡大内視鏡＋拡大内視鏡）の最終診断では、感度９０．１％、特異度９５．８％、陽性予測値９９．２％、陰性予測値６３．９％、精度９１．０％が得られた。
【０２３６】
【表２３】
2020105699.tif 000025
【０２３７】
ｐＥＰ−ＳＭ１癌の非拡大内視鏡診断では、感度９５．４％、特異度７９．２％、陽性予測値９６．２％、陰性予測値７６．０％、及び精度９２．９％が得られた。ｐＳＭ１癌の拡大内視鏡診断では、感度９１．６％、特異度７９．２％、陽性予測値９６．０％、陰性予測値６３．３％、精度８９．７％が得られた。
【０２３８】
実験形態６の訓練されたＣＮＮシステムのＭ癌とＳＭ癌とを区別する性能を調べるため、１５５人の患者から同一の妥当性検査試験データ、すなわち、４０５枚の非拡大内視鏡画像及び５０９枚の拡大内視鏡画像を選択した。すべての画像を診断するのに必要な時間は２９秒であった。ｐＭ癌の最終診断では、特異性８９．０％（９５％ＣＩ、８２．２％−９３．８％）、９２．９％（９５％ＣＩ、７６．５％−９９．１％）、陽性予測値９８．３％（９５％ＣＩ、４８．３％−７９．４％）、精度８９．７％（９５％ＣＩ、８３．８％−９４．０％）が得られた。
【０２３９】
ｐＭ癌の非拡大内視鏡診断では、感度９３．７％（９５％ＣＩ、８８．０％−９７．２％）、特異度７５．０％（９５％ＣＩ、５５．１％−８９．３％）、陽性予測値９４．４％（９５％ＣＩ、８８．９％−９７．７％）、陰性予測値７２．４％（９５％ＣＩ、５２．８％−８７．３％）、精度９０．３％（９５％ＣＩ、８４．５％−９４．５％）が得られた。拡大内視鏡のｐＭ癌診断では、感度９３．７％（９５％ＣＩ、８８．０％−９７．２％）、特異度８５．７％（９５％ＣＩ、６７．３％−９６．０％）、陽性予測値９６．７％（９５％ＣＩ、５６．６％−８８．５％）、精度９２．３％（９５％ＣＩ、８６．９％−９５．９％）が得られた。
【０２４０】
同じ有効性試験データのＳＣＣの深達度は、１６人の内視鏡専門医によって診断された（表２３）。全体として、感度８９．８％、特異性８８．３％、９７．９％の陽性予測値、６５．５％の陰性予測値、及び８９．６％の精度が得られた。長期（１６年以上）及び短期（１６年未満）の専門知識を持つ内視鏡専門家のサブグループ分析では、診断精度はそれぞれ９１．０％及び８７．７％であった。診断のための観察者間の一致度は０．３０３（Fleissのκ係数、ｚ＝４１．１、ｐ値＝０．０００）であった。全ての検証試験データを評価するのに要した時間は１１５分（範囲７０−１８０分）であった。
【０２４１】
病変の特徴に応じた実験形態５の訓練されたＣＮＮシステムの診断精度を表２４及び表２５に示した。実験形態６の訓練されたＣＮＮシステム及び内視鏡専門医の正確さは、病変の性質、例えば、癌浸潤深さ、形態及び病変の大きさが含まれる。
【０２４２】
【表２４】
2020105699.tif 000026
【０２４３】
【表２５】
2020105699.tif 000027
【０２４４】
実験形態６の訓練されたＣＮＮシステムの非拡大内視鏡診断は高い性能を示した。非拡大内視鏡画像の大部分は白色光画像であった。白色光イメージングを使用した非拡大内視鏡は、世界中で利用可能な従来の最も一般的な内視鏡イメージング方式である。従来の非拡大内視鏡を用いた癌深達度の診断は、主観的であり、観察者間変動の影響を受ける可能性のある癌の突出、陥没、及び硬さに基づいている。
【０２４５】
このような従来の非拡大内視鏡を用いた癌深達度の診断のばらつきは、低い客観性に由来し、その信頼性を損ない、癌深達度を診断するためのツールとしての非拡大内視鏡の適用を妨げた。しかしながら、実験形態６の訓練されたＣＮＮシステムによる診断は、明確な診断を示すことができるため、客観的な診断を提供し、変動性を解決することができる。一方、拡大内視鏡の診断能は実実験形態６の訓練されたＣＮＮシステムでは不利であった。この好ましくない性能は、拡大内視鏡画像の訓練画像の量が少ないことから得られたものである。拡大内視鏡のためのより多くの訓練データセットを蓄積することにより、さらなる改善が期待される。
【０２４６】
上述したように、実験形態６の訓練されたＣＮＮシステムは、表在食道ＳＣＣの深達度を診断するための良好な性能を示し、最終診断の精度は９１．０％であり、長期の専門知識を持つ内視鏡専門家の精度に匹敵している。
【０２４７】
［実施形態７］
実施形態７では、通常の食道胃十二指腸内視鏡（ＥＧＤ）を使用し、白色光イメージング（ＷＬＩ）及び狭帯域イメージング（ＭＢＩ）による表在性咽頭願（ＳＰＣ）を診断する診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について説明する。
【０２４８】
［データセットについて］
発明者の一人が属する医院において日常のスクリーニング又は術前検査のために実行されたＥＧＤにより撮影された内視鏡画像を用いてＣＮＮシステムの訓練を行った。使用した内視鏡システムは、高解像度の内視鏡（ＧＩＦ−Ｈ２９０Ｚ、ＧＩＦ−Ｈ２９０、ＧＩＦ−ＸＰ２９０Ｎ、ＧＩＦ−Ｈ２６０Ｚ、ＧＩＦ−Ｈ２６０；オリンパス医療システム、東京、日本国）及び標準の内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ ＣＶ−２６０／ＣＬＶ−２６０、ＥＶＩＳ ＬＵＣＥＲＡ ＥＬＩＴＥ ＣＶ−２９０／ＣＬＶ−２９０ＳＬ、オリンパス医療システム）であった。
【０２４９】
訓練データセットとして、咽頭癌の５，１０９枚の画像を遡及的に収集した。これには、標準ＷＬＩの２，１０９枚の画像と、咽頭癌病変部２４７例を含むＮＢＩの３，２９４枚の画像が含まれている。これらの画像の症例は、２０２例の表在性咽頭癌と４５例の進行癌を含む扁平上皮癌（ＳＣＣ）であることが組織学的に証明されている。訓練画像からは、ハレーション、焦点ぼけ、粘液、唾液等に起因する低品質の画像は除かれ、拡大内視鏡検査による拡大画像も除外された。また、同じ画像に２つ以上の病変がある画像も除外された。表在性咽頭癌の全ての症例は、内視鏡的切除術（ＥＲ）適用の時点でのヨウ素染色及び治療後のフォローアップ内視鏡検査を使用して、他の癌がないことが確認されている。咽頭癌病変の全ての画像は、６年以上の経験があり、大規模な癌センターで６，０００件の検査を行った経験豊富な内視鏡医によって手動でマーク付けされた。
【０２５０】
［訓練／検証・アルゴリズム］
実験形態６のＣＮＮシステムは、アルゴリズムを変更することなく、実質的に実施形態３の場合と同様のシングルショットマルチボックス検出器（ＳＳＤ）と呼ばれるＣＮＮアーキテクチャを用いるとともに、Caffeフレームワークを用いた。Caffeフレームワークは、元々Berkeley Vision and Learning Centerで開発された最も広く使用されているフレームワークの１つである。
【０２５１】
訓練は、グローバル学習率０．０００１の確率勾配降下で行った。各画像は３００×３００ピクセルにリサイズされ、境界ボックスも最適なＣＮＮ分析を行うようにサイズを変更した。これらの値は、すべてのデータがＳＳＤと互換性があることを保証するために、試行錯誤によって設定された。
【０２５２】
［結果の測定及び統計］
実験形態７の訓練されたＣＮＮシステムの評価のため、咽頭癌と非癌の患者の独立した検証データセットを準備した。これらの画像には、３５例の表在性咽頭癌及び５例の進行性咽頭癌を含む、３５人の患者からの４０例の咽頭癌病変部の画像（９２８枚の咽頭癌部分の画像及び７３２枚の癌ではない部分の画像）と、癌が存在していない４０人の患者の画像（２５２枚の癌のない画像）が含まれていた。咽頭癌の患者３５人のうち、３０人の患者はそれぞれ１つの病変を有し、５人の患者は同時に２つの病変を有していた。これら全ての咽頭癌患者は、２０１５年から２０１８年にかけて発明者の一人が属する病院で内視鏡的粘膜下層剥離術又は咽頭切除により治療されていた。さらに、スクリーニング検査の検証目的で、全ての症例でＷＬＩ及びＮＢＩによる一連の咽頭のスクリーニング画像を選択した。
【０２５３】
この研究は、公益財団法人癌研究会有明病院の治験審査委員会（No.2016-1171）及び日本医師会制度審査委員会（ID JMA-II A00283）によって承認されている。
【０２５４】
［結果の測定及び統計］
訓練データセットを使用して実験形態７の訓練されたＣＮＮシステムを構築した後、独立した検証画像を使用してパフォーマンスを評価した。ＣＮＮシステムが検証画像の入力データから咽頭癌を検出すると、ＣＮＮシステムの診断信頼スコア基準値６０に基づいて、咽頭癌の疾患名が割り当てられ、関連する病変を囲むように長方形の点線の枠が内視鏡画像に表示された。ここでは、咽頭癌の検出のためのＣＮＮシステムの診断性能を評価するためにいくつかの基準が選択された。
【０２５５】
実験形態６のＣＮＮシステムが癌の一部でも認識できる場合、ＣＮＮシステムは正しく診断したと見なされた。これは、１つの画像で癌の境界全体を特定することが困難な場合があり、癌の検出が本実施形態の主な目的であったためである。ただし、実験形態６の訓練されたＣＮＮシステムによって判断された画像に癌があった場合でも、画像の８０％以上を占める広い非癌性部位が含まれている場合は正しく診断されていないと見なされた。癌のある画像では、ＣＮＮシステムが非癌性の部位を癌性であると認識したとき、それは偽陽性の認識と判断された。
【０２５６】
病変の肉眼検査による分類は、日本頭頸部癌学会編集の頭頸部癌に関する臨床研究の一般規則の日本分類に従って決定された。また、検証データセットとして使用される症例をよりよく理解するために、国際対癌連合（ＵＩＣＣ）による悪性腫瘍のＴＮＭ分類からのＴ因子を使用した。
Ｔ因子を簡単に述べると、下咽頭では、以下のとおりとなる。
Ｔ１：下咽頭の１部位に限定され、最大径は２ｃｍ以下、
Ｔ２：下咽頭の隣接部位に拡大、又は、最大径が２ｃｍ以上で４ｃｍ以下であり、片側咽頭の固定なし、
Ｔ３：最大径が４ｃｍを超える腫瘍、又は、片側咽頭の固定ないし食道への拡大を伴う、
Ｔ４ａ／Ｔ４ｂ：腫瘍が隣接臓器のいずれかに浸潤している。
中咽頭では、以下のとおりとなる。
Ｔ１：腫瘍が２ｃｍ以下、
Ｔ２：腫瘍が２ｃｍ以上で４ｃｍ以下。
【０２５７】
全ての連続変数は、範囲の中央値(median値)として表されている。医用統計解析ソフトGraphPad Prism（GraphPad Software、Inc、La Jolla、CA）を利用したフィッシャーの正確度検定を使用して、統計分析を実施した。Ｐ＜０．０５の場合は統計的に有意とみなされた。
【０２５８】
腫瘍サイズの中央値は２２．５ｍｍでであり、病変の７２．５％が梨状洞にあり、病変の１７．５％が下咽頭の後壁にあった。肉眼による分類では、４７．５％が０−IIａであり、４０％が０−IIｂであった。全ての病変は組織病理学で扁平上皮癌（ＳＣＣ）であることが確認された（表２６参照）。
【０２５９】
【表２６】
2020105699.tif 000028
【０２６０】
検証画像の一例を図２５に示した。なお、図２５Ａ−図２５Ｄは、実施形態７のＣＮＮシステムが正しく咽頭癌を検出した画像を示している。実施形態７のＣＮＮシステムは、咽頭癌として認識した領域を破線で方形の枠として表示している。なお、実線の方形状の枠は、内視鏡専門医が癌の領域として表示したものである。
【０２６１】
図２５Ａでは、梨状洞に白っぽい表面隆起病変が見られる。実施形態７のＣＮＮシステムは、病変を正しく認識し、内視鏡専門医によって描かれた実線正方形の枠と実質的に一致する破線の方形状の枠で囲んでいる。また、実施形態７のＣＮＮシステムは、茶色がかった領域として示される狭帯域イメージング（ＮＢＩ）による咽頭癌(図２５Ｂ）、白色光イメージング（ＷＬＩ）によるかすかに赤みがかった不明瞭な病変（図２５Ｃ）及び狭帯域イメージングＮＢＩの接線方向の病変（図２５Ｄ）など、一般に検出が困難なとされている病変も認識できていた。
【０２６２】
実施形態７のＣＮＮシステムは、ＷＬＩとＮＢＩの包括的な診断により、咽頭癌（４０／４０）の全ての病変を正しく検出した。その検出率は、ＷＬＩで９２．５％（３７／４０）、ＮＢＩで１００％（３８／３８）であった。実施形態７のＣＮＮシステムは、サイズが１０ｍｍ未満の３つの咽頭癌を全て検出できた。さらに、実施形態７のＣＮＮは２８秒で１９１２枚の画像を分析できた。
【０２６３】
また、実施形態７のＣＮＮシステムは、ＮＢＩによる各画像では８５．６％の感度で咽頭癌を正しく検出できたが、ＷＬＩによる各画像では７０．１％の感度で検出された。これはＮＢＩの場合よりも有意に低い感度であった（表２７、図２７Ａ参照）。ＷＬＩとＮＢＩのＰＰＶ（陽性的中率）は実質的に異なっていない（表２７、図２７Ｂ参照）。また、実施形態７のＣＮＮシステムの特異度、ＰＰＶ及びＮＰＶ（陰性的中率）は、それぞれ５７．１％、６０．７％及び７７．２％であったた（表２４参照）。
【０２６４】
【表２７】
2020105699.tif 000029
【０２６５】
実施形態７のＣＮＮシステムでの偽陽性と偽陰性の原因は、頻度の降順で表２８及び表２９に纏められている。偽陽性の最も多い原因は、正常な構造を癌と誤診でしたものが５１％を占めていた（表２８参照）。実施形態７のＣＮＮシステムは、咽頭の正常な舌、披裂、喉頭蓋、及び正常な粘膜の凹凸を誤診することがある。実施形態７のＣＮＮシステムが擬陽性と誤診した画像の例を図２６に示した。たとえば、小さなのう胞による凹凸がある場合(図２６Ｃ）、舌根の画像（図２６Ｂ）及び披列の画像（図２６Ｃ）の例であるが、いずれも癌と誤診した。また、炎症を伴う正常な粘膜を癌と誤診でしたものが２３％を占め（表３）、正常な粘膜のＷＬＩの局所的な赤みがかった領域やＮＢＩの茶色がかった領域なども癌とも誤診された（図２６Ｄ）。泡と血液は、咽頭内では水で洗うことができないため、検証画像に残っており、癌と誤診されることもあった（図２６Ｅ）。良性病変に関しては、リンパ濾胞が最も頻繁に見られた（図２６Ｆ）。
【０２６６】
【表２８】
2020105699.tif 000030
【０２６７】
【表２９】
2020105699.tif 000031
【０２６８】
実施形態７のＣＮＮシステムで偽陰性と認定された画像の例を図２８に示した。実施形態７のＣＮＮシステムでの偽陰性と認定された画像の半分は、病変が遠すぎる場合（図２８Ａ）、病変の一部のみが存在する場合（図２８Ｂ）、又は接線ビューの病変の場合（図２８Ｃ）などの困難な条件（表２９参照）によるものであった。実施形態７のＣＮＮシステムは、ＷＬＩのいくつかの不明瞭な病変も見逃していた（図２８Ｄ）。これは、内視鏡専門医でも診断することが困難な例であった。
【０２６９】
以上述べたように、実施形態７のＣＮＮシステムは、咽頭癌を検出するために良好なパフォーマンスを示し、各ケースで咽頭癌の全ての病変を検出できた。全画像の感度は７９．７％であり、特にＮＢＩ画像の感度は８５．７％であった。すなわち、実施形態７のＣＮＮシステムでは、ＮＢＩはＷＬＩよりも咽頭癌を検出するのに優れていた。このことは目視による内視鏡専門医の検出結果と一致しており、従来はＷＬＩで８％、ＮＢＩで１００％であり、両者は非常に検出率が異なっていると報告されてる（非特許文献１２参照）。これは、ＷＬＩの画像では、表在癌と正常粘膜のコントラストが弱いためある。しかし実施形態７のＣＮＮシステムは、ＷＬＩの画像でも６９．８％の検出率であった。これは、以前の報告による内視鏡専門医の検出率よりもはるかに高い。したがって実施形態７のＣＮＮシステムは、ＮＢＩのない施設でも咽頭癌の検出に役立つことがわかる。
【０２７０】
［実施形態８］
実施形態８のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法について、図２０を用いて説明する。実施形態８では、実施形態１−６のＣＮＮシステムを用いた消化器官の内視鏡画像による疾患の診断支援方法を使用することができる。Ｓ１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、疾患の深達度、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてＣＮＮシステムを訓練／検証する。このＣＮＮシステムが胃内視鏡画像におけるＨ．ピロリ関連疾患の診断用の場合であれば、Ｈ．ピロリ陽性及びＨ．ピロリ陽性の場合だけでなく、Ｈ．ピロリ除菌後の画像データをも含める。
【０２７１】
Ｓ２では、Ｓ１において訓練／検証されたＣＮＮシステムは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する確率の少なくとも１つを出力する。この第２の内視鏡画像は、新たに観察された内視鏡画像を示す。
【０２７２】
Ｓ１では、第１の内視鏡画像はそれぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃、十二指腸、小腸及び大腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。
【０２７３】
第１の内視鏡画像が胃内視鏡画像を含む場合には、Ｓ１では疾患としてＨ．ピロリ感染陽性又は陰性だけでなく、Ｈ．ピロリ除菌の有無を含めてもよく、Ｓ２ではＨ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力するようにしてもよい。
【０２７４】
第１の内視鏡画像が大腸内視鏡画像を含む場合には、Ｓ１では、区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門を含めてもよく、Ｓ２では、第２の内視鏡画像の大腸の区分として、例えば、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよく、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよく、さらには、終末回腸、盲腸−上行結腸−横行結腸からなる右側結腸、下行結腸−Ｓ字結腸−直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力するようにしてもよい。
【０２７５】
また、Ｓ２では、第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。
【０２７６】
［実施形態９］
実施形態９の消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体について図２１を参照して、説明する。実施形態９では、実施形態８で説明した消化器官の内視鏡画像による疾患の診断支援方法を利用することができる。
【０２７７】
この消化器官の内視鏡画像による疾患の診断支援システム１は、内視鏡画像入力部１０と、出力部３０と、ＣＮＮプログラムが組み込まれたコンピュータ２０と、出力部３０と、を有する。コンピュータ２０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域２１と、第１の内視鏡画像に対応する、消化器官の疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域２２と、ＣＮＮプログラムを記憶する第３の記憶領域２３と、を備える。第３の記憶領域２３に記憶されたＣＮＮプログラムは、第１の記憶領域２１に記憶されている第１の内視鏡画像と、第２の記憶領域２２に記憶されている確定診断結果とに基いて訓練／検証されており、内視鏡画像入力部１０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する確率の少なくとも１つを出力部３０に出力する。
【０２７８】
第１の記憶領域２１に記憶する第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃、十二指腸、小腸又は大腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。
【０２７９】
第１の記憶領域２１に記憶する第１の内視鏡画像が胃内視鏡画像を含む場合には、第２の記憶領域２２に記憶する確定診断結果としては、Ｈ．ピロリ感染陽性又は陰性だけでなく、Ｈ．ピロリ除菌の有無を含めてもよく、第３の記憶領域に記憶させた第２の内視鏡画像について、Ｈ．ピロリ感染陽性の確率、Ｈ．ピロリ感染陰性の確率及びＨ．ピロリ除菌の確率の少なくとも一つを出力部３０から出力するようにしてもよい。
【０２８０】
第１の記憶領域２１に記憶する第１の内視鏡画像が大腸内視鏡画像を含む場合には、第２の記憶領域２２に記憶する確定診断結果としての区分として、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門を含めてもよく、第３の記憶領域に記憶させた第２の内視鏡画像の大腸の区分として、例えば、終末回腸、盲腸、上行結腸、横行結腸、下行結腸、Ｓ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよく、終末回腸、盲腸、上行結腸及び横行結腸、下行結腸及びＳ字結腸、直腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよく、さらには、終末回腸、盲腸−上行結腸−横行結腸からなる右側結腸、下行結腸−Ｓ字結腸−直腸からなる左側結腸及び肛門の少なくとも一つに対応する確率を出力部３０から出力するようにしてもよい。
【０２８１】
また、第３の記憶領域に記憶させる第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。
【０２８２】
実施形態９の消化器官の内視鏡画像による疾患の診断支援システムは、各手段としてコンピュータを動作させるためのもの消化器官の内視鏡画像による診断支援プログラムを備えている。また、消化器官の内視鏡画像による診断支援プログラムは、コンピュータ読み取り可能な記録媒体に記憶しておくことができる。
【符号の説明】
【０２８３】
１０…内視鏡画像入力部
２０…コンピュータ
２１…第１の記憶領域
２２…第２の記憶領域
２３…第３の記憶領域
３０…出力部
【図１】
2020105699.tif 000032
【図２】
2020105699.tif 000033
【図３】
2020105699.tif 000034
【図４】
2020105699.tif 000035
【図５】
2020105699.tif 000036
【図６】
2020105699.tif 000037
【図７】
2020105699.tif 000038
【図８】
2020105699.tif 000039
【図９】
2020105699.tif 000040
【図１０】
2020105699.tif 000041
【図１１】
2020105699.tif 000042
【図１２】
2020105699.tif 000043
【図１３】
2020105699.tif 000044
【図１４】
2020105699.tif 000045
【図１５】
2020105699.tif 000046
【図１６】
2020105699.tif 000047
【図１７】
2020105699.tif 000048
【図１８】
2020105699.tif 000049
【図１９】
2020105699.tif 000050
【図２０】
2020105699.tif 000051
【図２１】
2020105699.tif 000052
【図２２】
2020105699.tif 000053
【図２３】
2020105699.tif 000054
【図２４】
2020105699.tif 000055
【図２５】
2020105699.tif 000056
【図２６】
2020105699.tif 000057
【図２７】
2020105699.tif 000058
【図２８】
2020105699.tif 000059
【図２９】
2020105699.tif 000060
【図３０】
2020105699.tif 000061
【国際調査報告】
2020105699.tif 000062
2020105699.tif 000063
2020105699.tif 000064
2020105699.tif 000065
2020105699.tif 000066
2020105699.tif 000067