(57)【要約】  内視鏡イメージで胃病変を診断する方法に関するものであって、内視鏡イメージで胃病変を診断する方法は、複数の胃病変イメージを取得するステップと、前記複数の胃病変イメージと患者情報とを連係してデータセットを生成するステップと、ディープラーニングアルゴリズムに適用可能なように前記データセットを前処理するステップと、前処理過程を経た前記データセットを入力とし、胃病変分類結果に関する項目を出力とする学習を介しての人工神経網を構築するステップとを含むことができる。【選択図】図１
2022502150.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡イメージで胃病変を診断する方法において、
複数の胃病変イメージを取得するステップと、
前記複数の胃病変イメージと患者情報とを連係してデータセットを生成するステップと、
ディープラーニングアルゴリズムに適用可能なように前記データセットを前処理するステップと、
前処理過程を経た前記データセットを入力とし、胃病変分類結果に関する項目を出力とする学習を介しての人工神経網を構築するステップと、
を含む病変診断方法。
【請求項２】
新規データセットを、前記前処理過程を経た後、前記人工神経網を介して胃病変診断を行うステップをさらに含むことである請求項１に記載の病変診断方法。
【請求項３】
前記データセット生成ステップは、
前記データセットを前記人工神経網学習に要求される学習用データセット及び前記人工神経網の学習の進行程度を検証するための検証用データセットに分類して前記データセットを生成することである請求項１に記載の病変診断方法。
【請求項４】
前記検証用データセットは、前記学習用データセットと重ならないデータセットであることである請求項３に記載の病変診断方法。
【請求項５】
前記検証用データセットは、
新規データセットが前記前処理過程を経た後、人工神経網の入力となる場合、前記人工神経網の性能評価に活用されるデータであることである請求項３に記載の病変診断方法。
【請求項６】
前記イメージ取得ステップは、
内視鏡装置に備えられた撮影装置から取得された胃病変イメージを受信することである請求項１に記載の病変診断方法。
【請求項７】
前記前処理するステップは、
前記データセットに含まれた胃病変イメージを用いて前記胃病変を中心として前記胃病変が含まれなかったイメージの周辺部領域を切り取り、前記ディープラーニングアルゴリズムに適用可能なサイズに切り取る（ｃｒｏｐ）ステップと、
前記胃病変イメージを上下左右方向に平行移動（ｓｈｉｆｔ）するステップと、
前記胃病変イメージを回転（ｒｏｔａｔｉｏｎ）するステップと、
前記胃病変イメージをひっくり返す（ｆｌｉｐｐｉｎｇ）ステップと、
前記胃病変イメージを色相調整（ｃｏｌｏｒ  ａｄｊｕｓｔｍｅｎｔ）するステップと、
を含み、
複数の前処理過程のうち、少なくともいずれか１つを行って、前記胃病変イメージを前記ディープラーニングアルゴリズムに適用可能な状態に前処理することである請求項１に記載の病変診断方法。
【請求項８】
前記前処理するステップは、
胃病変イメージデータのデータ数を増加させるためにイメージデータを増幅するステップをさらに含み、
前記イメージデータを増幅するステップは、前記胃病変イメージデータの回転、ひっくり返し、切り取り、及びノイズ混合のうち、少なくともいずれか１つを適用して前記胃病変イメージデータを増幅することである請求項７に記載の病変診断方法。
【請求項９】
前記人工神経網を構築するステップは、
前記前処理過程を経た前記データセットを入力とし、前記胃病変分類結果に関する項目を出力とする畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）及び全結合型ニューラルネットワーク（Ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）の学習を介しての診断モデルを構築することである請求項１に記載の病変診断方法。
【請求項１０】
前記前処理過程を経たデータセットは、前記畳み込みニューラルネットワークの入力とし、前記全結合型ニューラルネットワークは、前記畳み込みニューラルネットワークの出力及び前記患者情報を入力とすることである請求項９に記載の病変診断方法。
【請求項１１】
前記畳み込みニューラルネットワークは、
前記複数の胃病変イメージから複数の特徴パターンを出力し、
前記複数の特徴パターンは、全結合型ニューラルネットワークにより最終分類されることである請求項１０に記載の病変診断方法。
【請求項１２】
前記人工神経網を構築するステップは、
トレーニングデータを畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）及び全結合型ニューラルネットワーク（Ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）を含むディープラーニングアルゴリズム構造に適用させ、誤差に該当する分だけの神経網構造の加重値を次第に変化させる誤差逆伝播法（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを介して結果がフィードバックされて学習されるようにすることである請求項９に記載の病変診断方法。
【請求項１３】
前記胃病変診断を行うステップは、
進行胃癌（ａｄｖａｎｃｅｄ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、早期胃癌（ｅａｒｌｙ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、高度異形成（ｈｉｇｈ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）、低異形成（ｌｏｗ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）、及び非腫瘍（ｎｏｎ−ｎｅｏｐｌａｓｍ）のうち、少なくともいずれか１つに前記胃病変診断分類を行うことである請求項２に記載の病変診断方法。
【請求項１４】
内視鏡イメージで病変を診断する装置において、
複数の胃病変イメージを取得するイメージ取得部と、
前記複数の胃病変イメージと患者情報とを連係してデータセットを生成するデータ生成部と、
ディープラーニングアルゴリズムに適用可能なように前記データセットを前処理するデータ前処理部と、
前処理過程を経た前記データセットを入力とし、胃病変分類結果に関する項目を出力とする学習を介して人工神経網を構築する学習部と、
を備えることである病変診断装置。
【請求項１５】
新規データセットを、前記前処理過程を経た後、前記人工神経網を介して胃病変診断を行う病変診断部をさらに備えることである請求項１４に記載の病変診断装置。
【請求項１６】
請求項１〜１３のいずれか１項の方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年１０月２日付に出願された韓国特許出願第１０−２０１８−０１１７８２３号に対する優先権主張出願であって、当該出願の明細書及び図面に開示された全ての内容は、引用によって本出願に援用される。
【０００２】
本願は、胃内視鏡イメージのディープラーニングを利用して胃病変を診断する装置及び方法に関する。
【背景技術】
【０００３】
人間の体を構成している最も小さい単位である細胞は、正常であるとき、細胞内の調節機能により分裂・成長し、死んでなくなりながら、細胞数の均衡を維持する。ある原因により細胞が損傷を受ける場合、治療を受けて回復し、正常な細胞として役割をするようになるが、回復されなかった場合は、自ら死ぬようになる。しかしながら、種々の理由により、このような増殖と抑制が調節されない非正常な細胞等が過多に増殖するだけでなく、周囲の組織及び臓器に侵入して腫瘤形成及び正常組織の破壊を招く状態を癌（ｃａｎｃｅｒ）と定義する。癌は、このように抑制されない細胞の増殖であって、正常な細胞と臓器の構造と機能を破壊するため、その診断と治療の重要性は極めて大きい。
【０００４】
癌は、細胞が無限に増殖して正常な細胞の機能を妨害する疾病であって、肺癌、胃癌（ｇａｓｔｒｉｃ  ｃａｎｃｅｒ、ＧＣ）、乳癌（ｂｒｅａｓｔ  ｃａｎｃｅｒ、ＢＲＣ）、大腸癌（ｃｏｌｏｒｅｃｔａｌ  ｃａｎｃｅｒ、ＣＲＣ）などが代表的であるが、実質的には、いずれの組織でも発生することができる。最初の癌診断は、癌細胞の成長による生体組織の外的変化に基づいたが、近年、血液、糖鎖（ｇｌｙｃｏ  ｃｈａｉｎ）、ディーエヌエー（ＤＮＡ）等、生物の組織または細胞に存在する微量の生体分子を用いた診断及び検出が試みられている。しかし、最も一般的に使用される癌診断方法は、生体組織検査を介して得られた組織サンプルを用いるか、映像を用いた診断である。
【０００５】
胃癌は、全世界的に見ると、韓国、日本などで多くの発生を見せ、米国、ヨーロッパなどの西欧では発生率が低い癌である。韓国の場合、発生率１位、死亡率は、肺癌に続き、２位を占めている。胃癌の分類をみると、全体の９５％が胃壁の粘膜の腺細胞で生じる腺癌である。その他、リンパ系で発生するリンパ種、てんかん組織で発生する消化管てんかん性腫瘍がある。
【０００６】
そのうち、生体組織検査は患者に大きい苦痛を引き起こし、高費用がかかるだけでなく、診断まで長い時間がかかるという短所がある。また、患者が実際癌にかかった場合、生体組織検査過程中に癌の転移が誘発され得る恐れがあり、生体組織検査を介して組織サンプルを得ることができない部位の場合、外科的な手術を介して疑わしい組織の摘出がなされる前までには疾病の診断が不可能であるという短所がある。
【０００７】
映像を用いた診断では、Ｘ線（Ｘ−ｒａｙ）映像、疾病標的物質が付着された造影剤を使用して取得した核磁気共鳴（ｎｕｃｌｅａｒ  ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ、ＮＭＲ）映像などを基に癌を判定する。しかし、このような映像診断は、臨床医または判読医の熟練度によって誤診の可能性があり、映像を得る機器の精密度に大きく依存するという短所がある。さらに、最も精密な機器さえも数ｍｍ以下の腫瘍は検出が不可能であって、発病初期段階では、検出が難しいという短所がある。また、映像を得るために、患者または疾病保有可能者が遺伝子の突然変異を誘発できる高エネルギーの電磁波に露出されるので、さらに他の疾病を引き起こす恐れがあるだけでなく、映像を介しての診断回数に制限があるという短所がある。
【０００８】
早期胃癌（ＥＣＧ）のほとんどは、臨床症状や徴候がないので、スクリーニング戦略なしに適時に探知し、治療し難いという問題点が生じる。また、胃の異形成のような前癌性病変を有した患者は、胃癌にかかる相当な危険がある。
【０００９】
既存の胃に発生した新生物は、医師が胃内視鏡を介して内視鏡イメージに含まれた胃内部の形態及び大きさに鑑みて胃癌であるか否かを一次的に判断し、組織検査にて確診を下した。しかし、この方法は、医師毎に経験が異なり、異なる診断を下すことがあり、医師がいない地域では、正確な診断がなされ得ないという問題点が生じる。
【００１０】
また、内視鏡装置を介して取得された非正常な病変の発見は、一般的に病変の異常形態や粘膜の色変化によって決定され、診断正確度は、訓練及び光学技術、並びに色素内視鏡（ｃｈｒｏｍｏｅｎｄｏｓｃｏｐｙ）にて改善されることと知られた。狭帯域撮影（ｎａｒｒｏｗ  ｂａｎｄ  ｉｍａｇｉｎｇ）、共焦点イメージング（ｃｏｎｆｏｃａｌ  ｉｍａｇｉｎｇ）、及び拡大技術（いわゆる、画像強調内視鏡）のような内視鏡イメージング技術の適用は、診断正確度を向上させることと知られている。
【００１１】
しかし、白色内視鏡のみを介しての検査が最も一般化された検査方式であり、映像強化内視鏡検査でサーバ間及び内視鏡内の変動性を解決するための手順及び解析プロセスの標準化が必要な実情である。
【００１２】
本願の背景になる技術は、韓国公開特許第１０−２０１８−００５３９５７号公報に開示されている。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本願は、前述した従来技術の問題点を解決するためのものであって、内視鏡撮影装置で取得される白色光胃内視鏡イメージ（映像）を収集し、ディープラーニングアルゴリズムに適用して胃病変を診断できる胃病変診断装置を提供しようとすることを目的とする。
【００１４】
本願は、前述した従来技術の問題点を解決するためのものであって、胃内視鏡映像を基に胃腫瘍を自動に分類する深層学習モデルを提供できる胃病変診断装置を提供しようとすることを目的とする。
【００１５】
本願は、前述した従来技術の問題点を解決するためのものであって、医師（ユーザ）が内視鏡装置を利用して胃腫瘍を検査するときに取得する複数のイメージデータをリアルタイムに評価し、見逃す恐れがある胃腫瘍を診断できる胃病変診断装置を提供しようとすることを目的とする。
【００１６】
本願は、前述した従来技術の問題点を解決するためのものであって、リアルタイムに取得される胃内視鏡イメージを基に胃新生物を自動に分類し、胃癌あるいは胃異形成などを診断及び予測できる胃病変診断装置を提供しようとすることを目的とする。
【００１７】
ただし、本願の実施形態がなそうとする技術的課題は、上記したような技術的課題に限定されず、さらに他の技術的課題が存在しうる。
【課題を解決するための手段】
【００１８】
上記した技術的課題を達成するための技術的手段として、本願の一実施形態に係る内視鏡イメージで胃病変を診断する方法は、複数の胃病変イメージを取得するステップと、前記複数の胃病変イメージと患者情報とを連係してデータセットを生成するステップと、ディープラーニングアルゴリズムに適用可能なように前記データセットを前処理するステップと、前処理過程を経た前記データセットを入力とし、胃病変分類結果に関する項目を出力とする学習を介しての人工神経網を構築するステップとを含むことができる。
【００１９】
本願の一実施形態に係る内視鏡イメージで胃病変を診断する方法は、新規データセットを、前記前処理過程を経た後、前記人工神経網を介して胃病変診断を行うステップをさらに含むことができる。
【００２０】
本願の一実施形態に係る前記データセット生成ステップは、前記データセットを前記人工神経網学習に要求される学習用データセット及び前記人工神経網の学習の進行程度を検証するための検証用データセットに分類して前記データセットを生成できる。
【００２１】
本願の一実施形態に係る前記検証用データセットは、前記学習用データセットと重ならないデータセットであることができる。
【００２２】
本願の一実施形態に係る前記検証用データセットは、新規データセットが前記前処理過程を経た後、人工神経網の入力となる場合、前記人工神経網の性能評価に活用されるデータであることができる。
【００２３】
本願の一実施形態に係る前記イメージ取得ステップは、前記内視鏡装置に備えられた撮影装置から取得された胃病変イメージを受信できる。
【００２４】
本願の一実施形態に係る前記前処理するステップは、前記データセットに含まれた胃病変イメージを用いて前記胃病変を中心として前記胃病変が含まれなかったイメージの周辺部領域を切り取り、前記ディープラーニングアルゴリズムに適用可能なサイズに切り取る（ｃｒｏｐ）ステップと、前記胃病変イメージを上下左右方向に平行移動（ｓｈｉｆｔ）するステップと、前記胃病変イメージを回転（ｒｏｔａｔｉｏｎ）するステップと、前記胃病変イメージをひっくり返す（ｆｌｉｐｐｉｎｇ）ステップと、前記胃病変イメージを色相調整（ｃｏｌｏｒ  ａｄｊｕｓｔｍｅｎｔ）するステップとを含み、複数の前処理過程のうち、少なくともいずれか１つを行って、前記胃病変イメージを前記ディープラーニングアルゴリズムに適用可能な状態に前処理することができる。
【００２５】
本願の一実施形態に係る前記前処理するステップは、前記胃病変イメージデータのデータ数を増加させるためにイメージデータを増幅するステップをさらに含み、前記イメージデータを増幅するステップは、前記胃病変イメージデータの回転、ひっくり返し、切り取り、及びノイズ混合のうち、少なくともいずれか１つを適用して前記胃病変イメージデータを増幅できる。
【００２６】
本願の一実施形態に係る前記人工神経網を構築するステップは、前記前処理過程を経た前記データセットを入力とし、前記胃病変分類結果に関する項目を出力とする畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）及び全結合型ニューラルネットワーク（Ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）の学習を介しての診断モデルを構築できる。
【００２７】
本願の一実施形態に係る前記前処理過程を経たデータセットは、前記畳み込みニューラルネットワークの入力とし、前記全結合型ニューラルネットワークは、前記畳み込みニューラルネットワークの出力及び前記患者情報を入力とすることができる。
【００２８】
本願の一実施形態に係る前記畳み込みニューラルネットワークは、前記複数の胃病変イメージから複数の特徴パターンを出力し、前記複数の特徴パターンは、全結合型ニューラルネットワークにより最終分類されることができる。
【００２９】
本願の一実施形態に係る前記人工神経網を構築するステップは、トレーニングデータを畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）及び全結合型ニューラルネットワーク（Ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）を含むディープラーニングアルゴリズム構造に適用させ、誤差に該当する分だけの神経網構造の加重値を次第に変化させる誤差逆伝播法（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを介して結果がフィードバックされて学習されるようにすることができる。
【００３０】
本願の一実施形態に係る前記胃病変診断を行うステップは、進行胃癌（ａｄｖａｎｃｅｄ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、早期胃癌（ｅａｒｌｙ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、高度異形成（ｈｉｇｈ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）、低異形成（ｌｏｗ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）、及び非腫瘍（ｎｏｎ−ｎｅｏｐｌａｓｍ）のうち、少なくともいずれか１つに前記胃病変診断分類を行うことができる。
【００３１】
本願の一実施形態に係る内視鏡イメージで病変を診断する装置は、複数の胃病変イメージを取得するイメージ取得部と、前記複数の胃病変イメージと患者情報とを連係してデータセットを生成するデータ生成部と、ディープラーニングアルゴリズムに適用可能なように前記データセットを前処理するデータ前処理部と、前処理過程を経た前記データセットを入力とし、胃病変分類結果に関する項目を出力とする学習を介して人工神経網を構築する学習部とを備えることができる。
【００３２】
本願の一実施形態に係る内視鏡イメージで病変を診断する装置は、新規データセットを、前記前処理過程を経た後、前記人工神経網を介して胃病変診断を行う病変診断部をさらに備えることができる。
【００３３】
上述した課題解決手段は、単に例示的なものであって、本願を制限しようとする意図と解釈されてはならない。上述した例示的な実施形態の他にも、図面及び発明の詳細な説明に追加的な実施形態が存在しうる。
【発明の効果】
【００３４】
前述した本願の課題解決手段によれば、内視鏡撮影装置で取得される白色光胃内視鏡イメージ（映像）を収集し、ディープラーニングアルゴリズムに適用して胃病変を診断できる。
【００３５】
前述した本願の課題解決手段によれば、胃内視鏡映像を基に胃腫瘍を自動に分類し、生成された人工神経網を評価する深層学習モデルを提供できる。
【００３６】
前述した本願の課題解決手段によれば、医師（ユーザ）が内視鏡装置を利用して胃腫瘍を検査するときに取得する複数のイメージデータをリアルタイムに学習して、見逃す恐れがある胃腫瘍を診断できる。
【００３７】
前述した本願の課題解決手段によれば、経験のある医師が必要であった既存の胃内視鏡判読に比べて、内視鏡撮影装置にて取得されたイメージを学習し、胃病変を分類することにより、大幅の費用低減及び人力低減の効果がある。
【００３８】
前述した本願の課題解決手段によれば、内視鏡撮影装置にて取得された胃内視鏡イメージを前記胃病変を診断する装置を介して胃病変を診断及び予測することにより、客観的かつ一貫的な判読結果を取得でき、医師が判読するときに発生し得る誤り及び誤読の可能性を減らし、臨床決定補助道具として使用されることができる。
【００３９】
ただし、本願において得ることができる効果は、上記したような効果に限定されず、さらに他の効果が存在しうる。
【図面の簡単な説明】
【００４０】
【図１】本願の一実施形態に係る病変診断装置の概略的な構成図である。
【図２】本願の一実施形態に係る病変診断装置の概略的なブロック図である。
【図３】本願の一実施形態に係る病変診断装置で人工神経網を構築する実施形態を説明するための図である。
【図４】本願の一実施形態に係る病変診断方法に対する動作フローチャートである。
【発明を実施するための形態】
【００４１】
下記では、添付した図面を参照して本願の属する技術分野における通常の知識を有する者が容易に実施できるように本願の実施形態を詳細に説明する。しかしながら、本願は、種々の相違した形態で実現されることができ、ここで説明する実施形態に限定されない。そして、図面において本願を明確に説明するために、説明と関係ない部分を省略し、明細書全体を介して類似した部分に対しては、類似した図面符号をつけた。
【００４２】
本願の明細書全体において、ある部分が他の部分と「連結」されているとするとき、これは、「直接連結」されている場合のみならず、その中間に他の素子を挟んで「電気的に連結」または「間接的に連結」されている場合も含む。
【００４３】
本願の明細書全体において、ある部材が他の部材「上に」、「上部に」、「上端に」、「下に」、「下部に」、「下端に」位置しているとするとき、これは、ある部材が他の部材に接している場合のみならず、２つの部材間にさらに他の部材が存在する場合も含む。
【００４４】
本願の明細書全体において、ある部分がある構成要素を「含む」とするとき、これは、特に反対される記載がない限り、他の構成要素を除外するものでなく、他の構成要素をさらに含むことができるということを意味する。
【００４５】
本願は、内視鏡装置から取得される胃内視鏡イメージを基に胃腫瘍を分類し、その性能を評価する深層学習モデルを含む胃病変を診断する装置及び方法に関するものである。本願は、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）に基づいて胃内視鏡写真を判読し、自動に胃の新生物を診断できる。
【００４６】
本願は、胃内視鏡写真イメージデータセットに畳み込みニューラルネットワークというディープラーニングアルゴリズムを適用してコンピュータで学習させた後、新しく入力される胃内視鏡写真を判読し、これを通じて当該写真から胃新生物を自動に分類し、胃癌あるいは胃異形成などを診断あるいは予測できる。
【００４７】
図１は、本願の一実施形態に係る病変診断装置の概略的な構成図である。
【００４８】
図１に示すように、病変診断装置１０、内視鏡装置２０、及びディスプレイ装置２３は、データ（イメージ、映像、テキスト）及び各種通信信号をネットワークを介して送受信することができる。病変診断システム１は、データ格納及び処理の機能を有する全ての種類のサーバ、端末、またはデバイスを含むことができる。
【００４９】
病変診断装置１０、内視鏡装置２０、及びディスプレイ装置２３間の情報共有のためのネットワークの一例には、３ＧＰＰ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐａｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ）ネットワーク、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）ネットワーク、５Ｇネットワーク、ＷＩＭＡＸ（Ｗｏｒｌｄ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）ネットワーク、有無線インターネット（Ｉｎｔｅｒｎｅｔ）、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｗｉｒｅｌｅｓｓ  ＬＡＮ（Ｗｉｒｅｌｅｓｓ  Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＰＡＮ（Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）ネットワーク、Ｗｉｆｉネットワーク、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）ネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、ＤＭＢ（Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔｉｎｇ）ネットワークなどが含まれ得るし、これに限定されたものではない。
【００５０】
内視鏡装置２０は、胃内視鏡検査の際に使用される装置であることができる。内視鏡装置２０は、操作部２１及び本体部２２を備えることができる。内視鏡装置２０は、身体内に挿入される本体部２２及び本体部２２の後端に設けられた操作部２１を備えることができる。本体部２２の前端には、身体内部を撮影するための撮影部、撮影部位に光を照射するための照明部、撮影が容易なように身体内部を洗浄する水噴射部、身体内の異物や空気などを吸入するサクション部などが備えられ得るし、本体部２２内には、このような複数のユニット（部）の各々に対応するチャネルが設けられ得る。また、挿入部内には、バイオプシーチャネル（ｂｉｏｐｓｙ  ｃｈａｎｎｅｌ）が設けられ得るし、内視鏡施術者は、このバイオプシーチャネルにメスを挿入して身体内部の組織を採取できる。内視鏡装置２０に備えられた身体内部を撮影する撮影部（すなわち、カメラ）の場合には、小型カメラが備えられ得る。撮影装置は、白色光胃内視鏡イメージを取得できる。
【００５１】
内視鏡装置２０の撮影部は、取得された胃病変イメージを病変診断装置１０にネットワークを介して送信することができる。病変診断装置１０は、胃病変診断結果に基づいてバイオプシーユニットを制御するための制御信号を生成できる。バイオプシーユニットは、身体内部の組織を採取するためのユニットであることができる。身体内部の組織を採取することにより、当該組織の陽性及び陰性を判断できる。また、身体内部の組織を切除することにより、癌組織を除去することができる。例示的に、病変診断装置１０は、胃内視鏡イメージを取得し、身体内部の組織を採取する内視鏡装置２０に含まれることができる。言い換えれば、内視鏡装置２０からリアルタイムに取得される胃内視鏡イメージを、学習を介して構築された人工神経網に入力して、胃病変診断結果に関する項目のうち、少なくともいずれか１つに区分されて、胃病変に対する診断及び予測が可能でありうる。
【００５２】
本願の他の一実施形態によれば、内視鏡装置２０は、カプセル形態で形成されることができる。例えば、内視鏡装置２０は、カプセル形態で形成されて、被検者の体内に挿入されて胃内視鏡イメージを取得できる。カプセル型内視鏡装置２０は、被検者の食道、胃、小腸、及び大腸のうち、どこに位置するかに対する位置情報も共に提供することができる。言い換えれば、カプセル型内視鏡装置２０は、被検者（患者）の体内に位置し、リアルタイムに取得される映像（イメージ）をネットワークを介して病変診断装置１０に提供することができる。このとき、カプセル型内視鏡装置２０は、胃内視鏡イメージだけでなく、胃内視鏡イメージが取得された位置情報を共に提供することにより、病変診断装置１０の診断分類結果が進行胃癌（ａｄｖａｎｃｅｄ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、早期胃癌（ｅａｒｌｙ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、高度異形成（ｈｉｇｈ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）、及び低異形成（ｌｏｗ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）のうち、少なくともいずれか１つに属する場合、言い換えれば、非腫瘍危険性腫瘍に該当する場合、ユーザ（医師）が当該病変の位置を把握して、直ちに切除術が可能なようにすることができる。
【００５３】
本願の一実施形態によれば、内視鏡装置２０でリアルタイムに取得された胃病変内視鏡イメージを、病変診断装置１０は、学習を介して生成されたアルゴリズムに入力して胃病変診断を行い、内視鏡装置２０は、新生物疑い病変を内視鏡的粘膜切除術または内視鏡的粘膜下層剥離術を利用して当該病変を切除することができる。
【００５４】
ディスプレイ装置２３は、例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または微小電気機械システム（ＭＥＭＳ）ディスプレイを含むことができる。ディスプレイ装置２３は、ユーザに内視鏡装置２０から取得される胃内視鏡イメージ及び病変診断装置１０から診断される胃病変診断情報を表示できる。ディスプレイ装置２３は、タッチスクリーンを備えることができ、例えば、電子ペンまたはユーザの身体の一部を用いたタッチ、ジェスチャー、近点、またはホバリング入力を受信できる。ディスプレイ装置２３は、内視鏡装置２０で取得される胃病変イメージを出力できる。また、ディスプレイ装置２３は、胃病変診断結果を出力できる。
【００５５】
図２は、本願の一実施形態に係る病変診断装置の概略的なブロック図であり、図３は、本願の一実施形態に係る病変診断装置で人工神経網を構築する実施形態を説明するための図である。
【００５６】
図２に示すように、病変診断装置１０は、イメージ取得部１１、データ生成部１２、データ前処理部１３、学習部１４、及び病変診断部１５を備えることができる。ただし、病変診断装置１０の構成が先に開示されたものなどに限定されるものではない。例えば、病変診断装置１０は、情報を格納するためのデータベースをさらに備えることができる。
【００５７】
イメージ取得部１１は、複数の胃病変イメージを取得できる。イメージ取得部１１は、内視鏡装置２０に備えられた撮影装置から胃病変イメージを受信できる。イメージ取得部１１は、胃内視鏡診療に使用されている内視鏡撮影装置（デジタルカメラ）にて取得された胃病変イメージを取得できる。イメージ取得部１１は、病理学的に確認された胃病変の内視鏡白色光イメージを収集できる。また、イメージ取得部１１は、複数の病院の映像保管装置及びデータベースシステムから複数の胃病変イメージを受信できる。複数の病院の映像保管装置は、多数の病院で胃内視鏡を行うときに取得された胃病変イメージを格納した装置であることができる。
【００５８】
また、イメージ取得部１１は、被検査体の胃の第１の領域を角度、方向、及び距離のうち、いずれか１つを異にして撮影された映像（イメージ）を取得できる。イメージ取得部１１は、ＪＰＥＧ形式の胃病変イメージを取得できる。胃病変イメージは、１２８０×６４０ピクセルの解像度で角度３５度フィールドのスタイルを適用したものであることができる。一方、イメージ取得部１１は、各胃病変イメージに対する個別識別子情報が除去されたイメージを取得できる。イメージ取得部１１は、中央に病変が位置し、胃病変イメージのうち、黒色フレーム領域が除去されたイメージを取得できる。
【００５９】
それに対し、イメージ取得部１１は、イメージ取得過程で焦点ずれ、人工物、トーンなど、品質が低いか、低い解像度のイメージが取得される場合、当該イメージを排除することができる。言い換えれば、イメージ取得部１１は、ディープラーニングアルゴリズムに適用可能でないイメージである場合、当該イメージを排除することができる。
【００６０】
本願の一実施形態によれば、内視鏡装置２０は、操作部２１を利用して撮影部を制御できる。操作部２１は、撮影部が目標病変の位置を視野に置かせるために、ユーザから操作入力信号を受信できる。操作部２１は、ユーザから受信される操作入力信号に基づいて撮影部の位置を制御できる。また、操作部２１は、撮影部の視野が目標病変に位置する場合、当該イメージをキャプチャするための操作入力信号の提供を受け、当該胃病変イメージをキャプチャするための信号を生成できる。
【００６１】
本願の他の一実施形態によれば、内視鏡装置２０は、カプセル形態で形成された装置であることができる。カプセル内視鏡装置２０は、対象者（被検者）の人体内部に挿入され、遠隔で操作されることができる。カプセル内視鏡装置から取得される胃病変イメージは、ユーザがキャプチャを望む領域のイメージだけでなく、動画撮影で取得される全ての映像をイメージ化して取得することができる。カプセル内視鏡装置２０は、撮影部及び操作部を備えることができる。撮影部は、人体内部に挿入され、操作部の操作信号に基づいて人体内部で制御されることができる。
【００６２】
データ生成部１２は、複数の胃病変イメージと患者情報とを連係してデータセットを生成できる。患者情報は、対象者（被検者）の性別、年齢、身長、体重、人種、国籍、喫煙量、飲酒量、家族歴などの様々な情報を含むことができる。また、患者情報は、臨床情報を含むことができる。臨床情報とは、病院で診断を下す医師が特定診断に活用する全てのデータを意味できる。特に、診療過程で生成される性別、年齢を含む資料、特定治療可否資料、給与請求、及び処方資料などを含む電子カルテ資料であることができる。また、臨床情報は、遺伝子情報のような生体データ資料を含むことができる。生体データ資料は、心拍数、心電図、運動量、酸素飽和度、血圧、体重、糖尿のような数値的データを有する個人健康情報を含むことができる。
【００６３】
患者情報は、以下に説明される学習部１４で畳み込みニューラルネットワーク構造の結果物とともに全結合型ニューラルネットワークに入力されるデータであり、胃病変イメージ以外の情報を人工神経網に入力することにより、さらに正確度を向上させる効果を期待できる。
【００６４】
また、データ生成部１２は、ディープラーニングアルゴリズム適用のための学習用データセット及び検証用データセットを生成できる。データセットを人工神経網学習に要求される学習用データセット及び人工神経網の学習の進行情報を検証するための検証用データセットに分類してデータセットを生成できる。一例に、データ生成部１２は、イメージ取得部１１から取得された胃病変イメージのうち、ランダムに学習用データセットに活用されるイメージ及び検証用データセットに活用されたイメージを分類できる。また、データ生成部１２は、検証用データセットを選択してから残ったデータセットを学習用データセットとして使用することができる。検証用データセットは、ランダムに選択されることができる。検証用データセット及び学習用データセットの割合は、予め設定された基準値により決定されることができる。このとき、予め設定された基準値は、検証用データセットの割合が１０％、学習用データセットの割合が９０％に設定されることができるが、これに限定されるものではない。
【００６５】
データ生成部１２は、過剰適合状態を防止するために、学習用データセット及び検証用データセットを区分してデータセットを生成できる。例えば、神経網構造の学習特性上、学習用データセットは、過剰適合状態になることができるので、データ生成部１２は、検証用データセットを活用して、人工神経網が過剰適合状態になることを防止できる。
【００６６】
このとき、検証用データセットは、学習用データセットと重ならないデータセットであることができる。検証用データは、人工神経網構築に使用されなかったデータであるから、検証作業の際に人工神経網で初めて接するデータである。したがって、検証用データセットは、新しいイメージ（学習に使用されなかった新規イメージ）が入力として入る場合、人工神経網の性能評価に適切なデータセットであることができる。
【００６７】
前処理部１３は、ディープラーニングアルゴリズムに適用可能なようにデータセットを前処理することができる。前処理部１３は、ディープラーニングアルゴリズムで認識性能を高め、患者間映像との類似性を最小化するためにデータセットを前処理することができる。ディープラーニングアルゴリズムは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）構造と全結合型ニューラルネットワーク（Ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）構造との２つの部分からなることができる。
【００６８】
本願の一実施形態によれば、前処理部１３は、５ステップの前処理過程を行うことができる。まず、前処理部１３は、切り取り（ｃｒｏｐ）ステップを行うことができる。切り取り（ｃｒｏｐ）ステップは、イメージ取得部１１で取得された胃病変イメージから病変を中心として縁の不要な部分（黒色背景）を切り取ることができる。一例に、前処理部１３は、任意に指定したピクセルサイズ（例えば、２９９×２９９ピクセル、２４４×２４４ピクセル）を設定して胃病変イメージを切り取ることができる。言い換えれば、前処理部１３は、ディープラーニングアルゴリズムに適用可能なサイズに胃病変イメージを切り取ることができる。
【００６９】
次に、前処理部１３は、平行移動（ｓｈｉｆｔ）ステップを行うことができる。前処理部１３は、胃病変イメージを上下左右方向に平行移動させることができる。また、前処理部１３は、ひっくり返し（ｆｌｉｐｐｉｎｇ）ステップを行うことができる。例えば、前処理部１３は、垂直に胃病変イメージをひっくり返すことができる。また、前処理部１３は、胃病変イメージを上下方向にひっくり返し、その後、左右方向にひっくり返す過程を行うことができる。
【００７０】
また、前処理部１３は、色相調整（ｃｏｌｏｒ  ａｄｊｕｓｔｍｅｎｔ）ステップを行うことができる。例えば、色相調整ステップで前処理部１３は、全体データセットの平均ＲＧＢ値で平均減算方法を使用して抽出された色相を基にイメージの色相調整を行うことができる。また、前処理部１３は、ランダムに胃病変イメージの色相を調整できる。
【００７１】
前処理部１３は、５ステップの前処理過程を全て行って、胃病変イメージをディープラーニングアルゴリズムに適用可能なデータセットに生成することができる。また、前処理部１３は、５ステップの前処理過程のうち、少なくともいずれか１つを行って、胃病変イメージをディープラーニングアルゴリズムに適用可能なデータセットに生成することができる。
【００７２】
また、前処理部１３は、拡大／縮小（ｒｅｓｉｚｉｎｇ）ステップをさらに行うことができる。拡大／縮小（ｒｅｓｉｚｉｎｇ）ステップは、胃病変イメージを予め設定されたサイズに拡大及び縮小するステップであることができる。
【００７３】
前処理部１３は、胃病変イメージデータのデータ数を増加させるためにイメージデータを増幅する増幅部（図示せず）を備えることができる。
【００７４】
本願の一実施形態によれば、畳み込みニューラルネットワークを含むディープラーニングアルゴリズムを利用する場合、データの量が多いほど、良い性能を達成するのに有利であるが、胃内視鏡写真イメージは、その検査件数が他の検査に比べて非常に少ない方であって、イメージ取得部１１で検出された胃病変イメージデータ収集量は、畳み込みニューラルネットワークを活用するのに非常に足りないことがある。したがって、増幅部（図示せず）は、学習用データセットを基にデータ増幅（ａｕｇｍｅｎｔａｔｉｏｎ）過程を行うことができる。増幅部（図示せず）は、胃病変イメージの回転、ひっくり返し、切り取り、ノイズ混合のうち、少なくともいずれか１つの方法を適用してデータ増幅（ａｕｇｍｅｎｔａｔｉｏｎ）過程を行うことができる。
【００７５】
前処理部１３は、予め設定された基準値に対応するように前処理過程を行うことができる。予め設定された基準値は、ユーザが任意に指定した値であることができる。また、予め設定された基準値は、取得された胃病変イメージの平均値により決定された値であることができる。前処理部１３を経たデータセットは、学習部１４に提供されることができる。
【００７６】
学習部１４は、前処理過程を経たデータセットを入力とし、胃病変分類結果に関する項目を出力とする学習を介して人工神経網を構築できる。
【００７７】
本願の一実施形態によれば、学習部１４は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）構造と全結合型ニューラルネットワーク（Ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）構造との２つの部分からなるディープラーニングアルゴリズムを適用して胃病変分類結果を出力とすることができる。全結合型ニューラルネットワークは、ノード間に横的／縦的に２次元的連結をなし、互いに同じ層に位置したノード間には連結関係が存在せず、すぐ隣接した層に位置したノード等間にのみ連結関係が存在するということを特徴とする神経網である。
【００７８】
学習部１４は、前処理過程を経た学習用データセットを入力とする畳み込みニューラルネットワークと、畳み込みニューラルネットワークの出力を全結合型ニューラルネットワークの入力とする学習を介しての訓練モデルを構築できる。
【００７９】
本願の一実施形態によれば、畳み込みニューラルネットワークは、胃病変イメージを分析する複数の特定特徴パターンを抽出できる。このとき、抽出された特定特徴パターンは、全結合型ニューラルネットワークで最終分類をするのに使用されることができる。
【００８０】
畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）は、音声認識やイメージ認識で主に使用される神経網の一種である。多次元配列データを処理するように構成されており、カラーイメージのような多次元配列処理に特化されている。したがって、イメージ認識分野でディープラーニングを活用した技法は、ほとんど畳み込みニューラルネットワークを基にする。
【００８１】
例示的に、図３に示すように、畳み込みニューラルネットワーク（ＣＮＮ）は、イメージを１つのデータではない、複数個に分割して処理する。このようにすれば、イメージが歪まされてもイメージの部分的特性を抽出でき、正しい性能を出すことができる。
【００８２】
畳み込みニューラルネットワークは、複数の層構造からなることができる。それぞれの層を構成する要素は、畳み込み層、活性化関数、最大プーリング（ｍａｘ  ｐｏｏｌｉｎｇ）層、活性化関数、ドロップアウト（ｄｒｏｐｏｕｔ）層で構成されることができる。畳み込み層は、カーネル（ｋｅｒｎｅｌ）と呼ばれるフィルタ役割をして全体イメージ（または、生成された新しい特徴パターン）を部分的に処理したものなどがイメージと同じ大きさの新しい特徴パターン（ｆｅａｔｕｒｅ  ｐａｔｔｅｒｎ）を抽出できる。畳み込み層は、特徴パターンで活性化関数を介して特徴パターンの値を処理しやすいように補正することができる。最大プーリング（ｍａｘ  ｐｏｏｌｉｎｇ）層は、一部胃病変イメージをサンプリング（ｓａｍｐｌｉｎｇ）して大きさを調節し、イメージの大きさを減らすことができる。畳み込みニューラルネットワークは、畳み込み層及び最大プーリング（ｍａｘ  ｐｏｏｌｉｎｇ）層を経て、特徴パターン（ｆｅａｔｕｒｅ  ｐａｔｔｅｒｎ）の大きさは減るようになるが、複数のカーネル（ｋｅｒｎｅｌ）活用を介して複数の特徴パターン（ｆｅａｔｕｒｅ  ｐａｔｔｅｒｎ）を抽出できる。ドロップアウト（ｄｒｏｐｏｕｔ）層は、畳み込みニューラルネットワークの加重値を訓練するとき、効率的な訓練のために、一部加重値を意図的に考慮しない方法であることができる。一方、ドロップアウト（ｄｒｏｐｏｕｔ）層は、訓練されたモデルを介して実際テストをする場合には適用しないことがある。
【００８３】
畳み込みニューラルネットワークから抽出された複数の特徴パターン（ｆｅａｔｕｒｅ  ｐａｔｔｅｒｎ）は、次のステップである全結合型ニューラルネットワークに伝達されて分類作業をするのに活用されることができる。畳み込みニューラルネットワークは、層の個数を調節できる。畳み込みニューラルネットワークは、層の個数をモデル訓練のための訓練用データの量に合わせて調節することで、より安定したモデルを構築できる。
【００８４】
また、学習部１４は、前処理過程を経た学習用データセットを畳み込みニューラルネットワークの入力とし、畳み込みニューラルネットワークの出力及び患者情報を全結合型ニューラルネットワークの入力とする学習を介しての診断（訓練）モデルを構築できる。言い換えれば、学習部１４は、前処理過程を経たイメージデータが先に畳み込みニューラルネットワークに入るようにし、畳み込みニューラルネットワークを経て出た結果物が全結合型ニューラルネットワークに入るようにすることができる。また、学習部１４は、任意に抽出された特徴（ｆｅａｔｕｒｅ）などを畳み込みニューラルネットワークを経ずに、直ちに全結合型ニューラルネットワークに入るようにすることができる。
【００８５】
このとき、患者情報は、対象者（被検者）の性別、年齢、身長、体重、人種、国籍、喫煙量、飲酒量、家族歴などの様々な情報を含むことができる。また、患者情報は、臨床情報を含むことができる。臨床情報とは、病院で診断を下す医師が特定診断に活用する全てのデータを意味できる。特に、診療過程で生成される性別、年齢を含む資料、特定治療可否資料、給付請求、及び処方資料などを含む電子カルテ資料であることができる。また、臨床情報は、遺伝子情報のような生体データ資料を含むことができる。生体データ資料は、心拍数、心電図、運動量、酸素飽和度、血圧、体重、糖尿のような数値的データを有する個人健康情報を含むことができる。
【００８６】
患者情報は、学習部１４で畳み込みニューラルネットワーク構造の結果物とともに全結合型ニューラルネットワークに入力されるデータであり、患者情報を人工神経網に入力することにより、胃病変イメージのみを用いて導出された結果より正確度を向上させるという効果を期待できる。
【００８７】
一例に、癌が高齢に多いという点が学習用データセットの臨床情報を介して学習されるようになると、イメージ特徴とともに４２歳または７９歳の年齢が入力された場合、胃病変分類結果で癌または陽性区分が難しい曖昧な病変の区分で高齢の患者は、癌である確率が高まる方に結果を導出できる。
【００８８】
学習部１４は、トレーニングデータをディープラーニングアルゴリズム構造（畳み込みニューラルネットワークを経て全結合型ニューラルネットワークで形成された構造）に適用させて導出される結果と実際結果との誤差を比較して、当該誤差に該当する分だけ神経網構造の加重値を次第に変化させる誤差逆伝播法（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを介して結果がフィードバックされて学習されることができる。誤差逆伝播法（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）アルゴリズムは、結果の誤差（実際値と結果値との差）を減らすために、各ノードから次のノードにつながる加重値を調節するものであることができる。学習部１４は、学習用データセットと検証用データセットとを利用して神経網を学習させ、加重値媒介変数を求めて最終診断モデルを導出するものであることができる。
【００８９】
病変診断部１５は、新規データセットを、前処理過程を経た後、人工神経網を介して胃病変診断を行うことができる。言い換えれば、病変診断部１５は、前述した学習部１４で導出された最終診断モデルを用いて新規データに対する診断を導出できる。新規データは、ユーザが診断しようとする胃病変イメージを含むデータであることができる。新規データセットは、新規胃病変イメージを患者情報と連係して生成されたデータセットであることができる。新規データセットは、前処理部１２の前処理過程を経てディープラーニングアルゴリズムに適用可能な状態に前処理されることができる。その後、前処理された新規データセットは、学習部１４に入力されて、学習パラメータを基に胃病変イメージが診断され得る。
【００９０】
本願の一実施形態によれば、病変診断部１５は、進行胃癌（ａｄｖａｎｃｅｄ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、早期胃癌（ｅａｒｌｙ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、高度異形成（ｈｉｇｈ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）、低異形成（ｌｏｗ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）、及び非腫瘍（ｎｏｎ−ｎｅｏｐｌａｓｍ）のうち、少なくともいずれか１つに前記胃病変診断分類を行うことができる。また、病変診断部１５は、癌と非癌とに分類することができる。また、病変診断部１５は、新生物と非新生物の２つの範疇に分類して胃病変診断分類を行うことができる。新生物分類には、ＡＧＣ、ＥＧＣ、ＨＧＤ、及びＬＧＤが含まれ得る。非腫瘍範疇には、胃炎、良性潰瘍、奇形、ポリープ、腸上皮化生、または上皮性腫瘍のような病変が含まれ得る。
【００９１】
病変診断装置１０は、曖昧な病変を分類及び診断するために、不要な生体検査や内視鏡切除によって発生される副作用を減少させるために、内視鏡装置２０にて取得されたイメージを分析して曖昧な病変を自動に分類及び診断し、新生物（悪性腫瘍）の場合、内視鏡切除施術を試行させることができる。
【００９２】
本願の他の一実施形態によれば、内視鏡装置２０は、操作部２１、本体部２２、制御部２３、病変位置取得部２４、ディスプレイ部２５を備えることができる。
【００９３】
操作部２１は、本体部２２の後端に設けられて、ユーザの入力情報に基づいて操作されることができる。操作部２１は、内視鏡施術者によって把持される部分であって、被検者の体内に挿入される本体部２２を操作できる。また、操作部２１は、本体部２２が収容している内視鏡施術の際に必要な複数のユニット装置の動作を操作できる。操作部２１は、回転制御部を備えることができる。回転制御部は、制御信号を生成する機能及び回転力を提供する機能（例えば、モータ）を担当する部分を含むことができる。操作部２１は、撮影部（図示せず）を操作するためのボタンを含むことができる。ボタンは、撮影部（図示せず）の位置を制御するためのボタンであって、ユーザが上下左右、前進、後進などのような本体部２２の位置を変更するためのものであることができる。
【００９４】
本体部２２は、被検者の体内に挿入される部分であって、複数のユニット装置を収容することができる。複数のユニット装置は、被検者の体内を撮影する撮影部（図示せず）、体内に空気を供給するエアー供給ユニット、体内に水を供給する水供給ユニット、体内に光を照射する照明ユニット、体内の組織の一部を採取するか、治療するためのバイオプシー（ｂｉｏｐｓｙ）ユニット、及び体内からの空気または異物を吸入するサクションユニットのうち、少なくとも１つを備えることができる。バイオプシーユニットは、生体から組織の一部を採取するためのメス、針など、各種医療機器を含むことができ、メス、針などのバイオプシーユニットは、内視鏡施術者によってバイオプシーチャネルを介して体内に挿入されることにより体内の細胞を採取できる。
【００９５】
撮影部（図示せず）は、本体部２２の直径に対応する大きさを有するカメラを収容することができる。撮影部（図示せず）は、本体部２２の前端に備えられて胃病変イメージを撮影し、ネットワークを介して病変診断部１０及びディスプレイ部２５に撮影した胃病変イメージを提供することができる。
【００９６】
制御部２３は、操作部２１から提供されたユーザの入力情報及び病変診断装置１０の診断結果に基づいて本体部２２の動作を制御する制御信号を生成できる。制御部２３は、操作部２１に含まれたボタンのうち、ユーザからいずれか１つの選択入力を受信した場合、当該ボタンに対応するように本体部２２の動作を制御する制御信号を生成できる。例えば、制御部２３は、ユーザが本体部２２を前進させるボタンを入力した場合、本体部２２が一定速度で対象体（患者）の体内を前進できるように動作制御信号を生成できる。本体部２２は、制御部２３の制御信号に基づいて対象体（患者）の体内で前進することができる。
【００９７】
また、制御部２３は、撮影部（図示せず）の動作を制御するための制御信号を生成できる。撮影部（図示せず）の動作を制御するための制御信号は、病変領域に位置した撮影部（図示せず）が胃病変イメージをキャプチャするための信号であることができる。言い換えれば、ユーザは、操作部２１から特定病変領域に位置した撮影部（図示せず）がイメージを取得することを望む場合、キャプチャ取得ボタンをクリックできる。制御部２３は、操作部２１から提供された入力情報に基づいて撮影部（図示せず）が当該病変領域でイメージを取得できるように制御信号を生成できる。制御部２３は、撮影部（図示せず）が撮影中の映像から特定胃病変イメージを取得するための制御信号を生成できる。
【００９８】
また、制御部２３は、病変診断装置１０の診断結果に基づいて対象体の組織の一部を採取するためのバイオプシーユニットの動作を制御するための制御信号を生成できる。制御部２３は、病変診断装置１０の診断結果が進行胃癌（ａｄｖａｎｃｅｄ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、早期胃癌（ｅａｒｌｙ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、高度異形成（ｈｉｇｈ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）、及び低異形成（ｌｏｗ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）のうち、少なくともいずれか１つに属する場合、切除術を施行できるようにバイオプシーユニットの動作を制御するための制御信号を生成できる。バイオプシーユニットは、生体から組織の一部を採取するためのメス、針など、各種医療機器を含むことができ、メス、針などのバイオプシーユニットは、内視鏡施術者によってバイオプシーチャネルを介して体内に挿入されることにより体内の細胞を採取できる。また、制御部２３は、操作部２１から提供されるユーザ入力信号に基づいてバイオプシーユニットの動作を制御するための制御信号を生成できる。体内の細胞を採取、切除、除去する動作は、ユーザが操作部２１を利用して行うことであることができる。
【００９９】
本願の一実施形態によれば、病変位置取得部２４は、撮影部（図示せず）から提供された胃病変イメージと位置情報とを連係して胃病変情報を生成できる。位置情報は、本体部２２が現在体内に位置した位置情報であることができる。言い換えれば、本体部２２が対象体（患者）の胃の第１の地点に位置し、第１の地点から胃病変イメージが取得された場合、病変位置取得部２４は、前記胃病変イメージと位置情報とを連係して胃病変情報を生成できる。
【０１００】
病変位置取得部２４は、取得された胃病変イメージと位置情報とを連係して生成された胃病変情報をユーザ（医師）に提供することができる。病変診断部１０の診断結果及び病変位置取得部２４の胃病変情報をディスプレイ部２５を介してユーザに提供することにより、当該病変を切除（除去）する施術及び手術の際、当該病変位置でない所で切除術が行われ得る状況を防止できる。
【０１０１】
また、制御部２３は、病変位置取得部２４で提供した位置情報を利用してバイオプシーユニットが当該病変位置に位置しなかった場合、前記バイオプシーユニットの位置を制御するための制御信号を生成できる。
【０１０２】
病変診断装置１０でバイオプシーユニットを制御するための制御信号を生成して、体内の細胞を採取または除去することで、より速い組織検査を行うことができる。さらに、癌であると診断された細胞を内視鏡診断過程で直ちに除去することにより、速い治療が可能でありうる。
【０１０３】
以下では、上記に詳しく説明された内容を基に、本願の動作フローを簡単に説明する。
【０１０４】
図４は、本願の一実施形態に係る内視鏡イメージで胃病変を診断する方法に対する動作フローチャートである。
【０１０５】
図４に示された内視鏡イメージで胃病変を診断する方法は、前述した病変診断装置１０によって行われることができる。したがって、以下、省略された内容であるといえども、病変診断装置１０について説明された内容は、内視鏡イメージで胃病変を診断する方法についての説明にも同様に適用されることができる。
【０１０６】
ステップＳ４０１で病変診断装置１０は、複数の胃病変イメージを取得できる。病変診断装置１０は、内視鏡装置２０に備えられた撮影装置から取得された胃病変イメージを受信できる。胃病変イメージは、白色光イメージであることができる。
【０１０７】
ステップＳ４０２で病変診断装置１０は、複数の胃病変イメージと患者情報とを連係してデータセットを生成できる。病変診断装置１０は、人工神経網学習に要求される学習用データセット及び人工神経網の学習の進行情報を検証するための検証用データセットに分類してデータセットを生成できる。このとき、検証用データセットは、学習用データセットと重ならないデータセットであることができる。検証用データセットは、新規データセットが前処理過程を経た後、人工神経網の入力となる場合、人工神経網の性能評価に活用されるデータであることができる。
【０１０８】
ステップＳ４０３で病変診断装置１０は、ディープラーニングアルゴリズムに適用可能なようにデータセットを前処理することができる。病変診断装置１０は、データセットに含まれた胃病変イメージを用いて胃病変を中心として胃病変が含まれなかったイメージの周辺部領域を切り取り、ディープラーニングアルゴリズムに適用可能なサイズに切り取るクロップ（ＣＲＯＰ）過程を行うことができる。また、病変診断装置１０は、胃病変イメージを上下左右方向に平行移動（Ｓｈｉｆｔ）させることができる。また、病変診断装置１０は、胃病変イメージをひっくり返す（ｆｌｉｐｐｉｎｇ）ことができる。また、病変診断装置１０は、胃病変イメージの色相を調整できる。病変診断装置１０は、複数の前処理過程のうち、少なくともいずれか１つを行って、胃病変イメージをディープラーニングアルゴリズムに適用可能な状態に前処理することができる。
【０１０９】
また、病変診断装置１０は、胃病変イメージデータのデータ数を増加させるためにイメージデータを増幅させることができる。病変診断装置１０は、イメージデータを増幅させるために、胃病変イメージデータの回転、ひっくり返し、切り取り、及びノイズ混合のうち、少なくともいずれか１つを適用して胃病変イメージデータを増幅させることができる。
【０１１０】
ステップＳ４０４で病変診断装置１０は、前処理過程を経たデータセットを入力とし、胃病変分類結果に関する項目を出力とする学習を介しての人工神経網を構築できる。病変診断装置１０は、前処理過程を経たデータセットを入力とし、胃病変分類結果に関する項目を出力とする畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）及び全結合型ニューラルネットワーク（Ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）の学習を介しての訓練モデルを構築できる。
【０１１１】
また、病変診断装置１０は、前処理過程を経たデータセットは、畳み込みニューラルネットワークの入力とし、全結合型ニューラルネットワークは、畳み込みニューラルネットワークの出力及び患者情報を入力として訓練モデルを構築できる。畳み込みニューラルネットワークは、複数の胃病変イメージから複数の特徴パターンを出力し、複数の特徴パターンは、全結合型ニューラルネットワークにより最終分類されることができる。
【０１１２】
ステップＳ４０５で病変診断装置１０は、新規データセットを、前処理過程を経た後、人工神経網を介して胃病変診断を行うことができる。病変診断装置１０は、進行胃癌（ａｄｖａｎｃｅｄ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、早期胃癌（ｅａｒｌｙ  ｇａｓｔｒｉｃ  ｃａｎｃｅｒ）、高度異形成（ｈｉｇｈ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）、低異形成（ｌｏｗ−ｇｒａｄｅ  ｄｙｓｐｌａｓｉａ）、及び非腫瘍（ｎｏｎ−ｎｅｏｐｌａｓｍ）のうち、少なくともいずれか１つに胃病変診断分類を行うことができる。
【０１１３】
上述した説明において、ステップＳ４０１ないしＳ４０５は、本願の実現例によって、追加的なステップにさらに分割されるか、より少ないステップに組み合わせられることができる。また、一部のステップは、必要に応じて省略されることができ、ステップ間の順序が変更されることもできる。
【０１１４】
本願の一実施形態に係る内視鏡イメージで胃病変を診断する方法は、様々なコンピュータ手段を介して実行されることができるプログラム命令形態で実現されてコンピュータ読み取り可能媒体に記録されることができる。前記コンピュータ読み取り可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特に設計され、構成されたものなどであるか、コンピュータソフトウェアの当業者に公知されて使用可能なものであることもできる。コンピュータ読み取り可能記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ  ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ  ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリなどのようなプログラム命令を格納し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラーにより作られるような機械語コードだけでなく、インタープリタなどを使用してコンピュータにより実行されることができる高級言語コードを含む。上記したハードウェア装置は、本発明の動作を実行するために、１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
【０１１５】
また、前述した内視鏡イメージで胃病変を診断する方法は、記録媒体に格納されるコンピュータにより実行されるコンピュータプログラムまたはアプリケーションの形態でも実現されることができる。
【０１１６】
前述した本願の説明は、例示のためのものであり、本願の属する技術分野の通常の知識を有する者は、本願の技術的思想や必須的な特徴を変更せずに、他の具体的な形態に容易に変形が可能であるということが理解できるであろう。したがって、以上で記述した実施形態等は、あらゆる面において例示的なものであり、限定的でないことと理解すべきである。例えば、単一型として説明されている各構成要素は、分散されて実施されることもでき、同様に、分散されたことと説明されている構成要素等も結合された形態で行われることができる。
【０１１７】
本願の範囲は、上記の詳細な説明よりは、後述する特許請求の範囲によって表され、特許請求の範囲の意味及び範囲、そして、その均等概念から導出されるあらゆる変更または変形された形態が本願の範囲に含まれることと解釈されなければならない。
【図１】
2022502150.tif 000003
【図２】
2022502150.tif 000004
【図３】
2022502150.tif 000005
【図４】
2022502150.tif 000006
【国際調査報告】
2022502150.tif 000007
2022502150.tif 000008
2022502150.tif 000009
2022502150.tif 000010