(57)【要約】  ＩＥＥ画像を表示するディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断するシステム及び方法である。この方法は、内視鏡検査トレーニング画像Ｔ１を収集することと、生成されたセグメンテーションマップから、敵対的ネットワークＡＮにおける生成器ネットワークを用いてリアルなＩＥＥ画像を新たなトレーニング画像サンプルＴ２として自動的に生成することとを含む、ＡＮによって癌領域を有する又は有しないトレーニング画像サンプルをランダムに生成することと、予測ネットワークＬ１ＰＮを用いて、収集されたＴ１及びＴ２から、レベル１予測結果がＩＥＥ画像の癌確率であることを学習することと、予測ネットワークＬ２ＰＮを用いて、レベル２予測結果がＩＥＥ画像の検出された癌領域であることを学習することと、ＡＮを用いずにＬ１ＰＮ及びＬ２ＰＮを用いて、ＩＥＥ画像のレベル１結果及びレベル２結果を予測することとを含む。【選択図】図２
2021513435.tif 000002
【特許請求の範囲】
【請求項１】
画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断する方法であって、
敵対的ネットワーク（ＡＮ）によって、癌領域を有する又は有しないトレーニング画像サンプルをランダムに生成することであって、該生成することは、
内視鏡検査トレーニング画像（Ｔ１）を収集することと、
前記トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割することと、
前記トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌ブロックを自動的に生成することを学習することと、
前記トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常ＩＥＥ画像ブロックを自動的に生成することを学習することと、
前記自動的に生成された癌ブロック及び前記自動的に生成された正常ＩＥＥ画像ブロックに基づいて、白黒画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成することであって、任意の白色ピクセルは癌領域を示し、前記セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合があることと、
前記生成されたセグメンテーションマップから、前記ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習することと
を含むことと、
レベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、前記収集されたＴ１及びＴ２から、レベル１予測結果が前記ＩＥＥ画像の癌確率であることを学習することであって、前記Ｔ２は前記ＡＮによって生成されることと、
レベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、前記収集されたＴ１及びＴ２から、レベル２予測結果が前記ＩＥＥ画像の検出された癌領域であることを学習することであって、前記Ｔ２は前記ＡＮによって生成されることと、
前記ＡＮを用いることなく、前記Ｌ１ＰＮ及び前記Ｌ２ＰＮを用いて、前記ＩＥＥ画像の前記レベル１結果及び前記レベル２結果を予測することと
を含んでなる方法。
【請求項２】
前記ＩＥＥ画像は、拡大狭帯域撮像、エンドサイトマイクロスコーピ、ｉ−ＳＣＡＮ、フレキシブルスペクトル撮像カラー強調、青色レーザ撮像、及びブライトレーザ撮像のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項３】
前記セグメンテーションマップ（Ｓ１）はグラウンドトゥルースを含む、請求項１に記載の方法。
【請求項４】
前記グラウンドトゥルースは医師によってラベル付けされる、請求項３に記載の方法。
【請求項５】
前記収集された内視鏡検査トレーニング画像に基づいて追加のトレーニング画像を生成することを更に含み、
前記生成することは、
前記収集された内視鏡検査トレーニング画像を回転又は反転させて、１つ以上の拡張されたトレーニング画像を作成することと、
前記収集された内視鏡検査トレーニング画像よりも大きな解像度を有する誘導セグメンテーションマップを準備することと、
前記誘導セグメンテーションマップをランダムにクロッピングして、前記収集された内視鏡検査トレーニング画像の前記解像度と等しい解像度を有するサブマップを取得することと、
追加のトレーニング画像を生成するために前記サブマップを前記拡張されたトレーニング画像のそれぞれと乗算することと
を含む、請求項１に記載の方法。
【請求項６】
前記レベル２予測結果の前記検出された癌領域はピクセルレベルの解像度にある、請求項１に記載の方法。
【請求項７】
画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断するシステムであって、
敵対的ネットワーク（ＡＮ）によって、癌領域を有する又は有しないトレーニング画像サンプルをランダムに生成する手段であって、
内視鏡検査トレーニング画像（Ｔ１）を収集する手段と、
前記トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割する手段と、
前記トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌ブロックを自動的に生成することを学習する手段と、
前記トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常ＩＥＥ画像ブロックを自動的に生成することを学習する手段と、
前記自動的に生成された癌ブロック及び前記自動的に生成された正常ＩＥＥ画像ブロックに基づいて、白黒画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成する手段であって、任意の白色ピクセルは癌領域を示し、前記セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合がある、生成する手段と、
前記生成されたセグメンテーションマップから、前記ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習する手段と
を備える、トレーニング画像サンプルをランダムに生成する手段と、
レベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、前記収集されたＴ１及びＴ２から、レベル１予測結果が前記ＩＥＥ画像の癌確率であることを学習する手段であって、前記Ｔ２は前記ＡＮによって生成される、学習する手段と、
レベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、前記収集されたＴ１及びＴ２から、レベル２予測結果が前記ＩＥＥ画像の検出された癌領域であることを学習する手段であって、前記Ｔ２は前記ＡＮによって生成される、学習する手段と、
前記ＡＮを用いることなく、前記Ｌ１ＰＮ及び前記Ｌ２ＰＮを用いて、前記ＩＥＥ画像の前記レベル１結果及び前記レベル２結果を予測する手段と
を備えてなるシステム。
【請求項８】
前記ＩＥＥ画像は、拡大狭帯域撮像、エンドサイトマイクロスコーピ、ｉ−ＳＣＡＮ、フレキシブルスペクトル撮像カラー強調、青色レーザ撮像、及びブライトレーザ撮像のうちの少なくとも１つを含む、請求項７に記載のシステム。
【請求項９】
前記セグメンテーションマップ（Ｓ１）はグラウンドトゥルースを含む、請求項７に記載のシステム。
【請求項１０】
前記グラウンドトゥルースは医師によってラベル付けされる、請求項９に記載のシステム。
【請求項１１】
前記収集された内視鏡検査トレーニング画像に基づいて追加のトレーニング画像を生成する手段を更に備え、
前記生成する手段は、
前記収集された内視鏡検査トレーニング画像を回転又は反転させて、１つ以上の拡張されたトレーニング画像を作成する手段と、
前記収集された内視鏡検査トレーニング画像よりも大きな解像度を有する誘導セグメンテーションマップを準備する手段と、
前記誘導セグメンテーションマップをランダムにクロッピングして、前記収集された内視鏡検査トレーニング画像の前記解像度と等しい解像度を有するサブマップを取得する手段と、
追加のトレーニング画像を生成するために前記サブマップを前記拡張されたトレーニング画像のそれぞれと乗算する手段と
を備えてなる、請求項７に記載のシステム。
【請求項１２】
前記レベル２予測結果の前記検出された癌領域はピクセルレベルの解像度にある、請求項７に記載のシステム。
【請求項１３】
画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える胃腸腫瘍又は胃腸病変を診断する内視鏡検査システムにおいて、敵対的ネットワーク（ＡＮ）によって癌領域を有する又は有しないトレーニング画像サンプルをランダムに生成する方法であって、
内視鏡検査トレーニング画像（Ｔ１）を準備することと、
前記トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割することと、
前記トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌画像ブロックを自動的に生成することを学習することと、
前記トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常画像ブロックを自動的に生成することを学習することと、
前記自動的に生成された癌画像ブロック及び前記自動的に生成された正常画像ブロックに基づいて、画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成することと、
前記生成されたセグメンテーションマップから、前記ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習することと
を含んでなる方法。
【請求項１４】
いずれの白色ピクセルも前記セグメンテーションマップにおける癌領域を示し、前記セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合がある、請求項１３に記載の方法。
【請求項１５】
画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断する方法であって、
特徴抽出とその後に続くセグメンテーションとを含むレベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、収集されたトレーニング画像から、レベル１予測結果がＩＥＥ画像の癌確率であることを学習することと、
予測ネットワークにフィードする特徴抽出を含むレベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、前記収集されたトレーニング画像から、レベル２予測結果が前記ＩＥＥ画像の検出された癌領域であることを学習することと、
前記Ｌ１ＰＮ及び前記Ｌ２ＰＮを用いて前記ＩＥＥ画像の前記レベル１結果及び前記レベル２結果を予測することと
を含んでなる方法。
【請求項１６】
処理される放射線画像を受信するように構成された特徴抽出ネットワークと、
前記特徴抽出ネットワークの出力を受信し、癌ローカライゼーション結果を生成するように構成されたセグメンテーションネットワークと、
前記特徴抽出ネットワークの出力を受信し、癌検出結果を生成するように構成された予測ネットワークと
を備えてなる、放射線画像を処理するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示されている技術は、内視鏡検査に関し、より詳細には、内視鏡検査によって初期段階胃癌（及び他のＧＩ癌）の早期の診断及び検出に関する。
【０００２】
［関連出願の相互参照］
本出願は、２０１８年２月１２日に出願された米国特許出願第６２／６２９，６００号及び２０１９年２月１１日に出願された米国特許出願第１６／２７３，０１６号に対する優先権を主張し、その内容はどちらも、引用することによりその全体が本明細書の一部をなすものとする。
【背景技術】
【０００３】
内視鏡検査によって胃腸（ＧＩ：gastrointestinal）癌を診断する要求が高まってきているが、病変（特に、初期段階癌）を検出することができ見逃すことがない経験を積んだ内視鏡検査医師は限られた数しかいない。したがって、ディープラーニングの進歩によって、正解率／感度／特異度性能を従来の画像特徴解析方法（幾つかの研究では、約５０％〜７０％のレベルにある）よりも大幅に高めている（９５％レベルまで）コンピュータ支援診断は、内視鏡検査を実践して初期段階ＧＩ癌を診断及び検出する医師の支援を容易にすることができる。
【０００４】
既定の画像特徴を用いて初期段階胃癌を診断する従来の画像解析方法は、正解率、感度及び特異度が約５０％〜７０％の範囲でしか動作しないことが分かっている。
【発明の概要】
【０００５】
本技術のシステム及び方法はそれぞれ、幾つかの態様を有し、それらのいずれの１つも、その望ましい属性を単独で担うものではない。本発明の範囲を限定することなく、幾つかの態様を以下に簡潔に論述する。
【０００６】
本開発技術の１つの態様において、画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断する方法であって、敵対的ネットワーク（ＡＮ）によって、癌領域（複数の場合もある）を有する又は有しないトレーニング画像サンプルをランダムに生成することであって、この生成することは、内視鏡検査トレーニング画像（Ｔ１）を収集することと、トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割することと、トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌ブロックを自動的に生成することを学習することと、トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常ＩＥＥ画像ブロックを自動的に生成することを学習することと、自動的に生成された癌ブロック及び自動的に生成された正常ＩＥＥ画像ブロックに基づいて、白黒画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成することであって、任意の白色ピクセルは癌領域を示し、セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合があることと、生成されたセグメンテーションマップから、ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習することとを含むことと、レベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、収集されたＴ１及びＴ２から、レベル１予測結果がＩＥＥ画像の癌確率であることを学習することであって、Ｔ２はＡＮによって生成されることと、レベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、収集されたＴ１及びＴ２から、レベル２予測結果がＩＥＥ画像の検出された癌領域（複数の場合もある）であることを学習することであって、Ｔ２はＡＮによって生成されることと、ＡＮを用いることなく、Ｌ１ＰＮ及びＬ２ＰＮを用いて、ＩＥＥ画像のレベル１結果及びレベル２結果を予測することとを含む方法がもたらされる。
【０００７】
ＩＥＥ画像は、拡大狭帯域撮像、エンドサイトマイクロスコーピ、ｉ−ＳＣＡＮ、フレキシブルスペクトル撮像カラー強調、青色レーザ撮像、及びブライトレーザ撮像のうちの少なくとも１つを含むことができる。セグメンテーションマップ（Ｓ１）はグラウンドトゥルースを含むことができる。グラウンドトゥルースは医師によってラベル付けすることができる。方法は、収集された内視鏡検査トレーニング画像に基づいて追加のトレーニング画像を生成することを更に含むことができ、生成することは、収集された内視鏡検査トレーニング画像を回転又は反転させて、１つ以上の拡張されたトレーニング画像を作成することと、収集された内視鏡検査トレーニング画像よりも大きな解像度を有する誘導セグメンテーションマップを準備することと、誘導セグメンテーションマップをランダムにクロッピングして、収集された内視鏡検査トレーニング画像の解像度と等しい解像度を有するサブマップを取得することと、追加のトレーニング画像を生成するためにサブマップを拡張されたトレーニング画像のそれぞれと乗算することとを含む。レベル２予測結果の検出された癌領域（複数の場合もある）はピクセルレベルの解像度にあるものとすることができる。
【０００８】
本開発技術の別の態様において、画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断するシステムであって、敵対的ネットワーク（ＡＮ）によって、癌領域（複数の場合もある）を有する又は有しないトレーニング画像サンプルをランダムに生成する手段であって、内視鏡検査トレーニング画像（Ｔ１）を収集する手段と、トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割する手段と、トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌ブロックを自動的に生成することを学習する手段と、トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常ＩＥＥ画像ブロックを自動的に生成することを学習する手段と、自動的に生成された癌ブロック及び自動的に生成された正常ＩＥＥ画像ブロックに基づいて、白黒画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成する手段であって、任意の白色ピクセルは癌領域を示し、セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合がある、生成する手段と、生成されたセグメンテーションマップから、ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習する手段とを備える、トレーニング画像サンプルをランダムに生成する手段と、レベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、収集されたＴ１及びＴ２から、レベル１予測結果がＩＥＥ画像の癌確率であることを学習する手段であって、Ｔ２はＡＮによって生成される、学習する手段と、レベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、収集されたＴ１及びＴ２から、レベル２予測結果がＩＥＥ画像の検出された癌領域（複数の場合もある）であることを学習する手段であって、Ｔ２はＡＮによって生成される、学習する手段と、ＡＮを用いることなく、Ｌ１ＰＮ及びＬ２ＰＮを用いて、ＩＥＥ画像のレベル１結果及びレベル２結果を予測する手段とを備えるシステムがもたらされる。
【０００９】
ＩＥＥ画像は、拡大狭帯域撮像、エンドサイトマイクロスコーピ、ｉ−ＳＣＡＮ、フレキシブルスペクトル撮像カラー強調、青色レーザ撮像、及びブライトレーザ撮像のうちの少なくとも１つを含むことができる。セグメンテーションマップ（Ｓ１）はグラウンドトゥルースを含むことができる。グラウンドトゥルースは医師によってラベル付けすることができる。システムは、収集された内視鏡検査トレーニング画像に基づいて追加のトレーニング画像を生成する手段を更に備えることができ、生成する手段は、収集された内視鏡検査トレーニング画像を回転又は反転させて、１つ以上の拡張されたトレーニング画像を作成する手段と、収集された内視鏡検査トレーニング画像よりも大きな解像度を有する誘導セグメンテーションマップを準備する手段と、誘導セグメンテーションマップをランダムにクロッピングして、収集された内視鏡検査トレーニング画像の解像度と等しい解像度を有するサブマップを取得する手段と、追加のトレーニング画像を生成するためにサブマップを拡張されたトレーニング画像のそれぞれと乗算する手段とを備える。レベル２予測結果の検出された癌領域（複数の場合もある）はピクセルレベルの解像度にあるものとすることができる。
【００１０】
本開発技術の別の態様において、画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える胃腸腫瘍又は胃腸病変を診断する内視鏡検査システムにおいて、敵対的ネットワーク（ＡＮ）によって癌領域（複数の場合もある）を有する又は有しないトレーニング画像サンプルをランダムに生成する方法であって、内視鏡検査トレーニング画像（Ｔ１）を準備することと、トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割することと、トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌画像ブロックを自動的に生成することを学習することと、トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常画像ブロックを自動的に生成することを学習することと、自動的に生成された癌画像ブロック及び自動的に生成された正常画像ブロックに基づいて、画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成することと、生成されたセグメンテーションマップから、ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習することとを含む方法がもたらされる。
【００１１】
いずれの白色ピクセルもセグメンテーションマップにおける癌領域を示すことができ、セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合がある。
【００１２】
本開発技術の別の態様において、画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断する方法であって、特徴抽出とその後に続くセグメンテーションとを含むレベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、収集されたトレーニング画像から、レベル１予測結果がＩＥＥ画像の癌確率であることを学習することと、予測ネットワークにフィードする特徴抽出を含むレベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、収集されたトレーニング画像から、レベル２予測結果がＩＥＥ画像の検出された癌領域（複数の場合もある）であることを学習することと、Ｌ１ＰＮ及びＬ２ＰＮを用いてＩＥＥ画像のレベル１結果及びレベル２結果を予測することとを含む方法がもたらされる。
【００１３】
本開発技術の更に別の態様において、処理される放射線画像を受信するように構成された特徴抽出ネットワークと、特徴抽出ネットワークの出力を受信し、癌ローカライゼーション結果を生成するように構成されたセグメンテーションネットワークと、特徴抽出ネットワークの出力を受信し、癌検出結果を生成するように構成された予測ネットワークとを備える、放射線画像を処理するシステムがもたらされる。
【００１４】
本出願は、カラーで作製された少なくとも１つの図面を含む。カラー図面（複数の場合もある）を有する本特許のコピーは、要求及び必要な手数料の支払いに応じて米国特許商標庁によって提供される。
【図面の簡単な説明】
【００１５】
【図１】ＡＩ．ＳＫＯＰＹシステムとして知られている画像認識用の人工知能構成要素を備えるコンピュータ支援診断システムの全体的なフレームワークを示すブロック図である。
【図２】ＡＩ．ＳＫＯＰＹシステムのトレーニングフェーズを示すブロック図である。
【図３】特徴抽出器ネット、セグメンテーションネット、及び予測ネットのネットワークアーキテクチャを示すブロック図である。
【図４】敵対的ネットワーク（ＡＮ：adversarial network）のトレーニングフェーズのデータ拡張方法を示すブロック図である。
【図５】ＡＮのトレーニングフェーズを示すブロック図である。
【図６】生成器ネットワーク及び弁別器ネットワークのネットワークアーキテクチャを示すブロック図である。
【図７】レベル１予測及びレベル２予測の双方の試験フェーズを示すブロック図である。
【図８】医師注釈付き（physician annotated）癌エリア出力と対比した癌エリアを特定するレベル２予測ネットワーク出力の画像例である。
【図９】医師注釈付き癌エリア出力と対比した癌エリアを特定するレベル２予測ネットワーク出力の別の画像例である。
【図１０】医師注釈付き癌エリア出力と対比した癌エリアを特定するレベル２予測ネットワーク出力の別の画像例である。
【図１１】医師注釈付き癌エリア出力と対比した癌エリアを特定するレベル２予測ネットワーク出力の別の画像例である。
【図１２】医師注釈付き癌エリア出力と対比した癌エリアを特定するレベル２予測ネットワーク出力の更に別の画像例である。
【発明を実施するための形態】
【００１６】
或る特定の例示の実施形態の以下の詳細な説明は、本発明の特定の実施形態の様々な説明を提示する。しかしながら、本発明は、多数の異なる方法で具現化することができる。
【００１７】
本明細書に提示される説明に用いられる術語は、単に本発明の幾つかの特定の実施形態の詳細な説明とともに利用されているだけのものであるので、限定的にも制限的にも解釈されることを意図したものではない。さらに、本発明の実施形態は、幾つかの新規な特徴を含む場合があり、それらの特徴のいずれの１つも、その望ましい属性を単独で担うものではないか、又は、本明細書において説明する本発明の実施に必須のものではない。
【００１８】
関数、アルゴリズム、システム等のデータ関係及びパターンを表すモデルは、入力（入力ベクトルと呼ばれることがある）を受け取り、或る方法で入力に対応する出力（出力ベクトルと呼ばれることがある）を生成することができる。例えば、モデルは、人工ニューラルネットワーク（ＮＮ：neural network）として実施することができる。人工ニューラルネットワークは、動物の生物学的な神経ネットワークと類似した計算実体であるが、コンピューティングデバイスによって実施されるという意味で人工である。ＮＮベースのモデルにおける出力は、フォワードパスを行うことによって得られる。フォワードパスは、モデルのパラメータを表す大きなＮＮ重み行列に、入力特徴ベクトル又は隠れた中間表現に対応するベクトルを乗算することを伴う。音声、手書き、顔等を認識するように設計されたシステム等の認識システムでは、ＮＮベースのモデルは、フォワードパスを介して確率スコアを生成することができる。確率スコアは、入力が特定のラベル、クラス等に対応する確率を示すことができる。
【００１９】
ＮＮのパラメータは、トレーニングと呼ばれるプロセスにおいて設定することができる。例えば、ＮＮベースのモデルは、入力データと、対応する入力データに対するモデルの正しい又は好ましい出力とを含むトレーニングデータを用いてトレーニングすることができる。個々の入力ベクトルの集合は、単一の入力ベクトルの代わりに入力行列を用いることによって同時に処理することができる。モデルが、正しい又は好ましい出力を生成する（すなわち、正しい又は好ましい出力に収束する）まで、ＮＮは入力データを繰り返し処理することができ、ＮＮのパラメータ（例えば、重み行列）を変更することができる。重み値の変更は、バックプロパゲーションと呼ばれるプロセスを通じて行うことができる。バックプロパゲーションは、予想されたモデル出力と取得されたモデル出力との間の差を求めることと、次に、モデルの幾つか又は全てのパラメータの値を変更して、予想されたモデル出力と取得されたモデル出力との間の差を削減する方法を求めることとを含む。
【００２０】
一般的に説明すれば、人工ニューラルネットワークは複数のノード層を有する。人工ニューラルネットワークには、ディープニューラルネットワークが含まれるが、これに限定されるものではない。例示として、ＮＮは、入力層及び出力層、並びに入力層と出力層との間の任意の数の中間層又は隠れ層を備えることができる。個々の層は、任意の数の個別のノードを備えることができる。隣接する層のノードは、互いに接続することができ、隣接する層の様々なノードの間の各接続は、それぞれの重みに関連付けることができる。概念上、ノードは、複数の異なる入力値の関数として出力値を計算する計算ユニットであると考えることができる。入力値は、前層内のノードの出力に、前層内のノードと現在のノードとの間の接続に関連付けられた重みを乗算したものを含むことができる。ＮＮが、入力ベクトルの行列（例えば、トレーニングデータ入力ベクトルのバッチ）の形で入力データを処理するとき、ＮＮは、フォワードパスを実行して出力ベクトルの行列を生成することができる。入力ベクトルはそれぞれ、ＮＮ入力層のｎ個のノードに対応するｎ個の個別のデータ要素又はデータディメンションを含むことができる（ここで、ｎは或る正の整数である）。各データ要素は、浮動小数点数又は整数等の値とすることができる。フォワードパスは、入力ベクトルの行列に、入力層のノードと次層のノードとの間の接続に関連付けられた重みを表す行列を乗算することと、それらの結果に活性化関数を適用することとを含む。このプロセスは、その後、後続の各ＮＮ層について繰り返される。
【００２１】
エンドツーエンドディープラーニング方法論を用いることによって、初期段階胃癌の診断及び癌エリアの検出の性能は、少なくとも１つの研究では、８５％〜９５％の範囲に飛躍的に改善した。
【００２２】
一般に、ディープラーニングは、様々なタスクに関して良好で安定した性能に達するのに大規模なトレーニングセットを必要とする。しかしながら、医用撮像又は新たなデバイスからキャプチャされる撮像等の幾つかの用途では、十分なトレーニングサンプルがない。本開発技術（development）は、指定された物体のローカライゼーション及び検出のための小規模なトレーニングサンプルに関して用いることができる効果的で効率的なディープラーニングフレームワークを提供する。
【００２３】
本開発技術の例示的な使用事例には、内視鏡検査システムにおける胃腸癌の検出及びローカライゼーション、又は、内視鏡検査システムを補う胃腸癌の検出及びローカライゼーションが含まれる。システムは、画像強調内視鏡検査（ＩＥＥ：image enhanced endoscopy）画像（例えば、拡大狭帯域撮像内視鏡検査）に関する早期の胃癌の診断及び検出に的を絞ることができるが、同じワーキングモデル及びプロセスは、他の胃腸の病変／癌、例えば、早期食道癌、バレット食道、及び結腸直腸ポリープ／癌にも同様に適用することができる。
【００２４】
本開発技術の他の追加の臨床応用には、炎症性腸疾患（クローン病、潰瘍性大腸炎）における腸炎（例えば、大腸炎）のモニタリング及び監視が含まれる。
【００２５】
本開発技術は、ＩＥＥのタイプに制限されず、拡大狭帯域撮像、エンドサイトマイクロスコーピ（endocytomicroscopy）、ｉ−ＳＣＡＮ、フレキシブルスペクトル撮像カラー強調、青色レーザ撮像、及びブライトレーザ撮像を含むＩＥＥに適用可能である。拡大狭帯域撮像は、本明細書では、例示的な使用事例として利用される。
【００２６】
２つの高レベル能力は、以下のとおりである。
１．高性能コンピュータ支援診断システムが、癌領域のローカライゼーション及び検出を提供する。
２．効果的で効率的なディープラーニングフレームワークが、トレーニングに対する小規模なサンプルデータセットの使用を可能にする。
【００２７】
このフレームワークは、畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）及び敵対的生成ネットワーク（ＧＡＮ：generative adversarial network）を用いる。システムの目標は、対象領域の検出及びローカライゼーション又はセマンティックセグメンテーションである。既存の技法を以下のリストに提供する。これらの３つの文献のそれぞれは、引用することによって、その全体が本明細書の一部をなすものとする。
１．He, Kaiming他著「Mask r-cnn」（arXiv preprint arXiv:1703.06870 (2017)）。
２．Long, Jonathan、Evan Shelhamer、及びTrevor Darrell著「Fully convolutional networks for semantic segmentation」（Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2015)）。
３．Shrivastava, Ashish他著「Learning from simulated and unsupervised images through adversarial training」（arXiv preprint arXiv:1612.07828 (2016)）。
【００２８】
或る特定の実施形態では、本開発技術の画像拡張技法は、３つのＧＡＮを含み、コントローラファクタによって制御される指定された同一物の弁別画像を生成することができる。その上、指定された癌領域を有するＭ−ＮＢＩ画像を生成することができる。従来の方法は、指定された癌領域を有するその画像を生成することができない。
【００２９】
以下のものを備える新たなＣＮＮアーキテクチャが設計された。
・全てが３＊３カーネル：従来のＣＮＮは、７＊７カーネル又はそれよりも更に大きなカーネルを最初の１層〜３層に用いて計算複雑度を削減する。しかしながら、そのサイズはこの点で空間解像度を削減し、Ｍ−ＮＢＩにおける特徴は非常に無意味なものとなり、そのため、空間解像度を維持するために、より小さなカーネルサイズが利用される。
・プーリングが用いられず、ストライドされた畳み込みが用いられる：プーリングは空間関係を破壊し、Ｍ−ＮＢＩ画像では、ピクセル間の関係が重要であり、これが、プーリングが用いられない理由である。
・複数の特徴抽出器層（例えば、６つ）、複数のセグメンテーション層（例えば、４つ）、及び複数の予測層（例えば、４つ）：新たなＣＮＮアーキテクチャにおけるこれらの層の数は、幾つかの実験に従って実験的に求められる。或る特定の実施形態では、これらの値は、計算複雑度と性能との間の最良のトレードオフを提供する。
【００３０】
本開発技術の利点は以下のものを含む。
・サンプルの小規模なデータセットしかトレーニングに必要とされない。
・内視鏡検査のリアルタイムのコンピュータ支援診断システム
・高速で正確な癌領域ローカライゼーション
・内視鏡検査システムにおける癌ロケーション検出のための高速で効果的なＣＮＮ
・リアルタイムのコンピュータ支援内視鏡検査診断システム
・小規模なデータセットからのレベル２予測ネットワークのトレーニングフェーズのコンテンツ認識型データ拡張
・癌領域を有する／有しない合成ＮＢＩ画像を生成するのに用いることができるＭ−ＮＢＩ画像合成技法
【００３１】
この開発技術の新たな特徴は以下のとおりである。
１．畳み込みニューラルネットワーク構造は、本開発技術において新しいものである。この特有のＣＮＮ構造（図２、図３及び図５〜図７）は、レベル１出力（癌の有無の全体画像診断）及びレベル２出力（ピクセルレベル癌領域表示）を生成するように設計されている。
２．癌領域を有する／有しないリアルなトレーニングＭ−ＮＢＩ画像の自動生成。
【００３２】
プロセスを実行するステップ及び構成要素のセットの一実施形態
１．敵対的ネットワーク（ＡＮ）によって、癌領域（複数の場合もある）を有する又は有しないトレーニング画像をランダムに生成する。
１．１．トレーニング画像（Ｔ１）を収集する。
１．２．対応するセグメンテーションマップに従って画像を正常ブロック及び癌ブロックに分割する。
１．３．トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ：cancerous generative adversarial network）を用いて癌ブロックを自動的に生成することを学習する。
１．４．トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ：normal generative adversarial network）を用いて正常拡大狭帯域撮像（Ｍ−ＮＢＩ：magnified narrow band imaging）画像ブロックを自動的に生成することを学習する。
１．５．セグメンテーションマップ（白色領域が癌領域を意味するだけの白黒画像）をランダムに生成する。このセグメンテーションマップは、癌が存在しないことを意味する黒色ピクセルのみである場合がある。
１．６．上記１．５に従って、黒色領域は、１．４における結果から満たされるのに対して、白色領域は、１．３における結果から満たされる。
１．７．上記１．６における結果からＡＮにおける生成器ネットワークを用いてリアルなＭ−ＮＢＩ画像を自動的に生成することを学習する。生成された結果は、新たなトレーニングサンプル（Ｔ２）とみなすことができる。
２．Ｌ１ＰＮを用いて、収集されたＴ１及びＴ２からレベル１予測結果（Ｍ−ＮＢＩ画像の癌確率）を学習する。ここで、Ｔ２はＡＮによって生成される。
３．Ｌ２ＰＮを用いて、収集されたＴ１及びＴ２からレベル２予測結果（Ｍ−ＮＢＩ画像の癌領域の検出）を学習する。ここで、Ｔ２はＡＮによって生成される。
４．トレーニングプロセスが行われた後、Ｌ１ＰＮ及びＬ２ＰＮを用いて、Ｍ−ＮＢＩ画像のＬ１結果及びＬ２結果を予測する。このステップでは、ＡＮはもはや必要とされない。
【００３３】
トレーニング画像の処理を行って拡大狭帯域撮像（Ｍ−ＮＢＩ）結果を生成するシステムの３つの最上位レベル構成要素は、以下のとおりである。
Ａ．敵対的ネットワーク（ＡＮ）−これは、Ｌ１ＰＮ及びＬ２ＰＮをトレーニングするのに用いられ、試験フェーズでは用いられない。試験フェーズ＝Ｍ−ＮＢＩ画像の診断結果を生成する。
Ｂ．ＣＮＮのレベル１予測ネットワーク（Ｌ１ＰＮ：Level 1 prediction network）
Ｃ．ＣＮＮのレベル２予測ネットワーク（Ｌ２ＰＮ：Level 2 prediction network）
【００３４】
以下は、ＡＮ、Ｌ１ＰＮ及びＬ２ＰＮの第２レベル構成要素である。
Ａ．敵対的ネットワーク（ＡＮ）
１．トレーニング画像
２．癌ＧＡＮ（ＣＧＡＮ）
３．正常ＧＡＮ（ＮＧＡＮ）
４．生成器ネットワーク
５．弁別器ネットワーク
６．最終ＧＡＮ
７．合成画像
Ｂ．レベル１予測ネットワーク（Ｌ１ＰＮ）
１．Ｌ１ＰＮの損失関数
２．特徴抽出器
３．レベル１予測
Ｃ．レベル２予測ネットワーク（Ｌ２ＰＮ）
１．Ｌ２ＰＮの損失関数
２．特徴抽出器
３．セグメンテーション
４．レベル２セグメンテーションマップ
【００３５】
レベル１予測及びレベル２セグメンテーションマップは、Ｍ−ＮＢＩ画像を生成するのに用いられる。上記ステップのセットにおいて説明したように、リアルなＭ−ＮＢＩ画像は、ＡＮのみを用いて生成される。ＡＮがトレーニングされている間、ＡＮを用いて、任意の正常Ｍ−ＮＢＩ画像及び癌Ｍ−ＮＢＩ画像を合成することができる。これは、トレーニングセットのサイズを拡張するのに用いることができる。大規模なトレーニングセットがあるとき、効果的なＬ１ＰＮ及びＬ２ＰＮをトレーニングすることができる。最後に、Ｌ１ＰＮ及びＬ２ＰＮを用いて、Ｍ−ＮＢＩ画像の癌確率及びそのロケーションを予測することができる。
【００３６】
全結合（ＦＣ：Fully Connected）層及びＳｏｆｔｍａｘ関数をＬ１ＰＮの最後部に配置することができる。これらは、ＣＮＮを良好に機能させる共通のストラテジーである。
【００３７】
図１は、例示的なコンピュータ支援診断システム１００の全体的なフレームワークを示している。ＡＩ．ＳＫＯＰＹシステムと呼ばれる構成要素の人工知能システム１２０は、任意のビデオ信号出力（例えば、ＲＧＢ又はＹＣｂＣｒ）を有する任意の適した既存の内視鏡検査システム１１０から画像入力を受信するのに適用することができる。従来の内視鏡検査システムは、内視鏡検査画像を表示モニタ１６０上に示す。医師は、その場合、内視鏡検査画像を視認し、内視鏡検査システムディスプレイ上の画像を視認することに基づいて、内視鏡検査画像に癌があるか否かについての診断１７０を行うことができる。ＡＩ．ＳＫＯＰＹシステム１２０は、内視鏡検査画像信号（静止フレーム画像又はビデオ）を受信し、この画像信号（静止フレーム画像又はビデオ）のコンテンツを解析することができ、その後、１）癌検出１４０及びその確率と、２）癌領域ローカライゼーション１５０（存在する場合）との２つの情報レベルを有する出力結果をディスプレイ１３０上に生成することができる。
【００３８】
Ｌ１ＰＮ／Ｌ２ＰＮのトレーニングフェーズ
知られているように、ニューラルネットワークは、データセットを用いてトレーニングされると、画像認識機能を提供することができる。図２を参照すると、システム１２０のトレーニングフェーズ２００が記載されている。このフレームワークは３つの主要部分を含む。
１．レベル１予測ネットワーク（Ｌ１ＰＮ）：画像に癌があるか否かを検出する。また、システムは検出結果の信頼度パラメータも提供する。
２．レベル２予測ネットワーク（Ｌ２ＰＮ）：画像内の癌領域（存在する場合）（複数の場合もある）のロケーションをラベル付けする。
３．敵対的ネットワーク（ＡＮ）：癌領域を有する又は有しない合成Ｍ−ＮＢＩ画像を生成するのに用いられる。
【００３９】
システム１２０のトレーニングフェーズの詳細は、以下のとおりに説明される。ラベル２１０ｂを有するトレーニング画像は、特徴抽出器ネットワーク２２０、セグメンテーションネットワーク２３０、予測ネットワーク２４０及び敵対的ネットワーク２８０の４つのネットワークをトレーニングするのに用いられる。まず、トレーニング画像２１０ｂが特徴抽出器ネット２２０（そのアーキテクチャ／構造は図３に示されている）に入力され、或る特定の実施形態では、２５６個の特徴マップが抽出される。各特徴マップは予測ネットワーク２４０に入力され、０〜１の範囲にある２つの応答値が生成される。第１の応答値は、画像における癌の確率Ｐ＋を示し、第２の応答値は、画像における非癌の確率Ｐ−を示す。画像の癌確率Ｐは、以下の式によって求められる。
【数１】
2021513435.tif 000003
【００４０】
ネットワーク２２０及び２４０は、予測ネット２４０によって予測されたラベル２５０をグラウンドトゥルース２１０ａ（医師によってラベル付けされる）と比較することによって更新することができる。このブランチはＬ１ＰＮ（ネットワーク２２０〜ネットワーク２４０）と呼ばれる。
【００４１】
図３を参照すると、ネットワークアーキテクチャ３００が示されている。トレーニング画像３１０のセットが、６つの密ブロックによって構築される特徴抽出器ネットワーク３２０［Ｒｅｆ１：Huang、Gao他著「Densely connected convolutional networks」（CVPR, Vol. 1, No. 2, 2017, p. 3）］への入力として提供される。Ｒｅｆ１では、任意の層から全ての後続の層に直接接続を用いる高密度に接続された畳み込みネットワーク（ＤｅｎｓｅＮｅｔ）が提案されている。その結果、第ｌ層は、全ての先行層ｘ０、．．．、ｘｌ−１の特徴マップを入力として受信する。すなわち、ｘｌ＝Ｈｌ（［ｘ０，ｘ１，．．．，ｘｌ−１］）であり、ここで、［ｘ０，ｘ１，．．．，ｘｌ−１］は、層０、．．．、ｌ−１において生成された特徴マップを連結したものを指す。実施を容易にするために、この段落の式におけるＨｌ（・）の複数の入力は、単一のテンソルに連結することができる。画像ｘ０は、Ｌ個の層を有する畳み込みネットワークを通過する。Ｌ個の層のそれぞれは非線形変換Ｈｌ（・）を実施する。ここで、ｌは層のインデックスである。Ｈｌ（・）は、バッチ正規化（ＢＮ：batch normalization）、正規化線形ユニット（ＲｅＬＵ：rectified linear units）、プーリング、又は畳み込み（Ｃｏｎｖ：convolution）等の演算の合成関数とすることができる。第ｌ層の出力はｘｌとして特定される。
【００４２】
ＤｅｎｓｅＮｅｔは、幾つかの密ブロックによって構築される。Ｒｅｆ１の第４頁の表１に述べられているように、通常のＤｅｎｓｅＮｅｔは、少なくとも５８個の密ブロックである。本開発技術では、より効率的な性能を有するように、６つの密ブロックのみが特徴抽出器ネットワークにおいて採用される。このシステムの１つのタスクは、画像に癌があるか否かを特定することである。Ｒｅｆ１に記載されたタスクと比較して、このシステムのタスクは異なっており、したがって、このシステムはそれほど多くの密ブロックを必要としない。
【００４３】
セグメンテーションネットワーク３３０は、特徴抽出器ネットワーク３２０の出力を受信する。セグメンテーションネットワーク３３０は、［Ｒｅｆ２：Long, Jonathan、Evan Shelhamer、及びTrevor Darrell著「Fully convolutional networks for semantic segmentation」（Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, 2015）］に提案されている完全畳み込みネットワークによって触発されたものであり、畳み込み層は、高密度接続層に置き換えられた最後の層に用いられる［Ｒｅｆ２の第３頁、図２］。セグメンテーションネットワークと完全畳み込みネットワーク（ＦＣＮ：fully convolutional networks）との間の相違は、セグメンテーションネットワークへの入力として特徴抽出器ネットワークが用いられるのに対して、ＦＣＮは、ＡｌｅｘＮｅｔ、Ｖｇｇ１６、又はＧｏｏｇｌｅＮｅｔのネットワークアーキテクチャを最終畳み込み層への入力として用いることである［Ｒｅｆ２の第５頁、表１］。ＡｌｅｘＮｅｔと比較して、ＤｅｎｓｅＮｅｔは、より意味のある特徴表現を提供することができるとともに、セグメンテーション結果においてより高い性能も提供することができる。
【００４４】
図２を再び参照すると、２５６個の特徴マップが、セグメンテーションネットワーク２３０の入力とみなされる（ここで、アーキテクチャは図３を参照することができる）。その場合、セグメンテーションネットワークは、これらの特徴を高解像度セグメンテーション結果にアップサンプリングするのに用いられる。この場合も、特徴抽出器ネットワーク２２０及びセグメンテーションネットワーク２３０は、予測されたセグメンテーションマップ２６０をグラウンドトゥルース２１０ａと比較することによって更新することができる。このブランチは、ネットワーク２２０及びネットワーク２３０を用いるＬ２ＰＮと呼ばれる。Ｌ１ＰＮ及びＬ２ＰＮのトレーニングフェーズの詳細は以下で説明される。
【００４５】
トレーニングフェーズでは、元のトレーニング画像を用いて、既定の損失関数に基づいてＬ１ＰＮ及びＬ２ＰＮの双方がトレーニングされる。その間、トレーニング画像は、タイプコントローラ（ＴＣ：type controller）２９５によって、ＡＮからの生成された画像とランダムに置き換えられる。ＴＣは、生成された画像が癌領域（複数の場合もある）を含むか否かを判断するのに用いられるスカラーである。この場合、ＴＣは０又は１のいずれかである。ＴＣ＝１は、生成された画像が癌領域を含むに違いないことを意味する。ＡＮのトレーニングフェーズは後に説明される。このステップは、トレーニングサンプルの多様性を増大するのに用いられ、小規模なトレーニングセットについて効果的なモデルをトレーニングすることも重要である。その後、特徴抽出器２２０及び予測ネット２４０はトレーニングされる。特徴抽出器ネットワーク及び予測ネットワークにおける最適な重みは、トレーニング処理後に保存される。その後、予測ネットワークにおける全ての重み、及び、特徴抽出器ネットワーク２２０における畳み込み（Ｃｏｎｖ．）１〜Ｃｏｎｖ．５の重みが固定される。その間、セグメンテーションネットワーク２３０における重み及び特徴抽出器ネットワーク２２０におけるＣｏｎｖ．６の重みが、Ｌ２ＰＮにおいて用いられる損失関数によって学習される。最後に、学習された全ての重みはモデルファイルとして保存される。いずれの試験タスクにおいても、システムは、モデルファイルをプリロードして全ての最適な重みを特徴抽出器ネットワーク、セグメンテーションネットワーク、及び予測ネットワークにリストアし、Ｍ−ＮＢＩ画像をＡＩ．ＳＫＯＰＹシステム１２０に供給して、それぞれＬ１結果及びＬ２結果を取得する。
【００４６】
Ｌ１ＰＮのトレーニングフェーズ
Ｌ１ＰＮの損失関数は、任意のラベルごとの損失関数として定義することができる。或る特定の実施形態では、以下のように、交差エントロピーが用いられる。
【数２】
2021513435.tif 000004
上記式において、ｐｉは予測されたラベルであり、ｑｉはＬ１グラウンドトゥルースである（１は癌画像を示し、０は非癌画像を示す）。Ｌ１出力及びそのグラウンドトゥルースはスカラー値であることに留意されたい。このように、損失関数は、予測された結果とそのグラウンドトゥルース（正解）との間の相違を評価するのに用いられ、これは、勾配情報を推論するのに用いることができる。損失関数によって得られる勾配は、特徴抽出器ネットワーク２２０及び予測ネットワーク２４０（図２）における重みを更新するのに用いることができる。更新方法は、標準的な確率勾配降下法（ＳＧＤ：stochastic gradient descent）［Ｒｅｆ４：Kingma, D. P., & Ba, J. L. (2015), Adam: A Method for Stochastic Optimization, International Conference on Learning Representations, 1-13］に基づいている。
【００４７】
Ｌ２ＰＮのトレーニングフェーズ
Ｌ２ＰＮの損失関数は、任意の再構築損失関数として定義することができる。或る特定の実施形態では、以下のように、Ｌ２ノルム距離が、予測されたセグメンテーションマップとそのＬ２グラウンドトゥルースとの間の距離を測定するのに用いられる。
【数３】
2021513435.tif 000005
予測された結果及びそのグラウンドトゥルースは画像タイプであることに留意されたい。Ｌ２ＰＮでも同様に、損失関数２７０（図２）が、標準的なＳＧＤ［Ｒｅｆ４］によって特徴抽出ネットワーク及びセグメンテーションネットワークの重みを更新するのに用いられる。最後に、図２のブロック２２０、２３０及び２４０における重みは、上記の２つの損失関数によって更新することができる。
【００４８】
加えて、効果的なディープラーニングニューラルネットワーク、すなわち、複数のレベルを有するニューラルネットワークは、特に、トレーニング画像の数が相対的に少ないＬ２ＰＮでは、小規模なデータセットを用いてトレーニングすることが困難である可能性がある。したがって、以下のように、この欠点を克服するために、特有のデータ拡張方法が設計及び開発された。
【００４９】
Ｌ２ＰＮのトレーニングフェーズのコンテンツ認識型データ拡張
図４に記載しているように、コンテンツ認識型データ拡張（ＣＤＡ：Content-aware Data Augmentation）方法４００では、任意のトレーニング画像４１０を幾つかのステップによって処理することができる。最初に、標準的なデータ拡張４３０が、上下反転、左右反転、及び９０度回転、１８０度回転、及び２７０度回転を含む、２２４×２２４としてサイズ決めされたトレーニング画像４１０に対して実行される。これによって、元の画像を含む６つの可能な画像が得られる。次に、２０４８×２０４８の解像度を有する誘導セグメンテーションマップ４２０が作成される。ランダムなクロッピング操作４５０が、この誘導セグメンテーションマップ４２０に対して用いられ、２２４×２２４としてサイズ決めされたサブマップ４７０が得られる。次に、画像４７０及び画像４４０が乗算され（４６０）、処理されたトレーニング画像４８０が得られる。このように、各トレーニング画像は、誘導セグメンテーションマップ４２０に従って幾つかの部分にランダムに破損され、トレーニングセットのサイズを拡大する。幾つかの実施形態では、誘導セグメンテーションマップは、任意に変更することができる。
【００５０】
ＡＮのトレーニングフェーズ
敵対的生成ネットワーク（ＧＡＮ）の基本的な考えは、ミニマックス最適化である［Ｒｅｆ３：Goodfellow, Ian他著「Generative adversarial nets」（Advances in neural information processing systems, 2014）］。図５に示す例では、生成器５３０及び５６０は、入力から、弁別器５４０及び５７０を欺くことができる画像を合成することを目的とする。弁別器の主なタスクは、入力画像が合成されているか否かを調べることである。生成器が勝者である場合には、生成された画像をリアリズム画像とみなすことができる。生成器５６０及び弁別器５７０のネットワークアーキテクチャは、図６に生成器６１０及び弁別器６２０として示されている。従来のＧＡＮは、ランダムノイズから任意のリアリズム画像をランダムに生成するのに用いられる［Ｒｅｆ．３］。本開発技術では、癌領域（複数の場合もある）を有する又は有しない合成画像を制御する必要がある。しかしながら、従来のＧＡＮは、合成画像のタイプを指定することができないので、このタスクに用いることができない。本開発技術の新たなＡＮは、図５に示すように、この問題点を解決するのに用いることができる。
【００５１】
図５に示すＡＮには、指定された画像合成タスク用の３つのＧＡＮ（敵対的生成ネットワーク）がある。第１のＧＡＮ及び第２のＧＡＮは、癌画像ブロック又は正常画像ブロックを生成するのに用いられる。この目的のために、トレーニング画像は、癌画像ブロック及び正常画像ブロックにそれぞれ分割される。次に、癌画像ブロック５２０ａを用いて、第１のＧＡＮ（癌ＧＡＮ（ＣＧＡＮ）５３０−ｂｌａｃｋ及び５５０−ｂｌａｃｋと呼ばれる）がトレーニングされ、第１のＧＡＮのパラメータが、以下の標準的なＧＡＮ損失関数によって更新される。
【数４】
2021513435.tif 000006
上記式において、Ｄ１（５５０−ｂｌａｃｋ）は弁別器であり、Ｇ１（５３０−ｂｌａｃｋ）は生成器である。
【００５２】
同様に、正常画像ブロックのＧＡＮモデル（正常ＧＡＮ（ＮＧＡＮ）と呼ばれる）を以下のように同じ方法でトレーニングすることができる。
【数５】
2021513435.tif 000007
上記式において、Ｄ２（５５０−ｂｒｏｗｎ）は弁別器であり、Ｇ２（５３０−ｂｒｏｗｎ）は生成器である。ＮＧＡＮ及びＣＧＡＮにおける構成要素は互いに同じものとすることができることに留意されたい。
【００５３】
ＣＧＡＮ及びＮＧＡＮのモデルがトレーニングされると、生成器ネットワーク５６０は、ランダムに生成されたセグメンテーションマップ５９４に従って、癌画像ブロック及び正常画像ブロックを融合するように適合されている。コントローラファクタ５９６は０又は１にいずれかである。コントローラファクタは、次のように用いることができる。コントローラファクタが１であるとき、癌領域は、セグメンテーションマップにおいて任意の形状及びサイズによってランダムに生成される。コントローラファクタが０であるとき、セグメンテーションマップ５９４は空白画像（すなわち、無癌領域）となる。生成器による合成画像は、弁別器ネットワーク５７０に送信され、この画像が真であるか又は偽であるかが調べられる。弁別器ネットワーク５７０が合成画像を真であるとみなすと、トレーニングプロセスを終了することができる。最後に、最終ＧＡＮ（５６０及び５７０）を以下の式によって更新することができる。
【数６】
2021513435.tif 000008
上記式において、Ｄ３（５７０）は弁別器であり、Ｇ３（５６０）は生成器である。或る特定の実施形態では、このＧＡＮにおける構成要素は、ＮＧＡＮ及びＣＧＡＮと同様に同じものとすることができる。
【００５４】
試験フェーズ
図７に示すように、Ｌ１ＰＮ７５０及びＬ２ＰＮ７６０の試験フェーズ構成７００は、画像７１０、特徴抽出器７２０、セグメンテーション層７３０、及び予測層７４０を備えることができる。Ｍ−ＮＢＩ画像のＬ１予測結果及びＬ２予測結果は、Ｌ１ＰＮ及びＬ２ＰＮに画像を通過させることによって取得することができる。
【００５５】
実験
第１の実験セットには、Ａ（１３０個の画像）、Ｂ（３４３個の画像）及びＣ（ビデオ、３０００個のフレーム）の全部で３つのデータセットがある。Ｔ１：データセットＡ及びＢからの７０個の癌画像及び６０個の正常画像と、Ｔ２：３つのデータセットからの３０個の癌画像及び３０個の正常画像との２つの試験セットがある。結果を表Ｉに列挙する。Ｎｖｉｄｉａ  ＧＰＵ  Ｔｉｔａｎ  Ｘを備えるパーソナルコンピュータでは、画像のランタイムは１０ｍｓであり、フレームレートはほぼ７０フレーム毎秒（ＦＰＳ）である。表ＩはＬ１性能結果を示し、表ＩＩはＬ２性能結果を示す。
【００５６】
【表１】
2021513435.tif 000009
【００５７】
【表２】
2021513435.tif 000010
【００５８】
第２の実験セットには、Ａ（１３０個の画像）、Ｂ（３４３個の画像）及びＣ（ビデオフレーム、５５６５個の画像）のＬ１試験用の３つのデータセットがある。試験セットは、３０個の正の画像及び３０個の負の画像を含む。表ＩＩＩはＬ１性能結果を示している。Ｌ２試験の場合、Ａ（１３０個の画像）及びＢ（３４３個の画像）の２つのデータセットがある。試験セットは、３０個の正の画像及び３０個の負の画像を含む。表ＩＶはＬ２性能結果を示している。
Ｌ１出力−改善された結果
・３つのデータセット：ビデオフレーム（５５６５個の画像）、セット２（３４３個の画像）、セット１（１３０個の画像）
・トレーニングセット：５９７８個の画像
・試験セット：３０個の正の画像、３０個の負の画像
【００５９】
【表３】
2021513435.tif 000011
ピクセルごとの正解率によるＬ２出力−改善結果
・２つのデータセット：セット２（３４３個の画像）、セット１（１３０個の画像）
・トレーニングセット：４７３個の画像
・試験セット：３０個の正の画像、３０個の負の画像
【００６０】
【表４】
2021513435.tif 000012
【００６１】
病院における近年の実験セットでは、試験される１つの構成は、１６ＧＢ  ＤＤＲ４  ＲＡＭと、ＧＴＸ１０８０Ｔｉ  １１ＧＢグラフィックスカードと、４８０ＧＢ  ＳＳＤとともにＩｎｔｅｌ  ｉ７−７７００プロセッサを有するＰＣを備える。或る特定の実施形態では、ＨＤＭＩ／ＶＧＡ変換器を用いて、６４０×４８０のシステム解像度を提供した。変更されたＡｌｅｘＮｅｔ（６つの畳み込み層のみ）及びＦＣＮ特徴量に基づく第１バージョンアルゴリズムをこの構成に用いて平均（ＦＰＳ）＝１２．２５を達成した。
【００６２】
別の構成は、Ｎｖｉｄｉａ  Ｊｅｔｓｏｎ  ＴＸ２モジュールを利用した。このモジュールは、ＣＰＵ複合体としてのデュアルコアＮｖｉｄｉａ  Ｄｅｎｖｅｒ２及びクアッドコアＡＲＭ  Ｃｏｒｔｅｘ−Ａ５７と、２５６コアＰａｓｃａｌ  ＧＰＵと、８ＧＢ  ＬＰＤＤＲ４と、３２ＧＢ  ｅＭＭＣとを備える。Ｊｅｔｓｏｎ  ＴＸ２は、高速で最も電力効率の良い組み込みＡＩコンピューティングデバイスである。変更されたＡｌｅｘＮｅｔ（６つの畳み込み層のみ）及びＦＣＮ特徴量に基づく第２バージョンアルゴリズムをこの構成に用いて平均（ＦＰＳ）＝１０．１５を達成した。この第２バージョンアルゴリズムは、実行複雑度を低減するためにパイソンコード最適化が行われていた点で第１のバージョンと異なっていた。同じＮｖｉｄｉａ  Ｊｅｔｓｏｎ  ＴＸ２モジュールを利用した第３バージョンアルゴリズムは、６つの密ブロックのスタック、ＦＣＮ特徴及びコンテンツ認識型データ拡張に基づいている。この構成の平均ＦＰＳは８．１である。
【００６３】
代替の実施形態
上記で説明した実施形態の代替形態を次に説明する。或る特定の実施形態では、ＧＡＮは、画像を合成するのに用いることができる任意のＣＮＮに置き換えることができる。或る特定の実施形態では、弁別トレーニングサンプルを生成することができる任意のフレームワークを、前述した実施形態と同様のフレームワークとして扱うことができる。
【００６４】
結論
当業者には、情報及び信号を、様々な異なる技術及び技法のうちの任意のものを用いて表すことができることが分かる。例えば、上記説明全体を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁場若しくは磁性粒子、光場若しくは光学粒子、又はそれらの任意の組み合わせによって表すことができる。
【００６５】
当業者には、本明細書に開示された例に関して説明された様々な例示の論理ブロック、モジュール、回路、方法及びアルゴリズムを、電子ハードウェア、コンピュータソフトウェア、又は双方の組み合わせとして実施することができることが更に理解される。ハードウェア及びソフトウェアのこの互換性を明確に示すために、様々な例示の構成要素、ブロック、モジュール、回路、方法及びアルゴリズムが、上記において、それらの機能の点から一般的に説明されている。そのような機能がハードウェアとして実施されるのか又はソフトウェアとして実施されるのかは、特定の用途と、全体的なシステムに課される設計制約とに依存する。当業者は、説明された機能を特定の用途ごとに異なる方法で実施することができるが、そのような実施の決定は、本発明の範囲から逸脱するものと解釈されるべきではない。
【００６６】
本明細書に開示された例に関して説明された様々な例示の論理ブロック、モジュール、及び回路は、本明細書に説明された機能を実行するように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブルロジックデバイス、離散ゲート若しくはトランジスタロジック、離散ハードウェア構成要素、又はそれらの任意の組み合わせを用いて実施又は実行することができる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替形態では、このプロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械とすることができる。プロセッサは、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰ及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰコアを伴った１つ以上のマイクロプロセッサの組み合わせ、又は他の任意のそのような構成として実施することもできる。
【００６７】
本明細書に開示された例に関して説明された方法又はアルゴリズムは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、又はそれらの２つの組み合わせにおいて直接具現化することができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、又は現在知られているか若しくは今後利用可能になる他の任意の適した形態のデータ記憶媒体に存在することができる。記憶媒体は、プロセッサが記憶媒体からの情報の読み出し及び記憶媒体への情報の書き込みを行うことができるようにプロセッサに接続することができる。代替形態では、記憶媒体はプロセッサと一体化することができる。プロセッサ及び記憶媒体はＡＳＩＣに存在することができる。
【００６８】
実施形態に応じて、本明細書に説明された方法のうちの任意のものの或る特定の動作、イベント、又は機能は、異なる順序で実行することができ、追加、結合、又は完全に省略することができる（例えば、説明された全ての動作又はイベントが方法の実施に必要であるとは限らない）。その上、或る特定の実施形態では、動作又はイベントは、連続的ではなく同時に実行することができる。
【００６９】
開示された例の上記説明は、当業者が本発明を行い又は用いることを可能にするために提供される。これらの例に対する様々な変更は、当業者に容易に明らかであり、本明細書に定義された一般原理は、本発明の趣旨又は範囲から逸脱することなく、他の例に適用することができる。認識されるように、幾つかの特徴は、他の特徴とは別個に使用又は実施することができるので、本明細書に説明された本発明の或る特定の実施形態は、本明細書に述べた特徴及び利点の全てを提供するとは限らない形で具現化することができる。本明細書に開示された或る特定の発明の範囲は、上記説明ではなく添付の特許請求の範囲によって示される。特許請求の範囲と均等なものの意味及び範囲に含まれる全ての変更は、それらの範囲内に包含される。したがって、本発明は、本明細書に示された例に限定されるように意図されているのではなく、本明細書に開示された原理及び新規な特徴と一致した最も広い範囲を与えられる。
【００７０】
本発明及び従来技術を上回って達成される利点を要約する目的で、本発明の或る特定の目的及び利点が本明細書において上記で説明された。もちろん、必ずしも全てのそのような目的又は利点を本発明のいずれの特定の実施形態によっても達成され得るとは限らないことが理解されるであろう。したがって、例えば、当業者は、本明細書に教示又は示唆され得る他の目的又は利点を必ずしも達成しないが、本明細書に教示又は示唆された１つの利点又は一群の利点を達成又は最大限に活かすように本発明を具現化又は実施することができることを認識する。
【００７１】
これらの実施形態の全ては、本明細書に開示されている本発明の範囲内にあることが意図されている。これらの実施形態及び他の実施形態は、添付図の参照を伴う好ましい実施形態の詳細な説明から当業者に容易に明らかになるが、本発明は、開示されているいずれの特定の好ましい実施形態（複数の場合もある）にも限定されるものではない。
【図１】
2021513435.tif 000013
【図２】
2021513435.tif 000014
【図３】
2021513435.tif 000015
【図４】
2021513435.tif 000016
【図５】
2021513435.tif 000017
【図６】
2021513435.tif 000018
【図７】
2021513435.tif 000019
【図８】
2021513435.tif 000020
【図９】
2021513435.tif 000021
【図１０】
2021513435.tif 000022
【図１１】
2021513435.tif 000023
【図１２】
2021513435.tif 000024
【国際調査報告】
2021513435.tif 000025