(57)【要約】  病理画像の分類を行うシステムおよび方法。画像が受信されて正規化されて、正規化された画像が複数の領域に分割される。この複数の領域に対して、ニューラルネットワークを有する少なくとも１つの分類器により、疾患ベクトルが自動で判定される。判定された疾患ベクトルに基づいて、複数の領域それぞれが自動でアノテーションされる。受信された画像は、アノテーションに少なくとも基づいて、自動で評価される。ニューラルネットワークは、少なくとも１つの客観的分類基準に応じた、画像の各領域に対する専門家によるアノテーションに少なくとも基づいて訓練される。画像は眼画像、血管画像、または眼底画像であり得る。例えば疾患とは、血管疾患、血管障害、または糖尿病網膜症であり得る。【選択図】図１
2020518915.tif 000002
【特許請求の範囲】
【請求項１】
眼画像を分類する方法であって、
眼画像を受信することと、
前記眼画像を正規化することと、
前記正規化眼画像を複数の領域に分割することと、
ニューラルネットワークを有する少なくとも１つの分類器により、前記複数の領域について自動で眼病ベクトルを判定することと、
前記判定された眼病ベクトルに基づいて、自動で前記複数の領域それぞれをアノテーションすることと、
少なくとも前記アノテーションに基づいて、少なくとも２つのレベルに対して、前記受信した眼画像を自動で評価することと、を含み
前記ニューラルネットワークは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が眼画像の各領域につけたアノテーションに基づいて訓練される、方法。
【請求項２】
前記ニューラルネットワークは、複数の隠れ層を含む、請求項１に記載の方法。
【請求項３】
前記ニューラルネットワークは、ディープニューラルネットワークを有する、請求項２に記載の方法。
【請求項４】
前記ニューラルネットワークは、畳み込みニューラルネットワークを有する、請求項１に記載の方法。
【請求項５】
前記ニューラルネットワークは再帰型ニューラルネットワークを含み、
前記血管画像とは異なるタイミングで第２の血管画像を受信することと、
少なくとも前記眼画像の経時変化に応じた情報を出力することと、をさらに含む、請求項１に記載の方法。
【請求項６】
網膜画像の各領域の品質について、少なくとも専門家によるアノテーションを受信することをさらに含む、請求項１に記載の方法。
【請求項７】
前記少なくとも１つの分類器は、多クラスサポートベクターマシン分類器を含む、請求項１に記載の方法。
【請求項８】
前記少なくとも１つの分類器は、勾配ブースティング分類器を含む、請求項１に記載の方法。
【請求項９】
前記少なくとも１つの分類器は、複数の各領域の前記眼病ベクトルに基づいて、各領域を分類する、請求項１に記載の方法。
【請求項１０】
前記少なくとも１つの分類器は、複数の連続した領域の前記眼病ベクトルに基づいて、各領域を分類する、請求項１に記載の方法。
【請求項１１】
前記少なくとも１つの分類器は、糖尿病網膜症の兆候を持つ領域を判定する分類器を含む、請求項１に記載の方法。
【請求項１２】
前記評価することは、糖尿病網膜症の程度を評価することを含む、請求項１に記載の方法。
【請求項１３】
前記レベルには、当該レベルが正確である可能性を伴う、請求項１に記載の方法。
【請求項１４】
前記正確である可能性は、第一種過誤の可能性と、第二種過誤の可能性を含む、請求項１３に記載の方法。
【請求項１５】
前記眼画像の前記領域の分類を示す画像を出力することをさらに含む、請求項１に記載の方法。
【請求項１６】
前記眼画像は眼底画像を含み、前記アノテーションは少なくとも、各眼底画像の各領域内の糖尿病網膜症の兆候を含む、請求項１に記載の方法。
【請求項１７】
前記自動評価は、少なくとも３つのレベルに対して行われる、請求項１に記載の方法。
【請求項１８】
前記評価することは、少なくとも５つのレベルを含む、一般的な糖尿病網膜症評価基準に応じて、糖尿病網膜症の程度を評価することを含む、請求項１に記載の方法。
【請求項１９】
前記ニューラルネットワークは、網膜画像の各領域の品質に対する専門家によるアノテーションに少なくとも基づいてさらに訓練される、請求項１に記載の方法。
【請求項２０】
前記ニューラルネットワークは、前記網膜画像の各領域を、少なくともその品質およびレベルに応じて重みづけする、請求項１９に記載の方法。
【請求項２１】
眼画像を分類するシステムであって、
少なくとも１つの眼画像を受信するように構成された入力と、
少なくとも１つの客観的分類基準に応じて、複数の網膜画像の各領域の専門家によるアノテーションに少なくとも基づいて訓練されるニューラルネットワークを定義する情報を記憶するように構成されるメモリと、
少なくとも１つの自動プロセッサであって、
前記眼画像を正規化することと、
前記正規化眼画像を複数の領域に分割することと、
前記定義されたニューラルネットワークを有する少なくとも１つの分類器により、前記複数の領域について眼病ベクトルを判定することと、
前記判定された眼病ベクトルに基づいて、前記複数の領域それぞれをアノテーションすることと、
少なくとも前記アノテーションに基づいて、少なくとも２つのレベルに対して、前記受信した眼画像を評価することとを実行するように構成された自動プロセッサと、
前記評価を通信するように構成された出力とを備えるシステム。
【請求項２２】
前記ニューラルネットワークは、複数の隠れ層を含む、請求項２１に記載のシステム。
【請求項２３】
前記ニューラルネットワークは、ディープニューラルネットワークを有する、請求項２２に記載のシステム。
【請求項２４】
前記ニューラルネットワークは、畳み込みニューラルネットワークを有する、請求項２２に記載のシステム。
【請求項２５】
前記ニューラルネットワークは再帰型ニューラルネットワークを含み、
前記入力は前記眼画像とは異なるタイミングで第２の眼画像を受信するようにさらに構成され、
前記少なくとも１つの自動プロセッサは、少なくとも前記眼画像の経時変化を分析するように構成される、請求項２１に記載のシステム。
【請求項２６】
前記ニューラルネットワークは、網膜画像の各領域の品質について、少なくとも専門家によるアノテーションに基づいてさらに訓練される、請求項２１に記載のシステム。
【請求項２７】
前記メモリは、網膜画像の各領域の品質について、少なくとも専門家によるアノテーションをさらに記憶するように構成される、請求項２１に記載のシステム。
【請求項２８】
前記少なくとも１つの分類器は、多クラスサポートベクターマシン分類器を含む、請求項２１に記載のシステム。
【請求項２９】
前記少なくとも１つの分類器は、勾配ブースティング分類器を含む、請求項２１に記載のシステム。
【請求項３０】
前記少なくとも１つの分類器は、複数の各領域の前記眼病ベクトルに基づいて、各領域を分類する、請求項２１に記載のシステム。
【請求項３１】
前記少なくとも１つの分類器は、複数の連続した領域の前記眼病ベクトルに基づいて、各領域を分類する、請求項２１に記載のシステム。
【請求項３２】
前記少なくとも１つの分類器は、糖尿病網膜症の兆候を持つ領域を判定する分類器を含む、請求項２１に記載のシステム。
【請求項３３】
前記評価することは、糖尿病網膜症の程度を評価することを含む、請求項２１に記載のシステム。
【請求項３４】
前記レベルには、当該レベルが正確である可能性を伴う、請求項２１に記載のシステム。
【請求項３５】
前記正確である可能性は、第一種過誤の可能性と、第二種過誤の可能性を含む、請求項２１に記載のシステム。
【請求項３６】
前記出力は、前記眼画像の前記領域の分類を示す画像を出力するようにさらに構成される、請求項２１に記載のシステム。
【請求項３７】
前記眼画像は眼底画像を含み、前記アノテーションは、少なくとも、各眼底画像の各領域内の糖尿病網膜症の兆候を含む、請求項２１に記載のシステム。
【請求項３８】
前記眼画像は血管画像を含む、請求項２１に記載のシステム。
【請求項３９】
前記眼病は血管障害を含む、請求項３８に記載のシステム。
【請求項４０】
前記受信した画像は、少なくとも前記アノテーションに基づき、少なくとも３つのレベルに対して評価される、請求項２１に記載の方法。
【請求項４１】
前記受信した眼画像に対して、少なくとも５つのレベルを含む、一般的な糖尿病網膜症評価基準に応じて、糖尿病網膜症の程度が評価される、請求項２１に記載のシステム。
【請求項４２】
前記ニューラルネットワークは、網膜画像の各領域の品質に対して専門家によるアノテーションに少なくとも基づいてさらに訓練される、請求項２１に記載のシステム。
【請求項４３】
前記ニューラルネットワークは、前記網膜画像の各領域を、少なくともその品質およびレベルに応じて重みづけするように構成される、請求項４２に記載のシステム。
【請求項４４】
少なくとも１つの自動プロセッサを制御するための指示を記憶するコンピュータ可読媒体であって、
眼画像を受信するための指示と、
前記眼画像を正規化するための指示と、
前記正規化眼画像を複数の領域に分割するための指示と、
ニューラルネットワークを有する少なくとも１つの分類器により、前記複数の領域について眼病ベクトルを判定するための指示と、
前記判定された眼病ベクトルに基づいて、自動で前記複数の領域それぞれをアノテーションするための指示と、
少なくとも前記アノテーションに基づいて、少なくとも２つのレベルに対して、前記受信した眼画像を自動で評価するための指示と、を含み
前記ニューラルネットワークは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が眼画像の各領域につけたアノテーションに基づいて訓練される、媒体。
【請求項４５】
網膜症の存在について、網膜画像を分類する方法であって、
眼底画像を受信することと、
少なくとも三色刺激画像空間に対して眼底画像を自動で正規化することと、
前記正規化眼画像を、少なくとも１つの分割ルールに基づいて、複数の領域に自動で分割することと、
少なくとも専門家による網膜アノテーションを有する眼底画像組による訓練に基づいて訓練されたニューラルネットワークを有する少なくとも１つの分類器により、前記複数の領域について網膜症ベクトルを自動で判定することと、
前記判定した眼病ベクトルに基づいて、自動で前記複数の領域それぞれにアノテーションを行うことと、
少なくとも前記アノテーションに基づいて、少なくとも２つの網膜症レベルに対して、前記受信した眼画像の網膜症の程度を自動で評価することと、
前記自動で判定した網膜症の程度を出力することと、を含む方法。
【請求項４６】
病理学画像を分類する方法であって、
画像を受信することと、
前記画像を正規化することと、
前記正規化画像を複数の領域に分割することと、
ニューラルネットワークを有する少なくとも１つの分類器により、前記複数の領域について自動で疾患ベクトルを判定することと、
前記判定された疾患ベクトルに基づいて、自動で前記複数の領域それぞれをアノテーションすることと、
少なくとも前記アノテーションに基づいて、前記受信した画像を自動で評価することと、を含み
前記ニューラルネットワークは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が画像の各領域につけたアノテーションに基づいて訓練される、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワーク（「ＮＮ」）またはディープニューラルネットワーク（「ＤＮＮ」）を利用した自動眼底画像分析の分野に関する。
【背景技術】
【０００２】
本明細書で引用する各参照文献は、全体が参照により本明細書に組み込まれる。
【０００３】
一般的に入手可能な各種専門的カメラにより、人の網膜写真を容易に撮影可能である。英国において、すでにそのようなカメラは大多数の眼鏡技師（特に有名チェーン店に所属）の勤務先に存在し、網膜写真が基本的な目の検査の一部に利用されることも多くなっている。
【０００４】
網膜画像は、多くの眼病（いわゆる一般的な網膜症）評価に利用され得、近年のデジタルカメラの解像度向上もあって、いまや網膜の状態評価に好んで使用されるようにもなっている。画像から判定できる網膜症の種類も、出血から腫瘍までと幅広い。これら疾患の多くは失明を含む深刻な状態に繋がり得るにも関わらず、早期段階では患者が気付くような兆候が発現しないことが多い。治療成功および／または完治のためには、早期処置が重要なことが多く、より高頻度の網膜画像評価を強く後押しする公衆衛生上の根拠も数多い。
【０００５】
網膜上の少量出血（微小動脈瘤）を伴う二型糖尿病は特に関連深い疾患である。これは処置しなければ、患者が二型糖尿病と診断される前に、急速に深刻な眼病の発症につながる可能性もある。
【０００６】
糖尿病網膜症（「ＤＲ」）は、英国を含む先進国において、成人の失明の主要な原因である。したがって、英国国民保険サービスは、二型糖尿病の患者に毎年無料で網膜検査を提供している。具体的には、デジタル写真が撮影されて、評価センターに送られる。そこで、熟練の評価者（人）が画像を詳細に検査し、最速で出血の兆候を発見する。この手動の処理はコストがかかるが、現状でこの種の画像の処理に対して、より信頼性の高い手法が他にはない。長年の研究にも関わらず、訓練された人間の場合と比較して、信頼性、精度で引けを取らない自動システムが実現されていない。
【０００７】
Ｕ．Ｓ．２０１７００３９６８９は、画像からＤＲを評価する「ディープラーニング」技術を開示する。加えてＵ．Ｓ．２０１７００３９４１２、２０１５０１１０３４８、２０１５０１１０３６８、２０１５０１１０３７０、２０１５０１１０３７２、９，００８，３９１、９，００２，０８５、８，８８５，９０１、８，８７９，８１３、および２０１７００４６６１６も参照されたい。網膜眼底画像は、血管の状態の指標を示すものであって、眼病とより全般的な血管疾患の両方の診断に有用となり得る。
【０００８】
「ディープラーニング」は、複数の隠れ層を含む人工ＮＮ（「ＡＮＮ」）の進化版である。具体的には、データからの抽出および予測が向上している（参照文献２）。Ｇｒｅｅｎｓｐａｎ，Ｈａｙｉｔ，Ｂｒａｍ  ｖａｎ  Ｇｉｎｎｅｋｅｎ，ａｎｄ  Ｒｏｎａｌｄ  Ｍ．Ｓｕｍｍｅｒｓ．“Ｇｕｅｓｔ  ｅｄｉｔｏｒｉａｌ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｉｎ  ｍｅｄｉｃａｌ  ｉｍａｇｉｎｇ：Ｏｖｅｒｖｉｅｗ  ａｎｄ  ｆｕｔｕｒｅ  ｐｒｏｍｉｓｅ  ｏｆ  ａｎ  ｅｘｃｉｔｉｎｇ  ｎｅｗ  ｔｅｃｈｎｉｑｕｅ．”ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｉｎｇ  ３５．５（２０１６）：１１５３−１１５９を参照されたい。畳み込みニューラルネットワーク（「ＣＮＮ」）は、コンピュータビジョンに対して極めて有用なツールである。ディープＣＮＮは、元データ（例えば画像）からの中レベルおよび高レベル抽出物を、自動で学習するように設計可能である。ＣＮＮから抽出された一般的な記述子は、自然画像内の物体認識および位置特定に有用である。
【０００９】
機械学習には、教師あり学習と教師なし学習の２つの体系が存在する。教師あり学習の場合、訓練用データにはラベル付けがされる。即ち、正解は外から与えられ、統計的学習基準が外部に存在する。教師なし学習の場合、訓練用データがグラウンドトゥルース（正確さや整合性をチェックするためのデータ）を参照することなく分析される。したがって、内部に基準がある。半教師あり学習には、これら両体系の要素が盛り込まれている。即ち、訓練用データセットの全てのサンプル（またはサンプルの属性）がラベル付けされるわけではない。
【００１０】
医療用撮像では、疾患の正確な診断および／または評価が、撮像技術および画像判断に依存する。撮像技術は近年飛躍的に向上し、装置がデータを高速かつ高解像度で取得可能となっている。したがって、本技術は画像判断処理についてのソリューションを提供する。医療用画像は多くの場合、医師により判断される。しかし、人間の画像判断は客観性、人によって見方が大幅に異なること、そして疲労のような要素により限界がある。
【００１１】
人間が調べた場合、人それぞれ解釈が異なるので、過誤が生じやすい。さらに、人それぞれ基準が異なる。したがって、訓練用データを得るだけでも困難が伴う。
【００１２】
多くの場合、診断は異常を検出するための初検処理と、経時的に得られた測定値と変化の数量化を伴う。
【００１３】
ＣＮＮは、医療用画像処理に利用されている。Ｓａｈｉｎｅｒら（参照文献４）を参照されたい。マンモグラムから、生検で特定された物体または通常の組織を含む関心領域が抽出される。ＣＮＮは１つの入力層と、２つの隠れ層と、１つの出力層とを含み、誤差逆伝播法で訓練される。ＣＮＮは、肺結節検出（参照文献５）と、マンモグラフィ上の微小石灰化（参照文献６）にも適用されている。
【００１４】
画像処理用の典型的なＣＮＮ構造では、一連の畳み込みフィルタ層と、一連のデータ削減またはプーリング層とが交互に配置される。畳み込みフィルタは、入力画像の小パッチに適用される。例えば、人の脳の低レベル視覚処理のように、畳み込みフィルタはより関連性の高い画像特徴を検出する。それは例えば、直線エッジを表し得る線または円（臓器検出等）、または円（結腸ポリープのような丸い物体等に対応）である。さらに、局地的または全体的形状またはテクスチャのようなより高次の特徴にも適用される。典型的なＣＮＮ出力としては、１つ以上の確率またはクラスラベルが挙げられる。訓練用データから畳み込みフィルタが学習される。これにより、特定用途向けフィルタで画像を前処理するか、計算可能な特徴を計算しない限り必要となるような、手間のかかる手作業で特徴を生成する必要性がなくなるため、好ましい。さらに、いわゆる長／短期記憶という、深層再帰型ニューラルネットワーク（「ＤＲＮＮ」）等のその他ネットワーク構造変数も存在する（参照文献７）。
【００１５】
ＣＮＮは、並列化可能なアルゴリズムであり、画像処理装置（ＧＰＵ）用コンピュータチップにより、ＣＰＵ処理単独の場合と比較して、処理速度を上げることができる（約４０倍）。参照文献８を参照されたい。医療用画像処理において、ＧＰＵは分割、再構成、レジストレーション、および機械学習に利用できる（参照文献９，１０）。
【００１６】
一から深層ＣＮＮ（「ＤＣＮＮ」）を行うこと（即ちフルトレーニング）は困難である。第１に、ＣＮＮは大量のラベル付けされた訓練用データが必要である。これは、専門家によるアノテーションが高価で、疾患（例えば病変）が数限られている医療分野では、条件として困難である。第２に、ＤＣＮＮの訓練には膨大な計算およびメモリ資源が必要となる。それらが揃わないと、訓練処理にとてつもない時間がかかってしまう。第３に、ＤＣＮＮの訓練は、過学習や、収束という問題で、複雑となることが多い。これら問題については、ネットワークの構造または学習パラメータについて、繰り返し調整を行い、全層が十分な速度で学習していることを保証する必要があることが多い。「転移学習」や「ファインチューニング」と呼ばれるいくつからの新しい学習手法はこれら問題を解決することが確認されており、普及してきている。しかし、現状では経験則に基づいて処理が調整されている。したがって、同じような目的に対して、同じようなアルゴリズムを使用しているのも関わらず、手法、形態、および結果に大きな差異が生じている。ｗｗｗ．ｋａｇｇｌｅ．ｃｏｍ／ｃ／ｄｉａｂｅｔｉｃ−ｒｅｔｉｎｏｐａｔｈｙ−ｄｅｔｅｃｔｉｏｎを参照されたい。
【００１７】
なお、ネットワークの訓練はアップデートできない。したがって、アルゴリズムまたは訓練用データに何かしら変化を加える場合は、ネットワーク全体を改めて最適化する必要がある。新たな技術によりこのような制限も緩和されてきている。参照により本明細書に組み込まれるＵ．Ｓ．Ｐａｔｅｎｔ  Ｎｏ．９，０５３，４３１を参照されたい。即ち、ネットワークは構築後に、ネットワークのノイズまたはエラーベクトル出力に応じて、補強され得る。
【００１８】
コンピュータ支援検出（ＣＡＤ）は、ディープラーニングと極めて相性が良い、一般的に利用されている医療用画像分析の一分野である。ＣＡＤの標準的な手法（参照文献１１）では、候補となる病変が、教師あり方法またはフィルタリングや数学的モルフォロジー手法のような伝統的な画像処理技術で検出される。多くの場合、候補となる病変は分割され、大量となりがちな手動による特徴で示される。そして分類器を利用して、候補が実際の病変である確率に対して、特徴ベクトルがマッピングされる。手動で得られた特徴ではなく、単純にディープラーニングを使う方法として、病変候補を中心とした画像データ領域で動作するＣＮＮを訓練することができる。各候補の分類には、異なる複数のＣＮＮの組み合わせが用いられる。
【００１９】
分類の実現のため、数多くの研究が、教師ありＣＮＮに対して注がれている。このネットワークは多くの用途（検出、分割、ラベル付け）に対して重要である。教師なし手法も研究されており、これは主に画像符号化、効率的な画像表示手法、教師あり手法にさらに供されるための前処理工程について有用性が示されている。制限付きボルツマンマシン（ＲＢＭ）のような教師なし表示学習方法は、訓練用データから直接特徴記述を学習できるという点で、基本的なフィルタバンクの性能を凌駕し得る。ＲＢＭは、生成型学習目標で訓練される。これにより、ネットワークはラベル無しデータから標示を学習可能である。しかし、分類について最適な特徴が生成されるとは限らない。Ｖａｎ  Ｔｕｌｄｅｒら（参照文献１８）は、畳み込み分類用制限付きボルツマンマシンにおいて、生成型と識別型の学習目標の両方の利点を組み合わせるための研究を行った。この制限付きボルツマンマシンは、訓練用データの記述と、分類の両方に好ましいフィルタを学習する。これにより、学習目標を組み合わせることで、識別型、または生成型単独の構成を上回る性能が実現できることが示された。
【００２０】
ＣＮＮは、データに基づく、表現性が高い、階層状画像特徴の学習を可能とする。本稿に記載のように、このような特徴は、数多くの適用分野において極めて強力かつロバストであることが示された。このように表現豊かで、適切な分類を実現するためには、十分な訓練用データが必要となる。
【００２１】
十分なデータが得られない場合にも、以下の手法をとることができる。
【００２２】
転移学習：自然画像データセットまたは異なる医療分野により、事前に（教師あり）訓練されたＣＮＮモデルを、対象の新たな医学的課題に利用する。一手法において、事前訓練されたＣＮＮを入力画像に適用し、ネットワークの層から出力を抽出する。抽出された出力は、特徴として考慮され、別のパターン分類器の訓練に利用される。例えば、Ｂａｒら（参照文献２５，２６）において、事前訓練されたＣＮＮは、胸部病理の識別のための特徴生成に利用される。Ｇｉｎｎｅｋｅｎら（参照文献２７）においては、ＣＮＮに基づく特徴と、手動で得られた特徴を統合することで、結節検出システムの性能向上が可能となっている。
【００２３】
ファインチューニング：対象の課題に対して、中程度の大きさのデータセットが存在しない場合、以下の手順等が推奨される。即ち、事前訓練されたＣＮＮをネットワークの初期化に利用し、その後、対象の課題に対して新たなデータを使用して、一部（または全部）のネットワーク層に対する教師あり訓練がさらに実行される。転移学習とファインチューニングは、医療用撮像用途におけるＤＣＮＮの利用において、極めて重要な要素となる。
【００２４】
Ｓｈｉｎら（参照文献１７）およびＴａｊｂａｋｈｓｈら（参照文献２８）は、ファインチューニングで事前訓練されたＣＮＮを利用することで、最上の結果が得られることを示した。さらに、ディープファインチューニングの方が、シャロウファインチューニングよりも高性能を実現し、特定の用途領域にかかわらず、学習組が小さいほど（Ｔａｊｂａｋｈｓｈら）、そしてあらゆるネットワーク構造において（Ｓｈｉｎら（参照文献１７））ファインチューニングの重要性が高いことを示した。ＧｏｏｇＬｅＮｅｔ構造により、その他様々なより浅い構造と比較して、最先端を誇る縦隔リンパ節検出手法が実現された。Ｓｈｉｎらを参照されたい。
【００２５】
グラウンドトゥルースデータは一般公開されていないため、各医療課題について収集するにはコスト面でも時間の面でも困難である。これにより、医療分野での適用が極めて困難となっている。クラウドソーシングにより、現実世界の画像に対する大規模データベースのアノテーションが可能となった。しかし、それを生物医学に活用するには、実際のアノテーション処理に対するより深い知識、即ち正確な定義が必要となる（Ｎｇｕｙｅｎら（参照文献２９）、ＭｃＫｅｎｎａら（参照文献３０））。実際、専門家が行うような課題が、非専門家に外注されていることで、ユーザ間の不一致を生じる高ノイズのアノテーションに帰結してしまい得る。同様に、調整していない臨床結果データまたはユーザデータに基づくフィードバックを行うと、標準化、調整の欠如により問題のある結果となり得る。医療専門家と、非専門家とで知識を擦り合わせることは、多くの困難が伴う。即ち、情報源を如何に組み合わせるか、事前に確認された精度に応じて重みづけされた入力をどのように評価、反映するか等である。Ａｌｂａｒｑｏｕｎｉら（参照文献３１）は、ＣＮＮに組み込まれるアグリゲーション層を組み合わせたネットワークを提案した。これにより、クラウドからの学習入力が、ネットワーク学習プロセスの一部として利用可能となる。この結果、クラウドアノテーションからのＤＣＮＮ学習の機能について貴重な見識が得られた。医療分野におけるクラウドソーシングについての研究では、経験のない非専門家ユーザ群でも、医療専門家に引けを取らないという事実が示された。これは、Ｎｇｕｙｅｎら（参照文献２９）およびＭｃＫｅｎｎａら（参照文献３０）により、放射線画像について観察されたもので、専門家の技量、知識、洞察力が結果に反映、関連しないことを示唆し得る。
【００２６】
Ｋａｌｌｅｎｂｅｒｇら（参照文献３２）には、マンモグラフィリスクスコアリングに対する、教師なし特徴学習が記載されている。この研究では、ラベル無しデータから、特徴階層を学習する方法が示されている。学習された特徴は、単純な分類器に入力され、２つの異なる課題、即ちｉ）乳房密度分割と、ｉｉ）マンモグラフィテクスチャのスコアリングに対する最先端の結果が得られる。モデル容量制御のため、疎性正規化器が導入される。これは、寿命および人口疎性の両方が組み込まれる。教師なし部分の畳み込み層は、オートエンコーダとして訓練される。教師あり部分では、（事前訓練された）重みとバイアス項が、ソフトマックス回帰により、ファインチューニングされる。
【００２７】
Ｙａｎら（参照文献３３）では、画像分類用の多段ディープラーニングフレームワークが設計され、体の部位認識に適用される。事前訓練段階において、ＣＮＮはマルチインスタンス学習により訓練され、最も特徴的で、情報性の低いパッチがトレーニングスライスから抽出される。ブースティング段階では、事前訓練されたＣＮＮがこれら局地的なパッチにより、画像分類用にさらにブーストされる。この方法で特筆すべきは、マルチインスタンスディープラーニングにより訓練され、最も特徴的で、情報性の低いパッチが自動で発見されたことである。したがって、手動のアノテーションは不要であった。
【００２８】
回帰的ネットワークは、医療用撮像分野ではあまり一般的ではない。Ｍｉａｏら（参照文献３４）では、リアルタイム二次元／三次元レジストレーション用のＣＮＮ回帰的手法が提示されている。元となるマッピングの回帰を簡潔化し、高強度の非線形モデリングでＣＮＮ回帰モデルを設計するため、３つのアルゴリズム式手法が提案されている。その結果により、識別ローカル（ＤＬ）手法が、その他２つの最先端加速強度式二次元／三次元レジストレーション方法よりも正確でロバストであることが確認されている。
【００２９】
Ｇｏｌｋｏｖら（参照文献３５）は、拡散ＭＲＩデータ処理を、単一の最適化された工程に削減するためにＤＬを適用した、初期概念実証を提示している。このような変形により、高度なモデルからのスカラー尺度を、１２分の１の走査時間で得られ、拡散モデルを利用しなくても異常が検出できることが実証された。拡散重みづけ信号と、微細構造組織の特性との間に有意な関係性が確認されている。Ｇｏｌｋｏｖら（参照文献３５）は、そのような関係性が、ＤＮＮを使用することで実際に確認され得ることを実証した。ここで、モデルフィッティングで得られたスカラー尺度ではなくＤＷＩが入力として直接使用されている。この研究では、健常組織とＭＳ病変に対する、ボクセル探知の微細構造予測と、ＤＷＩ値による、自動モデル不要の分割が示されている。拡散尖度は、１２個のデータ点のみから測定され、神経突起方向分散および密度は、８個のデータ点のみから測定されている。これにより、迅速かつロバストな手順が実現され得る。これは、よりよい臨床ルーチンに寄与する。即ち、伝統的なデータ処理が、ディープラーニングで合理化できることが示される。
【００３０】
Ｋａｇｇｌｅ（ｗｗｗ．ｋａｇｇｌｅ．ｏｒｇ）は、眼底カラー画像からのＤＲ検出および診断のコンペを開催した。結果、約８万枚の画像が利用可能となっている（ｗｗｗ．ｋａｇｇｌｅ．ｃｏｍ／ｃ／ｄｉａｂｅｔｉｃ−ｒｅｔｉｎｏｐａｔｈｙ−ｄｅｔｅｃｔｉｏｎ）。多くの場合ＮＮが利用されていた。
【００３１】
Ｕ．Ｓ．２０１４／０３１４２８８は３段階システムを開示する。このシステムは、輝度と視界の異なる眼底画像を分析し、ＤＲの深刻度を生成する。画像の事前処理として、ヒストグラム平坦化、コントラスト強調、およびダイナミックレンジ正規化が挙げられる。第１段階として、グローバルフィルタおよび閾値技術の各種組み合わせにより、眼底画像から明るい、赤い領域が抽出される。視神経乳頭（ＯＤ）は、明るい病変に対応する構造的外観を持つ。そして、血管領域は、赤い病変に対応する画素強度特性を有する。したがって、既存の視神経乳頭検出アルゴリズムにより、視神経乳頭に対応する領域が明るい領域から除去される。さらに、単純な検出技術により、血管に対応する領域が、赤い領域から除去される。これにより、明るい候補領域を含む画像と、赤い候補領域を含む更なる画像が得られる。面積、周囲長、硬度、最小、最大、平均、標準偏差等の領域に基づく特徴が計算される。Ａｄａｂｏｏｓｔ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＡｄａＢｏｏｓｔ）により、使用される計３０個の特徴が選択される。第２段階において、明るいおよび赤い候補領域が、２工程階層分類にかけられる。第１工程において、特徴に基づいて、明るいおよび赤い候補領域が非病変領域から分離される。第２工程では、分類された明るい候補領域が、さらに硬性白斑または綿花状白斑に分類される。そして分類された赤い病変領域が、さらに出血および微小動脈瘤に分類される。分類器として、ＧＭＭ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｍｉｘｔｕｒｅ＿ｍｏｄｅｌ＃Ｇａｕｓｓｉａｎ＿ｍｉｘｔｕｒｅ＿ｍｏｄｅｌ）、ｋＮＮ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｋ−ｎｅａｒｅｓｔ＿ｎｅｉｇｈｂｏｒｓ＿ａｌｇｏｒｉｔｈｍ）、ＳＶＭ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｕｐｐｏｒｔ＿ｖｅｃｔｏｒ＿ｍａｃｈｉｎｅ，ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｕｐｅｒｖｉｓｅｄ＿ｌｅａｒｎｉｎｇ）等が利用され得る。第３段階として、画像ごとの明るいおよび赤い病変の数の合計により、ＤＲの深刻度レベルが生成される。このようなシステムは、手動での評価を要する患者数を低減し、最もＤＲが深刻な患者に優先して、眼科的処置が行われることを目的としている。
【００３２】
Ｕ．Ｓ．８，０９８，９０７は、微小動脈瘤（ＭＡ）の自動検出を開示する。これは、血管、視神経乳頭および硬性白斑（ＨＥ）の位置のような情報をさらに考慮したものとなっている。この方法は、（ｉ）画像を固定サイズのサブ領域に分割し、領域強調／正規化および適応分析を行うことと、（ｉｉ）血管、視神経乳頭および硬性白斑（ＨＥ）検出と、（ｉｉｉ）これら（ｉ）および（ｉｉ）の結果の組み合わせにより実行される。ＭＡ検出は、トップハットフィルタリングと、局地適応的閾値処理に基づく。
【００３３】
Ｕ．Ｓ．２０１５／０１０４０８７は、自動でどちら側の眼底画像か検出すること、即ち、左目、右目か、そしてその視界の検出、さらに品質評価を開示する。この技術は、視神経乳頭および網膜黄斑の位置や、網膜血管構造の対称性の有無のような生理学的特徴を利用する。視界やどちら側かを検出することは、多チャンネルまたは単一チャンネルで実現される。このアルゴリズムは、視神経乳頭テンプレートを利用した、正規化二次元断面相関により、視神経乳頭を検出するものである。高解像度画像に対しては、血管構造密度により、どちら側か、そして視界が判断される。各画像の品質は、画像内の血管対称性を分析することで評価される。これは、二値分割画像を血管に対して取得して、特徴を抽出し、分類アルゴリズムを適用することで実現される。品質は１から５のレベルで評価される。血管の二値化については、ウェーブレットとエッジ位置特定が提案される。その後、モルフォロジー演算が実行される。特徴検出のため、画像は２０個の矩形ウィンドウに分割され、ウィンドウ内の非ゼロ画素の数として、局地的血管密度（ＬＶＤ）が計算される。２０個のＬＶＤが、全体的血管密度（ＧＶＤ）で正規化される。ＧＶＤは、レベル５の分割二値画像の非ゼロ画素の数として計算される。そして、画像のＬＶＤおよびＧＶＤにより特徴ベクトルが形成される。分類に対してはＳＶＭが提案される。画像レジストレーションおよび上記と同様の技術により、つなぎ合わされた重複画像の品質レベルを評価できる。
【００３４】
Ｕ．Ｓ．８，８７９，８１３、Ｕ．Ｓ．８，８８５，９０１、Ｕ．Ｓ．９，００２，０８５、Ｕ．Ｓ．９，００８，３９１、Ｕ．Ｓ．２０１５／０１１０３４８、Ｕ．Ｓ．２０１５／０１１０３６８、Ｕ．Ｓ．２０１５／０１１０３７０、Ｕ．Ｓ．２０１５／０１１０３７２、Ｕ．Ｓ．２０１７／００３９４１２、およびＵ．Ｓ．２０１７／００３９６８９は、診断システムの様々な態様を開示する。網膜画像は、中央値正規化により強調されてもよい。これより、画像が各画素位置にて、局地背景推定により局地的に強調される。中央値フィルタリング／収縮／膨張等により、網膜画像中のアクティブ画素が検出される。基本的に、これにより網膜ディスクが検出され、境界付近の画素が削除される。関心領域が検出される。例えば、２つのモルフォロジーフィルタリング済み画像を、２つの異なる種類およびサイズの、幾何学形状局地領域について、モルフォロジーフィルタで計算し、その間の差分をとることで、局地領域の記述子が抽出される。画像品質を、コンピュータビジョン技術で評価して、レベル付けの適切さを評価する。画像は、疾患用に自動でスクリーニングされる。患者が受診に訪れるたびに、画像に基づく病変バイオマーカーが自動分析され、受診と受診の間に画像レジストレーションが実行される。病変の変化と、解剖学的構造が計算され、統計的に数値化される。このようにして計算された統計は、病変の進行、早期発見および／または処置の効果の観察に利用可能な画像に基づくバイオマーカーとなる。
【００３５】
Ｕ．Ｓ．８，８７９，８１３は、網膜画像におけるアクティブ画素の自動検出を開示する。具体的には、網膜画像が評価され、異なるウィンドウサイズの２つの中央値フィルタリング済み画像が生成され、それらフィルタリング済み画像の差分画像が生成され、二値画像が生成される。
【００３６】
Ｕ．Ｓ．８，８８５，９０１は、網膜画像の強調を開示している。具体的には、網膜画像を取得し、中央値フィルタをかけて、元画像の値を、元画像およびフィルタリング済み画像の値に基づいて変調する。強調画像は、健康状態の検出に利用される。
【００３７】
Ｕ．Ｓ．９，００２，０８５およびＵ．Ｓ．２０１５／０１１０３７２は、網膜画像内の局地領域の記述子を生成することを開示する。具体的には、網膜画像を取得し、２つのモルフォロジーフィルタリング済み画像を生成し（一方は円形／矩形ポリゴンウィンドウによるもので、他方は細長／楕円形ウィンドウによる）、フィルタリング済み画像から差分値を生成し、それを網膜画像の画素記述子に利用する。
【００３８】
Ｕ．Ｓ．９，００８，３９１およびＵ．Ｓ．２０１５／０１１０３６８は、患者の網膜画像を取得することを開示する。各画像は、関心領域を含む画素サブセットをアクティブと指定し、画素レベル記述子を計算し、教師あり学習により記述子から画素単位分類を実現し、第２の記述子を計算し、教師あり学習により複数の画素について第２の分類を実現する。
【００３９】
Ｕ．Ｓ．２０１５／０１１０３４８およびＵ．Ｓ．２０１７／００３９４１２は、網膜画像内の関心領域（ＲＯＩ）の自動検出を開示する。具体的には、網膜画像を取得し、多重規模モルフォロジーフィルタバンク分析により１つ以上の所期の特性を有する領域を抽出し、二値マップを記憶する。
【００４０】
Ｕ．Ｓ．２０１５／０１１０３７０およびＵ．Ｓ．２０１７／００３９６８９は、網膜画像の強調を開示する。具体的には、眼底画像を取得し、単一または複数の尺度で背景を推定し、第１画素位置での強度を、背景画像における同位置での強度に基づいて適応的にスケーリングする。
【先行技術文献】
【非特許文献】
【００４１】
(参照文献)
［１］ＭＩＴ  Ｔｅｃｈｎｏｌ．Ｒｅｖ．，２０１３．Ａｖａｉｌａｂｌｅ：ｗｗｗ．ｔｅｃｈｎｏｌｏｇｙｒｅｖｉｅｗ．ｃｏｍ／ｓ／５１３６９６／ｄｅｅｐ−ｌｅａｒｎｉｎｇ
［２］Ｙ．ＬｅＣｕｎ，Ｙ．Ｂｅｎｇｉｏ，ａｎｄ  Ｇ．Ｈｉｎｔｏｎ，“Ｄｅｅｐ  ｌｅａｒｎｉｎｇ，”Ｎａｔｕｒｅ，ｖｏｌ．５２１，Ｎｏ．７５５３，ｐｐ．４３６−４４４，２０１５．
［３］Ｊ．Ｓｃｈｍｉｄｈｕｂｅｒ，“Ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｉｎ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ：Ａｎ  ｏｖｅｒｖｉｅｗ，”Ｎｅｕｒａｌ  Ｎｅｔｗ．，ｖｏｌ．６１，ｐｐ．８５−１１７，２０１５．
［４］Ｂ．Ｓａｈｉｎｅｒ  ｅｔ  ａｌ．，“Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｏｆ  ｍａｓｓ  ａｎｄ  ｎｏｒｍａｌ  ｂｒｅａｓｔ  ｔｉｓｓｕｅ：Ａ  ｃｏｎｖｏｌｕｔｉｏｎ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｃｌａｓｓｉｆｉｅｒ  ｗｉｔｈ  ｓｐａｔｉａｌ  ｄｏｍａｉｎ  ａｎｄ  ｔｅｘｔｕｒｅ  ｉｍａｇｅｓ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．１５，Ｎｏ．５，ｐｐ．５９８−６１０，Ｏｃｔ．１９９６．
［５］Ｓ．Ｃ．Ｂ．Ｌｏ，Ｊ．Ｓ．Ｊ．Ｌｉｎ，Ｍ．Ｔ．Ｆｒｅｅｄｍａｎ，ａｎｄ  Ｓ．Ｋ．Ｍｕｎ，“Ｃｏｍｐｕｔｅｒａｓｓｉｓｔｅｄ  ｄｉａｇｎｏｓｉｓ  ｏｆ  ｌｕｎｇ  ｎｏｄｕｌｅ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａｒｔｉｆｉｃｉａｌ  ｃｏｎｖｏｌｕｔｉｏｎ  ｎｅｕｒａｌ−ｎｅｔｗｏｒｋ，”Ｐｒｏｃ．ＳＰＩＥ  Ｍｅｄ．Ｉｍａｇ．，Ｉｍａｇｅ  Ｐｒｏｃｅｓｓ．，ｖｏｌ．１８９８，ｐｐ．８５９−８６９，１９９３．
［６］Ｈ．−Ｐ．Ｃｈａｎ，Ｓ．−Ｃ．Ｌｏ，Ｂ．Ｓａｈｉｎｅｒ，Ｋ．Ｌ．Ｌａｍ，ａｎｄ  Ｍ．Ａ．Ｈｅｌｖｉｅ，“Ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ  ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｍａｍｍｏｇｒａｐｈｉｃ  ｍｉｃｒｏｃａｌｃｉｆｉｃａｔｉｏｎｓ：Ｐａｔｔｅｒｎ  ｒｅｃｏｇｎｉｔｉｏｎ  ｗｉｔｈ  ａｎ  ａｒｔｉｆｉｃｉａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ，”Ｍｅｄ．Ｐｈｙｓ．，ｖｏｌ．２２，Ｎｏ．１０，ｐｐ．１５５５−６７，１９９５．
［７］Ｓ．Ｈｏｃｈｒｅｉｔｅｒ  ａｎｄ  Ｊ．Ｓｃｈｍｉｄｈｕｂｅｒ，“Ｌｏｎｇ  ｓｈｏｒｔ−ｔｅｒｍ  ｍｅｍｏｒｙ，”Ｎｅｕｒａｌ  Ｃｏｍｐｕｔ．，ｖｏｌ．９，Ｎｏ．８，ｐｐ．１７３５−１７８０，１９９７．
［８］Ｇ．Ｅ．Ｈｉｎｔｏｎ，Ｓ．Ｏｓｉｎｄｅｒｏ，ａｎｄ  Ｙ．Ｗ．Ｔｅｈ，“Ａ  ｆａｓｔ  ｌｅａｒｎｉｎｇ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｄｅｅｐ  ｂｅｌｉｅｆ  ｎｅｔｓ，”Ｎｅｕｒａｌ  Ｃｏｍｐｕｔ．，ｖｏｌ．１８，Ｎｏ．７，ｐｐ．１５２７−１５５４，２００６．
［９］Ｄ．Ｃａｓｔａｎｏ−Ｄｉｅｚ，Ｄ．Ｍｏｓｅｒ，Ａ．Ｓｃｈｏｅｎｅｇｇｅｒ，Ｓ．Ｐｒｕｇｇｎａｌｌｅｒ，ａｎｄ  Ａ．Ｓ．Ｆｒａｎｇａｋｉｓ，“Ｐｅｒｆｏｒｍａｎｃｅ  ｅｖａｌｕａｔｉｏｎ  ｏｆ  ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ  ａｌｇｏｒｉｔｈｍｓ  ｏｎ  ｔｈｅ  ＧＰＵ，”Ｊ．Ｓｔｒｕｃｔ．Ｂｉｏｌ．，ｖｏｌ．１６４，Ｎｏ．１，ｐｐ．１５３−１６０，２００８．
［１０］Ａ．Ｅｋｌｕｎｄ，Ｐ．Ｄｕｆｏｒｔ，Ｄ．Ｆｏｒｓｂｅｒｇ，ａｎｄ  Ｓ．Ｍ．ＬａＣｏｎｔｅ，“Ｍｅｄｉｃａｌ  ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ  ｏｎ  ｔｈｅ  ＧＰＵ−Ｐａｓｔ，ｐｒｅｓｅｎｔ  ａｎｄ  ｆｕｔｕｒｅ，”Ｍｅｄ．Ｉｍａｇｅ  Ａｎａｌ．，ｖｏｌ．１７，Ｎｏ．８，ｐｐ．１０７３−９４，２０１３．
［１１］Ｂ．ｖａｎ  Ｇｉｎｎｅｋｅｎ，Ｃ．Ｍ．Ｓｃｈａｅｆｅｒ−Ｐｒｏｋｏｐ，ａｎｄ  Ｍ．Ｐｒｏｋｏｐ，“Ｃｏｍｐｕｔｅｒａｉｄｅｄ  ｄｉａｇｎｏｓｉｓ：Ｈｏｗ  ｔｏ  ｍｏｖｅ  ｆｒｏｍ  ｔｈｅ  ｌａｂｏｒａｔｏｒｙ  ｔｏ  ｔｈｅ  ｃｌｉｎｉｃ，”Ｒａｄｉｏｌ．，ｖｏｌ．２６１，Ｎｏ．３，ｐｐ．７１９−７３２，２０１１．
［１２］Ａ．Ｓｅｔｉｏ  ｅｔ  ａｌ．，“Ｐｕｌｍｏｎａｒｙ  ｎｏｄｕｌｅ  ｄｅｔｅｃｔｉｏｎ  ｉｎ  ＣＴ  ｉｍａｇｅｓ  ｕｓｉｎｇ  ｍｕｌｔｉｖｉｅｗ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋｓ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１６０−１１６９，Ｍａｙ  ２０１６．
［１３］Ｈ．Ｒｏｔｈ  ｅｔ  ａｌ．，“Ｉｍｐｒｏｖｉｎｇ  ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ  ａｎｄ  ｒａｎｄｏｍ  ｖｉｅｗ  ａｇｇｒｅｇａｔｉｏｎ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１７０−１１８１，Ｍａｙ  ２０１６．
［１４］Ｑ．Ｄｏｕ  ｅｔ  ａｌ．，“Ａｕｔｏｍａｔｉｃ  ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｃｅｒｅｂｒａｌ  ｍｉｃｒｏｂｌｅｅｄｓ  ｆｒｏｍ  ＭＲ  ｉｍａｇｅｓ  ｖｉａ  ３Ｄ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１８２−１１９５，Ｍａｙ  ２０１６．
［１５］Ｋ．Ｓｉｒｉｎｕｋｕｎｗａｔｔａｎａ  ｅｔ  ａｌ．，“Ｌｏｃａｌｉｔｙ  ｓｅｎｓｉｔｉｖｅ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｏｆ  ｎｕｃｌｅｉ  ｉｎ  ｒｏｕｔｉｎｅ  ｃｏｌｏｎ  ｃａｎｃｅｒ  ｈｉｓｔｏｌｏｇｙ  ｉｍａｇｅｓ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１９６−１２０６，Ｍａｙ  ２０１６．
［１６］Ｍ．Ａｎｔｈｉｍｏｐｏｕｌｏｓ，Ｓ．Ｃｈｒｉｓｔｏｄｏｕｌｉｄｉｓ，Ａ．Ｃｈｒｉｓｔｅ，ａｎｄ  Ｓ．Ｍｏｕｇｉａｋａｋｏｕ，“Ｌｕｎｇ  ｐａｔｔｅｒｎ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｆｏｒ  ｉｎｔｅｒｓｔｉｔｉａｌ  ｌｕｎｇ  ｄｉｓｅａｓｅｓ  ｕｓｉｎｇ  ａ  ｄｅｅｐ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２０７−１２１６，Ｍａｙ  ２０１６．
［１７］Ｈ．−Ｃ．Ｓｈｉｎ  ｅｔ  ａｌ．，“Ｄｅｅｐ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｃｏｍｐｕｔｅｒａｉｄｅｄ  ｄｅｔｅｃｔｉｏｎ：  ＣＮＮ  ａｒｃｈｉｔｅｃｔｕｒｅｓ，  ｄａｔａｓｅｔ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ  ａｎｄ  ｔｒａｎｓｆｅｒ  ｌｅａｒｎｉｎｇ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２８５−１２９８，Ｍａｙ  ２０１６．
［１８］Ｇ．ｖａｎ  Ｔｕｌｄｅｒ  ａｎｄ  Ｍ．ｄｅ  Ｂｒｕｉｊｎｅ，“Ｃｏｍｂｉｎｉｎｇ  ｇｅｎｅｒａｔｉｖｅ  ａｎｄ  ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｌｅａｒｎｉｎｇ  ｉｎ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  ｍａｃｈｉｎｅｓ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２６２−１２７２，Ｍａｙ  ２０１６．
［１９］Ａ．Ｄｅｐｅｕｒｓｉｎｇｅ  ｅｔ  ａｌ．，Ｃｏｍｐｕｔ．Ｍｅｄ．Ｉｍａｇ．Ｇｒａｐｈ．，ｖｏｌ．３６，Ｎｏ．３，ｐｐ．２２７−２３８，２０１２．
［２０］Ｆ．Ｇｈｅｓｕ  ｅｔ  ａｌ．，“Ｍａｒｇｉｎａｌ  ｓｐａｃｅ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ：Ｅｆｆｉｃｉｅｎｔ  ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  ｖｏｌｕｍｅｔｒｉｃ  ｉｍａｇｅ  ｐａｒｓｉｎｇ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２１７−１２２８，Ｍａｙ  ２０１６．
［２１］Ｔ．Ｂｒｏｓｃｈ  ｅｔ  ａｌ．，“Ｄｅｅｐ  ３Ｄ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｅｎｃｏｄｅｒ  ｎｅｔｗｏｒｋｓ  ｗｉｔｈ  ｓｈｏｒｔｃｕｔｓ  ｆｏｒ  ｍｕｌｔｉｓｃａｌｅ  ｆｅａｔｕｒｅ  ｉｎｔｅｇｒａｔｉｏｎ  ａｐｐｌｉｅｄ  ｔｏ  ｍｕｌｔｉｐｌｅ  ｓｃｌｅｒｏｓｉｓ  ｌｅｓｉｏｎ  ｓｅｇｍｅｎｔａｔｉｏｎ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２２９−１２３９，Ｍａｙ  ２０１６．
［２２］Ｓ．Ｐｅｒｅｉｒａ，Ａ．Ｐｉｎｔｏ，Ｖ．Ａｌｖｅｓ，ａｎｄ  Ｃ．Ｓｉｌｖａ，“Ｂｒａｉｎ  ｔｕｍｏｒ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｕｓｉｎｇ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ  ｉｎ  ＭＲＩ  ｉｍａｇｅｓ，”  ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２４０−１２５１，Ｍａｙ  ２０１６．
［２３］Ｐ．Ｍｏｅｓｋｏｐｓ  ｅｔ  ａｌ．，“Ａｕｔｏｍａｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ＭＲ  ｂｒａｉｎ  ｉｍａｇｅｓ  ｗｉｔｈ  ａ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２５２−１２６１，Ｍａｙ  ２０１６．
［２４］Ｍ．ｖａｎ  Ｇｒｉｎｓｖｅｎ，Ｂ．ｖａｎ  Ｇｉｎｎｅｋｅｎ，Ｃ．Ｈｏｙｎｇ，Ｔ．Ｔｈｅｅｌｅｎ，ａｎｄ  Ｃ．Ｓaｎｃｈｅｚ，“Ｆａｓｔ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｔｒａｉｎｉｎｇ  ｕｓｉｎｇ  ｓｅｌｅｃｔｉｖｅ  ｄａｔａ  ｓａｍｐｌｉｎｇ：  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｈｅｍｏｒｒｈａｇｅ  ｄｅｔｅｃｔｉｏｎ  ｉｎ  ｃｏｌｏｒ  ｆｕｎｄｕｓ  ｉｍａｇｅｓ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２７３−１２８４，Ｍａｙ  ２０１６．
［２５］Ｙ．Ｂａｒ，Ｉ．Ｄｉａｍａｎｔ，Ｌ．Ｗｏｌｆ，ａｎｄ  Ｈ．Ｇｒｅｅｎｓｐａｎ，“Ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｗｉｔｈ  ｎｏｎ−ｍｅｄｉｃａｌ  ｔｒａｉｎｉｎｇ  ｕｓｅｄ  ｆｏｒ  ｃｈｅｓｔ  ｐａｔｈｏｌｏｇｙ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，”Ｐｒｏｃ．ＳＰＩＥ  Ｍｅｄ．Ｉｍａｇ．Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ  Ｄｉａｇｎｏｓｉｓ，ｖｏｌ．９４１４，２０１５．
［２６］Ｙ．Ｂａｒ，Ｉ．Ｄｉａｍａｎｔ，Ｌ．Ｗｏｌｆ，Ｓ．Ｌｉｅｂｅｒｍａｎ，Ｅ．Ｋｏｎｅｎ，ａｎｄ  Ｈ．Ｇｒｅｅｎｓｐａｎ，“Ｃｈｅｓｔ  ｐａｔｈｏｌｏｇｙ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｗｉｔｈ  ｎｏｎ−ｍｅｄｉｃａｌ  ｔｒａｉｎｉｎｇ，”ｉｎ  Ｐｒｏｃ．ＩＥＥＥ  １２ｔｈ  Ｉｎｔ．Ｓｙｍｐ．Ｂｉｏｍｅｄ．Ｉｍａｇ．，２０１５，ｐｐ．２９４−２９７．
［２７］Ｂ．ｖａｎ  Ｇｉｎｎｅｋｅｎ，Ａ．Ａ．Ｓｅｔｉｏ，Ｃ．Ｊａｃｏｂｓ，ａｎｄ  Ｆ．Ｃｉｏｍｐｉ，“Ｏｆｆ−ｔｈｅ−ｓｈｅｌｆ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｐｕｌｍｏｎａｒｙ  ｎｏｄｕｌｅ  ｄｅｔｅｃｔｉｏｎ  ｉｎ  ｃｏｍｐｕｔｅｄ  ｔｏｍｏｇｒａｐｈｙ  ｓｃａｎｓ，”ｉｎ  Ｐｒｏｃ．ＩＥＥＥ  １２ｔｈ  Ｉｎｔ．Ｓｙｍｐ．Ｂｉｏｍｅｄ．Ｉｍａｇ．，２０１５，ｐｐ．２８６−２８９．
［２８］Ｎ．Ｔａｊｂａｋｈｓｈ  ｅｔ  ａｌ．，“Ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｍｅｄｉｃａｌ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ：  Ｆｕｌｌ  ｔｒａｉｎｉｎｇ  ｏｒ  ｆｉｎｅ  ｔｕｎｉｎｇ？，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２９９−１３１２，Ｍａｙ  ２０１６．
［２９］Ｔ．Ｂ．Ｎｇｕｙｅｎ  ｅｔ  ａｌ．，“Ｄｉｓｔｒｉｂｕｔｅｄ  ｈｕｍａｎ  ｉｎｔｅｌｌｉｇｅｎｃｅ  ｆｏｒ  ｃｏｌｏｎｉｃ  ｐｏｌｙｐ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｉｎ  ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ  ｄｅｔｅｃｔｉｏｎ  ｆｏｒ  ＣＴ  ｃｏｌｏｎｏｇｒａｐｈｙ，”Ｒａｄｉｏｌｏｇｙ，ｖｏｌ．２６２，Ｎｏ．３，ｐｐ．８２４−８３３，２０１２．
［３０］Ｍ．Ｔ．ＭｃＫｅｎｎａ  ｅｔ  ａｌ．，“Ｓｔｒａｔｅｇｉｅｓ  ｆｏｒ  ｉｍｐｒｏｖｅｄ  ｉｎｔｅｒｐｒｅｔａｔｉｏｎ  ｏｆ  ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ  ｄｅｔｅｃｔｉｏｎｓ  ｆｏｒ  ＣＴ  ｃｏｌｏｎｏｇｒａｐｈｙ  ｕｔｉｌｉｚｉｎｇ  ｄｉｓｔｒｉｂｕｔｅｄ  ｈｕｍａｎ  ｉｎｔｅｌｌｉｇｅｎｃｅ，”Ｍｅｄ．Ｉｍａｇｅ  Ａｎａｌ．，Ｎｏ．６，ｐｐ．１２８０−１２９２，２０１２．
［３１］Ｓ．Ａｌｂａｒｑｏｕｎｉ，Ｃ．Ｂａｕｒ，Ｆ．Ａｃｈｉｌｌｅｓ，Ｖ．Ｂｅｌａｇｉａｎｎｉｓ，Ｓ．Ｄｅｍｉｒｃｉ，ａｎｄ  Ｎ．Ｎａｖａｂ，  “Ａｇｇ−Ｎｅｔ：Ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｆｒｏｍ  ｃｒｏｗｄｓ  ｆｏｒ  ｍｉｔｏｓｉｓ  ｄｅｔｅｃｔｉｏｎ  ｉｎ  ｂｒｅａｓｔ  ｃａｎｃｅｒ  ｈｉｓｔｏｌｏｇｙ  ｉｍａｇｅｓ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３１３−１３２１，Ｍａｙ  ２０１６．
［３２］Ｍ．Ｋａｌｌｅｎｂｅｒｇ  ｅｔ  ａｌ．，“Ｕｎｓｕｐｅｒｖｉｓｅｄ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  ｂｒｅａｓｔ  ｄｅｎｓｉｔｙ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  ｍａｍｍｏｇｒａｐｈｉｃ  ｒｉｓｋ  ｓｃｏｒｉｎｇ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３２２−１３３１，Ｍａｙ  ２０１６．
［３３］Ｚ．Ｙａｎ  ｅｔ  ａｌ．，“Ｍｕｌｔｉ−ｉｎｓｔａｎｃｅ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ：  Ｄｉｓｃｏｖｅｒ  ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  ｌｏｃａｌ  ａｎａｔｏｍｉｅｓ  ｆｏｒ  ｂｏｄｙｐａｒｔ  ｒｅｃｏｇｎｉｔｉｏｎ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３３２−１３４３，Ｍａｙ  ２０１６．
［３４］Ｓ．Ｍｉａｏ，Ｚ．Ｊ．Ｗａｎｇ，ａｎｄ  Ｒ．Ｌｉａｏ，“Ａ  ＣＮＮ  ｒｅｇｒｅｓｓｉｏｎ  ａｐｐｒｏａｃｈ  ｆｏｒ  ｒｅａｌ−ｔｉｍｅ  ２Ｄ／３Ｄ  ｒｅｇｉｓｔｒａｔｉｏｎ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３５２−１３６３，Ｍａｙ  ２０１６．
［３５］  Ｖ．Ｇｏｌｋｏｖ  ｅｔ  ａｌ．，“ｑ−Ｓｐａｃｅ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ：  Ｔｗｅｌｖｅ−ｆｏｌｄ  ｓｈｏｒｔｅｒ  ａｎｄ  ｍｏｄｅｌ  ｆｒｅｅ  ｄｉｆｆｕｓｉｏｎ  ＭＲＩ  ｓｃａｎｓ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３４４−１３５１，Ｍａｙ  ２０１６．
［３６］Ｋ．Ｈｅ，Ｘ．Ｚｈａｎｇ，Ｓ．Ｒｅｎ，ａｎｄ  Ｊ．Ｓｕｎ，Ｄｅｅｐ  ｒｅｓｉｄｕａｌ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｉｍａｇｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ＡｒＸｉｖ，２０１５，ａｒＸｉｖ：１５１２．０３３８５，ｔｏ  ｂｅ  ｐｕｂｌｉｓｈｅｄ
［３７］Ｈ．Ｒ．Ｒｏｔｈ  ｅｔ  ａｌ．，“Ａ  ｎｅｗ  ２．５  ｄ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｆｏｒ  ｌｙｍｐｈ  ｎｏｄｅ  ｄｅｔｅｃｔｉｏｎ  ｉｎ  ＣＴ，”Ｃａｎｃｅｒ  Ｉｍａｇ．Ａｒｃｈ．，２０１５  ｄｘ．ｄｏｉ．ｏｒｇ／１０．７９３７／Ｋ９／ＴＣＩＡ．２０１５．ＡＱＩＩＤＣＮＭ
［３８］Ｈ．Ｒ．Ｒｏｔｈ  ｅｔ  ａｌ．，“Ｄａｔａ  ｆｒｏｍ  ｐａｎｃｒｅａｓ−ＣＴ，”Ｃａｎｃｅｒ  Ｉｍａｇ．Ａｒｃｈ．，２０１６［Ｏｎｌｉｎｅ］．Ａｖａｉｌａｂｌｅ：ｄｘ．ｄｏｉ．ｏｒｇ／１０．７９３７／Ｋ９／ＴＣＩＡ．２０１６．ｔＮＢ１ｋｑＢＵ
【特許文献】
【００４２】
（参照）Ｕ．Ｓ．５７８４１６２；６０８８０９９；６１９８５３２；６２７６７９８；６４１９３６１；６５５６８５３；６８９５２６４；６９４３１５３；６９９２７７５；７４３３５３２；７４７４７７５；７７１２８９８；７９３１９０２；８０９８９０７；８１１４８４３；８１９４９３６；８２０７３９６；８３０３１１５；８３０９３５０；８３４０４３７；８７０５８２６；８７８７６３８；８８７９８１３；８８８５９０１；８８９６６８２；９００２０８５；９００８３９１；９０９７７０７；９５４５１９６；２００１００３３３６４；２００２００５２５５１；２００２０１９４６３０；２００３０１２９１６４；２００４０２２１８５５；２００４０２５４１５４；２００６０２５７０３１；２００７０１２８６６２；２００８０１２４３４４；２０１０００６１６０１；２０１００１７２８７１；２０１００２２０９０６；２０１００３０２５０７；２０１１００９７３３０；２０１１０１７３７０８；２０１１０２４２３０６；２０１２０１９００９４；２０１２０２５７１６４；２０１２０２７２３４１；２０１３０１０８１３１；２０１３０１１６６７０；２０１３０１３７１１３；２０１３０３０１８８９；２０１４００２３６９２；２０１４０１９９２７７；２０１４０２７６０２５；２０１５０１１０３４８；２０１５０１１０３６８；２０１５０１１０３７０；２０１５０１１０３７２；２０１５０１２４２１６；２０１５０２２４１９３；２０１５０２３８７６７；２０１５０３７９７０８；２０１６０１２０４０４；２０１６０２１７５８６；２０１７００３９４１２；２０１７００３９６８９；２０１７００４６６１６
【発明の概要】
【発明が解決しようとする課題】
【００４３】
本発明は、１つ以上の血管画像に基づいて、血管疾患の存在を自動で推定するシステムおよび方法を提供する。画像は好ましくは眼底画像である。したがって、血管疾患は網膜疾患、または網膜症となる。この技術の適用対象としては、特にＤＲのスクリーニングが挙げられる。
【００４４】
基本的な手段は網膜画像に限られない。ただし、眼底画像における網膜血管系の視認性は、本技術にとって特に好ましい。しかし、その他血管系および微小血管系も分析の対象となる。例えば各種条件下で、保粘膜および舌下粘膜の毛細血管、超粘膜、強膜等が撮像されてもよい。
【００４５】
網膜症は以下の通りに診断され得る。（Ｈ３５．０）高血圧網膜症−長期高血圧による血管破裂ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈｙｐｅｒｔｅｎｓｉｖｅ＿ｒｅｔｉｎｏｐａｔｈｙ；（Ｈ３５．０／Ｅ１０−Ｅ１４）糖尿病性網膜症−糖尿病の合併症で生じる網膜の損傷。最終的に失明に至る可能性があるｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｄｉａｂｅｔｉｃ＿ｒｅｔｉｎｏｐａｔｈｙ；（Ｈ３５．０−Ｈ３５．２）網膜症−網膜の非炎症性損傷全般を指すｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎｏｐａｔｈｙ；（Ｈ３５．１）未熟児網膜症−未熟児瘢痕および網膜剥離の網膜症ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎｏｐａｔｈｙ＿ｏｆ＿ｐｒｅｍａｔｕｒｉｔｙ；（Ｈ３５．３）加齢黄斑変性−黄斑の光感受性細胞の機能不全で、時間が経つと機能しなくなる；（Ｈ３５．３）黄斑変性−黄斑変性による中心視力の喪失（例えば、ブルズアイ黄斑症、クロロキン網膜症ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｈｌｏｒｏｑｕｉｎｅ＿ｒｅｔｉｎｏｐａｔｈｙ）ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｍａｃｕｌａｒ＿ｄｅｇｅｎｅｒａｔｉｏｎ；（Ｈ３５．３）網膜前膜−透明な層が張り、網膜上で収縮するｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｅｐｉｒｅｔｉｎａｌ＿ｍｅｍｂｒａｎｅ；（Ｈ３５．４）周辺部網膜変性ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｌａｔｔｉｃｅ＿ｄｅｇｅｎｅｒａｔｉｏｎ；（Ｈ３５．５）遺伝性網膜ジストロフィｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｐｒｏｇｒｅｓｓｉｖｅ＿ｒｅｔｉｎａｌ＿ａｔｒｏｐｈｙ；（Ｈ３５．５）網膜色素変性症の遺伝的障害；夜盲症とその後の視野狭窄ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎｉｔｉｓ＿ｐｉｇｍｅｎｔｏｓａ；（Ｈ３５．６）網膜出血；（Ｈ３５．７）網膜層の分離ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎａｌ＿ｈａｅｍｏｒｒｈａｇｅ（例えば、中心性漿液性網膜症ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｅｎｔｒａｌ＿ｓｅｒｏｕｓ＿ｒｅｔｉｎｏｐａｔｈｙ，網膜剥離：網膜色素上皮の剥離ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎａｌ＿ｄｅｔａｃｈｍｅｎｔ）ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎａ＃Ａｎａｔｏｍｙ＿ｏｆ＿ｖｅｒｔｅｂｒａｔｅ＿ｒｅｔｉｎａ；（Ｈ３５．８）その他の明示された網膜障害；（Ｈ３５．８１）黄斑浮腫−腫れ斑による中心視のゆがみｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｍａｃｕｌａｒ＿ｅｄｅｍａ、（Ｈ３５．９）網膜障害、詳細不明。世界保健機関ＩＣＤ−１０コード：眼及び付属器の疾患（Ｈ００−Ｈ５９）。
【００４６】
画像は、様々な疾患に対して並行に分析されてもよい。例えば、訓練用データは、少なくとも綿花状白斑（浮腫を伴う網膜虚血の領域）、硬性白斑（脂肪沈着物）、微小動脈瘤（網膜上に小さな赤い点として現れる）、損傷した血管壁からの小さな炎上出血、血管新生（眼底での新血管形成の兆候）、糖尿病（水晶体の代謝を妨げる過剰なグルコース、およびその他の臨床徴候による早期白内障の原因ともなる）の兆候を符号化したものであってもよい。ｐａｔｉｅｎｔ．ｉｎｆｏ／ｄｏｃｔｏｒ／ｅｙｅ−ｉｎ−ｓｙｓｔｅｍｉｃ−ｄｉｓｅａｓｅ；ｗｗｗ．ｎｃｂｉ．ｎｌｍ．ｎｉｈ．ｇｏｖ／ｂｏｏｋｓ／ＮＢＫ２２１／を参照されたい。
【００４７】
より具体的には、本発明は、網膜眼底画像内のＤＲ病変の自動検出および位置特定ならびに網膜眼底画像のＤＲ自動分類のシステムおよび方法を含む。システムは、患者の眼底画像における専門家による領域の分類を示す訓練用データに基づいて、ＤＲを認識する。
【００４８】
いくつかの実施形態では、コンピュータにより実施される方法は、網膜画像を分析し、当該網膜画像内で関心領域を検出することを含む。いくつかの実施形態では、方法はさらに、１つ以上の関心領域の検出に基づいて、網膜画像を分類することを含む。
【００４９】
本技術は、網膜画像において自動で網膜症を検出するという課題に対する新たな手法を提供する。具体的には、人の専門家が網膜症を全てマーク付け（信頼性高いと認定されたアノテーション）した何千もの網膜写真が収集される。アノテーションは、医学的分類の領域評価や、画像品質であり得る。画像そのものが光学的原則に基づくので、画像品質は少なくとも一部、教師なしＮＮで判定されてもよい。ただし、場合によっては、人の専門家が関わったほうが好ましくあり得る。
【００５０】
アノテーションは、ＮＮ（ＣＮＮまたはＤＮＮであってもよい）の訓練に使用される。訓練用データの領域分類によって、本技術に係るネットワークは、分類されていなかった画像の各領域の分類を判定する。これは、全体的に未知の画像を分類する技術と対照的である。したがって、ＮＮそのものがラベルそしてラベル付けされるものの両方に、基本的に依存することが明らかである。
【００５１】
訓練用データは、領域分類がラベルとして関連付けられた網膜画像全体であってもよい。ただしこの場合、入力データ組の自由度が増してしまい、対応するネットワーク性能向上が得られないまま、問題が複雑化してしまい得る。即ち、網膜の一領域内の網膜症は、別の領域の網膜症に極めて類似しているため、訓練は領域単位に限定されない。当然、領域単位の訓練もあり得るので、本技術はこれを無視や否定することはなく、領域毎の推定でも十分な性能が実現できるとするものである。例えば、１０００×１０００入力画像は１０6画素を含み、簡略化しないと、ＮＮには、少なくとも１０6入力ニューロンが必要となる。一方、６４×６４画素領域でも病理特定に十分な精度が得られる上、この場合に必要な入力は少なくとも４０９６個で、約２５０分の１である。同様に、領域毎の推定により、領域間差分を処理するように設計されたネットワークの少なくとも隠れ層全体も低減可能となり得る。
【００５２】
処理前に、画像は色、輝度等に関して、決定論的統計またはルールベースのプロセスで正規化されてもよい。この正規化はＮＮ内で実現されてもよいが、ネットワークとは独立的に実現されてもよい。したがって、よりシンプルなネットワークが実現される。
【００５３】
場合によっては、領域は分割後にまたは分割処理の一環として正規化されてもよい。これにより、統計的またはルールベース処理により分割が実現可能である。この処理は、形状または空間以外に基づく領域間境界を構築できる。前述のように、ＮＮ前の正規化により、ＮＮをシンプルに実施できる。それでいて、ＮＮの正規化前特徴の学習量が低減できる。正規化処理により画像から抽出され得る特徴に対する専門家の判定を利用することで、正規化されていない特徴に対するＮＮの特異度を上げることができる。
【００５４】
各網膜画像は指紋同様、極めて個別性が高い。したがって、データセット内に、画像全体が完全一致するものは含まれない。しかし、この技術が処理対象とする初期疾患は、小さく、局地的（高解像度画像において、幅数画素）という特徴がある。事実、近年ようやくデジタル写真が臨床現場でのスクリーニングに利用されたのは、疾患の超初期兆候を視認可能となる程の解像度が近年ようやく実現されたためである。したがって、実際のデータセットは実際の網膜写真から得られた小パッチ組であり、本技術のシステムは、新たな画像からの小パッチを、データセットのパッチと比較する。
【００５５】
入力された新たな画像には以下の高次処理が施される。
【００５６】
カメラから元画像が受信され、円形マスクにより、１０２４×１０２４の標準サイズにされる。
【００５７】
ＮＮを実施して、領域に対して動作する分類器が実現される。好ましくは、ラベル付きデータセット画像に適用されたのと同じ前処理（領域への分割を含む）が未知の画像に適用される。正規化後の分割領域は、次に訓練用データに基づいて分類される。そして、分類されたものが、未知画像全体に反映される。これにより未知画像がアノテーションされる。その画像が診断されるか、または分類組全体に基づいて評価される。
【００５８】
評価は信頼性を伴うものであってもよい。即ち、第一種（偽陽性）および／または第二種（偽陰性）過誤や、その他種類の過誤をカバーするものであってもよい。評価の信頼性は、元の画像品質（輝度、焦点、コントラスト、色等）を表すものであってもよい。ここで、例えば、画像の一部の品質が悪い場合に、評価に利用可能な部分を分析してもよい。評価に利用可能な部分とは、信頼性を伴う評価である。即ち、偽陽性過誤診断の可能性および、偽陰性過誤診断の可能性を包含するものである。
【００５９】
任意で結果は、全体的推奨に照合されてもよい。或いは、特定の関心領域に対する付記とともに、詳細を提供してもよい。
【００６０】
この技術は、人の専門家が適切に評価した十分な画像を収集して、データセットを形成することを要する。偽陽性、偽陰性の結果とならないような、十分な精度および確度を持つマッチングアルゴリズムが求められる。
【００６１】
網膜カメラモデルは、様々な解像度の画像を生成する。典型的な網膜病変の大きさも変動し得る。数多くの実験と、専門家や英国国民保険サービス規格文書からの情報収集を経て、十分な特徴が保たれる最低解像度は、１０２４×１０２４画素であると結論づけられた。さらに、（上述の画像で）病変が特定可能な最小パッチは、３２×３２画素であった。
【００６２】
画像は、血糖値、年齢、性別、体重、病歴等の追加の医療データと併せて提供され得る。これらも分類の一部として使用される場合がある。ただし、場合によっては、画像を分類し、臨床医が他の患者データを診断および／または予後に統合できるようにすることが好ましい。実際、臨床医が分類器の出力を使用する限り、画像を分類するために画像に外因性の臨床データを使用すると、同じ要素が再び検討され得る下流側に、過剰なバイアスがかかるというリスクが生じる。
【００６３】
上述のような第一種および第二種過誤との間に必要な正確なバランスは、システムの用途に依存する。病院の場合、第二種過誤を最小限に抑えるのが最重要であり得る。一方で、眼鏡技師による通常のスクリーニングの場合は、第一種過誤を最小限に抑えて、顧客に無用な心配をかけないことが最重要であり得る。
【００６４】
なお、システムは必ずしも完全自動診断に限定されない。即ち、第二種過誤を最小限に抑える場合、偽陽性は、人の評価者のような別の手段、或いは、例えばより多くの時間および／または資源を必要とする代替または補足の自動分析によって再スクリーニングを実行してもよい。例えば、ハッシュエラーが性能品質の劣化を招く場合、データ削減量を抑えた自動分析で補ってもよい。どのようなシステムでも、本質的な性能の良し悪しにかかわらず、これら２種類の過誤間で様々なトレードオフを実現するように「調整」することができる。
【００６５】
このアルゴリズムは、網膜画像の疾患兆候のある領域にマーキングするのに非常に効果的であることが確認されており、画像処理／領域マッチング技術が効果的かつ効率的であることが実証された。
【００６６】
広視野および超広視野の網膜画像は、通常網膜眼底画像で撮像される、単一画像内の４５から５０度を超える網膜視野で撮影した画像である。このような画像は、特殊なカメラハードウェアを使用するか、異なる複数の視野による網膜画像を使用してモンタージュを作成することによって得られる。本明細書で説明されるシステムおよび方法は、広視野および超広視野画像に適用可能である。
【００６７】
フルオレセイン血管造影法では、蛍光トレーサー染料を注入し、波長４９０ナノメートルの光で網膜を照らすことによって放出される蛍光を測定する血管造影法が実行される。当該染料が血液中に存在するため、蛍光血管造影画像上では網膜の血管構造と病変が強調される。本明細書で説明されるシステムおよび方法は、フルオレセイン血管造影画像に適用可能である。
【課題を解決するための手段】
【００６８】
したがって、目的は、血管画像を分類する方法であって、血管画像を受信することと、血管画像を正規化することと、正規化血管画像を複数の領域に分割することと、ＮＮを含む少なくとも１つの分類器により、複数の領域について自動で血管障害ベクトルを判定することと、判定された血管障害ベクトルに基づいて、自動で複数の領域それぞれをアノテーションすることと、少なくともアノテーションに基づいて、受信した血管画像を自動で評価することと、を含み、ＮＮは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が血管画像の各領域につけたアノテーションに基づいて訓練される、方法を提供することである。
【００６９】
更なる目的は、血管画像を分類するシステムであって、少なくとも１つの血管画像を受信するように構成された入力と、少なくとも１つの客観的分類基準に応じて、複数の網膜画像の各領域の専門家によるアノテーションに少なくとも基づいて訓練されるＮＮを定義する情報を記憶するように構成されるメモリと、少なくとも１つの自動プロセッサであって、血管画像を正規化することと、正規化血管画像を複数の領域に分割することと、定義されたＮＮを含む少なくとも１つの分類器により、複数の領域について血管障害ベクトルを判定することと、判定された眼病ベクトルに基づいて、複数の領域それぞれをアノテーションすることと、少なくともアノテーションに基づいて、受信した血管画像を評価することとを実行するように構成された自動プロセッサと、評価を通信するように構成された出力とを備えるシステムを提供することである。
【００７０】
更なる目的は、少なくとも１つの自動プロセッサを制御するための指示を記憶するコンピュータ可読媒体であって、血管画像を受信するための指示と、受信した血管画像を正規化するための指示と、正規化血管画像を複数の領域に分割するための指示と、ＮＮを有する少なくとも１つの分類器により、複数の領域について眼病ベクトルを判定するための指示と、判定された眼病ベクトルに基づいて、自動で複数の領域それぞれをアノテーションするための指示と、少なくともアノテーションに基づいて、受信した血管画像を自動で評価するための指示と、を含み、ＮＮは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が血管画像の各領域につけたアノテーションに基づいて訓練される、媒体を提供することである。
【００７１】
更なる目的は、網膜症の存在について、網膜画像を分類する方法であって、眼底画像を受信することと、少なくとも三色刺激画像空間に対して眼底画像を自動で正規化することと、正規化眼画像を、少なくとも１つの分割ルールに基づいて、複数の領域に自動で分割することと、少なくとも専門家網膜アノテーションを有する眼底画像組による訓練に基づいて訓練されたＮＮを有する少なくとも１つの分類器により、複数の領域について網膜症ベクトルを自動で判定することと、判定した眼病ベクトルに基づいて、自動で複数の領域それぞれにアノテーションを行うことと、少なくともアノテーションに基づいて、受信した眼画像の網膜症の程度を自動で評価することと、自動で判定した網膜症の程度を出力することと、を含む方法を提供することである。
【００７２】
別の目的は、眼画像を分類する方法であって、眼画像を受信して正規化することと、正規化眼画像を複数の領域に分割することと、ＮＮを有する１つの分類器により、複数の領域について自動で眼病ベクトルを判定することと、判定された眼病ベクトルに基づいて、自動で複数の領域それぞれをアノテーションすることと、少なくともアノテーションに基づいて、受信した眼画像を自動で評価することと、を含み、ＮＮは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が眼画像の各領域につけたアノテーションに基づいて訓練される、方法を提供することである。
【００７３】
更なる目的は、眼画像を分類するシステムであって、少なくとも１つの眼画像を受信するように構成された入力と、少なくとも１つの客観的分類基準に応じて、複数の網膜画像の各領域の専門家によるアノテーションに少なくとも基づいて訓練されるＮＮを定義する情報を記憶するように構成されるメモリと、少なくとも１つの自動プロセッサであって、眼画像を正規化することと、正規化眼画像を複数の領域に分割することと、定義されたＮＮを有する少なくとも１つの分類器により、複数の領域について眼病ベクトルを判定することと、判定された眼病ベクトルに基づいて、複数の領域それぞれをアノテーションすることと、少なくともアノテーションに基づいて、受信した眼画像を評価することとを実行するように構成された自動プロセッサと、評価を通信するように構成された出力とを備えるシステムを提供することである。
【００７４】
受信した眼画像を正規化するため、自動プロセッサを制御する指示と、正規化眼画像を複数の領域に分割する指示と、ＮＮを含む少なくとも１つの分類器により、複数の領域について眼病ベクトルを判定する指示と、判定された眼病ベクトルに基づいて、複数の領域それぞれを自動でアノテーションする指示と、少なくともアノテーションに基づいて、受信した眼画像を自動で評価する指示とを記憶するコンピュータ可読媒体であって、ＮＮは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が眼画像の各領域につけたアノテーションに基づいて訓練される媒体を提供することを目的とする。
【００７５】
更なる目的は、病理学画像を分類する方法であって、画像を受信することと、画像を正規化することと、正規化画像を複数の領域に分割することと、ＮＮを有する少なくとも１つの分類器により、複数の領域について自動で疾患ベクトルを判定することと、判定された疾患ベクトルに基づいて、自動で複数の領域それぞれをアノテーションすることと、少なくともアノテーションに基づいて、受信した画像を自動で評価することと、を含み、ＮＮは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が画像の各領域につけたアノテーションに基づいて訓練される、方法を提供することである。
【００７６】
ＮＮは、複数の隠れ層、ＤＮＮ、ＲＮＮ、および／またはＣＮＮを含んでもよい。方法はさらに、血管画像とは異なるタイミングで第２の血管画像を受信することと、血管画像の経時変化に少なくとも応じた情報を出力することとをさらに含んでもよい。
【００７７】
ＮＮは、網膜画像の各領域の品質に対する専門家によるアノテーションに少なくとも基づいてさらに訓練してもよい。
【００７８】
少なくとも１つの分類器は、例えば多クラスサポートベクターマシン分類器または勾配ブースティング分類器を含んでもよい。
【００７９】
少なくとも１つの分類器は、複数の各領域の眼病ベクトルまたは複数の連続領域に基づいて、各領域を分類してもよい。
【００８０】
分類器は、ＤＲの兆候を持つ領域を判定する分類器を含んでもよい。
【００８１】
評価することはＤＲのレベルを評価することを含んでもよい。レベルは、レベルが正確である可能性を伴ってもよい。正確である可能性は、第一種過誤の可能性と、第二種過誤の可能性を含んでもよい。
【００８２】
方法は、血管画像の領域の分類を示す画像を出力することをさらに含んでもよい。
【００８３】
血管画像は、眼底画像を含んでもよい。アノテーションは、各眼底画像の各領域内のＤＲの兆候を含んでもよい。
【図面の簡単な説明】
【００８４】
【図１】図１は、本発明の実施形態に係るフロチャートを示す。
【図２】図２Ａから２Ｄは網膜画像を示す。
【図３】図３は、網膜画像と、それぞれその円形領域を示す。
【図４】図４は、網膜画像と、それぞれその正方形領域を示す。
【図５】図５は、本発明の各実施形態に係る各種フロチャートを示す。
【図６】図６は、本発明の各実施形態に係る各種フロチャートを示す。
【図７】図７は、本発明の各実施形態に係る各種フロチャートを示す。
【図８】図８は、本発明の各実施形態に係る各種フロチャートを示す。
【図９】図９は、本発明の各実施形態に係る各種フロチャートを示す。
【図１０】図１０は、本発明の各実施形態に係る各種フロチャートを示す。
【図１１】図１１は、本発明の各実施形態に係る各種フロチャートを示す。
【図１２】図１２は、本発明の各実施形態に係る各種フロチャートを示す。
【図１３】図１３は、本発明の各実施形態に係る各種フロチャートを示す。
【図１４】図１４は、本発明の各実施形態に係る各種フロチャートを示す。
【図１５】図１５は、本発明の各実施形態に係る各種フロチャートを示す。
【図１６】図１６は、本発明の各実施形態に係る各種フロチャートを示す。
【図１７】図１７は、本発明の各実施形態に係る各種フロチャートを示す。
【図１８】図１８は、本発明の各実施形態に係る各種フロチャートを示す。
【図１９】図１９は、本発明の各実施形態に係る各種フロチャートを示す。
【図２０】図２０は、本発明の各実施形態に係る各種フロチャートを示す。
【図２１】図２１は、本発明の各実施形態に係る各種フロチャートを示す。
【図２２】図２２は、本発明の各実施形態に係る各種フロチャートを示す。
【図２３】図２３は、本発明の各実施形態に係る各種フロチャートを示す。
【発明を実施するための形態】
【００８５】
図１は本発明の実施形態を示す。網膜眼底画像Ｉが入力されると、ブロック１００において画像正規化を実行して、正規化画像Ｉ′を生成する。この正規化工程は、Ｉにおいて網膜ディスクを特定し、一定のサイズにリサイズすることを含む。具体的には、ｐ×ｐ画素の画像において、直径ｐ画素となるようにする。なお、一般的にｐ＝１０２４となる。これを図２（Ａ）から２（Ｄ）に示す。図２（Ａ）と２（Ｃ）は、正規化前網膜眼底画像Ｉを示し、図２（Ｂ）および２（Ｄ）は対応する正規化網膜眼底画像Ｉ'を示す。網膜ディスクの自動検出は、単純な作業である。即ち、均一に比較的暗い背景において、比較的明るいディスクを検出すればよい。したがって、エッジ検出や、円形ハフ変換等、多数の既知の画像処理技術が利用できる。このような技術の詳細については、Ｒｕｓｓ，Ｊｏｈｎ  Ｃ．Ｔｈｅ  ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ  ｈａｎｄｂｏｏｋ．ＣＲＣ  ｐｒｅｓｓ，２０１６を参照されたい。
【００８６】
続いて図１のブロック１１０において、正規化画像Ｉ'から網膜領域が抽出される。この処理は、網膜ディスクから小さな網膜領域を抽出することを含む。本発明のいくつかの実施形態において、これら領域は網膜ディスク内全体となるが、本発明の別の実施形態では、これら領域は部分的に網膜ディスク内の一部であってもよい。具体的には、例えば網膜画素の内の少なくとも５０％または７５％を占めるものであってもよい。本発明のいくつかの実施形態において、これら領域は、直径ｑ画素の円形であってもよい（ｑ＝３２またはｑ＝６４）。本発明の別の実施形態においては、これら領域は大きさがｑ×ｑ画素の正方形であってもよい（ｑ＝３２またはｑ＝６４）。本発明の更なる実施形態においては、例えば六角形のようなさらに異なる形状の領域が利用されてもよい。
【００８７】
実際、同領域は任意の形状の連続的な画素領域であればよい。ただし、場合によっては非連続的な形状の領域となり得る。さらに、画素以外の領域についての画像情報も分析対象となり得る。
【００８８】
図３は、正規化画像Ｉ'から抽出された２つの円形網膜領域Ｒα＝Ｒ（ｘ，ｙ）（中心
点：（ｘ，ｙ）＝（５７９，２０９））、およびＲβ＝Ｒ（ｘ，ｙ）（中心点：（ｘ，ｙ）＝（６０３，２２６））を示す。図４は、正規化画像Ｉ'から抽出された２つの正方形網膜領域Ｒα＝Ｒ（ｘ，ｙ）（中心点：（ｘ，ｙ）＝（７５７，３２７））、およびＲβ＝Ｒ（ｘ，ｙ）（中心点：（ｘ，ｙ）＝（７８２，３６３））を示す。いずれの場合でも、領域は通常、矩形パターンで、ある程度重複して抽出される。例えば、左上隅からｓ個画素の移動幅でずらしながら、順次領域を抽出する。右上隅に到達すると、ｓ個画素分下にずらして、さらに左端から右端へとｓ個画素の移動幅でずらしながら、順次領域を抽出する（以後同様）。通常、ｓは小さい値をとる。即ち、典型的には、１から数画素の間である。本発明の別の実施形態では、ｓの値はさらに大きくてもよく、領域同士も重複しないように抽出してもよい。いずれの場合でも、ブロック１１０によりｎ個の網膜領域Ｒ0，…，Ｒn-1組が生成される。これらは、まとめてＲと称される。さらに正規化画像Ｉ'の（ｘ，ｙ）を中心点としたＲk＝Ｒ（ｘ，ｙ）とも称される。
【００８９】
次に、図１のブロック１２０の動作を考える。図１のブロック１２０では、網膜領域全てを個別に、そして各領域Ｒkについて分析する。そして、ＤＲ病変分類ベクトル
【数１】
2020518915.tif 000003
が生成される。ここで、ｌは、ブロック１２０の分類器を訓練した分類数を示し、
【数２】
2020518915.tif 000004
は領域ｋの分類ｃに対するクラス所属確率を示す。
【００９０】
第１の例として、本発明の一実施形態において、ブロック１２０における分類器は、領域をｌ＝２クラスに分類するように訓練される。ここで、ｃ＝０は「健常」クラスラベルとなり、ｃ＝１は「病気」クラスラベルとなる。
【００９１】
第２の例として、本発明の別の実施形態において、ブロック１２０における分類器は、領域をｌ＞２クラスに分類するように訓練されてもよい。ここで、ｃ＝０は「健常」クラスラベル、ｃ＝１は「微小動脈瘤」クラスラベル、ｃ＝２は「硬性白斑」クラスラベル、…、ｃ＝ｌ−１は「レーザー傷」クラスラベルとなる。したがって、そのような実施形態では、網膜眼底画像に映り得る異なる様々な種類の病変、アーチファクト、傷に対して、それぞれ別個のクラスラベルが割り当てられる。
【００９２】
このように、本発明の異なる実施形態では、分類器が様々な数のクラスに対して訓練される。これにより、ＤＲ病変検出および／または検出されたＤＲ病変特定性能が可能な限り引き上げられる。いずれの場合にも、本発明の様々な実施形態において、ブロック１２０の分類器は、
【数３】
2020518915.tif 000005
をクラス所属確率ではなく二値（０または１）で出力するように構成され得る。ここで、Ｄkはクラス確率分布ではなく、分類判定ベクトルとなる。
【００９３】
次に、図１のブロック１２０の構造をより詳細に検討する。本発明の一実施形態において、図１のブロック１２０は図５に示す構造を有する。ブロック５００において、任意で網膜領域が正規化される。この任意の正規化は、例えば、平均減算（各網膜領域の各カラーチャネルの平均強度の値が０となる）、またはその他何らかの平均調整（各網膜領域の各カラーチャネルの平均強度が特定の値をとる）、または何らかの幾何正規化（例えば、回転正規化であって、各領域が、質量中心が特定の角度となるように回転される）を含む。即ち、各網膜領域Ｒkについて、ブロック５００で正規化領域Ｒ'kが生成される。そして、ブロック５１０においてＣＮＮを利用して、各領域Ｒ'kが分類され、分類ベクトルＤkが生成される。ＣＮＮの訓練には、多数の訓練用サンプル、即ち訓練用ラベル付き領域が使用されているが、上述のように、本発明の様々な実施形態によると、２つのクラスのみ（例えば「健常」および「病気」）或いは２つ以上のクラス（例えば「健常」、「微小動脈瘤」、「硬性白斑」等）のみによりにより訓練される。そして、いずれの場合でも、ＣＮＮはクラス確率判定または分類判定ベクトルとしてＤkを出力し得る。
【００９４】
図６は、図５のブロック５１０の構造をより詳細に示す。図６に示すように、各領域Ｒkは個別に処理されて、その分類ベクトルＤkが生成される。図６に示すＣＮＮは一般的な構造である。即ち、入力を学習済み畳み込みマスクにより畳み込む多くの畳み込み層と、プーリング層（即ち空間的サブサンプリング層）が交互に配置され、それに多数の全結合層が続き、領域Ｒkに対してＤＲ病変分類ベクトルＤkが生成される。ＣＮＮの原理（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｖｏｌｕｔｉｏｎａｌ＿ｎｅｕｒａｌ＿ｎｅｔｗｏｒｋ）は本明細書に記載しないが、それに関する数多くの刊行物が存在する（例えば、Ｋｒｉｚｈｅｖｓｋｙ，Ａｌｅｘ，Ｉｌｙａ  Ｓｕｔｓｋｅｖｅｒ，ａｎｄ  Ｇｅｏｆｆｒｅｙ  Ｅ．Ｈｉｎｔｏｎ．“Ｉｍａｇｅｎｅｔ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｗｉｔｈ  ｄｅｅｐ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ．”Ａｄｖａｎｃｅｓ  ｉｎ  ｎｅｕｒａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｐｒｏｃｅｓｓｉｎｇ  ｓｙｓｔｅｍｓ．２０１２）。
【００９５】
本発明の別の実施形態では、図１のブロック１２０は、図７に示す構造を有する。ブロック７００は任意のもので、図５のブロック５００と同様に動作する。即ち、各網膜領域Ｒkについて、ブロック７００では正規化領域Ｒ'kが生成される。そして、ブロック７
１０において、ＣＮＮを利用して、各領域Ｒ'kについて際立った特徴の高次ベクトルＶ
kが生成される。
【００９６】
図８は、ブロック７１０の構造を示す。図８に示すように、特徴ベクトルＶkの生成に利用されるＣＮＮは、図６に示すものと同一である。即ち、最後の全結合分類層の前の何れかの層からの出力として、Ｖkが得られる。そして、図７を再度参照すると、ブロック７２０において、分類器により特徴ベクトルＶkが分類されて、分類ベクトルＤkが生成される。ブロック７２０に利用される分類器は各種存在する。即ち、事前に訓練用ラベル付き領域組の特徴ベクトルで訓練された２クラスまたは多クラスサポートベクターマシン（ＳＶＭ）または勾配ブースティング分類器（ＧＢＣ）である。上述のように、本発明の異なる複数の実施形態では、２つまたはそれ以上のクラスで訓練された分類器が利用され、クラス確率判定または分類判定ベクトルとしてＤkを出力してもよい。ＳＶＭ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｕｐｐｏｒｔ＿ベクトル＿ｍａｃｈｉｎｅ）およびＧＢＣ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｇｒａｄｉｅｎｔ＿ｂｏｏｓｔｉｎｇ）の原理は本明細書に記載しないが、それに関する数多くの刊行物が存在する（例えば、Ｂｕｒｇｅｓ，Ｃｈｒｉｓｔｏｐｈｅｒ  ＪＣ．“Ａ  ｔｕｔｏｒｉａｌ  ｏｎ  ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅｓ  ｆｏｒ  ｐａｔｔｅｒｎ  ｒｅｃｏｇｎｉｔｉｏｎ．”Ｄａｔａ  ｍｉｎｉｎｇ  ａｎｄ  ｋｎｏｗｌｅｄｇｅ  ｄｉｓｃｏｖｅｒｙ  ２．２（１９９８）：１２１−１６７  ａｎｄ  Ｓｃｈａｐｉｒｅ，Ｒｏｂｅｒｔ  Ｅ．，ａｎｄ  Ｙｏａｖ  Ｆｒｅｕｎｄ．Ｂｏｏｓｔｉｎｇ：Ｆｏｕｎｄａｔｉｏｎｓ  ａｎｄ  ａｌｇｏｒｉｔｈｍｓ．ＭＩＴ  ｐｒｅｓｓ，２０１２）。
【００９７】
本発明の別の実施形態において、図１のブロック１２０は、図９に示す構造を有する。ブロック９００は任意のもので、図５のブロック５００または図７のブロック７００と同様に動作する。即ち、各網膜領域Ｒkについて、ブロック９００では正規化領域Ｒ'kが生成される。そして、ブロック９１０では、線形判別分析（ＬＤＡ  ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｌｉｎｅａｒ＿ｄｉｓｃｒｉｍｉｎａｎｔ＿ａｎａｌｙｓｉｓ）または主成分分析（ＰＣＡ  ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｐｒｉｎｃｉｐａｌ＿ｃｏｍｐｏｎｅｎｔ＿ａｎａｌｙｓｉｓ）等の次元削減技術により、各領域Ｒ'kの次元削減表現を生成し、当該領域の特徴ベクトルＶkが生成される。そしてブロック９２０において、分類器により各特徴ベクトルＶkが分類されて、分類ベクトルＤkが生成される。上述の実施形態同様、トレーニング用ラベル付き領域組の、特徴ベクトルで事前に訓練された二値または他クラスＳＶＭまたは勾配ブースティング分類器が特に好ましい。上述のように、本発明の異なる複数の実施形態では、２つまたはそれ以上のクラスで訓練された分類器が利用され、クラス確率判定または分類判定ベクトルとしてＤkを出力してもよい。
【００９８】
次に、図１のブロック１３０の動作を検討する。図１のブロック１３０では、網膜領域全てを個別に、そして各領域Ｒkについて分析する。そして、品質分類ベクトル
【数４】
2020518915.tif 000006
が生成される。ここで、ｍは、ブロック１３０の分類器を訓練した分類数を示し、
【数５】
2020518915.tif 000007
は領域ｋの分類ｚに対するクラス所属確率を示す。第１の例として、本発明の一実施形態において、ブロック１３０における分類器は、領域をｍ＝２クラスに分類するように訓練されてもよい。ここで、ｚ＝０は「高品質」クラスラベルで、ｚ＝１は「低品質」クラスラベルである。第２の例として、本発明の別の実施形態では、ブロック１３０における分類器は、領域をｍ＞２クラスに分類するように訓練されてもよい。ここで、ｚ＝０は「高品質」クラスラベルで、ｚ＝１は「輝度不良」クラスラベルで、ｚ＝２は「コントラスト不良」クラスラベルで、…、ｚ＝ｍ−１は「レンズフレア」クラスラベルとなる。
【００９９】
したがって、そのような実施形態では、網膜眼底画像に映り得る異なる様々な種類の品質アーチファクトおよび撮像アーチファクト、それぞれ別個のクラスラベルが割り当てられる。本発明の各種実施形態では、分類器が様々な数のクラスに対して訓練される。これにより、網膜領域の品質評価性能が可能な限り引き上げられる。なお、領域品質分類器のクラス数は、ＤＲ病変分類器のクラス数選択から独立して選択される。いずれの場合にも、本発明の様々な実施形態において、ブロック１３０の分類器は、
【数６】
2020518915.tif 000008
をクラス所属確率ではなく二値（０または１）で出力するように構成され得る。ここで、Ｑkはクラス確率分布ではなく、分類判定ベクトルとなる。
【０１００】
次に、図１のブロック１３０の構造をより詳細に検討する。本発明の一実施形態において、図１のブロック１３０は、図１０に示す構造を有する。ブロック１０００において、任意で網膜領域が正規化される。この任意の正規化は、例えば強度または形状正規化を含む。即ち、各網膜領域Ｒkについて、ブロック１０００で正規化領域Ｒ'kが生成される。そして、ブロック１０１０においてＣＮＮを利用して、各領域Ｒ'kが品質に応じて分類され、品質分類ベクトルＱkが生成される。ＣＮＮの訓練には、多数の訓練用サンプル、即ち訓練用ラベル付き領域が使用されているが、上述のように、本発明の様々な実施形態によると、２つのクラスのみ（例えば「高品質」および「低品質」）或いは２つ以上のクラス（例えば「高品質」、「照明不良」、「コントラスト不良」等）のみにより訓練される。そして、いずれの場合でも、ＣＮＮはクラス確率判定または分類判定ベクトルとしてＱkを出力し得る。
【０１０１】
図１１は、ブロック１０１０のＣＮＮの内部構造を示す。これは上述した図６のＣＮＮ構造と実質的に同じである。ただし、サイズ、幅、フィルタ数、学習済み畳み込みマスク、畳み込み層数、全結合層数等のネットワークパラメータが異なり得る。
【０１０２】
本発明の別の実施形態では、図１のブロック１３０は、図１２に示す構造を有する。ブロック１２００は任意のもので、図１０のブロック１０００と同様に動作する。即ち、各網膜領域Ｒkについて、ブロック１２００では正規化領域Ｒ'kが生成される。そして、ブロック１２１０において、ＣＮＮを利用して、各領域Ｒ'kについて際立った特徴の高次ベクトルＶkが生成される。
【０１０３】
図１３は、このＣＮＮの内部構造を示す。図１３に示すように、特徴ベクトルＶkの生成に利用されるＣＮＮは、図１１に示すものと同一である。即ち、最後の全結合分類層の前の何れかの層からの出力として、Ｖkが得られる。そして、図１２を再度参照すると、ブロック１２２０において、分類器により特徴ベクトルＶkが分類されて、分類ベクトルＱkが生成される。この分類器は、事前に訓練用ラベル付き領域組の特徴ベクトルで訓練された２クラスまたは多クラスＳＶＭまたはＧＢＣである。上述のように、本発明の異なる複数の実施形態では、２つまたはそれ以上のクラスで訓練された分類器が利用され、クラス確率判定または分類判定ベクトルとしてＱkを出力してもよい。
【０１０４】
本発明の別の実施形態において、図１のブロック１３０は、図１４に示す構造を有する。図１４に示すように、各領域Ｒkの品質評価が、異なる複数の技術により異なる基準（輝度、コントラスト、ぼけ等を含むがこれらに限定されない）で行われる。この領域品質分析には、公知の各種画像処理技術が利用されてもよい。ブロック１４００の輝度品質測定基準は、例えば
【数７】
2020518915.tif 000009
で計算される。式中、ｆは平均領域強度を示し、τLおよびτHはそれぞれ領域における最低および最高許容強度を示す。ブロック１４１０のコントラスト品質測定基準は適切な技術により計算され得る。例えば次の文献内のいずれかの技術である：Ｔｒｉｐａｔｈｉ，Ａｂｈｉｓｈｅｋ  Ｋｕｍａｒ，Ｓｕｄｉｐｔａ  Ｍｕｋｈｏｐａｄｈｙａｙ，ａｎｄ  Ａｓｈｉｓ  Ｋｕｍａｒ  Ｄｈａｒａ．“Ｐｅｒｆｏｒｍａｎｃｅ  ｍｅｔｒｉｃｓ  ｆｏｒ  ｉｍａｇｅ  ｃｏｎｔｒａｓｔ．”Ｉｍａｇｅ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＩＰ），２０１１  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ．ＩＥＥＥ，２０１１，ｎｏｒｍａｌｉｚｅｄ  ｔｏ［０，１］。同様に、ブロック１４２０のぼけ品質測定基準は適切な技術により計算され得る。例えば次の文献内の技術である：Ｍａｒｚｉｌｉａｎｏ，Ｐｉｎａ，ｅｔ  ａｌ．“Ａ  ｎｏ−ｒｅｆｅｒｅｎｃｅ  ｐｅｒｃｅｐｔｕａｌ  ｂｌｕｒ  ｍｅｔｒｉｃ．”Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ．２００２．Ｐｒｏｃｅｅｄｉｎｇｓ．２００２  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ．Ｖｏｌ．３．ＩＥＥＥ，２００２，ｎｏｒｍａｌｉｚｅｄ  ｔｏ［０，１］。
【０１０５】
最後に、ブロック１４３０において、輝度、コントラスト、ぼけ等の測定基準に基づいて、「高品質」測定基準が
【数８】
2020518915.tif 000010
で計算され、最終品質評価ベクトルＱkが各領域Ｒkについて計算される。
【０１０６】
次に、図１のブロック１４０の動作について検討する。図１のブロック１４０では、ＤＲ病変分類ベクトルＤkおよび品質分類ベクトルＱkが分析され、調整済みＤＲ病変分類ベクトルＤ''kが生成される。この動作は、主に３つの工程を含む。具体的には、まず（１）ＤＲ病変分類ベクトル空間確率調整。この工程は任意である。各ＤＲ病変分類ベクトルＤkは網膜領域Ｒkに対応し、上述のように各Ｒk＝Ｒ（ｘ，ｙ）は、正規化画像Ｉ'の画素（ｘ，ｙ）を中心とした網膜領域である。したがって、Ｉ'の画素（ｘ，ｙ）を中心とした網膜領域Ｒkに対応する各ＤＲ病変分類ベクトルＤkの値を、例えば（ｘ，ｙ）を中心に距離ｄ内の周辺領域の病変分類ベクトルに基づいて、調整可能である。この調整は、例えばフィルタリング、中央値フィルタリング等の形式であってもよく、網膜眼底画像に対してよりロバストで信頼性の高いＤＲ病変分類ベクトルの作成において好ましい。次に（２）品質分類ベクトル確率調整。この工程は任意であり、工程（１）と同じ原理であるが、動作実行対象は品質分類ベクトルＱとなる。そして（３）品質分類ベクトルに基づくＤＲ病変分類ベクトル調整である。
【０１０７】
次に、図１のブロック１４０の構造の詳細を検討する。図１５は、図１のブロック１４０の構造を示す。ブロック１５００において、ＤＲ病変分類ベクトル空間確率調整が実行される。即ち、Ｉ'の画素（ｘ，ｙ）を中心とした網膜領域Ｒkに対応する各ＤＲ病変分類ベクトルＤkの値が、例えば（ｘ，ｙ）を中心に距離ｄ内の周辺領域のＤＲ病変分類ベクトルに基づいて、調整可能である。この調整は、例えば平均値、中央値、最小値、最大値またはその他フィルタリングであって、調整済みＤＲ病変分類ベクトルＤ'kが生成される。これは次のように捉えることもできる。即ち、画像Ｉ'に対して、ｌ個の空間確率マップが生成され得る。ここで、ｌはＤにおけるＤＲ分類ラベル数である。例えば、ｌ＝２個クラスの場合、ｃ＝０を「健常」クラスラベルとして、ｃ＝１を「病気」クラスラベルとして、「健常」確率マップDRＰ0および「病気」確率マップDRＰ1が生成され得る。そして、Ｉ'の画素（ｘ，ｙ）を中心とした網膜領域Ｒkに対応する各ＤＲ病変分類ベクトルＤkについて、
【数９】
2020518915.tif 000011
となる。式中、ｓは領域抽出におけるサンプリング単位を示す。そして各DRＰcが空間処理（例えば、平均値、中央値、最小値、最大値またはその他フィルタ）、或いはその他モルフォロジー演算（膨張、収縮等）を行って、調整済み確率マップDRＰ'cが生成される。これを、調整済みＤＲ病変分類ベクトルＤ'kにマッピングできる。ブロック１５００と同様に、ブロック１５１０において品質分類ベクトル空間確率調整が実行される。最後に、図１５のブロック１５２０において、品質分類ベクトルに基づいて、ＤＲ病変分類ベクトル調整が実行される。この調整は様々な方法で行われ得る。
【０１０８】
一例として、各Ｄ'kと、ｌ個のＤＲクラスの内の各クラスラベルｃに対して、この調
整は以下のように実行され得る。
【数１０】
2020518915.tif 000012
式中、
【数１１】
2020518915.tif 000013
は領域Ｒkに対する「高品質」クラス確率を示す。原則として、上記関係において、領域Ｒkに対する「高品質」クラス確率が０．５未満であれば、領域Ｒkに対する全てのＤＲ分類ベクトル確率は０に下げられる。即ち、品質が低すぎるので、当該領域に対して、システムはＤＲ分類確率を一切出さない。
【０１０９】
別の例として、各Ｄ'kと、ｌ個のＤＲクラスの内の各クラスラベルｃに対して、この
調整は以下のように実行され得る。
【数１２】
2020518915.tif 000014
式中、
【数１３】
2020518915.tif 000015
は領域Ｒkに対する「高品質」クラス確率を示す。この関係において、低品質によりＤＲ分類確率を０に下げる切り捨ては、より漸進的に判断される。
【０１１０】
上述の例では、各Ｄ'kは、対応するＱ'kに基づく。発明の別の実施形態では、Ｉ'の画素（ｘ，ｙ）を中心とした網膜領域Ｒkに対応する各Ｄ'kは、対応するＱ'kと、例えば（ｘ，ｙ）を中心に距離ｄ内の周辺領域の病変分類ベクトルに基づいて、調整可能である。
【０１１１】
次に、図１のブロック１５０の動作を考える。図１のブロック１５０では、ＤＲ病変分類ベクトルＤ''が分析され、最終段階網膜眼底画像ＤＲ分類ベクトルＣ＝（Ｃ0，…，Ｃw-1）が生成される。ここで、ｗはクラスの数、Ｃvはクラスｖのクラス所属確率を示す。本発明の一実施形態において、ｗ＝２で、ｖ＝０は「健常」クラスラベルを示し、ｖ＝１は「病気」クラスラベルを示す。第２の例として、本発明の別の実施形態において、ｗ＝４クラスで、各クラスは、対応するＤＲの医学的段階に対応する。いずれの場合でも、本発明の別の実施形態において、Ｃvは二値で０または１の値であってもよく、その場合、Ｃはクラス確率分布ではなく分類判定ベクトルとなる。
【０１１２】
次に、図１のブロック１５０の構造をより詳細に検討する。本発明の一実施形態において、図１のブロック１５０は図１６の構造を有する。図１６のブロック１６００では、例えば以下のようにＤＲ病変分類ベクトル確率は閾値処理される。
【数１４】
2020518915.tif 000016
【０１１３】
そして、ブロック１６１０において、Ｄ'''は空間処理されて、Ｄ''''が生成される。このブロックは、図１５のブロック１５００と同様に動作する。即ち、中央値フィルタリング、膨張、収縮等の動作が行われる。本発明の別実施形態では、ブロック１６１０は省略されてもよいし、さらに異なる実施形態では、ブロック１６００、１６１０の順序を逆にしてもよい。次に、ブロック１６２０において、Ｄ''''内の各クラスラベルｌに対する領域数が数えられる。上述のように、本発明のいくつかの実施形態では、ｌ＝２クラスで、ｃ＝０は「健常」クラスラベルで、ｃ＝１は「病気」クラスラベルとなる。本発明の別の実施形態では、ｌ＞２クラスで、ｃ＝０は「健常」クラスラベルを示し、ｃ＝１「微小動脈瘤」クラスラベルを示し、ｃ＝２は「硬性白斑」クラスラベルを示し、…、ｃ＝ｌ−１は「レーザー傷」クラスラベルを示す。したがって、ブロック１６２０では、ベクトルＧ＝（Ｇ0，…，Ｇl-1）が生成される。各要素Ｇcは、対応するラベルｃに対する領域数である。そして、領域数ベクトルＧに基づいて、ブロック１６３０で最終網膜眼底画像分類判定ベクトルＣ＝（Ｃ0，…，Ｃw-1）が生成される。ここで、ｗはクラス数で、Ｃvはクラスｖに対する判定を示す。上述のように、本発明の一実施形態において、ｗ＝２で、ｖ＝０は「健常」クラスラベルを示し、ｖ＝１は「病気」クラスラベルを示す。本発明の別の実施形態において、ｗ＝４クラスで、各クラスは、網膜眼底画像においける異なるＤＲ病変の種類の数に基づいて定義可能な、対応するＤＲの医学的段階に対応する。
【０１１４】
本発明の別の実施形態では、図１のブロック１５０は図１７の構造を有する。図１７のブロック１７００において、ＤＲ病変分類ベクトルＤ''は、ｌ個の２Ｄ確率マップに変換される。ｌはＤ''におけるＤＲ分類ラベル数を示す。ＤＲ分類ベクトルを二次元確率マップに変換する処理は、上述した図１５のブロック１５００の処理と実質的に同じである。二次元確率マップの作成時、ブロック１７００においては、（ｉ）確率のダイナミックレンジの変更（例えば、実際の範囲［０，１］から全範囲［０，２５５］に）および（ｉ）２Ｄ確率マップのｔ×ｔ画素による固定解像度へのサブサンプリング（例えば、ｔ＝５６画素）が行われてもよい。したがって、ブロック１７００はｌ個の２Ｄ確率マップＰ＝（Ｐ0，…，Ｐl-1）を生成する。次に、ブロック１７１０において、ＣＮＮを利用して確率マップＰが分類されて、最終段階網膜眼底画像ＤＲ分類ベクトルＣ＝（Ｃ0，…，Ｃw-1）が生成される。ここで、ｗはクラスの数、Ｃvはクラスｖのクラス所属確率を示す。ＣＮＮは事前に大量の訓練用サンプルで訓練されている。上述のように本発明の異なる実施形態では、ＣＮＮは異なる数のクラスで訓練されてもよい、例えば、ｗ＝２で、ｖ＝０は「健常」クラスラベルを示し、ｖ＝１は「病気」クラスラベルを示す。或いは、ｗ＝４クラスで、各クラスは、対応するＤＲの医学的段階に対応する。いずれの場合でも、本発明の別の実施形態において、Ｃvは０か１かの二値であり、Ｃは所属確率分布ではなく、分類判定ベクトルとなる。図１８は、ブロック１７１０のＣＮＮの内部構造を示す。これは上述した図６および図１１のＣＮＮ構造と実質的に同じである。ただし、サイズ、幅、フィルタ数、学習済み畳み込みマスク、畳み込み層数、全結合層数等のネットワークパラメータが異なり得る。
【０１１５】
本発明の別の実施形態では、図１のブロック１５０は図１９に示す構造を有する。ブロック１９００は、図１７のブロック１７００と同様に動作する。そして、ブロック１９１０において、ＣＮＮを利用して、際立った特徴の高次ベクトルＶが生成される。図２０はこのＣＮＮの内部構造を示す。図２０に示すように、特徴ベクトルＶ、の生成に利用されるＣＮＮは、図１８に示すものと同一である。即ち、最後の全結合分類層の前の何れかの層からの出力として、Ｖが得られる。そして、図１９を再度参照すると、ブロック１９２０において、分類器により特徴ベクトルＶが分類されて、分類ベクトルＣが生成される。この分類器は、事前に訓練用サンプル組の特徴ベクトルで訓練された二値または多クラスＳＶＭまたは勾配ブースティング分類器である。上述のように、本発明の異なる複数の実施形態では、２つまたはそれ以上のクラスで訓練された分類器が利用され、クラス確率判定または分類判定ベクトルとしてＣを出力してもよい。
【０１１６】
図２１は、本発明の別の実施形態を示す。ここで、ブロック２１００と２１１０は図１のブロック１００と１１０と実質的に同じように動作し、画像正規化と領域抽出が実行される。
【０１１７】
次に、図２１のブロック２１２０の動作を考える。図２１のブロック２１２０においては、全ての網膜領域は個別に分析され、各領域Ｒkについて、ＤＲ病変／品質分類合成ベクトル
【数１５】
2020518915.tif 000017
が生成される。上述のように、ｌはＤＲ病変クラスの数で、ｍは領域品質クラスの数である。即ち、ブロック２１２０における分類器の訓練において、各訓練用サンプルはＤＲ病変クラスラベルと品質クラスラベルの両方が割り当てられ、分類器が領域ＲkについてＤＲ病変／品質分類連結ベクトル
【数１６】
2020518915.tif 000018
を生成可能になる。上述のように、ブロック２１２０の分類器は、クラス所属確率ではなく二値（０または１）を出力するように構成され得る
【０１１８】
次に、図２１のブロック２１２０の構造の詳細を検討する。図２１のブロック２１２０は図２２に示す構造を有する。ブロック２２００では、図５のブロック５００または図７のブロック７００と実質的に同じように、網膜領域正規化が実行される。即ち、各網膜領域Ｒkについて、ブロック２２００では正規化領域Ｒ'kが生成される。次に、ブロック２２１０において、ＣＮＮを利用して、各領域Ｒ'kを分類して、分類ベクトルＡkが生成される。図２３は、図２２のブロック２２１０の構造をより詳細に示す。これは、上述の図６および図１１のＣＮＮの構造と実質的に同じである。ただし、サイズ、移動幅、フィルタ数、学習済み畳み込みマスク、畳み込み層数、全結合層数等のネットワークパラメータが異なり得る。
【０１１９】
次に、図２１に戻り、ブロック２１３０において、図１のブロック１４０と実質的に同じ用にして、領域ＤＲ病変確率調整が行われる。そして、ブロック２１４０において、図１のブロック１５０と実質的に同じようにして、網膜眼底画像分類が実行される。
【０１２０】
いくつかの実施形態では、撮像処理はコンピューティングシステムによって実行される。いくつかの実施形態では、コンピューティングシステムは、１つまたは複数のコンピューティングデバイス、例えば、ＩＢＭ、マッキントッシュ、マイクロソフトウィンドウズ（登録商標）、またはリナックス（登録商標）／ユニックスに対応するパーソナルコンピュータ、またはサーバまたはワークステーションを含む。一実施形態では、コンピューティングデバイスは、例えば、サーバ、ノートパソコン、スマートフォン、携帯情報端末、キオスク、またはメディアプレーヤーを含む。一実施形態では、コンピューティングデバイスは、１つまたは複数のＣＰＵを含み、各ＣＰＵは、従来のまたは独自のマイクロプロセッサを含んでもよい。コンピューティングデバイスは、情報の一時記憶用のランダムアクセスメモリ（「ＲＡＭ」）、情報の永久記憶用の１つ以上の読み取り専用メモリ（「ＲＯＭ」）、ハードドライブ、ディスケット、ソリッドステートドライブ、および光学式メディアストレージデバイス等の１つ以上の大容量記憶装置等の１つ以上のメモリをさらに含む。通常、コンピューティングデバイスのモジュールは、一般的なバスシステムを使用してコンピュータに接続される。異なる様々な実施形態では、一般的なバスシステムは、例えば、周辺機器相互接続（ＰＣＩ）、マイクロチャネル、小型コンピュータシステムインタフェース（ＳＣＳＩ）、産業標準アーキテクチャ（ＩＳＡ）および拡張ＩＳＡ（ＥＩＳＡ）アーキテクチャで実現できる。加えて、コンピューティングデバイスのコンポーネントおよびモジュールに対して設けられた機能は、組み合わされてより少ないコンポーネントおよびモジュールとされ得るか、さらに分割されて追加のコンポーネントおよびモジュールに設けられてもよい。
【０１２１】
コンピューティングデバイスは通常、Ｗｉｎｄｏｗｓ  ＸＰ、Ｗｉｎｄｏｗｓ  Ｖｉｓｔａ、Ｗｉｎｄｏｗｓ  ７、Ｗｉｎｄｏｗｓ  ８、Ｗｉｎｄｏｗｓ  Ｓｅｒｖｅｒ、Ｅｍｂｅｄｄｅｄ  Ｗｉｎｄｏｗｓ、Ｕｎｉｘ、Ｌｉｎｕｘ(登録商標)、Ｕｂｕｎｔｕ  Ｌｉｎｕｘ、ＳｕｎＯＳ、Ｓｏｌａｒｉｓ、ｉＯＳ、Ｂｌａｃｋｂｅｒｒｙ  ＯＳ、Ａｎｄｒｏｉｄ等のオペレーティングシステムソフトウェア、または他の対応するオペレーティングシステムによって制御および調整される。マッキントッシュシステムでは、オペレーティングシステムは、ＭＡＣ  ＯＳ  Ｘ等の利用可能な任意のオペレーティングシステムであり得る。他の実施形態では、コンピューティングデバイスは独自のオペレーティングシステムにより制御され得る。従来のオペレーティングシステムは、実行のためにコンピュータプロセスを制御およびスケジューリングし、メモリを管理し、ファイルシステム、ネットワーク、Ｉ／Ｏサービスを提供し、特にグラフィカルユーザインタフェース（ＧＵＩ）等のユーザインタフェースを提供する。
【０１２２】
例示的なコンピューティングデバイスは、キーボード、マウス、タッチパッド、タッチスクリーン、およびプリンタ等の１つまたは複数の一般的に利用可なＩ／Ｏインタフェースおよびデバイスを備えてもよい。一実施形態では、Ｉ／Ｏインタフェースおよびデバイスは、ユーザへのデータの視覚的提示を可能にするモニターまたはタッチスクリーンモニター等の１つ以上のディスプレイデバイスを備える。より具体的には、ディスプレイデバイスは、例えば、ＧＵＩ、アプリケーションソフトウェアデータ、およびマルチメディアプレゼンテーションを提示する。コンピューティングデバイスはまた、例えば、カメラ、スピーカ、ビデオカード、グラフィックスアクセラレータ、およびマイク等の１つまたは複数のマルチメディアデバイスを含んでもよい。Ｉ／Ｏインタフェースとデバイスは、さまざまな外部デバイスへの通信インタフェースを実現する。コンピューティングデバイスは、例えば有線、無線、または有線と無線の組み合わせの通信リンクを介して、ＬＡＮ、ＷＡＮ、および／またはインターネットの１つまたは複数を含むネットワークに電子的に結合される。ネットワークは、有線または無線の通信リンクを介して、さまざまなコンピューティングデバイスおよび／または他の電子デバイスと通信する。
【０１２３】
本明細書で説明される方法およびシステムにより処理される画像は、１つ以上のデータソースからネットワークを介してコンピューティングシステムに提供され得る。データソースは、１つ以上の内部および／または外部データベース、データソース、物理データストアを含む。データソースは、上記のシステムおよび方法に応じて、撮像システムで処理されるデータを格納するデータベースを含んでもよい。或いは、データソースは、上記のシステムおよび方法により、撮像システムで処理されたデータを格納するデータベースを含んでもよい。いくつかの実施形態では、データベース、データソースの一方または両方は、Ｓｙｂａｓｅ、Ｏｒａｃｌｅ、ＣｏｄｅＢａｓｅ、ＭｙＳＱＬ、およびＭｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬサーバ等のリレーショナルデータベース、ならびに以下のような他の種類のデータベースを使用して実現され得る。即ち、他の種類のデータベースの例は、フラットファイルデータベース、エンティティ関係データベース、リレーショナルデータベース、オブジェクト指向データベース、ＮｏＳＱＬデータベース、レコードベースのデータベース等を含む。
【０１２４】
コンピューティングシステムは、ＣＰＵによって実行される実行可能なソフトウェアコードとして大容量記憶装置に格納され得るイメージングシステムモジュールを備える。当該モジュールの例としては、ソフトウェアコンポーネント、オブジェクト指向ソフトウェアコンポーネント、クラスコンポーネントおよびタスクコンポーネント等のコンポーネント、プロセス、機能、属性、手順、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、配列および変数が挙げられる。コンピューティングシステムは、例えば、自動化された低レベル画像処理、自動化された画像レジストレーション、自動化された画像評価、自動化されたスクリーニングを実行するため、さらに／或いは上記の新しいアーキテクチャを実装するために、イメージングシステムモジュールを実行するように構成される。
【０１２５】
概して、本明細書で使用される「モジュール」という用語は、ハードウェアまたはファームウェアで実現されるロジック、または、例えばＰｙｔｈｏｎ、Ｊａｖａ（登録商標）、Ｌｕａ、Ｃおよび／またはＣ＋＋等のプログラミング言語で記述された、入口点と出口点を有し得るソフトウェア命令の集合を示す。ソフトウェアモジュールは、光学記憶媒体、フラッシュドライブ、またはその他の有形媒体等のコンピュータ可読媒体で実現されてもよい。このようなソフトウェアコードは、コンピューティングデバイスが実行されるように、コンピューティングシステム等の実行するコンピューティングデバイスのメモリデバイスに一部または全部保存され得る。前述のプロセス、方法、およびアルゴリズムのそれぞれは、１つまたは複数のコンピュータシステムまたはコンピュータハードウェアを含むコンピュータプロセッサによって実行されるコードモジュールで実現され、完全または部分的に自動化され得る。コードモジュールは、ハードドライブ、ソリッドステートメモリ、光ディスク等の任意の種類の非一時的なコンピュータ可読媒体またはコンピュータストレージデバイスに保存可能である。システムおよびモジュールは、無線式および有線／ケーブル式を含むさまざまなコンピュータ可読送媒体で、生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）送信可能なさまざまな形式をとり得る（例えば、単一または多重化されたアナログ信号の一部、または複数の個別のデジタルパケットまたはフレーム）。プロセスおよびアルゴリズムは、一部または全部、特定用途向け回路で実現できる。開示されたプロセスおよびプロセスステップの結果は、例えば揮発性または不揮発性ストレージ等の任意の種類の非一時的なコンピュータストレージに永続的にまたは別の方法で格納されてもよい。
【０１２６】
上述のさまざまな特徴およびプロセスは、互いに独立して使用することができる。或いは、各種組み合わせ可能である。すべての可能な組み合わせおよびサブコンビネーションは、本開示の範囲内に含まれることが意図される。さらに、特定の方法またはプロセスブロックは、形態によっては省略され得る。本明細書で説明する方法およびプロセスも特定の順序に限定されず、それに関連するブロックまたは状態は、適切な他の順序で実現することができる。例えば、説明されたブロックまたは状態は、具体的に開示された順序以外の順序で実現されてもよく、または複数のブロックまたは状態が単一のブロックまたは状態に組み合わされてもよい。例示的なブロックまたは状態は、順次、並行して、または他の何らかの方法で実現されてもよい。開示された例示的な実施形態にブロックまたは状態を追加または削除することができる。本明細書で説明する例示的なシステムおよびコンポーネントは、上記とは異なる構成である。例えば、開示された例示的な実施形態に対して、要素を追加、削除、または再配置することができる。
【０１２７】
「できる」、「可能である」、「得る」、「可能性がある」等の条件表現は概して、特に明記しない限り、または使用される文脈内で異なる理解がなされる場合を除いて、特定の実施形態が、別の実施形態に含まれない特定の特徴、要素、および／またはステップを含むことを意図している。したがって、そのような条件表現は概して、機能、要素および／またはステップが１つまたは複数の実施形態に何らかの形で必要であること、または１つまたは複数の実施形態が（ユーザ入力またはプロンプトの有無にかかわらず）これらの機能、要素、および／またはステップが特定の実施形態に含まれるまたはそれにより実行されるか否かを決定するためのロジックを必ず含むことを意味するものではない。また、「含む」という用語は、「含まれるがそれに限定されない」ことを意味し、「または」という用語は「および／または」を意味する。
【０１２８】
本書本明細書に記載の、および／または添付の図に示されているフローまたはブロック図のプロセス記述、要素、またはブロックは、モジュール、セグメント、または特定の論理機能を実装するための１つ以上の実行可能命令を含むコードの一部またはプロセスにおける工程を表し得るものとして理解されたい。その他形態は、本明細書に記載の実施形態の範囲内に含まれる。そして当業者により要素または機能は、関連する機能に応じて削除でき、図示または説明されたのと異なる順序で実行され得る。これは実質的に同時または逆の順序で行われることを含む。
【０１２９】
上記のすべての方法およびプロセスは、１つまたは複数の汎用コンピュータで実行されるソフトウェアコードモジュールで実施され、部分的または完全に自動化される。例えば、本明細書で説明される方法は、コンピューティングシステムおよび／または他の任意の適切なコンピューティングデバイスによって実行され得る。これらの方法は、有形のコンピュータ可読媒体から読み取られたソフトウェア命令または他の実行可能コードの実行に応じて、コンピューティングデバイス上で実行され得る。有形のコンピュータ可読媒体は、コンピュータシステムによって読み取り可能なデータを保存できるデータストレージデバイスである。コンピュータ可読媒体の例としては、リードオンリーメモリ、ランダムアクセスメモリ、その他の揮発性または不揮発性メモリデバイス、ＣＤ−ＲＯＭ、磁気テープ、フラッシュドライブ、および光学データストレージデバイスが挙げられる。
【０１３０】
上記の実施形態に対して多くの変形および修正を行うことができることが強調され、その要素は他の許容可能な例の中にあると理解されるべきである。そのような修正および変形はすべて、本開示の範囲内に含まれることが意図される。前述の説明は、特定の実施形態を詳述しているが、前述の内容が文面として如何に詳細に記載されていても、システムおよび方法は多様な実施が可能であることが理解されよう。例えば、一実施形態の特徴は、異なる実施形態の特徴と共に使用されてもよい。また、前述のように、システムおよび方法の特定の機能または態様を説明する際の特定の用語の使用は、その用語が関連するシステムおよび方法の特徴または態様の何らかの特定の特徴を含むように限定されるように、本明細書で再定義されていることを意味するものではないことに留意されたい。
【図１】
2020518915.tif 000019
【図２】
2020518915.tif 000020
【図３】
2020518915.tif 000021
【図４】
2020518915.tif 000022
【図５】
2020518915.tif 000023
【図６】
2020518915.tif 000024
【図７】
2020518915.tif 000025
【図８】
2020518915.tif 000026
【図９】
2020518915.tif 000027
【図１０】
2020518915.tif 000028
【図１１】
2020518915.tif 000029
【図１２】
2020518915.tif 000030
【図１３】
2020518915.tif 000031
【図１４】
2020518915.tif 000032
【図１５】
2020518915.tif 000033
【図１６】
2020518915.tif 000034
【図１７】
2020518915.tif 000035
【図１８】
2020518915.tif 000036
【図１９】
2020518915.tif 000037
【図２０】
2020518915.tif 000038
【図２１】
2020518915.tif 000039
【図２２】
2020518915.tif 000040
【図２３】
2020518915.tif 000041
【国際調査報告】
2020518915.tif 000042
2020518915.tif 000043
2020518915.tif 000044
2020518915.tif 000045