(57)【要約】  本来の診断対象が充分に写されていない領域が含まれていても、異常領域をより精度よく検知する。Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成を記憶するＣＮＮ構成記憶部１１と、ＣＮＮのパラメータを記憶するパラメータ記憶部１２と、診断対象が写された学習用画像において異常領域の識別に適していない不適当領域を所定の基準に基づいて検出する不適当領域検出部１３と、学習用画像を入力したＣＮＮの入力層において不適当領域に対応するユニットを無効化する不適当領域無効化部１４と、無効化が行われた状態においてＣＮＮの計算をＣＮＮのパラメータを用いて実行し、その計算結果および学習用画像に事前に付与された診断対象の異常性を表す情報に基づいて、損失値を計算する損失値計算部１５と、損失値に基づいてＣＮＮのパラメータを更新するパラメータ更新部１６とを備える。
2018008593.tif 000002
【特許請求の範囲】
【請求項１】
Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成を記憶するＣＮＮ構成記憶手段と、
前記ＣＮＮにおける学習対象のパラメータを記憶するパラメータ記憶手段と、
診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出する不適当領域検出手段と、
前記学習用画像を入力した前記ＣＮＮのネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化する不適当領域無効化手段と、
前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を前記パラメータを用いて実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算する損失値計算手段と、
前記損失値に基づいて前記パラメータ記憶手段の前記パラメータを更新するパラメータ更新手段と、
を備えた画像診断学習装置。
【請求項２】
前記診断対象が写された画像の学習サンプルに対して摂動処理を実施することにより、前記学習用画像を生成する摂動手段をさらに備えることを特徴とする請求項１に記載の画像診断学習装置。
【請求項３】
請求項１または請求項２に記載の画像診断学習装置を１つまたは複数の学習用画像に適用して更新された前記ＣＮＮの前記パラメータを記憶するパラメータ記憶手段と、
前記パラメータの更新の際に前記画像診断学習装置によって用いられたＣＮＮのネットワーク構成を記憶するＣＮＮ構成記憶手段と、
前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別するＣＮＮ識別手段と、
を備えた画像診断装置。
【請求項４】
前記診断対象画像における前記不適当領域を、所定の基準に基づいて検出する不適当領域検出手段と、
前記診断対象画像を入力した前記ＣＮＮの入力層のユニットのうち前記不適当領域に対応するユニットを無効化する不適当領域無効化手段と、
をさらに備え、
前記ＣＮＮ識別手段は、前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行することにより、前記診断対象画像における前記異常領域を識別することを特徴とする請求項３に記載の画像診断装置。
【請求項５】
前記ＣＮＮ識別手段は、前記診断対象画像に含まれる各部分領域について前記ＣＮＮを用いて前記識別を行うことにより、前記部分領域毎の識別結果を出力することを特徴とする請求項３または請求項４に記載の画像診断装置。
【請求項６】
前記ＣＮＮ識別手段は、前記ＣＮＮに前記診断対象画像の全域を入力し、前記ＣＮＮのネットワーク構成のうち特徴量が抽出される層までの構成を用いて前記ＣＮＮの計算を行うことにより、前記診断対象画像における前記異常領域に関連する特徴量を出力することを特徴とする請求項３または請求項４に記載の画像診断装置。
【請求項７】
コンピュータ装置が、
診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出し、
前記学習用画像を入力したＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化し、
前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算し、
前記損失値に基づいて前記ＣＮＮにおける学習対象のパラメータを更新する方法。
【請求項８】
診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出し、
前記学習用画像を入力したＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化し、
前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算し、
前記損失値に基づいて前記ＣＮＮにおける学習対象のパラメータを更新する、
ことをコンピュータ装置に実行させるプログラムを格納した記憶媒体。
【請求項９】
コンピュータ装置が、
１つまたは複数の学習用画像に対して請求項７に記載の方法を実行することにより更新された前記ＣＮＮの前記パラメータと、前記パラメータの更新の際に用いられたＣＮＮのネットワーク構成とを用いて、
前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別する方法。
【請求項１０】
１つまたは複数の学習用画像に対して請求項８に記載の記憶媒体に格納されたプログラムをコンピュータ装置に実行させることにより更新された前記ＣＮＮの前記パラメータと、前記パラメータの更新の際に用いられたＣＮＮのネットワーク構成とを用いて、
前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別することをコンピュータ装置に実行させるプログラムを格納する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、診断対象が写された診断対象画像において異常領域を検知する技術に関する。
【背景技術】
【０００２】
診断対象が写された画像において、診断対象が異常性を有する可能性がある領域を検知することを要求される分野がある。以下、診断対象が写された画像を、診断対象画像とも記載する。また、診断対象が異常性を有する可能性がある領域を、異常領域とも記載する。例えば、消化器系の癌やポリープといった病変を発見するための検診では、消化器内視鏡カメラを用いて内臓壁面が撮影された内視鏡画像を、専門医が目視で確認する作業が行われてきた。内視鏡カメラは管形状であって、それを体外から挿入して、抜き差ししたり回転したりすることにより、内臓壁面が撮影される。また、体内は暗いため、内視鏡カメラの先端にある照明で内臓壁面を照らしながら、撮影が行われる。【０００３】
ところが、診断対象画像には、様々な要因により、本来の診断対象が充分に写されていない領域が存在する場合がある。例えば、前述の消化器内視鏡カメラによる撮影の際には、内臓内に残っている消化物などの障害物が邪魔をする場合には、内臓壁面に水をかける等の作業が行われる。ただし、この場合には、光の鏡面反射が発生しやすいため、内臓壁面にテカりが頻繁に発生する。テカり箇所を含む内視鏡画像から病変を探すことは、専門知識や高い注意力が必要とされる難しい作業である。このように、本来の診断対象が充分に写されていない領域を含む診断対象画像からは、専門医であっても、時間をかけて注意深く観察しなければ、異常領域を見逃す可能性がある。【０００４】
そこで、診断対象をより鮮明に写す特殊な撮影方法を用いて、診断対象画像を得る方法がある。例えば、内視鏡カメラによる撮影の際に、内臓壁面に複数の特定の周波数の光を照射することで、内視鏡画像における血管や腺構造を強調する撮影方法がある。この撮影方法は、Narrow Band Imaging（登録商標）と呼ばれる（例えば、非特許文献１参照）。以下、Narrow Band Imagingを、ＮＢＩとも記載する。ＮＢＩによる内視鏡画像を用いれば、医師が病変を観察しやすくなる。ただし、この場合、通常画像よりも光量が減るため、常態的にＮＢＩによる撮像を行う事は、現実的ではない。その他の例としては、病変らしい箇所を見つけたあとに、その場所をズームして撮影する拡大内視鏡と呼ばれる内視鏡カメラが使われることもある。【０００５】
一方、診断対象画像の内容をコンピュータで認識することにより、異常領域の検知を支援する関連技術が知られている。例えば、非特許文献２の関連技術は、ＮＢＩによる内視鏡画像を入力として、当該内視鏡画像において事前に見つけられた病変部の領域について、その病期（腺腫、進行がん等）を診断する。この結果をうまく利用する事によって、医師が病変の有無を判断しやすくなることが期待される。このように、ＮＢＩによる内視鏡画像を入力として認識処理を行う場合には、比較的高い識別精度を得られることが知られている。なお、非特許文献２の関連技術は、血管の形状に関する特徴量を利用して病気の識別を行っている。特徴量としては、技術開発者によって設計された情報が利用される。【０００６】
また、診断対象画像における異常領域をコンピュータにより検知する際に利用する特徴量の抽出を、多量の実データを用いて学習する方法が、非特許文献３に記されている。これは、ニューラルネットワーク（以下、ＮＮとも記載する）の一種であるConvolutional Neural Networks（以下、ＣＮＮとも記載する）を利用した方法である。非特許文献３によれば、技術開発者により手作業で設計された特徴量を利用するよりも、高精度な識別率を達成できることが報告されている。【０００７】
ここで、ＮＮには、学習処理と識別処理とがある。図１４を参照して、これら処理について概略を説明する。図１４は、ＮＮのネットワーク構造を表現した図である。図１４において、丸は、ＮＮのユニットを表す。また、直線は、ユニット間が結合していることを表す。ユニットは、入力された値ｘに対して、重みｗとバイアスｂと活性化関数ｆとを用いて、式ｘ’＝ｆ（ｗ・ｘ＋ｂ）に従って出力値ｘ’を計算する。このｗおよびｂは、ユニット間の結合それぞれについて、異なる値を取りうる。ここで、「・」は積を表す。また、関数ｆ（）は、任意の単調増加関数である。なお、ユニット数、および、どのユニットとどのユニットを結合させるかは、技術開発者により事前に設計される。ＣＮＮは、これらのパラメータを層の中で一部共有する制約が加えられることにより、画像に対する一般的な畳み込み処理と同等の処理を実行できるよう構成される。ＣＮＮの中間層としては、いくつもの種類が知られている。例えば、Ｃｏｎｖｏｌｕｔｉｏｎ層、Ｐｏｏｌｉｎｇ層、全結合層（線形結合層）などがある。【０００８】
図１４に示すＮＮの例は、多層のネットワーク構造となっている。例えば、入力層の各ユニット１〜Ｐ（Ｐは１以上の整数）に画像の画素値が入力され、中間層のユニットを経て、出力層の各ユニット１〜Ｎ（Ｎは１以上の整数）から識別結果が出力される。出力層の各ユニットには、識別結果を得たい異常領域の分類であるクラス情報が割り当てられる。そのようなクラス情報の例としては、非病変、ポリープ、がんといった分類が挙げられる。図１４では、このクラス情報については、画像認識分野では、ラベル、カテゴリまたは教師信号とも呼ばれることがある。学習処理では、事前に用意した多数のデータが繰り返し入力層に入力され、ネットワークのパラメータに基づいた計算が順に行われる。この計算は、Ｆｏｒｗａｒｄ計算と呼ばれる。また、Ｆｏｒｗａｒｄ計算による出力層の値と目標値との差（損失と呼ばれる）を最小化するように、逆方向に計算しながらパラメータ群が更新されていく。この計算は、Ｂａｃｋｗａｒｄ計算と呼ばれる。識別処理では、学習処理で求まったパラメータ群を利用してＦｏｒｗａｒｄ計算が実行され、識別結果が出力される。尚、ＣＮＮは、Ｃｏｎｖｏｌｕｔｉｏｎ層で畳み込み演算を実施し、Ｐｏｏｌｉｎｇ層でサンプリング処理を実施する。これらの処理は、入力画像から特徴量を抽出する処理とみなすことができる。さらに、その後の層における処理は、識別処理であるとみなす事もできる。つまり、１つのＣＮＮを学習することによって、特徴量抽出の設計（特徴量抽出用のパラメータ）と、識別パラメータとを、同時に求める事が可能だとも言える。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Olympus Corporation of the Americas, “Narrow Band Imaging”, [online], [2016年4月19日検索], インターネット, <http://medical.olympusamerica.com/technology/narrow-band-imaging>
【非特許文献２】Thomas Stehle, Roland Auer, Alexander Behrens, Jonas Wulff, TilAach, Ron Winograd, Christian Trautwein, Jens Tischendorf,“Classification of Colon Polyps in NBI Endoscopy Using Vascularization Features”, Proc. Of Medical Imaging 2009, Computer―Aided Diagnosis. Vol. 7260, 72602S, 2009
【非特許文献３】Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton, “ImageNet classification with deep convolutional neural networks” Advances in neural information processing systems, 2012.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述の関連技術には、以下の課題がある。【００１１】
非特許文献２の関連技術は、非特許文献１のＮＢＩによる内視鏡画像を用いて、識別を行う。また、非特許文献３の関連技術は、血管や腺構造が大きく鮮明に撮影されたＮＢＩによる内視鏡画像を用いることにより、対象を識別する能力がある特徴量を抽出する。【００１２】
しかしながら、前述したように、非特許文献１のＮＢＩによる撮像を、常態的に行う事は現実的ではない。このように、特殊機能によらない通常の撮影方法で得られた診断対象画像を入力とする場合、非特許文献２の関連技術を用いて、異常領域を精度よく検知することは難しい。また、特殊機能を持たない通常の撮影方法で得られた診断対象画像を入力とする場合、非特許文献３の関連技術を用いても、対象を識別する能力がある特徴量を抽出することは難しい。さらには、前述したテカり箇所のように、診断対象画像には、本来の診断対象が充分に写されていない領域が含まれることも多い。そのような診断対象画像を入力とする場合、非特許文献３の関連技術を用いて、対象を識別する能力がある特徴量を抽出することはさらに難しい。その結果、非特許文献３の関連技術を用いても、異常領域を精度よく検知することは難しい。【００１３】
本発明は、上述の課題を解決するためになされたものである。すなわち、特殊機能によらない通常の撮影方法で得られた診断対象画像において、本来の診断対象が充分に写されていない領域が含まれていても、異常領域をより精度よく検知する技術を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の画像診断学習装置は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成を記憶するＣＮＮ構成記憶部と、前記ＣＮＮにおける学習対象のパラメータを記憶するパラメータ記憶部と、診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出する不適当領域検出部と、前記学習用画像を入力した前記ＣＮＮのネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化する不適当領域無効化部と、前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を前記パラメータを用いて実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算する損失値計算部と、前記損失値に基づいて前記パラメータ記憶部のパラメータを更新するパラメータ更新部と、を備える。【００１５】
また、本発明の画像診断装置は、上述の画像診断学習装置を１つまたは複数の学習用画像に適用して更新された前記ＣＮＮの前記パラメータを記憶するパラメータ記憶部と、前記パラメータの更新の際に前記画像診断学習装置によって用いられたＣＮＮのネットワーク構成を記憶するＣＮＮ構成記憶部と、前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別するＣＮＮ識別部とを備える。【００１６】
また、本発明の方法は、コンピュータ装置が、診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出し、前記学習用画像を入力したＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化し、前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算し、前記損失値に基づいて前記ＣＮＮにおける学習対象のパラメータを更新する。【００１７】
また、本発明の記憶媒体に格納されたプログラムは、診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出し、前記学習用画像を入力したＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化し、前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算し、前記損失値に基づいて前記ＣＮＮにおける学習対象のパラメータを更新することをコンピュータ装置に実行させる。【００１８】
また、本発明の他の方法は、コンピュータ装置が、１つまたは複数の学習用画像に対して上述の方法を実行することにより更新された前記ＣＮＮの前記パラメータと、前記パラメータの更新の際に用いられたＣＮＮのネットワーク構成とを用いて、前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別する。【００１９】
また、本発明の他のプログラムは、１つまたは複数の学習用画像に対して上述のプログラムをコンピュータ装置に実行させることにより更新された前記ＣＮＮの前記パラメータと、前記パラメータの更新の際に用いられたＣＮＮのネットワーク構成とを用いて、前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別することをコンピュータ装置に実行させる。
【発明の効果】
【００２０】
本発明は、特殊機能によらない通常の撮影方法で得られた診断対象画像において、本来の診断対象が充分に写されていない領域が含まれていても、異常領域をより精度よく検知する技術を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施の形態としての画像診断学習装置の構成を示すブロック図である。
【図２】第１の実施の形態としての画像診断学習装置のハードウェア構成の一例を示す図である。
【図３】第１の実施の形態における不適当領域の無効化を模式的に説明する図である。
【図４】第１の実施の形態としての画像診断学習装置の動作を説明するフローチャートである。
【図５】第２の実施の形態としての画像診断学習装置の構成を示すブロック図である。
【図６】第２の実施の形態においてテカりが発生した内視鏡画像の一例を模式的に示す図である。
【図７】第２の実施の形態においてテカりが発生した内視鏡画像の輝度ヒストグラムの一例を示す図である。
【図８】第２の実施の形態としての画像診断学習装置の動作を説明するフローチャートである。
【図９】第３の実施の形態としての画像診断装置の構成を示すブロック図である。
【図１０】第３の実施の形態としての画像診断装置のハードウェア構成の一例を示す図である。
【図１１】第３の実施の形態としての画像診断装置の動作を説明するフローチャートである。
【図１２】第４の実施の形態としての画像診断装置の構成を示すブロック図である。
【図１３】第４の実施の形態としての画像診断装置の動作を説明するフローチャートである。
【図１４】関連技術におけるニューラルネットワークのネットワーク構造を模式的に示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２３】
（第１の実施の形態）
第１の実施の形態としての画像診断学習装置１の機能ブロック構成を図１に示す。図１において、画像診断学習装置１は、ＣＮＮ構成記憶部１１と、パラメータ記憶部１２と、不適当領域検出部１３と、不適当領域無効化部１４と、損失値計算部１５と、パラメータ更新部１６とを備える。画像診断学習装置１は、診断対象が写された画像における異常領域を識別するＣＮＮで用いられるパラメータを学習する装置である。ここで、異常領域とは、診断対象が写された画像において診断対象が異常性を有する可能性がある領域をいうものとする。
【００２４】
ここで、画像診断学習装置１は、図２に示すようなハードウェア要素によって構成可能である。図２において、画像診断学習装置１は、ＣＰＵ（Central Processing Unit）１００１およびメモリ１００２を含むコンピュータ装置によって構成される。メモリ１００２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）等によって構成される。この場合、ＣＮＮ構成記憶部１１およびパラメータ記憶部１２は、メモリ１００２によって構成される。また、不適当領域検出部１３、不適当領域無効化部１４、損失値計算部１５およびパラメータ更新部１６は、メモリ１００２に格納されるコンピュータ・プログラムを読み込んで実行するＣＰＵ１００１によって構成される。なお、画像診断学習装置１およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
【００２５】
ＣＮＮ構成記憶部１１は、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成を表す情報を記憶する。ネットワーク構成を表す情報とは、例えば、入力層の画像サイズとチャネル数、複数の中間層それぞれの種類とサイズと処理パラメータ、出力層のユニット数などの情報を含んでいてもよい。中間層の種類としては、前述したように、Ｃｏｎｖｏｌｕｔｉｏｎ層、Ｐｏｏｌｉｎｇ層、全結合層（線形結合層）などがある。また、処理パラメータの一例としては、次のものがある。例えば、Ｃｏｎｖｏｌｕｔｉｏｎカーネルのサイズ（幅、高さ、チャネル数）、Ｃｏｎｖｏｌｕｔｉｏｎ計算時のｓｔｒｉｄｅの幅、Ｃｏｎｖｏｌｕｔｉｏｎ計算時にサイズを調整するために画像端を特定値で埋める処理の有無、といったパラメータ等がある。
【００２６】
パラメータ記憶部１２は、上述したＣＮＮにおける学習対象のパラメータ群を記憶する。学習対象のパラメータ群としては、例えば、各ユニットの計算で用いられる重みおよびバイアスが挙げられる。これらのパラメータは、異常領域の特徴量を抽出するためのパラメータ、または、その特徴量を用いて異常領域を識別するためのパラメータとみなされるものである。
【００２７】
なお、パラメータ記憶部１２に記憶されるパラメータの初期値は、乱数であってもよい。また、パラメータの初期値は、他の画像認識応用のために学習された値でも構わない。例えば、パラメータの初期値が、動物や乗り物など一般物体を認識するためのパラメータや、画像中の模様を識別するために学習されたパラメータである場合、高い学習効果を得られることがあり、有用である。
【００２８】
不適当領域検出部１３は、診断対象が写された学習用画像において、異常領域の識別に不適切な領域である不適当領域を、所定の基準に基づいて検出する。不適当領域としては、例えば、本来の診断対象が充分に写されていない領域が適用される。この場合、不適当領域検出部１３は、本来の診断対象が充分に写されていないことを判定可能な条件を満たす領域を、不適当領域として検出すればよい。
【００２９】
なお、学習用画像は、例えば、診断対象が撮影された画像の部分画像であってもよい。また、学習用画像には、写されている診断対象に関する異常性を表す情報が、正解情報として付与されているものとする。異常性を表す情報とは、例えば、異常性を有する可能性があるか否かを表す情報であってもよい。また、異常性を表す情報とは、例えば、異常性を有する可能性がある場合にはその種類を表す情報であってもよい。また、異常性を表す情報とは、異常性がある可能性の高さを表す情報であってもよい。ただし、異常性を表す情報の内容は、これらに限らない。
【００３０】
不適当領域無効化部１４は、学習用画像を入力したＣＮＮのネットワーク構成において、入力層のユニットのうち不適当領域に対応するユニットを無効化する。学習用画像を入力するＣＮＮのネットワーク構成は、前述のＣＮＮ構成記憶部１１に記憶されている。ここで、不適当領域に対応する入力層のユニットの無効化について、図３の模式図を用いて説明する。ここでは、ＣＮＮのネットワーク構成が、図１４に示した構造であることを想定する。また、ＣＮＮの入力層には、学習用画像の各画素値が入力されるとする。この場合、不適当領域に含まれる画素が入力されるユニットは、図３に示すように無効化される。図中の三角印は、無効化されたユニットを表す。この例では、画素１および画素３が不適当領域に含まれている。そのため、画素１および画素３が入力される各ユニットが無効化されている。ＣＮＮの計算では、無効化されたユニットから隣の層のユニットへの接続が、存在しないものとして扱われる。図中の破線は、存在しないものとして扱われる接続を表している。なお、不適当領域無効化部１４による無効化は、一時的なものである。すなわち、不適当領域無効化部１４は、ある学習用画像について一部の入力層のユニットを無効化しても、他の異なる学習用画像を処理する時には、まず、無効化したユニットの無効化を解除する。その上で、不適当領域無効化部１４は、改めてその学習用画像における不適当領域に対応する入力層のユニットを無効化すればよい。
【００３１】
損失値計算部１５は、不適当領域に対応する入力層のユニットが無効化された状態において、ＣＮＮを学習するための損失値を、パラメータを用いて計算する。具体的には、損失値計算部１５は、不適当領域に対応する入力層のユニットが無効化された状態で、パラメータ記憶部１２に記憶されているパラメータを適用して、Ｆｏｒｗａｒｄ計算を行う。そして、損失値計算部１５は、計算結果と、学習用画像に事前に付与された異常性を表す情報とに基づいて、損失値を計算する。
【００３２】
ここで、損失値は、ニューラルネットワークの学習時に計算される最適化のための指標であって、任意の指標を適用可能である。良く利用される損失値の例としては、Ｆｏｒｗａｒｄ計算で出力された数値群（計算結果）を、ＳｏｆｔＭａｘ関数を用いて０から１の範囲の値を取りうる実数値に変換した上で、正解クラスを１．０としてその差分を損失値とするものがある。なお、前述の「学習用画像に事前に付与された異常性を表す情報」は、正解の異常性を示す情報であり、正解クラスの１．０に対応する。ただし、損失値の計算手法は、これに限らない。
【００３３】
パラメータ更新部１６は、損失値に基づいて、パラメータ記憶部１２に記憶された学習対象のパラメータを更新する。更新するパラメータは、前述のように、例えば、重みとバイアスである。また、例えば、パラメータ更新部１６は、複数の学習用画像についてそれぞれ計算された損失値の累積値を用いて、損失を最小化するようパラメータを更新してもよい。ここで、複数の学習用画像は、診断対象が撮影された画像の複数の部分画像でもよい。この際の最小化（最適化）手法には、例えば、確率的降下法等が適用可能である。ただし、この際の最小化手法は、この方式に限らず、任意の方式を適用可能である。
【００３４】
以上のように構成された画像診断学習装置１の動作について、図４を参照して説明する。
【００３５】
図４では、まず、不適当領域検出部１３は、学習用画像から、所定の基準に基づいて不適当領域を検出する（ステップＳ１１）。
【００３６】
次に、不適当領域無効化部１４は、ＣＮＮの入力層のユニットのうち不適当領域に対応するユニットを無効化する（ステップＳ１２）。
【００３７】
次に、損失値計算部１５は、不適当領域に対応する入力層のユニットが無効化された状態においてＣＮＮの計算を実行する。そして、損失値計算部１５は、計算結果および学習用画像に事前に付与された異常性を表す情報に基づいて、損失値を計算する（ステップＳ１３）。
【００３８】
次に、パラメータ更新部１６は、計算された損失値に基づいて、学習対象のパラメータを更新する（ステップＳ１４）。
【００３９】
以上で、画像診断学習装置１は、動作を終了する。
【００４０】
次に、第１の実施の形態の効果について述べる。
【００４１】
第１の実施の形態としての画像診断学習装置は、特殊機能によらない通常の撮影方法で診断対象が撮影された画像において、本来の診断対象が充分に写されていない領域が含まれていても、異常領域をより精度よく検知することができる。
【００４２】
その理由について説明する。本実施の形態では、不適当領域検出部が、診断対象が写された学習用画像において、異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出する。そして、不適当領域無効化部が、学習用画像が入力されるＣＮＮのネットワーク構成に基づいて、ＣＮＮの入力層のユニットのうち不適当領域に対応するユニットを無効化する。そして、損失値計算部が、不適当領域に対応する入力層のユニットが無効化された状態においてＣＮＮの計算を実行する。そして、損失値計算部が、ＣＮＮの計算結果および学習用画像に事前に付与された正解の異常性を表す情報に基づいて、損失値を計算する。そして、パラメータ更新部が、損失値に基づいてＣＮＮにおける学習対象のパラメータを更新するからである。
【００４３】
このように、本実施の形態は、学習用画像に基づいて、ＣＮＮにおける学習対象のパラメータを決定する。そのため、本実施の形態は、特殊機能によらない撮影方法で得られた画像から得られた学習用画像であっても、異常領域を識別するのに十分な特徴量を自動的に抽出する。さらには、本実施の形態は、本来の診断対象が充分に写されていない不適当領域を自動的に検知して、不適当領域を無効化してＣＮＮのパラメータを学習する。このため、本実施の形態は、不適当領域の影響を抑えて、ＣＮＮを精度よく学習させることができる。さらには、本実施の形態は、より多数の学習用画像に対して動作することにより、さらに精度のよい識別を可能とする特徴量を自動的に抽出してパラメータを学習することができる。その結果、本実施の形態は、診断対象が写された画像における異常領域を識別するＣＮＮにより精度良いパラメータを提供することができ、より高精度に異常領域を検知させることができる。
【００４４】
（第２の実施の形態）
次に、第２の実施の形態について図面を参照して詳細に説明する。本実施の形態では、診断対象として内臓壁面を適用する。また、学習用画像として、内視鏡カメラにより内臓壁面が撮影された内視鏡画像に基づく画像を適用する。なお、本実施の形態の説明において参照する各図面において、第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【００４５】
まず、第２の実施の形態としての画像診断学習装置２の構成を、図５に示す。図５において、画像診断学習装置２は、第１の実施の形態としての画像診断学習装置１に対して、不適当領域検出部１３に替えて不適当領域検出部２３を備え、さらに、摂動部２７を備える点が異なる。なお、画像診断学習装置２およびその各機能ブロックは、図２を参照して説明した第１の実施の形態としての画像診断学習装置１と同様のハードウェア要素によって構成可能である。ただし、画像診断学習装置２およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
【００４６】
摂動部２７は、内視鏡画像の学習サンプルに対して摂動処理を実施することにより、学習用画像を生成する。摂動処理とは、位置やスケール、回転角度について微小な変動を与える処理である。
【００４７】
例えば、摂動部２７には、内視鏡画像が分割されたパッチ画像が入力される。パッチ画像は、内視鏡画像に含まれる部分画像である。また、各パッチ画像には、病変クラスを表す病変クラス情報が正解情報として付与されているものとする。この場合、摂動部２７は、そのようなパッチ画像に対して、摂動処理を実施したものを、学習用画像として生成する。
【００４８】
なお、病変クラス情報は、例えば、病変および非病変のいずれかを表す情報であってもよい。この場合、病変を含むパッチ画像には、「病変」を示す病変クラス情報として数値の１が付与されていてもよい。また、病変を含まないパッチ画像には「非病変」を示す病変クラス情報として数値の０が付与されていてもよい。
【００４９】
また、例えば、病変クラス情報は、病変の種類１〜ｎ（ｎは２以上の正の整数）および非病変のいずれかを表す情報であってもよい。この場合、種類ｉ（ｉは１〜ｎの整数）の病変を含むパッチ画像には、「病変部（種類ｉ）」を示す病変クラス情報として数値のｉが付与されていてもよい。また、病変を含まないパッチ画像には「非病変」を示す病変クラス情報として数値の０が付与されていてもよい。
【００５０】
不適当領域検出部２３は、学習用画像から、不適当領域として、テカり箇所を検出する。テカり箇所は、前述したように、内視鏡カメラによる撮影の際に内臓壁面に水をかける等の作業が行われることにより発生する。テカり箇所を検出する方式については、任意の方式で構わない。例えば、不適当領域検出部２３は、輝度値を閾値処理することにより、テカり箇所を検出してもよい。輝度値を用いたテカり箇所の検出について、図６から図７を用いて説明する。図６は、テカりが発生した内視鏡画像の一例を模式的に示す図である。図６のように、内臓壁面にテカりが発生している場合、内視鏡画像中におけるその箇所は、高輝度の白色になる。また、図７は、テカりが発生した内視鏡画像の輝度ヒストグラムの一例である。図７のように、輝度分布ヒストグラムにおいては、テカり箇所の輝度値は、極端に高くなる。つまり、不適当領域検出部２３は、閾値を超える輝度の画素を、テカり箇所の画素であると判定することができる。また、不適当領域検出部２３は、例えば、閾値より高い輝度値の出現率が所定基準を満たす部分領域を、テカり箇所と判断してもよい。また、不適当領域検出部２３は、着目画素が周辺画素に比べて極端に高輝度となる孤立点を探す処理を利用して、テカり箇所を検出しても良い。
【００５１】
以上のように構成された画像診断学習装置２の動作について、図８を参照して説明する。なお、ニューラルネットワークの学習処理では、学習データセットからサブセットを選択して、それらから計算された損失の累積値を最小化するようにパラメータを更新する方式が、識別精度を高める効果を得るためによく利用される。そこで、ここでは、内視鏡画像から切り出されて病変クラス情報がそれぞれ付与されたパッチ画像からなる学習データセット、および、その学習データセットから選択されたサブセットを用いた動作例について説明する。
【００５２】
そのような学習データセットおよびサブセットの情報は、メモリ１００２に保存されていてもよい。この場合、画像診断学習装置２は、メモリ１００２からこれらの学習データセットおよびサブセットの情報を読み込んで、以下の動作を実行すればよい。
【００５３】
また、パッチ画像のサイズは、任意のサイズでよい。例えば、幅および高さが２５６画素で色のＲＧＢ成分が３つ（＝３チャネル）の場合、ＣＮＮの入力層のユニット数は、２５６×２５６×３となる。また、識別させる病変クラスが「非病変」、「病変（腺腫）」および「病変（進行がん）」の３つの場合、出力層のユニット数は、３となる。
【００５４】
また、ＣＮＮのネットワーク構成は、例えば、複数のＣｏｎｖｏｌｕｔｉｏｎ層と１つのＰｏｏｌｉｎｇ層を１セットとして、このセットが複数接続されたものであってもよい。
【００５５】
ただし、以下の動作において、識別させたい病変クラスの数、パッチ画像のサイズ、ＣＮＮの入力層および出力層のユニット数、および、ネットワーク構成等は、上述の例に限定されない。
【００５６】
図８では、まず、摂動部２７は、このサブセットに含まれるパッチ画像の１つを入力として、位置・スケール・回転等について摂動させた学習用画像を生成する（ステップＳ２１）。例えば、摂動部２７は、大きめに作成されたパッチ画像を取得し、取得したパッチ画像から摂動を実施した画像を学習用画像として切り出してもよい。
【００５７】
次に、不適当領域検出部２３は、学習用画像から、不適当領域としてテカり箇所を検出する（ステップＳ２２）。
【００５８】
次に、不適当領域無効化部１４は、第１の実施の形態におけるステップＳ１２と略同様に動作して、学習用画像を入力したＣＮＮの入力層において不適当領域に対応するユニットを一時的に無効化する。ここでは、不適当領域無効化部１４は、テカり箇所に対応するユニットを一時的に無効化することになる（ステップＳ２３）。
【００５９】
次に、損失値計算部１５は、第１の実施の形態におけるステップＳ１３と略同様に動作して、ＣＮＮのＦｏｒｗａｒｄ計算を行う。ここでは、損失値計算部１５は、テカり箇所に対応する入力層のユニットが一時的に無効化された状態で、ＣＮＮのＦｏｒｗａｒｄ計算を行うことになる。そして、損失値計算部１５は、計算結果およびこの学習用画像に付与されていた正解の病変クラス情報を用いて、損失値を計算する（ステップＳ２４）。
【００６０】
次に、このサブセットに含まれる他のパッチ画像があれば（ステップＳ２５でＹｅｓ）、画像診断学習装置２は、ステップＳ２１からの処理を繰り返す。
【００６１】
一方、このサブセットに含まれる他のパッチ画像がなければ（ステップＳ２５でＮｏ）、パラメータ更新部１６は、学習対象のパラメータを更新する処理を行う。具体的には、パラメータ更新部１６は、このサブセットに含まれる各学習用画像について計算された損失値の累積値に基づいて、重みおよびバイアスを更新すればよい（ステップＳ２６）。
【００６２】
次に、他のサブセットがあれば（ステップＳ２７でＹｅｓ）、画像診断学習装置２は、ステップＳ２１からの処理を繰り返す。
【００６３】
一方、他のサブセットがなければ（ステップＳ２７でＮｏ）、画像診断学習装置２は、動作を終了する。
【００６４】
なお、画像診断学習装置２は、他の学習データセットについても同様の動作を行い、更新される損失値または識別エラー率が低下しなくなった時点で、動作を終了してもよい。
【００６５】
以上で、画像診断学習装置２の動作の説明を終了する。
【００６６】
次に、第２の実施の形態の効果について述べる。
【００６７】
第２の実施の形態としての画像診断学習装置は、ＮＢＩ内視鏡や拡大内視鏡等の特殊機能によらない通常の撮影方法で得られた内視鏡画像において、テカり箇所が含まれていても、病変部の候補をより精度よく検知することができる。
【００６８】
その理由について説明する。本実施の形態は、第１の実施の形態と同様に構成されることに加えて、次のような構成を備えるからである。すなわち、摂動部が、内視鏡画像が分割されて病変クラス情報が付与されたパッチ画像に摂動処理を施すことにより、学習用画像を生成する。そして、不適当領域検出部が、学習用画像における不適当領域として、テカり箇所を検出するからである。
【００６９】
これにより、本実施の形態は、内視鏡画像に基づく学習用画像のセットに基づいて、特徴量抽出用のパラメータとしてＣＮＮを構成する重みとバイアスを更新する。そのため、ＮＢＩ内視鏡や拡大内視鏡によらない一般的な内視鏡画像であっても、正常な内臓壁面の領域と、異常性すなわち病変部の可能性がある異常領域とを識別するのに十分な特徴量を、自動的に抽出することが可能である。
【００７０】
さらに、本実施の形態は、テカり箇所を自動的に検知し無効化してＣＮＮのパラメータを学習するため、内視鏡画像においてテカり箇所に発生する異常値の影響を抑えて、ＣＮＮを学習させることができる。つまり、本実施の形態では、内視鏡画像中にテカり箇所を含む学習用画像からも、悪影響なくパラメータを学習する事ができる。
【００７１】
その結果、本実施の形態によって学習されたパラメータを使用したＣＮＮによる識別器は、特殊機能によらない内視鏡画像であっても、病変部の候補をより正確に検知できる。
【００７２】
なお、本実施の形態は、摂動部を含まないでも実施可能である。ただし、摂動部は、摂動処理の実行によりテカり箇所を摂動させるため、テカり箇所を偏らせず、テカり箇所による悪影響をさらに抑えてパラメータを学習できるという効果を奏する。摂動部によるこのような効果は、特に、少ない学習データセットを用いて動作する場合に顕著となる。
【００７３】
（第３の実施の形態）
次に、第３の実施の形態について図面を参照して詳細に説明する。本実施の形態では、第１の実施の形態によって更新されたＣＮＮのパラメータを用いて、診断対象画像における異常領域を識別する画像診断装置の一例について説明する。なお、診断対象画像とは、診断対象が写された画像であって、異常領域の識別を行う対象の画像をいうものとする。
【００７４】
まず、第３の実施の形態としての画像診断装置３の構成を図９に示す。図９において、画像診断装置３は、ＣＮＮ構成記憶部３１と、パラメータ記憶部３２と、ＣＮＮ識別部３８とを備える。
【００７５】
ここで、画像診断装置３は、図１０に示すようなハードウェア要素によって構成可能である。図１０において、画像診断装置３は、ＣＰＵ３００１およびメモリ３００２を含むコンピュータ装置によって構成される。メモリ３００２は、ＲＡＭ、ＲＯＭ、補助記憶装置等によって構成される。この場合、ＣＮＮ構成記憶部３１およびパラメータ記憶部３２は、メモリ３００２によって構成される。また、ＣＮＮ識別部３８は、メモリ３００２に格納されるコンピュータ・プログラムを読み込んで実行するＣＰＵ３００１によって構成される。なお、画像診断装置３およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。また、画像診断装置３は、画像診断学習装置１と同一のコンピュータ装置によって構成されていてもよいし、異なるコンピュータ装置によって構成されていてもよい。
【００７６】
ＣＮＮ構成記憶部３１は、第１の実施の形態としての画像診断学習装置１によって用いられたＣＮＮと同一のネットワーク構成を表す情報を記憶する。
【００７７】
パラメータ記憶部３２は、第１の実施の形態としての画像診断学習装置１を１つまたは複数の学習用画像に適用して更新されたＣＮＮのパラメータを記憶する。例えば、そのようなパラメータは、ＣＮＮにおける重みとバイアスである。なお、パラメータ記憶部３２に記憶されるＣＮＮのパラメータは、より多数の内視鏡画像から得られた学習用画像に画像診断学習装置１を適用して更新されたパラメータであることが望ましい。
【００７８】
ＣＮＮ識別部３８は、パラメータ記憶部３２に記憶されたＣＮＮのパラメータを用いて、診断対象画像に基づく情報をＣＮＮに入力して計算を実行する。そして、ＣＮＮ識別部３８は、ＣＮＮの計算結果に基づいて、診断対象画像における異常領域を識別する。
【００７９】
以上のように構成された画像診断装置３の動作を、図１１に示す。
【００８０】
図１１において、まず、ＣＮＮ識別部３８は、診断対象画像を、第１の実施の形態としての画像診断学習装置１によって用いられたネットワーク構成のＣＮＮに入力する（ステップＳ３１）。
【００８１】
次に、ＣＮＮ識別部３８は、第１の実施の形態の画像診断学習装置１によって更新されたＣＮＮのパラメータを用いて、ＣＮＮの計算を実行する（ステップＳ３２）。
【００８２】
次に、ＣＮＮ識別部３８は、ＣＮＮの計算結果に基づいて、診断対象画像における異常領域を識別する（ステップＳ３３）。
【００８３】
以上で、画像診断装置３は、動作を終了する。
【００８４】
次に、第３の実施の形態の効果について述べる。
【００８５】
第３の実施の形態としての画像診断装置は、特殊機能によらない通常の撮影方法で診断対象が撮影された診断対象画像において、本来の診断対象が充分に写されていない領域が含まれていても、異常領域をより精度よく検知することができる。
【００８６】
その理由について説明する。本実施の形態では、ＣＮＮ構成記憶部が、第１の実施の形態としての画像診断学習装置によって用いられたＣＮＮのネットワーク構成を記憶している。また、パラメータ記憶部が、第１の実施の形態としての画像診断学習装置によって更新されたＣＮＮのパラメータを記憶している。そして、ＣＮＮ識別部が、診断対象画像を、第１の実施の形態としての画像診断学習装置によって用いられたネットワーク構成のＣＮＮに入力する。そして、ＣＮＮ識別部が、第１の実施の形態としての画像診断学習装置によって更新されたＣＮＮのパラメータを用いて、ＣＮＮの計算を行いその計算結果に基づいて、診断対象画像における異常領域を識別するからである。
【００８７】
ここで、第１の実施の形態としての画像診断学習装置によって更新されたＣＮＮのパラメータは、診断対象が写された学習用画像において不適当領域による影響を抑えて学習されている。したがって、本実施の形態は、そのようなパラメータを用いたＣＮＮを診断対象画像に適用するので、異常領域を精度よく識別可能となる。
【００８８】
（第４の実施の形態）
次に、第４の実施の形態について図面を参照して詳細に説明する。本実施の形態では、診断対象として内臓壁面を適用する。また、本実施の形態では、第２の実施の形態によって更新されたＣＮＮのパラメータを用いて、内視鏡画像における病変部の候補を識別する画像診断装置の一例について説明する。なお、本実施の形態の説明において参照する各図面において、第３の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【００８９】
まず、第４の実施の形態としての画像診断装置４の構成を図１２に示す。図１２において、画像診断装置４は、第３の実施の形態としての画像診断装置３に対して、ＣＮＮ識別部３８に替えてＣＮＮ識別部４８を備え、さらに、不適当領域検出部４３と、不適当領域無効化部４４とを備える点が異なる。なお、ＣＮＮ構成記憶部３１およびパラメータ記憶部３２には、第２の実施の形態としての画像診断学習装置によって用いられたＣＮＮのネットワーク構成および更新されたパラメータが記憶されているものとする。
【００９０】
ここで、画像診断装置４およびその各機能ブロックは、図１０を参照して説明した第３の実施の形態としての画像診断装置３と同様のハードウェア要素によって構成可能である。ただし、画像診断装置４およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
【００９１】
不適当領域検出部４３は、診断対象画像における不適当領域として、テカり箇所を検出する。テカり箇所を検出する処理の詳細については、第２の実施の形態における不適当領域検出部２３と同様であるため、本実施の形態における説明を省略する。例えば、不適当領域検出部４３は、診断対象画像の部分領域であるパッチ画像について、テカり箇所を検出する処理を行ってもよい。
【００９２】
不適当領域無効化部４４は、診断対象画像を入力したＣＮＮの入力層のユニットのうち、テカり箇所に対応するユニットを無効化する。例えば、不適当領域無効化部４４は、診断対象画像の部分領域であるパッチ画像について、無効化の処理を行ってもよい。この場合、不適当領域無効化部４４は、パッチ画像が入力されるＣＮＮの入力層のユニットのうち、テカり箇所に対応するユニットを無効化すればよい。なお、診断対象画像またはそのパッチ画像が入力されるＣＮＮのネットワーク構成は、ＣＮＮ構成記憶部３１に記憶されている。テカり箇所に対応するユニットを無効化する処理の詳細については、第１の実施の形態における不適当領域無効化部１４と同様であるため、本実施の形態における説明を省略する。
【００９３】
ＣＮＮ識別部４８は、診断対象画像について、非病変部または病変部の種類の識別を行う。具体的には、ＣＮＮ識別部４８は、診断対象画像が入力されてテカり箇所が無効化された状態のＣＮＮに、パラメータ記憶部３２に記憶されたＣＮＮのパラメータを適用して、ＣＮＮのＦｏｒｗａｒｄ計算を行う。例えば、ＣＮＮ識別部４８は、診断対象画像の部分領域であるパッチ画像について、識別を行ってもよい。この場合、ＣＮＮ識別部４８は、パッチ画像が入力されてテカり箇所が無効化された状態のＣＮＮに、パラメータ記憶部３２に記憶されたＣＮＮのパラメータを適用して、ＣＮＮのＦｏｒｗａｒｄ計算を行えばよい。そして、ＣＮＮ識別部４８は、ＣＮＮの識別結果として、パッチ画像に写された内臓壁面の病変クラス情報を出力する。
【００９４】
ここで、ＣＮＮのＦｏｒｗａｒｄ計算を行うことにより、ＣＮＮからは、病変クラス別の識別スコアが出力される。そこで、例えば、ＣＮＮ識別部４８は、病変クラス別の識別スコアに対してＳｏｆｔＭａｘ関数を実行することにより、０から１を値域とする実数値のスコアに変換してもよい。これにより、ＣＮＮ識別部４８は、このパッチ画像に写された内臓壁面について、各病変クラスらしさを表すスコアを算出できる。
【００９５】
また、ＣＮＮ識別部４８は、診断対象画像の各部分領域であるパッチ画像について識別を行った場合、パッチ画像毎のスコアを出力してもよい。例えば、ＣＮＮ識別部４８は、パッチ画像毎のスコアを、診断対象画像における病変クラスらしさを表すスコアマップとして、図示されない表示装置に表示させてもよい。ここでは、スコアマップとは、各パッチ画像の診断対象画像における位置に、そのパッチ画像のスコアを画像として含む画像である。また、ＣＮＮ識別部４８は、そのようなスコアマップを、診断対象画像に重畳して出力してもよい。
【００９６】
以上のように構成された画像診断装置４の動作について、図１３を参照して説明する。ここでは、画像診断装置４は、診断対象の内視鏡画像から切り出された各パッチ画像について動作するものとする。
【００９７】
図１３では、まず、不適当領域検出部４３は、内視鏡画像から切り出されたパッチ画像において、テカり箇所を検出する（ステップＳ４１）。
【００９８】
次に、不適当領域無効化部４４は、パッチ画像を入力したＣＮＮの入力層のユニットのうち、テカり箇所に対応するユニットを一時的に無効化する（ステップＳ４２）。
【００９９】
次に、ＣＮＮ識別部４８は、テカり箇所に対応する入力層のユニットが一時的に無効化された状態で、ＣＮＮのＦｏｒｗａｒｄ計算を行う。これにより、ＣＮＮから、病変クラス別のスコアが出力される（ステップＳ４３）。
【０１００】
ここで、内視鏡画像に含まれる他のパッチ画像があれば（ステップＳ４４でＹｅｓ）、画像診断装置４は、ステップＳ４１からの動作を繰り返す。
【０１０１】
一方、内視鏡画像に含まれる他のパッチ画像がなければ（ステップＳ４４でＮｏ）、ＣＮＮ識別部４８は、パッチ画像毎の病変クラスらしさを出力する（ステップＳ４５）。なお、前述のように、例えば、ＣＮＮ識別部４８は、パッチ画像毎の病変クラスらしさを、そのパッチ画像の内視鏡画像における位置に表示させるためのスコアマップとして、内視鏡画像に重畳し表示装置に表示させるようにしてもよい。ＣＮＮ識別部４８は、その表示装置を含んでもよい。これにより、病変部の箇所が、人間による目視により確認しやすくなるという利点がある。
【０１０２】
次に、第４の実施の形態の効果について述べる。
【０１０３】
本実施の形態としての画像診断装置は、ＮＢＩ内視鏡や拡大内視鏡のような特殊機能によらない通常の撮影方法で内臓壁面が撮影された内視鏡画像において、テカり箇所が含まれていても、病変部の可能性がある領域をより精度よく検知することができる。
【０１０４】
その理由について説明する。本実施の形態では、ＣＮＮ構成記憶部およびパラメータ記憶部が、第２の実施の形態としての画像診断学習装置によって用いられたＣＮＮのネットワーク構成および更新されたパラメータを記憶している。そして、不適当領域検出部が、内視鏡画像におけるテカり箇所を検出する。また、不適当領域無効化部が、第２の実施の形態としての画像診断学習装置によって用いられたネットワーク構成のＣＮＮに内視鏡画像のパッチ画像を入力し、その入力層においてテカり箇所に対応するユニットを一時的に無効化する。そして、ＣＮＮ識別部が、テカり箇所に対応するユニットが一時的に無効化された状態のＣＮＮのＦｏｒｗａｒｄ計算を、第２の実施の形態としての画像診断学習装置によって更新されたパラメータを用いて実行することにより、識別を行うからである。
【０１０５】
このように、本実施の形態は、第２の実施の形態によって学習されたパラメータを用いて、第２の実施の形態において利用されたＣＮＮと同一のネットワーク構成のＣＮＮによる識別を実行する。このため、本実施の形態は、ＮＢＩ内視鏡や拡大内視鏡ではない一般的な内視鏡画像であっても、内視鏡画像における病変らしさを正しく検知できる。
【０１０６】
また、本実施の形態は、テカり部分を除いた状態で学習されたパラメータを用いて、識別を行う。このため、本実施の形態は、識別対象画像からテカり部分を除いても、精度よく識別を行うことができる。このように、本実施の形態は、テカり箇所を自動的に検知しＣＮＮの入力層において対応するユニットを無効化して識別を行うため、診断対象画像におけるテカり箇所に発生する異常値の影響を抑えて、識別を行うことができる。つまり、本実施の形態では、診断対象画像にテカりを含むデータからも、テカり箇所の影響を極力抑えて識別を行うことができる。
【０１０７】
なお、本実施の形態で使用するＣＮＮのネットワーク構成として、ＣＮＮ構成記憶部には、第２の実施の形態で使用されたＣＮＮと同一のネットワーク構成が記憶されている例について説明した。これに限らず、ＣＮＮ構成記憶部には、第２の実施の形態で使用されたＣＮＮのネットワーク構成において入力層から特徴量が抽出される途中層までの構成が記憶されていてもよい。例えば、第２の実施の形態で使用されたＣＮＮのネットワーク構成のうち、全結合層を除いたＣｏｎｖｏｌｕｔｉｏｎ層およびＰｏｏｌｉｎｇ層からなる構成が記憶されていてもよい。その場合、ＣＮＮ構成記憶部には、パラメータとして、入力層から途中層までの計算に必要なパラメータが少なくとも記憶されていればよい。この場合、本実施の形態において、ＣＮＮ識別部から出力される情報は、病変クラスを識別するのに有効な特徴量を表す数値列であるとみなすことができる。この場合、本実施の形態の出力である数値列が、サポートベクトルマシンなどの任意の識別器に入力されることにより、病変クラスの識別が可能となる。
【０１０８】
また、第２の実施の形態で使用されたＣＮＮのネットワーク構成のうち、入力層から前述の途中層までの構成を用いる場合、ＣＮＮ識別部は、内視鏡画像から切り出されたパッチ画像ではなく、内視鏡画像の全域を、ＣＮＮに入力してもよい。この場合、ＣＮＮ識別部から出力される情報は、内視鏡画像において各病変クラスを識別するのに有効な特徴量である。そこで、ＣＮＮ識別部は、途中層までの計算結果を、内視鏡画像における位置に応じて画像として表すことにより、内視鏡画像における各病変クラスの可能性を表すスコアマップとして出力すればよい。このように、診断対象画像の全域を入力する場合に、本実施の形態は、診断対象画像をスキャンしながらパッチ画像毎に識別処理をくり返す場合と比較して、計算量を削減して高速に、病変クラスの可能性を表すスコアマップを生成することができる。
【０１０９】
なお、上述した各実施の形態において、ＣＮＮの入力層の各ユニットには、学習用画像または診断対象画像の各画素が割り当てられる例を中心に説明した。これに限らず、入力層の各ユニットには、学習用画像または診断対象画像が事前に処理された情報が入力されてもよい。例えば、入力層の各ユニットには、学習用画像または診断対象画像がＳｏｂｅｌオペレータやＬａｐｌａｃｉａｎオペレータ等で処理されることにより、輝度の１次微分画像または２次微分画像の各画素が入力されてもよい。この場合、第１、２、４の実施の形態では、不適当領域無効化部は、入力層の各ユニットのうち、処理が行われる前の学習用画像または診断対象画像において検出された不適当領域に対応する微分画像の画素が入力されるユニットを、無効化すればよい。
【０１１０】
また、上述した第２、４の実施の形態において、診断対象として内臓壁面を適用し、診断対象画像として内視鏡画像に基づく画像を適用する例を中心に説明した。これに限らず、これらの各実施の形態において、診断対象としてその他の対象を適用した診断対象画像を用いてもよい。また、これらの各実施の形態において、不適当領域としてテカり箇所を適用する例を中心に説明した。これに限らず、これらの各実施の形態において、不適当領域として、異常領域の識別に適していないその他の領域を適用してもよい。
【０１１１】
また、上述した各実施の形態において、損失値計算部およびパラメータ更新部は、上述した計算手法以外にも、一部のユニットが無効化されたＣＮＮに適用可能な各種の公知の計算方法を適用可能である。
【０１１２】
また、上述した各実施の形態において、画像診断学習装置および画像診断装置の各機能ブロックが、メモリに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。これに限らず、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。
【０１１３】
また、上述した各実施の形態において、画像診断学習装置または画像診断装置の機能ブロックは、複数の装置に分散されて実現されてもよい。
【０１１４】
また、上述した各実施の形態において、各フローチャートを参照して説明した画像診断学習装置または画像診断装置の動作を、コンピュータ・プログラムとしてコンピュータ装置の記憶装置（記憶媒体）に格納しておく。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、コンピュータ・プログラムのコードあるいは記憶媒体によって構成される。
【０１１５】
また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
【０１１６】
また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
【０１１７】
この出願は、２０１６年７月４日に出願された日本出願特願２０１６−１３２６５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１１８】
１、２    画像診断学習装置
３、４    画像診断装置
１１、３１    ＣＮＮ構成記憶部
１２、３２    パラメータ記憶部
１３、２３、４３    不適当領域検出部
１４、４４    不適当領域無効化部
１５    損失値計算部
１６    パラメータ更新部
２７    摂動部
３８、４８    ＣＮＮ識別部
１００１、３００１    ＣＰＵ
１００２、３００２    メモリ
【図１】
2018008593.tif 000003
【図２】
2018008593.tif 000004
【図３】
2018008593.tif 000005
【図４】
2018008593.tif 000006
【図５】
2018008593.tif 000007
【図６】
2018008593.tif 000008
【図７】
2018008593.tif 000009
【図８】
2018008593.tif 000010
【図９】
2018008593.tif 000011
【図１０】
2018008593.tif 000012
【図１１】
2018008593.tif 000013
【図１２】
2018008593.tif 000014
【図１３】
2018008593.tif 000015
【図１４】
2018008593.tif 000016
【手続補正書】
【提出日】平成30年12月18日(2018.12.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出し、
前記学習用画像を入力したＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化し、
前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算し、
前記損失値に基づいて前記ＣＮＮにおける学習対象のパラメータを更新する、
ことをコンピュータ装置に実行させるプログラム。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１０
【補正方法】変更
【補正の内容】
【請求項１０】
１つまたは複数の学習用画像に対して請求項８に記載のプログラムをコンピュータ装置に実行させることにより更新された前記ＣＮＮの前記パラメータと、前記パラメータの更新の際に用いられたＣＮＮのネットワーク構成とを用いて、
前記診断対象が写された診断対象画像に基づく情報を前記ＣＮＮに入力して計算を実行することにより、前記診断対象画像において前記診断対象が異常性を有する可能性がある異常領域を識別することをコンピュータ装置に実行させるプログラム。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明のプログラムは、診断対象が写された学習用画像において、前記診断対象が異常性を有する可能性がある異常領域の識別に適していない領域である不適当領域を、所定の基準に基づいて検出し、前記学習用画像を入力したＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）のネットワーク構成において、入力層のユニットのうち前記不適当領域に対応するユニットを無効化し、前記不適当領域に対応する前記入力層のユニットが無効化された状態において前記ＣＮＮの計算を実行し、その計算結果、および、前記学習用画像に事前に付与された前記診断対象の異常性を表す情報に基づいて、損失値を計算し、前記損失値に基づいて前記ＣＮＮにおける学習対象のパラメータを更新することをコンピュータ装置に実行させる。
【国際調査報告】
2018008593.tif 000017
2018008593.tif 000018
2018008593.tif 000019
2018008593.tif 000020