(57)【特許請求の範囲】
【請求項１】
学習フェーズ（S10）と検査フェーズ（S20〜S24）から構成される超音波画像診断支援方法であって、
学習フェーズ（S10）において、
事前に切り出した病変が映る画像とそれ以外の画像をパッチ画像として入力とし、
前記パッチ画像を基にDeep Learning法を用いて前記病変とそれ以外を分類するモデルを作成し、
検査フェーズにおいて、
超音波検査装置の超音波プローブを動作させて診断組織を含む診断部の複数のフレームの列からなる動画像を取得し（S20）、
前記学習フェーズで得られたモデルと前記動画像のフレームの画像を比較して前記診断部において前記フレームの画像の病変候補領域を検出し（S21）、
前記動画像のフレームの画像から前記診断部における前記診断組織の領域の自動抽出を行い、前記診断組織の領域以外の領域とそこに含まれる前記病変候補領域を除去し（S22）、
前記フレームの列の連続性を利用して前記診断組織に単発的に発生する前記病変候補領域を除去し（S23）、
前記動画像のフレームの画像の最終的に残った前記病変候補領域がマークされた前記診断組織の領域のみを検出結果として出力する（S24）、
ことを特徴とする超音波画像診断支援方法。
【請求項２】
前記診断組織は乳腺組織であり、前記病変はその腫瘤であることを特徴とする請求項１に記載の超音波画像診断支援方法。
【請求項３】
前記病変候補領域の検出（S21）は、
前記動画像のフレームから、複数の解像度の画像で構成される多重解像度画像を作成し（S210）、
前記多重解像度画像の各階層の画像に対して前記病変候補領域の検出処理を行い（S211）、
前記各階層の画像における異常領域の座標をもとの解像度の座標に変換し、各前記複数の解像度における画像を統合する（S212）、
ことにより行うことを特徴とする請求項２に記載の超音波画像診断支援方法。
【請求項４】
前記病変候補領域の検出処理（S211）をスライディングウィンドウにより行う（S211a）ことを特徴とする請求項３に記載の超音波画像診断支援方法。
【請求項５】
前記病変候補領域の検出処理（S211）をスーパーピクセルにより行う(S211b）こと特徴とする請求項３に記載の超音波画像診断支援方法。
【請求項６】
前記病変候補領域の除去を（S22）、大津の二値化とグラフカットによる前記乳腺組織の自動抽出により行うこと特徴とする請求項４または請求項５のいずれか１項に記載の超音波画像診断支援方法。
【請求項７】
前記病変候補領域の除去を（S22）、CRFによる前記乳腺組織の自動抽出により行うこと特徴とする請求項４または請求項５のいずれか１項に記載の超音波画像診断支援方法。
【請求項８】
超音波検査装置の超音波プローブの動作により得られる超音波動画像（以下単に動画像とする）を利用する超音波画像診断支援システムであって、
学習フェーズ（S10）と検査フェーズ（S20〜S24）から構成され、
学習フェーズ（S10）において、
事前に切り出した病変が映る画像とそれ以外の画像をパッチ画像として入力とし、
前記パッチ画像を基にDeep Learning法を用いて前記病変とそれ以外を分類するモデルを作成し、
検査フェーズ（S20〜S24）において、
超音波検査装置の超音波プローブを動作させて診断組織を含む診断部の複数のフレームの列からなる動画像を取得し（S20）、
前記学習フェーズで得られたモデルと前記動画像のフレームの画像を比較して前記フレームの画像の診断部において前記病変の病変候補領域を検出し（S21）、
前記動画像のフレームの画像から前記診断部における前記診断組織の領域の自動抽出を行い、前記診断組織の領域以外の領域とそこに含まれる前記病変候補領域を除去し（S22）、
前記フレームの列の連続性を利用して前記診断組織に単発的に発生する前記病変候補領域を除去し（S23）、
前記動画像のフレームの画像の最終的に残った前記病変候補領域がマークされた前記診断組織の領域のみを検出結果として出力する（S24）、
ことを特徴とする超音波画像診断支援システム。
【請求項９】
前記診断組織は乳腺組織であり、前記病変はその腫瘤であることを特徴とする請求項８に記載の超音波画像診断支援システム。
【請求項１０】
前記病変候補領域の検出（S21）は、
前記動画像のフレームから、複数の解像度の画像で構成される多重解像度画像を作成し（S210）、
前記多重解像度画像の各階層の画像に対して前記病変候補領域の検出処理を行い（S211）、
前記各階層の画像における異常領域の座標をもとの解像度の座標に変換し、各前記複数の解像度における画像を統合する（S212）、
ことにより行うこと特徴とする請求項９に記載の超音波画像診断支援システム。
【請求項１１】
前記病変候補領域の検出処理（S211）をスライディングウィンドウにより行う（S211a）こと特徴とする請求項１０に記載の超音波画像診断支援システム。
【請求項１２】
前記病変候補領域の検出処理（S211）をスーパーピクセルにより行う(S211b）こと特徴とする請求項１０に記載の超音波画像診断支援システム。
【請求項１３】
前記病変候補領域の除去を（S22）、大津の二値化とグラフカットによる前記乳腺組織の自動抽出により行うこと特徴とする請求項１１または請求項１２のいずれか１項に記載の超音波画像診断支援システム。
【請求項１４】
前記病変候補領域の除去を（S22）、CRFによる前記乳腺組織の自動抽出により行うこと特徴とする請求項１１または請求項１２のいずれか１項に記載の超音波画像診断支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超音波画像診断支援方法、システム、および装置に関する。
【背景技術】
【０００２】
乳房超音波画像を対象とした病変検出としては、カナダの企業Medipattern（登録商標）社が開発したB-CADがある。
B-CADでは、暗い塊状として映る病変(腫瘤)を対象とし、検査者(ユーザー)が病変の大まかな位置を指定する。その位置情報をもとに病変の輪郭を自動抽出し、形状や大きさの値をもとに悪性度を算出する。【０００３】
また、病変が暗く映ることに着目し、輝度値の勾配を利用して病変を自動検出する手法が提案されている。【０００４】
超音波検査装置では、測定結果は動画像として表示される。
例えば、乳腺超音波検査において、腫瘤は暗い塊状の陰として描出されるため、動画像の各フレームを独立した静止画像として扱っても検出され得る。【０００５】
そのため特許文献１に示される静止画像（病理画像）からの異常検出技術でも、腫瘤は発見可能である。しかし非腫瘤性病変の形状は明瞭ではなく、乳腺組織が示すテクスチャの変化を観測しなければならないため、特許文献１に記載の手法のアプローチで対応できず、前後のフレームの相関を計測する等の動画像パターン認識が必須となる。【０００６】
特許文献２には、超音波プローブに位置センサを取り付けて、画像情報と位置情報とを組み合わせて内部構造の３次元データを構築し、腫瘤の表面積と体積の比率に基づいて、その像が腫瘍であるか否かを判定する技術が開示されている。【０００７】
特許文献３には、超音波プローブに位置センサを取り付けるのではなく、取得された画像を解析して位置を推定する技術が示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】ＷＯ２０１２／０１１５７９
【特許文献２】特開２０００−１２６１８２号公報
【特許文献３】特開２０１０−１６６９７３号公報
【非特許文献】
【０００９】
【非特許文献１】Lafferty J, McCallum A, Pereira F C: Conditional random fields: Probabilistic models for segmenting and labeling sequence data. Proc of International Conference on Machine Learning: 282-289, 2001
【非特許文献２】Bell A J, Sejnowski T J: Edges are the "independent components" of natural scenes. NIPS: 831-837, 1996
【非特許文献３】Kingma D, Ba J: ADAM: A Method for Stochastic Optimization. Proc of International Conference for Learning Representations(ICLR), 2015
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、Medipattern（登録商標）社のB-CADや輝度値の勾配を利用する手法では、入力された画像に病変が映っていることを想定しているため、病変が映っていない画像に適用すると必ず正常な領域を過検出してしまう。そのため、病変が映っていない画像が対象となる場合は適用できず、乳房超音波検査では実用的ではない。【００１１】
特許文献２に示された技術では、形状が明瞭な腫瘤のみを対象としており、形状が不明瞭な非腫瘤性病変は対象としていない。【００１２】
また、特許文献３に記載の技術では、推定位置情報をボディマークとして画面表示し、医師が検査部位を把握しやすくするために用いるのみで、病変の自動検出には利用されていない。【００１３】
本発明の目的は、超音波プローブを動かして超音波検査装置から出力される時間的に連続した複数のフレームの列からなる動画像に基づいて病変を自動検出する超音波検査システムの検出精度を高めることにある。
【課題を解決するための手段】
【００１４】
（提案システムの全体像）
図１に示す、超音波画像診断支援システム、または方法は、学習フェーズ（S10）と検査フェーズ（S20〜S24）から構成される。【００１５】
一度、学習フェーズを実施して学習モデルDBを生成しておけば、その後は検査フェーズだけを何度も繰り返して実施できる。
診断部は診断組織（観察部位）およびその周辺であり、出力と言う時は表示を含むものとする。
以下は例として、診断組織（観察部位）を乳腺組織、病変は腫瘤として説明するが、その組み合わせに限定されるものではない。【００１６】
学習フェーズ（S10）では、事前に切り出した腫瘤が映る画像とそれ以外の画像を入力とし、それらの画像(パッチ画像)を基にDeep Learning法を用いて腫瘤とそれ以外を分類するモデルを作成する。
検査フェーズでは、学習フェーズで得られたモデルと動画像の各フレームの画像（S20）を比較することで腫瘤の候補となる領域を検出する（S21）。
その後、乳腺組織の自動抽出を行い、乳腺以外の領域における腫瘤候補領域を除去する（S22）。
さらに、フレームの連続性を利用して単発的に発生する腫瘤候補領域を除去し（S23）、最終的に残った腫瘤候補領域を検出結果として出力する（S24）。 【００１７】
（１）
学習フェーズ（S10）と検査フェーズ（S20〜S24）から構成される超音波画像診断支援方法であって、
学習フェーズ（S10）において、
事前に切り出した病変が映る画像とそれ以外の画像をパッチ画像として入力とし、
前記パッチ画像を基にDeep Learning法を用いて前記病変とそれ以外を分類するモデルを作成し、
検査フェーズにおいて、
超音波検査装置の超音波プローブを動作させて診断組織を含む診断部の複数のフレームの列からなる動画像を取得し（S20）、
前記学習フェーズで得られたモデルと前記動画像のフレームの画像を比較して前記診断部において前記フレームの画像の病変候補領域を検出し（S21）、
前記動画像のフレームの画像から前記診断部における前記診断組織の領域の自動抽出を行い、前記診断組織の領域以外の領域とそこに含まれる前記病変候補領域を除去し（S22）、
前記フレームの列の連続性を利用して前記診断組織に単発的に発生する前記病変候補領域を除去し（S23）、
前記動画像のフレームの画像の最終的に残った前記病変候補領域がマークされた前記診断組織の領域のみを検出結果として出力する（S24）、
ことを特徴とする超音波画像診断支援方法。
（２）
前記診断組織は乳腺組織であり、前記病変はその腫瘤であることを特徴とする（１）に記載の超音波画像診断支援方法。【００１８】
（３）
前記病変候補領域の検出（S21）は、
前記動画像のフレームから、複数の解像度の画像で構成される多重解像度画像を作成し（S210）、
前記多重解像度画像の各階層の画像に対して前記病変候補領域の検出処理を行い（S211）、
前記各階層の画像における異常領域の座標をもとの解像度の座標に変換し、各前記複数の解像度における画像を統合する（S212）、
ことにより行うことを特徴とする（２）に記載の超音波画像診断支援方法。
（４）
前記病変候補領域の検出処理（S211）をスライディングウィンドウにより行う（S211a）ことを特徴とする（３）に記載の超音波画像診断支援方法。
（５）
前記病変候補領域の検出処理（S211）をスーパーピクセルにより行う(S211b）こと特徴とする（３）に記載の超音波画像診断支援方法。【００１９】
（６）
前記病変候補領域の除去を（S22）、大津の二値化とグラフカットによる前記乳腺組織の自動抽出により行うこと特徴とする（４）または（５）のいずれかに記載の超音波画像診断支援方法。
（７）
前記病変候補領域の除去を（S22）、CRF (Conditional Random Field)法による前記乳腺組織の自動抽出により行うこと特徴とする（４）または（５）のいずれかに記載の超音波画像診断支援方法。【００２０】
（８）
超音波検査装置の超音波プローブの動作により得られる超音波動画像（以下単に動画像とする）を利用する超音波画像診断支援システムであって、
学習フェーズ（S10）と検査フェーズ（S20〜S24）から構成され、
学習フェーズ（S10）において、
事前に切り出した病変が映る画像とそれ以外の画像をパッチ画像として入力とし、
前記パッチ画像を基にDeep Learning法を用いて前記病変とそれ以外を分類するモデルを作成し、
検査フェーズ（S20〜S24）において、
超音波検査装置の超音波プローブを動作させて診断組織を含む診断部の複数のフレームの列からなる動画像を取得し（S20）、
前記学習フェーズで得られたモデルと前記動画像のフレームの画像を比較して前記フレームの画像の診断部において前記病変の病変候補領域を検出し（S21）、
前記動画像のフレームの画像から前記診断部における前記診断組織の領域の自動抽出を行い、前記診断組織の領域以外の領域とそこに含まれる前記病変候補領域を除去し（S22）、
前記フレームの列の連続性を利用して前記診断組織に単発的に発生する前記病変候補領域を除去し（S23）、
前記動画像のフレームの画像の最終的に残った前記病変候補領域がマークされた前記診断組織の領域のみを検出結果として出力する（S24）、
ことを特徴とする超音波画像診断支援システム。
（９）
前記診断組織は乳腺組織であり、前記病変はその腫瘤であることを特徴とする（８に記載の超音波画像診断支援システム。【００２１】
（１０）
前記病変候補領域の検出（S21）は、
前記動画像のフレームから、複数の解像度の画像で構成される多重解像度画像を作成し（S210）、
前記多重解像度画像の各階層の画像に対して前記病変候補領域の検出処理を行い（S211）、
前記各階層の画像における異常領域の座標をもとの解像度の座標に変換し、各前記複数の解像度における画像を統合する（S212）、
ことにより行うこと特徴とする（９）に記載の超音波画像診断支援システム。
（１１）
前記病変候補領域の検出処理（S211）をスライディングウィンドウにより行う（S211a）ことを特徴とする（１０）に記載の超音波画像診断支援システム。
（１２）
前記病変候補領域の検出処理（S211）をスーパーピクセルにより行う(S211b）ことを特徴とする（１０）に記載の超音波画像診断支援システム。【００２２】
（１３）
前記病変候補領域の除去を（S22）、大津の二値化とグラフカットによる前記乳腺組織の自動抽出により行うこと特徴とする（１１）または（１２）のいずれかに記載の超音波画像診断支援システム。
（１４）
前記病変候補領域の除去を（S22）、CRFによる前記乳腺組織の自動抽出により行うこと特徴とする（１１）または（１２）のいずれかに記載の超音波画像診断支援システム。
【発明の効果】
【００２３】
本発明の診断組織の自動抽出処理と改良した病変の過検出抑制処理の組み合わせにより超音波画像診断支援方法・システムの精度が向上した。
これにより短い期間でより多くの超音波画像診断支援が精度よく行えるようになった。
【図面の簡単な説明】
【００２４】
【図１】提案システムのフローチャートを表す図である。
【図２】パッチ画像を表す図である。
【図３】Deep Learning手法のネットワーク構造を表す図である。
【図４】多重解像度画像を表す図である。
【図５】画像ピラミッドに対するラスタスキャンの方法を表す図である。
【図６】縮小画像と原画像における腫瘤候補領域の座標を比較した図である。
【図７】乳房超音波画像の輝度ヒストグラムと大津の二値化によって得られる閾値を表した図である。
【図８】参照するフレームを表す図である。
【図９】腫瘤候補領域の中心座標表す図である。
【図１０】重点学習を適用した際の過検出数と検出率の比較した図である。
【図１１】乳腺組織の自動抽出適用前と適用後の過検出数の比較した図である。
【図１２】フレームの連続性を利用した過検出抑制処理の適用前と適用後の比較した図である。
【図１３】腫瘤検出処理のフローチャートを表す図である。
【図１４】乳腺組織以外の過検出抑制処理のフローチャートを表す図である。
【発明を実施するための形態】
【００２５】
以下に学習フェーズおよび検査フェーズにおける処理を詳説する。
【００２６】
以下に学習フェーズ（S10）における処理を詳述する。
（学習用パッチ画像の生成）
Deep Learning法を含む多くの機械学習手法では、検出対象（本発明の場合は腫瘤）の画像とそれ以外の画像の両方を用いて学習させる必要がある。
図２に示すように、提案システムでは、矩形に切り出した画像(パッチ画像)を学習用の画像として使用する。
【００２７】
腫瘤を適切に学習させるためには、腫瘤の大半が描出される画像を入力する必要がある。
そこで、腫瘤のパッチ画像は、腫瘤がパッチ画像から大きくはみ出さない範囲内で、腫瘤の重心位置を摂動させた画像を学習用の異常画像として作成する。
【００２８】
また、正常のパッチ画像は、動画像として撮影された乳房超音波画像の腫瘤が描出されないフレームにおいて、乱数で位置を指定して、その位置が中心になるように任意のサイズの正常画像を作成する。
【００２９】
（モデルの学習）
正常と異常(腫瘤)を分類するモデルを算出するために、提案システムでは機械学習手法を用いる。
機械学習手法の具体的な手法としては、Deep Learning手法であるDeep Belief Network (DBN)やStacked Denoising Auto Encoder (SDAE)によるNeural Networkを用いる。
【００３０】
その他の機械学習手法として、確率的勾配降下法による逐次学習を適用でき、Convolutional Neural Network (CNN)やSupport Vector Machine (SVM)、ロジスティック回帰分析、線形判別分析、ランダムフォレスト法、Boosting法(AdaBoost、LogitBoostなど)を用いてもよい。
【００３１】
図３に示すNeural Networkでは、ユニットとユニット間を結合するリンクから構成され、リンクの重み(パラメータ)を学習用のパッチ画像に基づいて適切に自動調整（更新）することで、正常と異常を分類するモデルを算出する。
【００３２】
（不均衡なサンプル数に対する学習手法）
Deep Learning手法の学習では、確率的勾配降下法やモーメンタム法、Adam、AdaGrad、AdaDeltaといった最適化手法を用いて重みを逐次的に更新する。
【００３３】
一般に、正常のパッチ画像および異常のパッチ画像の数が極端に不均衡な場合では学習効果が低減する。
たとえば、異常サンプルが正常サンプルと比較して非常に少数の場合、正常サンプルのみを学習して異常を検出できなくなる可能性がある。
【００３４】
このサンプル数の不均衡の影響を避けるため、提案システムにおける学習フェーズでは、次の処理をパラメータ更新ごとに行う。
【００３５】
（１）学習データから正常サンプルと異常サンプルを同数だけランダムに選択してネットワークの重みを自動調整し、（２）次のパラメータ更新時では正常のサンプルや異常のサンプルをランダムに入れ替える。
【００３６】
（重点学習）
乳房超音波画像の正常な領域（腫瘤以外の領域）には腫瘤と類似する場合があり、この正常領域を誤って腫瘤と判定（過検出）する可能性がある。
【００３７】
そこで、上記で述べた正常のサンプル数の選択方法をランダムに選ぶのではなく、過検出されやすい正常サンプルを優先的に選択して、その画像を用いてモデルを更新する。
【００３８】
（プレトレーニング）
Deep Learning手法では、プレトレーニングとファインチューニングの２段階の学習が行われる。
【００３９】
プレトレーニングでは、教師なし学習により重みを設定する。その後、プレトレーニングで得られた重みを初期値として、誤差逆伝搬法など通常の学習方法により重みを更新する（ファインチューニング）。
【００４０】
プレトレーニングでは、Deep Belief Network (DBN)とStacked Denoising Auto Encode (SDAE)の２種類あり、重点学習を採用した場合は、SDAEが有効であり、重点学習を採用しない場合はDBNが有効である。
【００４１】
以下に検査フェーズ（S20からS25）における処理を詳述する。
【００４２】
（フレーム画像取得処理）
まず、被験者の観察部位およびその周辺の所定時間の超音波動画像を取得する（S20）。
一般的に乳房と呼ばれる診察部の表面に沿って超音波プローブを一方向に走査した場合に得られる深度方向の切断面の乳房超音波動画像は時間の生起順に並んだ複数のフレーム画像から構成される。その画像を乳房超音波画像と呼ぶ。
【００４３】
（腫瘤検出処理）
図１３に腫瘤検出処理（S21）のフローチャートを示す。
腫瘤検出処理（S21）では、入力された動画像の各フレームの局所領域に対し、Deep Learning手法を適用し、異常（腫瘤）と判定された領域を腫瘤候補領域とする。
【００４４】
腫瘤検出処理の詳細な手順を以下に示す。
【００４５】
入力画像（動画像のフレーム）から、複数の解像度の画像で構成される多重解像度画像を作成する（S210）。
【００４６】
多重解像度画像の各階層の画像に対して腫瘤候補領域の検出処理を行う（S211）。
【００４７】
上で算出した各階層の画像における異常領域の座標をもとの解像度の座標に変換し、各解像度における検出結果を統合する（S212）。
それぞれの処理について、以下に詳しく述べる。
【００４８】
（多重解像度画像の作成）（S210）
入力画像を縮小（または拡大）することで、複数の解像度からなる多重解像度画像を作成する。
【００４９】
具体的には、入力画像を任意の倍率a1、・・・、akに変換することで、k階層からなる多重解像度画像を作成する。
【００５０】
図４に、倍率を1倍、0.75倍、0.5倍に設定したときの多重解像度画像の例を示す。
なお、画像の拡大・縮小アルゴリズムはBicubic法を使用した。画像の拡大・縮小アルゴリズムとして、Nearest Neighbour法やBilinear法を選択できる。
【００５１】
（各階層からの腫瘤候補領域の検出処理）（S211）
腫瘤候補領域の検出方法としては２種類ある。
１つ目は事前に設定した矩形の領域(探索窓)を用意し、その探索窓を多重解像度画像の各階層の画像に対してラスタスキャンを実行し、各領域に対して正常か異常かを判定する方法である（S211a）。
２つ目は各階層の画像をスーパーピクセル法によって複数の領域に分割し、それぞれの領域に対して正常か異常かを判定する方法である（S211b）。
【００５２】
（スライディングウィンドウによる腫瘤候補領域の検出）（S211a）
スライドウィンドウによる腫瘤候補領域の検出では、上記で作成した多重解像度画像の各階層の画像に対し、次の手順により正常と異常の推定を行う。
（特徴ベクトルの取得）縦h(pixel)、横w(pixel)の探索窓の内部の領域をパッチ画像として切り出す。
パッチ画像のピクセル値を１行に並び替えて特徴ベクトル（ｈｘｗ次元）として使用する。ピクセル値以外に、HOG (Histograms of Oriented Gradients)特徴量やLBP (Local Binary Pattern)特徴量、GLAC (Gradient Local AutoCorrelation)特徴量、NLAC (Normal Local AutoCorrelations)特徴量、HLAC (Higher-order Local AutoCorrelation)特徴量、GLCM (Gray Level Correlation Matrix)に基づく特徴量、ガボール特徴量を使用することができる。
【００５３】
（正常／異常の判定）
上記「モデルの学習」で算出したモデル（重み）と上で得られた特徴ベクトルを使用し、上で得られた特徴ベクトルのラベル（正常か異常）を推定する。
【００５４】
検索窓をずらしながら上記「特徴ベクトルの取得」と上記「正常/異常の判定」の処理を繰り返し、入力画像内の領域全体を走査する。
検索窓を横方向にdx (pixel)、縦方向にdy (pixel)移動させ、上記「特徴ベクトルの取得」と上記「正常/異常の判定」の処理を繰り返す。
【００５５】
各検索窓の座標と各検索窓位置でのラベルを蓄積していく。
ここで、探索窓の移動幅dx、dyを探索窓のサイズhxwより小さくし（たとえば、dxをwの半分、dyをhの半分）、一度判定した領域に対してある程度の重なりを含むように探索窓を移動させる。
これにより、１つの腫瘤に対して、位置をずらした複数の探索窓を用いて判定できるようになるため、腫瘤の検出精度が向上すると期待できる。 
【００５６】
（腫瘤候補領域の確定）
上で異常と判定された領域を腫瘤候補領域とし、その領域の左上座標(x0,y0)と右下座標(x1,y1)を取得する。
【００５７】
（スーパーピクセルによる腫瘤候補領域の検出）（S211b）
スーパーピクセルによる腫瘤候補領域の検出では、上記で作成した多重解像度画像の各階層の画像に対し、次の手順により正常と異常の推定を行う。 
【００５８】
（特徴ベクトルの取得）
画像に対してスーパーピクセル法を適用し、重なりのない複数の領域（スーパーピクセル）に分割する。
スーパーピクセルの重心を中心とした縦h、横wの矩形領域の画素値を１行に並び替えて特徴ベクトル（hxw次元）を取得する。ピクセル値以外に、HOG (Histograms of Oriented Gradients)特徴量やLBP(Local Binary Pattern)特徴量、GLAC(Gradient Local AutoCorrelation)特徴量、NLAC (Normal Local Auto-Correlations)特徴量、HLAC(Higher-order Local AutoCorrelation)特徴量、GLCM(Gray Level Correlation Matrix)に基づく特徴量、ガボール特徴量を使用することができる。
【００５９】
（正常／異常の判定）
「モデルの学習」で算出したモデル（重み）と上で得られた特徴ベクトルを使用し、上で得られた特徴ベクトルのラベル（正常か異常）を推定する。
【００６０】
上記全てのスーパーピクセルに対し、「特徴ベクトルの取得」と「正常／異常の判定」の処理を適用する。
各検索窓の座標と各検索窓位置でのラベルを蓄積していく。 
【００６１】
（腫瘤候補領域の確定）
上において異常と判定された領域を腫瘤候補領域とし、その領域の左上座標(x0,y0)と右下座標(x1,y1)を取得する。
【００６２】
（腫瘤候補領域の統合）
図６に示すように、a倍に縮小・拡大された画像における腫瘤候補領域の座標(x0, y0)と(x1,y1)を、下記の式を用いて原画像における座標(X0,Y0)と(X1,Y1)に変換する。
【００６３】
【数１】
0006710373.tif 000002
【００６４】
（乳腺組織以外の過検出抑制処理）（S22）
図１４に、乳腺組織以外の過検出抑制処理（S22）のフローチャートを示す。
腫瘤は乳腺組織で発生するため、腫瘤検出処理（S21）で検出された領域において、乳腺以外の組織で検出された領域は過検出である。
【００６５】
本発明では、乳腺以外における明らかな過検出を除去するため、乳房超音波画像から乳腺組織を自動抽出し、乳腺以外における腫瘤候補領域を除去する（S22）。
その方法として、「大津の二値化とグラフカットによる乳腺組織の自動抽出手法（S221）」と「ZCA白色化とCRFによる乳腺組織の自動抽出手法（S222）」の２つの乳腺組織の自動抽出手法のいずれかを選択することができる。
【００６６】
なお、「大津の二値化とグラフカットによる乳腺組織の自動抽出手法（S221）」では、乳腺組織を事前に学習する必要がない。
【００６７】
一方で、「ZCA白色化とCRFによる乳腺組織の自動抽出手法（S222）」では、乳腺組織を事前に学習する必要があり、「大津」と比較して精度良く乳腺組織を自動抽出できる。
【００６８】
（大津の二値化とグラフカットによる乳腺組織の自動抽出手法）（S221）
大津の二値化とグラフカットによる乳腺組織の自動抽出手法では、まず、乳腺組織の大まかな輝度値を取得するために大津の二値化処理を行う。
次に、できるだけ隣り合う領域が同じ組織（乳腺か非乳腺）であると判定するためにグラフカット法を行う。
【００６９】
（大津の二値化）
乳房超音波画像を幅wの短冊状の領域に分割し、各短冊状領域で大津の二値化を適用する。
大津の二値化を適用した際の自動で設定された閾値より高い領域（白と判定された領域）における元画像の輝度値の平均uと分散σを取得する。
【００７０】
（グラフカット法）
乳房超音波画像を縦h、幅wのM個の局所領域に分割する。
M個の局所領域における平均輝度値がX=[x1,…,xM]のとき、グラフカット法では、次のエネルギー関数E(Y)が最小となるM個の局所領域のラベル群Y=[y1,…,yM]を算出する。
【００７１】
【数２】
0006710373.tif 000003
【００７２】
【数３】
0006710373.tif 000004
【００７３】
ここで、VはM個の局所領域の集合を表し、Niは局所領域iにおける隣接領域を表す（本システムでは隣接領域は8近傍）。
また、φu(yi)はデータ項、φp(yi,yj)は平滑化項と呼ばれ、本システムでは次のように定義した。
【００７４】
【数４】
0006710373.tif 000005
【００７５】
ここで、||x||2はxのL2ノルムを表す。また、λとkはユーザーが指定するパラメータである。λを大きくし、kを小さくすると隣接領域が同一のラベルとして判定されやすくなる。本発明ではλ=1とし、k =0.5とした。また、Pr(xi|yi)はyiのときのxiの確率を表し、本発明では数式（４）により定義した。
【００７６】
（ZCA白色化とCRFによる乳腺組織の自動抽出手法）（S222）
ZCA白色化とCRFによる乳腺組織の自動抽出では、まず、ZCA白色化と区間線形関数による前処理を行う（S222a）。
次に、画像を局所領域に分割し、各局所領域から輝度ヒストグラムを取得する（S222b）。
【００７７】
最後に条件付確率場(Conditional Random Field; CRF)により、乳腺組織を自動抽出する（S222c）。
以下、３つの処理について説明する。
【００７８】
（画像の前処理）（S222a）
乳房超音波画像に対して次の２つの画像処理を施す。
【００７９】
１つ目は、輝度値が受ける深度の影響を低減するために、深度と輝度値の相関を低減するZCA白色化である。ここで、深度とは画像の上端から画素までの距離である。超音波が皮膚から組織の奥深くへと進む程に減衰し、反射波が弱まるために、エコーレベル（超音波画像上の明るさ）が小さくなる現象の低減を図る。
【００８０】
２つ目は、超音波画像に多く含まれるスペックルノイズを低減して乳腺組織を強調するために、区分線形関数を用いて任意の範囲の輝度値を強調する。
【００８１】
ZCA白色化は、相関の強い複数の変数における偏りをなくすため、各々の変数間の相関を０に近づける処理である。
画像中L個の各ピクセルにおける輝度値をvi、 深度をdi (i=1,…,L)とする。
なお、本システムでは、画像左上を原点とした際の各ピクセルにおけるy座標を深度diとした。
【００８２】
この輝度値と深度を要素に持つベクトル
【００８３】
【数５】
0006710373.tif 000006
【００８４】
に対してZCA白色化を適用する。
なお、Tは転置を表す。
ZCA白色化では、まず、L個のベクトル群[t1,...,tL]に主成分分析を適用することで、固有ベクトルを列とする行列Uと固有値λを対角要素とする対角行列Λを算出する。ここではΛ=diag(λ1, λ2)（ただしλ1＞λ2）となる。
次に、ZCA白色化の変換行列を算出し、次いでZCA白色化後のベクトル
【００８５】
【数６】
0006710373.tif 000007
【００８６】
を算出する。
ここで、
【００８７】
【数７】
0006710373.tif 000008
【００８８】
であり、vi（上付バー付き）をZCA白色化適用後の輝度値として使用する。
区分線形関数による輝度変換では、輝度値を次式により変換することで、線形変換後の輝度値ziを算出する。
【００８９】
【数８】
0006710373.tif 000009
【００９０】
ここで、Gは変換後の画像における階調数を表している。
また、予備実験よりzl=‐1, zu=3, G=8とした。
【００９１】
（輝度ヒストグラムの取得）（S222b）
乳腺組織における明るさを捉えるため、輝度値のヒストグラムを特徴ベクトルとして利用する。
乳房超音波画像をM個の矩形領域（パッチ画像）に分割し、各パッチ画像から輝度値のヒストグラムを算出する。
なお、画像はG階調に変換されているため、M個に分割された各領域のパッチ画像から、G次元の特徴ベクトル
【００９２】
【数９】
0006710373.tif 000010
【００９３】
が算出される。 
【００９４】
（条件付き確率場）（S222c）
M個の各パッチ画像が乳腺組織であるもっともらしさ(尤度)を算出する。
乳腺組織は領域が連続しており，任意の領域が乳腺組織である場合、隣接領域も乳腺である可能性が高い(空間的連続性)。
【００９５】
そこで、隣接領域との関係性を捉えることで空間的連続性を考慮し、各パッチ画像に描出される組織(ラベル)を推定できる条件付き確率場(Conditional Random Field; CRF)を用いて、各領域から乳腺尤度を算出する。
M個のパッチ画像から抽出した特徴ベクトル群Xとそれに対応するラベル集合Y、
【００９６】
【数１０】
0006710373.tif 000011
【００９７】
に対して（ただし、yi=1は乳腺組織，yi=‐1は乳腺以外の組織を表す）、CRFは次式の確率モデルで定義される。
【００９８】
【数１１】
0006710373.tif 000012
【００９９】
ここで、Zは分配関数と呼ばれ、0=<Pr(Y|X,w)=<1を保証するため、
【０１００】
【数１２】
0006710373.tif 000013
【０１０１】
である。
また、E(X,Y,w)はエネルギー関数と呼ばれ，Vはパッチ画像の集合を表し、Niはパッチ画像iに対するn近傍を表す(なお近傍数nは任意に設定することが可能であり、通常は８近傍が使われる)。エネルギー関数におけるφuはデータ項、φpはペアワイズ項（平滑化項）と呼ばれ、本発明では次のように定義した。
【０１０２】
【数１３】
0006710373.tif 000014
【０１０３】
ここで、δ(yi≠yj)はyi=yjのときに1を、yi≠yjのときに0を取る関数である。また、σはユーザーが設定するパラメータであり、本発明ではσ=3とした。
w=[wu,wp]はCRFの学習パラメータである。実際には、学習用のN個の画像集合Xn={xN}とそのラベル集合Yn={yN}を与えられたときに下記の式を解くことで算出されるw(ハット付き)を用いる。なお、下記の式は、確率的勾配降下法やモーメンタム法、Adam、AdaGrad、AdaDeltaといった最適化手法により解くことができる。
【０１０４】
【数１４】
0006710373.tif 000015
【０１０５】
CRFの学習パラメータ w(ハット付き)と検査用の乳房超音波画像におけるM個のパッチ画像から抽出した特徴ベクトル群
【０１０６】
【数１５】
0006710373.tif 000016
【０１０７】
を用いて、各矩形領域（パッチ画像）から
【０１０８】
【数１６】
0006710373.tif 000017
【０１０９】
を算出する。 
この値が大きいほど乳腺らしさの程度が高いことを意味しており、本発明では0.5以上の領域を乳腺組織と判定する。
【０１１０】
（フレームの連続性を利用した過検出抑制処理）（S23）
乳房の断面が動画像として記録されている乳房超音波画像では、立体の構造物として体積を持つ腫瘤は複数のフレームの同一位置に連続して描出される公算が極めて高い。
そのため、腫瘤が映る場合は、ステップS21で算出した腫瘤候補領域が複数の連続フレームの同一位置に、非常に高い確率で連続して検出される。
【０１１１】
一方で、スペックルノイズなどの影響で発生した影は体積を持たないため、複数の連続フレームにおける同一位置に描出されることはなく、単発的な腫瘤候補領域として検出されるのみであり、これは過検出と見做されるべきである。
本発明では、単発的に発生する過検出を抑制するために、連続するフレームにおける同一位置に発生する腫瘤候補領域のみ最終的な腫瘤領域として扱う。
連続フレームの同一位置で検出された腫瘤候補領域以外を除去する、本発明では、腫瘤を検出すべく観察中のフレーム（注目フレーム）より前に撮影された複数の連続フレーム（参照フレーム）における腫瘤候補領域の位置情報を利用する。
【０１１２】
具体的には、複数の連続したフレームにおける腫瘤候補領域において、空間および時間方向において孤立している腫瘤候補領域を除去し、空間および時間的に近い位置で複数検出された腫瘤候補領域のみを最終的な腫瘤領域として判定する。
【０１１３】
ここで、過検出抑制に利用する参照フレーム数は任意に設定することができる。
利用する参照フレーム数を多くするほど、過検出抑制の効果が高まる。
例えば、過検出抑制に利用する参照フレーム数が注目フレームを含む2フレームのみの場合、それらのフレームに描出される超音波画像は類似しており、同一位置で過検出する可能性が高く、過検出を除去できない可能性がある。
【０１１４】
これに対し、過検出抑制に利用する参照フレーム数を2フレームより多くした場合（例えば、注目フレームを含む5フレーム）、描出される組織の形状（模様）が変動するため、全てのフレームの同一位置に過検出が発生する可能性は低くなり、適切に過検出を除去することができる。
【０１１５】
利用する参照フレーム数を多くすれば過検出除去の効果が高まるが、腫瘤を検出した腫瘤候補領域を誤って除去する恐れがある。
例えば、過検出抑制に利用する参照フレーム数を5フレームとしたとき、腫瘤が2フレームしか描出されていない場合は、腫瘤候補領域も2フレーム分しか検出されないため、この領域を過検出として、誤って除去する恐れがある。 
【０１１６】
本システムでは正しく検出された腫瘤候補領域を誤って除去しないために、予め、次の2つの工夫を行い、少数の参照フレームでしか描出されない腫瘤においても正しく検出できるようにした。
１つ目の工夫は、（S211a）「スライドウィンドウによる腫瘤候補領域の検出」において、探索窓が重なるように移動させ、できるだけ同一位置で複数の腫瘤候補領域を検出するようにした。
２つ目の工夫は、（S210）「多重解像度画像の作成」を導入し、異なる解像度の画像を用いることで、同一領域で複数の腫瘤候補領域を検出するようにした。
【０１１７】
以下、フレームの連続性を利用した過検出抑制について、詳しく述べる。
まず、現在のフレームと規定値分だけ前のフレームの間における全ての腫瘤候補領域の中心座標を取得する。
【０１１８】
取得した腫瘤候補領域の中心座標とフレーム番号に基づいてミーンシフトクラスタリングを実施し、腫瘤候補領域のグループ分けを行う。
【０１１９】
算出したグループについて、各グループの要素数を算出し、要素数が事前に設定した閾値以下のグループに属する腫瘤候補領域を全て除去する。
残った腫瘤候補領域を最終的に腫瘤領域として判定する。
【０１２０】
（腫瘤候補領域の座標取得）
現在表示中のフレーム番号をT、その着目するフレームの枚数をsとする。
このとき、動画像におけるT-s+1番目のフレームからT番目のs枚分のフレーム(図８)における腫瘤候補領域cの中心座標 (Xc,Yc)とフレーム番号(Tc)を取得する。 
【０１２１】
（クラスタリングによるグループ分け）
上で取得したすべての腫瘤候補領域の中心座標(Xc,Yc,Tc) を算出する。
【０１２２】
中心座標は、腫瘤候補領域の左上座標(x0,y0)と右下座標(x1,y1)、フレーム番号Tから図９に示すように算出する。
【０１２３】
全ての腫瘤候補領域の中心座標とフレーム番号を入力ベクトルとして下記のミーンシフトクラスタリングを実行し、全ての入力ベクトルに対してK個のグループ番号{g1,... ,gK}を割り当てる。
【０１２４】
なお、グループ数Kはミーンシフトクラスタリングのアルゴリズムにより自動的に決定される。また、ミーンシフトクラスタリング以外に、x-means法やInfinite Gaussian Mixture Model(IGMM)といったクラスタ数を自動調整できるクラスタリング手法を適用できる。
【０１２５】
（クラスタ結果の要素数の除去）
上記で算出したK個のグループに{g1,... ,gK}対して、各グループの要素数を取得する。
要素数が事前に設定した閾値Thn以下であれば、そのグループに属する異常領域を全て削除する。本発明では、この閾値Thnとして値5を設定した。
【実施例１】
【０１２６】
（重点学習の検証）
学習フェーズ（S10）で述べた重点学習の有効性の検証を行った。
実験では、学習対象の患者7名、検査用の患者15名の乳房超音波画像を使用した。【０１２７】
また、Deep Learning法によるネットワーク構造は５階層（入力層から順に、各層のユニット数は2500, 900, 625, 225, 2）とし、探索窓の大きさを縦50pixel、横50pixel、探索窓の移動幅をy方向に25pixel、x方向に25pixelとした。【０１２８】
多重解像度画像は３階層（1倍、0.75倍、0.5倍）とし、重点学習の効果を検証するため、検査フェーズでは、ステップS22とステップS23の過検出抑制処理は導入せず、ステップS21における腫瘤候補領域のみを使用した。【０１２９】
図１０に、１フレームあたりの平均過検出数と検出率を示す。
重点学習を導入することで過検出数が減少し、さらに検出率が増加していることがわかる。
この結果より、検出精度を向上させる手法として、重点学習は有効であると考えられる。
【実施例２】
【０１３０】
（乳腺組織の自動抽出による過検出抑制）
検査フェーズにおけるステップS22の乳腺組織以外の過検出抑制処理の有効性を検証するため、乳腺組織の自動抽出を適用しない場合と適用した場合における過検出数の比較を行った。
実験では、学習用に患者7名、検査用に患者5名の乳房超音波画像を使用した。【０１３１】
また、Deep Learning法によるネットワーク構造は４階層（入力層から順に、各層のユニット数は625, 500, 500, 2）とし、探索窓の大きさを縦50pixel、横50pixel、探索窓の移動幅をy方向に25pixel、x方向に25pixelとした。【０１３２】
探索窓内の50x50の画像はDeep Learningのネットワークに入力する際にBicubic法により25x25に縮小した。多重解像度画像は3階層（1倍、0.75倍、0.5倍）とした。【０１３３】
乳腺組織の自動抽出の効果を検証するため、学習フェーズにおける重点学習とステップS23の過検出抑制処理は導入せず、ステップS21の腫瘤候補領域の検出とステップS22の乳腺組織以外の過検出抑制処理のみを使用した。【０１３４】
なお、乳腺組織の自動抽出手法では、ステップS221の大津の二値化とグラフカットによる乳腺組織の自動抽出手法を採用した。【０１３５】
図１１に、実験結果の過検出数の比較を示す。乳腺以外の組織(非乳腺)における過検出を削減することに成功し、過検出を抑制するために、乳腺組織の自動抽出手法は有効であることがわかる。
【実施例３】
【０１３６】
（フレームの連続性を利用した過検出抑制処理の検証）
検査フェーズにおけるステップS23のフレームの連続性を利用した過検出抑制処理の有効性を検証するため、フレームの連続性を利用した過検出抑制処理を適用しない場合と適用した場合における過検出の比較を行った。【０１３７】
実験では、学習用に患者7名、検査用に患者5名の乳房超音波画像を使用した。【０１３８】
また、Deep Learning法によるネットワーク構造は４階層（入力層から順に、各層のユニット数は625, 500, 500, 2）とし、探索窓の大きさを縦50pixel、横50pixel、探索窓の移動幅をy方向に25pixel、x方向に25pixelとした。【０１３９】
探索窓内の50x50の画像はDeep Learningのネットワークに入力する際にBicubic法により25x25に縮小した。【０１４０】
多重解像度画像は３階層（1倍、0.75倍、0.5倍）とした。フレームの連続性を利用した過検出抑制処理の効果を検証するため、学習フェーズにおける重点学習とステップS22の乳腺組織以外の過検出抑制処理は導入せず、ステップS21の腫瘤候補領域の検出とステップS23のフレームの連続性を利用した過検出抑制処理のみを使用した。 【０１４１】
図１２に、１フレームあたりの平均過検出数の比較を示す。
フレームの連続性を利用した過検出抑制処理を適用することで過検出を削減することに成功していることがわかる。
【符号の説明】
【０１４２】
１  異常判定領域（病変候補領域）
２  観察部位（診断組織）の領域に含まれない異常判定領域 
３  観察部位の領域 
４  観察部位の領域ではない領域 
５  観察部位の領域にあって静止画フレームに連続して描出されない異常判定領域 
６  パッチ画像
７  学習モデルDB
８  観察部位およびその周辺（診断部）
【図１】
0006710373.tif 000018
【図２】
0006710373.tif 000019
【図３】
0006710373.tif 000020
【図４】
0006710373.tif 000021
【図５】
0006710373.tif 000022
【図６】
0006710373.tif 000023
【図７】
0006710373.tif 000024
【図８】
0006710373.tif 000025
【図９】
0006710373.tif 000026
【図１０】
0006710373.tif 000027
【図１１】
0006710373.tif 000028
【図１２】
0006710373.tif 000029
【図１３】
0006710373.tif 000030
【図１４】
0006710373.tif 000031