(57)【要約】【課題】医用断層画像を高精度に補間するとともに、医用画像において指定された臓器の3D領域を自動抽出するために、高精度の輪郭抽出を深層学習の畳み込み演算装置により実施することができる装置とプログラムが求められている。【解決手段】連続した医用画像断層画像から中間断層画像の補間を行うにあたり、入力画素の正規化、深層学習モデルの構成、損失関数の選択を行い、補間効果を改善し、特に３D領域の自動抽出を実施する際、事前に前記補間を実施することにより、抽出した対象領域である臓器の体積、輪郭を高精度に表示することを可能にした。【選択図】図１
2020075063.tif 000002
【特許請求の範囲】
【請求項１】
機械学習による複数断層画像間の補間画像を生成する補間装置であって、
3Dボリューム画像から、連続するm枚(mは3以上の整数)の断層画像集合を読み込む学習用画像読み込み部と、
前記連続する断層画像から任意の(m-n)枚(nは1以上、(m-2)以下の整数)を学習用入力データとし、残りのn枚を教師データとする画像補間の機械学習を行う機械学習部と、
学習した結果であるルールを格納する学習済みルール格納部と、
連続する(m-n)枚の予測用断層画像を読み込む予測用画像読み込み部と、
前記学習済みルール格納部から学習済みルールを呼び出す学習済みルール読み込み部と、
前記(m-n)枚の予測用断層画像および学習済みルールに基づき、n枚の断層画像を新たに生成し出力する予測演算出力部とを備える画像処理装置。
【請求項２】
機械学習による単一または複数断層画像間の臓器領域を自動抽出する領域抽出装置であって、
対象臓器の領域情報付き3Dボリューム画像から、x枚(xは1以上の整数)の学習用断層画像およびy枚(yはx以下の整数)の対象臓器の領域情報を示すラベル画像を読み込む学習用画像読み込み部と、
前記断層画像を学習用入力データとし、前記ラベル画像を教師データとする領域抽出の機械学習を行う機械学習部と、
学習した結果であるルールを格納する学習済みルール格納部と、
x枚の予測用断層画像を読み込む予測用画像読み込み部と、
前記学習済みルール格納部から学習済みルールを呼び出す学習済みルール読み込み部と、
前記x枚の予測用断層画像および学習済みルールに基づき、臓器領域を示すy枚のラベル画像を新たに生成し出力する予測演算出力部とを備える画像処理装置。
【請求項３】
請求項２記載の学習用画像読み込み部は、
請求項１記載の画像処理装置を用いて3Dボリューム画像Aを補間処理して新たに生成した3Dボリューム画像Bから、x枚(xは1以上の整数)の学習用断層画像およびy枚(yはx以下の整数)の対象臓器の領域情報を示すラベル画像を読み込むことを特徴とする、
請求項２記載の画像処理装置。
【請求項４】
請求項１記載の学習用画像読み込み部は、
3Dボリューム画像を構成する断層画像群から任意のm枚の連続する断層画像集合を繰り返し学習用画像として読み込むことを特徴とする、
請求項１記載の画像処理装置。
【請求項５】
請求項２記載の学習用画像読み込み部は、
3Dボリューム画像を構成する断層画像群から任意のx枚の断層画像集合と、
それに対応するy枚のラベル画像集合を繰り返し学習用画像として読み込むことを特徴とする、
請求項１記載の画像処理装置。
【請求項６】
請求項１または請求項２記載の学習用画像読み込み部および予測層画像読み込み部は、
学習用または予測用断層画像を読み込むにあたり、
Ｘ線ＣＴやMRIなどの画像種別や臓器の画素値分布に応じて、コントラストと濃度を正規化し、
請求項１または請求項２記載の機械学習部および予測演算出力部の入力とすることを特徴とする画像処理方法。
【請求項７】
請求項２記載の学習用画像読み込み部は、
3Dボリューム画像内における抽出対象臓器の体積の範囲を事前に算出し、抽出対象臓器を含む断層画像を任意の確率で繰り返し学習画像として読み込むことを特徴とする、
請求項１記載の画像処理装置。
【請求項８】
請求項１または請求項２記載の学習用画像読み込み部は、
3Dボリューム画像Aから、3Dボリューム画像Bへ形状位置合わせ技術を実施し、前記画像Aを3次元変形することで学習パターンを拡張した上で、
請求項１または請求項２記載の機械学習部の入力とすることを特徴とする画像処理方法。
【請求項９】
3Dボリューム画像の断面軸をX,Y,Zの3方向としたとき、
請求項１または請求項２記載の予測画像読み込み部は、
各軸における断層画像集合をそれぞれ請求項２記載の予測演算出力部の入力とし、
出力された各方向における予測結果を線形結合し、
最終出力とすることを特徴とする画像処理装置。
【請求項１０】
請求項２記載の予測画像読み込み部は、
Ｘ線ＣＴやMRIなどの画像種別や臓器の画素値分布に応じて、
複数の画素値範囲において断層画像の画素値を正規化した上で、
それぞれ請求項２記載の予測演算出力部の入力とし、
出力された各画素値範囲における予測結果を線形結合し、
最終出力とすることを特徴とする画像処理装置。
【請求項１１】
請求項１または請求項２記載の学習用画像読み込み部は、
繰り返し学習用画像を読み込むにあたり、
学習用3Dボリューム画像群から、3Dボリューム画像A全体を読み込む処理と、
3Dボリューム画像Aから任意の断層画像の部分集合を選択して、学習用画像として読み込み処理と、を非同期で実施することを特徴とする画像処理方法。
【請求項１２】
機械学習による画像の特徴を抽出する特徴抽出装置であって、
繰り返し学習用画像を読み込むにあたり、
特定の入力画像、と特定の教師用特徴画像、または教師用特徴ベクトルの組み合わせを任意の確率で与えることで、
学習済みルールに従い、前記組み合わせを固定することにより、
学習済みルールを特徴付けて識別可能であることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習を用い3次元医用ボリューム画像より指定した領域を自動的に補間・抽出する医用画像３D領域自動補間・抽出方法とそのプログラムに関する。
【背景技術】
【０００２】
近年、適切な放射線治療を行うために、Ｘ線ＣＴ画像やＭＲＩ画像上で臓器領域を詳細に定義した上で、腫瘍に対する放射線量を正確に照射する装置が活用されている。従来の放射線照射支援装置は、例えば、Ｘ線ＣＴ画像やＭＲＩ画像（核磁気共鳴画像）撮像装置、によって撮影された画像の断層画像情報を蓄積する断層画像情報取得部と、断層画像情報取得部に接続されたメモリと、メモリに接続された断層画像・3Dボリューム画像演算表示部と、演算表示部演算結果を表示するディスプレイと、ディスプレイに表示された表示対象物に対して臓器領域を定義し放射線治療計画のシミュレーションを行う入力部とを備えていた。なお3Dボリューム画像は、CTなどの診断装置により得られる断層画像の集合である3次元画像を意味する。
【０００３】
また、臓器の領域定義を行うために、一般的には各断層画像に対して臓器輪郭をマウスでポインティングして入力する手法が提供されている以外、自動で臓器領域を抽出する技術が用いられている。
【０００４】
たとえば特許文献１には、各断層画像から対象臓器輪郭を自動抽出した後、3D再構成することで臓器の3D領域を抽出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４ー６４８３５  （平成26年4月17日(2014.4．17)公開）
【特許文献２】特開２０１８−１１７８８３  （平成30年8月2日(2018.8.2)公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来の臓器画像を抽出する装置においては、CT,MRIなどの画像診断機の出力から生成される断層画像の画素の輝度レベルを撮影された機器ごとに調整していた。その後、処理対象画像の低解像度画像を別途生成し、グラフカット法により低解像度画像から特定領域を抽出し、特定領域の抽出結果に基づいて、処理対象画像における特定領域の輪郭を含む輪郭領域を、処理対象画像に設定する輪郭領域設定手段と、グラフカット法により、輪郭領域から特定領域に対応する領域を抽出する第２の抽出手段とを用い、輪郭を抽出していた。ここで低解像度の画像を用いる理由は、グラフカット法においては、逐次演算で処理対象画像の解像度に依存して処理時間が多くかかるためである。そして最終的に抽出した各断層画像の領域を線形補間することで3D領域を構成していた。しかしながら従来の線形補間方法は、新たに補間生成される断層画像の各ピクセルが元断層画像の隣接ピクセルの範囲を1乃至2程度で参照し補間していたため、疎な断層画像で構成される３Dボリューム画像に対しては臓器曲線を十分に表現できない。さらに前記グラフカット法を含む従来の臓器抽出手法では、断層画像間の各断層に対してそれぞれ領域抽出を実施してから線形結合して３D領域を再構成していたため、断層画像間の連続性情報が領域抽出実施時に利用できないことから、抽出結果を用いて3D再構成される臓器の表面はジャギと呼ばれるギザギザの模様が発生し、精度を高くできなかった。望ましくは高精度の断層画像で構成された3Dボリューム画像に対して、臓器の領域抽出精度も高めたうえ、臓器抽出を実施することである。
【課題を解決するための手段】
【０００７】
本発明第１の画像処理装置は、連続するm枚(mは3以上の整数)の断層画像集合を読み込む学習用画像読み込み部と、連続する断層画像から任意の(m-n)枚(nは1以上、(m-2)以下の整数)を学習用入力データとし、残りのn枚を教師データとする画像補間の機械学習を行う機械学習部と、学習した結果であるルールを格納する学習済みルール格納部と、連続する(m-n)枚の予測用断層画像を読み込む予測用画像読み込み部と、学習済みルール格納部から学習済みルールを呼び出す学習済みルール読み込み部と、 (m-n)枚の予測用断層画像および学習済みルールに基づき、n枚の断層画像新たに生成し出力する予測演算出力部とを備える、第１の画像処理装置である。
【０００８】
かかる構成により、深層学習に用いられる畳み込み演算等の機械学習によって補間ルールを学習することで、新たに補間生成される断層画像の各ピクセルは近傍断層画像の一部または全ピクセルを参照して補間を行うため、元の断層画像と前記中間断層画像を含むすべての断層画像で構成されるジャギの少ない高精細な3Dボリューム画像を再構成することができる。
【０００９】
本発明第２の画像処理装置は、対象臓器の領域情報付きな3Dボリューム画像から、x枚(xは1以上の整数)の学習用断層画像およびy枚(yはx以下の整数)の対象臓器の領域情報を示すラベル画像を読み込む学習用画像読み込み部と、前記断層画像を学習用入力データとし、前記ラベル画像を教師データとする領域抽出の機械学習を行う機械学習部と、学習した結果であるルールを格納する学習済みルール格納部と、x枚の予測用断層画像を読み込む予測用画像読み込み部と、前記学習済みルール格納部から学習済みルールを呼び出す学習済みルール読み込み部と、前記x枚の予測用断層画像および学習済みルールに基づき、臓器領域を示すy枚のラベル画像を新たに生成し出力する予測演算出力部とを備える画像処理装置である。
【００１０】
かかる構成により、一度に3Dボリューム画像の全体に対する画像補間の機械学習演算を行わなくても、3Dボリューム画像を断層の集合群に分割し、演算リソースを抑制しながらも、逐次予測演算することで、臓器全体の3D領域を抽出することができる。
【００１１】
また、本発明第３の画像処理装置は、第２の発明に対して、学習用画像読み込み部は、第１の発明の画像処理装置を用いて3Dボリューム画像Aを補間処理して新たに生成した3Dボリューム画像Bから、x枚(xは1以上の整数)の学習用断層画像およびy枚(yはx以下の整数)の対象臓器の領域情報を示すラベル画像を読み込むことを特徴とする、画像処理装置である。
【００１２】
かかる構成により、本第１の画像処理装置から補間出力される高精細な3Dボリューム画像に対し、本第２の画像処理装置を用いて臓器3D領域抽出を実施することにより、従来手法よりも、体積・輪郭を高精度に表現した臓器形状を抽出可能にすることができる。
【００１３】
また、本発明第４の画像処理装置は、第１の発明に対して、学習用画像読み込み部は、3Dボリューム画像を構成する断層画像群から任意のm枚の連続する断層画像集合を繰り返し学習用画像として読み込むことを特徴とする、画像処理装置である。
【００１４】
かかる構成により、3Dボリューム画像の断層画像の連続する一部または全部を繰り返し学習データとして取得し機械学習を実施することで、一度に3Dボリューム画像の全体に対する画像補間の機械学習演算を行わなくても、演算リソースを抑制しながらも、断層画像間の連続性情報を参照し、3Dボリューム画像の断層画像の任意の部分集合に対する補間画像を生成できる。
【００１５】
また、本発明第５の画像処理装置は、第２の発明に対して、学習用画像読み込み部は、3Dボリューム画像を構成する断層画像群から任意のx枚の連続する断層画像集合と、それに対応するy枚のラベル画像集合を繰り返し学習用画像として読み込むことを特徴とする、画像処理装置である。
【００１６】
かかる構成により、3Dボリューム画像の断層画像およびの一部または全部を繰り返し学習データとして取得し機械学習を実施することで、一度に3Dボリューム画像の全体に対する領域抽出の機械学習演算を行わなくても、演算リソースを抑制しながらも、断層画像間の連続性情報を参照し、3Dボリューム画像の断層画像の任意の部分集合に対する領域抽出処理ができる。
【００１７】
また、本発明第６の画像処理方法は、第１または第２の発明に対し、学習用画像読み込み部および予測層画像読み込み部は、学習用または予測用断層画像を読み込むにあたり、断層画像の画素値を加工せず、またはＸ線ＣＴやMRIなどの画像種別や臓器の画素値分布に応じて、コントラストと濃度を正規化した上で、第１または第２の発明の機械学習部および予測演算出力部の入力とすることを特徴とする画像処理方法である。
【００１８】
一般的に医用画像の多くは、ピクセル情報は２バイト以上で構成されているため、そのまま加工せずにニューラルネットワークに入力するには濃淡値のばらつきが大きく、深層学習結果の精度低下につながる。かかる方法により、学習用または予測用断層画像の分布のバラツキを少なくした後、機械学習部または予測演算出力部の入力とすることで、機械学習の演算精度および学習速度の向上に繋がる。
【００１９】
また、本発明第７の画像処理装置は、第２の発明に対し、学習用画像読み込み部は、3Dボリューム画像内における抽出対象臓器の体積の範囲を事前に算出し、抽出対象臓器を含む断層画像を任意の確率で繰り返し学習画像として読み込むことを特徴とする、画像処理装置である。
【００２０】
かかる構成により、臓器の体積の大小または存在範囲によらず、効率よく学習データを取得でき、機械学習の演算精度および学習速度の向上に繋がる。
【００２１】
また、本発明第８の画像処理方法は、第１の発明または第２の発明に対し、学習用画像読み込み部は、3Dボリューム画像Aから、3Dボリューム画像Bへ形状位置合わせ技術を実施し、前記画像Aを3次元変形することで学習パターンを変更した上で、第１の発明または第２の発明の機械学習部の入力とすることを特徴とする画像処理方法である。
【００２２】
かかる方法により、臓器変形の合理性を保ちながら、少数の学習データから多くの品質の良い学習データへ拡張でき、機械学習の演算精度向上に繋がる。
【００２３】
また、本発明第９の画像処理装置は、3Dボリューム画像の断面軸をX,Y,Zの3方向としたとき、第２の発明に対し、予測画像読み込み部は、各軸における断層画像集合をそれぞれ請求項２記載の予測演算出力部の入力とし、出力された各方向における予測結果を線形結合し、最終出力とすることを特徴とする画像処理装置である。
【００２４】
かかる構成により、複数の機械学習ルールによる予測結果による投票形式で最終決定される予測結果は、単一の断層方向による機械学習ルールの不得手を緩和することにより、領域抽出の精度向上に繋がる。
【００２５】
また、本発明第１０の画像処理装置は、第２の発明に対し、予測画像読み込み部は、Ｘ線ＣＴやMRIなどの画像種別や臓器の画素値分布に応じて、複数の画素値範囲において断層画像の画素値を正規化した上で、それぞれ請求項２記載の予測演算出力部の入力とし、出力された各画素値範囲における予測結果を線形結合し、最終出力とすることを特徴とする画像処理装置である。
【００２６】
かかる構成により、複数の機械学習ルールによる予測結果による投票形式で最終決定される予測結果は、単一の画素値範囲による機械学習ルールの不得手を緩和することにより、輪郭が不明瞭な臓器に対しても領域抽出の精度向上に繋がる。
【００２７】
また、本発明第１１の画像処理方法は、第１の発明または第２の発明に対し、学習用画像読み込み部は、繰り返し学習用画像を読み込むにあたり、学習用3Dボリューム画像群から、3Dボリューム画像A全体を読み込む処理と、3Dボリューム画像Aから任意の断層画像の部分集合を学習用画像として読み込み処理と、を非同期で実施することを特徴とする画像処理方法である。
【００２８】
かかる構成により、容量の大きな3Dボリューム画像を読み込み時間に関わらず、第１の発明または第２の発明の機械学習部に学習用画像を供給することができ、機械学習の速度低下を抑制することができる。
【００２９】
また、本発明第１２の画像処理方法は、機械学習おいて、繰り返し学習用画像を読み込むにあたり、特定の入力画像と特定の教師用特徴画像、または教師用特徴ベクトルの組み合わせを任意の確率で与えることで、学習済みルールに従い、前記組み合わせを固定することにより、学習済みルールを特徴付けて識別可能であることを特徴とする画像処理方法である。
【００３０】
かかる方法により、学習に用いた入力画像を用いることで、学習ルールの識別が行え、学習ルールの流出や無断盗用等を抑止することができる。
【発明の効果】
【００３１】
本発明による画像処理装置によれば、機械学習したルールを利用した高精度な臓器領域抽出が行える。
【００３２】
従来、放射線治療計画データを作成する時に、臓器輪郭を手書きにより作成していたため、多大な時間を要していたが、手書きにて作成した臓器データも含めて、学習モデルとすることにより、学習精度を向上させることが可能となり、高精度の臓器形状を得ることができ、精度の高い治療計画を立案することができる。さらに、臓器領域を容易に抽出可能になれば、手術立案や手術シミュレーション・ナビゲーションなど外科手術領域でも本発明を活用可能である。
【図面の簡単な説明】
【００３３】
【図１】第１の実施形態における画像処理装置１のブロック図。
【図２】第１の実施形態における画像処理装置１の動作を示すフローチャート。
【図３】第１の実施形態の効果の検証結果を示す図。
【図４】第２および第３の実施形態における画像処理装置２のブロック図。
【図５】第２および第３の実施形態における画像処理装置２の動作を示すフローチャート。
【図６】臓器の領域情報付き３Ｄボリューム画像の断層画像の一例を示す図。
【図７】第２の実施形態の効果の検証結果を示す図。
【図８】第４および第５の実施形態における繰り返し学習データを読み込む方法を説明するための図。
【図９】第６の実施形態の効果を説明するための図。
【図１０】第７の実施形態における対象臓器の体積の範囲に応じた学習データ選択の方法を説明するための図。
【図１１】第８の実施形態における形状位置合わせによる学習データ拡張の方法を説明するための図。
【図１２】第９の実施形態における複数断層方向による予測結果に対するアンサンブル処理方法を説明するための図。
【図１３】第１０の実施形態における複数画素値の範囲内の予測結果に対するアンサンブル処理方法を説明するための図。
【図１４】第１１の実施形態における非同期な学習データ供与のための動作を説明するための図。
【図１５】第１２の実施形態における特定の入力画像と教師画像の組み合わせを説明するための図。
【図１６】ＣＰＵバス構成を示す図。
【発明を実施するための形態】
【００３４】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００３５】
図１は、本実施の形態における画像処理装置１のブロック図である。画像処理装置１は、学習用画像読み込み部１０１、機械学習部１０２、学習済みルール格納部１０３、予測用画像読み込み部１０４、学習済みルール読み込み部１０５、予測演算出力部１０６を備える。また、画像処理装置１は、3Dボリューム画像用記憶装置１００と接続されている。画像処理装置１と3Dボリューム画像用記憶装置１００とは有線・無線等の接続形態は問わない。
【００３６】
図２は、補間処理の学習および予測出力する場合において、画像処理装置１が実装する処理のフローチャートである。
【００３７】
（ステップＳ２０１）：
ステップＳ２０１において、学習用画像読み込み部１０１は、３Ｄボリューム画像用記憶装置１００に格納された、学習用画像群から１つの学習用３Ｄボリューム画像を任意に取得する。
【００３８】
（ステップＳ２０２）：
ステップＳ２０２において、学習用画像読み込み部１０１は前記学習用３Ｄボリューム画像の連続するｍ枚の断層画像集合から、断層画像の部分集合（サブ集合と称す）を、任意に選択して取得する。ｍは３以上の整数である。
【００３９】
（ステップＳ２０３〜ステップＳ２０４）：
機械学習部１０２は、前記ｍ枚の断層画像集合に対し、（ｍ−ｎ）枚の入力画像（入力データ）とｎ枚の教師画像（教師データ）に分割し、前記入力画像から前記教師画像を補間出力するための機械学習を実施する。
【００４０】
（ステップＳ２０５〜ステップＳ２０６）：
機械学習部１０２は、ユーザが指定したルールまたは繰り返し数を参照し、学習が未終了の場合、ステップＳ２０１に戻り、繰り返し機械学習を実施する。学習が終了した場合は、学習済みルール格納部１０３に学習済みルールを出力する。
【００４１】
（ステップＳ２０７）：
ステップＳ２０７において、予測用画像読み込み部１０４は、３Ｄボリューム画像用記憶装置１００に格納された、予測用画像群から、ユーザが指定した１つの予測用３Ｄボリューム画像を取得する。
【００４２】
（ステップＳ２０８）：
ステップＳ２０８において、予測用画像読み込み部１０４は、前記予測用３Ｄボリューム画像を構成する断層画像群を（ｍ−ｎ）枚ずつの複数の断層画像サブ集合に分割し、順に予測演算出力部１０６に供与する。
【００４３】
（ステップＳ２０９）：
ステップＳ２０９において、学習済みルール読み込み部１０５は学習済みルール格納部１０３で格納された学習済みルールを取得し、予測演算出力部１０６に供与する。
【００４４】
（ステップＳ２１０〜Ｓ２１２）：
予測演算出力部１０６は、供与された（ｍ−ｎ）枚の断層画像に対し、学習済みルールに基づき画像補間演算を実施する。未処理な断層画像サブ集合が残っている場合、ステップＳ２０８に戻り、追加で画像補間演算を実施する。すべての断層画像サブ集合に対する画像補間演算が終了すると、前記予測用３Ｄボリューム画像の元の断層画像群と補間演算によって新たに生成した断層画像群を併合し、補間済み３Ｄボリューム画像として出力する。
【００４５】
図３に、一例として、１つの３Ｄボリューム画像に対し、従来の線形補間法を実施した後に生成した３Ｄ立体画像（ａ）と、画像処理装置１に対し、（ｂ）で示すようにｍ＝５、ｎ＝１と設定して画像補間の機械学習を行った後、前記３Ｄボリューム画像に対して画像補間を実施した後に生成した３Ｄ立体画像（ｃ）の比較画像を示す。従来の線形補間法と比べ、画像処理装置１によって補間出力された画像は不自然なジャギが軽減され、滑らかな表面を生成することができている。
【００４６】
図４は、本実施の形態における画像処理装置２のブロック図である。画像処理装置２は、学習用画像読み込み部２０１、機械学習部２０２、学習済みルール格納部２０３、予測用画像読み込み部２０４、学習済みルール読み込み部２０５、予測演算出力部２０６を備える。また、画像処理装置２は、3Dボリューム画像用記憶装置１００、または第１の実施形態における画像処理装置１の予測演算出力部１０６と接続されている。画像処理装置２と3Dボリューム画像用記憶装置１００、または画像処理装置１の予測演算出力部１０６との有線・無線等の接続形態は問わない。
【００４７】
図５は、臓器の領域抽出の学習および予測出力する場合において、画像処理装置２が実装する処理のフローチャートである。
【００４８】
（ステップＳ５０１）：
ステップＳ５０１において、学習用画像読み込み部２０１は、対象臓器の領域情報付き３Ｄボリューム画像用記憶装置１００に格納された、学習用画像群から１つの学習用３Ｄボリューム画像を任意に取得する。
【００４９】
（ステップＳ５０２）：
ステップＳ５０２において、学習用画像読み込み部２０１は前記学習用３Ｄボリューム画像の連続するｘ枚の断層画像集合を任意の選択して取得する。更に、学習用画像読み込み部２０１は、前記断層画像集合上の対象臓器の領域情報を示すy枚ラベル画像を取得する。ｘは１以上の整数であり、ｙは１以上、ｘ以下の整数である。
【００５０】
（ステップＳ５０３〜ステップＳ５０４）：
機械学習部２０２は、前記ｘ枚の断層画像集合を入力画像、ｙ枚のラベル画像を教師画像として、領域抽出するための機械学習を実施する。
【００５１】
（ステップＳ５０５〜ステップＳ５０６）：
機械学習部２０２は、ユーザが指定したルールまたは繰り返し数を参照し、学習が未終了の場合、ステップＳ５０１に戻り、繰り返し機械学習を実施する。学習が終了した場合は、学習済みルール格納部２０３に学習済みルールを出力する。
【００５２】
（ステップＳ５０７）：
ステップＳ５０７において、予測用画像読み込み部２０４は、３Ｄボリューム画像用記憶装置１００に格納された、予測用画像群から、ユーザが指定した１つの３Ｄボリューム画像または第１の実施形態における画像処理装置１の予測演算出力部によって補間出力された３Ｄボリューム画像を、予測用３Ｄボリューム画像として取得し読み込む。
【００５３】
（ステップＳ５０８）：
ステップＳ５０８において、予測用画像読み込み部２０４は、前記予測用３Ｄボリューム画像を構成する断層画像群をｘ枚ずつの複数の断層画像サブ集合に分割し、順に予測演算出力部２０６に与える。
【００５４】
（ステップＳ５０９）：
ステップＳ５０９において、学習済みルール読み込み部２０５は学習済みルール格納部２０３で格納された学習済みルールを取得し、予測演算出力部２０６に与える。
【００５５】
（ステップＳ５１０〜Ｓ５１２）：
予測演算出力部２０６は、供与されたｘ枚の断層画像に対し、学習済みルールに基づき領域抽出演算を実施する。未処理の断層画像サブ集合が残っている場合、ステップＳ５０８に戻り、追加で領域抽出演算を実施する。すべての断層画像サブ集合に対する領域抽出演算が終了すると、新たに生成した領域ラベル画像を併合し、３Ｄラベル画像として出力する。
【００５６】
図６に、臓器の領域情報付きの３Ｄボリューム画像として、ＤＩＣＯＭ−ＲＴ形式画像の一断層画像例を示す。ＤＩＣＯＭ−ＲＴ画像ではＣＴやＭＲIの各断層画像６０１に、各臓器の領域情報６０２が付加されている。このような臓器の領域情報付きの３Ｄボリューム画像に対し、画像処理装置２を用いれば、ＣＴ断層画像を入力データとし、領域情報を教師データとして、領域抽出ルールの機械学習を実施可能である。また、図７に、一例として、１つの３Ｄボリュームの連続する断層画像のサブ集合７０１に対し、画像処理装置２によって右肺部分の領域を機械学習したルールに基づき断層画像ごとに領域７０２を抽出した結果、出力された３Ｄラベル画像から再構成された右肺の表面３Ｄ画像７０３を示す。
【００５７】
以上のように、本実施例によれば、対象とする抽出臓器の輪郭が断層画像の一部として表示できるように構成した場合、機械学習を用いて容易に区別され精度高く臓器の抽出が実施できる。
【００５８】
また、これまで手書きにより輪郭を描くことにより抽出してきた臓器画像の輪郭を、学習モデル画像として、再利用できることはもちろんであり、すでに臓器画像として蓄積された断層画像を機械学習に用いることで、精度よく臓器抽出が実施できる。
【００５９】
次に図８を用いて第４および第５の本発明実施形態について説明する。第４および第５の実施形態において、画像処理装置１または画像処理装置２の学習用画像読み込み部１０１、２０１は、学習実施の度に３Ｄボリューム画像８０１を選択し、当該画像を構成する部分集合画像８０２を学習データとして読み込むが、これを十分に多くの回数分繰り返し前記３Ｄボリューム画像７０１からランダムに取得し、機械学習部１０２，２０２に供与することで、３Ｄボリューム画像内の任意な部分集合に対して予測演算が可能なルールを構築できる。
【００６０】
近年よく用いられる深層学習等の技術において、一度に処理する画像数に比例して、学習時および予測時に必要となるハードウェアリソースが増加するため、３Ｄボリューム画像を一度に機械学習で処理するための実施環境が限られる。
【００６１】
本実施例によれば、任意の部分集合画像に対して繰り返し機械学習を実施することにより、従来よりも限定的なリソースを用いた場合でも、断層画像間の情報の連続性を失わせることなく、３Ｄボリューム画像全体に対する高精度な機械学習および予測演算を実施できる。
【００６２】
次に第６の実施形態について説明する。
【００６３】
３Ｄボリューム画像の大部分においては、各ピクセルが２バイト以上で構成されることが多いが、実際に記録される画像は画素値の取りうる全範囲に渡って分布しているわけではない。例えば、各ピクセルが２バイトで構成されるＣＴ画像では各画素値の取りうる全範囲は−３２７６８乃至３２７６７であるが、実際に撮像される臓器や骨等のCT値は−５００乃至５００程度である。また、肝臓や腎臓等の特定臓器に限定すると、対象臓器が取りうるＣＴ値の範囲は更に狭まる。
【００６４】
深層学習等の機械学習は画像内のピクセル間の輝度値の差を元に特徴量抽出を行うアルゴリズムになっているため、不要な画素域を除外した画像に変換し、解析に用いたほうが精度向上する場合が多い。
【００６５】
そこで、本実施形態において、画像処理装置１の機械学習部１０２および予測演算出力部は１０６，画像処理装置２の機械学習部２０２および予測演算出力部２０６は、供与された断層画像の種別や抽出対象臓器に応じて、画素値範囲を限定し、画素値を正規化した上で機械学習及び予測演算に用いることで、補間演算および領域抽出の精度を向上させることができる。
【００６６】
図９に、一例として、正規化前の断層画像（ａ）と肝臓の画素値の存在範囲に近い−１５０乃至１５０程度に画素値範囲を限定して正規化を実施した断層画像（ｂ）を示す。正規化を実施したことで、肝臓領域の輪郭が際立つことから、抽出精度が向上したことが推定される。
【００６７】
次に図１０を用いて第７の実施形態について説明する。
【００６８】
第２の実施形態における、学習用画像読み込み部２０１は、３Ｄボリューム画像から、任意の連続する断層画像集合、および対象臓器の領域情報を示すラベル画像を読み込み、学習用画像として機械学習部２０２に供与する。
【００６９】
体積の小さい臓器の場合、３Ｄボリューム画像内の僅かな断層画像にのみ臓器領域が存在するため、一様分布に従って任意の連続する断層画像を取得することは、学習精度に影響しない断層を取得することが多く、学習効率の低下に繋がる。
【００７０】
そこで、本実施形態において、図１０に示すように、学習用画像読み込み部２０１は３Ｄボリューム画像内における抽出対象臓器１００１の体積の存在範囲を事前に算出しておき、繰り返し学習画像として取得する際に、抽出対象臓器を含む断層画像部１００２から任意の確率で断層画像集合を選択するように制御を行うことで、短時間で効率の良い機械学習の実施を実現できる。なお、任意の確率はユーザによる指定確率でも良いし、正規分布等に従って自動決定しても良い。
【００７１】
次に、第８の実施形態について説明する。機械学習において、学習精度および判定性能の向上には、より多くの学習データを用いることが不可欠である。学習データ数が限定されている場合、元の学習データに対しコントラスト変換や伸縮変形等の手段を用いて、学習データを拡張することが行われている。３Ｄボリューム画像に対しても、同様な手法を応用することが可能であるが、不自然な臓器変形を行うことは学習精度の低下を招く。
【００７２】
そこで、本実施形態において、第１の実施形態または第２の実施形態における学習用画像読み込み部１０１、２０１は、図１１に示すように、３Ｄボリュームの元画像１１０１から、３Ｄボリュームの参照画像１１０２へ３次元形状位置合わせ技術を実施し、３Ｄボリュームの元画像１１０１から軟体変形して生成された新たな３Ｄボリュームの変形画像１１０３を学習画像群に加えることで、合理的な臓器変形を維持しながら品質の良い学習データとして拡張し、機械学習の精度向上を実現することが可能となる。
【００７３】
次に、第９の実施形態について説明する。機械学習において、同等性能のモデルを複数学習し、これらの予測結果を線形結合することで、判定精度を向上させる技術が知られており、本技術はアンサンブル処理技術と呼ばれている。本実施形態においては、前記アンサンブル処理技術を応用し、画像処理装置１または画像処理装置２の予測画像読み込み部１０４または２０４は、３Ｄボリューム画像の断面軸をＸ、Ｙ、Ｚの３方向としてしたとき、各軸における断層画像集合をそれぞれの予測演算出力部１０６または２０６の入力とし、得られた各断層方向における予測結果を線形結合することで、最終予測結果の精度を向上させることができる。
【００７４】
図１２に、一例として、１つの３Ｄボリューム画像に対し、画像処理装置２の予測画像読み込み部２０４は、３Ｄボリューム画像のＸ、Ｙ、Ｚ各軸の断層画像１２０１を予測演算部２０６の入力として与え、得られた各軸における領域抽出結果１２０２を線形結合することで、最終予測結果１２０３として出力することで、領域抽出精度の向上を実現することを可能とする。
【００７５】
次に、第１０の実施形態について説明する。本実施形態は前記アンサンブル技術を応用し、画像処理装置２の予測画像読み込み部２０４は、Ｘ線ＣＴやＭＲＩなどの画像種別や臓器の画素値分布に応じて、複数の画素値範囲において断層画像の画素値を第６の実施形態による画素値の正規化手法を適用し、得られた複数の予測結果を線形結合することで、最終予測結果の精度を向上させる。
【００７６】
図１３に、一例として、読み込まれたＣＴ断層画像群の元画像１３０１に対し、−１０００乃至１０００、−４００乃至４００、−１００乃至１００の３種類の画素値範囲の正規化処理をして得られた正規化済み断層画像群１３０２を、それぞれ予測演算部２０６の入力として供与し、得られた各画素値範囲における領域抽出結果１３０３を線形結合することで、最終予測結果１３０４として出力することで、領域抽出精度の向上を実現する。
【００７７】
また、前記複数の画素値範囲はユーザが指定しても良いし、対象臓器の分布に応じて自動で決定しても良い。
【００７８】
次に図１４を用いて第１１の実施形態について説明する。画像処理装置１または画像処理装置２の学習用画像読み込み部１０１または２０１は、学習実施の度に３Ｄボリューム画像を読み込み、当該画像を構成する部分集合画像を学習データとして選択するが、３Ｄボリューム画像のサイズが大きい場合、機械学習部に学習データを供与するまでに必要となる時間が多く、学習時間の遅延や学習効率の低下を招いていた。
【００７９】
そこで、本実施形態では、図１４に示すように、学習用3Dボリューム画像群から、3Dボリューム画像１４０１を読み込む処理１４０２と、3Dボリューム画像から任意の断層画像の部分集合１４０３を学習用画像として選択する処理１４０４と、を非同期で実施することで、機械学習部に対し遅延せずに学習データを供与し、効率的な学習実施ができる。
【００８０】
汎用的な機械学習用ソフトウェアは機械学習に利用しやすい反面、学習済みルールは共通的な形式で保存されるため、前記学習済みルールは制作者に無断で二次利用されやすい。
【００８１】
そこで、本実施例では、図１５に示すように、機械学習を実施する際に、繰り返し学習用画像を読み込むにあたり、学習用入力画像群１５０１および学習用教師画像群１５０２に対し、特定の入力画像と特定の教師用特徴画像、または教師用特徴ベクトルの組み合わせ１５０３を任意の確率で機械学習部に与える。そして学習済みルールに前記組み合わせを学習し、前記入力に対する出力を固定することにより、学習済みルールを特徴付けて識別できるように構成できるため、得られた画像から利用したことが判断でき、無断な二次利用に対する抑止力となる。なお、前記組み合わせ１５０３は前記入力画像群１５０１および教師画像群１５０２と無関連な画像であっても良い。なお、前記任意の確率はユーザによる指定確率でも良いし、正規分布等に従って自動決定しても良い。例えば、入力画像群１５０１と教師画像群１５０２を機械学習部に与える回数と、前記組み合わせ１５０３を機械学習部に与える回数を１００：１という確率に指定しても、これを多数回繰り返すことで機械学習部は組み合わせ１５０３における入力画像に対して、必ず組み合わせ１５０３における教師用特徴画像を出力するように学習する。また、本実施例は特定の組み合わせを画像として説明しているが、入力および教師用特徴はそれぞれ数値の羅列であるベクトル形式であっても良い。
【００８２】
また、上記実施形態で説明した画像処理装置、画像処理方法において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【００８３】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００８５】
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【００８６】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【００８７】
例えば、上記実施形態（変形例を含む）の各機能部を、ソフトウェアにより実現する場合、図１６に示したハードウェア構成（例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。
【００８８】
また、上記実施形態の各機能部をソフトウェアにより実現する場合、当該ソフトウェアは、図１６に示したハードウェア構成を有する単独のコンピュータを用いて実現されるものであってもよいし、複数のコンピュータを用いて分散処理により実現されるものであってもよい。
【００８９】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【００９０】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、Blue-ray、半導体メモリを挙げることができる。
【００９１】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【００９２】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【符号の説明】
【００９３】
１００  ３Ｄボリューム画像用記憶装置
１０１、２０１  学習用画像読み込み部
１０２、２０２  機械学習部
１０３、２０３  学習済みルール格納部
１０４、２０４  予測用画像読み込み部
１０５、２０５  学習済みルール読み込み部
１０６、２０６  予測演算出力部
【図１】
2020075063.tif 000003
【図２】
2020075063.tif 000004
【図３】
2020075063.tif 000005
【図４】
2020075063.tif 000006
【図５】
2020075063.tif 000007
【図６】
2020075063.tif 000008
【図７】
2020075063.tif 000009
【図８】
2020075063.tif 000010
【図９】
2020075063.tif 000011
【図１０】
2020075063.tif 000012
【図１１】
2020075063.tif 000013
【図１２】
2020075063.tif 000014
【図１３】
2020075063.tif 000015
【図１４】
2020075063.tif 000016
【図１５】
2020075063.tif 000017
【図１６】
2020075063.tif 000018