(57)【要約】  機械学習装置は、変形の前後における測定データに基づいて、変形前の物体の形状を表す第１の形状モデルと変形後の物体の形状を表す第２の形状モデルを生成する生成部と、第１の形状モデルを構成する各微小領域と他の微小領域との間の差分値を含む特徴量と、第１の形状モデルの各微小領域から第２の形状モデルの対応する各微小領域への変位を与える関係を学習する学習部とを有する。
2020054503.tif 000002
【特許請求の範囲】
【請求項１】
変形の前後における測定データに基づいて、変形前の物体の形状を表す第１の形状モデルと変形後の物体の形状を表す第２の形状モデルを生成する生成部と、
前記第１の形状モデルを構成する各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から前記第２の形状モデルの対応する各微小領域への変位を与える関係を学習する学習部と
を有する機械学習装置。
【請求項２】
前記生成部が、前記第１の形状モデルの要素である頂点の配置を変更した第３の形状モデルと、前記第２の形状モデルの要素である頂点の配置を変更した第４の形状モデルを生成する場合、
前記学習部は、前記第３の形状モデルの各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第３の形状モデルの各微小領域から前記第４の形状モデルの対応する各微小領域への変位を与える前記関係も学習する、
請求項１に記載の機械学習装置。
【請求項３】
前記特徴量は、各微小領域を与える座標、各微小領域を規定する勾配又は法線ベクトル、各微小領域を規定する曲率、各微小領域のボロノイ面積、各微小領域の収縮率、及び、各微小領域と平均的な形状モデルの対応領域からのずれ量のうちのいずれか１つ又は複数によって規定される、請求項１に記載の機械学習装置。
【請求項４】
前記特徴量を与える前記差分値は、前記第１の形状モデルを構成する全微小領域のうちの５％以上の微小領域との間で計算される、請求項１に記載の機械学習装置。
【請求項５】
前記学習部は、カーネル回帰モデルを用いて前記関係を学習する、請求項１又は２に記載の機械学習装置。
【請求項６】
変形の前後における前記測定データは、医用画像データである
ことを特徴とする請求項１又は２に記載の機械学習装置。
【請求項７】
前記変形は肺の脱気変形であり、脱気による変形前の前記測定データとして気胸を治療した患者の肺の医用画像データを用い、脱気による変形後の前記測定データとして気胸を治療する前の患者の肺の医用画像データを用いる
ことを特徴とする請求項６に記載の機械学習装置。
【請求項８】
前記変形は、呼吸による若しくは時間変化若しくは検体の違いに伴う臓器の変形又は臓器の位置の移動を含む
ことを特徴とする請求項６に記載の機械学習装置。
【請求項９】
前記第１の形状モデルと前記第２の形状モデルは、３次元の頂点モデルである
ことを特徴とする請求項１に記載の機械学習装置。
【請求項１０】
コンピュータに、
変形の前後における測定データに基づいて、変形前の物体の形状を表す第１の形状モデルと変形後の物体の形状を表す第２の形状モデルを生成する機能と、
前記第１の形状モデルの各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から前記第２の形状モデルの対応する各微小領域への変位を与える関係を学習する機能と
を実行させるプログラム。
【請求項１１】
任意の測定データが与えられた場合に、変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を与える関係を学習した学習済みモデルを用い、当該任意の測定データに対応する変形後の形状を推定する推定部
を有する推定装置。
【請求項１２】
前記推定部は、
入力された前記測定データについて生成される形状モデルの微小領域と他の微小領域との間の差分値を含む特徴量を算出し、
各微小領域に対応する特徴量の変位を、前記学習済みモデルに記憶されている関係の補間によって推定する
ことを特徴とする請求項１１に記載の推定装置。
【請求項１３】
コンピュータに、
任意の測定データが与えられた場合に、変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を与える関係を学習した学習済みモデルを用い、当該任意の測定データに対応する変形後の形状を推定する機能
を実行させるプログラム。
【請求項１４】
変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量を入力とし、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を出力とする関係を与え、
任意の測定データが与えられた場合に、前記関係を用い、当該任意の測定データに対応する形状モデルの各微小領域に対応する変位を演算することにより、当該任意の測定データに対応する変形後の形状を推定する機能をコンピュータに実行させるための学習済みモデル。
【請求項１５】
複数の第１の物体の測定データに基づいて、第１の物体の個別の形状を表す形状モデルと平均的な形状モデルを生成する生成部と、
前記個別の形状を表す形状モデルを構成する各微小領域と前記平均的な形状モデルの対応する微小領域との間の差分値を含む特徴量の分布と、当該差分値の分布と前記第１の物体との間に制約関係を有する第２の物体が存在する領域との関係を学習する学習部と
を有する機械学習装置。
【請求項１６】
前記制約関係は、前記第２の物体が前記第１の物体に隣接する又は繋がっている関係を含む、請求項１５に記載の機械学習装置。
【請求項１７】
コンピュータに、
複数の第１の物体の測定データに基づいて、第１の物体の個別の形状を表す形状モデルと平均的な形状モデルを生成する機能と、
前記個別の形状を表す形状モデルを構成する各微小領域と前記平均的な形状モデルの対応する微小領域との間の差分値を含む特徴量の分布と、当該差分値の分布と前記第１の物体との間に制約関係を有する第２の物体が存在する領域との関係を学習する機能と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習装置、推定装置、プログラム及び学習済みモデルに関する。
【背景技術】
【０００２】
イメージング技術の進歩によって、早期の微小肺結節が発見される機会は増加傾向にあり、胸腔鏡下手術が広く実施されている。ところが、術前において肺は含気状態であるのに対し、手術時には脱気状態であり、肺が大きく変形する。結果的に、手術中の結節位置は、術前に特定された結節位置から変化する。この変化への対策として、術前にマーキングされた色素の部位と術中に撮像されるＣＴ（Computed Tomography）画像とをレジストレーションして複数の微小結節の位置を同定する手法がある。
また、術中に撮像するＣＴを用いない方法として、臓器の変形をシミュレーションする方法（非特許文献１）や、引張による弾性体の変形を学習したモデルを使用して臓器の変形をシミュレーションする方法（非特許文献２）もある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】M． Nakao, Y． Oda, K．Taura, and K． Minato, Direct Volume Manipulation for Visualizing Intraoperative Liver Resection Process, Computer Methods and Programs in Biomedicine, Vol． 113, No． 3, pp． 725-735, Mar 2014．
【非特許文献２】山本 詩子, 中尾 恵, 大関 真之, 松田 哲也, カーネル法を用いた弾性体の部分観測情報に基づく変形推定, 生体医工学, p． 180, 2017．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、術前にマーキングされた色素の部位と術中に撮像されるＣＴ画像とをレジストレーションする手法は、追加の計測を必要とする等、医師と患者双方の負担を増やしている。
また、非特許文献１に記載の方法には、患者固有の力学特性や物理条件の実測が難しい問題があり、非特許文献２に記載の方法は、シミュレーションで生成された人工データの変形のシミュレーションにとどまっている。【０００５】
本発明は、形状の全体を単位として変形を学習する場合に比して、推定精度が高い学習済みモデルを生成することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、変形の前後における測定データに基づいて、変形前の物体の形状を表す第１の形状モデルと変形後の物体の形状を表す第２の形状モデルを生成する生成部と、前記第１の形状モデルを構成する各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から前記第２の形状モデルの対応する各微小領域への変位を与える関係を学習する学習部とを有する機械学習装置である。
請求項２に記載の発明は、前記生成部が、前記第１の形状モデルの要素である頂点の配置を変更した第３の形状モデルと、前記第２の形状モデルの要素である頂点の配置を変更した第４の形状モデルを生成する場合、前記学習部は、前記第３の形状モデルの各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第３の形状モデルの各微小領域から前記第４の形状モデルの対応する各微小領域への変位を与える前記関係も学習する、請求項１に記載の機械学習装置である。
請求項３に記載の発明は、前記特徴量は、各微小領域を与える座標、各微小領域を規定する勾配又は法線ベクトル、各微小領域を規定する曲率、各微小領域のボロノイ面積、各微小領域の収縮率、及び、各微小領域と平均的な形状モデルの対応領域からのずれ量のうちのいずれか１つ又は複数によって規定される、請求項１に記載の機械学習装置である。
請求項４に記載の発明は、前記特徴量を与える前記差分値は、前記第１の形状モデルを構成する全微小領域のうちの５％以上の微小領域との間で計算される、請求項１に記載の機械学習装置である。
請求項５に記載の発明は、前記学習部は、カーネル回帰モデルを用いて前記関係を学習する、請求項１又は２に記載の機械学習装置である。
請求項６に記載の発明は、変形の前後における前記測定データは、医用画像データであることを特徴とする請求項１又は２に記載の機械学習装置である。
請求項７に記載の発明は、前記変形は肺の脱気変形であり、脱気による変形前の前記測定データとして気胸を治療した患者の肺の医用画像データを用い、脱気による変形後の前記測定データとして気胸を治療する前の患者の肺の医用画像データを用いることを特徴とする請求項６に記載の機械学習装置である。
請求項８に記載の発明は、前記変形は、呼吸による若しくは時間変化若しくは検体の違いに伴う臓器の変形又は臓器の位置の移動を含むことを特徴とする請求項６に記載の機械学習装置である。
請求項９に記載の発明は、前記第１の形状モデルと前記第２の形状モデルは、３次元の頂点モデルであることを特徴とする請求項１に記載の機械学習装置である。
請求項１０に記載の発明は、コンピュータに、変形の前後における測定データに基づいて、変形前の物体の形状を表す第１の形状モデルと変形後の物体の形状を表す第２の形状モデルを生成する機能と、前記第１の形状モデルの各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から前記第２の形状モデルの対応する各微小領域への変位を与える関係を学習する機能とを実行させるプログラムである。
請求項１１に記載の発明は、任意の測定データが与えられた場合に、変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を与える関係を学習した学習済みモデルを用い、当該任意の測定データに対応する変形後の形状を推定する推定部を有する推定装置である。
請求項１２に記載の発明は、前記推定部は、入力された前記測定データについて生成される形状モデルの微小領域と他の微小領域との間の差分値を含む特徴量を算出し、各微小領域に対応する特徴量の変位を、前記学習済みモデルに記憶されている関係の補間によって推定することを特徴とする請求項１１に記載の推定装置である。
請求項１３に記載の発明は、コンピュータに、任意の測定データが与えられた場合に、変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を与える関係を学習した学習済みモデルを用い、当該任意の測定データに対応する変形後の形状を推定する機能を実行させるプログラムである。
請求項１４に記載の発明は、変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量を入力とし、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を出力とする関係を与え、任意の測定データが与えられた場合に、前記関係を用い、当該任意の測定データに対応する形状モデルの各微小領域に対応する変位を演算することにより、当該任意の測定データに対応する変形後の形状を推定する機能をコンピュータに実行させるための学習済みモデルである。
請求項１５に記載の発明は、複数の第１の物体の測定データに基づいて、第１の物体の個別の形状を表す形状モデルと平均的な形状モデルを生成する生成部と、前記個別の形状を表す形状モデルを構成する各微小領域と前記平均的な形状モデルの対応する微小領域との間の差分値を含む特徴量の分布と、当該差分値の分布と前記第１の物体との間に制約関係を有する第２の物体が存在する領域との関係を学習する学習部とを有する機械学習装置である。
請求項１６に記載の発明は、前記制約関係は、前記第２の物体が前記第１の物体に隣接する又は繋がっている関係を含む、請求項１５に記載の機械学習装置である。
請求項１７に記載の発明は、コンピュータに、複数の第１の物体の測定データに基づいて、第１の物体の個別の形状を表す形状モデルと平均的な形状モデルを生成する機能と、前記個別の形状を表す形状モデルを構成する各微小領域と前記平均的な形状モデルの対応する微小領域との間の差分値を含む特徴量の分布と、当該差分値の分布と前記第１の物体との間に制約関係を有する第２の物体が存在する領域との関係を学習する機能とを実行させるプログラムである。
【発明の効果】
【０００７】
請求項１記載の発明によれば、形状の全体を単位として変形を学習する場合に比して、推定精度が高い学習済みモデルを生成できる。
請求項２記載の発明によれば、測定データの数に比して推定精度の高い学習済みモデルを生成できる。
請求項３記載の発明によれば、形状の全体を単位として変形を学習する場合に比して、推定精度が高い学習済みモデルを生成できる。
請求項４記載の発明によれば、差分値を求める微小領域の数が少ない場合でも、推定精度が高い学習済みモデルを生成できる。
請求項５記載の発明によれば、入出力の間に非線形の関係が含まれる場合でも学習済みモデルの推定精度を高めることができる。
請求項６記載の発明によれば、生成された学習済みモデルを医用分野で利用できる。
請求項７記載の発明によれば、脱気後の肺の形状を高い精度で推定可能な学習済みモデルを生成できる。
請求項８記載の発明によれば、生成された学習済みモデルを医用分野で利用できる。
請求項９記載の発明によれば、３次元形状の変形を推定できる。
請求項１０記載の発明によれば、形状の全体を単位として変形を学習する場合に比して推定精度が高い学習済みモデルを生成する装置としてコンピュータを動作させることができる。
請求項１１記載の発明によれば、形状の全体を単位として変形を学習した学習済みモデルを使用する場合に比して、変形後の形状を高い精度で推定できる。
請求項１２記載の発明によれば、形状の全体を単位として変形を学習した学習済みモデルを使用する場合に比して、変形後の形状を高い精度で推定できる。
請求項１３記載の発明によれば、形状の全体を単位として変形を学習した学習済みモデルを使用する場合に比して、変形後の形状を高い精度で推定できる装置としてコンピュータを動作させることができる。
請求項１４記載の発明によれば、形状の全体を単位として変形を学習する場合よりも変形後の形状を高い精度で推定できる学習済みモデルを提供できる。
請求項１５記載の発明によれば、制約関係がある物体間の位置関係を形状単位で学習する場合よりも対象とする他の物体の位置を高い精度で推定できる。
請求項１６記載の発明によれば、制約関係がある物体間の位置関係を形状単位で学習する場合よりも対象とする他の物体の位置を高い精度で推定できる。
請求項１７記載の発明によれば、制約関係がある物体間の位置関係を形状単位で学習する場合よりも対象とする他の物体の位置を高い精度で推定できる。
【図面の簡単な説明】
【０００８】
【図１】変形の前後の測定データの関係を学習した学習済みモデルを用いて、任意の測定データについての変形後の形状を推定する推定システムの概念構成例を説明する図である。
【図２】機械学習装置のハードウェア構成の一例を示す図である。
【図３】機械学習装置の機能構成の一例を示す図である。
【図４】脱気による動物肺の変形を説明する図である。（Ａ）は変位モデルＡを示し、（Ｂ）は変位モデルＢを示し、（Ｃ）は変位モデルＣを示す。
【図５】実施の形態に係る形状モデル生成部で実行される処理の一例を説明する図である。
【図６】患者の違いによる頂点数の違いを説明する図である。
【図７】位置合わせ部による位置合わせ処理を説明する図である。
【図８】変形前の形状データに対する位置合わせと変形後の形状データに対する位置合わせの実行順序を説明する図である。
【図９】モデルアップサンプリング部によるアップサンプリング動作を説明する図である。
【図１０】本実施の形態におけるアップサンプリングの方法の一例を説明する図である。
【図１１】本実施の形態におけるアップサンプリングの方法の他の一例を説明する図である。
【図１２】肺の形状モデルと微小領域の関係を説明する図である。
【図１３】実施の形態において学習される入出力関係を説明する図である。
【図１４】実施の形態に係る変形学習部で実行される処理の一例を説明する図である。
【図１５】実施の形態に係る機械学習部で学習される関係を説明する図である。
【図１６】変形推定装置のハードウェア構成の一例を示す図である。
【図１７】変形推定装置の機能構成の一例を示す図である。
【図１８】変形推定装置による推定過程を説明する図である。
【図１９】推定結果出力部による出力画面の例を説明する図である。
【図２０】３種類の回帰モデル間での推定誤差の違いを説明する図表である。
【図２１】４種類の特徴量データと推定誤差の違いを説明する図表である。
【図２２】頂点間差分を含む特徴量データを用い、回帰モデルにカーネル回帰モデルを用いる場合における各検体についての推定結果と実測値との誤差を示す。
【図２３】各検体の変形前後の形状の関係を２次元的に示す図である。
【図２４】頂点間差分の次元と推定精度の関係を説明する図表である。
【図２５】複数の臓器の変形を伴う移動先の推定を説明する図である。
【図２６】臓器の形状のバリエーションを推定して特定の臓器の領域を医用画像データから抽出する処理機能を説明する図である。
【図２７】２次元画像データから３次元形状を推定し、推定された３次元形状を用いて変形後の形状を推定する例を説明する図である。
【図２８】複数の形状モデルから生成される平均形状モデルを説明する図である。
【図２９】平均形状モデルに対する各形状モデルの対応領域間のずれ量を説明する図である。
【図３０】物体１の測定データから生成された形状モデル（アップサンプリング後の形状モデルを含む）の各頂点とそれらの平均形状モデルの対応頂点とのずれ量と、物体１との間に制約関係がある他の物体２を構成する各頂点の座標との関係を学習する機械学習装置の構成例を説明する図である。
【図３１】物体１の測定データから生成された形状モデルと平均モデルとのずれ量から物体２の位置を推定する位置推定装置の構成例を説明する図である。
【図３２】コーンビームＣＴで撮像された右肺のＣＴ画像の範囲と、ＣＴで撮像された同じ右肺のＣＴ画像の範囲との関係を説明する図である。（Ａ）は被検体ＡのＣＴ画像を示し、（Ｂ）は被検体ＢのＣＴ画像を示し、（Ｃ）は被検体ＣのＣＴ画像を示す。
【図３３】実施の形態７で使用する形状モデル生成部で実行される処理の一例を示す図である。
【図３４】含気状態の肺をコーンビームＣＴで撮像したＣＴ画像Ｐ２（すなわち変形前部分形状モデル）と脱気状態の同じ肺をコーンビームＣＴで撮像したＣＴ画像Ｐ３（すなわち変形後部分形状モデル）との位置合わせの結果を説明する図である。（Ａ）は被検体Ａの形状モデルを示し、（Ｂ）は被検体Ｂの形状モデルを示し、（Ｃ）は被検体Ｃの形状モデルを示し、（Ｄ）は位置合わせの結果を示す。
【図３５】被検体の含気状態の肺をＣＴで撮像したＣＴ画像Ｐ１（変形前形状モデル）と肺のテンプレート形状Ｔとの位置合わせの結果を説明する図である。
【図３６】実施の形態７で使用する変形学習部で実行される処理の一例を示す図である。
【図３７】学習に用いる対象（学習対象）と学習に用いない対象（除外対象）とを説明する図である。（Ａ）は被検体Ａの形状モデルを示し、（Ｂ）は被検体Ｂの形状モデルを示す。
【図３８】境界付近の頂点を除去しない場合の変位量データｙｉを説明する図である。（Ａ）は被検体Ａのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示し、（Ｂ）は被検体Ｂのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示し、（Ｃ）は被検体Ｃのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示す。
【図３９】境界付近の頂点を除去する場合の変位量データｙｉを説明する図である。（Ａ）は被検体Ａのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示し、（Ｂ）は被検体Ｂのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示し、（Ｃ）は被検体Ｃのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示す。
【図４０】手術中にコーンビームＣＴで撮像された部分画像を用いて学習した学習済みモデルに手術前に撮像したＣＴデータを入力して推定された変形後の形状ＰＳを説明する図である。（Ａ）は実際の手術映像を示し、（Ｂ）は推定された形状ＰＳを示す。
【図４１】実施の形態７で説明した手法で生成した学習済みモデルを用いた推定画像の精度を説明する図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【００１０】
＜実施の形態１＞
＜システム構成＞
図１は、変形の前後の測定データの関係を学習した学習済みモデルを用いて、任意の測定データについての変形後の形状を推定する推定システム１の概念構成例を説明する図である。
図１に示す推定システム１は、教師データとしての測定データから学習済みモデルを生成する機械学習装置１０と、生成された学習済みモデルを用いて任意の測定データの変形後の形状を推定する変形推定装置２０とを有している。
本実施の形態の場合、機械学習装置１０に対する測定データの入力は、測定データが格納されているデータベース（ＤＢ）３０から直接入力されてもよいし、ネットワーク４０経由で入力されてもよい。ここでのネットワーク４０は、ローカルエリアネットワークでも、インターネットでもよい。
【００１１】
また、生成された学習済みモデルや学習済みモデルを更新するパラメータ（更新パラメータ）は、直接又はネットワーク４０経由で変形推定装置２０に与えられる。もっとも、学習済みモデルや更新パラメータは、不図示の記憶媒体を介して、変形推定装置２０に与えられてもよい。更新パラメータは、例えば学習によって更新された変形関数の係数の値である。
変形推定装置２０は、端末５０から直接又はネットワーク４０経由で推定の対象である測定データを入力し、推定の結果（推定結果）を直接又はネットワーク４０経由で端末５０に出力する。ここでの端末５０は、例えば手術支援システム、放射線治療装置等でもよい。
【００１２】
＜機械学習装置＞
図２は、機械学習装置１０のハードウェア構成の一例を示す図である。
図２に示す機械学習装置１０は、プログラム（基本ソフトウェアを含む）の実行を通じて装置全体を制御するＣＰＵ（Central Processing Unit）１１と、ＢＩＯＳ（Basic Input Output System）等のプログラムを記憶するＲＯＭ１２と、プログラムの実行領域として使用されるＲＡＭ（Random Access Memory）１３とを有している。ここでのＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３は、いわゆるコンピュータを構成し、各種の情報処理を実行する。なお、ＲＯＭ１２は、不揮発性の半導体メモリによって構成される。
【００１３】
記憶装置１４は、例えばハードディスク装置で構成され、変形の前後の関係を学習するアプリケーションプログラムや学習結果である学習済みモデル等を記憶する。なお、記憶装置１４は、内蔵型に限らず、外付型の記憶装置でもよいし、ネットワークストレージでもよい。
入力装置１５は、例えばキーボードやマウスであり、操作入力に使用される。出力装置１６は、表示装置や印刷装置であり、操作画面の表示や情報の印刷等に使用される。なお、機械学習装置１０がサーバとして実現される場合には、入力装置１５と出力装置１６は、不図示の端末側に設けられていてもよい。
通信装置１７は、外部装置との通信に用いられる。通信装置１７は、データベース３０からの測定データの入力、学習済みモデル又は更新パラメータの変形推定装置２０への出力（配信を含む）などに使用される。
ＣＰＵ１１と各部は、バス１８や不図示の信号線を通じて接続されている。
なお、機械学習装置１０は、専用のハードウェアとして実現することも可能である。
【００１４】
図３は、機械学習装置１０の機能構成の一例を示す図である。図３に示す機能構成は、ＣＰＵ１１（図２参照）によるプログラムの実行を通じて実現される。
図３では、変形前の物体を撮像又は測定することで取得される画像データを変形前画像Ｉ（ｉ）Ｉで示し、同じく変形後の物体を撮像又は測定することで取得される画像データを変形後画像Ｉ（ｉ）Ｄで示す。変形前画像Ｉ（ｉ）Ｉと変形後画像Ｉ（ｉ）Ｄは、変形の前後における測定データの一例である。
本実施の形態における機械学習装置１０は、変形前画像Ｉ（ｉ）Ｉと変形後画像Ｉ（ｉ）Ｄのそれぞれから頂点モデルを生成する形状モデル生成部１０１と、生成された頂点モデルから頂点の配置が異なる複数の頂点モデルを生成するモデルアップサンプリング部１０２と、アップサンプリングにより生成された頂点モデルの各微小領域の特徴量と変形の前後における微小領域間の変位との関係を学習する変形学習部１０３として機能する。
【００１５】
本実施の形態における頂点モデルは、いずれも３次元の頂点モデルである。なお、３次元の頂点モデルは、ポリゴンによって表面を表現するポリゴンメッシュの頂点によって規定されてもよいし、ボクセルによって表面と内部の両方を表現するボクセルメッシュの頂点によって規定されてもよい。
ここでの学習は、一般的な学習とは異なり、頂点モデルの全体ではなく、頂点モデルを構成する微小領域単位で行われる。学習の結果である変形関数ｆは、学習済みモデルとして出力される。
【００１６】
学習の対象である物体に特に制限はないが、本実施の形態の場合、形状や位置（又は領域）が変化する物体を想定する。本実施の形態では、検体（例えばヒト、動物）の肺、肝臓、胃、腸、腎臓、膵臓などの臓器を学習の対象とする。
図４は、脱気による動物肺の変形を説明する図である。（Ａ）は変位モデルＡを示し、（Ｂ）は変位モデルＢを示し、（Ｃ）は変位モデルＣを示す。
変位モデルＡ、Ｂ及びＣの作成には、実験用のビーグル犬を使用した。実験では、気管支内圧を１４ｃｍＨ２Ｏから２ｃｍＨ２Ｏに変化させ、肺の形状を３次元ＣＴで計測した。
【００１７】
本実施の形態では、変形前画像Ｉ（ｉ）Ｉと変形後画像Ｉ（ｉ）Ｄとして、検体の臓器を撮像した医用画像データを使用する。医用画像データには、例えばＣＴ画像、ＭＲＩ（Magnetic Resonance Imaging）画像、Ｘ線画像、超音波画像、ＰＥＴ（Positron Emission Tomography）画像等がある。医用画像データは、２次元画像でも３次元画像でもよい。２次元画像は、２次元空間を規定するピクセルによって表現され、３次元画像は３次元空間を規定するボクセル（立方体の単位セル）、ポリゴン等によって表現される。医用画像データは測定データの一例である。
本実施の形態の場合、変形前画像Ｉ（ｉ）Ｉと変形後画像Ｉ（ｉ）Ｄは３次元画像とする。３次元画像は、例えば座標とボクセル値で定義される。ボクセル値は、撮像手法によって異なる。
【００１８】
図３の説明に戻る。
形状モデル生成部１０１は、変形前画像Ｉ（ｉ）Ｉと変形後画像Ｉ（ｉ）Ｄのそれぞれから頂点モデルを生成する。
図５は、実施の形態に係る形状モデル生成部１０１で実行される処理の一例を説明する図である。
図５に示す形状モデル生成部１０１は、サンプリング部１０１Ａと位置合わせ部１０１Ｂとで構成される。
サンプリング部１０１Ａは、例えば変形前画像Ｉ（ｉ）Ｉと変形後画像Ｉ（ｉ）Ｄをそれぞれサンプリングし、ボクセルメッシュ構造又はポリゴンメッシュ構造の形状データを生成する。ここでは、変形前画像Ｉ（ｉ）Ｉに対応する形状データをＳ（ｉ）Ｉとし、変形後画像Ｉ（ｉ）Ｄに対応する形状データをＳ（ｉ）Ｄとする。
【００１９】
被験体や撮像条件の違いによっても、変形前画像Ｉ（ｉ）Ｉと変形後画像Ｉ（ｉ）Ｄの大きさは異なる。また、撮像時における被験体の体位や体調の統一にも限界がある。このため、独立に形成された形状データＳ（ｉ）Ｉ及びＳ（ｉ）Ｄに含まれるボクセルの頂点の数は一般には一致しない。
図５の場合、形状データＳ（ｉ）Ｉの頂点数は６００であるが、形状データＳ（ｉ）Ｄの頂点数は３５０である。
図６は、患者の違いによる頂点数の違いを説明する図である。図６では、変形の前後を無視し、患者１の画像をＩ（１）、患者２の画像２をＩ（２）、患者３の画像３をＩ（３）で示し、対応する形状データをＳ（１）、Ｓ（２）、Ｓ（３）で示している。
図６の場合、患者１の形状データＳ（１）の頂点数は４００であり、患者２の形状データＳ（２）の頂点数は６００であり、患者３の形状データＳ（３）の頂点数は３５０である。
【００２０】
図５の説明に戻る。
形状データＳ（ｉ）Ｉ及びＳ（ｉ）Ｄが得られると、位置合わせ部１０１Ｂは、形状データ間の位置合わせを実行する。具体的には、各形状データの頂点数を揃える処理を実行する。
図５においては、頂点数を揃えた後の形状データを形状モデルＭ（ｉ）と表している。以下では、変形前の形状モデルをＭ（ｉ）Ｉといい、変形後の形状モデルはＭ（ｉ）Ｄという。
変形前の形状モデルＭ（ｉ）Ｉは、第１の形状モデルの一例であり、変形後の形状モデルＭ（ｉ）Ｄは、第２の形状モデルの一例である。
図５の場合、形状モデルＭ（ｉ）の頂点数は５００に統一されている。
頂点数が統一された形状モデルＭ（ｉ）の生成により、物体の変形を統計的に学習することが可能になる。
なお、変形前画像Ｉ（ｉ）Ｉ及び変形後画像Ｉ（ｉ）Ｄに代えて形状データＳ（ｉ）Ｉ及びＳ（ｉ）Ｄが形状モデル生成部１０１（図３参照）に入力される場合には、サンプリング部１０１Ａの処理を省略できる。
【００２１】
図７は、位置合わせ部１０１Ｂによる位置合わせ処理を説明する図である。前述したように、位置合わせ処理では、予め定めたテンプレート形状Ｔを、形状データＳ（ｉ）の形状に一致させるように変形することで、外形状が形状データＳ（ｉ）と同相であるが、頂点数がテンプレート形状Ｔの頂点数に統一された形状モデルＭ（ｉ）が生成される。ここで、テンプレート形状Ｔを形状データＳ（ｉ）の形状に近づける処理は、全体から局所へと徐々に実行される。
ここで、位置合わせ部１０１Ｂ（図５参照）による位置合わせは、変形前の形状データＳ（ｉ）Ｉに続き、変形後の形状データＳ（ｉ）Ｄについても実行される。
図８は、変形前の形状データＳ（ｉ）Ｉに対する位置合わせと変形後の形状データＳ（ｉ）Ｄに対する位置合わせの実行順序を説明する図である。まず、５００頂点のテンプレート形状Ｔの位置合わせにより変形前の形状データＳ（１）Ｉ、Ｓ（２）Ｉ、Ｓ（３）Ｉから形状モデルＭ（１）Ｉ、Ｍ（２）Ｉ、Ｍ（３）Ｉが生成される。次に、５００頂点の変形前の形状モデルＭ（ｉ）Ｉを変形後の形状データＳ（１）Ｄ、Ｓ（２）Ｄ、Ｓ（３）Ｄに位置合わせすることにより、形状モデルＭ（１）Ｄ、Ｍ（２）Ｄ、Ｍ（３）Ｄが生成される。
図８に示す２段階の位置合わせにより、変形前の形状データＳ（ｉ）Ｉと変形後の形状データＳ（ｉ）Ｄの頂点数をテンプレート形状Ｔの頂点数に統一した形状モデルＭ（ｉ）Ｉ及びＭ（ｉ）Ｄが生成される。
【００２２】
図３の説明に戻る。
モデルアップサンプリング部１０２は、形状モデル生成部１０１で生成された形状モデルＭ（ｉ）Ｉ及びＭ（ｉ）Ｄをそれぞれアップサンプリングして、形状や構造はほぼ等しいが頂点の配置が異なる複数の形状モデルを生成する。
ただし、変形の前後の画像の取得が容易な物体を扱う場合等には、モデルアップサンプリング部１０２は必須ではない。
一方で、変形の前後の画像の取得が容易ではない物体を扱う場合（例えば医用画像データを扱う場合）には、モデルアップサンプリング部１０２を設けることで、学習に用いる教師データの数を増やすことができる。なお、画像の取得が容易な物体を扱う場合でも、モデルアップサンプリング部１０２を用いることで、より少ない画像から教師データに用いる形状モデルＭ（ｉ）Ｉ及びＭ（ｉ）Ｄの数を増やすことができる。
【００２３】
図９は、モデルアップサンプリング部１０２によるアップサンプリング動作を説明する図である。
図９の場合、変形前の形状モデルＭ（ｉ）Ｉの数と変形後の形状モデルＭ（ｉ）Ｄの数がそれぞれｋ倍される。すなわち、変形前の１つの形状モデルＭ（ｉ）Ｉについて、頂点の配置が異なるｋ個の形状モデルＭ（ｉ１）Ｉ…Ｍ（ｉｋ）Ｉが生成され、変形後の１つの形状モデルＭ（ｉ）Ｄについて、頂点の配置が異なるｋ個の形状モデルＭ（ｉ１）Ｄ…Ｍ（ｉｋ）Ｄが生成される。
ここで、変形前の形状モデルＭ（ｉ１）Ｉ…Ｍ（ｉｋ）Ｉは第３の形状モデルの一例であり、変形後の形状モデルＭ（ｉ１）Ｄ…Ｍ（ｉｋ）Ｄは第４の形状モデルの一例である。
勿論、生成される形状モデルＭ（ｉ１）Ｉ…Ｍ（ｉｋ）Ｉ及びＭ（ｉ１）Ｄ…Ｍ（ｉｋ）Ｄを構成する頂点の数はいずれも５００個である。
このように、頂点の配置が異なる形状モデルをアップサンプリングによって生成するのは、本実施の形態では、形状モデルの微小領域単位（例えば頂点単位）で変位を学習するためである。
前述したように、予め十分な数の測定データを利用可能な場合には、モデルアップサンプリング部１０２によるアップサンプリング動作を省略できる。
【００２４】
図１０は、本実施の形態におけるアップサンプリングの方法の一例を説明する図である。
図１０では、作図上の制約と説明の都合により、形状モデルＭ（ｉ）Ｉ及びＭ（ｉ）Ｄを構成する各５００個の頂点（図中、×印で示す）のうち表面に位置する頂点だけを表している。
図１０に示す方法は、形状モデルの５００個の頂点を、形状モデル内に定めた点（例えば重心Ｃ）を中心にある方向に回転させ、その後、表面に位置していた頂点（図中、白丸で示す）を回転前の表面（図中、曲線で示す）のうち最も距離が近い位置に向けて線形移動させる。
この結果、回転前の表面上に位置していた各頂点（図中、×印で示す）は、黒丸で示す位置に移動される。この回転及び線形移動の際、形状モデル内の各頂点は、表面上の頂点との相対的な位置関係が保存されるように再配置される。例えば形状モデルの全体を四面体要素で表現する場合、四面体内部の相対位置をパラメータ化することが可能である。
なお、回転中心を変更すれば、同じ処理工程を実行しても、異なるアップサンプリングモデルを生成できる。同様に、回転の方向を変更することによっても、異なるアップサンプリングモデルを生成できる。線形移動時の規則の変更によっても異なるアップサンプリングモデルを生成できる。
図１０に示すアップサンプリングによって、形状モデルの外形と頂点数を維持しながらも、頂点の配置が異なる複数の形状モデルを生成できる。
【００２５】
図１１は、本実施の形態におけるアップサンプリングの方法の他の一例を説明する図である。
図１１も、作図上の制約と説明の都合により、形状モデルＭ（ｉ）Ｉ及びＭ（ｉ）Ｄを構成する各５００個の頂点（図中、×印で示す）のうち表面に位置する頂点だけを表している。
図１１に示す方法は、形状モデルの５００個の頂点を、形状モデル内に定めた点（例えば重心Ｃ）を中心に拡大変換（外方向に移動）させ、その後、表面に位置していた頂点（図中、白丸で示す）を拡大変換前の表面（図中、曲線で示す）のうち最も距離が近い位置に向けて線形移動させる。
この結果、拡大変換前の表面上に位置していた各頂点（図中、×印で示す）は、黒丸で示す位置に移動される。この拡大変換及び線形移動の際、形状モデル内の各頂点は、表面上の頂点との相対的な位置関係が保存されるように再配置される。
なお、拡大変換に使用する中心の位置を変更すれば、同じ処理工程を実行しても、異なるアップサンプリングモデルを生成できる。同様に、拡大率を変更することによっても、異なるアップサンプリングモデルを生成できる。線形移動時の規則の変更によっても異なるアップサンプリングモデルを生成できる。
図１１に示すアップサンプリングによって、形状モデルの外形と頂点数を維持しながらも、頂点の配置が異なる複数の形状モデルを生成できる。
【００２６】
なお、アップサンプリングにより頂点位置を摂動（再配置）する方法には、縮小変換後に元の形状とほぼ一致するように各頂点を再配置する方法、ランダムに頂点位置を摂動する方法等を用いてもよい。
また、前述の説明では、回転等された頂点のうち表面上の頂点を元の形状モデルの表面に線形移動させるように位置合わせしているが、この線形移動による位置合わせは、弱い制約の下に実行すればよい。弱い制約とは、予め定めた範囲内の誤差を許容する意味である。
モデルアップサンプリング部１０２によるアップサンプリング動作により、表現された形状や構造はほぼ等しいが頂点配置が異なるモデルを多数生成できる。すなわち、教師データを増加できる。
【００２７】
図３の説明に戻る。
変形学習部１０３は、前記の処理によって生成された変形前の形状モデルＭ（ｉ１）Ｉ〜Ｍ（ｉｋ）Ｉと変形後の形状モデルＭ（ｉ1）Ｄ〜Ｍ（ｉｋ）Ｄとの関係を学習する。
本実施の形態の場合、微小領域（例えば頂点）単位で変形を学習する。
図１２及び図１３に、本実施の形態における学習の概念を示す。
図１２は、肺の形状モデルＭと微小領域ｄＭの関係を説明する図である。微小領域単位で学習することで、１つの測定データから取得できる微小領域の数の学習データを生成できる。微小領域として頂点を用いると、本実施の形態の場合、１つの測定データから５００個の学習データを生成できることを意味する。もちろん、測定データの数だけ生成される学習データは倍増する。
図１３は、実施の形態において学習する入出力関係を説明する図である。
本実施の形態では、入力として変形前の形状モデルの各頂点ｉに関する特徴量データｘｉを用い、出力として対応する頂点ｉについての変形前後における変位量データｙｉを用いる。学習の段階では、特徴量データｘｉと変位量データｙｉの両方が与えられ、２つの値の関係を規定する変形関数ｆが学習される。
【００２８】
本実施の形態では、特徴量データｘｉとして、同じ形状モデル上の微小領域間の差分（例えば頂点間差分ｄ）を用いる。
図１３では、特徴量データｘｉの一例である頂点間差分ｄの具体例として、頂点１と他の頂点２及び３と差分ｄ１２及びｄ１３を例示している。
実際には、１つの頂点ｉと５００個の頂点（微小領域）との間で差分ｄが算出される。ここで、各頂点の座標をｖｉ及びｖｊで表すと、頂点ｉに関する頂点間差分ｄｉｊは、ｄｉｊ＝ｖｊ−ｖｉ（ただし、ｊ＝１、２、３、…、５００）と表現される。
従って、頂点ｉについての特徴量データｘｉは、５００個の頂点間差分ｄｉｊの集合として定義される。後述するように、頂点間差分ｄｉｊは、特徴量データｘｉの一例である。
図１３では、頂点１、頂点２及び頂点３のいずれもが離散的に描かれているが、これは頂点間差分ｄｉｊの説明のためであり、実際の位置は図１３に示す例に限らない。
【００２９】
図１４は、実施の形態に係る変形学習部１０３で実行される処理の一例を説明する図である。
図１４に示す変形学習部１０３は、変形前モデル群の要素である個々の形状モデルの頂点毎に特徴量データｘｉを算出する特徴量算出部１０３Ａと、変形の前後の形状モデルの対応頂点ｉ間の変位量データｙｉを算出する変位算出部１０３Ｂと、算出された特徴量データｘｉと変位量データｙｉとの関係を学習する機械学習部１０３Ｃとで構成される。
本実施の形態における特徴量算出部１０３Ａは、学習用に与えられた変形前の測定データから生成された形状モデルＭ（ｉ１）Ｉ〜Ｍ（ｉｋ）Ｉの頂点毎に特徴量データｘｉを算出する。
前述したように、本実施の形態の場合、特徴量データｘｉは、学習用に入力された変形前の測定データから生成された形状モデルＭ（ｉ）Ｉを構成する全ての頂点についての頂点間差分ｄｉｊとして与えられる。すなわち、１つの形状モデルＭ（ｉ）Ｉについて５００個の特徴量データｘｉが算出される。
図１４の場合、変形前モデル群の要素の数はｋ個であるので、５００×ｋ個の特徴量データｘｉが算出される。実際には、入力される測定データの数Ａを乗算した数の特徴量データｘｉが算出される。
【００３０】
本実施の形態における変位算出部１０３Ｂは、変形の前後の関係にある形状モデルの対応頂点間における変位量データｙｉを算出する。変形前後の１つの形状モデルについて５００個の変位量データｙｉが算出される。
本実施の形態における機械学習部１０３Ｃは、変形前の形状モデルＭ（ｊ）Iの各頂点ｉについての特徴量データｘｉと、同一の頂点ｉについての変形前後の形状モデル間の変位量データｙｉとの関係を表す変形関係ｆ（ｊ）を学習する。
図１５は、実施の形態に係る機械学習部１０３Ｃで学習される関係を説明する図である。
図１５においては、変形前の形状モデルＭ（1）Iの各頂点ｉ（Ｉ＝１…５００）についての特徴量データｘ1（1）…ｘ1（500）と、対応する頂点間の変位量データｙ1（1）…ｙ1（500）との関係を学習した変形関数をｆ１で表している。形状モデルＭ（２）I及びＭ（３）Iについても同様である。
【００３１】
本実施の形態では、変形関数ｆを表す回帰モデルとして、式１で表現されるカーネル回帰モデルを使用する。
【数１】
2020054503.tif 000003
ここでのｋ（ｘｉ，ｘ）は、次式で与えられるカーネル関数である。
ｋ（ｘｉ，ｘ）＝exp（−β||ｘｉ−ｘ||2）
なお、||ｘｉ−ｘ||2は、同じ形状モデル上における頂点ｉと他の頂点ｊとの頂点間差分ｄijに対応するＬ２ノルムである。すなわち、ｋ（ｘｉ，ｘ）は、頂点ｉについての特徴量データｘｉに対応する。また、個々のαｉｋ（ｘｉ，ｘ）は、図１５におけるｆｉ（ｉ＝１、２、３）に対応している。
本実施の形態における変位算出部１０３Ｂは、頂点ｉ毎に係数αｉを学習する。係数αｉは、更新パラメータである。
学習された係数αｉの集合を学習済みモデルとして変形推定装置２０（図１参照）に与えてもよいし、新たに学習された係数αｉを変形推定装置２０に送信して、学習済みモデルを更新してもよい。
【００３２】
＜学習済みモデルの具体例＞
例えばヒトの肺の医用画像データは、気胸を患っている患者の手術前のＣＴデータと手術後のＣＴデータとして取得できる。
手術前のＣＴデータは、虚脱肺のＣＴデータであり、手術後のＣＴデータは、正常肺（治療後）のＣＴデータである。
この場合、手術後のＣＴデータを変形前の医用画像データとし、手術前のＣＴデータを変形後の医用画像データとして、変形の前後の関係を学習済みモデルとして学習する。この学習済みモデルは、通常肺の患者を手術する場合における手術中の肺の変形の予測に用いることができる。
【００３３】
＜変形推定装置＞
図１６は、変形推定装置２０（図１参照）のハードウェア構成の一例を示す図である。
図１６に示す変形推定装置２０は、プログラム（基本ソフトウェアを含む）の実行を通じて装置全体を制御するＣＰＵ（Central Processing Unit）２１と、ＢＩＯＳ（Basic Input Output System）等のプログラムを記憶するＲＯＭ２２と、プログラムの実行領域として使用されるＲＡＭ（Random Access Memory）２３とを有している。ここでのＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３は、いわゆるコンピュータを構成し、各種の情報処理を実行する。なお、ＲＯＭ２２は、不揮発性の半導体メモリによって構成される。
【００３４】
記憶装置２４は、例えばハードディスク装置で構成され、機械学習装置１０によって学習された学習済みモデルを使用して端末５０（図１参照）から与えられる任意の測定データの変形後の形状を推定するアプリケーションプログラムや推定結果等が記憶される。なお、記憶装置２４は、内蔵型に限らず、外付型の記憶装置でもよいし、ネットワークストレージでもよい。
入力装置２５は、例えばキーボードやマウスであり、操作入力に使用される。出力装置２６は、表示装置や印刷装置であり、操作画面の表示や情報の印刷等に使用される。なお、変形推定装置２０がサーバとして実現される場合には、入力装置２５と出力装置２６は、不図示の端末側に設けられていてもよい。
通信装置２７は、外部装置との通信に用いられる。通信装置２７は、端末５０からの測定データの入力、推定結果の端末５０への出力などに使用される。
ＣＰＵ２１と各部は、バス２８や不図示の信号線を通じて接続されている。
なお、変形推定装置２０は、専用のハードウェアとして実現することも可能である。
【００３５】
図１７は、変形推定装置２０の機能構成の一例を示す図である。図１７に示す機能構成は、ＣＰＵ２１（図１６参照）によるプログラムの実行を通じて実現される。
図１７における変形推定装置２０は、端末５０から入力される変形前の測定データから各頂点ｉについての特徴量データｘｉを算出する特徴量算出部２０１と、算出された特徴量データｘｉを学習済みモデルに適用して頂点ｉの変位量データｙｉを推定する変形推定部２０２と、全ての頂点ｉについての変位量データｙｉから変形後の形状を推定して出力する推定結果出力部２０３として機能する。
図１８は、変形推定装置２０による推定過程を説明する図である。
任意の測定データＭ（ｉ）Ｉが端末５０（図１参照）から与えられると、特徴量算出部２０１（図１７参照）が頂点ｉ毎に特徴量データｘｉを算出する。次に、変形推定部２０２（図１７参照）が、処理対象とする特徴量データｘｉと類似する特徴データｘｉ２及びｘｉ４を有する形状モデルＭ（ｉ２）ＩとＭ（ｉ４）Ｉを抽出する。
図１８では、特徴量データｘｉの類似度を内分比ｍ：１−ｍとして求めている。ここで、ｍは、０以上１以下の実数である。
さらに、変形推定部２０２は、抽出された複数の形状モデルＭ（ｉ２）ＩとＭ（ｉ４）Ｉについての学習済みモデル（すなわち変形関数ｆ２及びｆ４）を線形補間した変形関数ｆｉを生成し、生成された変形関数ｆｉを使用して特徴量データｘｉに対応する変位量データｙｉを推定する。
本実施の形態では、線形補間を用いて変形関数ｆｉを生成しているが、非線形の補間で生成してもよい。
【００３６】
図１９は、推定結果出力部２０３（図１７参照）による出力画面３００の例を説明する図である。
出力画面３００は、左側に変形前の観察画像欄３０１を配置し、右側に変形後の形状にあたる推定画像欄３０２を配置している。
図１９の場合、肺の内部に、２つの結節が存在する。観察画像欄３０１に表示される肺の画像は手術前の画像である。肺は膨らんでいる。
推定画像欄３０２に表示される肺は推定された手術中の画像である。手術中の肺は、脱気変形により萎んでいる。図１９に示すように、外部形状だけでなく結節の位置も推定が可能である。
【００３７】
＜推定誤差＞
以下では、前述の手法で推定された結果と実測値との誤差について説明する。
＜実験条件＞
・１１頭のビーグル犬の生体肺データを測定
・上葉を２０４頂点でモデル化、下葉を２００頂点でモデル化
・含気状態で測定された生体肺データを±２．５ｍｍ、±５．０ｍｍ、±７．５ｍｍで拡大及び縮小することでアップサンプリング
・測定データの８０％をトレーニングデータに使用、２０％をテストデータに使用
【００３８】
＜評価＞
誤差指標にハウスドルフ距離を用いて以下の回帰モデルを比較
・回帰モデル（多重線形回帰モデル、ＬＡＳＳＯ回帰モデル、カーネル回帰モデル）
・特徴量データ（４種類）
ハウスドルフ距離は、２つの形状間のずれの最大値として与えられる距離である。
図２０は、３種類の回帰モデル間での推定誤差の違いを説明する図表である。
図２０に示す値は、各回帰モデルの正則化パラメータを１０通り程度で試行し、最も誤差が小さくなるものを選択した。
図２０の場合、カーネル回帰モデルの推定誤差が最も小さい。因みに、上葉の推定誤差は３．１±０．９ｍｍであり、下葉の推定誤差は３．９±１．９ｍｍであった。
実施の形態で使用したカーネル回帰モデルは、多重線形回帰モデルやＬＡＳＳＯ回帰モデル（Ｌ１正則化）の約３分の１であった。
【００３９】
図２１は、４種類の特徴量データと推定誤差の違いを説明する図表である。
４種類の特徴量データは、頂点ｉについての以下の特徴量群１〜４とする。
・特徴量群１：座標ｖｉ、法線ベクトルｎｉ、曲率（２次微分、離散ラプラシアン）ｌｉ、頂点間差分ｄｉｊ、収縮率ｓｉ、ボロノイ面積ｒｉ
・特徴量群２：頂点間差分ｄｉｊ
・特徴量群３：頂点間差分ｄｉｊ、法線ベクトルｎｉ×１００
・特徴量群４：座標ｖｉ、法線ベクトルｎｉ、曲率（２次微分、離散ラプラシアン）ｌｉ、収縮率ｓｉ、ボロノイ面積ｒｉ
特徴量群２は、前述の説明で用いた特徴量データｘｉｊに対応する。
図２１に示す図表からは、頂点間差分ｄｉｊが含まれていない特徴量群４だけが推定誤差が大きいことが分かる。
以上より、頂点間差分ｄｉｊを特徴量データに含めることが推定精度を高める上で有効であることが分かる。
【００４０】
図２２は、頂点間差分ｄｉｊを含む特徴量データを用い、回帰モデルにカーネル回帰モデルを用いる場合における各検体についての推定結果と実測値との誤差を示す。
図２３は、各検体の変形前後の形状の関係を２次元的に示す図である。
図２２の検体と図２３の検体は同じである。
上葉で５ｍｍを超える推定誤差があるのは検体２だけであり、下葉で５ｍｍを超える推定誤差があるのは検体２と検体８である。
今回の実験では、上葉に比して下葉がかなり大きい肺で推定誤差が比較的大きくなっているが、上葉が下葉よりも小さい肺や上葉と下葉の大きさがほぼ同じ場合には推定誤差が小さくなっている。
なお、形状全体についての統計的な平均変位で推定するモデルでは、１０ｍｍ以上の誤差が認められていたので、実施の形態の手法では、推定誤差の低減が認められる。
【００４１】
図２４は、頂点間差分の次元と推定精度の関係を説明する図表である。
なお、図２４は、上葉についての実験結果である。図２４の場合、横軸は、頂点ｉについての特徴量データｘｉを構成する頂点間差分の割合であり、縦軸は推定精度に当たるハウスドルフ距離である。
横軸の割合は、形状モデルＭ（ｉ）Ｉを構成する全ての頂点を頂点間差分ｄｉｊの算出に用いる場合を１００％として表している。従って、頂点数が５００の場合、特徴量データｘｉを構成する頂点間差分の割合が１０％とは、頂点ｉについての特徴量データｘｉが５０個の頂点間差分ｄｉｊで与えられることを意味する。縦軸の単位はｍｍである。
前述の説明では、特徴量データｘｉを頂点数分の頂点間差分ｄｉｊで与える例を説明したが、約５％以上の頂点間差分ｄｉｊで特徴量データｘｉを定義すれば、５ｍｍ以下の推定精度が得られることがわかった。好ましくは、約１０％以上の頂点間差分ｄｉｊで特徴量データｘｉを定義することであり、より好ましくは約１５％以上の頂点間差分ｄｉｊで特徴量データｘｉを定義すれば、安定した推定精度が得られる。
【００４２】
＜応用例＞
前述した推定システム１（図１参照）や機械学習装置１０（図１参照）で生成された学習済みモデルを用いて対象とする臓器の変形を推定する変形推定装置２０（図１参照）を手術支援システムに組み込むことにより、又は、連携することにより、手術前に新たな患者の腫瘍の変位を同定することができる。
例えば図１９に示す出力画面３００は、手術支援システムに用いる場合の画面例として用いてもよい。この場合、端末５０（図１参照）は、手術支援システムの操作端末として使用する。
【００４３】
＜実施の形態２＞
実施の形態１では、単一の臓器の変形を変形前の医用画像データから推定する場合について説明したが、ここでは、複数の臓器の変形や位置の移動を推定する場合について説明する。
図２５は、複数の臓器の変形を伴う移動先の推定を説明する図である。
図２５の例は、肝臓、胃、十二指腸、左腎、右腎を含む医用画像データの場合である。図２５に示す画像例は一例であり、他の臓器が含まれていてもよいし、より少ない数の臓器が対象でもよい。
体内の臓器の形状や位置は、呼吸、測定時の姿勢、体調等によっても変化し、位置も移動するが、実施の形態１で説明した技術を用いれば、複数の臓器（腫瘍を含む）の形状や位置の変化を高い精度で推定できる。すなわち、本実施の形態では、臓器の位置の移動も含めて学習する。
呼吸、測定時の姿勢、体調等による複数の臓器（腫瘍を含む）の形状や位置の変化は、時間変化による変形の一例でもある。
図２５では、変形前の形状と位置の一部を破線で示している。
複数の臓器の変形と位置の変化の範囲を高精度に推定できることで、放射線治療における照射計画に応用できる。
【００４４】
＜実施の形態３＞
実施の形態１では、変形前の測定データに基づいて生成した特徴量データを学習済みモデルに与えて変形後の形状を推定しているが、個別の臓器又は複数の臓器について学習された学習済みモデルに特徴量データを与えて変形後の形状を推定し、推定された形状を医用画像データと照合して医用画像データに含まれる臓器の位置を画像認識の技術を用いて自動的に抽出してもよい。
図２６は、臓器の形状のバリエーションを推定して特定の臓器の領域を医用画像データから抽出する処理機能を説明する図である。
変形推定装置２０は、変形推定部２０２によって推定された変形後の形状を画像認識部２０５に与え、医用画像データと照合し、医用画像データのうち対象とする臓器の領域を抽出することができる。
【００４５】
＜実施の形態４＞
前述の実施の形態では、測定データと学習済みデータのいずれもが３次元データの場合について説明したが、測定データは２次元データである可能性がある。例えば測定データが内視鏡画像データとして与えられる場合である。
図２７は、２次元画像データから３次元形状を推定し、推定された３次元形状を用いて変形後の形状を推定する例を説明する図である。
図２７では、入力として２次元画像が与えられ、３次元形状推定部６０によって３次元画像が出力されている。２次元カラー情報のみから３次元形状を推定する技術は、例えば以下の文献に記載されている。
H． Fan et al． “A point set generation network for 3D object reconstruction from a single image”, CVPR, 2017．
なお、３次元形状推定部６０による推定処理は、グラフカットによる特定の臓器領域の抽出処理と、機械学習、深層学習、畳み込みニューラルネットワーク等を応用して学習された学習済みモデルを用いる推定処理との組み合わせにより実現できる。
ここでの学習済みモデルには、変形前の臓器領域の測定データから生成された形状モデルＭ（ｉ）Ｉにおける各微小領域と他の微小領域との差分値ｄijを含む特徴量データｘｉと、変形前の臓器領域の形状モデルＭ（ｉ）Ｉの各微小領域から変形後の臓器領域の形状モデルＭ（ｉ）Ｄの対応する各微小領域への変位量データｙｉを与える関係が学習され記憶されている。
本実施の形態の技術を用いれば、２次元画像データしか測定できない状況でも、変形後の形状を推定できるだけでなく、外観からは確認できない腫瘍の位置を推定することもできる。
【００４６】
＜実施の形態５＞
前述の実施の形態では、特徴量データｘｉの候補として、各頂点ｉの座標ｖｉ、微小領域を規定する勾配又は法線ベクトルｎｉ、微小領域を規定する曲率（２次微分、離散ラプラシアン）ｌｉ、頂点間差分ｄｉｊ、微小領域の収縮率ｓｉ、微小領域のボロノイ面積ｒｉを例示したが、特徴量データｘｉの候補として、各微小領域と平均的な形状モデル（以下「平均形状モデル」という）の対応領域からのずれ量ｕｉを追加で含めてもよい。この場合、ずれ量ｕｉを単独で特徴量データｘｉとして用いてもよいし、他の候補と組み合わせて特徴量データｘｉとして用いてもよい。
図２８は、複数の形状モデルＭ（ｉ）から生成される平均形状モデルＭを説明する図である。平均形状モデルＭの頂点ｉの座標ｖＭｉは、例えば複数の形状モデルＭ（ｉ）の対応する頂点群の座標ｖｉの平均値として生成する。図２８の場合には、５００個の頂点のそれぞれについて座標の平均値が算出される。
図２９は、変形前の平均形状モデルＭＩに対する各形状モデルの対応領域間のずれ量ｕｉを説明する図である。ここでの対応領域は、頂点ｉに対応する微小領域である。従って、ずれ量ｕｉは、５００個の頂点について算出される。図中の変形関数ｆは、変形前の平均形状モデルＭＩから変形後の平均形状モデルＭＤを生成する変形関数を表している。
なお、ここでの平均形状モデルＭをテンプレート形状Ｔとして与え、形状データＳ（ｉ）に対応する形状モデルＭ（ｉ）を繰り返し計算してもよい。
【００４７】
＜実施の形態６＞
前述の実施の形態では、同一の臓器についての変形の前後における特徴量データｘｉと変位量データｙｉとの関係を学習し、学習の結果である学習済みモデルを用いて任意の測定データの変形後の形状を推定する場合について説明したが、ある物体１と平均モデルとのずれ量と、物体１との間で制約関係がある他の物体２を構成する各頂点ｓの座標ｖｓのとの関係を学習し、学習の結果である学習済みモデルを用いて任意の物体１の測定データから物体２の位置を推定してもよい。
図３０は、物体１の測定データから生成された形状モデル（アップサンプリング後の形状モデルを含む）Ｍ１（ｉ１）〜Ｍ１（ｉｋ）の各頂点ｉとそれらの平均形状モデルＭの対応頂点とのずれ量ｕｉと、物体１との間に制約関係がある他の物体２を構成する各頂点ｓの座標ｖｓとの関係を学習する機械学習装置３１０の構成例を説明する図である。なお、機械学習装置３１０は、前述の実施の形態と同様、コンピュータによるプログラムの実行を通じて実現される。
機械学習装置３１０は、頂点毎のずれ量ｕｉを算出して出力するずれ量算出部３１０Ａと、各ずれ量ｕｉと物体２の各頂点ｓの座標ｖｓの関係を学習する機械学習部３１０Ｂとを有する。この例の場合、機械学習部３１０Ｂは、学習の結果として対応関係関数ｇを出力する。
例えば物体１は肝臓であり、物体２は膵臓である。ここでの制約関係は、例えば隣接する関係又は繋がる関係である。物体１が肝臓の場合、隣接する関係を満たす物体２は、胃、十二指腸、右腎臓であり、繋がる関係を満たす物体２は、十二指腸、膵臓、脾臓などである。  
【００４８】
図３１は、物体１の測定データから生成された形状モデルと平均モデルとのずれ量ｕｉから物体２の位置ｖｓを推定する位置推定装置３２０の構成例を説明する図である。
位置推定装置３２０は、物体１の測定データから生成された形状モデルを構成する各頂点ｉについて平均形状モデルＭとのずれ量ｕｉを特徴量データとして算出する特徴量算出部３２１と、算出されたずれ量ｕｉを学習済みモデルに適応し、物体２の位置を推定する物体位置推定部３２２と、推定結果を出力する推定結果出力部３２３とを有している。
位置推定装置３２０も、前述の実施の形態と同様、コンピュータによるプログラムの実行を通じて実現される。
【００４９】
＜実施の形態７＞
前述の実施の形態では、物体の全体を撮像又は測定した画像データを用いて物体全体の変形を学習する場合について説明したが、以下では、物体の一部分を撮像又は測定した画像データを用いて物体全体の変形を学習する場合について説明する。
以下の説明では、物体の一部分を撮像又は測定した画像データの一例として、コーンビームＣＴ（＝Cone Beam CT）が生成する三次元画像データを使用する。コーンビームＣＴは、Ｘ線を円錐状又は四角錐状に照射する照射部と、被写体を通過したＸ線を検出する二次元検出器とで構成される可動装置を、被写体の周囲で１回転するだけで、被写体の三次元画像データを生成することができる。
このため、コーンビームＣＴは、例えば手術中の肺の撮像に使用されている。ただし、コーンビームＣＴの撮像範囲に含まれる肺実質の体積は、肺全体の体積の半分以下になる場合もあり、しかも、どの領域が撮像されるかも不明である。
【００５０】
図３２は、コーンビームＣＴで撮像された右肺のＣＴ画像の範囲と、ＣＴで撮像された同じ右肺のＣＴ画像の範囲との関係を説明する図である。（Ａ）は被検体ＡのＣＴ画像を示し、（Ｂ）は被検体ＢのＣＴ画像を示し、（Ｃ）は被検体ＣのＣＴ画像を示す。
図中、メッシュで示す面積が最も広いＣＴ画像Ｐ１は、手術前に撮像されたＣＴ画像である。肺の一部分しか撮像されないコーンビームＣＴとは異なり、肺の全体が撮像されている。なお、手術前であるので肺は含気状態である。ここでのＣＴ画像Ｐ１は、実施の形態１における変形前画像Ｉ（ｉ）Ｉに対応する。
図中、薄い色で着色した面積が２番めに広いＣＴ画像Ｐ２は、手術中にコーンビームＣＴで撮像されたＣＴ画像である。ＣＴ画像Ｐ２は、含気状態の肺の一部分である。被検体Ａ、Ｂ及びＣのいずれの場合も、ＣＴ画像Ｐ２は、ＣＴ画像Ｐ１より狭い領域となる。
図中、濃い色で着色した面積が最も狭いＣＴ画像Ｐ３も、手術中にコーンビームＣＴで撮像されたＣＴ画像である。ＣＴ画像Ｐ３は、脱気状態の肺の一部分である。このため、被検体Ａ、Ｂ及びＣのいずれの場合も、ＣＴ画像Ｐ３は、ＣＴ画像Ｐ２より狭い領域となる。
【００５１】
前述したように、本実勢の形態では、ＣＴ画像Ｐ２及びＰ３を用いて肺全体の変形を学習する場合を説明する。ただし、部分画像であるＣＴ画像Ｐ２及びＰ３間の変形を学習しただけでは、その学習の結果を肺全体の変形の学習に反映することができない。
そこで、本実施の形態では、手術前に撮像された肺全体のＣＴ画像Ｐ１との位置合わせを通じ、部分画像間の変形を肺全体の一部分の変化として学習する。
図３３は、実施の形態７で使用する形状モデル生成部１０１（図３参照）で実行される処理の一例を示す図である。図３３には、図５との対応部分に対応する符号を付して示している。
なお、機械学習装置のハードウェア構成や機能構成は実施の形態１と同様である。すなわち、実施の形態７における機械学習装置も、変形前画像Ｉ（ｉ）Ｉと変形後画像Ｉ（ｉ）Ｄのそれぞれについて形状モデルを生成し、その後、生成された形状モデルのアップサンプリングを行い、次に微小領域単位での学習を実行する。
【００５２】
図３３の場合、変形前画像として２種類の画像を用意する。１つは、手術前の含気状態の肺全体を撮像した変形前画像Ｉ（ｉ）ＩＴであり、他の１つは手術中の含気状態の肺の一部分を撮像した変形前部分画像Ｉ（ｉ）ＩＰである。変形後画像には、手術中の脱気状態の肺の一部分を撮像した変形後部分画像Ｉ（ｉ）ＤＰを使用する。
まず、サンプリング部１０１Ｃが変形前画像Ｉ（ｉ）ＩＴと、変形前部分画像Ｉ（ｉ）ＩＰと、変形後部分画像Ｉ（ｉ）ＤＰのそれぞれをサンプリングし、ボクセルメッシュ構造又はポリゴンメッシュ構造の形状データを生成する。ここでは、変形前画像Ｉ（ｉ）ＩＴに対応する形状データをＳ（ｉ）ＩＴとし、変形前部分画像Ｉ（ｉ）ＩＰに対応する形状データをＳ（ｉ）ＩＰとし、変形後部分画像Ｉ（ｉ）Ｄに対応する形状データをＳ（ｉ）Ｄとする。
【００５３】
実施の形態１でも説明したが、被験体の違いや撮像条件の違いによっても、変形前画像と変形後画像の大きさは異なる。また、手術前の撮像に使用されるＣＴと手術中に使用されるコーンビームＣＴの間でも変形前画像と変形後画像の大きさが異なる。また、撮像時における被験体の体位や体調の統一にも限界がある。
このため、実施の形態１で説明したように、独立に形成された形状データに含まれるボクセルの頂点の数は一般には一致しない。
そこで、本実施の形態の場合にも、生成された形状データをテンプレート形状Ｔに位置合わせして頂点数を揃えた形状モデルＭを生成する。図３３の場合、位置合わせ部１０１Ｄが位置合わせを実行する。
【００５４】
まず、位置合わせ部１０１Ｄは、右肺全体に対応するテンプレート形状Ｔを使用して、右肺全体に対応する変形前形状データＳ（ｉ）ＩＴの頂点数をテンプレート形状Ｔと同じ頂点数に揃える。この処理の内容は実施の形態１と同じである。例えば５００個の頂点を有する変形前形状モデルＭ（ｉ）ＩＴが生成される。
この位置合わせは、グローバル座標系間の位置合わせである。
【００５５】
次に、位置合わせ部１０１Ｄは、生成された右肺全体に対応する変形前形状モデルＭ（ｉ）ＩＴをテンプレート形状として用い、同じ被験体の右肺の一部分に対応する変形前部分形状データＳ（ｉ）ＩＰを位置合わせする。この結果、変形前部分形状データＳ（ｉ）ＩＰに対応する変形前部分形状モデルＭ（ｉ）ＩＰが生成される。勿論、変形前部分形状モデルＭ（ｉ）ＩＰを構成する頂点数は、テンプレート形状の頂点数よりも少なくなる。
なお、コーンビームＣＴで撮像される部位や体積は、図３２に示すように、被検体や撮像回毎に異なる。このため、変形前部分形状モデルＭ（ｉ）ＩＰを構成する頂点数は、部分画像毎に異なる。
この位置合わせは、グローバル座標系とローカル座標系の位置合わせである。
【００５６】
次に、位置合わせ部１０１Ｄは、含気状態の右肺の一部分について生成された変形前部分形状モデルＭ（ｉ）ＩＰをテンプレート形状として用い、同じ被験体の脱気状態の右肺の一部分に対応する変形後部分形状データＳ（ｉ）ＤＰを位置合わせする。この結果、変形後部分形状データＳ（ｉ）ＤＰに対応する変形後部分形状モデルＭ（ｉ）ＤＰが生成される。ただし、変形後部分形状モデルＭ（ｉ）ＤＰを構成する頂点数は、テンプレート形状として用いた変形前部分形状モデルＭ（ｉ）ＩＰの頂点数と同じになる。
この位置合わせは、ローカル座標系間の位置合わせである。
【００５７】
図３４は、含気状態の肺をコーンビームＣＴで撮像したＣＴ画像Ｐ２（すなわち変形前部分形状モデル）と脱気状態の同じ肺をコーンビームＣＴで撮像したＣＴ画像Ｐ３（すなわち変形後部分形状モデル）との位置合わせの結果を説明する図である。（Ａ）は被検体Ａの形状モデルを示し、（Ｂ）は被検体Ｂの形状モデルを示し、（Ｃ）は被検体Ｃの形状モデルを示し、（Ｄ）は位置合わせの結果を示す。因みに、ＣＴ画像Ｐ２及びＰ３は、図３２の部分画像に対応する。
図３４に示す被検体Ａの場合、ＣＴ画像Ｐ２（変形前部分形状モデル）をＣＴ画像Ｐ３（変形後部分形状モデル）の形状に変形した画像と、ＣＴ画像Ｐ３（変形後部分形状モデル）との対応頂点間の平均距離（MD: Mean Distance）は０．２１ｍｍであり、対応頂点間の最大距離（HD: Hausdorff Distance）は０．９８ｍｍである。図３４の場合、対応頂点間の平均距離は、ＣＴ画像Ｐ２をＣＴ画像Ｐ３の形状に変形させた後の画像の頂点（頂点はＣＴ画像Ｐ２に由来）と、ＣＴ画像Ｐ３の対応する近傍表面との距離として計算される。近傍表面は、例えばＣＴ画像Ｐ２の頂点から最も近いＣＴ画像Ｐ３上の位置である。
なお、頂点群の推定値と真値間の包含度合い（DSC: Dice Similarity Distance）は９８．９３％である。
また、被検体ＢのＭＤは０．１５ｍｍ、ＨＤは０．７９ｍｍ、ＤＳＣは９９．２４％である。被検体ＣのＭＤは０．２３ｍｍ、ＨＤは１．３０ｍｍ、ＤＳＣは９８．９４％である。
図３４に示すように、変形前の部分形状モデルＭ（ｉ）IＰは、高い精度で、変形後の形状モデルＭ（ｉ）ＤＰに位置合わせされる。
【００５８】
図３５は、被検体の含気状態の肺をＣＴで撮像したＣＴ画像Ｐ１（変形前形状モデル）と肺のテンプレート形状Ｔとの位置合わせの結果を説明する図である。この場合は、肺のテンプレート形状Ｔを画像Ｐ１（変形前形状モデル）に一致させるように変形した画像と、ＣＴ画像Ｐ１（変形前形状モデル）との対応頂点間で各値を計算した。
図３５の場合、被検体ＡのＭＤは０．３３ｍｍ、ＨＤは１．９１ｍｍ、ＤＳＣは９８．１４％である。また、被検体ＢのＭＤは０．５４ｍｍ、ＨＤは２．２６ｍｍ、ＤＳＣは９７．９４％である。被検体ＣのＭＤは０．３９ｍｍ、ＨＤは１．５３ｍｍ、ＤＳＣは９８．３１％である。
図３５に示すように、テンプレート形状Ｔは、高い精度で、被検体毎に個別に撮像された肺全体のＣＴ画像Ｐ１の形状データに位置合わせされている。
【００５９】
図３６は、実施の形態７で使用する変形学習部１０３（図３参照）で実行される処理の一例を示す図である。図３６には、図１４との対応部分に対応する符号を付して示している。
なお、変形前部分形状モデル群Ｍ（ｉ１）IＰ…Ｍ（ｉｋ）IＰは、変形前部分形状モデルＭ（ｉ）IＰをアップサンプリングして生成したモデル群である。また、変形後部分形状モデル群Ｍ（ｉ１）ＤＰ…Ｍ（ｉｋ）ＤＰは、変形後部分形状モデルＭ（ｉ）ＤＰをアップサンプリングして生成したモデル群である。
実施の形態１の場合には、アップサンプリングにより生成されたモデル群から頂点単位の特徴量を直接算出しているが、本実施の形態では、境界付近除去部１０３Ａ０及び１０３Ｂ０を用い、予め境界付近の頂点を除去する。コーンビームＣＴで撮像された部分画像は、肺全体のうち撮像されていない領域との境界付近の信頼性が低いためである。
【００６０】
図３７は、学習に用いる対象（学習対象）と学習に用いない対象（除外対象）とを説明する図である。（Ａ）は被検体Ａの形状モデルを示し、（Ｂ）は被検体Ｂの形状モデルを示す。
図３７の場合、被検体ＡについてコーンビームＣＴで撮像されているのは肺の中央付近であり、肺の上部と下部は撮像されていない。このため、境界は、ＣＴ画像Ｐ２（変形前部分形状モデル）とＣＴ画像Ｐ３（変形後部分形状モデル）の上端側と下端側の２箇所に出現する。
一方、被検体ＢについてコーンビームＣＴで撮像されているのは肺の上半分であり、肺の下半分は撮像されていない。このため、境界は、ＣＴ画像Ｐ２（変形前部分形状モデル）とＣＴ画像Ｐ３（変形後部分形状モデル）の下端側の１箇所にのみ出現する。
【００６１】
本実施の形態では、各境界から１０ｍｍの範囲を学習の対象から除外する。なお、この数値は一例である。もっとも、学習の対象から除外する頂点は、境界からの距離で与えるのではなく、形状モデルを構成する頂点数の割合（％）で定めてもよい。例えば１０％を使用する。
図３６の説明に戻る。境界付近除去部１０３Ａ０は、変形前部分形状モデル群Ｍ（ｉ１）IＰ…Ｍ（ｉｋ）IＰのそれぞれから境界付近に存在する頂点を除去する。残った頂点群（すなわち学習対象の頂点群）は、特徴量算出部１０３Ａと変位算出部１０３Ｂに出力される。
一方、境界付近除去部１０３Ｂ０は、変形後部分形状モデル群Ｍ（ｉ１）ＤＰ…Ｍ（ｉｋ）ＤＰのそれぞれから境界付近に存在する頂点を除去する。残った頂点群（すなわち学習対象の頂点群）は、変位算出部１０３Ｂに出力される。
【００６２】
図３８は、境界付近の頂点を除去しない場合の変位量データｙｉを説明する図である。（Ａ）は被検体Ａのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示し、（Ｂ）は被検体Ｂのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示し、（Ｃ）は被検体Ｃのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示す。
図３９は、境界付近の頂点を除去する場合の変位量データｙｉを説明する図である。（Ａ）は被検体Ａのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示し、（Ｂ）は被検体Ｂのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示し、（Ｃ）は被検体Ｃのｘ−ｙ面に現れる変位量データｙｉとｘ−ｚ面に現れる変位量データｙｉを示す。
いずれの図も、変位量データｙｉの長さは、見やすさを考慮し、実際よりも短く表している。
【００６３】
なお、学習の対象である各頂点の変形前後の変位を表す変位量データｙｉは、変位算出部１０３Ｂ（図３６参照）が算出する。また、学習の対象である各頂点の特徴量データｘｉは、特徴量算出部１０３Ａ（図３６参照）が算出する。
算出された特徴量データｘｉと変位量データｙｉは機械学習部１０３Ｃ（図３６参照）に与えられる。この後、機械学習部１０３Ｃは、特徴量データｘｉと対応する頂点間の変位量データｙｉとの関係を表す変形関数ｆを学習する。なお、コーンビームＣＴで撮像される部分画像は、手術中の患者を被写体とする。このため、コーンビームＣＴで撮像される部分画像には、手術中の患者の姿勢（すなわち側臥位）に応じた重力変形が反映されている。その結果、機械学習部１０３Ｃにより生成される学習済みモデルにも、この重力変形が反映される。
【００６４】
図４０は、手術中にコーンビームＣＴで撮像された部分画像を用いて学習した学習済みモデルに手術前に撮像したＣＴデータを入力して推定された変形後の形状ＰＳを説明する図である。（Ａ）は実際の手術映像を示し、（Ｂ）は推定された形状ＰＳを示す。
図４０に示すように、手術前に撮像したＣＴデータから推定された変形後の形状ＰＳは、側臥位での重力方向（すなわち心臓に近い方向）への変形が確認され、手術映像に近い外観が得られている。
【００６５】
図４１は、実施の形態７で説明した手法で生成した学習済みモデルを用いた推定画像の精度を説明する図である。
図中の縦軸は手術の前後における肺の体積変化を示し、横軸は被検体を示す。図４１では、手術中にコーンビームＣＴで撮像されたＣＴ画像の変形前後の体積の変化を真値として、本実施の形態の推定画像の変形前後の体積の変化を対比的に図示している。三次元画像データとしての推定画像は、前述したように手術前に撮像されたＣＴ画像から推定される。いずれの被験体についても誤差４％程度で推定できることが確認されている。このように、本実施の形態で説明したように、部分画像を用いて変形を学習する場合でも、物体全体の変形を精度良く推定することができる。
なお、以上の説明は、部分画像の取得にコーンビームＣＴを用いているが、部分画像を取得する装置をコーンビームＣＴに限るものではない。
【００６６】
＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【００６７】
例えば前述の実施の形態では、微小領域として単一の頂点を想定しているが、複数の頂点を含めてもよい。
また、前述の実施の形態では、カーネル回帰モデルを用いて頂点毎の特徴量データと変位量データの関係を学習して学習済みモデルを生成しているが、深層学習や畳み込みニューラルネットワークを用いて学習済みモデルを生成してもよい。
また、前述の実施の形態では、形状モデルを構成する頂点間の距離の関係を特に規定していないが等間隔となるように制約を加えてもよい。
また、前述の実施の形態では、もっぱら医用画像データを前提として臓器の変形の前後を学習して学習済みモデルを生成しているが、本発明に係る技術は、医用画像データに限らない。
【００６８】
図１に示す例では、端末５０から変形推定装置２０に測定データが入力され、測定データに対する推定の結果が端末５０に出力されているが、測定データとその推定結果に対するユーザの評価が機械学習装置１０に与えられ、学習済みモデルの更新に利用されてもよい。この場合、ユーザが高い評価を与えた推定結果には高い報酬が与えられ、ユーザが低い評価を与えた推定結果には報酬が与えられないか、低い評価が与えられる。この種の学習は強化学習の手法に対応する。なお、報酬は、０か１かの２段階に限らず、多段階の評価の場合には３段階以上の値で与えられてもよい。
【符号の説明】
【００６９】
１…推定システム、１０…機械学習装置、２０…変形推定装置、３０…データベース、４０…ネットワーク、５０…端末、６０…３次元形状推定部、１０１…形状モデル生成部、１０１Ａ…サンプリング部、１０１Ｂ…位置合わせ部、１０２…モデルアップサンプリング部、１０３…変形学習部、１０３Ａ…特徴量算出部、１０３Ｂ…変位算出部、１０３Ｃ…機械学習部、２０１…特徴量算出部、２０２…変形推定部、２０３…推定結果出力部、２０５…画像認識部、３００…出力画面、３０１…観察画像欄、３０２…推定画像欄
【図１】
2020054503.tif 000004
【図２】
2020054503.tif 000005
【図３】
2020054503.tif 000006
【図４】
2020054503.tif 000007
【図５】
2020054503.tif 000008
【図６】
2020054503.tif 000009
【図７】
2020054503.tif 000010
【図８】
2020054503.tif 000011
【図９】
2020054503.tif 000012
【図１０】
2020054503.tif 000013
【図１１】
2020054503.tif 000014
【図１２】
2020054503.tif 000015
【図１３】
2020054503.tif 000016
【図１４】
2020054503.tif 000017
【図１５】
2020054503.tif 000018
【図１６】
2020054503.tif 000019
【図１７】
2020054503.tif 000020
【図１８】
2020054503.tif 000021
【図１９】
2020054503.tif 000022
【図２０】
2020054503.tif 000023
【図２１】
2020054503.tif 000024
【図２２】
2020054503.tif 000025
【図２３】
2020054503.tif 000026
【図２４】
2020054503.tif 000027
【図２５】
2020054503.tif 000028
【図２６】
2020054503.tif 000029
【図２７】
2020054503.tif 000030
【図２８】
2020054503.tif 000031
【図２９】
2020054503.tif 000032
【図３０】
2020054503.tif 000033
【図３１】
2020054503.tif 000034
【図３２】
2020054503.tif 000035
【図３３】
2020054503.tif 000036
【図３４】
2020054503.tif 000037
【図３５】
2020054503.tif 000038
【図３６】
2020054503.tif 000039
【図３７】
2020054503.tif 000040
【図３８】
2020054503.tif 000041
【図３９】
2020054503.tif 000042
【図４０】
2020054503.tif 000043
【図４１】
2020054503.tif 000044
【国際調査報告】
2020054503.tif 000045
2020054503.tif 000046
2020054503.tif 000047
2020054503.tif 000048