(57)【要約】  情報処理装置は、少なくとも１つの方向から撮像された弾性体の表面画像と、未知の外力により弾性変形された弾性体の三次元モデルについて生成される、前記方向から観察したレンダリング画像との差分を最小化する外力の最適解を求める演算部を有する。
2018131416.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの方向から撮像された弾性体の表面画像と、未知の外力により弾性変形された当該弾性体の三次元モデルについて生成される、前記方向から観察したレンダリング画像との差分を最小化する当該外力の最適解を求める演算部
を有する情報処理装置。
【請求項２】
前記演算部は、次式に基づいて、前記外力の最適解を求めることを特徴とする請求項１に記載の情報処理装置。
2018131416.tif 000009
ここで、
ｆ*は、評価関数を最小にする外力制約であり、
It（ｘ）は、時間ｔと画素位置ｘについての弾性体の表面画像であり、
Jt（ｘ）は、時間ｔと画素位置ｘについて三次元モデルを二次元画像にレンダリングした画像であり、
ｆは、外力の大きさであり、
λは、係数であり、
｜ ｜は、絶対値であり、
｜ ｜1は、１次元のノルムである。
【請求項３】
少なくとも１つの方向から撮像された弾性体の表面画像を記憶する記憶部と、
未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する生成部と、
前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める最適化部と
を有する情報処理装置。
【請求項４】
前記最適化部は、次式に基づいて、前記外力の最適解を求めることを特徴とする請求項３に記載の情報処理装置。
2018131416.tif 000010
ここで、
ｆ*は、評価関数を最小にする外力制約であり、
It（ｘ）は、時間ｔと画素位置ｘについての弾性体の表面画像であり、
Jt（ｘ）は、時間ｔと画素位置ｘについて三次元モデルを二次元画像にレンダリングした画像であり、
ｆは、外力の大きさであり、
λは、係数であり、
｜ ｜は、絶対値であり、
｜ ｜1は、１次元のノルムである。
【請求項５】
最適解として求められた前記外力に基づいて弾性変形された前記三次元モデルを表現する表現部を更に有すること
を特徴とする請求項１又は３に記載の情報処理装置。
【請求項６】
前記表面画像は、１つの方向のみから撮像された静止画像であること
を特徴とする請求項１又は３に記載の情報処理装置。
【請求項７】
前記表面画像は、単一の撮像カメラによって撮像された静止画像であること
を特徴とする請求項１又は３に記載の情報処理装置。
【請求項８】
前記レンダリング画像の表面には、前記弾性体の表面の情報が付与されていること
を特徴とする請求項１又は３に記載の情報処理装置。
【請求項９】
異なる方向から前記弾性体を撮像した複数の表面画像と当該異なる方向にそれぞれ対応する複数の前記レンダリング画像との個々の前記差分の総和を最小化する最適解を求めること
を特徴とする請求項１又は３に記載の情報処理装置。
【請求項１０】
前記外力の絶対値和を前記差分に対する制約条件として用い、当該制約条件と当該差分との和を最小化する最適解を求めること
を特徴とする請求項１又は３に記載の情報処理装置。
【請求項１１】
少なくとも１つの方向から撮像された弾性体の表面画像を取得する処理と、
未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する処理と、
前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める処理と
を有する情報処理方法。
【請求項１２】
コンピュータに、
少なくとも１つの方向から撮像された弾性体の表面画像を取得する処理と、
未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する処理と、
前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める処理と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、患者負担の軽減を目的として、内視鏡を用いた手術が急速に増えている。一方で、内視鏡を用いた手術は視野が限られ、術者の負担が増加している。そこで、臓器の奥行き感や臓器の変形度合いの把握を支援する手術支援システムの研究及び開発が進められている。
例えば非特許文献１には、多視点から撮像された術野画像（いわゆるステレオ画像）から取得した臓器上の各点における局所変位を用いて、ＣＴ（Computed Tomography）データから構築したメッシュモデルを変形することにより、臓器内部の構造を表現する手法が提案されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】N. Haouchine, J. Dequidt, I. Peterlik, E. Kerrien, M. O. Berger, and S. Cotin, "Image-guided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery", International Symposium on Mixed and Augmented Reality (ISMAR), pp. 199-208, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、非特許文献１で提示される手法では、多次元特徴量のマッチングによって局所的な変位を算出するため、画素値の変化が小さい領域では特徴点を検出できない欠点がある。また、非特許文献１で提示される手法は、局所マッチング法により局所的な変位を算出するため、照明変化やノイズにより算出結果が大きな影響を受ける欠点がある。【０００５】
そこで、本発明は、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる手法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、少なくとも１つの方向から撮像された弾性体の表面画像と、未知の外力により弾性変形された当該弾性体の三次元モデルについて生成される、前記方向から観察したレンダリング画像との差分を最小化する当該外力の最適解を求める演算部を有する情報処理装置である。
請求項２に記載の発明は、前記演算部は、次式に基づいて、前記外力の最適解を求めることを特徴とする請求項１に記載の情報処理装置である。
2018131416.tif 000003
ここで、ｆ*は、評価関数を最小にする外力制約であり、It（ｘ）は、時間ｔと画素位置ｘについての弾性体の表面画像であり、Jt（ｘ）は、時間ｔと画素位置ｘについて三次元モデルを二次元画像にレンダリングした画像であり、ｆは、外力の大きさであり、λは、係数であり、｜ ｜は、絶対値であり、｜ ｜1は、１次元のノルムである。
請求項３に記載の発明は、少なくとも１つの方向から撮像された弾性体の表面画像を記憶する記憶部と、未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する生成部と、前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める最適化部とを有する情報処理装置である。
請求項４に記載の発明は、前記最適化部は、次式に基づいて、前記外力の最適解を求めることを特徴とする請求項３に記載の情報処理装置である。
2018131416.tif 000004
ここで、ｆ*は、評価関数を最小にする外力制約であり、It（ｘ）は、時間ｔと画素位置ｘについての弾性体の表面画像であり、Jt（ｘ）は、時間ｔと画素位置ｘについて三次元モデルを二次元画像にレンダリングした画像であり、ｆは、外力の大きさであり、λは、係数であり、｜ ｜は、絶対値であり、｜ ｜1は、１次元のノルムである。
請求項５に記載の発明は、最適解として求められた前記外力に基づいて弾性変形された前記三次元モデルを表現する表現部を更に有することを特徴とする請求項１又は３に記載の情報処理装置である。
請求項６に記載の発明は、前記表面画像は、１つの方向のみから撮像された静止画像であることを特徴とする請求項１又は３に記載の情報処理装置である。
請求項７に記載の発明は、前記表面画像は、単一の撮像カメラによって撮像された静止画像であることを特徴とする請求項１又は３に記載の情報処理装置である。
請求項８に記載の発明は、前記レンダリング画像の表面には、前記弾性体の表面の情報が付与されていることを特徴とする請求項１又は３に記載の情報処理装置である。
請求項９に記載の発明は、異なる方向から前記弾性体を撮像した複数の表面画像と当該異なる方向にそれぞれ対応する複数の前記レンダリング画像との個々の前記差分の総和を最小化する最適解を求めることを特徴とする請求項１又は３に記載の情報処理装置である。
請求項１０に記載の発明は、前記外力の絶対値和を前記差分に対する制約条件として用い、当該制約条件と当該差分との和を最小化する最適解を求めることを特徴とする請求項１又は３に記載の情報処理装置である。
請求項１１に記載の発明は、少なくとも１つの方向から撮像された弾性体の表面画像を取得する処理と、未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する処理と、前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める処理とを有する情報処理方法である。
請求項１２に記載の発明は、コンピュータに、少なくとも１つの方向から撮像された弾性体の表面画像を取得する処理と、未知の外力により弾性変形された前記弾性体の三次元モデルについて、前記方向から観察したレンダリング画像を生成する処理と、前記表面画像と前記レンダリング画像との差分を最小化する前記外力の最適解を求める処理とを実行させるプログラムである。
【発明の効果】
【０００７】
請求項１記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
請求項２記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
請求項３記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
請求項４記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
請求項５記載の発明によれば、弾性変形された三次元モデルを視覚的に確認できる。
請求項６記載の発明によれば、弾性体の観察に使用する装置構成を簡素化できる。
請求項７記載の発明によれば、弾性体の観察に使用する装置構成を簡素化できる。
請求項８記載の発明によれば、弾性体の表面の情報を用いることで、弾性体の一部分の画像しか利用できない場合でも変位の推定精度を高めることができる。
請求項９記載の発明によれば、異なる方向から撮像された複数の画像の情報を用いることで、弾性体の一部分の画像しか利用できない場合でも変位の推定精度を高めることができる。
請求項１０記載の発明によれば、制約条件を用いない場合に比して推定精度を高めることができる。
請求項１１記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
請求項１２記載の発明によれば、撮像された画像に照明変化やノイズの影響が含まれる場合でも各部の変位を推定できる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態で採用する推定手法の概念イメージを説明する図である。
【図２】情報処理システムのハードウェア構成例を示す図である。
【図３】コンピュータプログラムの実行を通じて実現される機能構成例を説明する図である。
【図４】弾性体をメッシュ構造で表現したメッシュモデルの例を示す図である。
【図５】正則項を用いない場合に推定される外力制約の候補を説明する図である。
【図６】最適化部による推定処理の流れを示す図である。
【図７】固定点Ｐｆと制御点Ｐｃの位置関係を説明する図であり、（ａ）はｘ−ｚ面を観察した図、（ｂ）はｙ−ｚ面を観察した図である。
【図８】実験１で使用した固定点Ｐｆと作用点Ｐａの関係を説明する図であり、（ａ）は弾性体を変形させる前の図であり、（ｂ）は弾性体を変形させた後の図である。
【図９】パラメータλと推定結果の平均二乗誤差（ＲＭＳＥ）との関係を示す図表である。
【図１０】肝臓形状の弾性体について実験２で使用した固定点Ｐｆと作用点Ｐａの関係を説明する図であり、（ａ）は弾性体を変形させる前の図であり、（ｂ）は弾性体を変形させた後の図である。
【図１１】球形状のメッシュモデルについて、強制的な変位を与えた方向別の局所誤差の位置関係を説明する図である。
【図１２】肝臓形状のメッシュモデルについて、強制的な変位を与えた方向別の局所誤差の位置関係を説明する図である。
【図１３】球形状のメッシュモデルについて、強制的な変位を与えた方向別の局所誤差の大きさを説明する図である。
【図１４】肝臓形状のメッシュモデルについて、強制的な変位を与えた方向別の局所誤差の大きさを説明する図である。
【図１５】実験で用いたブタの肝臓片のカメラ画像を示す図である。（ａ）は外力を加える前の初期形状、（ｂ）は外力による変形後の変形形状１、（ｃ）は外力による更なる変形後の変形形状２を表している。
【図１６】初期形状、変形形状１、変形形状２のそれぞれに対応する有限要素モデルを示す図である。（ａ）は初期状態を示し、（ｂ）は変形形状１を示し、（ｃ）は変形形状２を示す。
【図１７】初期形状を入力として変形形状１を推定した結果の形状誤差を説明する図である。（ａ）は入力形状としての初期形状、（ｂ）は外力制約から推定された変形形状１、（ｃ）はGround truth形状に局所誤差をマッピングした表示である。
【図１８】変形形状１を入力として変形形状２を推定した結果の形状誤差を説明する図である。（ａ）は入力形状としての変形形状１、（ｂ）は外力制約から推定された変形形状２、（ｃ）はGround truth形状に局所誤差をマッピングした表示である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【００１０】
＜概念イメージ＞
図１は、後述する実施の形態で採用する推定手法の概念イメージを説明する図である。
後述する実施の形態では、弾性体１の全体を観察できない場合（すなわち、観察できる部分と観察できない部分がある場合）を前提条件としており、部分的な観察画像しか取得できない場合でも、弾性体全体における各部の変位量を推定する手法について説明する。
【００１１】
より具体的には、実施の形態における推定手法では、大きさｆが未知である外力Ｆによって弾性変形された弾性体１の部分的な観察画像が入力として与えられる場合に、弾性体１に対応する三次元モデルを部分画像に近づけるように変形させる外力Ｆの大きさｆを推定することにより、弾性体全体の各部における変位を推定する手法を採用する。
【００１２】
なお、実施の形態における推定手法は、推定した外力Ｆで変形した三次元モデル（具体的にはレンダリング画像）と弾性体１の観察画像との類似度合いを、局所的特徴点のマッチングではなく、弾性体１の表面の輝度等の情報を大域的に（グローバルに）評価しながら最適な外力Ｆの大きさｆを推定し、結果的に弾性体全体の各部における変位量を特定する点で既存の手法と異なる。
【００１３】
因みに、後述する実施の形態では、弾性体１内の弾性率の分布は、既知であるものとして扱う。例えば弾性体１内における弾性率の分布は一様（均一）であるものとして扱う。もっとも、弾性体１内の詳細な弾性率の分布が事前に与えられる場合（例えば測定データがある場合や推定処理により求められている場合）にはその情報を使用する。「分布」であるので、弾性率の相対的な位置関係が分かればよく、数値自体は未知でよい。例えば相対的に硬い部位と柔らかい部位が特定されれば、具体的な数値は未知でよい。
【００１４】
ところで、弾性体１を変形させる外力Ｆが作用する位置（すなわち、作用点Ｐａの位置）は、既知でも未知でも構わない。図１の例では、作用点Ｐａの位置が観察できる部分に存在しているが、作用点Ｐａの位置が観察できない部分に存在してもよい。また、作用点Ｐａの個数についての制限もなく、１つでも複数でもよい。また、作用点Ｐａは、弾性体１の表面全体に設けられていてもよい。ただし、計算量を削減する観点からは、作用点Ｐａの数が少なく位置が事前に特定されることが望ましい。
【００１５】
弾性体１の動きを制約する位置（すなわち、固定点Ｐｆの位置）は、既知でも未知でも構わない。アルゴリズム的には、固定点Ｐｆの位置が既知である方が望ましいが、未知でもシフト処理を組み合わせればよい。図１の例では、固定点Ｐｆの位置が観察できない部分に存在しているが、固定点Ｐｆの位置が観察できる部分に存在してもよい。また、固定点Ｐｆの個数についての制限もなく、１つでも複数でもよい。なお、弾性体１が臓器の場合には、固定点Ｐｆの位置が既知である。
既知である情報が増えるほど、一般的には推定精度が高くなり、推定に要する計算時間も少なく済む。
【００１６】
図１では、観察できる部分と観察できない部分の説明のため、弾性体１の一部分が遮蔽物２によって覆われている様子を表しているが、弾性体１の一部分が遮蔽物２で覆われていることを必須とするものではない。例えば弾性体１を一方向のみから観察する場合、観察視野に含まれる部分が観察できる部分であり、観察視野に含まれない部分が観察できない部分となる。従って、観察方向から見て弾性体１の陰になる部分（例えば裏側や背面側）は、観察できない部分の一例である。
【００１７】
＜用語＞
実施の形態における弾性率には、押込方向や引張方向についての硬さを表すヤング率Ｅ、せん断方向についての硬さを表す剛性率Ｇ、ポアソン比ν、体積弾性率Ｋなどが含まれ、後述する実施の形態では、弾性率がヤング率であるものとする。
実施の形態において、弾性体１とは、外力Ｆの作用により歪みが生じる（変形する）一方、外力Ｆの作用が停止されると元の寸法に戻る性質を有する物質をいうものとする。本実施の形態では、例えば生体組織における各種の臓器など、近似的にフックの法則を用いて表現される弾性体を想定する。
【００１８】
＜システム構成＞
図２は、情報処理システム１００のハードウェア構成例を示す図である。
情報処理システム１００は、弾性体１（図１参照）を構成する各部の変位量を推定する演算処理を実行する情報処理装置１０と、弾性体１の撮像に用いる少なくとも１つの撮像カメラ２０と、弾性体１のメッシュモデルの作成に使用する三次元画像データ（ボリュームデータ）を記憶する三次元画像データ記憶装置３０と、推定結果に基づいて変形したメッシュモデルの表示等に用いる表示装置４０と、ユーザが操作するマウスやポインティングデバイス等で構成される入力装置５０とを有している。
【００１９】
情報処理装置１０は、いわゆるコンピュータであり、プログラムを実行するＣＰＵ（Central Processing Unit）１１と、ＢＩＯＳ（Basic Input / Output System）やファームウェアなどのプログラムやデータを記憶するＲＯＭ（Read Only Memory）１２と、プログラムに作業エリアを与えるＲＡＭ（Random Access Memory）１３と、処理対象とする画像データを記憶する記憶部１４とにより構成される。記憶部１４は、ハードディスク装置や半導体メモリなどの記憶装置である。ＣＰＵ１１によるプログラムの実行を通じて実現される機能については後述する。
【００２０】
撮像カメラ２０は、弾性体１の観察に使用される撮像装置である。撮像カメラ２０は、弾性体１の観察に適した撮像装置であればよい。例えば撮像カメラ２０には、赤外線カメラ、内視鏡カメラ、超音波イメージング装置、光超音波イメージング装置、Ｘ線透過装置などを使用する。なお、内視鏡カメラの撮像素子は、ＣＣＤ（Charge Coupled Device）でもＣＭＯＳ（Complementary MOS）でもよい。
本実施の形態では、単眼の撮像カメラ２０を１台使用し、弾性体１を一方向から撮影した静止画像（表面画像）が出力される。
【００２１】
三次元画像データ記憶装置３０は、弾性体１を断層撮影することにより取得した断層画像データを積み重ねるように再構成した画像（再構成画像）を三次元画像データとして記憶する大容量のハードディスク装置等で構成される。
三次元画像データ記憶装置３０は、情報処理装置１０に対して直接接続される場合だけでなく、ネットワーク上にサーバやネットワークストレージとして存在してもよい。ここで、断層画像データの取得には、例えばＣＴ（Computed Tomography）、ＰＥＴ（Positron Emission Tomography）、ＭＲＩ等を使用する。
【００２２】
表示装置４０は、例えば液晶ディスプレイで構成される。液晶ディスプレイは、液晶パネル、バックライトなどで構成される。なお、表示装置４０は、有機ＥＬ（ElectroLuminescence）ディスプレイ等でもよい。
【００２３】
図３は、ＣＰＵ１１によるコンピュータプログラムの実行を通じて実現される機能構成例を説明する図である。ここで、図３に示す機能構成の入出力関係は、情報処理方法の一例である。
処理機能の観点から見た情報処理装置１０は、三次元のメッシュモデル（三次元モデル）を生成するメッシュモデル生成部１１１と、フックの法則に基づいて三次元モデルを変形する変形部１１２と、変形後の三次元モデルをレンダリングしてレンダリング画像を生成するレンダリング部１１３と、レンダリング画像とカメラ画像との差分を最小化する外力Ｆを最適解として求める最適化部１１４と、外力Ｆによって変形された三次元マトリクスと各部の変位量を表示装置４０に出力する表現部１１５とを有している。これらの機能部は、請求の範囲における「演算部」の一例である。
【００２４】
メッシュモデル生成部１１１は、三次元画像データ記憶装置３０から観察対象とする弾性体１の三次元画像データを取り込むと、連続体として与えられた三次元画像データから単純な形状要素の集合体であるメッシュモデルを生成する機能部である。ここでのメッシュモデルは三次元モデルの一例であり、最小要素は立方体や四面体（三角錐）で表現される。以下の説明では、最小要素が四面体であるものとして説明する。
【００２５】
図４は、弾性体１をメッシュ構造で表現したメッシュモデル２００の例を示す図である。図４は、外力Ｆが作用点Ｐａ（図１参照）に加えられる前のメッシュモデル２００を表している。図中の丸印は最小要素の頂点、すなわちノードを示す。
【００２６】
図３の説明に戻る。変形部１１２は、逐次更新される外力Ｆの大きさｆに応じて三次元モデルを弾性変形する動作を実行する機能部である。変形部１１２は、最適化部１１４から与えられる大きさｆと既知の弾性率とを用い（フックの法則により）、三次元モデルを構成する個々のノードの変位量を算出する。個々のノードの変位量が計算されることで、弾性変形後の三次元モデルの形状が決定される。なお、フックの法則は広義で解するものとし、弾性変形の計算には例えば有限要素法（Finite Element Method: FEM）を使用する。
【００２７】
フックの法則では、全体剛性マトリクスをＫとする力の釣り合い式（ｆ＝Ｋｕ）を変形した式１に基づいて、三次元モデルを構成する各ノードにおける変位量ｕを計算することができる。
ｕ＝Ｋ-1ｆ＝Ｌｆ      …式１
なお、Ｌは、全体剛性マトリクスＫの逆行列（Ｋ-1）を意味する。
【００２８】
ここでは、弾性体１におけるヤング率の分布が既知であり、弾性体１に加わる外力Ｆの大きさｆ（ベクトル）は変数であるものとする。なお、大きさｆの初期値は０（ゼロ）である。
ヤング率は、全体剛性マトリクスＫの内包パラメータであるので、既知のヤング率から全体剛性マトリクスＫとその逆行列Ｌを計算することができる。すなわち、式１における逆行列Ｌは既知である。
【００２９】
レンダリング部１１３は、三次元モデルに弾性体１の表面情報をレンダリングした二次元画像（レンダリング画像）を生成する機能部である。
レンダリング部１１３は、最適化処理が開始される前に、弾性体１に外力Ｆが作用する前のカメラ画像（初期画像）とできるだけ一致するレンダリング画像が得られるように、三次元モデルの向きと寸法を修正する校正処理を実行する。校正処理において、レンダリング部１１３は、画像マッチングの結果、弾性体１を観察する方向に関する情報などを用い、三次元モデルの向きと寸法を校正する。
【００３０】
レンダリング部１１３は、校正処理が終了した後の三次元モデルの表面に対し、弾性体１の表面に現れる凹凸や起伏によって生じる陰影（すなわち輝度情報）を少なくとも付与したレンダリング画像を生成する。もっとも、陰影は必須ではない。
ここで、レンダリング画像には、好ましくは色、模様、構造的特徴、境界など、カメラ画像や既知の知識から自動的に取得可能な情報が含まれることが望ましい。レンダリング画像に含まれる情報が多いほど、最適化部１１４で実行されるグローバルマッチングの精度が向上する。
【００３１】
最適化部１１４は、カメラ画像の外観とレンダリング画像の外観とをグローバルマッチングして求まる差分が最小になるように、三次元モデルを変形させる外力Ｆの大きさｆの最適解を推定する機能部である。
ここでの最適化部１１４は、次式（式２）によって定義される評価関数Ｅを用いて最適解を推定する。
2018131416.tif 000005
ここで、Ｉt（ｘ）はカメラ画像、Ｊt（ｘ）はレンダリング画像である。なお、添え字のｔは時間を表し、変数のｘはレンダリング画像内の画素位置を与える。
【００３２】
具体的には、最適化部１１４は、評価関数Ｅを最小化する（すなわち、観察結果に最も近い変形を与える）外力制約ｆ*を、次式（式３）で与えられる最小化問題の式により求める。
2018131416.tif 000006
ここで、第１項は画像に含まれる個々の情報の差分（例えば対応する画素位置における輝度値の差分）を表し、第２項は１ノルムの正則項を表している。λは正則項に対する重みである。
１ノルムは、外力Ｆが複数である場合、個々の大きさｆの絶対値和で与えられる。ここでの第２項は、請求の範囲における「制約条件」の一例である。
【００３３】
一般に、１枚のカメラ画像から得られる弾性体１の変形と同様の変形を生成する外力制約ｆ*を与える大きさｆの組み合わせは無数に存在する。
図５は、正則項を用いない場合に推定される外力制約ｆ*を与える大きさｆの組み合わせ候補を説明する図である。正則項の導入によって、作用する外力Ｆの個数と大きさｆが小さく済む解の導出が可能になる。
【００３４】
図６は、最適化部１１４による推定処理の流れを示す図である。図６に示すように、評価関数Ｅを最小にするように更新された外力制約ｆ*を三次元モデルの初期形状Ｍ0に適用し、有限要素法により変形された時刻ｔにおける推定形状Ｍtについて、評価Ｔｈより小さくなるまで最適解の探索が継続される。
最適化部１１４は、最適解が得られるまで外力Ｆの個数と大きさｆを更新し、更新情報を変形部１１２（図３参照）に与える。最適解が得られたときに式１で算出される変位量ｕにより三次元モデルの推定形状Ｍtが求まる。
【００３５】
本実施の形態では、最適化問題を解く手法として、共分散行列適応進化戦略（Covariance Matrix Adaptation Evolution Strategy：CMA-ES）を使用した。もっとも、最適化問題を解く手法には既知の他の手法を用いてもよい。例えば勾配法、モンテカルロ法、焼きなまし法などを用いてもよい。
【００３６】
図３の説明に戻る。表現部１１５は、推定された三次元モデルの形状を表示装置４０（図２参照）に表示する機能部である。表現部１１５は、三次元モデルの表面に輝度情報などの情報を付与して表現してもよい。
表現部１１５は、必要に応じ、最適解として求まった外力Ｆの大きさｆについて算出された各部の変位量を、色や輝度などを用いて表示してもよい。
この表示により、ユーザは、観察できない部分も含めた弾性体１の外観全体を視覚的に理解できる。また、ユーザは、弾性体１の内部構造（例えば血管や腫瘍の位置）の変形も理解できる。
【００３７】
＜シミュレーション実験による検証＞
以下では、弾性体１について作成したメッシュモデル２００（図４参照）から作成されるレンダリング画像と、弾性体１の一部分を観察したカメラ画像とから推定された推定形状Ｍt（図６参照）の精度を検証した結果について説明する。
【００３８】
＜検証条件＞
理論上の外力制約ｆ*は、メッシュモデル２００（図４参照）の全てのノードに与えることができる。
しかし、ノード数がＮ個のメッシュモデル２００（又は２００Ａ）において、全てのノードに外力制約ｆ*が与えられる可能性があると、推定形状Ｍtを求める計算は、３×Ｎ次元のパラメータ最適化問題となり、計算量が膨大となって実時間内で解けなくなるおそれがある。
【００３９】
そこで、シミュレーション実験では、推定精度と計算量とのバランスを考慮して、パラメータ数を削減した。
具体的には、弾性体１に作用する外力Ｆを引っ張り力に制限すると共に、外力Ｆが作用するノードの位置と数も制限し、外力制約ｆ*の低次元化を図った。なお、引っ張り力が作用する作用点Ｐａは、固定点Ｐｆから十分離れた部位にあるものと想定した。
【００４０】
以下では、作用点Ｐａとなる可能性があるノード（候補点）を制御点Ｐｃと呼び、以下の条件を満たす位置に予め定めた個数だけ設定する。
（１）固定点Ｐｆの重心位置からの距離が最も遠いノードを制御点Ｐｃに選択する。
（２）選択済みの他の制御点Ｐｃから一定範囲内にあるノードを、制御点Ｐｃの探索範囲から除外する。
（３）予め定めた個数の制御点Ｐｃが選択されるまで条件（１）と（２）を繰り返す。
【００４１】
図７は、前述の条件（１）〜（３）を適用して定めた固定点Ｐｆと制御点Ｐｃの位置関係を説明する図である。図７は、弾性体１の初期状態が球形であり、制御点Ｐｃの個数を「６」とする場合における固定点Ｐｆと制御点Ｐｃの位置関係を示している。
図７（ａ）では、図中右端に１つの固定点Ｐｆを設けた場合に、６個の制御点Ｐｃが図中左端に配置される様子を表している。なお、図７（ａ）は固定点Ｐｆを視野内に含む図であるので、６個の制御点Ｐｃのうちの３個だけが見えている。図７（ｂ）は、固定点Ｐｆの反対側を見た図であり、６個の制御点Ｐｃが配置されている。
最適化部１１４（図３参照）は、これら６個の制御点Ｐｃのいずれか又は複数が作用点Ｐａであるものとして外力Ｆの大きさｆの最適化処理を実行する。
【００４２】
以下の実験１及び２においては、初期形状が既知の弾性体１に外力Ｆを作用させて作用点Ｐａの重心を強制的に一定距離（正解値）だけ移動させ、その際に撮像カメラ２０によってキャプチャされたカメラ画像を情報処理装置１０に与えて弾性体１の各部における変位量を推定し、その推定結果の精度を定量的に評価する。
【００４３】
その際、最適化部１１４は、空間の中心を原点として弾性体１の座標と撮像カメラ２０の座標を表現した。
また、各実験では、撮像カメラ２０が弾性体１に対して−ｙ方向側に位置し、＋ｙ方向に弾性体１の表面を撮像している。従って、撮像カメラ２０では、図７（ａ）に示すように固定点Ｐｆを右端に含むカメラ画像が取得される。なお、光源の位置は、撮像カメラ２０の位置と同じであるものとする。もっとも、光源の位置は撮像カメラ２０の位置と異なっていてもよい。ただし、光源の位置は撮影されるカメラ画像に現れる陰影の向きなどに影響するため、光源の位置情報はレンダリング部１１３に事前に与えられるものとする。
【００４４】
＜実験１＞
実験１では、単眼の撮像カメラ２０が１台である場合を想定し、式３の重みパラメータλの値が推定精度に与える影響を調査した。
図８は、実験１で使用した固定点Ｐｆと作用点Ｐａの関係を説明する図である。図８（ａ）は外力Ｆが作用する前の球形状の弾性体１の初期形状を示し、図８（ｂ）は外力Ｆの作用により−ｘ方向に変形された後の弾性体１の形状を示している。なお、図８では、弾性体１の表面位置にメッシュモデル２００（図４参照）のノードをマッピングして表している。
【００４５】
実験１で使用する球形状の弾性体１に対応するメッシュモデル２００のノード数は６４２個、四面体要素の数は１２８０個である。
実験１では、固定点Ｐｆとして図中右端に位置する１５個のノードを使用し、作用点Ｐａとして図中左端に位置する１５個のノードを使用した。
前述したように、実験１では、固定点Ｐｆが既知であるものとし、対応する制御点Ｐｃの数を６個としている。
さらに、弾性体１内部のヤング率の分布は一様であり、絶対値は１ＭＰａであるものとした。
【００４６】
実験１では、図８（ａ）に示す球形状の弾性体１を初期形状とし、作用点Ｐａについてｘ、ｙ、ｚ方向へそれぞれ０ｍｍ、±２５.６ｍｍの計２７（＝３×３×３）通りの強制変位を与えた。なお、弾性体１の半径は６４ｍｍとした。
図８（ｂ）は、弾性体１の作用点Ｐａを初期位置から−ｘ方向に２５.６ｍｍ（正解値）だけ強制的に変位させたときの形状である。
【００４７】
実験１では、式３のパラメータλの値が推定精度に与える影響を検証するため、"０．０"、"０．０５"、"０．１"、"０．２５"、"０．５"、"１．０"の６つの値を使用した。
そして、単眼の撮像カメラ２０を１台用いて弾性体１を撮像したカメラ画像を情報処理装置１０に入力し、６通りのパラメータλの値それぞれについて、評価関数Ｅを最小化する変形をメッシュモデル２００に与える外力Ｆの大きさｆを推定し、そのときの変位量と正解値とのノード間距離の平均二乗誤差（Root Mean Square Error：RMSE）の平均値を計算した。
ただし、本実施の形態で用いるＣＭＡ−ＥＳでは乱数を用いて最適化を行うため、推定ごとに結果が一定とならない。そこで、実験１では推定処理を５回行い、その中で最も評価値の良い結果を、パラメータλの各設定での推定結果とした。
【００４８】
表１に、パラメータλの６通りの値について求めた２７通りの推定結果の平均二乗誤差ＲＭＳＥ（ｍｍ）の平均値を示す。
表１：
2018131416.tif 000007
【００４９】
図９は、パラメータλと推定結果の平均二乗誤差（ＲＭＳＥ）との関係を示す図表である。
図９の横軸はパラメータλであり、縦軸は２７通りの変位の平均二乗誤差の平均値（ｍｍ）である。図９では、平均二乗誤差のばらつきを四分位点で区切られた箱ひげ図によって示している。
図９の場合、最も誤差が少なく箱ひげ図の分散も小さいλ＝０．０５が、情報処理装置１０による推定誤差を小さくできている。
【００５０】
＜実験２＞
実験２では、式３のパラメータλに０．０５を用い、ｘ、ｙ、ｚの各方向に弾性体１を強制的に変位させた場合における推定精度の方向依存性について検証した。
実験２では、実験１で使用した球形状の弾性体１に加え、肝臓形状の弾性体１についても評価した。
【００５１】
図１０は、肝臓形状の弾性体１について実験２で使用した固定点Ｐｆと作用点Ｐａの関係を説明する図である。
図１０（ａ）は外力Ｆが作用する前の弾性体１の初期形状を示し、図１０（ｂ）は外力Ｆの作用により−ｘ方向に変形された後の弾性体１の形状を示している。なお、図１０では、弾性体１の表面位置にメッシュモデル２００（図４参照）のノードをマッピングして表している。
【００５２】
実験２で使用する肝臓形状の弾性体１に対応するメッシュモデル２００のノード数は２０２個、四面体要素の数は６００個である。
実験２では、固定点Ｐｆとして図中右端に位置する３８個のノードを使用し、作用点Ｐａとして図中左端に位置する４１個のノードを使用した。
実験２でも、固定点Ｐｆが既知であるものとし、対応する制御点Ｐｃの数を６個としている。
さらに、弾性体１内部のヤング率の分布は一様であり、絶対値は１ＭＰａであるものとした。
【００５３】
実験２では、作用点Ｐａに与える強制変位をｘ、ｙ、ｚ方向へそれぞれ±６．４ｍｍ、±１２．８ｍｍ、±１９．２、±２５．６ｍｍの８通りとした。なお、各方向への精度の依存性を調査するため一方向に変位を与えているときは他方向への変位成分は０とした。従って、計２４（＝８＋８＋８）通りについて実験した。なお、弾性体１の幅方向（図中ｘ方向）の寸法は２１０ｍｍ、奥行方向（図中ｙ方向）の寸法は１４０ｍｍ、高さ方向（図中ｚ方向）の寸法は７５ｍｍとした。
【００５４】
図１０（ｂ）は、４１個のノードで与えられる作用点Ｐａに外力Ｆを与え、弾性体１を初期形状から−ｘ方向に２５．６ｍｍ変位させたときの真の形状を示している。
実験２では、前述したように式３のパラメータλに０．０５を使用し、単眼の撮像カメラ２０を１台用いて弾性体１を撮像したカメラ画像を情報処理装置１０に入力し、評価関数Ｅを最小化する変形をメッシュモデル２００Ａに与える外力Ｆの大きさｆを推定し、そのときの変位量と正解値とのノード間距離の平均二乗誤差ＲＭＳＥをノード毎に計算した。
【００５５】
図１１は、球形状のメッシュモデル２００について、強制的な変位を与えた方向別の局所誤差の位置関係を説明する図である。図１２は、肝臓形状のメッシュモデル２００Ａについて、強制的な変位を与えた方向別の局所誤差の位置関係を説明する図である。
図１１では、弾性体１をｘ方向にだけ−２５．６ｍｍ、又はｙ方向にだけ＋２５．６ｍｍ、又はｚ方向にだけ＋２５．６ｍｍの強制変位を与えたときの目的形状（真の形状）と、推定結果（メッシュモデル２００の推定形状）と、局所誤差の分布との関係が示され、図１２では、弾性体１をｘ方向にだけ＋２５．６ｍｍ、又はｙ方向にだけ＋２５．６ｍｍ、又はｚ方向にだけ−１９．２ｍｍの強制変位を与えたときの目的形状（真の形状）と、推定結果（メッシュモデル２００の推定形状）と、局所誤差の分布との関係が示されている。
【００５６】
図１１及び図１２では、誤差が５ｍｍ以上の領域を濃い網掛けで示し、誤差０ｍｍの領域を白抜きで、中間誤差の領域を薄い網掛けで示している。
図１１及び図１２の例では、球形状の弾性体１に−ｘ方向への大きな強制変位を与えた場合と肝臓形状の弾性体１に＋ｙ方向への大きな強制変位を与えた場合に５ｍｍ以上の局所誤差が多く生じている。
【００５７】
図１３は、球形状のメッシュモデル２００について、強制的な変位を与えた方向別の局所誤差の大きさを説明する図である。図１４は、肝臓形状のメッシュモデル２００Ａについて、強制的な変位を与えた方向別の局所誤差の大きさを説明する図である。
図１３及び図１４は、横軸を変位量（ｍｍ）、縦軸を平均二乗誤差ＲＭＳＥ（ｍｍ）とした棒グラフを示している。
弾性体１が球形状（図１３）の場合には、−ｘ方向に大きな強制変位を与えた場合のみ６ｍｍ程度の局所誤差が現れているが、他の方向の場合ではおおよそ１ｍｍ程度の局所誤差で収まっている。
弾性体１が肝臓形状（図１４）の場合には、＋ｙ方向に大きな強制変位を与えた場合のみ８ｍｍ程度の局所誤差が現れているが、他の方向の場合ではおおよそ２〜３ｍｍ程度の局所誤差で収まっている。
【００５８】
＜まとめ＞
前述の実験１及び実験２によれば、強制的に変位させた弾性体１を１台の撮像カメラ２０で一方向から撮像した１枚のカメラ画像を情報処理装置１０に与えるだけで、平均で８．６％程度の推定誤差により、メッシュモデル２００（又は２００Ａ）の変位量を推定できることが確かめられた。
すなわち、本実施の形態に係る手法によれば、対象物体の二次元の外観のみから十分な精度でメッシュモデル２００及び２００Ａを構成する全てのノード（ボリューム全体）について、局所的な変位を高い精度で再構成できる。
【００５９】
なお、弾性体１が球形状の場合には、−ｘ方向へ大きな変位を与えた場合に誤差が増大しているが、その原因の一つには、ＣＭＡ−ＥＳが乱数を利用しているためと考えられる。
従って、例えば最終的な推定結果を得るまでに実行される推定処理の回数を５回以上に増やしたり、撮像条件（例えば撮像部位、照明量など）に応じた最適なパラメータλの値を用いたりすることにより、推定誤差を低減できる。
【００６０】
また、弾性体１が肝臓形状の場合には、＋ｙ方向へ大きな変位を与えた場合に誤差が増大しているが、その原因は、＋ｙ方向が撮像カメラ２０の視線方向と同じであるために、視線方向に平行な方向への弾性体１の変形に対応して出現するカメラ画像内の輝度変化が少ないためと考えられる。この場合には、別の方向から弾性体１の変形を撮像することで推定誤差を低減できると想定される。
【００６１】
前述した実験１及び２で採用した有限要素法を用いた変位量の算出処理（直接的には外力Ｆの大きさｆの算出処理）では、弾性体１内における弾性率の分布が一様であることを前提とする一方で、弾性率の絶対値は未知として扱っている。
このため、計算に用いる弾性率の絶対値と実際の弾性率との間でズレが想定されるが、弾性率の絶対値が未知であっても、外力Ｆの大きさｆ（ベクトル）の算出の妨げにはならない。
【００６２】
＜ブタの肝臓を用いた形状誤差の評価＞
以下では、観察の対象としてブタの肝臓片を使用し、算出された外力制約ｆ*の確からしさを、算出された外力制約ｆ*により特定される形状と真値との差として評価した結果について説明する。
なお、真値には、肝臓片のＣＴデータを使用した。また、外力制約ｆ*により特定される形状には、初期形状の肝臓片のＣＴデータから形成したメッシュモデルを外力制約ｆ*で変形した形状を使用した。
【００６３】
＜実験の方法＞
図１５は、実験で用いたブタの肝臓片３００のカメラ画像を示す図である。（ａ）は外力Ｆを加える前の初期形状、（ｂ）は外力Ｆ１による変形後の変形形状１、（ｃ）は外力Ｆ２による更なる変形後の変形形状２を表している。
【００６４】
実験には、市販されている食用ブタの肝臓片３００を使用した。
図１５に示す肝臓片３００の大きさは、おおよそ２００ｍｍ×１５０ｍｍ×１００ｍｍである。
ブタの肝臓片３００のヤング率の測定には、株式会社テック技販のＹＡＷＡＳＡを使用した。臓器内部の血管構造などにより、局所的な硬さの違いが触知できた。なお、測定値は、全体的に、５〜１０ｋＰａ程度であった。
【００６５】
ブタの肝臓片３００の計測には、動物実験用のＸ線ＣＴ装置を使用した。
計測は、肝臓片３００を載せたボード３１０をＣＴ装置のテーブルに設置した状態で行った。
図１５（ａ）は、肝臓片３００の初期形状である。実験時には、図中破線で囲んで示す部分を、テグス糸でボードに縫いつけて固定点Ｐｆとした。図１５（ｂ）及び（ｃ）では、肝臓片３００に強制的な変位を与える外力Ｆ１、Ｆ２の作用方向を矢印で表現した。なお、肝臓片３００の姿勢は、ボード３１０との摩擦力で保持した。
【００６６】
図１５（ｂ）は、初期形状の肝臓片３００の紙面の右下部分に対して紙面の右下方向に外力Ｆ１を加えた後の形状（変形形状１）を表している。図１５（ｃ）は、変形形状１の肝臓片３００の紙面の右下部分に対して紙面の右上方向に外力Ｆ２を加えた後の形状（変形形状２）を表している。
各形状に対応するカメラ画像は、１台のデジタルカメラで撮影している。なお、撮影方向は同じである。また、各形状の肝臓片３００をＣＴ装置で撮影し、ＣＴデータを得た。
【００６７】
続いて、推定プロセス（図３参照）について説明する。
まず、前処理として、初期形状、変形形状１、変形形状２に対応するメッシュモデルをＣＴデータから生成した。メッシュモデルの生成には、ジオメトリモデリングソフトウェアであるＭｅｒｃｕｒｙ社製のＡｖｉｚｏを使用した。
いずれのメッシュモデルも、頂点数は３０２個であり、三角形の要素数は６００個とした。ただし、各メッシュモデル間で頂点どうしの対応関係はない。
カメラ画像は、デジタルカメラで撮影された画像の中から肝臓片３００の領域部分を選択的に抽出している。すなわち、背景を削除している。
【００６８】
なお、初期形状を撮影する段階で、メッシュモデルのレンダリング像がカメラ画像に最も近づくように情報処理装置１０（図２参照）内のカメラパラメータを調整した。また、カメラ画像の肝臓片３００の平均色を求め、メッシュモデルの各頂点にカラー情報として与えることでレンダリングを行った。
その後、変形形状１又は２に対応するカメラ画像に有限要素モデルを一致させるように、評価関数Ｅ（式２）を最小化する外力制約ｆ*を求めた。
【００６９】
本実験の場合、初期形状から変形形状２への変形度合いが極めて大きいため、初期形状から変形形状１を推定する場合と、変形形状１を初期形状として変形形状２を推定する場合との２つについて各時刻間の変形を与える外力制約ｆ*を推定した。
図１６は、初期形状、変形形状１、変形形状２のそれぞれに対応する有限要素モデルを示す図である。（ａ）は初期状態を示し、（ｂ）は変形形状１を示し、（ｃ）は変形形状２を示す。
【００７０】
図１６では、設定された固定点Ｐｆと制御点Ｐｃを破線で囲んで示している。
本実験の場合、前述したように、各形状の頂点間には対応関係が存在しない。このため、形状間の双方向距離（bidirectional distance）と呼ばれる形状誤差指標を採用し、変形形状のメッシュデータと推定形状のモデル間の形状との差を表す指標とした。
ここで、双方向距離とは、一方の形状から他方の形状に対して最も近い頂点との距離の算出を双方向に行った値である。すなわち、双方向距離は、前述したシミュレーション実験（図７〜図１４）での評価に用いた対応点間の距離ではなく、両形状のおよそのずれを表している。
【００７１】
この双方向距離は、比較する両形状のメッシュが密なほど精密な値を算出できる。そこで、推定処理が終えた後、推定形状とGround truth形状（ブタの肝臓片３００）のそれぞれをさらにメッシュ分割し、頂点数を３０２から約２万とした後に双方向距離により全体の形状誤差（ｍｍ）を算出した。
【００７２】
以下では、図１７及び図１８を使用して推定結果が高い精度を有することを示す。
図１７は、初期形状を入力として変形形状１を推定した結果の形状誤差を説明する図である。（ａ）は入力形状としての初期形状、（ｂ）は外力制約ｆ*から推定された変形形状１、（ｃ）はGround truth形状に局所誤差をマッピングした表示である。
図１８は、変形形状１を入力として変形形状２を推定した結果の形状誤差を説明する図である。（ａ）は入力形状としての変形形状１、（ｂ）は外力制約ｆ*から推定された変形形状２、（ｃ）はGround truth形状に局所誤差をマッピングした表示である。
【００７３】
また、表２に、推定精度の指標となる各種の数値を示す。ここでは、双方向距離の初期値の平均と最大値、推定後の双方向距離の平均と最大値とを示す。ただし、単位は、全てｍｍとする。
表２：
2018131416.tif 000008
【００７４】
例えば初期形状から変形形状１を与える外力制約ｆ*の推定を開始してすぐの段階では、双方向距離の平均で５３ｍｍ、最大値で１２７ｍｍの誤差が生じている。しかし、評価関数Ｅを最小化する外力制約ｆ*が推定された段階では、双方向距離の平均が９割減の５．３ｍｍに、最大値も２２ｍｍまで減少させることができた。
この結果は、最大で１２０ｍｍ程度あった局所のずれに対して推定誤差が約８．２％であることに相当する。
【００７５】
また例えば変形形状１から変形形状２を与える外力制約ｆ*の推定を開始してすぐの段階では、双方向距離の平均で１８ｍｍ、最大値で６０ｍｍの誤差が生じている。しかし、評価関数Ｅを最小化する外力制約ｆ*が推定された段階では、双方向距離の平均が７．４ｍｍに、最大値も２３ｍｍまで減少させることができた。
いずれも大幅に誤差の減少が認められた。
【００７６】
図１７及び図１８では、具体的な局所誤差の分布を確認できる。
例えば図１７に示す変形形状１の推定結果の場合、比較的大きな局所誤差は、固定点Ｐｆの付近の２か所と左側の手前部分に認められるものの、全体的には誤差がほとんど生じていないことが確認できる。
固定点Ｐｆ付近に局所誤差が現れているのは、この部分が変形の際に伸張され、その結果として上端部分が丸く変形されたためと考えられる。
【００７７】
なお、左手前部分の局所誤差は、計測誤差によるものと考えられる。具体的には、初期形状（図１５参照）では確認できなかったヒダのような部位が、変形形状１に現れたことに原因が認められる。
なお、このヒダ状の部位は、初期形状の撮影の時点で、互いに密着していたためにＣＴデータとしてモデリングされていない。
【００７８】
一方、図１８に示す変形形状２の推定結果の場合、比較的大きな局所誤差は、肝臓片の先端部分の両端と右側中央付近のくぼみ部分に認められる。
これらの部位に局所誤差が現れているのは、変形の際の伸張やひねりによって局所的な変形が生じたためと考えられる。
【００７９】
＜他の実施の形態＞
前述の実施の形態においては、弾性体１における弾性率の分布が一様である場合（硬い部位と柔らかい部位が存在しない場合）について実験したが、実際に扱う弾性体１では、弾性率の分布が一様でない場合も多い。その場合でも、１枚のカメラ画像を用いるだけで弾性体１の各部における変位量をボリューム全体について推定できることの実用的な効果は大きい。
また、弾性率の分布が既知の場合には、正確な分布を式１の全体剛性マトリクスＫに与えることにより、弾性体１の各部における変位量をより正確に推定できる。
【００８０】
前述の実施の形態では、式３において正則項を用いているが、事前に外力Ｆの作用点Ｐａが分かっている場合など観察条件によっては正則項の追加は不要である。
前述の実施の形態では、単眼の撮像カメラ２０を用い、１つの方向から弾性体１を撮像しているが、１つの方向から複眼の撮像カメラ２０（いわゆるステレオカメラ）や複数台の撮像カメラ２０を用いて弾性体１を撮像してもよい。この場合、視差に相当する複数のカメラ画像が得られることになる。
【００８１】
この場合、一度に複数枚のカメラ画像が取得されるが、いずれか１枚だけを用いて前述の推定処理を実行してもよいし、複数枚のカメラ画像を用いて前述の推定処理を実行してもよい。複数枚のカメラ画像を用いる場合には、個々のカメラ画像と対応するレンダリング画像との間の差分の総和を最小化する外力Ｆの大きさｆを推定すればよい。
【００８２】
前述の実施の形態では、単眼の撮像カメラ２０を用い、１つの方向から弾性体１を撮像しているが、複数の方向から弾性体１を撮像してもよい。複数の方向に対応するカメラ画像は、複数台の撮像カメラ２０を用いて一度に複数の方向から撮像してもよいし、１台の単眼の撮像カメラ２０を時間差で異なる方向から撮像してもよい。
【００８３】
前述の実験２では、λ＝０．０５を用いているが、外力Ｆの大きさｆが小さい場合には大きな値を用いて、外力Ｆの大きさｆの違いが評価に反映されやすくしてもよい。
前述の実験１及び２では、外力制約ｆ*のパラメータ数を削減するために外力Ｆの作用点Ｐａの候補点（制御点Ｐｃ）の数や固定点Ｐｆの位置を既知としているが、常にこれらの情報を必要とするわけではない。
【００８４】
前述の実施の形態においては、撮像カメラ２０を通じて静止画像を撮像することを前提に説明したが、撮像カメラ２０は弾性体１を動画像として撮像できる撮像手段であってもよい。この場合には、撮像された動画像からキャプチャされた静止画像を用いればよい。
【００８５】
実施の形態に係る情報処理装置１０は、様々な用途において活用できる。例えば医師による診断や手術を支援する医療支援システムに情報処理システム１００を活用できる他、医療分野以外の産業分野にも、観察や分析の用途にも、生産又は製造の用途にも活用できる。
【００８６】
例えば情報処理システム１００を医療支援システムとして活用する場合には、前述したように、視野が限られるために臓器の全体像を一度に観察できなくても、観察できる部位の部分画像（カメラ画像）を用いて、被検体である患者の臓器全体の局所変形を高精度に推定することができる。
【００８７】
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、請求の範囲の記載から明らかである。
【符号の説明】
【００８８】
１…弾性体、１０…情報処理装置、１００…情報処理システム、１１１…メッシュモデル生成部、１１２…変形部、１１３…レンダリング部、１１４…最適化部、１１５…表現部、２００、２００Ａ…メッシュモデル、Ｆ…外力、ｆ…外力の大きさ、Ｐａ…作用点、Ｐｃ…制御点、Ｐｆ…固定点
【図１】
2018131416.tif 000011
【図２】
2018131416.tif 000012
【図３】
2018131416.tif 000013
【図４】
2018131416.tif 000014
【図５】
2018131416.tif 000015
【図６】
2018131416.tif 000016
【図７】
2018131416.tif 000017
【図８】
2018131416.tif 000018
【図９】
2018131416.tif 000019
【図１０】
2018131416.tif 000020
【図１１】
2018131416.tif 000021
【図１２】
2018131416.tif 000022
【図１３】
2018131416.tif 000023
【図１４】
2018131416.tif 000024
【図１５】
2018131416.tif 000025
【図１６】
2018131416.tif 000026
【図１７】
2018131416.tif 000027
【図１８】
2018131416.tif 000028
【国際調査報告】
2018131416.tif 000029
2018131416.tif 000030