(57)【要約】【課題】リアルタイムに被写体に関する仮想的な構造を視認できる。【解決手段】画像取得部３０が、カメラにより撮影された、被写体となる対象を表す画像を取得し、相対関係取得部２３２が、カメラと、画像に写る対象との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測し、内部構造生成部３４が、計測された相対関係と、予め定められた内部構造モデルとに基づいて、カメラから見た対象における内部構造を表す内部構造画像５を生成し、画像合成部３６が、取得された画像上に、生成された内部構造画像５を重畳するように合成し、表示部３８が、合成された画像を表示する。【選択図】図９
2018088172.tif 000002
【特許請求の範囲】
【請求項１】
カメラを備え、かつ、可搬性を有する情報処理端末であって、
前記カメラにより撮影された、被写体となる対象を表す画像を取得する画像取得部と、
前記カメラと、前記画像に写る前記対象との、撮影時点における相対的な位置及び姿勢を含む相対関係を取得する相対関係取得部と、
前記取得された前記相対関係と、予め定められた内部構造モデルとに基づいて、前記カメラから見た前記対象における内部構造を表す内部構造画像を生成する内部構造生成部と、
前記画像取得部によって取得された画像上に、前記生成された内部構造画像を重畳するように合成する画像合成部と、
前記画像合成部によって合成された画像を表示する表示部と、
を含む情報処理端末。
【請求項２】
前記対象を生体の部位とし、
前記相対関係は、前記生体の部位に付与された３箇所以上の反射マーカを撮影したステレオ画像から求められる、前記生体の部位の位置及び姿勢と、前記情報処理端末に付与された３箇所以上の反射マーカを撮影したステレオ画像から求められる、前記情報処理端末の位置及び姿勢とから計測される請求項１に記載の情報処理端末。
【請求項３】
前記対象を生体の部位とし、
前記相対関係は、前記生体の部位に取り付けられた慣性センサのセンサデータから求められる、前記生体の部位の位置及び姿勢と、前記情報処理端末に取り付けられた慣性センサのセンサデータから求められる、前記情報処理端末の位置及び姿勢とから計測される請求項１に記載の情報処理端末。
【請求項４】
前記対象を生体の部位とし、
前記相対関係は、前記情報処理端末に取り付けられた測距センサのセンサデータから求められる請求項１に記載の情報処理端末。
【請求項５】
前記対象を生体の部位とし、
前記相対関係は、測距センサのセンサデータから求められる、前記生体の部位の位置及び姿勢と、前記測距センサのセンサデータから求められる、前記情報処理端末の位置及び姿勢とから計測される請求項１に記載の情報処理端末。
【請求項６】
前記画像取得部は、前記カメラにより前記生体を撮影した動画像のフレーム画像の各々を取得し、
前記相対関係取得部は、前記フレーム画像の各々に対し、前記相対関係を取得し、
前記内部構造生成部は、前記フレーム画像の各々に対し、前記取得された前記相対関係と、予め定められた内部構造モデルとに基づいて、前記内部構造画像を生成し、
前記画像合成部は、前記フレーム画像の各々に対し、前記フレーム画像上に、前記生成された内部構造画像を重畳するように合成する請求項２〜請求項４の何れか１項に記載の情報処理端末。
【請求項７】
カメラを備え、かつ、可搬性を有する情報処理端末であって、
前記カメラにより撮影された、被写体となる対象を表す画像を取得する画像取得部と、
前記カメラと、前記画像に写る前記対象との、撮影時点における相対的な位置及び姿勢を含む相対関係を取得する相対関係取得部と、
前記取得された前記相対関係と、予め定められた外部構造モデルとに基づいて、前記カメラから見た前記対象における外部構造を表す外部構造画像を生成する外部構造生成部と、
前記画像取得部によって取得された画像上に、前記生成された外部構造画像を重畳するように合成する画像合成部と、
前記画像合成部によって合成された画像を表示する表示部と、
を含む情報処理端末。
【請求項８】
カメラを備え、かつ、可搬性を有する情報処理端末であって、前記カメラにより撮影された、被写体となる対象を表す画像を取得する画像取得部を含む情報処理端末と、
前記カメラと、前記画像に写る前記対象との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測する相対関係計測部、及び
前記計測された前記相対関係と、予め定められた内部構造モデルとに基づいて、前記カメラから見た前記対象における内部構造を表す内部構造画像を生成する内部構造生成部を含む画像生成装置と、
を含み、
前記情報処理端末は、
前記画像取得部によって取得された画像上に、前記画像生成装置によって生成された内部構造画像を重畳するように合成する画像合成部と、
前記画像合成部によって合成された画像を表示する表示部と、を更に含む
情報処理システム。
【請求項９】
可搬性を有する情報処理端末に備えられたカメラと、前記カメラにより撮影された、被写体となる対象を表す画像に写る前記対象との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測する相対関係計測部と、
前記計測された前記相対関係と、予め定められた内部構造モデルとに基づいて、前記カメラから見た前記対象における内部構造を表す内部構造画像を生成する内部構造生成部と、
を含む画像生成装置。
【請求項１０】
コンピュータを、請求項１〜請求項７のいずれか１項に記載の情報処理端末の各部として機能させるためのプログラム。
【請求項１１】
コンピュータを、請求項９に記載の画像生成装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理端末、情報処理システム、画像生成装置、及びプログラムに係り、特に、被写体の内部構造を視認するための情報処理端末、情報処理システム、画像生成装置、及びプログラムに関する。
【背景技術】
【０００２】
生体を可視化するには、Ｘ線などのような医用画像を利用する必要がある。Ｘ線画像やＣＴは詳細に生体内部を可視化できるものの、被爆の問題がある。ＭＲＩは被爆の恐れはないものの、任意の運動に対して可視化できるわけではない。これはＯｐｅｎＭＲＩについても同様である。
【０００３】
Ｆｌｕｏｒｏｓｃｏｐｙ（フルオロスコピー）では、動作時の骨運動を計測することができるものの、Ｘ線画像による動画像であるため、被爆の問題を免れることはできない。また、計測空間に対して対象者が運動する部分のみ計測できるものであり、任意の視点を許すものではない。
【０００４】
一方、運動時の生体内を可視化する技術として、マジックミラー（非特許文献１）が挙げられる。これは、モーションキャプチャシステムで計測したヒトの運動から、筋肉の活動を可視化するものである。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「マジックミラー : デイリーヘルスケアをめざすロボット技術」URL: http://www.irt.i.u-tokyo.ac.jp/reform/090227/index.shtml(2016/10/19参照)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のモーションキャプチャシステムには、実際の映像上に筋肉の活動を表示することができるものの、始点は特定の位置に固定されたカメラから得られた画像に筋肉の画像を表示するにとどまっている。また上記のいずれの手法も、可視化情報を見る側（撮影側）と見せる側（表示側）とが別個のデバイスに分かれており、撮影時点の状態を見せる側でリアルタイムに撮影者自身が確認できるわけではない。また、従来技術では見る側の視点も拘束されており、コンピュータディスプレイのような固定されたモニタで確認することにとどまっていた。
【０００７】
また、上記のような生体内の構造に留まらず、例えば、ビル、インテリア、カバン、及び車等の構造物の内部を可視化するという技術は、既存のＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）やＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）などの技術の拡張に繋がり、有益である。
【０００８】
本発明は、上記事情を鑑みて成されたものであり、リアルタイムに被写体の仮想的な内部構造を視認できる情報処理端末、情報処理システム、画像生成装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明に係る情報処理端末は、カメラを備え、かつ、可搬性を有する情報処理端末であって、前記カメラにより撮影された、被写体となる対象を表す画像を取得する画像取得部と、前記カメラと、前記画像に写る前記対象との、撮影時点における相対的な位置及び姿勢を含む相対関係を取得する相対関係取得部と、前記取得された前記相対関係と、予め定められた内部構造モデルとに基づいて、前記カメラから見た前記対象における内部構造を表す内部構造画像を生成する内部構造生成部と、前記画像取得部によって取得された画像上に、前記生成された内部構造画像を重畳するように合成する画像合成部と、前記画像合成部によって合成された画像を表示する表示部と、を含んで構成されている。
【００１０】
また、第１の発明に係る情報処理端末において、前記対象を生体の部位とし、前記相対関係は、前記生体の部位に付与された３箇所以上の反射マーカを撮影したステレオ画像から求められる、前記生体の部位の位置及び姿勢と、前記情報処理端末に付与された３箇所以上の反射マーカを撮影したステレオ画像から求められる、前記情報処理端末の位置及び姿勢とから計測されるようにしてもよい。
【００１１】
また、第１の発明に係る情報処理端末において、前記対象を生体の部位とし、前記相対関係は、前記生体の部位に取り付けられた慣性センサのセンサデータから求められる、前記生体の部位の位置及び姿勢と、前記情報処理端末に取り付けられた慣性センサのセンサデータから求められる、前記情報処理端末の位置及び姿勢とから計測されるようにしてもよい。
【００１２】
また、第１の発明に係る情報処理端末において、前記対象を生体の部位とし、前記相対関係は、前記情報処理端末に取り付けられた測距センサのセンサデータから求められるようにしてもよい。
【００１３】
また、第１の発明に係る情報処理端末において、前記対象を生体の部位とし、前記相対関係は、測距センサのセンサデータから求められる、前記生体の部位の位置及び姿勢と、前記測距センサのセンサデータから求められる、前記情報処理端末の位置及び姿勢とから計測されるようにしてもよい。
【００１４】
また、第１の発明に係る情報処理端末において、前記画像取得部は、前記カメラにより前記生体を撮影した動画像のフレーム画像の各々を取得し、前記相対関係取得部は、前記フレーム画像の各々に対し、前記相対関係を取得し、前記内部構造生成部は、前記フレーム画像の各々に対し、前記取得された前記相対関係と、予め定められた内部構造モデルとに基づいて、前記内部構造画像を生成し、前記画像合成部は、前記フレーム画像の各々に対し、前記フレーム画像上に、前記生成された内部構造画像を重畳するように合成するようにしてもよい。
【００１５】
第２の発明に係る情報処理端末はカメラを備え、かつ、可搬性を有する情報処理端末であって、前記カメラにより撮影された、被写体となる対象を表す画像を取得する画像取得部と、前記カメラと、前記画像に写る前記対象との、撮影時点における相対的な位置及び姿勢を含む相対関係を取得する相対関係取得部と、前記取得された前記相対関係と、予め定められた外部構造モデルとに基づいて、前記カメラから見た前記対象における外部構造を表す外部構造画像を生成する外部構造生成部と、前記画像取得部によって取得された画像上に、前記生成された外部構造画像を重畳するように合成する画像合成部と、前記画像合成部によって合成された画像を表示する表示部と、を含んで構成されている。
【００１６】
また、第３の発明に係る情報処理システムは、カメラを備え、かつ、可搬性を有する情報処理端末であって、前記カメラにより撮影された、被写体となる対象を表す画像を取得する画像取得部を含む情報処理端末と、前記カメラと、前記画像に写る前記対象との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測する相対関係計測部、及び前記計測された前記相対関係と、予め定められた内部構造モデルとに基づいて、前記カメラから見た前記対象における内部構造を表す内部構造画像を生成する内部構造生成部を含む画像生成装置と、を含み、前記情報処理端末は、前記画像取得部によって取得された画像上に、前記画像生成装置によって生成された内部構造画像を重畳するように合成する画像合成部と、前記画像合成部によって合成された画像を表示する表示部と、を更に含んで構成されている。
【００１７】
また、第４の発明に係る画像生成装置は、可搬性を有する情報処理端末に備えられたカメラと、前記カメラにより撮影された、被写体となる対象を表す画像に写る前記対象との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測する相対関係計測部と、
前記計測された前記相対関係と、予め定められた内部構造モデルとに基づいて、前記カメラから見た前記対象における内部構造を表す内部構造画像を生成する内部構造生成部と、を含んで構成されている。
【００１８】
第５の発明に係るプログラムは、コンピュータを、第１及び第２の発明に係る情報処理端末の各部として機能させるためのプログラムである。
【発明の効果】
【００１９】
本発明の情報処理端末、情報処理システム、画像生成装置、及びプログラムによれば、カメラを備え、かつ、可搬性を有する情報処理端末であって、カメラにより撮影された、被写体となる対象を表す画像を取得し、カメラと、画像に写る対象との、撮影時点における相対的な位置及び姿勢を含む相対関係を取得し、取得された相対関係と、予め定められた内部構造モデルとに基づいて、カメラから見た対象における内部構造を表す内部構造画像を生成し、取得された画像上に、生成された内部構造画像を重畳するように合成し、合成された画像を表示することにより、リアルタイムに被写体に関する仮想的な構造を視認できる、という効果が得られる。
【００２０】
また、本発明の情報処理端末、及びプログラムによれば、カメラを備え、かつ、可搬性を有する情報処理端末であって、カメラにより撮影された、被写体となる対象を表す画像を取得し、カメラと、画像に写る対象との、撮影時点における相対的な位置及び姿勢を含む相対関係を取得し、取得された相対関係と、予め定められた外部構造モデルとに基づいて、カメラから見た対象における外部構造を表す外部構造画像を生成し、取得された画像上に、生成された外部構造画像を重畳するように合成し、合成された画像を表示することにより、リアルタイムに被写体に関する仮想的な構造を視認できる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施の形態に係る情報処理システムの構成を示すブロック図である。
【図２】情報処理端末を使用者自身の部位にかざした場合の、生体内構造が合成された画像の表示例を示す図である。
【図３】情報処理端末を他者にかざした場合の、生体内構造が合成された画像の表示例を示す図である。
【図４】本発明の第１の実施の形態に係る情報処理システムにおける情報処理ルーチンを示すフローチャートである。
【図５】本発明の第１の実施の形態に係る情報処理システムにおける画像生成処理ルーチンを示すフローチャートである。
【図６】本発明の第２の実施の形態に係る情報処理システムの構成を示すブロック図である。
【図７】本発明の第２の実施の形態に係る情報処理システムにおける情報処理ルーチンを示すフローチャートである。
【図８】本発明の第２の実施の形態に係る情報処理システムにおける画像生成処理ルーチンを示すフローチャートである。
【図９】本発明の第３の実施の形態に係る情報処理端末の構成を示すブロック図である。
【図１０】本発明の第３及び第４の実施の形態に係る情報処理端末における情報処理ルーチンを示すフローチャートである。
【図１１】本発明の第４の実施の形態に係る情報処理端末の構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２３】
＜本発明の実施の形態に係る概要＞
【００２４】
まず、本発明の実施の形態における概要を説明する。
【００２５】
上記課題を解決するために、タブレット型端末などの表示デバイスを伴った情報処理端末を被写体にかざすことで、被写体となる対象における内部構造の仮想的な可視化、すなわちバーチャルフルオロスコピーを実現する。本発明の実施の形態では、対象を生体の部位とし、生体内構造を仮想的に可視化する場合を例に説明する。
【００２６】
生体内構造の可視化を実現するために、可視化する対象となる被写体に対する情報処理端末の相対的な位置及び姿勢を取得し、情報処理端末のカメラから見える画像上に生体内構造を重ね合わせることで、仮想的な可視化を実現する。被写体及び情報処理端末の位置及び姿勢を取得し、情報処理端末の表示デバイスを視点とした時の被写体の生体内構造（骨や筋肉）を生成する。並行して、情報処理端末から見た被写体の画像を取得しておく。そして、取得した画像上に、生成した生体内構造を重ね合わせて表示デバイス上に描画する。これにより、情報処理端末の使用者は、情報処理端末をかざした被写体の生体内構造を仮想的に見ることができる。
【００２７】
以下、第１〜第３の実施の形態では、相対的な位置及び姿勢の取得に関して、それぞれ異なる手法を用いる場合について説明する。第１の実施の形態では、反射マーカ型モーションキャプチャシステムを用いる。第２の実施の形態では、慣性センサ型計測システムを用いる。第３の実施の形態では、測距システムを用いる。
【００２８】
また、第４の実施の形態では、測距システムを用いて、被写体に関する外部構造を重畳する場合について説明する。
【００２９】
＜本発明の第１の実施の形態に係る情報処理システムの構成＞
【００３０】
次に、本発明の第１の実施の形態に係る情報処理システムの構成について説明する。図１に示すように、本発明の第１の実施の形態に係る情報処理システム１は、ＣＰＵと、ＲＡＭと、後述する情報処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この情報処理システム１は、機能的には図１に示すように、カメラ２０を備え、かつ、可搬性を有する情報処理端末２と、画像生成装置３と、ネットワーク４と、外部カメラ１０とから構成されている。
【００３１】
外部カメラ１０は、複数のカメラから構成されており、被写体の部位の複数箇所及び情報処理端末２の複数箇所に付与された反射マーカによって、被写体の各部位の位置姿勢及び情報処理端末２の位置姿勢を計測するためのステレオ画像を撮影し、ネットワーク４を介して画像生成装置３に送信する。複数のカメラの位置及び向き（姿勢）は予め既知であり、レンズの歪み等は補正されているものとする。
【００３２】
ここで、計測の原理について説明する。複数のカメラにより、三角測量の原理に基づいて、複数枚のカメラ画像から反射マーカの３次元位置を取得できる。また、計測環境に依るが、一般的に反射マーカの計測精度は高く、0.1〜10mm程度で計測が可能である。
【００３３】
身体の３次元の位置及び姿勢を計測するには、関節で区切られた生体の部位（身体節）を剛体とみなして計測する必要がある。原理上、３箇所以上の反射マーカを貼付していれば一つの部位（例えば、右大腿）の位置及び姿勢を計測することができる。この反射マーカは身体のどこの部位に貼付しておいても問題ないが、解剖学的特徴点との対応を取る必要がある。このような対応をとることで、節の長さや屈曲の軸などが定義可能となる。そのため、計測と特徴点との対応を同時に行う意味から、関節位置や骨の突起などに貼付することが望ましい。なお、身体の内側など計測が難しい箇所の場合には、この限りではない。
【００３４】
上記のように生体の部位に付与された反射マーカを計測することで、部位の座標系を定義できる。これは身体に固定されたｘ−ｙ−ｚ軸だと考えればよい。連接する部位の座標系が取得されると、座標系間を結びつける回転行列から関節角度を計算できる。
【００３５】
このように、部位の座標系を定義することにより、部位の３次元の位置及び姿勢を計測する。また、同様に、情報処理端末２の３次元の位置及び姿勢も計測する。
【００３６】
情報処理端末２は、カメラ２０と、画像取得部３０と、画像合成部３６と、表示部３８と、通信部４０とを備えている。
【００３７】
画像生成装置３は、生体内構造モデル２２と、相対関係計測部３２と、内部構造生成部３４と、通信部４２とを備えている。
【００３８】
カメラ２０は、被写体となる生体を表す画像を動画像で撮影する。
【００３９】
画像取得部３０は、カメラ２０により被写体となる生体を撮影した動画像のフレーム画像の各々を取得する。
【００４０】
相対関係計測部３２は、外部カメラ１０で撮影したステレオ画像に基づいて、フレーム画像の各々に対し、情報処理端末２のカメラ２０と、フレーム画像に写る生体の部位との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測する。相対関係は、具体的には、生体の部位に付与された３箇所以上の反射マーカ、及び情報処理端末２に付与された３箇所の反射マーカを外部カメラ１０で撮影したステレオ画像から求められる、生体の部位の３次元の位置及び姿勢と、情報処理端末２のカメラ２０の３次元の位置及び姿勢とに基づいて計測する。なお、本実施の形態では、反射マーカは情報処理端末２に対し３箇所に付与したが、３箇所以上付与してもよい。
【００４１】
生体内構造モデル２２は、研究目的のために市販されているCTやMRIの生体内の形状データを用いる。一般的な形状データは、あくまでも参考に作られた形状データであることが多いため、精度などの点で問題があるが、研究目的のCTやMRIのデータであれば、筋肉や骨の形状を取得することが可能である。なお、骨や筋肉などの生体内構造の取得において、医用画像を用いる方法も可能である。医用画像(CT、MRI)の場合、3次元データであり、また骨や筋肉を可視化することができる。また、被写体本人のデータであるため、スケーリングなどは行う必要がない。なお、生体内構造モデル２２が内部構造モデルの一例である。
【００４２】
内部構造生成部３４は、フレーム画像の各々に対し、相対関係計測部３２で計測された相対関係と、生体内構造モデル２２とに基づいて、カメラ２０から生体内構造モデル２２を見たと仮定した場合の、当該フレーム画像に写る生体の部位における生体内構造を表す生体内構造画像５を生成し、通信部４２を介して、情報処理端末２に送信する。生体内構造モデル２２の形状データを、フレーム画像における個別の被写体に適応させるためには、スケーリングを行えばよい。幾何学的には、縦・幅・奥行きの情報がわかればスケーリングが可能であり、生体の場合には解剖学的特徴点が一致するように縮尺すればよい。なお、生体内構造画像５が内部構造画像の一例である。
【００４３】
画像合成部３６は、フレーム画像の各々に対し、当該フレーム画像上に、通信部４０で受信した生体内構造画像５を重畳するように合成する。
【００４４】
表示部３８は、フレーム画像の各々に対し、画像合成部３６で合成された画像を表示デバイス上に表示する。
【００４５】
図２に情報処理端末２を使用者自身の部位にかざした場合の、生体内構造が合成された画像の表示例を示す。図３に情報処理端末２を他者にかざした場合の、生体内構造が合成された画像の表示例を示す。図２及び図３の表示例は、上腕から前腕の生体内構造を可視化したものである。この表示例の場合には、生体に対する反射マーカは、生体の橈骨茎状突起、尺骨茎状突起、筋腹総指伸筋、外側上顆、内側上顆、背側大結節、小結節、及び腹側小結節に貼り付けている。
【００４６】
＜本発明の第１の実施の形態に係る情報処理システムの作用＞
【００４７】
次に、本発明の第１の実施の形態に係る情報処理システム１の情報処理端末２及び画像生成装置３の作用について説明する。まず、情報処理端末２の作用について説明する。情報処理端末２は処理を開始すると、図４に示す情報処理ルーチンを実行する。
【００４８】
まず、ステップＳ１００では、画像取得部３０は、情報処理端末２のカメラ２０で被写体となる生体を撮影したフレーム画像を取得する。
【００４９】
次に、ステップＳ１０２では、通信部４０を介して、画像生成装置３の内部構造生成部３４で生成された生体内構造画像５を受信する。
【００５０】
ステップＳ１０４では、画像合成部３６は、フレーム画像上に、ステップＳ１０２で受信した生体内構造画像５を重畳するように合成する。
【００５１】
ステップＳ１０６では、表示部３８は、ステップＳ１０４で合成された画像を表示デバイス上に表示する。以上のステップＳ１００〜Ｓ１０６の処理を繰り返すことで、情報処理端末２は、生体内構造を合成した画像を動画像として表示する。
【００５２】
次に、画像生成装置３の作用について説明する。画像生成装置３は処理を開始すると、図５に示す情報処理ルーチンを実行する。
【００５３】
ステップＳ１１０では、外部カメラ１０で撮影したステレオ画像を取得する。
【００５４】
ステップＳ１１２では、相対関係計測部３２は、ステップＳ１１０で取得したステレオ画像に基づいて、情報処理端末２のカメラ２０と、フレーム画像に写る生体の部位との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測する。
【００５５】
ステップＳ１１４では、内部構造生成部３４は、ステップＳ１１２で計測された相対関係と、生体内構造モデル２２とに基づいて、カメラ２０から生体内構造モデル２２を見たと仮定した場合の、フレーム画像に写る生体の部位における生体内構造を表す生体内構造画像５を生成し、通信部４２を介して、情報処理端末２に送信する。内部構造生成部３は、以上のステップＳ１１０〜Ｓ１１４の処理を繰り返す。
【００５６】
以上説明したように、本発明の第１の実施の形態に係る情報処理システムによれば、カメラを備え、かつ、可搬性を有する情報処理端末であって、カメラにより撮影された、被写体となる生体を表す画像を取得する画像取得部を含む情報処理端末と、ステレオ画像を撮影する外部カメラと、ステレオ画像に基づいて、カメラと画像に写る生体の部位との撮影時点における相対的な位置及び姿勢を含む相対関係を計測する相対関係計測部、及び計測された相対関係と予め定められた生体内構造モデルとに基づいて、カメラから見た生体の部位における生体内構造を表す生体内構造画像５を生成する内部構造生成部を含む画像生成装置と、を含み、情報処理端末は、画像取得部によって取得された画像上に、画像生成装置によって生成された生体内構造画像５を重畳するように合成する画像合成部と、画像合成部によって合成された画像を表示する表示部とを更に含むように構成することにより、リアルタイムに被写体の仮想的な生体内構造を視認できる。
【００５７】
＜本発明の第２の実施の形態に係る情報処理システムの構成＞
【００５８】
次に、本発明の第２の実施の形態に係る情報処理システムの構成について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【００５９】
第１の実施の形態で用いた反射マーカ型モーションキャプチャシステムでは、反射マーカの運動を計測しているのであって、反射マーカを付与した部位がどのような部位であるのかについての理解は、システムの使用者側に委ねられていた。これに対して、第２の実施の形態で用いる慣性センサ型計測システムは加速度やジャイロセンサの組み合わせにより構築されており、センサそのものの位置と向きが計測される。身体に取り付けた場合、その部位が剛体運動をしているという前提で計測が行わる。慣性センサ型計測システムでは、センサそのものが座標系を有することになる。このため、慣性センサと部位との対応を取る必要がある。市販の慣性センサの場合、部位との対応、特に関節位置などについては、使用前に予め設定する必要がある。
【００６０】
図６に示すように、情報処理システム１０１は、機能的には、カメラ２０を備え、かつ、可搬性を有する情報処理端末１０２と、画像生成装置３と、ネットワーク４と、被写体となる生体の部位に取り付けられた慣性センサ１０５とから構成されている。
【００６１】
慣性センサ１０５は、センサ部１５０と、通信部１４４とから構成されている。
【００６２】
情報処理端末１０２は、カメラ２０と、画像取得部３０と、画像合成部３６と、表示部３８と、通信部４０と、センサ部１５２とを備えている。
【００６３】
センサ部１５０は、被写体となる生体の部位の加速度及び角加速度を含むセンサデータを計測し、通信部１４４を介して、画像生成装置３に送信する。
【００６４】
センサ部１５２は、情報処理端末１０２の加速度及び角加速度を含むセンサデータを計測し、通信部４０を介して、画像生成装置３に送信する。
【００６５】
第２の実施の形態の相対関係計測部３２は、通信部４２から受信した生体のセンサデータと、センサ部１５２で取得した情報処理端末１０２のセンサデータとに基づいて、フレーム画像の各々に対し、情報処理端末１０２のカメラ２０の３次元の位置及び姿勢と、生体の部位の３次元の位置及び姿勢とを算出し、情報処理端末１０２のカメラ２０と生体の部位との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測する。
【００６６】
第２の実施の形態の他の構成については、第１の実施の形態と同様であるため詳細な説明を省略する。
＜本発明の第２の実施の形態に係る情報処理システムの作用＞
【００６７】
次に、本発明の第２の実施の形態に係る情報処理システム１０１の情報処理端末１０２及び画像生成装置３の作用について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【００６８】
まず、情報処理端末１０２の作用について説明する。情報処理端末１０２は処理を開始すると、図７に示す情報処理ルーチンを実行する。
【００６９】
まず、ステップＳ２００では、センサ部１５２によって計測された、情報処理端末１０２の加速度及び角加速度を含むセンサデータを取得し、通信部４０を介して画像生成装置３に送信する。
【００７０】
情報処理端末１０２の他の作用については第１の実施の形態と同様であるため、詳細な説明を省略する。
【００７１】
次に、第２の実施の形態の画像生成装置３の作用について説明する。画像生成装置３は処理を開始すると、図８に示す画像生成処理ルーチンを実行する。
【００７２】
ステップＳ２１０では、慣性センサ１０５のセンサ部１５０によって計測された、被写体となる生体の部位の加速度及び角加速度を含むセンサデータを通信部４２を介して取得する。また、情報処理端末１０２のセンサ部１５２によって計測された、情報処理端末１０２の加速度及び角加速度を含むセンサデータを通信部４２を介して取得する。
【００７３】
ステップＳ２１２では、相対関係計測部３２は、ステップＳ２１０で取得した、生体のセンサデータと、情報処理端末１０２のセンサデータとに基づいて、情報処理端末１０２のカメラ２０と、生体の部位の３次元の位置及び姿勢とを算出し、情報処理端末１０２のカメラ２０と生体の部位との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測する。
【００７４】
第２の実施の形態の画像生成装置３の他の作用については第１の実施の形態と同様であるため、詳細な説明を省略する。
【００７５】
以上説明したように、本発明の第２の実施の形態に係る情報処理システムによれば、カメラを備え、かつ、可搬性を有する情報処理端末であって、カメラにより撮影された、被写体となる生体を表す画像を取得する画像取得部を含む情報処理端末と、センサデータに基づいて、カメラと画像に写る生体の部位との撮影時点における相対的な位置及び姿勢を含む相対関係を計測する相対関係計測部、及び計測された相対関係と予め定められた生体内構造モデルとに基づいて、カメラから見た生体の部位における生体内構造を表す生体内構造画像５を生成する内部構造生成部を含む画像生成装置と、を含み、情報処理端末は、画像取得部によって取得された画像上に、画像生成装置によって生成された生体内構造画像５を重畳するように合成する画像合成部と、画像合成部によって合成された画像を表示する表示部とを更に含むように構成することにより、リアルタイムに被写体の仮想的な生体内構造を視認できる。
【００７６】
＜本発明の第３の実施の形態に係る情報処理端末の構成＞
【００７７】
次に、本発明の第３の実施の形態に係る情報処理端末の構成について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【００７８】
第３の実施の形態では、レーザなどの測距センサを用いて、対象までの距離を測る手法であり、面内の奥行き情報を計測することで３次元形状の取得が可能となる。測距するシステムにはいくつか手法があるが、測距センサの計測器としてはKinect（Ｒ）などが上げられる。
【００７９】
測距センサにより生体の形状を取得することで、被写体の位置や向きを計測することが可能となるが、必ずブラインドが生じるため、完全な３次元形状を取得できるわけではない。このため、被写体の位置及び姿勢を合わせるには、特徴的な形を認識させるか、予め取得しておいた形状をマッチングさせる必要がある。いずれの手法であっても、被写体の座標系を構築することが可能である。本実施の形態では、情報処理端末に測距センサを取り付けた場合について説明するが、情報処理端末と被写体の周囲に外部の測距センサを設けて情報処理端末と被写体の各々の位置及び姿勢を計測するようにしてもよい。
【００８０】
図９に示すように、情報処理端末２０２は、機能的には、カメラ２０と、画像取得部３０と、画像合成部３６と、表示部３８と、測距センサ２５０と、相対関係取得部２３２と、生体内構造モデル２２と、内部構造生成部３４とを備えている。
【００８１】
測距センサ２５０は、生体の部位の３次元形状を含むセンサデータを計測する。
【００８２】
相対関係取得部２３２は、測距センサ２５０のセンサデータと、生体の部位の形状モデルとに基づいて、フレーム画像の各々に対し、情報処理端末２０２に対する相対的な生体の部位の３次元の位置及び姿勢を算出し、情報処理端末２０２のカメラ２０と、フレーム画像に写る生体の部位との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測する。なお、本実施の形態では、相対関係取得部２３２において相対関係を計測する場合を例に説明したが、これに限定されるものではなく、相対関係取得部２３２は、ネットワークを介して外部の装置で計測した相対関係を取得するようにしてもよい。
【００８３】
＜本発明の第３の実施の形態に係る情報処理端末の作用＞
【００８４】
次に、本発明の第３の実施の形態に係る情報処理端末２０２の作用について説明する。
【００８５】
処理を開始すると情報処理端末２０２は、図１０に示す情報処理ルーチンを実行する。
【００８６】
まず、ステップＳ３００では、情報処理端末２０２の測距センサ２５０によって計測された、生体の部位の３次元形状を含むセンサデータを取得する。
【００８７】
ステップＳ３０２では、画像取得部３０は、情報処理端末２０２のカメラ２０で被写体となる生体を撮影したフレーム画像を取得する。
【００８８】
ステップＳ３０４では、相対関係計測部２３２は、ステップＳ３００で取得した生体の部位の３次元形状を含むセンサデータと、生体の部位の形状モデルとに基づいて、情報処理端末２０２に対する相対的な生体の部位の３次元の位置及び姿勢を算出し、情報処理端末２０２のカメラ２０と、フレーム画像に写る生体の部位との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測する。
【００８９】
ステップＳ３０６では、内部構造生成部３４は、ステップＳ１１２で計測された相対関係と、生体内構造モデル２２とに基づいて、カメラ２０から生体内構造モデル２２を見たと仮定した場合の、フレーム画像に写る生体の部位における生体内構造を表す生体内構造画像５を生成する。
【００９０】
ステップＳ３０８では、画像合成部３６は、フレーム画像上に、ステップＳ３０６で生成した生体内構造画像５を重畳するように合成する。
【００９１】
ステップＳ３１０では、表示部３８は、ステップＳ３０８で合成された画像を表示デバイス上に表示する。以上のステップＳ３００〜Ｓ３１０の処理を繰り返すことで、情報処理端末２０２は、生体内構造を合成した画像を動画像として表示する。
【００９２】
以上説明したように、本発明の第３の実施の形態に係る情報処理端末によれば、カメラを備え、かつ、可搬性を有する情報処理端末であって、カメラにより撮影された、被写体となる生体を表す画像を取得し、カメラと、画像に写る生体の部位との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測し、計測された相対関係と、予め定められた生体内構造モデルとに基づいて、カメラから見た生体の部位における生体内構造を表す生体内構造画像５を生成し、取得された画像上に、生成された生体内構造画像５を重畳するように合成し、合成された画像を表示することにより、リアルタイムに被写体の仮想的な生体内構造を視認できる。
【００９３】
＜本発明の第４の実施の形態に係る情報処理端末の構成＞
【００９４】
次に、本発明の第４の実施の形態に係る情報処理端末の構成について説明する。なお、第３の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
【００９５】
第４の実施の形態では、被写体の外部構造を表す画像を生成して、撮影した画像に重畳する点が第３の実施の形態と異なっている。本実施の形態では被写体を構造物である施工中の建築物の部材とし、仮想的な建築物の完成形を外部構造画像として生成する場合を例に説明する。
【００９６】
図１１に示すように、情報処理端末３０２は、機能的には、カメラ２０と、画像取得部３０と、画像合成部３６と、表示部３８と、測距センサ３５０と、相対関係取得部３３２と、外部構造モデル３２２と、外部構造生成部３３４とを備えている。
【００９７】
測距センサ３５０は、施工中の建築部材の３次元形状を含むセンサデータを計測する。計測する建築部材は壁や柱といった建築物の３次元形状を把握できるものであればよい。
【００９８】
外部構造モデル３２２には、撮影対象となる建築物の設計図面から製作されたモデルを用いる。モデルは建築物の柱、壁や窓といった建築物の各部材を３次元形状でモデル化したものであれば、どのようなものを用いてもよい。また、建築物のモデルは、施工の途中から完成までの段階ごとのモデルとして保持しておき、段階的に提示できるようにしてもよい。
【００９９】
相対関係取得部３３２は、測距センサ２５０のセンサデータと、建築部材の形状モデルとに基づいて、フレーム画像の各々に対し、情報処理端末３０２に対する相対的な建築部材の３次元の位置及び姿勢を算出し、情報処理端末３０２のカメラ２０と、フレーム画像に写る建築部材との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測する。なお、本実施の形態では、相対関係取得部３３２において相対関係を計測する場合を例に説明したが、これに限定されるものではなく、相対関係取得部３３２は、ネットワークを介して外部の装置で計測した相対関係を取得するようにしてもよい。
【０１００】
外部構造生成部３３４は、フレーム画像の各々に対し、相対関係計測部２３２で計測された相対関係と、外部構造モデル３２２とに基づいて、カメラ２０から外部構造モデル３２２を見たと仮定した場合の、当該フレーム画像に写る建築部位から構成される建築物の完成系である外部構造を表す外部構造画像３０５を生成する。
【０１０１】
なお、第４の実施の形態の情報処理端末３０２の他の構成及び作用については第３の実施の形態と同様であるため、詳細な説明を省略する。
【０１０２】
以上説明したように、本発明の第４の実施の形態に係る情報処理端末によれば、カメラを備え、かつ、可搬性を有する情報処理端末であって、カメラにより撮影された、被写体となる部材を表す画像を取得し、カメラと、画像に写る部材との、撮影時点における相対的な位置及び姿勢を含む相対関係を計測し、計測された相対関係と、予め定められた外部構造モデルとに基づいて、カメラから見た部材における外部構造を表す外部構造画像３０５を生成し、取得された画像上に、生成された外部構造画像３０５を重畳するように合成し、合成された画像を表示することにより、リアルタイムに被写体に関する仮想的な外部構造を視認できる。
【０１０３】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１０４】
例えば、上述した第１及び第２の実施の形態では、画像生成装置が相対関係計測部、及び内部構造生成部を有し、画像生成装置において、相対関係を計測し、生体内構造を生成する場合を例に説明したが、これに限定されるものではなく、情報処理端末が相対関係計測部、及び内部構造生成部を有し、情報処理端末において、相対関係を計測し、生体内構造を生成するようにしてもよい。
【０１０５】
また、上述した第３の実施の形態では、相対関係取得部２３２が情報処理端末２０２のカメラ２０と、フレーム画像に写る生体の部位と相対関係を計測する場合を例に説明したが、これに限定されるものではなく、外部の計測装置によって計測された相対関係をネットワークを介して相対関係取得部２３２が取得するようにしてもよい。
【０１０６】
また、上述した第１〜第３の実施の形態では、被写体となる対象を生体の部位とした場合を例に説明したが、これに限定されるものではない。例えば、対象をビル、インテリア、カバン、及び車等の構造物としてもよく、この場合には、カメラと、構造物との相対関係を計測し、計測された相対関係と、構造物の内部構造モデルとに基づいて、内部構造画像を生成し、生成された内部構造画像を重畳するように合成するようにすればよい。
【０１０７】
また、上述した第４の実施の形態では、被写体となる対象を構造物である建築物の部材として、外部構造画像を生成する場合を例に説明したが、これに限定されるものではない。例えば、被写体の対象をインテリア、カバン、及び車等の他の構造物の部材としてもよい。また、内部構造画像を生成するようにしてもよい。また、第１〜第３の実施の形態のように被写体の対象を生体の部位としてもよく、この場合には、衣服やアクセサリーなどを外部構造画像として重畳することができる。
【０１０８】
また、上述した第４の実施の形態では、情報処理端末に、測距センサを設ける場合を例に説明したが、これに限定されるものではなく、上記第１の実施の形態のように、外部カメラと反射マーカを用いてもよいし、上記第２の実施の形態のように、情報処理端末と被写体とに慣性センサを設けてもよい。
【０１０９】
また、上述した第４の実施の形態において、被写体の構造物が固定されている場合には、例えば、ＧＰＳなどを活用して、座標位置を特定し、被写体との相対関係を取得して、内部又は外部構造画像を生成するようにしてもよい。
【０１１０】
また、上述した第１〜第４の実施の形態において、情報処理端末が備えたカメラにより撮影した画像に対して、生成した内部又は外部構造画像を重畳する場合について説明したが、これに限定されるものではない。例えば、情報処理端末以外のカメラにより、現時点よりも前の状態の被写体を写した画像を撮影し、被写体を撮影したカメラの位置及び姿勢から、情報処理端末から見えているであろう被写体の画像を作成して、生成した内部又は外部構造画像を重畳するようにしてもよい。このように事前に画像を取得しておくことで、現時点よりも前に撮影された被写体の状態と、情報処理端末のカメラで現時点において撮影された被写体の状態とを比較しながら、仮想的な構造を視認することが可能となる。
【符号の説明】
【０１１１】
１、１０１    情報処理システム
２、１０２、２０２、３０２  情報処理端末
３     画像生成装置
４     ネットワーク
５     生体内構造画像
１０   外部カメラ
２０   カメラ
２２   生体内構造モデル
３０   画像取得部
３２、２３２、３３２ 相対関係計測部
３４   内部構造生成部
３６   画像合成部
３８   表示部
４０、４２、１４４   通信部
１０５ 慣性センサ
１５０、１５２       センサ部
２３２ 相対関係取得部
２５０、３５０       測距センサ
３０５ 外部構造画像
３２２ 外部構造モデル
３３４ 外部構造生成部
【図１】
2018088172.tif 000003
【図２】
2018088172.tif 000004
【図３】
2018088172.tif 000005
【図４】
2018088172.tif 000006
【図５】
2018088172.tif 000007
【図６】
2018088172.tif 000008
【図７】
2018088172.tif 000009
【図８】
2018088172.tif 000010
【図９】
2018088172.tif 000011
【図１０】
2018088172.tif 000012
【図１１】
2018088172.tif 000013