(57)【特許請求の範囲】
【請求項１】
第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部と、
３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部と、
無限遠に対応する点が重なるように前記第１の右目用画像及び前記第１の左目用画像が配置される３次元仮想空間に、前記受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部と、
前記３次元オブジェクトの配置された３次元仮想空間において、前記第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び前記第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部と、
前記第２のステレオ画像を出力する出力部と、を備えた画像合成装置。
【請求項２】
前記第１のステレオ画像は、光軸が平行となるように配置された一対のカメラによって撮影されたものである、請求項１記載の画像合成装置。
【請求項３】
前記第１のステレオ画像は、光軸が交わるように配置された一対のカメラによって撮影されたものである、請求項１記載の画像合成装置。
【請求項４】
前記第１のステレオ画像、及び前記第２のステレオ画像は動画像である、請求項１から請求項３のいずれか記載の画像合成装置。
【請求項５】
前記３次元仮想空間に配置された前記第１の右目用画像及び前記第１の左目用画像から、前記第１のステレオ画像に含まれるオブジェクトの前記３次元仮想空間における位置を特定し、当該特定した位置と、前記３次元オブジェクトの位置との関係に関する判定を行う判定部をさらに備え、
前記出力部は、前記判定部による判定結果に関する出力をも行う、請求項１から請求項４のいずれか記載の画像合成装置。
【請求項６】
３次元仮想空間に配置される３次元オブジェクトの操作を受け付けるステップと、
第１のステレオ画像が有する第１の右目用画像及び第１の左目用画像が、無限遠に対応する点が重なるように配置される３次元仮想空間に、前記受け付けられた操作に応じた３次元オブジェクトを配置するステップと、
前記３次元オブジェクトの配置された３次元仮想空間において、前記第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び前記第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成するステップと、
前記第２のステレオ画像を出力するステップと、を備えた画像合成方法。
【請求項７】
第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部にアクセス可能なコンピュータを、
３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部、
無限遠に対応する点が重なるように前記第１の右目用画像及び前記第１の左目用画像が配置される３次元仮想空間に、前記受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部、
前記３次元オブジェクトの配置された３次元仮想空間において、前記第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び前記第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部、
前記第２のステレオ画像を出力する出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像と３次元オブジェクトとを合成する画像合成装置等に関する。
【背景技術】
【０００２】
従来、ヘッドマウントディスプレイ（ＨＭＤ）にステレオ画像を表示することによって、ＨＭＤを装着しているユーザに立体的な画像を提供することが行われている（例えば、特許文献１参照）。また、３次元仮想空間に３次元オブジェクトを配置し、任意の視点からの２次元の画像を生成するレンダリング処理などの３次元コンピュータグラフィックス（３ＤＣＧ）も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０２０−０７１７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ステレオ画像に３次元オブジェクトを適切に合成するための手法は知られていなかった。例えば、３ＤＣＧによって生成された１つの２次元の画像を、ステレオ画像に含まれる右目用画像及び左目用画像とそれぞれ合成した場合には、３次元オブジェクトが平面的に表示されることになるという問題があった。
【０００５】
本発明は、上記課題を解決するためになされたものであり、ステレオ画像に３次元オブジェクトを適切に合成するための画像合成装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様による画像合成装置は、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部と、３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部と、第１の右目用画像及び第１の左目用画像の配置される３次元仮想空間に、受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部と、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部と、第２のステレオ画像を出力する出力部と、を備えたものである。
【０００７】
このような構成により、ステレオ画像と３次元オブジェクトとを適切に合成することができる。すなわち、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの両方が立体的に表示される第２のステレオ画像を生成することができる。
【０００８】
また、本発明の一態様による画像合成装置では、３次元仮想空間では、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像が配置されてもよい。
【０００９】
このような構成により、例えば、第１のステレオ画像に含まれるオブジェクトと３次元オブジェクトとを重ねることなどが可能になる。
【００１０】
また、本発明の一態様による画像合成装置では、第１のステレオ画像は、光軸が平行となるように配置された一対のカメラによって撮影されたものであってもよい。
【００１１】
また、本発明の一態様による画像合成装置では、第１のステレオ画像は、光軸が交わるように配置された一対のカメラによって撮影されたものであってもよい。
【００１２】
また、本発明の一態様による画像合成装置では、第１のステレオ画像、及び第２のステレオ画像は動画像であってもよい。
【００１３】
このような構成により、例えば、第１のステレオ画像が手術の画像である場合に、その第１のステレオ画像に含まれる鉗子等の器具に、３次元オブジェクトである鉗子等の器具を重ねることができるようになり、初心者の術者が、経験豊富な術者の操作を仮想空間において真似ることができ、手術のトレーニングを行うことができるようになる。
【００１４】
また、本発明の一態様による画像合成装置では、３次元仮想空間に配置された第１の右目用画像及び第１の左目用画像から、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置を特定し、その特定した位置と、３次元オブジェクトの位置との関係に関する判定を行う判定部をさらに備え、出力部は、判定部による判定結果に関する出力をも行ってもよい。
【００１５】
このような構成により、例えば、３次元オブジェクトを操作しているユーザは、３次元オブジェクトを適切に操作できているかどうかについて知ることができるようになる。
【００１６】
また、本発明の一態様による画像合成方法は、３次元仮想空間に配置される３次元オブジェクトの操作を受け付けるステップと、第１のステレオ画像が有する第１の右目用画像及び第１の左目用画像の配置される３次元仮想空間に、受け付けられた操作に応じた３次元オブジェクトを配置するステップと、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成するステップと、第２のステレオ画像を出力するステップと、を備えたものである。
【発明の効果】
【００１７】
本発明の一態様による画像合成装置等によれば、ステレオ画像と３次元オブジェクトとを適切に合成することができるようになる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態による画像合成装置の構成を示すブロック図
【図２】同実施の形態による画像合成装置の動作を示すフローチャート
【図３】同実施の形態におけるステレオ画像の撮影について説明するための図
【図４Ａ】同実施の形態におけるステレオ画像の生成について説明するための図
【図４Ｂ】同実施の形態における合成後のステレオ画像の表示の一例を示す図
【図４Ｃ】同実施の形態における合成後のステレオ画像の表示の一例を示す図
【図５】同実施の形態における無限遠に対応する点について説明するための図
【図６Ａ】同実施の形態におけるステレオ画像の生成について説明するための図
【図６Ｂ】同実施の形態における合成後のステレオ画像の表示の一例を示す図
【図６Ｃ】同実施の形態におけるステレオ画像の生成について説明するための図
【図７Ａ】同実施の形態における無限遠に対応する点について説明するための図
【図７Ｂ】同実施の形態における無限遠に対応する点について説明するための図
【図８Ａ】同実施の形態における３次元仮想空間に配置されたステレオ画像及び３次元オブジェクトの一例を示す図
【図８Ｂ】同実施の形態における３次元仮想空間に配置されたステレオ画像及び３次元オブジェクトの一例を示す図
【図９】同実施の形態による画像合成装置の他の構成を示すブロック図
【図１０】同実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図１１】同実施の形態におけるコンピュータシステムの構成の一例を示す図
【発明を実施するための形態】
【００１９】
以下、本発明による画像合成装置、及び画像合成方法について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態による画像合成装置、及び画像合成方法は、３次元仮想空間に配置された第１のステレオ画像、及び３次元オブジェクトから、両者を合成した第２のステレオ画像を生成するものである。
【００２０】
図１は、本実施の形態による画像合成装置１の構成を示すブロック図である。本実施の形態による画像合成装置１は、記憶部１１と、受付部１２と、配置部１３と、生成部１４と、出力部１５とを備える。画像合成装置１は、例えば、パーソナル・コンピュータや、スマートフォン、タブレット端末などの汎用の装置であってもよく、または、ステレオ画像と３次元オブジェクトとの合成を行う専用の装置であってもよい。また、画像合成装置１は、例えば、スタンドアロンの装置であってもよく、または、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、受付部１２や出力部１５は、インターネット等の通信回線を介して入力を受け付けたり、情報を出力したりしてもよい。本実施の形態では、画像合成装置１がスタンドアロンの装置である場合について主に説明する。
【００２１】
記憶部１１では、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される。第１のステレオ画像は、例えば、動画像であってもよく、または、静止画像であってもよい。本実施の形態では、第１のステレオ画像が動画像である場合について主に説明する。第１のステレオ画像は、例えば、撮影された画像であってもよく、または、３ＤＣＧ等によって生成された画像であってもよい。本実施の形態では、第１のステレオ画像が撮影されたステレオ画像である場合について主に説明する。
【００２２】
なお、本実施の形態では、動画である第１のステレオ画像のすべてのデータが記憶部１１で記憶されている場合について主に説明するが、そうでなくてもよい。例えば、動画である第１のステレオ画像が画像合成装置１においてリアルタイムで受け付けられ、処理対象の一部のデータのみが記憶部１１に記憶されていてもよい。そのような場合であっても、動画である第１のステレオ画像を構成する各フレームは少なくとも一時的に記憶部１１で記憶されることになるため、第１のステレオ画像が記憶部１１で記憶されると言うことができる。
【００２３】
また、本実施の形態では、撮影画像である第１のステレオ画像が、光軸が平行となるように配置された一対のカメラによって撮影されたものである場合について主に説明し、光軸が交わるように配置された一対のカメラによって撮影されたものである場合については後述する。
【００２４】
記憶部１１に第１のステレオ画像が記憶される過程は問わない。例えば、記録媒体を介して第１のステレオ画像が記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された第１のステレオ画像が記憶部１１で記憶されるようになってもよく、または、撮影デバイス等から入力された第１のステレオ画像が記憶部１１で記憶されるようになってもよい。記憶部１１は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスク、光ディスクなどであってもよい。
【００２５】
受付部１２は、３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける。この操作は、例えば、３次元オブジェクトの姿勢、位置、形状等に関連する操作であってもよい。受付部１２で受け付けられる操作は、３次元仮想空間に配置された３次元オブジェクトの向き、位置、形状等に変化が生じる操作であれば、どのような操作であってもよい。３次元オブジェクトの形状に関する操作とは、例えば、３次元オブジェクトが手術で用いる鉗子である場合に、鉗子の先端を開けたり閉じたりする操作であってもよい。受付部１２は、例えば、画像合成装置１から後述する第２のステレオ画像が出力されるＶＲ（Virtual Reality）ヘッドセット（例えば、Ｏｃｕｌｕｓ  Ｑｕｅｓｔ  ２など）のコントローラ等から、３次元オブジェクトの操作を受け付けてもよく、ジョイスティックやマウスなどのその他の入力デバイスから３次元オブジェクトの操作を受け付けてもよい。なお、３次元オブジェクトの操作の受け付けは、例えば、加速度センサやジャイロセンサ等のセンサを用いて、３次元実空間における位置の変化、角度の変化を検出した結果の受け付けであってもよく、ボタン等の入力デバイスに対する入力の受け付けであってもよい。受付部１２は、通常、ＨＭＤ２や、ＶＲヘッドセットなどのコントローラ等の入力デバイスから、リアルタイムで３次元オブジェクトの操作を受け付ける。受付部１２は、入力デバイスや通信回線等を介して、３次元オブジェクトの操作を受け付けてもよい。なお、受付部１２は、受け付けを行うためのデバイス（例えば、入力デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。また、受付部１２は、ハードウェアによって実現されてもよく、または所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２６】
配置部１３は、第１の右目用画像及び第１の左目用画像の配置される３次元仮想空間に、受付部１２によって受け付けられた操作に応じた３次元オブジェクトを配置する。３次元オブジェクトは、受け付けられた操作に応じて位置や姿勢、形状等が変化するため、配置部１３は、その操作に応じて、３次元仮想空間上の３次元オブジェクトを変化させることになる。配置部１３による３次元オブジェクトの配置は、受付部１２によって受け付けられた操作に応じて行われるため、例えば、操作が継続して受け付けられている場合には、３次元仮想空間における３次元オブジェクトの配置も継続して変化することになる。３次元仮想空間に配置された３次元オブジェクトを操作に応じて配置する方法はすでに公知であり、その詳細な説明を省略する。なお、３次元仮想空間に配置された３次元オブジェクトの情報は、例えば、記憶部１１で記憶されてもよい。
【００２７】
なお、３次元仮想空間における、第１のステレオ画像が有する第１の右目用画像及び第１の左目用画像の配置位置と、右目用視点及び左目用視点との関係は、通常、あらかじめ決まっている。両者の具体的な関係については後述するが、例えば、（Ａ）第１の右目用画像及び第１の左目用画像は、平行な視線方向の前方側に配置されてもよい。また、例えば、（Ｂ）第１の右目用画像及び第１の左目用画像配置は、無限遠に対応する点が重なるように配置されてもよい。
【００２８】
通常、３次元オブジェクトは、第１のステレオ画像と、視点との間に配置される。３次元オブジェクトと視点との間に第１のステレオ画像が存在するようになると、レンダリング後の第２のステレオ画像に３次元オブジェクトが含まれなくなるからである。
【００２９】
生成部１４は、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する。すなわち、第２の右目用画像を生成する際には、３次元仮想空間において第１の右目用画像を表示し、第１の左目用画像を表示しないことが好適である。また、第２の左目用画像を生成する際には、３次元仮想空間において第２の右目用画像を表示し、第２の左目用画像を表示しないことが好適である。なお、第２の右目用画像に第１の左目用画像が入らないのであれば、右目用視点を用いたレンダリング時に、第１の左目用画像が表示されていてもよい。左目用視点を用いたレンダリング時にも同様である。第２のステレオ画像は、第１のステレオ画像に含まれる立体的に表示されるオブジェクト、及び３次元オブジェクトが、第２のステレオ画像においても立体的に表示されるように生成されることが好適である。また、レンダリング時の画角は、例えば、第１のステレオ画像を撮影したカメラの画角と同じにしてもよく、または、異なっていてもよい。
【００３０】
３次元仮想空間における右目用視点及び左目用視点の各位置は、例えば、あらかじめ決まっていてもよく、または、リアルタイムに変更されてもよい。後者の場合には、例えば、ＨＭＤ２の位置や向きに応じて右目用視点及び左目用視点の各位置が変更されてもよい。また、視点の変更に応じて、３次元仮想空間における第１のステレオ画像の配置も変更されてもよい。通常、視点の位置と、第１の右目用画像及び第１の左目用画像の配置される位置との相対的な関係はあらかじめ決まっているからである。なお、ＨＭＤ２の位置や向きに応じた視点の変更についてはすでに公知であり、その詳細な説明を省略する。また、視線方向は、それぞれ対応する画像の中心を向いていることが好適である。例えば、右目用視点の視線方向は、右目用画像の中心を向いていることが好適である。本実施の形態では、説明の便宜上、右目用視点及び左目用視点の各視線方向が水平方向である場合について主に説明するが、各視線方向は、水平以外の方向であってもよいことは言うまでもない。
【００３１】
第１のステレオ画像が動画像である場合には、その動画像の各フレームと、３次元オブジェクトとを合成した第２のステレオ画像が生成されることになるため、第２のステレオ画像も動画像となる。この場合には、例えば、３次元仮想空間において、第１のステレオ画像が再生され、また、受け付けられた操作に応じて３次元オブジェクトの配置が変更され、再生されている第１のステレオ画像、及び操作に応じて変更される３次元オブジェクトを含む第２のステレオ画像が生成されてもよい。また、第２のステレオ画像が有する第２の右目用画像及び第２の左目用画像において、第１のステレオ画像の枠（すなわち、外縁）が表示されてもよく、または、そうでなくてもよい。後者の場合には、第１の右目用画像（または、第１の左目用画像）の枠が、第２の右目用画像（または、第２の左目用画像）の枠となるように第２のステレオ画像が生成されてもよい。
【００３２】
なお、配置部１３、及び生成部１４は、例えば、Ｕｎｉｔｙ（Unity Technologies社）などのリアルタイム３Ｄ開発プラットフォームを用いて実現することもできる。図８Ａ、図８Ｂは、Ｕｎｉｔｙの３次元仮想空間に配置された、第１のステレオ画像と、３次元オブジェクトである手術用の鉗子とを示す図である。図８Ａでは、第１の右目用画像と第１の左目用画像との位置をずらして配置している。例えば、上記（Ａ）の場合には、このように配置されることになる。なお、本来、両画像は同一平面内に存在するが、説明のため両者を少しずらしている。図８Ｂでは、第１の右目用画像及び第１の左目用画像を重ねて配置している。例えば、上記（Ｂ）の場合には、このように配置されることになる。また、生成部１４による画像の生成は、３ＤＣＧにおけるレンダリングの処理として公知であり、その詳細な説明を省略する。なお、そのレンダリング時にテクスチャマッピング等が行われてもよいことは言うまでもない。
【００３３】
出力部１５は、生成部１４によって生成された第２のステレオ画像を出力する。ここで、この出力は、例えば、ステレオ画像を表示する表示デバイス（例えば、ＨＭＤ、ＶＲヘッドセットなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。本実施の形態では、上記のように、出力部１５が第２のステレオ画像をＨＭＤ２に出力する場合について主に説明する。なお、出力部１５は、出力を行うデバイス（例えば、表示デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。また、出力部１５は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００３４】
次に、本実施の形態による画像合成装置１の動作、すなわち画像合成方法について図２のフローチャートを用いて説明する。このフローチャートでは、記憶部１１で記憶されている動画像である第１のステレオ画像に、受付部１２で受け付けられた操作に応じた３次元オブジェクトを合成することによって第２のステレオ画像を生成する場合について説明する。
【００３５】
（ステップＳ１０１）生成部１４は、第２のステレオ画像を生成するかどうか判断する。そして、第２のステレオ画像を生成する場合には、ステップＳ１０２に進み、そうでない場合には、第２のステレオ画像を生成すると判断するまで、ステップＳ１０１の処理を繰り返す。なお、生成部１４は、例えば、定期的に第２のステレオ画像を生成すると判断してもよい。より具体的には、生成部１４は、第２のステレオ画像のフレーム間の時間間隔ごとに第２のステレオ画像を生成すると判断してもよい。
【００３６】
（ステップＳ１０２）受付部１２は、３次元オブジェクトの操作を受け付けたかどうか判断する。そして、操作を受け付けた場合には、ステップＳ１０３に進み、そうでない場合には、ステップＳ１０４に進む。
【００３７】
（ステップＳ１０３）配置部１３は、受付部１２によって受け付けられた操作に応じて、３次元仮想空間に３次元オブジェクトを配置する。この３次元オブジェクトの配置は、３次元仮想空間に配置されている３次元オブジェクトの配置を変更すること、例えば、３次元オブジェクトの位置や角度、形状等を変更することであってもよい。
【００３８】
（ステップＳ１０４）生成部１４は、３次元仮想空間において第１の右目用画像を表示し、第１の左目用画像を表示していない状態において、第２の右目用画像を生成し、第１の左目用画像を表示し、第１の右目用画像を表示していない状態において、第２の左目用画像を生成することによって、第２のステレオ画像を生成する。なお、この第２の右目用画像及び第２の左目用画像の生成は、右目用の１個のフレーム及び左目用の１個のフレームを生成することであってもよい。この場合には、ステップＳ１０４の処理が実行されるごとに、３次元仮想空間に配置される第１の右目用画像及び第１の左目用画像が、１フレームずつ変更されてもよい。生成された一対のフレームは、例えば、図示しない記録媒体や記憶部１１で記憶されてもよい。
【００３９】
（ステップＳ１０５）出力部１５は、ステップＳ１０４で生成された第２のステレオ画像を出力する。この出力は、例えば、右目用の１個のフレーム及び左目用の１個のフレームの出力であってもよい。そして、ステップＳ１０１に戻る。このように、ステップＳ１０１〜Ｓ１０５の処理が繰り返されることによって、ＨＭＤ２に第１のステレオ画像と、操作に応じて配置が変更される３次元オブジェクトとを合成した第２のステレオ画像が表示されることになる。
【００４０】
なお、図２のフローチャートにおいて、例えば、ステップＳ１０１，Ｓ１０４，Ｓ１０５の処理と、ステップＳ１０２、Ｓ１０３の処理とは並列して行われてもよい。また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００４１】
次に、第１のステレオ画像の撮影、及び第１のステレオ画像と３次元オブジェクトとの合成について具体的に説明する。
【００４２】
図３は、第１のステレオ画像の撮影について説明するための図である。図３では、右目用カメラ２１ａと左目用カメラ２１ｂとを用いて第１のステレオ画像を撮影している。すなわち、右目用カメラ２１ａによって第１の右目用画像２２ａが撮影され、左目用カメラ２１ｂによって第１の左目用画像２２ｂが撮影される。右目用カメラ２１ａ及び左目用カメラ２１ｂは、通常、同じ仕様のものであり、その結果として、第１の右目用画像２２ａ及び第１の左目用画像２２ｂも同じ画素数の画像となる。図３では、第１のステレオ画像が、光軸が平行となるように配置された一対のカメラ２１ａ、２１ｂによって撮影されるものとする。また、両カメラ２１ａ、２１ｂの光軸は両方とも水平面内にあるものとする。右目用カメラ２１ａの光軸と、及び左目用カメラ２１ｂの光軸との間の距離は、例えば、人間の平均的な瞳孔間距離程度であってもよい。なお、この例では、撮影対象のオブジェクト２０は、中心軸が鉛直方向となるように配置されている円錐であるとする。そして、オブジェクト２０は、第１の右目用画像２２ａ及び第１の左目用画像２２ｂに含まれているものとする。なお、図３は、水平面に垂直な鉛直方向からカメラ２１ａ、２１ｂを見ている状態を示しているため、厳密には、オブジェクト２０は円形状になるはずであるが、説明の便宜上、オブジェクト２０を三角形状に表示している。他の図面においても同様であるとする。
【００４３】
次に、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、３次元仮想空間において、（Ａ）平行な視線方向の前方側にそれぞれ配置する場合、（Ｂ）無限遠に対応する点が重なるように配置する場合のそれぞれについて説明する。
【００４４】
（Ａ）平行な視線方向の前方側にそれぞれ配置する場合
図４Ａは、３次元仮想空間において、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを平行な視線方向の前方側にそれぞれ配置する場合について説明するための図である。図４Ａにおいて、右目用視点２３ａ及び左目用視点２３ｂが、瞳孔間距離や、ステレオカメラ２１ａ、２１ｂの光軸間の距離程度離れて配置されている。また、矢印で示される視線方向は、平行であり、同じ方向（図４Ａでは上方向）を向いている。なお、図４Ａでは、視線方向が水平面内に存在するものとする。すなわち、図４Ａは、図３と同様に、水平面に垂直な鉛直方向から視点２３ａ、２３ｂや、配置された画像２２ａ、２２ｂを見ているものとする。また、第１の右目用画像２２ａ及び第１の左目用画像２２ｂはそれぞれ、右目用視点２３ａ及び左目用視点２３ｂの前方側において、視線方向が画像に直交し、視線方向が画像の中心を向くように配置されている。また、右目用視点２３ａと第１の右目用画像２２ａとの位置関係と、左目用視点２３ｂと第１の左目用画像２２ｂとの位置関係とは同じであるとする。また、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは、同一平面内に含まれるように配置されている。右目用視点２３ａ及び左目用視点２３ｂから、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが含まれる平面までの距離は、例えば、Ｕ／（２ｔａｎ（φ／２））であってもよい。ここで、Ｕは、第１の右目用画像２２ａ及び第１の左目用画像２２ｂの水平方向の長さであり、φは、右目用視点２３ａ及び左目用視点２３ｂの水平方向の画角である。なお、図４Ａでは、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが右側と左側とに離れて配置されている場合について示しているが、両画像は一部が重なるように配置されてもよい（例えば、図８Ａ参照）。
【００４５】
図４Ａにおいて、第１の右目用画像２２ａが表示されている状態で右目用視点２３ａからの第２の右目用画像が生成され、第１の左目用画像２２ｂが表示されている状態で左目用視点２３ｂからの第２の左目用画像が生成され、それらの第２のステレオ画像がＨＭＤ２に出力されたとする。すると、その第２のステレオ画像を見たユーザには、図４Ａの破線で示されるように、配置されている第１の右目用画像２２ａ及び第１の左目用画像２２ｂの奥側にオブジェクト２０が存在するように見えることになる。
【００４６】
図４Ａにおいて、ＨＭＤ２を装着しているユーザが、ロボットハンドである３次元オブジェクトをコントローラによって操作して、３次元オブジェクト２５ａで示される位置に配置したとする。すると、図４Ｂで示されるように、ユーザにとっては、ロボットハンドは手前側に見えて、オブジェクト２０は奥側に見えることになる。そのため、ユーザがロボットハンドでオブジェクト２０に触ろうとする場合には、３次元オブジェクトを奥側、すなわち視点から離れる側に移動させる必要がある。そして、ユーザが、コントローラを操作して、３次元オブジェクトを奥側に移動させ、３次元オブジェクト２５ｂで示される位置に配置すると、３次元オブジェクト２５ｂの先端側が、第１の右目用画像２２ａの背面側に位置することになり、視点から見えなくなる。その結果、図４Ｃで示されるように、ユーザには、ロボットハンドの先端側が見えなくなる。第１の右目用画像２２ａは、通常、不透明だからである。なお、図４Ｃでは、ロボットハンドの見えない部分を破線で示している。このように、平行な視線方向の前方側に第１の右目用画像２２ａ及び第１の左目用画像２２ｂをそれぞれ配置する場合には、第１のステレオ画像で表示されるオブジェクト（例えば、オブジェクト２０）と、３次元オブジェクトとの位置関係を調整することが困難になる。すなわち、第２のステレオ画像において、両者を重ねることが困難になる。なお、図４Ｂ、図４Ｃは、ステレオ画像を２次元平面上に示している図であり、実際の第２のステレオ画像とは異なるものである。ステレオ画像を示す他の図についても同様である。
【００４７】
なお、ここでは、平行な視線方向の前方側に右目用画像及び左目用画像をそれぞれ配置する場合のデメリットについて説明したが、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとが独立している状況、すなわち、両者が関連しない状況においては、上記のようにステレオ画像と３次元オブジェクトとを合成してもデメリットはないことになる。例えば、第１のステレオ画像が、風景の画像であり、３次元オブジェクトが、ユーザの操作に応じてダンスするキャラクタである場合には、風景の前景側においてキャラクタがダンスをすればよいため、この合成方法を用いることができる。
【００４８】
（Ｂ）無限遠に対応する点が重なるように配置する場合
図５は、ステレオ画像における無限遠に対応する点について説明するための図である。図５で示されるように、右目用撮影位置、左目用撮影位置、画角、及び矢印で示される撮影方向がそれぞれ設定されているとすると、右目用画像及び左目用画像は、それぞれ右目用撮影位置から撮影方向に見える画角の範囲内のオブジェクト等を、図中の仮想平面に投影した画像となる。なお、仮想平面は、撮影方向に垂直な平面である。この場合には、撮影方向の前方側の無限遠に存在する点は、仮想平面上の点α、及び点βの位置に投影されることになる。すなわち、右目用画像の点α、及び左目用画像の点βが、無限遠に対応する点となる。なお、点α、及び点βはそれぞれ、右目用画像と右目用撮影位置から延びる撮影方向とが交わる点、及び左目用画像と左目用撮影位置から延びる撮影方向とが交わる点である。したがって、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像を３次元仮想空間に配置する場合には、両者を同じ位置に配置することになる。すなわち、両画像を重ねて配置すればよいことになる。
【００４９】
図６Ａは、３次元仮想空間において、撮影された第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、無限遠に対応する点が重なるように配置する場合について説明するための図である。図６Ａにおいても、図４Ａと同様に、右目用視点２３ａ及び左目用視点２３ｂは、瞳孔間距離や、ステレオカメラ２１ａ、２１ｂの光軸間の距離程度離れて配置されている。なお、この場合には、矢印で示される視線方向は、第１の右目用画像２２ａ及び第２の左目用画像２２ｂの中心を向いている。また、図６Ａでも、視線方向が水平面内に存在しているものとする。また、図６Ａは、鉛直方向から見た図である。図６Ａで示される第１の右目用画像２２ａ及び第１の左目用画像２２ｂはそれぞれ、図４Ａで示される位置から、画像の面方向に両者が重なるまで、同じ距離だけ移動されたものである。
【００５０】
図６Ａにおいて、第１の右目用画像２２ａが表示されており、第１の左目用画像２２ｂが表示されていない状態で右目用視点２３ａからの第２の右目用画像が生成され、第１の左目用画像２２ｂが表示されており、第１の右目用画像２２ａが表示されていない状態で左目用視点２３ｂからの第２の左目用画像が生成され、それらの第２のステレオ画像がＨＭＤ２に出力されたとする。すると、その第２のステレオ画像を見たユーザには、図６Ａの破線で示されるように、配置されている第１の右目用画像２２ａ及び第１の左目用画像２２ｂの手前側にオブジェクト２０が存在するように見えることになる。
【００５１】
図６Ａにおいて、ＨＭＤ２を装着しているユーザが、ロボットハンドである３次元オブジェクトをコントローラによって操作して、３次元オブジェクト２５ｃで示される位置に配置したとする。すると、図６Ｂで示されるように、ユーザにとっては、ロボットハンドがオブジェクト２０の近傍に見えることになる。そのため、上記（Ａ）の状況とは異なり、ユーザがコントローラを操作することによって、ロボットハンドの先端をオブジェクト２０に重ねることができるようになる。このように、無限遠に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置することによって、第１のステレオ画像で表示されるオブジェクト（例えば、オブジェクト２０）と、３次元オブジェクトとの位置関係を容易に調整できるようになる。すなわち、ステレオ画像で表示されるオブジェクトと、３次元オブジェクトとを重ねることができるようになる。これは、無限遠に対応する第１の右目用画像２２ａ上の点と、無限遠に対応する第１の左目用画像２２ｂ上の点とが重なっているため、無限遠に相当する位置が、画像上に存在することになり、３次元オブジェクトを、視点から画像までの範囲内の任意の位置に配置することによって、視点に最も近い位置から無限遠までの任意の位置に配置できるからである。
【００５２】
次に、第１のステレオ画像が、光軸が交わるように配置された一対のカメラによって撮影される場合について説明する。例えば、手術支援ロボットであるダ・ビンチを用いてステレオ画像を撮影する場合には、光軸が交わるように配置されていることがある。この場合には、図７Ａで示されるように、右目用撮影位置からの矢印で示される撮影方向（すなわち、カメラの光軸）と、左目用撮影位置からの矢印で示される撮影方向とが視線の前方側（すなわち、カメラの前方側）において交わることになる。このように撮影される右目用画像と左目用画像との無限遠に対応する位置は、図中の点α１、及び点β１となる。それらの点は、撮影方向とのなす角度が等しくなるように、右目用撮影位置及び左目用撮影位置から延びる平行な２直線と、右目用画像及び左目用画像との交点である。なお、右目側の状況と、左目側の状況とは対照になっているため、右目用画像において点α１を特定することができれば、左目用画像において点β１を特定することもできるようになる。したがって、以下、右目用画像における点α１の位置の特定について説明する。
【００５３】
図７Ｂで示されるように、撮影方向と右目用画像との交点から点α１までの距離をＸとし、右目用撮影位置から撮影画像までの距離をＬとし、右目用画像の水平方向の長さをＵとし、水平方向の画角をφとし、撮影方向と、右目用撮影位置と点α１とを結ぶ直線とのなす角度をθとすると、次式が得られる。
ｔａｎ（φ／２）＝Ｕ／（２Ｌ）
ｔａｎθ＝Ｘ／Ｌ
【００５４】
したがって、Ｘは、次式のようになる。
Ｘ＝Ｕ×ｔａｎθ／（２ｔａｎ（φ／２））
【００５５】
ここで、φは、撮影で用いるカメラによって決まるため既知である。また、２θが、図７Ａにおける右目側及び左目側の視線方向のなす角度であるため、θも既知である。したがって、図７Ａのように撮影された第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、無限遠に対応する点が重なるように配置する際には、その画像の水平方向の幅であるＵと、θ及びφを用いて上記のようにＸを算出し、第１の右目用画像２２ａにおいて、中心から水平方向にＸだけ離れた点α１と、第１の左目用画像２２ｂにおいて、中心から水平方向にＸだけ離れた点β１とが重なるように両画像を配置すればよいことになる。なお、３次元仮想空間に第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置する際には、図７Ｂにおける右目用撮影位置が右目用視点となるようにしてもよい。すなわち、３次元仮想空間に配置された右目用視点及び左目用視点からの距離がＬとなる平面上に、点α１と点β１とが重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置してもよい。ここで、Ｌは、上式から、Ｌ＝Ｕ／（２ｔａｎ（φ／２））となる。また、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは、右目用視点２３ａ及び左目用視点２３ｂを結ぶ線分の中点をとおり、その線分に垂直な平面に対して、対称になるように配置されることが好適である。すなわち、図６Ａのように配置された画像を正面側から見た場合に、第１の右目用画像２２ａを、画像を含む平面内においてＸだけ左側に移動させ、第１の左目用画像２２ｂを、画像を含む平面内においてＸだけ右側に移動させればよいことになる。その結果、図６Ｃで示されるように、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが配置されることになる。なお、図６Ｃでは、説明の便宜上、第１の右目用画像２２ａ及び第１の左目用画像２２ｂをずらして表示しているが、実際には、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは同一平面上に存在している。この場合にも、視線方向は、それぞれ対応する画像の中心を向くように設定される。このように、第１のステレオ画像が、光軸が交わるように配置された一対のカメラによって撮影される場合であっても、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像を配置することができ、その結果、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係を容易に調整することができるようになる。
【００５６】
以上のように、本実施の形態による画像合成装置１、及び画像合成方法によれば、３次元仮想空間に第１のステレオ画像の有する第１の右目用画像及び第１の左目用画像と、３次元オブジェクトとを配置し、第１の右目用画像を表示している状態において新たな右目用画像を生成し、第１の左目用画像を表示している状態において新たな左目用画像を生成することによって、第１のステレオ画像と３次元オブジェクトとを合成した第２のステレオ画像を生成することができる。このようにして両者を合成することにより、ステレオ画像に含まれるオブジェクト、及び３次元オブジェクトの両方を立体的に表示することができる第２のステレオ画像を生成できることになる。また、３次元仮想空間において、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像を配置することによって、ステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係を適切に調整することができるようになる。例えば、ステレオ画像に含まれるオブジェクトに３次元オブジェクトを重ねて表示することができるようになる。また、３次元オブジェクトと、ステレオ画像に含まれるオブジェクトとを重ねる際に、３次元オブジェクトの一部がステレオ画像の背面側に位置することによって見えなくなる事態を回避することもできる。
【００５７】
なお、本実施の形態では、第１及び第２のステレオ画像が動画像である場合について主に説明したが、そうでなくてもよい。第１及び第２のステレオ画像は静止画であってもよい。この場合には、静止画である第１のステレオ画像に、操作に応じて配置された３次元オブジェクトが合成された静止画である第２のステレオ画像が生成されることになる。
【００５８】
次に、本実施の形態による画像合成装置１の利用例について説明する。
【００５９】
第１のステレオ画像は、熟練者の動作を撮影した動画像であり、３次元オブジェクトは、熟練者が用いている器具等に相当するものであり、その３次元オブジェクトを操作するユーザは、熟練者の動作を真似る初心者であってもよい。この場合には、熟練者の動作を示す第１のステレオ画像に、初心者が操作する３次元オブジェクトを合成した第２のステレオ画像が生成されることになる。より具体的には、熟練者の動作は、手術の動作であってもよく、スポーツにおけるプレーの動作や、楽器の演奏などにおける動作であってもよい。また、３次元オブジェクトは、例えば、手術で用いられる鉗子などの器具や、スポーツで用いられる野球のバット、ゴルフのクラブ、テニスやバドミントン、卓球のラケット等の器具、音楽の演奏で用いる楽器などであってもよい。このようにして、初心者が熟練者の動作を真似ることができ、手術やスポーツのプレー、楽器の演奏などについて練習できるようになる。この場合には、第１のステレオ画像に含まれるオブジェクトに、３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。
【００６０】
第１のステレオ画像は、俳優や女優、歌手など人間の動画像であり、３次元オブジェクトは、ユーザの手などであり、ユーザが３次元オブジェクトである手などを操作することによって、仮想空間上で俳優などと握手をできるようになっていてもよい。この場合には、第２のステレオ画像は、俳優などの人間と、ユーザが操作する３次元オブジェクトである手などとを合成したものとなる。このようにして、ユーザは、例えば、有名人と握手をすることができるようになる。この場合にも、第１のステレオ画像に含まれる有名人等の手の位置に、ユーザの手に相当する３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。
【００６１】
第１のステレオ画像は、建物の内部の撮影画像やＣＧなどの静止画であり、３次元オブジェクトは家具であり、ユーザが、その家具を操作することによって、家具の配置を変更し、建物の内部に配置された家具の状況を示す第２のステレオ画像が生成されてもよい。ユーザは、この第２のステレオ画像によって、家具の配置後の状況を立体的に見ることができるようになる。この場合にも、第１のステレオ画像に含まれるオブジェクトに、３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。
【００６２】
第１のステレオ画像は、工事現場や、修理現場などの実空間にいるユーザが装着しているステレオカメラによって撮影された動画像であり、３次元オブジェクトは、熟練者が第１のステレオ画像上の位置を示すポインタや、実空間で使用される器具に相当するオブジェクトであり、第２のステレオ画像は、実空間の第１のステレオ画像に、３次元オブジェクトが合成されたものであってもよい。その第２のステレオ画像を、熟練者及び実空間にいるユーザが見てもよい。熟練者は、３次元オブジェクトを操作することによって、実空間のユーザに指示を出したり、実空間のユーザが実行すべきことを、３次元オブジェクトを用いて実演したりすることができる。また、実空間にいるユーザは、熟練者によって操作された３次元オブジェクトを含む第２のステレオ画像を見て、作業を行うことによって、実空間において適切な作業を行うことができるようになる。この場合には、画像合成装置１は、第１のステレオ画像をリアルタイムで受け付け、第２のステレオ画像をリアルタイムで出力してもよい。この場合にも、第１のステレオ画像に含まれるオブジェクトに、３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。
【００６３】
なお、ここではいくつかの利用例について示したが、第１のステレオ画像と３次元オブジェクトとを合成する他の例について画像合成装置１を利用できることは明らかであり、上記以外の状況で画像合成装置１が利用されてもよいことは言うまでもない。
【００６４】
また、画像合成装置１では、第１のステレオ画像に含まれるオブジェクトと、受付部１２によって受け付けられる操作に応じて配置される３次元オブジェクトとの位置関係に関する判定を行ってもよい。位置関係に関する判定は、例えば、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとが当たっているかどうかを判定する当たり判定であってもよく、両者が重なっているかどうかを判定する重なり判定であってもよく、両者の位置関係に関するその他の判定であってもよい。この場合には、画像合成装置１は、図９で示されるように、判定部１６をさらに備えてもよい。また、この場合には、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係の調整が重要になるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。
【００６５】
判定部１６は、３次元仮想空間に配置された第１の右目用画像及び第１の左目用画像から、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置を特定する。この位置の特定は、例えば、第１の右目用画像及び第１の左目用画像の対応点を特定し、３次元仮想空間における対応点の位置と、右目用視点及び左目用視点の位置とを用いて行われてもよい。例えば、第１の右目用画像及び第１の左目用画像の一対の対応点に相当する３次元仮想空間における位置は、３次元仮想空間において、第１の右目用画像の対応点と右目用視点とを結ぶ直線と、第１の左目用画像の対応点と左目用視点とを結ぶ直線との交点の位置となってもよい。なお、誤差等によって両直線が交わらない場合には、両直線間の距離が最も近くなる両直線上の位置の中点を、第１の右目用画像及び第１の左目用画像の一対の対応点に相当する３次元仮想空間における位置としてもよい。なお、このように、ステレオ画像上の対応点に相当する３次元空間上の点を特定する処理はすでに公知であり、その詳細な説明を省略する。判定部１６は、このような処理を第１のステレオ画像の各対応点について行うことによって、第１の右目用画像及び第１の左目用画像に含まれる各ピクセルに相当する３次元仮想空間における位置を特定することができる。なお、このようにして特定された位置は、通常、３次元仮想空間において面を構成することになる。ステレオ画像では、背面側の構造まではわからないからである。また、判定部１６は、第１のステレオ画像において輪郭抽出等を行うことによって画像に含まれるオブジェクトを特定し、特定したオブジェクトごとに位置の特定を行ってもよい。
【００６６】
第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置を特定すると、判定部１６は、その特定した位置と、３次元仮想空間における３次元オブジェクトの位置との関係に関する判定を行う。この判定は、当たり判定、及び、重なり判定の少なくとも一方であってもよい。判定部１６は、例えば、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置によって構成される面と、３次元仮想空間における３次元オブジェクトの少なくとも一部とが重なっている場合に、両者が当たっていると判定してもよい。また、判定部１６は、例えば、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置によって構成される少なくとも一部の面と、３次元仮想空間における３次元オブジェクトの少なくとも一部の面とが重なっている場合に、両者が重なっていると判定してもよい。この場合には、例えば、重なりの程度を示す指標が取得されてもよい。その指標は、例えば、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置によって構成される面と、３次元仮想空間における３次元オブジェクトの面との重なりが最も多くなった場合の重なりを１００％とした、重なりの程度を示す指標であってもよい。
【００６７】
出力部１５は、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係に関する判定部１６による判定結果に関する出力をも行ってもよい。その出力は、例えば、当たり判定の結果や、重なり判定の結果の出力であってもよく、当たり判定の結果によって両者が当たっていることが示される場合に、両者が当たっていることを示す出力であってもよく、重なり判定の結果によって両者が重なっていることが示される場合に、両者が重なっていることを示す出力や、その重なりの程度を示す指標の出力であってもよい。より具体的には、出力部１５は、第２のステレオ画像に、判定結果に応じた表示を重畳して出力してもよく、判定結果に応じて、ユーザが操作しているコントローラを振動させてもよく、判定結果に応じた音を出力してもよく、判定結果に応じたその他の出力を行ってもよい。例えば、図６Ｂで示されるようにユーザが３次元オブジェクトであるロボットアームを操作しており、そのロボットアームが、第１のステレオ画像に含まれる円錐形状のオブジェクトに当たった時に、両者が当たったことを示す表示（例えば、画面全体の点滅等）や、両者が当たったことを示す振動出力や音出力が行われてもよい。また、例えば、図８Ａ，図８Ｂで示されるようにユーザが３次元オブジェクトである鉗子を操作しており、その鉗子が、模擬手術の映像である第１のステレオ画像に含まれる鉗子に重なった時に、両者が重なったことを示す表示（例えば、重なったこと示す図形の表示等）や、両者の重なりの程度を示す指標の出力が行われてもよい。このように、第１のステレオ画像に含まれるオブジェクトの位置と、３次元オブジェクトの位置との関係に関する判定が行われることによって、３次元オブジェクトを操作しているユーザは、例えば、３次元オブジェクトの位置を確認することができ、３次元オブジェクトを適切に操作できているかどうかを知ることができるようになる。
【００６８】
また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【００６９】
また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。
【００７０】
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。
【００７１】
また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。
【００７２】
また、上記実施の形態において、画像合成装置１に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。
【００７３】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。なお、上記実施の形態における画像合成装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部にアクセス可能なコンピュータを、３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部、第１の右目用画像及び第１の左目用画像の配置される３次元仮想空間に、受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部、第２のステレオ画像を出力する出力部として機能させるためのプログラムである。
【００７４】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。
【００７５】
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
【００７６】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。
【００７７】
図１０は、上記プログラムを実行して、上記実施の形態による画像合成装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
【００７８】
図１０において、コンピュータシステム９００は、ＣＤ−ＲＯＭドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
【００７９】
図１１は、コンピュータシステム９００の内部構成を示す図である。図１１において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５に加えて、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮやＷＡＮ等への接続を提供する図示しないネットワークカードを含んでいてもよい。
【００８０】
コンピュータシステム９００に、上記実施の形態による画像合成装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１に記憶されて、ＣＤ−ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。また、ＣＤ−ＲＯＭ９２１に代えて他の記録媒体（例えば、ＤＶＤ等）を介して、プログラムがコンピュータシステム９００に読み込まれてもよい。
【００８１】
プログラムは、コンピュータ９０１に、上記実施の形態による画像合成装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
【００８２】
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【符号の説明】
【００８３】
１  画像合成装置
１１  記憶部
１２  受付部
１３  配置部
１４  生成部
１５  出力部
１６  判定部
【要約】
【課題】ステレオ画像と３次元オブジェクトとを合成することができる画像合成装置を提供する。
【解決手段】画像合成装置１は、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部１１と、３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部１２と、第１の右目用画像及び第１の左目用画像の配置される３次元仮想空間に、受け付けられた操作に応じた３次元オブジェクトを配置する配置部１３と、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部１４と、第２のステレオ画像を出力する出力部１５とを備える。
【選択図】図１【図１】
0006959682.tif 000002
【図２】
0006959682.tif 000003
【図３】
0006959682.tif 000004
【図４Ａ】
0006959682.tif 000005
【図４Ｂ】
0006959682.tif 000006
【図４Ｃ】
0006959682.tif 000007
【図５】
0006959682.tif 000008
【図６Ａ】
0006959682.tif 000009
【図６Ｂ】
0006959682.tif 000010
【図６Ｃ】
0006959682.tif 000011
【図７Ａ】
0006959682.tif 000012
【図７Ｂ】
0006959682.tif 000013
【図８Ａ】
0006959682.tif 000014
【図８Ｂ】
0006959682.tif 000015
【図９】
0006959682.tif 000016
【図１０】
0006959682.tif 000017
【図１１】
0006959682.tif 000018