(57)【特許請求の範囲】
【請求項１】
被写体を撮影した実画像と既に生成されている仮想画像とを合成する画像合成方法であって、
前記仮想画像が対応づけられており、人間が視認しにくい、または、視認不能であって、所定の装置にて識別可能な画像対応被写体を含む前記被写体を前記所定の装置にて撮影する撮影工程と、
撮影した画像を解析して前記画像対応被写体を検出し、検出された前記画像対応被写体に対応づけられた前記仮想画像を特定するための合成情報を取得する情報取得工程と、
前記合成情報に基づいて特定された前記仮想画像と撮影された実画像とを合成する画像合成工程と、
を有し、
前記画像対応被写体は、光の所定の成分を吸収する無色透明な塗料にて形成されており、
前記所定の装置は、前記所定の成分を透過する偏光フィルターを備えており、
前記塗料は、メタクリル酸特殊エステル、または、アクリル酸特殊エステルであることを特徴とする画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した実画像と生成した仮想画像とを合成する画像合成方法に関する。
【背景技術】
【０００２】
撮影した実画像と生成した仮想画像とを合成する画像合成方法としては、例えば、撮影した撮影画像に含まれる視認可能な特定の被写体と対応づけられた付加画像を、特定の被写体の位置に応じて撮影画像上に配置して合成画像を生成する画像合成方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０―１８７０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の画像合成方法は、付加画像が対応づけられた特定の被写体としての画像対応被写体は視認可能なので、人間が肉眼で見ることができる。しかしながら、被写体は、合成画像を生成するためだけに撮影される物ばかりではなく、合成画像を必要としない人も見る可能性がある被写体がある。このような被写体に対しては、画像対応被写体を必要としない人には画像対応被写体が見えないことが望ましい。
【０００５】
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、肉眼では見えにくい、または、見えない画像対応被写体を用いて仮想画像と実画像との合成画像を生成することが可能な画像合成方法を提供することにある。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために本発明の画像合成方法は、被写体を撮影した実画像と既に生成されている仮想画像とを合成する画像合成方法であって、
前記仮想画像が対応づけられており、人間が視認しにくい、または、視認不能であって、所定の装置にて識別可能な画像対応被写体を含む前記被写体を前記所定の装置にて撮影する撮影工程と、
撮影した画像を解析して前記画像対応被写体を検出し、検出された前記画像対応被写体に対応づけられた前記仮想画像を特定するための合成情報を取得する情報取得工程と、
前記合成情報に基づいて特定された前記仮想画像と撮影された実画像とを合成する画像合成工程と、
を有し、
前記画像対応被写体は、光の所定の成分を吸収する無色透明な塗料にて形成されており、
前記所定の装置は、前記所定の成分を透過する偏光フィルターを備えており、
前記塗料は、メタクリル酸特殊エステル、または、アクリル酸特殊エステルであることを特徴とする画像合成方法である。
【０００７】
このような画像合成方法によれば、仮想画像が対応づけられている画像対応被写体は、人間が視認しにくい、または、視認不能なので、人間の視界に画像対応被写体が現れ難い、または、現れない。また、画像対応被写体は所定の装置にて識別可能なので、所定の装置にて、視界内に画像対応被写体が配置されている場所を撮影することにより、画像対応被写体に対応づけられた仮想画像を特定することが可能である。このため、肉眼では見えにくい、または、見えない画像対応被写体を用いて仮想画像と実画像とを合成した合成画像を生成することが可能である。
【０００９】
また、無色透明な塗料にて形成された画像対応被写体が光の所定の成分を吸収するので、画像対応被写体を含む被写体を、所定の成分を透過する偏光フィルターを備えた所定の装置にて撮影すると、画像対応被写体の部分だけ入射される光の量が少ない画像が撮影される。そして、光の量が少ない部位は黒くなるため、画像対応被写体の部位が黒くなった画像が撮影され、撮影された画像から画像対応被写体を特定して合成画像を生成することが可能である。このため無色透明で肉眼では見えにくい、または、見えない画像対応被写体を用いて、容易に合成画像を生成することが可能である。
【００１１】
また、メタクリル酸特殊エステルやアクリル酸特殊エステルは、無色透明で所定の成分を吸収するので、メタクリル酸特殊エステルやアクリル酸特殊エステルにて画像対応被写体を生成することにより、人間が視認しにくい、または、視認不能であって、所定の装置にて識別可能な画像対応被写体を容易に生成することが可能である。
【発明の効果】
【００１８】
本発明によれば、肉眼では見えにくい、または、見えない画像対応被写体を用いて仮想画像と実画像との合成画像を生成することが可能な画像合成方法を提供する。
【図面の簡単な説明】
【００１９】
【図１】第１実施形態に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【図２】第１実施形態の画像合成方法を説明するためのフローチャートである。
【図３】図３（ａ）は、撮影範囲のイメージを示す図であり、図３（ｂ）は、通常のカメラにより撮影される実画像示す図である。図３（ｃ）は、第１実施形態における撮像装置にて撮影された実画像を示す図であり、図３（ｄ）は、第１実施形態における撮像装置にて撮影された実画像と仮想画像とが合成された合成画像を示す図である。
【図４】第２実施形態に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【図５】第２実施形態の撮影状態を説明するための図である。
【図６】第２実施形態の画像合成方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の第１実施形態について図面を用いて詳細に説明する。  
第１実施形態の画像合成方法は、予め生成されている仮想画像の情報が対応づけられた視認し難い、または、視認不能な画像対応被写体を含む被写体を、所定の装置にて撮影し、撮影された画像対応被写体の情報に基づく仮想画像と、撮影した実画像とを合成するものである。
【００２１】
第１実施形態では、画像対応被写体として、室内の壁に無色透明な塗料であり、光の所定の成分として所定方向に振動する光の成分を吸収する、たとえば、メタクリル酸特殊エステルやアクリル酸特殊エステルによりマーカーを形成しておく。一方、画像合成装置の撮像部には、前記所定方向に振動する光の成分を透過する偏光フィルターを介して、マーカーが設けられた壁を撮影する例について説明する。
【００２２】
図１は、第１実施形態に係る画像合成方法を実現するための装置の一例を示すブロック図である。  
第１実施形態の画像合成方法を実現するための画像合成装置１は、被写体を撮影する撮像部１０と、撮影した被写体の実画像と予め形成されている仮想画像とを合成する処理を含み画像合成装置１を制御する制御部１２と、画像を合成するために必要な各種情報やデータが記憶される記憶部１４と、合成された合成画像を表示する表示部１６と、本画像合成装置１を操作するための操作部１８と、を有している。
【００２３】
第１実施形態の画像合成装置１は、例えば、撮像部１０と、撮影した画像を表示する表示部１６とを有し持ち運び可能な、例えばデジタルカメラ、デジタルビデオカメラ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルコンピュータなどに、画像合成処理が実行可能なプログラムが記憶されている。
【００２４】
そして、画像合成装置１の使用者が、被写体を撮影すると、表示部１６に撮影された実画像が表示される。このとき、撮影された実画像２０（図３）に、予め設定された、例えば、ＱＲコード(登録商標)やバーコードなどの、所定の合成情報を示す画像対応被写体としてのマーカー２１が含まれていた場合には、マーカー２１を検出して合成情報を取得し、取得した合成情報に基づいて、撮影した実画像２０と予め記憶されている仮想画像２３（図３）とを合成した合成画像２４（図３）を生成し、生成した合成画像２４が表示部１６に表示されるように構成されている。
【００２５】
第１実施形態では、マーカー２１は無色透明な塗料で、所定方向に振動する光の成分を吸収する塗料にて形成されており、図３では「Ａ」にて示し、肉眼で見えない状態を、一点鎖線にて表現している。
【００２６】
撮像部１０は、例えば、デジタルカメラやデジタルビデオカメラのような、撮影により、画像を構成する複数の画素の各画像データを生成するＣＣＤセンサーなどの撮像素子により、光情報を電気情報に変換するように構成されている。第１実施形態の撮像部１０には、マーカー２１にて吸収される光の成分と同じ光の成分を透過する偏光フィルター１１が設けられている。
【００２７】
表示部１６は、画像を構成する複数の画素の画像データを、各素子に対応させて表示することが可能な、例えば液晶パネルなどにて構成されている。ここで、各画素の画像データとは、例えば、各画素をＲ（レッド）成分、Ｇ（グリーン）成分、Ｂ（ブルー）成分に分解した各成分を示すデータである。
【００２８】
操作部１８は、画像合成装置１を使用する使用者が、画像合成装置１に対し撮影等の操作を行ったり、設定を変更するなどの操作を行う部位であり、少なくとも実画像２０を撮影するための所謂シャッターを有している。
【００２９】
記憶部１４は、本画像合成装置１にて合成画像を生成するための各種情報が記憶されており、また、情報が記憶される情報記憶領域１４ａと、合成画像を生成する処理の中で画像データが書き換えられていく作業領域となる画像仮想展開領域１４ｂとを有している。
【００３０】
情報記憶領域１４ａには、被写体に含まれているマーカー２１に対応づけられた仮想画像２３を特定する情報、仮想画像２３の画像データ、仮想画像２３の実画像２０に対して配置すべき位置を示す位置情報、などの合成情報が記憶されている。また、情報記憶領域１４ａには、撮影時に測定された撮像部１０の視点から被写体までの距離を示す情報等、算出された情報も記憶される。
【００３１】
画像仮想展開領域１４ｂは、撮影された画像データが画素毎に記憶される記憶領域である。上述したように、各画素の画像データはＲ，Ｇ，Ｂの３つの成分を示すデータを有するので、画像仮想展開領域１４ｂは、合成画像を構成する画素数の３倍の記憶領域を有している。
【００３２】
画像仮想展開領域１４ｂに記憶される画像データは、合成画像を生成する際には必要に応じて対応する画素の画像データが書き換えられる。そして、画像仮想展開領域１４ｂに画素毎に記憶された３つのデータは、各画素の画像データが書き換えられる場合には、Ｒ成分、Ｇ成分、Ｂ成分の各データがそれぞれ書き換えられる。このとき、画像仮想展開領域１４ｂは、記憶領域が表示部１６または撮像部１０の素子と同様に配列されている必要はなく、各記憶領域の画像データが、表示部１６または撮像部１０の素子と対応づけられて記憶されていればよい。
【００３３】
制御部１２は、使用者により操作部１８が操作されることにより、撮像部１０や表示部１６を制御したり、撮影された実画像２０の画像データからマーカー２１を検出し、マーカー２１にて示される情報を解析する解析処理、解析された情報に基づいて、実画像２０と記憶部１４に記憶されている仮想画像２３とを合成する画像合成処理等の各種処理を実行する。
【００３４】
次に、第１実施形態における制御部１２による画像合成方法について説明する。  
第１実施形態の画像合成方法は、画像合成装置１に設けられ、撮像部１０にて撮影するための操作部１８であるシャッターが操作されて処理が開始される。このとき、画像合成装置１が、デジタルカメラなどのように、単に実画像を撮影するときと、合成画像を生成するときとで処理を切り替えるスイッチが操作部１８に設けられていてもよい。また、常に合成画像を生成する処理が実行されるように設定されており、撮影された実画像にマーカー２１が検出されたときのみ合成画像を生成する処理を実行することとしてもよい。
【００３５】
第１実施形態は、前述したように、画像合成装置１の撮像部１０にて撮影するときに、撮影範囲Ｆ１内に、ＱＲコード(登録商標)やバーコードなどの情報を示す画像対応被写体としてのマーカー２１が含まれる状態に応じて合成画像２４を生成する。
【００３６】
図２は、第１実施形態の画像合成方法を説明するためのフローチャートである。図３（ａ）は、撮影範囲のイメージを示す図であり、図３（ｂ）は、偏光フィルターのない撮像部により撮影される実画像示す図である。図３（ｃ）は、第１実施形態における撮像部にて撮影された実画像を示す図であり、図３（ｄ）は、第１実施形態における撮像部にて撮影された実画像と仮想画像とが合成された合成画像を示す図である。
【００３７】
制御部１２は、シャッターが操作されると撮像部１０にて被写体を撮影し（撮影工程Ｓ１）、撮影された実画像２０を構成する各画素の画像データを生成し、生成した画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（Ｓ２）。このとき、図３（ａ）に示すような撮影範囲Ｆ１にて撮影され、通常のカメラにて撮影すると図３（ｂ）のような実画像２０ａが撮影されるが、本撮像部１０には偏光フィルター１１が設けられているため、図３（ｃ）のような実画像２０が撮影される。
【００３８】
具体的には、撮像部１０には撮影範囲Ｆ１にて反射した光が入射されるが、マーカー２１は、無色透明で所定方向に振動する光の成分を吸収する塗料にて形成されているので、マーカー２１の反射光には所定方向に振動する光の成分が含まれていない。このとき、マーカー２１にて吸収される光の成分と同じ光の成分を透過する偏光フィルター１１が設けられていない撮像部にて撮影をすると、他の光の成分により肉眼で見えている図３（ｂ）のような実画像２０ａが撮影される。このとき、マーカー２１は無色透明なのでマーカー２１も画像上には現れない。ところが、第１実施形態の撮像部１０には、マーカー２１にて吸収される光の成分と同じ光の成分を透過する偏光フィルター１１が設けられており、マーカー２１の反射光には所定方向に振動する光の成分が含まれていないので、図３（ｃ）に示すようなマーカー２１の部分だけ黒い実画像２０が形成される。
【００３９】
また、制御部１２は実画像２０の撮影時に撮像部１０から取得した情報に基づき、一般的なカメラにも搭載されているオートフォーカス機構の原理を利用して、例えば、レンズの上半分と下半分にて生じる重心位置の違いを利用して被写体と、撮像部１０の視点位置との距離を計測し、計測した距離情報を記憶部１４に記憶する。
【００４０】
次に制御部１２は、撮影した実画像２０の画像データに画像対応被写体としてのマーカー２１が撮影されているか否かを解析する（Ｓ３）。このとき、実画像２０の画像データにマーカー２１が撮影されていた場合には（Ｓ４）、マーカー２１に対応づけられている情報を記憶部１４から取得する（情報取得工程Ｓ５）。ここで、取得される情報には、マーカー２１に対応づけられている仮想画像２３を特定する情報、撮影した実画像２０と仮想画像２３とを合成するための位置情報、等が含まれる。
【００４１】
また、撮影した実画像２０の画像データを解析し、実画像２０の画像データにマーカー２１が撮影されていなかった場合には、画像仮想展開領域１４ｂに記憶されている実画像２０の画像データに基づいて、実画像２０が表示部１６に表示される（Ｓ７）。
【００４２】
第１実施形態の場合には、撮影した実画像２０の画像データを解析して（Ｓ３）、実画像２０の画像データにマーカー２１が検出され（Ｓ４）、マーカー２１に対応づけられている情報が記憶部１４から取得される（Ｓ５）。このとき、撮影した実画像２０と合成するシステムキッチンの仮想画像２３を合成するための位置情報、すなわち、マーカー２１の位置に位置あわせしてシステムキッチンの仮想画像２３が配置されることを示す情報が取得される（Ｓ５）。
【００４３】
次に制御部１２は、取得した情報に基づいて、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、マーカー２１に対応づけられて情報記憶領域１４ａに記憶されている仮想画像２３の画像データに書き換えて合成画像２４を生成する（画像合成工程Ｓ６）。このとき、撮像部１０にて撮影された実画像２０は、偏光フィルター１１の影響により、肉眼で見るより濃度が高かったり、色調が違ったりするため、合成する前の実画像２０に偏光フィルター２０による影響を弱めるような補正を施してもよい。
【００４４】
そして、画像仮想展開領域１４ｂにて合成されている合成画像２４を表示部１６に表示する（Ｓ７）。
【００４５】
第１実施形態の画像合成方法によれば、仮想画像２３が対応づけられているマーカー２１は、無色透明なので、人間の視界にマーカー２１が現れ難いか、または、現れない。このため、マーカー２１を必要としない人、すなわち、合成画像２４を必要としない人に、マーカー２１の存在を意識させることなく、所望の位置にマーカー２１を配置することが可能である。また、マーカー２１は、マーカー２１にて吸収される光の成分と同じ光の成分を透過する偏光フィルター１１を備えた撮像部１０を有する画像合成装置１にて識別可能なので、上記偏光フィルター１１を備えた撮像部１０にて撮影することにより、視界内に無色透明なマーカー２１が配置されている場所を撮影することにより、マーカー２１に対応づけられた例えばシステムキッチンの仮想画像２３を特定することが可能である。このため、マーカー２１を必要としない人に気付かせることなくマーカー２１を配置し、実画像２０と仮想画像２３とを合成したい人は、上記偏光フィルター１１を備えた画像合成装置１にて合成画像を生成することが可能な画像合成方法を提供することが可能である。
【００４６】
また、マーカー２１を、メタクリル酸特殊エステル、または、アクリル酸特殊エステルとして、マーカー２１にて光の所定方向の振動成分を吸収することとしたので、メタクリル酸特殊エステル、または、アクリル酸特殊エステルの無色透明な素材にて人目につかないようにマーカー２１を容易に配置することが可能であり、また、所定方向に振動する光の成分を吸収する特性により、撮像部１０に偏光フィルターを設けるだけで、実画像２０と仮想画像２３とを合成した合成画像２４を生成することが可能である。
【００４７】
第１実施形態においては、マーカー２１をメタクリル酸特殊エステルやアクリル酸特殊エステルとし、撮像部１０に偏光フィルター１１を設けた例について説明したが、これに限るものではない。例えば、マーカーを、特定の波長を吸収しやすく、下地と同色の材料にて形成し、撮像する装置を、特定の波長の光を検出可能な装置としても良い。具体的には、撮影対象となる黒色の部位に、赤外線を吸収しやすい墨にて形成したマーカーを設け、所定の装置として撮像部に、所謂赤外線カメラを用いてもよい。この場合にも、黒色の下地に設けられた墨によるマーカーは、視認しにくく、撮影した際にはマーカーの反射光に赤外線が含まれないので、マーカーの部分のみ黒色となった実画像が撮影される。そして、撮影された実画像からマーカーを検出して、マーカーに対応づけられた仮想画像を特定し、特定された仮想画像と実画像とを合成して合成画像を生成しても良い。
【００４８】
次に、第２実施形態について説明する。  
図４は、第２実施形態に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【００４９】
第２実施形態の画像合成方法では、画像合成装置１ａとして、２つの撮像部１０ａ、１０ｂを用いて、黒色の下地の部位に墨にて形成されたマーカー２１ａを含む被写体を撮影して合成画像２４を生成する例について説明する。以下の説明においては、第１実施形態と同一の部位及び部分には同符号を付して、説明を省略する。
【００５０】
図５は、第２実施形態の撮影状態を説明するための図である。  
第２実施形態の画像合成装置１ａは、２つの撮像部１０ａ、１０ｂ有し、一方の撮像部１０ａは、撮影対象を肉眼で見えるように撮影するための、所謂通常のカメラであり、他方の撮像部１０ｂは、赤外線の波長も感度領域に含まれるセンサーを用いた所謂赤外線カメラであり、同時に撮影されるように構成されている。以下、他方の撮像部１０ｂを、一方の撮像部１０ａと区別する場合には、赤外線撮像部１０ｂという。これら２つの撮像部１０ａ、１０ｂは、いずれの撮像部１０ａ、１０ｂも偏光フィルターは有していない。２つの撮像部１０ａ、１０ｂは、撮影対象に対して正面にて対向し、２つの撮像部１０ａ、１０ｂの並べられた方向が、撮影対象に対して平行になるように配置されて一体に固定されている。また、２つの撮像部１０ａ、１０ｂは、所定の間隔を隔てて配置されており、撮像部１０ａ、１０ｂ間の距離を示す相対位置情報が情報記憶領域１４ａに記憶されている。
【００５１】
第２実施形態の記憶部１４には、撮像部１０ａ、１０ｂ毎に画像仮想展開領域１４ｂが設けられている。
【００５２】
そして、第２実施形態の画像合成方法における、画像合成工程では、制御部１２は、２つの撮像部１０ａ、１０ｂにて撮影された際に、計測された距離と、情報記憶領域１４ａに記憶されている撮像部１０ａ、１０ｂ間の距離と、に基づいて、仮想画像２３の画像データを補正して実画像２０と合成する。具体的には、第２実施形態では、合成画像２４を生成するために合成される実画像２０は、肉眼で見えるような画像を撮影する撮像部１０ａにて撮影され、墨にて形成されたマーカー２１ａを識別可能な赤外線撮像部１０ｂにてマーカー２１ａを検出するための画像を撮影する。このため、赤外線撮像部１０ｂにてマーカー２１ａの位置を特定した仮想画像２３を、撮像部１０ａにて撮影した実画像２０と合成してしまうと、視点の違いから合成画像が不自然になる虞がある。このため、第２実施形態では、赤外線撮像部１０ｂにて特定した位置、撮影時に計測した距離、及び、情報記憶領域１４ａに記憶されている相対位置情報に基づいて、仮想画像２３の画像データを撮像部１０ａの視点に合わせる処理を実行する。
【００５３】
図６は、第２実施形態の画像合成方法を説明するためのフローチャートである。  
次に、第２実施形態における制御部１２による画像合成方法について説明する。
【００５４】
第２実施形態の画像合成方法は、画像合成装置１ａに設けられ、撮像部１０ａ、１０ｂにて撮影するための操作部１８であるシャッターが操作されて処理が開始される。このとき、画像合成装置１ａには、２つの撮像部１０ａ、１０ｂが同時に撮影するようなシャッターが設けられている。
【００５５】
制御部１２は、シャッターが操作されると撮像部１０ａ、１０ｂにて被写体を撮影し（撮影工程Ｓ１１）、各々の撮像部にて撮影された実画像２０、２０ａを構成する各画素の画像データを生成し、生成した画像データを記憶部１４の画像仮想展開領域１４ｂに各々記憶する（Ｓ１２）。このとき、左側に配置された撮像部１０ａでは、マーカー２１ａのない壁の実画像２０が生成され、右側に配置された赤外線撮像部１０ｂでは、マーカー２１ａの部分だけ黒い実画像２０が形成される。
【００５６】
具体的には、撮像部１０には撮影範囲Ｆ１にて反射した光が入射されるが、マーカー２１ａは、無色透明で赤外線を吸収しやすい墨にて形成されているので、マーカー２１の反射光には赤外線が含まれていない。このとき、赤外線の波長も感度領域とするセンサーを用いた赤外線撮像部１０ｂにて撮影すると、赤外線が含まれていないマーカー２１ａの反射光の部分だけ黒くなってマーカー２１ａが映し出された実画像２０ａが形成される。
【００５７】
このとき、制御部１２は被写体と、撮像部１０の視点位置との距離を計測し、計測した距離情報を記憶部１４に記憶する。
【００５８】
次に制御部１２は、赤外線撮像部１０ｂにて撮影した実画像２０ａの画像データに画像対応被写体としてのマーカー２１ａが撮影されているか否かを解析する（Ｓ１３）。このとき、実画像２０ａの画像データにマーカー２１ａが撮影されていた場合には（Ｓ１４）、マーカー２１ａに対応づけられている情報を記憶部１４から取得する（情報取得工程Ｓ１５）。ここで取得される情報は、第１実施形態と同じとする。
【００５９】
また、撮影した実画像２０の画像データを解析し、実画像２０の画像データにマーカー２１が撮影されていなかった場合には、撮像部１０ａにて撮影されて画像仮想展開領域１４ｂに記憶されている実画像２０の画像データに基づいて、実画像２０が撮像部１０ａ側の表示部１６に表示される（Ｓ１８）。
【００６０】
本実施形態の場合には、撮影した実画像２０ａの画像データを解析して（Ｓ１３）、実画像２０ａの画像データにマーカー２１ａが検出され（Ｓ１４）、マーカー２１ａに対応づけられている情報が記憶部１４から取得される（Ｓ１５）。このとき、撮像部１０ａにて撮影した実画像２０と合成するシステムキッチンの仮想画像２３を合成するための位置情報、すなわち、マーカー２１ａの位置に位置あわせしてシステムキッチンの仮想画像２３が配置されることを示す情報が取得される（Ｓ１５）。
【００６１】
次に制御部１２は、上述したように、赤外線撮像部１０ｂにて特定した位置、撮影時に計測した距離、及び、情報記憶領域１４ａに記憶されている相対位置情報に基づいて、仮想画像２３の画像データを撮像部１０ａの視点に合わせる処理を実行する（Ｓ１６）。
【００６２】
次に制御部１２は、取得した情報に基づいて、画像仮想展開領域１４ｂに記憶されている撮像部１０ａにて撮影された実画像２０の対象となる画素の画像データを、補正された仮想画像２３の画像データに書き換えて合成画像２４を生成する（画像合成工程Ｓ１７）。
【００６３】
そして、画像仮想展開領域１４ｂにて合成されている合成画像２４を撮像部１０ａ側の表示部１６に表示する（Ｓ１８）。
【００６４】
墨にて形成したマーカー２１ａや赤外線撮像部１０ｂを用いた画像合成方法では、赤外線撮像部１０ｂにて撮影した画像は、撮像部１０ａのような通常のカメラ等にて撮影した実画像と相違する。このため、第２実施形態のように赤外線撮像部１０ｂは仮想画像２３を特定し合成するための情報を取得するために使用し、赤外線撮像部１０ｂとは別の実画像を撮影するための撮像部１０ａにて撮影した実画像２０と仮想画像２３とを合成することにより実画像２０上に仮想画像２３を合成した、現実に近い画像を形成することが可能である。さらに、２つの撮像部１０ａ、１０ｂの視点の位置の違いを補正した仮想画像２３を実画像２０に合成するので、より現実に近い画像を形成することが可能である。
【００６５】
第２実施形態では、２つの撮像部１０ａ、１０ｂにて同時に撮影する例について説明したが、２つの撮像部１０ａ、１０ｂが所定の位置に固定されている場合であって、被写体が移動、または、変化する物でない場合には、必ずしも同時に撮影する必要はない。
【００６６】
上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはいうまでもない。
【００６７】
上記実施形態では、静止画像を合成する例について説明したが、動画を合成する場合には、動画のフレームレートに合わせて、合成した画像を生成して表示すればよい。例えば、フレームレートが１５ｆｐｓであれば、１秒間に１５回、上記のように画像の合成処理を繰り返し表示部の画像を書き換えることにより実現可能である。
【符号の説明】
【００６８】
１  画像合成装置
１ａ  画像合成装置
１０  撮像部
１０ａ  撮像部
１０ｂ  赤外線撮像部（撮像部）
１１  偏光フィルター
１２  制御部
１４  記憶部
１４ａ  情報記憶領域
１４ｂ  画像仮想展開領域
１６  表示部
１８  操作部
２０  実画像
２０ａ  実画像
２１  マーカー
２１ａ  墨のマーカー
２３  仮想画像
２４  合成画像
【図１】
0005691631.tif 000002
【図２】
0005691631.tif 000003
【図３】
0005691631.tif 000004
【図４】
0005691631.tif 000005
【図５】
0005691631.tif 000006
【図６】
0005691631.tif 000007