(57)【要約】【課題】仮想物体が表示された後にマーカーと参照パターンとの一致度が低下した場合でも、継続して仮想物体を表示可能な画像合成装置を提供する。【解決手段】本発明に係る画像合成装置は、実画像と仮想物体とを合成し、該合成画像を表示装置に表示させるための画像合成装置であって、コンピュータグラフィックス技術を用いて仮想物体を生成する仮想物体生成部と、前記仮想物体に対応する参照パターンを記憶する記憶部と、被写体を撮影し、実画像を生成する実画像生成部と、前記実画像から検出されるマーカーと前記参照パターンとを比較し、一致度が第１の閾値以上の参照パターンに対応する仮想物体を前記仮想物体生成部により生成して前記実画像と合成し、該合成後、前記マーカーと前記参照パターンとの一致度が第１の閾値よりも低い第２の閾値以下になるまで前記仮想物体を消去しないように制御する制御部と、を備える。【選択図】図１
2010231459.tif 000002
【特許請求の範囲】
【請求項１】
実画像と仮想物体とを合成し、該合成画像を表示装置に表示させるための画像合成装置であって、
コンピュータグラフィックス技術を用いて仮想物体を生成する仮想物体生成部と、
前記仮想物体に対応する参照パターンを記憶する記憶部と、
被写体を撮影し、実画像を生成する実画像生成部と、
前記実画像から検出されるマーカーと前記参照パターンとを比較し、一致度が第１の閾値以上の参照パターンに対応する仮想物体を前記仮想物体生成部により生成して前記実画像と合成し、
該合成後、前記マーカーと前記参照パターンとの一致度が第１の閾値よりも低い第２の閾値以下になるまで前記仮想物体を消去しないように制御する制御部と、
を備える画像合成装置。
【請求項２】
前記仮想物体生成部は、ユーザが操作可能な前記仮想物体を作成することを特徴とする請求項１に記載の画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像合成装置に関し、特に、実画像と仮想物体とを合成し、該合成画像を表示装置に表示させるための画像合成装置に関する。
【背景技術】
【０００２】
近年、現実の環境から得られる実画像情報に、コンピュータが作り出した情報（例えばコンピュータグラフィックス技術による仮想物体）を重ね合わせて補足的な情報を与える、ＡＲ(Augmented Reality)、ＭＲ(Mixed Reality)、拡張現実感又は複合現実感と呼ばれる技術が注目されている(以降、ＡＲ／ＭＲ／拡張現実感／複合現実感に関する技術をまとめて「ＡＲ技術」と言うものとする。)。ＡＲ技術は、ＶＲ(Virtual Reality)と比べ、現実世界とリンクした形で情報を付加するため、ユーザにとって仮想物体と現実世界との関連性が視覚的に分かり易いといった特徴がある。ＡＲ技術の方式の一つとして、決まった目印(マーカー)と対応させる仮想物体を設定し、実画像から抽出したマーカーと参照パターンとの一致度が高い場合に、仮想物体を映像中に合成するといった方式がある（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２５６８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図１５は、マーカー上に仮想物体を表示するＡＲ技術の一例を示す図である。この場合、ＡＲ処理前の画像（図１５（ａ））からマーカーが抽出され、抽出されたマーカーと予め保持してある参照パターンとの一致度が算出される。一致度の高い参照パターンがある場合、抽出されたマーカー上に、参照パターンに対応する仮想物体が合成して表示される（図１５（ｂ））。図１６は、マーカーと参照パターンとの一致度と、仮想物体表示との関係を示す図である。図１６に示すように、マーカーと参照パターンとの一致度がある閾値を上回る場合には仮想物体が表示され、当該閾値を下回る場合には仮想物体は表示されない。
【０００５】
しかし、従来のＡＲ技術では、マーカーの一部に障害物が入ると、マーカーと参照パターンとの一致度が低下するため、仮想物体が表示されなくなる。図１７（ａ）に示すように、マーカー上に仮想物体としてユーザからの入力を受け付けるようなＵＩ（User Interface）が表示されている場合、ユーザが当該仮想物体に対して入力操作を行おうとすると、ユーザからの入力（例えば手や入力デバイスなど）がカメラ画像に写りこんでしまう。そのため、ユーザからの入力がマーカーに対する障害物となり、マーカーと参照パターンとの一致度が低下するため、図１７（ｂ）に示すように、仮想物体が表示されなくなってしまう。図１８は、マーカーと参照パターンとの一致度と、仮想物体表示との関係を示す図である。この場合、ユーザからの入力によって、一致度が時刻ｔ１において、仮想物体を表示するかどうかを判定する閾値を下回ることになり、ＵＩとして表示されていた仮想物体が消滅してしまうことになる。
【０００６】
かかる問題への対応として、仮想物体を表示するかどうかを判定する閾値を低くして、障害物による仮想物体の消滅を回避するといった方法もあるが、閾値を低く設定した場合には、マーカーを誤認識する確率が高くなり、様々なマーカーに対して誤って仮想物体が表示されるといった問題が発生する。そのため、仮想物体の表示を正確に行うためには、マーカーに対する一致度の閾値を高く設定する必要があった。
【０００７】
したがって、かかる点に鑑みてなされた本発明の目的は、仮想物体が表示された後にマーカーと参照パターンとの一致度が低下した場合でも、継続して仮想物体を表示可能な画像合成装置を提供することにある。
【課題を解決するための手段】
【０００８】
上述した諸課題を解決すべく、第１の発明による画像合成装置は、
実画像と仮想物体とを合成し、該合成画像を表示装置に表示させるための画像合成装置であって、
コンピュータグラフィックス技術を用いて仮想物体を生成する仮想物体生成部と、
前記仮想物体に対応する参照パターンを記憶する記憶部と、
被写体を撮影し、実画像を生成する実画像生成部と、
前記実画像から検出されるマーカーと前記参照パターンとを比較し、一致度が第１の閾値以上の参照パターンに対応する仮想物体を前記仮想物体生成部により生成して前記実画像と合成し、
該合成後、前記マーカーと前記参照パターンとの一致度が第１の閾値よりも低い第２の閾値以下になるまで前記仮想物体を消去しないように制御する制御部と、を備える。
【０００９】
また、本発明に係る画像合成装置では、前記仮想物体生成部は、ユーザが操作可能な前記仮想物体を作成することができる。
【発明の効果】
【００１０】
本発明によれば、実画像と仮想物体とを合成して表示した後、マーカーと参照パターンとの一致度が第１の閾値よりも低い第２の閾値以下になるまで仮想物体を消去しないように制御するため、仮想物体が表示された後にマーカーと参照パターンとの一致度が低下した場合でも、継続して仮想物体を表示することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る画像合成装置の概略構成を示す図である。
【図２】図１に示す画像合成装置の処理フローチャートである。
【図３】図１に示す画像合成装置の処理フローチャートである。
【図４】図１に示す画像合成装置の処理フローチャートである。
【図５】図１に示す画像合成装置の処理フローチャートである。
【図６】本発明の一実施形態に係る画像合成環境を示す図である。
【図７】図６に示す画像合成装置からみたマーカーを示す図である。
【図８】図７に示すマーカーの修正例を示す図である。
【図９】本発明の一実施形態に係るマーカーと参照パターンとの一致度算出例を示す図である。
【図１０】本発明の一実施形態に係る仮想物体へのユーザ入力例を示す図である。
【図１１】図１０のユーザ入力に対するマーカーと参照パターンとの一致度算出例を示す図である。
【図１２】図１０にユーザ入力に対する一致度の推移と仮想物体の表示状態との関係を示す図である。
【図１３】本発明の一実施形態に係る仮想物体の表示例を示す図である。
【図１４】図１３の場合における一致度の推移を示す図である。
【図１５】マーカー上への仮想物体の表示例を示す図である。
【図１６】図１５の場合における一致度の推移と仮想物体の表示状態との関係を示す図である。
【図１７】ユーザ入力に対する仮想物体の表示例を示す図である。
【図１８】図１７の場合における一致度の推移と仮想物体の表示状態との関係を示す図である。
【発明を実施するための形態】
【００１２】
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。
【００１３】
図１は、本発明の一実施形態に係る画像合成装置の概略構成を示す図である。画像合成装置１は、被写体を撮影して実画像データを生成する撮像部２と、記憶部３と、表示部４と、制御部６とを備える。記憶部３は、ＡＲに関するアプリケーションプログラム３１と、マーカーと比較する参照パターン情報３２と、マーカーと参照パターンとの一致度が高いときに表示する仮想物体情報３３とを含んでいる。表示部４は、アプリケーションプログラムに関する表示やＡＲ処理による合成画像を表示する。制御部６は、ＡＲ制御部６１を含み、ＡＲ制御部６１は、入力画像解析部６１１、仮想物体判定部６１２、仮想物体生成部６１３、及び仮想物体操作部６１４を含んでいる。入力画像解析部６１１は、撮像部２が生成した実画像データを解析し、マーカーの抽出やマーカーの３次元位置及び姿勢の計算を行う。仮想物体判定部６１２は、入力画像解析部６１１が抽出したマーカーと参照パターンとの一致度を算出し、一致度が閾値（生成閾値）を越えている場合に、マーカー上に表示すべき仮想物体を選択する。仮想物体生成部６１３は、一致度が生成閾値を越えているマーカー上に、仮想物体判定部６１２によって選択された仮想物体をコンピュータグラフィック技術を用いて生成する。仮想物体操作部６１４は、仮想物体に対してユーザからの入力があった場合、当該ユーザ入力及び仮想物体に対応する制御を行う。
【００１４】
ここで、撮像部２は、カメラ等の任意の好適な撮像装置によって構成することができる。制御部６は、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサにより構成されるものであって、制御部６の各機能部（ＡＲ制御部６１、入力画像解析部６１１、仮想物体判定部６１２、仮想物体生成部６１３、仮想物体操作部６１４）は、当該ＣＰＵ上で実行されるソフトウェアとして構成したり、又は、各機能部の処理に特化した専用のプロセッサ（例えばＤＳＰ（デジタルシグナルプロセッサ））などによって構成することができる。記憶部３は、揮発性メモリ（ＳＲＡＭ等）、不揮発性メモリ（ＥＥＰＲＯＭ等）、又は他の好適な記憶媒体によって構成することができる。表示部４は、液晶ディスプレイなどの任意の好適な表示装置によって構成することができる。
【００１５】
なお、上記の通り制御部６は、ＡＲ制御部６１、入力画像解析部６１１、仮想物体判定部６１２、仮想物体生成部６１３、仮想物体操作部６１４という機能部を含む構成であり、本実施形態の場合、少なくとも入力画像解析部６１１及び仮想物体判定部６１２を含む制御部６が、請求項に記載の「制御部」を構成するものである。また、本実施形態の場合、撮像部２が、本発明の請求項に記載の「実画像生成部」を構成するものである。
【００１６】
また、図１に示す画像合成装置１においては、表示部４を画像合成装置１の内部に含む構成としているが、表示部４を画像合成装置１の外部に備え、例えば、画像合成装置１から独立した表示装置として構成とすることも可能である点に留意されたい。
【００１７】
また、本実施例においては、記憶部３は、実画像から抽出されたマーカーの情報を構造体Mrkとして記憶している。マーカー情報である構造体Mrkは、メンバ変数としてinfo、position、AR、及びPDを含んでいる。infoは、実画像データから抽出したマーカーの座標及び大きさ、色情報等のデータ集合である。positionは、抽出したマーカーに対して表示する仮想物体の位置及び姿勢を示している。ARは、抽出したマーカーに対する仮想物体の表示状態を示すフラグである。PDは、抽出されたマーカーに対応する参照パターンを示すものである。
【００１８】
これ以降、Mrk(t)[i]という表記は、時刻ｔの実画像データに含まれるｉ番目のマーカーの構造体を示すものとする。また、Mrk(t)[i].info、Mrk(t)[i].position、Mrk(t)[i].AR、Mrk(t)[i].PDという表記は、それぞれ、構造体Mrk(t)[i]に含まれるメンバ変数への参照を示すものである。
【００１９】
図２は、画像合成装置１の動作フローチャートである。画像合成装置１において処理が開始されると、制御部６は、経過時間を表すパラメータtを初期化し（ステップＳ００１）、撮像部２を起動する（ステップＳ００２）。画像合成装置１の操作が継続している間、撮像部２は、定期的に被写体を撮影し、実画像データＰ（ｔ）を生成する（ステップＳ００３、Ｓ００４）。入力画像解析部６１１は、撮像部２から取得した画像データＰ（ｔ）に対して、実画像データＰ（ｔ）に含まれるマーカーの抽出といった入力画像解析処理を行う（ステップＳ００５）。仮想物体判定部６１２は、入力画像解析処理によって抽出されたマーカーと、記憶部３に記憶された参照パターンとの一致度を算出し、抽出されたマーカー上に表示する仮想物体を選択するという仮想物体判定処理を行う（ステップＳ００６）。仮想物体生成部６１３は、仮想物体判定処理の結果に従い、抽出されたマーカー上に仮想物体を表示するという仮想物体生成処理を行う（ステップＳ００７）。
【００２０】
図３は、図２のステップＳ００５における入力画像解析処理のフローチャートである。入力画像解析部６１１は、まず、実画像データＰ（ｔ）に含まれるマーカーを識別するためのカウンタiを初期化する（ステップＳ１０１）。次に、入力画像解析部６１１は、画像データＰ（ｔ）に対して適切な画像処理を行い、実画像データＰ（ｔ）に含まれるマーカーを抽出し（ステップＳ１０２）、抽出したマーカーの情報を記憶部３のMrk(t)[i].infoに保存する（ステップＳ１０３）。なお、上述の通り、このMrk(t)[i].infoは実画像データＰ（ｔ）から抽出したマーカーの座標や大きさ、色情報等のデータ集合である。また、入力画像解析部６１１によるマーカーの抽出は、画像処理に関する様々な公知技術によって実現できるものであり、ここでの詳細な説明は行わない。
【００２１】
次に、入力画像解析部６１１は、初期起動時以外（ｔ＞０、ステップＳ１０４のＹｅｓ）、抽出したマーカーと同じマーカーの情報が、すでに記憶部３に記憶されているかどうかを検索する。つまり、入力画像解析部６１１は、以前の時刻ｔ−１における実画像データから抽出されたマーカー情報の中に、現時刻ｔにおいて抽出したマーカーと重複したマーカー（以下、このマーカーを「重複マーカー」と言い、重複マーカーの情報をMrk(t-1)により示すものとする。）が存在するかどうかを検索する（ステップＳ１０５）。入力画像解析部６１１は、重複マーカーの情報が記憶部３に記憶されている場合、Mrk(t-1).ARを参照し、重複マーカーに対して仮想物体が表示されているかどうかの判定を行う（ステップＳ１０６）。入力画像解析部６１１は、重複マーカーに対してすでに仮想物体が表示されていれば（Mrk(t-1).AR=ON）、仮想物体の表示を維持するため、現時刻ｔにおいて抽出したマーカーに対しても、仮想物体を表示させるためのフラグを設定する（Mrk(t)[i].AR=ON）（ステップＳ１０７）。なお、初期起動時（ｔ＝０、ステップＳ１０４のＮＯ）や、重複マーカーが存在しない場合（ステップＳ１０５のＮＯ）や、重複マーカーに対して仮想物体が表示されていない場合（ステップＳ１０６のＮＯ）には、ステップＳ１０７の処理はスキップされる。
【００２２】
次に、入力画像解析部６１１は、抽出したマーカーのMrk(t)[i].infoを参照し、マーカーの位置及び姿勢を、撮像部２の視点における位置及び姿勢に座標変換し（ステップＳ１０８）、座標変換の結果をMrk(t)[i].positionに保存する（ステップＳ１０９）。なお、上述の通り、Mrk(t)[i].positionは、仮想物体を表示する位置及び姿勢を示すものである。
【００２３】
入力画像解析部６１１は、ループ１の処理（ステップＳ１０２〜Ｓ１０９）を、実画像データＰ（ｔ）から抽出したマーカーの数だけ繰り返す。そのため、実画像データＰ（ｔ）に複数のマーカーが含まれている場合でも、各マーカーに対してループ１の処理が行われることになる。なお、ループ１の処理を繰り返すごとに、実画像データＰ（ｔ）に含まれるマーカーを識別するためのカウンタiをインクリメント（ｉ＋＋）するため、複数のマーカーの情報が同一の構造体Mrk(t)[i]に保存されることはない。
【００２４】
図４は、図２のステップＳ００６における仮想物体判定処理のフローチャートである。仮想物体判定処理では、仮想物体判定部６１２は、まず、参照パターンＰｄを記憶部３の参照パターン情報３２から読み出し（ステップＳ２０１）、実画像データＰ（ｔ）に含まれるマーカーを識別するためのカウンタiを初期化する（ステップＳ２０２）。次に、仮想物体判定部６１２は、記憶部３に、有効な参照パターンＰｄ及びマーカー情報Mrkが存在するかを判定し（ステップＳ２０３、Ｓ２０４）、存在する場合（参照パターンＰｄ及びマーカー情報MrkがともにＮＵＬＬではない場合）は以下の処理を行う。
【００２５】
まず、ループ１において、仮想物体判定部６１２は、マーカー情報であるMrk(t)[i].infoを記憶部３から読み出し（ステップＳ２０５）、参照パターンＰｄを識別するためのカウンタkを初期化し、ループ２に入る（ステップＳ２０６）。ループ２では、仮想物体判定部６１２は、現在の（ｋ番目の）参照パターンであるＰｄ（ｋ）が有効であるかを判定し（ステップＳ２０７）、Ｐｄ（ｋ）が有効である場合、現在の（ｉ番目の）マーカー情報Mrk(t)[i]と、現在の参照パターンであるＰｄ（ｋ）との一致度ＲＡを算出する（ステップＳ２０８）。
【００２６】
このとき、仮想物体判定部６１２は、Mrk(t)[i].ARを参照し、現在のマーカーに対して仮想物体が生成中であるかどうか判定する（ステップＳ２０９）。現在のマーカーに対してまだ仮想物体が生成されていない場合(Mrk(t)[i].AR=OFF)には、仮想物体判定部６１２は、一致度ＲＡを判定するための閾値Ｓに、仮想物体を生成するかどうかを判定するための生成閾値Ｇを代入する（ステップＳ２１０）。また、マーカーに対してすでに仮想物体が生成されている場合(Mrk(t)[i].AR=ON)には、仮想物体判定部６１２は、一致度ＲＡを判定するための閾値Ｓに、当該仮想物体の表示を維持するかどうかを判定するための維持閾値Ｍを設定する（ステップＳ２１１）。
【００２７】
ここで、生成閾値Ｇは、マーカーに対して誤った仮想物体が表示されることを避けるため、比較的高い値が設定されるのに対し、維持閾値Ｍは、例えばユーザの手などがカメラに写りこんで一致度ＲＡが低下した場合にも、仮想物体の表示を維持するためのものであるため、生成閾値Ｇに比べて相対的に低い値が設定されるものである。
【００２８】
次に、仮想物体判定部６１２は、ステップＳ２０８において算出した一致度ＲＡと、一致度ＲＡを判定するための閾値Ｓとの比較を行う（ステップＳ２１２）。一致度ＲＡが閾値Ｓよりも高い場合は、仮想物体判定部６１２は、現在の（ｉ番目の）マーカー情報Mrk(t)[i]と、現在の（ｋ番目の）参照パターンであるＰｄ（ｋ）とが対応していると判断し、Mrk(t)[i].PDにPd(k)を設定する（ステップＳ２１３）。一致度ＲＡが閾値Ｓよりも低い場合は、仮想物体判定部６１２は、現在の（ｉ番目の）マーカー情報Mrk（ｔ）[i]と、現在の（ｋ番目の）参照パターンであるPb（ｋ）とが対応していないと判断し、Mrk(t)[i].PDの設定は行わない（ステップＳ２１４）。
【００２９】
仮想物体判定部６１２は、ループ１の処理（ステップＳ２０５〜Ｓ２０６）を、実画像データＰ（ｔ）から抽出したマーカーの数だけ繰り返す。また、仮想物体判定部６１２は、ループ２の処理（ステップＳ２０７〜Ｓ２１４）を、記憶部３に記憶されている参照パターンの数だけ、又は、一致度ＲＡが閾値Ｓよりも高いと判断するまで繰り返す。そのため、仮想物体判定部６１２は、実画像データＰ（ｔ）に複数のマーカーが含まれ、記憶部３に複数の参照パターンが記憶されている場合でも、それぞれのマーカーに対して、対応する参照パターンを求めることができる。
【００３０】
図５は、図２のステップＳ００７における仮想物体生成処理のフローチャートである。仮想物体生成処理では、まず、仮想物体生成部６１３は、実画像データＰ（ｔ）に含まれるマーカーを識別するためのカウンタiを初期化する（ステップＳ３０１）。次に、仮想物体生成部６１３はループ１に入り、現在の（ｉ番目の）マーカーに対応する参照パターンが設定されているかを確認するため、記憶部３のMrk(t)[i].PDを参照する（ステップＳ３０２）。Mrk(t)[i].PDに参照パターンが設定されている場合、仮想物体生成部６１３は、Mrk(t)[i].PDに対応する仮想物体ＶＲＯを、記憶部３の仮想物体情報３３から読み出し（ステップＳ３０３）、Mrk(t)[i].positionの位置及び姿勢に基づき、現在のマーカー上に当該仮想物体ＶＲＯを生成して合成する処理を行う（ステップＳ３０４）。合成処理の後、仮想物体生成部６１３は、現在のマーカー上に仮想物体を表示していることを示すため、Mrk(t)[i].ARをONにする（ステップＳ３０５）。なお、ステップＳ３０２において、Mrk(t)[i].PDに参照パターンが設定されてない場合、仮想物体生成部６１３は、現在のマーカー上に仮想物体を表示していないことを示すため、Mrk(t)[i].ARをOFFに設定する（ステップＳ３０６）。
【００３１】
仮想物体生成部６１３は、ループ１の処理（ステップＳ３０２〜Ｓ３０６）を、実画像データＰ（ｔ）から抽出したマーカーの数だけ繰り返す。そのため、実画像データＰ（ｔ）に複数のマーカーが含まれている場合でも、各マーカーに対して、仮想物体の生成および合成処理が行われることになる。
【００３２】
図６は、本発明の一実施形態に係る仮想物体表示環境を示す図である。本実施形態では、画像合成装置１はカメラ付きＨＭＤ（ヘッドマウントディスプレイ）として構成され、ユーザは画像合成装置１を頭部に装着して机の上に置かれたマーカーＭＫを撮影している。なお、図６の場合、画像合成装置１は、表示部４をＨＭＤとして含んだ構成となっているが、例えば、表示部４に相当するＨＭＤと、画像合成装置１に相当するカメラ付きパソコン等の情報処理端末とを別々の装置として構成することも可能である。表示部４と画像合成装置１とを別々の装置として構成する場合、表示部４をより軽量な表示装置により構成し、画像合成装置１をより高性能な情報処理装置により構成することが可能である。もちろん、カメラも情報処理端末と別々の構成としても良い。
【００３３】
図７は、画像合成装置１の撮像部２が生成した、マーカーＭＫを含む実画像データを示す図である。図７に示すとおり、本実施形態においては、マーカーＭＫは四角い二重枠と、文字情報（ＫＣＣ）とから構成されている。入力画像解析部６１１は、実画像データから当該マーカーを抽出して座標変換を行い、図８に示すように、記憶部３に記憶された参照パターンとの一致度ＲＡを算出できるように、マーカー画像の修正を行う。
【００３４】
図９は、実画像データから抽出したマーカーと参照パターンとの一致度ＲＡの計算例を示す図である。図９の場合、仮想物体判定部６１２は、実画像データから抽出したマーカーの線をいくつかの特徴点で分割した上で、参照パターンの各特長点とのマッチングを行い、マーカーと参照パターンとの一致度ＲＡを算出する。例えば、参照パターンの特徴点６４点のうち、マーカーの特徴点５６点が一致した場合、一致度ＲＡは87.5％となる。
【００３５】
図１０は、マーカー上に表示されたユーザが操作可能な仮想物体と当該仮想物体へのユーザ入力例を示す図である。図１０（ｂ）のようにユーザの入力が仮想物体に行われると、仮想物体判定部６１２は、図１１に示すように、ユーザ入力が障害物として含まれるマーカーと、記憶部３に記憶されている参照パターンとを比較して、一致度ＲＡを算出することになる。
【００３６】
図１２は、画像合成装置１が維持閾値Ｍを設定した場合の、マーカーと参照パターンとの一致度ＲＡと仮想物体表示との関係を示す図である。図１２に示すように、時刻ｔ０までは仮想物体へのユーザ入力が行われないため、一致度ＲＡが生成閾値Ｇを上回り、仮想物体の表示が継続して行われる。時刻ｔ０において、図１０（ｂ）に示すようにユーザ入力が行われると、一致度ＲＡは低下することになる。しかし、本発明に係る画像合成装置１は、図４のステップ２１１において、仮想物体判定部が仮想物体の表示を維持するかどうかを判定するための維持閾値Ｍを設定している。そのため、ユーザ入力によって一致度ＲＡが低下したとしても、当該一致度ＲＡが維持閾値Ｍより高い限りは、仮想物体の表示が維持されることになる。
【００３７】
このように、本実施形態によれば、仮想物体判定部６１２は、マーカー上に仮想物体が表示された後、一致度ＲＡを判定する閾値Ｓに、仮想物体を生成するかどうかを判定するための生成閾値Ｇよりも低い、当該仮想物体の表示を維持するかどうかを判定するための維持閾値Ｍを設定するため、仮想物体が表示された後にマーカーと参照パターンとの一致度ＲＡが低下した場合でも、継続して仮想物体を表示することができる。換言すると、制御部６は、実画像と仮想物体とを合成した後、マーカーと参照パターンとの一致度ＲＡが第１の閾値（生成閾値Ｇ）よりも低い第２の閾値（維持閾値Ｍ）以下になるまで仮想物体を消去しないように制御するため、仮想物体が表示された後にマーカーと参照パターンとの一致度ＲＡが低下した場合でも、継続して仮想物体を表示することができる。
【００３８】
また、本実施形態によれば、仮想物体生成部６１３は、仮想物体をユーザが操作可能な仮想物体として生成するため、ユーザに対して、実画像と関連付けられた多様なＵＩを表示することが可能となる。特に、仮想物体を３次元的に構成することによって、よりリアリティがあり、実画像との親和性の高いＵＩをユーザに対して提供することが可能となる。
【００３９】
また、本実施形態によれば、生成閾値Ｇを高く設定することが可能であり、生成閾値Ｇを高く設定した場合、一致度ＲＡが高いときのみ仮想物体を生成するため、マーカーを誤認識する確率を大きく低減させることができる。また、維持閾値Ｍを低く設定することが可能であり、維持閾値Ｍを低く設定した場合、マーカー上にユーザの指などの障害物が入っても仮想物体の表示が維持されるため、ユーザは仮想上のＵＩ（仮想物体）を気兼ねなく操作することが可能となる。
【００４０】
図１３は、仮想物体に対するユーザ入力がなくなった後に、一致度ＲＡを判定する閾値Ｓを、維持閾値Ｍから生成閾値Ｇに戻す場合の仮想物体表示例を示す図である。なお、本発明に係る画像合成装置１が、複数のマーカーに対して仮想物体を表示できることは上述の通りである。図１４は、仮想物体に対するユーザ入力（マーカーに対する障害物）がなくなった場合の、一致度ＲＡの推移を示す図である。時刻ｔ０においてユーザ入力がなくなると、マーカーに対する障害物が除去されることになるので、一致度ＲＡは上昇する。時刻ｔ１において、一致度ＲＡが生成閾値Ｇと同等になると、仮想物体判定部６１２は、維持閾値Ｍを消去して、一致度ＲＡを判定する閾値Ｓを、維持閾値Ｍから生成閾値Ｇに戻す。
【００４１】
このように、本実施形態によれば、仮想物体判定部６１２が、仮想物体に対するユーザ入力（マーカーに対する障害物）がなくなった後に、維持閾値Ｍを消去して閾値Ｓを維持閾値Ｍから生成閾値Ｇに戻すと、閾値Ｓが上昇することになるため、マーカーに対して誤った仮想物体が表示されることを防ぐことが可能となる。そのため、閾値Ｓを下げることにより誤認識率が高くなるという問題を回避し、ユーザにとってのユーザビリティを高める事ができる。
【００４２】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部などは論理的に矛盾しないように再配置可能であり、複数の機能部を１つに組み合わせたり、或いは分割したりすることが可能である。
【符号の説明】
【００４３】
１  画像合成装置
２  撮像部
３  記憶部
３１  アプリケーション
３２  参照パターン情報
３３  仮想物体情報
６  制御部
６１  ＡＲ制御部
６１１  入力画像解析部
６１２  仮想物体判定部
６１３  仮想物体生成部
６１４  仮想物体操作部
【図１】
2010231459.tif 000003
【図２】
2010231459.tif 000004
【図３】
2010231459.tif 000005
【図４】
2010231459.tif 000006
【図５】
2010231459.tif 000007
【図６】
2010231459.tif 000008
【図７】
2010231459.tif 000009
【図８】
2010231459.tif 000010
【図９】
2010231459.tif 000011
【図１０】
2010231459.tif 000012
【図１１】
2010231459.tif 000013
【図１２】
2010231459.tif 000014
【図１３】
2010231459.tif 000015
【図１４】
2010231459.tif 000016
【図１５】
2010231459.tif 000017
【図１６】
2010231459.tif 000018
【図１７】
2010231459.tif 000019
【図１８】
2010231459.tif 000020