(57)【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
透過性を有する半透明マーカと、
前記画像中の前記半透明マーカを検出する検出手段と、
前記画像中の前記半透明マーカに基づいて合成処理を行う合成手段と、
前記半透明マーカの透過率を利用して、前記画像から前記半透明マーカを除去する除去手段と
を備えることを特徴とする拡張現実感装置。
【請求項２】
前記半透明マーカは、表裏の反転が判別可能な形状であることを特徴とする請求項１に記載の拡張現実感装置。
【請求項３】
前記半透明マーカの透過率を記憶する透過率記憶手段を更に備えることを特徴とする請求項１に記載の拡張現実感装置。
【請求項４】
前記半透明マーカは、反射軽減フィルタを有することを特徴とする請求項１に記載の拡張現実感装置。
【請求項５】
前記半透明マーカは、可視光領域における分光透過率が一定であることを特徴とする請求項１に記載の拡張現実感装置。
【請求項６】
前記除去手段は、
前記半透明マーカを除去する補正量を生成する補正量生成手段と、
前記画像中の前記半透明マーカの輝度エッジに合わせて、前記補正量のエッジの位置を調整する調整手段と
を有することを特徴とする請求項１に記載の拡張現実感装置。
【請求項７】
前記除去手段は、
前記半透明マーカが除去された画像において、前記半透明マーカの輝度エッジが存在していた領域の輝度ピークを検出するピーク検出手段と、
前記輝度ピークが小さくなるように補正するピーク補正手段と
を有することを特徴とする請求項１に記載の拡張現実感装置。
【請求項８】
前記検出手段は、前記画像における輝度エッジに基づいて、前記半透明マーカを検出することを特徴とする請求項１に記載の拡張現実感装置。
【請求項９】
前記検出手段は、前記半透明マーカが写っていない事前画像と、前記半透明マーカが写っている撮像画像との除算画像に基づいて、前記半透明マーカを検出することを特徴とする請求項１に記載の拡張現実感装置。
【請求項１０】
少なくとも１つの単波長光源を更に備えることを特徴とする請求項１に記載の拡張現実感装置。
【請求項１１】
前記半透明マーカは、透過率を変更可能であることを特徴とする請求項１に記載の拡張現実感装置。
【請求項１２】
透過性を有する半透明マーカを備える拡張現実感装置の制御方法であって、
画像を撮像する撮像工程と、
前記画像中の前記半透明マーカを検出する検出工程と、
前記画像中の前記半透明マーカに基づいて合成処理を行う合成工程と、
前記半透明マーカの透過率を利用して、前記画像から前記半透明マーカを除去する除去工程と
を備えることを特徴とする拡張現実感装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば撮像された画像内のマーカを基準にしてＣＧ等の合成処理を行う拡張現実感装置及びその方法の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えばビデオカメラやＷＥＢカメラ等によって撮像された画像中のマーカを検出し、マーカが検出された位置にＣＧ等を合成することで、拡張現実感（ＡＲ：Augmented Reality）を実現するものがある。このような装置におけるマーカは、合成処理の基準として用いられるものである。よって、合成されたＣＧと共に画像中に写り込んでしまうことは好ましくない。【０００３】
このため、例えば特許文献１では、マーカが配置されていない状態で撮像された画像を合成時に上書きすることにより、合成後の画像からマーカを除去するという技術が提案されている。また特許文献２では、人が視覚できないように、赤外線を反射又は吸収するマーカを用いるという技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５３０７７２号公報
【特許文献２】特開２００７−１６３３６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に係る技術では、マーカが配置されていない状態で事前に撮像を行わなければならず、予めマーカの配置位置及び背景が分かっていることが前提となる。また、マーカの背景が平坦であればよいが、空間が空いているような場合には、適切な対応が困難となってしまう。【０００６】
更に上述した特許文献２に係る技術では、ＲＧＢ画像を撮像する撮像部とは別に、マーカを検出するための赤外線撮像部が必要となってしまう。また、ＲＧＢ画像及び赤外画像の位置関係を合わせるための信号処理、又は赤外ミラー等を使用した波長分離の構成が必要になるため、装置規模が大きくなってしまう。【０００７】
本発明は、上述した技術的な問題に鑑みて為されたものであり、簡単な構成で、好適にマーカを除去することが可能な拡張現実感装置及び拡張現実感装置の制御方法を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の拡張現実感装置は、画像を撮像する撮像手段と、透過性を有する半透明マーカと、前記画像中の前記半透明マーカを検出する検出手段と、前記画像中の前記半透明マーカに基づいて合成処理を行う合成手段と、前記半透明マーカの透過率を利用して、前記画像から前記半透明マーカを除去する除去手段とを備える。【０００９】
上記課題を解決するために、本発明の拡張現実感装置の制御方法は、透過性を有する半透明マーカを備える拡張現実感装置の制御方法であって、画像を撮像する撮像工程と、前記画像中の前記半透明マーカを検出する検出工程と、前記画像中の前記半透明マーカに基づいて合成処理を行う合成工程と、前記半透明マーカの透過率を利用して、前記画像から前記半透明マーカを除去する除去工程とを備える。【００１０】
本発明の作用及び他の利得については、以下に示す実施の形態とともに説明する。
【図面の簡単な説明】
【００１１】
【図１】実施例に係る拡張現実感装置の全体構成を示すブロック図である。
【図２】半透明マーカの構成を示す平面図（その１）である。
【図３】半透明マーカの構成を示す平面図（その２）である。
【図４】実施例に係る拡張現実感装置の動作を示すフローチャートである。
【図５】事前画像の一例を示す平面図である。
【図６】撮像画像の一例を示す平面図である。
【図７】除算画像の一例を示す平面図である。
【図８】画像撮像の際に検出される光の強度を等色関数及び分光透過率と共に示すグラフ（その１）である。
【図９】画像撮像の際に検出される光の強度を等色関数及び分光透過率と共に示すグラフ（その２）である。
【図１０】補正前及び補正後の画像信号を補正量と共に示すグラフである。
【図１１】ＣＧ合成画像を半透明マーカ２００と共に示す平面図である。
【図１２】表示されるＣＧ合成画像を示す平面図である。
【図１３】半透明マーカの手前側にＣＧ映像を合成した画像を示す平面図である。
【図１４】半透明マーカの奥側にＣＧ映像を合成した画像を示す平面図である。
【発明を実施するための形態】
【００１２】
本実施形態に係る拡張現実感装置は、画像を撮像する撮像手段と、透過性を有する半透明マーカと、前記画像中の前記半透明マーカを検出する検出手段と、前記画像中の前記半透明マーカに基づいて合成処理を行う合成手段と、前記半透明マーカの透過率を利用して、前記画像から前記半透明マーカを除去する除去手段とを備える。
【００１３】
本実施形態に係る拡張現実感装置では、その動作時に、例えばビデオカメラやＷＥＢカメラ等の撮像手段によって画像が撮像される。画像が撮像されると、検出手段によって画像中の半透明マーカが検出される。ここで特に、半透明マーカは透過性を有しており、背景が透けて見えるような構成となっている。透過率は、例えば２５％及び１００％といった互いに異なる２種類の値として設定され、その透過率の差を利用してマーカの検出が行われる。また、２５％、５０％及び１００％といったように３種類の値として設定されても良い。即ち、透過率は、複数の値として設定することができる。尚、半透明マーカの透過率は、撮影環境やアプリケーション等に応じて適宜設定される。言い換えれば、半透明マーカの透過率や透過率の種類については、何ら限定されるものではない。透過率は、例えば背景と混じり合うことでマーカが検出し難くならないような値として設定される。
【００１４】
マーカが検出されると、合成手段によって、例えばＣＧ等の合成処理が行われる。より具体的には、例えばＣＧによるオブジェクトが、マーカが検出された位置に合成される。この際、マーカの向きに応じて、オブジェクトの向きが決定されるように構成されてもよい。このような合成処理によれば、現実には存在しないオブジェクトが、撮像された画像中にはあたかも存在しているかのような拡張現実感を実現することができる。
【００１５】
ここで本実施形態では特に、除去手段によって、画像中の半透明マーカが除去される。半透明マーカの除去には、半透明マーカの透過率が利用される。具体的には、半透明マーカが存在することによる画像の減衰値が透過率から導出され、その減衰を打ち消すことにより、半透明マーカが除去される。尚、半透明マーカの透過率は、典型的には、既知のものとして装置内に記憶されている。但し、画像から半透明マーカの透過率を算出する算出手段を備えるような構成であっても構わない。
【００１６】
半透明マーカを除去すれば、現実には半透明マーカが存在していたとしても、画像中ではその存在を視覚できなくなる。よって、より質の高い拡張現実感を実現することが可能となる。尚、このような効果は、半透明マーカが完全に視覚できないような状態になる場合だけでなく、半透明マーカが見え難い状態となる場合にも発揮される。よって、半透明マーカは、必ずしも完全に除去される必要はなく、部分的に除去されたり、全体的に薄くされたりするだけでも構わない。
【００１７】
ここで仮に、マーカが透過性を有しない場合を考える。この場合、画像中のマーカの背景は、マーカによって完全に隠された状態となる。このため、マーカの背景を予め記憶しておかない限り、マーカの背景を復元することはできない。即ち、画像中のマーカを除去することはできない。
【００１８】
しかるに本実施形態では特に、上述したように、マーカは透過性を有する半透明マーカとして構成されている。従って、透過率を利用して、画像中から半透明マーカだけを除去することができる。従って、マーカの存在をユーザに意識させることなく、極めて好適にＣＧを合成することができる。
【００１９】
尚、半透明マーカの除去処理は、合成手段による合成処理の前に行われてもよいし、後で行われてもよい。即ち、半透明マーカが検出された後であれば、除去処理はどのタイミングで行われてもよい。
【００２０】
以上説明したように、本実施形態に係る拡張現実感装置によれば、半透明マーカを用いることで、合成後の画像から好適にマーカを除去することができる。従って、極めて品質の高い拡張現実感を実現可能である。
【００２１】
本実施形態に係る拡張現実感装置の他の態様では、前記半透明マーカは、表裏の反転が判別可能な形状である。
【００２２】
この態様によれば、半透明マーカが表向きであるか裏向きであるかを判別することができるため、半透明マーカの向きに応じた合成処理が行えるようになる。例えば、表向きの場合は合成するＣＧを半透明マーカより３次元的に手前に表示し、裏向きの場合は３次元的に奥側に表示するといった処理が可能となる。
【００２３】
本実施形態では、マーカが半透明であるが故に、裏側からの撮影が可能となる。よって、裏表の反転を判別できるようにすれば、裏側から撮影できるという利点を効果的に活用することが可能となる。例えば、半透明マーカの奥側にＣＧを合成した場合であっても、ＣＧがマーカに隠れたり、ＣＧとマーカの前後関係が不自然になったりする問題を回避できる。
【００２４】
本実施形態に係る拡張現実感装置の一態様では、前記半透明マーカの透過率を記憶する透過率記憶手段を更に備える。
【００２５】
この態様によれば、半透明マーカの透過率が既知のものとなるため、半透明マーカの除去をより容易且つ確実に行うことが可能となる。尚、透過率記憶手段は、１つの半透明マーカの透過率を記憶するようなものではなく、複数種類の半透明マーカの透過率をそれぞれ記憶するような透過率データベースとして構成されてもよい。
【００２６】
本実施形態に係る拡張現実感装置の他の態様では、前記半透明マーカは、反射軽減フィルタを有する。
【００２７】
この態様によれば、反射軽減フィルタによって、半透明マーカによる光の反射が軽減される。よって、半透明マーカの除去処理における反射成分の影響を低減できる。従って、より好適に半透明マーカを除去することができる。
【００２８】
尚、反射軽減フィルタの具体例としては、例えばアンチグレアフィルタやアンチリフレクションフィルタ等が挙げられる。
【００２９】
本実施形態に係る拡張現実感装置の他の態様では、前記半透明マーカは、可視光領域における分光透過率が一定である。
【００３０】
この態様によれば、観測光（即ち、半透明マーカに照射されている光）の波長特性によって、ＲＧＢ信号の減衰率が変化してしまうことを防止できる。よって、透過率を利用して、確実に半透明マーカを除去することが可能となる。
【００３１】
ＲＧＢ信号は、例えば観測光の強度に等色関数ｒ（λ）、ｇ（λ）、ｂ（λ）等を掛け合わせ積分して求められる。このため、仮に異なる波長特性の観測光であっても、ＲＧＢ信号としては同じものとして扱われてしまうおそれがある。
【００３２】
ここで、上述したように異なる波長特性を持ちながら同様の光として検出されるような光を、分光透過率特性のフィルタを通して観測したとする。即ち、半透明マーカを介して観測したとする。この場合、仮に分光透過率が一定でないとすると、観測光の波長特性によってＲＧＢ信号の減衰率が変わってしまうおそれがある。つまり、観測光の波長特性が未知である場合、半透明マーカの分光透過率が一定でないと、半透明マーカを適切に除去することができない。
【００３３】
しかるに本態様では、可視光領域における分光透過率が一定になるように半透明マーカが構成されているため、観測光の波長特性が未知のものであっても、確実に除去処理を行える。尚、分光透過率が完全に一定ではなくとも、一定に近い状態であれば、上述した効果は相応に得られる。
【００３４】
本実施形態に係る拡張現実感装置の他の態様では、前記除去手段は、前記半透明マーカを除去する補正量を生成する補正量生成手段と、前記画像中の前記半透明マーカの輝度エッジに合わせて、前記補正量のエッジの位置を調整する調整手段とを有する。
【００３５】
この態様によれば、半透明マーカを除去する際には、先ず半透明マーカによる減衰に基づいた補正量が生成される。即ち、減衰を打ち消すような補正量が生成される。
【００３６】
補正量が生成されると、半透明マーカの輝度エッジ（即ち、半透明マーカが存在することによって生じている輝度エッジ）と、補正量のエッジ（即ち、補正量の端部分）の位置が互いに合致するように調整される。
【００３７】
上述したような調整を行えば、半透明マーカの輝度エッジと補正量のエッジとの位置が互いにずれてしまうことによって、半透明マーカの一部が除去できずに残ってしまうことを防止することができる。従って、より好適に半透明マーカの除去を行うことが可能である。
【００３８】
本実施形態に係る拡張現実感装置の他の態様では、前記除去手段は、前記半透明マーカが除去された画像において、前記半透明マーカの輝度エッジが存在していた領域の輝度ピークを検出するピーク検出手段と、前記輝度ピークが小さくなるように補正するピーク補正手段とを有する。
【００３９】
この態様によれば、半透明マーカの除去が一度行われた後に、半透明マーカの輝度エッジが存在していた領域（即ち、半透明マーカの端周辺）の輝度ピークが検出される。即ち、輝度が局所的に大きくなっている部分が検出される。
【００４０】
この輝度ピークは、除去処理が完全に行われずに、半透明マーカが部分的に残ってしまったことに起因すると考えられる。よって、輝度ピークが検出された場合には、輝度ピークを小さくする処理が行われる（好ましくは、輝度ピークが完全になくなるような処理が行われる）。これにより、一度の補正では除去しきれなかった半透明マーカを、より確実に除去することができる。
【００４１】
本実施形態に係る拡張現実感装置の他の態様では、前記検出手段は、前記画像における輝度エッジに基づいて、前記半透明マーカを検出する。
【００４２】
この態様によれば、画像における輝度エッジ（即ち、輝度が大きく変化する部分）に基づいて、半透明マーカが検出される。より具体的には、輝度エッジとなる部分が、半透明マーカの輪郭部分であるとして検出される。このようにすれば、比較的簡単な方法で且つ確実に半透明マーカを検出することができる。
なる。
【００４３】
本実施形態に係る拡張現実感装置の他の態様では、前記検出手段は、前記半透明マーカが写っていない事前画像と、前記半透明マーカが写っている撮像画像との除算画像に基づいて、前記半透明マーカを検出する。
【００４４】
この態様によれば、先ず、半透明マーカが配置されていない状態で事前画像が撮像される。即ち、半透明マーカが写っていない画像が予め撮像される。そして、半透明マーカを検出する際には、半透明マーカが写っている撮像画像に対して、事前画像を用いた除算処理が行われ、除算画像が生成される。
【００４５】
除算画像では、半透明マーカが存在していない部分が“１”となり、半透明マーカが存在していた部分は、透過率に応じた減衰によって値が小さくなる。即ち、半透明マーカが存在する部分とそうでない部分で、互いに異なる値となる。よって、このような除算画像における値の違いを用いれば、比較的簡単な方法で確実に半透明マーカを検出することが可能である。
【００４６】
また、除算画像作成時の除算処理には、上述した事前画像ではなく、１フレーム又は数フレーム前のマーカ除去画像（即ち、半透明マーカに対する除去処理が行われた画像）を使用することもできる。このような場合でも、事前画像を用いる場合と同様に、確実に半透明マーカを検出することが可能である。尚、画像が移動している場合（即ち、撮像範囲が変化している場合）は、パンやズーム等の量に応じて、画像に各種変換処理を施してから除算処理に使用することが望ましい。
【００４７】
本実施形態に係る拡張現実感装置の他の態様では、少なくとも１つの単波長光源を更に備える。
【００４８】
この態様によれば、半透明マーカには単波長光源から光が照射される。このため、観測光の波長特性を既知のものとすることができる。従って、透過率を利用して、確実に半透明マーカを除去することが可能となる。光源は、単波長の光を照射するであれば、複数用いられても構わない。即ち、それぞれの波長特性が既知でありさえすれば、複数の光が照射されても構わない。
【００４９】
本実施形態に係る拡張現実感装置の他の態様では、前記半透明マーカは、透過率を変更可能である。
【００５０】
この態様によれば、例えば半透明マーカが液晶等を含んで構成されており、透過率を変更できる。よって、半透明のマーカを背景に適した値へと調整することができる。また、透過率が変化した部分をマーカとして検出したり、透過率を変化させながらの除去処理が可能と
本実施形態に係る拡張現実感装置の制御方法は透過性を有する半透明マーカを備える拡張現実感装置の制御方法であって、画像を撮像する撮像工程と、前記画像中の前記半透明マーカを検出する検出工程と、前記画像中の前記半透明マーカに基づいて合成処理を行う合成工程と、前記半透明マーカの透過率を利用して、前記画像から前記半透明マーカを除去する除去工程とを備える。
【００５１】
本実施形態に係る拡張現実感装置の制御方法によれば、半透明マーカを備える拡張現実感装置を好適に制御できる。従って、上述した本実施形態に係る拡張現実感装置と同様に、合成後の画像から好適にマーカを除去可能である。従って、極めて品質の高い拡張現実感を実現可能である。
【００５２】
尚、本実施形態に係る拡張現実感装置の制御方法においても、上述した本発明の拡張現実感装置における各種態様と同様の各種態様を採ることが可能である。
【００５３】
本発明の拡張現実感装置及び拡張現実感装置の制御方法に係る各種実施形態の作用及び他の利得については、以下に示す実施例において、より詳細に説明する。
【実施例】
【００５４】
以下では、図面を参照して、本発明の実施例について詳細に説明する。【００５５】
＜装置構成＞
先ず、実施例に係る拡張現実感装置の構成について、図１から図３を参照して説明する。ここに図１は、実施例に係る拡張現実感装置の全体構成を示すブロック図である。また図２及び図３は夫々、半透明マーカの構成を示す平面図である。【００５６】
図１において、本実施例に係る拡張現実感装置は、撮像部１１０と、マーカ検出部１２０と、マーカＩＤデータベース１２５と、除去補正量算出部１３０と、透過率データベース１３５と、除去補正適用部１４０と、ＣＧ映像生成部１５０と、ＣＧデータベース１５５と、ＣＧ映像合成部１６０と、表示部１７０とを備えて構成されている。【００５７】
撮像部１１０は、本発明の「撮像手段」の一例であり、画像を撮像可能に構成されている。撮像部１１０は、例えばビデオカメラやＷＥＢカメラ等である。【００５８】
マーカ検出部１２０は、本発明の「検出手段」の一例であり、撮像部１１０において撮像された画像から、半透明マーカを検出可能に構成されている。マーカ検出部１２０は、半透明マーカの位置情報や姿勢情報を取得する。また、マーカＩＤデータベース１２５に記憶されたマーカＩＤとの照合によって、半透明マーカの種類を判別する。マーカＩＤデータベース１２５には、マーカの形状と種類が予め対応づけて記憶してある。【００５９】
図２及び図３において、本実施例に係る半透明マーカ２００は透過性を有している。即ち、半透明マーカ２００は、背景が少なからず透けて見えるような構成とされている。また、半透明マーカ２００は、表裏が判別可能（より具体的には、特定の回転角度に対して同型とならない形状）とされている。これにより、半透明マーカ２００の向きを確実に検出可能となる。【００６０】
尚、ここでの図示は省略しているが、半透明マーカ２００には、例えばアンチグレアフィルタやアンチリフレクションフィルタ等の反射軽減フィルタが取り付けられる。反射軽減フィルタによれば、半透明マーカによる光の反射を軽減することができる。【００６１】
更に、半透明マーカ２００は、例えば液晶等を含んでなることで、透過率が変更可能に構成されていてもよい。【００６２】
図１に戻り、除去補正量算出部１３０は、本発明の「補正量生成手段」の一例であり、透過率データベース１３５に記憶された半透明マーカ２００の透過率に基づいて、半透明マーカ２００を画像中から除去するための補正量を算出する。透過率データベース１３５には、半透明マーカの種類に応じた透過率が、予め記憶してある。【００６３】
尚、透過率データベース１３５に代えて、画像から半透明マーカ２００の透過率を算出する算出部を備えるような構成としてもよい。この場合、除去補正量算出部１３０は、算出された透過率に基づいて補正量を算出する。【００６４】
除去補正適用部１４０は、本発明の「除去手段」の一例であり、除去補正量算出部１３０において算出された補正量を画像に適用することで、画像から半透明マーカ２００を除去する。【００６５】
ＣＧ映像生成部１５０は、検出された半透明マーカ２００の種類に応じて、合成すべきＣＧ映像を生成する。ＣＧ映像生成部１５０は、ＣＧデータベース１５５に記憶された情報に基づいてＣＧ映像を生成する。ＣＧデータベース１５５には、例えば半透明マーカ２００の種類とＣＧ映像とが対応づけて記憶されている。【００６６】
ＣＧ映像合成部１６０は、本発明の「合成手段」の一例であり、半透明マーカ２００が検出された位置にＣＧ映像を合成する。尚、ＣＧ映像の合成は、半透明マーカ２００の除去より先に行われてもよい。即ち、ＣＧ映像合成部１６０は、除去補正適用部１４０の前段に設けられていてもよい。【００６７】
表示部１７０は、例えばモニタ等によって構成されており、ＣＧ映像が合成された映像を表示する。尚、除去補正適用部１４０において画像中の半透明マーカ２００が除去されているため、出力される映像には、半透明マーカ２００は存在せず、背景及び合成されたＣＧ映像だけが存在する。【００６８】
＜装置の動作＞
次に、本実施例に係る拡張現実感装置の動作について、図４から図１４を参照して説明する。ここに図４は、本実施例に係る拡張現実感装置の動作を示すフローチャートである。【００６９】
図４において、本実施例に係る拡張現実感想の動作時には、先ず撮像部１１０によって画像が撮像される（ステップＳ０１）。撮像された画像のデータは、マーカ検出部１２０に送られ、画像中の半透明マーカ２００が検出される（ステップＳ０２）。半透明マーカ２００の検出は、例えば画像の輝度エッジを用いて行われる。即ち、所定の輝度エッジが、半透明マーカ２００の輪郭として検出される。或いは、撮像範囲が固定されている場合には、半透明マーカ２００の検出は、除算画像を用いて行われてもよい。【００７０】
以下では、図５から図７を参照して、除算画像を用いた半透明マーカ２００の検出について、詳細に説明する。ここに図５は、事前画像の一例を示す平面図であり、図６は、撮像画像の一例を示す平面図である。また図７は、除算画像の一例を示す平面図である。【００７１】
図５において、事前画像として、机３００の上に封筒４００が置かれた画像が撮像されていたとする。尚、事前画像とは、半透明マーカ２００が配置されていない画像であって、予め撮像された画像である。事前画像は、例えば装置に備えられるメモリ等に記憶されている。【００７２】
図６において、半透明マーカ２００が机３００の上の封筒４００に重なるように配置されたとする。この場合、マーカ検出部１２０は、図６に示すような撮像画像を図５に示すような事前画像で割る処理を実行する。即ち、撮像画像に対して、事前画像による除算処理を実行する。【００７３】
図７において、除算処理の結果である除算画像では、半透明マーカ２００が存在しない部分の値が“１”となる。即ち、同じ画像である部分は、除算結果が全て同じとなる。これに対し、半透明マーカ２００が存在している部分は、画像が減衰している。このため、除算結果は“１”とはならない。よって除算画像は、図に示すように、半透明マーカ２００が存在する部分だけが残るような画像となる。従って、半透明マーカ２００を好適に検出することが可能である。【００７４】
図４に戻り、半透明マーカ２００が検出されると、除去補正量算出部１３０によって、半透明マーカ２００を除去するための補正量が算出される（ステップＳ０３）。補正量は、半透明マーカ２００の透過率に基づいて算出される。具体的には、半透明マーカ２００の透過率から、半透明マーカ２００が存在することによる画像の減衰率が求められ、減衰を打ち消すような値として補正量が算出される。減衰率をより正確に求めるためには、半透明マーカ２００の分光透過率が一定であることが望ましい。【００７５】
以下では、図８及び図９を参照して、半透明マーカ２００の分光透過率が一定でない場合の問題点について説明する。ここに図８及び図９は夫々、画像撮像の際に検出される光の強度を等色関数及び分光透過率と共に示すグラフである。尚、図８及び図９に示す光の強度は、半透明マーカ２００が配置されていない場合の光の強度である。【００７６】
図８及び９において、画像を示すＲＧＢ信号は、観測光の強度（図中の（ａ）参照）に対して等色関数（図中の（ｂ）参照）を掛け合わせて積分することで求められる。このため、図８に示す光と図９に示す光のように、互いに異なる波長特性を有する光であっても、同じものとして検出される場合がある。【００７７】
ここで、上述したような光を、分光透過率特性のフィルタ（図中の（ｃ）参照）を通して観測したとする。即ち、半透明マーカ２００を配置した状態で観測したとする。この場合、図８に示すような光は、分光透過率が１００％として扱われる。よって、半透明マーカ２００が存在する場合と存在しない場合とで、観測される値はほぼ変わらない。一方で、図９に示すような光は、分光透過率が半分程度である。よって、半透明マーカ２００が存在する場合は、存在しない場合と比べて半分程度の値となる。【００７８】
以上のように、分光透過率が一定でないと、観測光の波長特性によってＲＧＢ信号の減衰率が変わってしまうおそれがある。つまり、観測光の波長特性が未知である場合、半透明マーカ２００の分光透過率が一定でないと、適切な補正量を算出することができない。即ち、半透明マーカを適切に除去することが困難である。よって、半透明マーカ２００の分光透過率が一定であることが望ましい。【００７９】
尚、このような問題は、半透明マーカに照射される観測光の波長特性を、既知のものとすることでも解消できる。例えば、単波長光源を利用すれば、観測光の波長特性を既知のものとすることができる。【００８０】
図４に戻り、補正量が算出されると、除去補正適用部１４０によって、画像に対し補正量が適用される（ステップＳ０４）。即ち、半透明マーカ２００の除去処理が実行される。これにより、撮像画像から半透明マーカ２００が除去される。ここで特に、補正量は、上述したように、半透明マーカ２００の透過率に基づいて算出されている。よって、半透明マーカ２００の背景となっていた部分は除去されず、あたかも半透明マーカ２００だけが除去されたような画像となる。【００８１】
尚、除去補正適用部１４０は、単純に補正量を適用するだけでなく、より適切な除去処理を行うための補正処理等を行うように構成されてもよい。以下では、図１０を参照して、除去処理時に行われる補正について説明する。ここに図１０は、補正前及び補正後の画像信号を補正量と共に示すグラフである。【００８２】
図１０において、例えば図中の（ａ）に示すような画像信号が入力されたとする。画像信号は、半透明マーカ２００の存在によって、局所的に減衰した形となっている。これに対して、補正量は図中の（ｂ）に示すような値として算出される。即ち、半透明マーカ２００の存在によって減衰した部分を打ち消すような値（より具体的には、減衰部分だけが局所的に大きくなっているような値）が算出される。【００８３】
図中の（ｂ）に示した補正量を、図中の（ａ）に示した画像信号に適用すると、結果的に図中の（ｃ）に示すような画像信号が得られる。即ち、減衰部分が補正された直線的な画像信号が得られる。但し、画像信号における減衰部分の位置と、補正量における突出部分の位置を調整しなければ、図に示すように局所的なピークが残ってしまう場合がある。よって、除去補正適用部１４０は、画像信号及び補正量の位置を互いに微調整する補正処理を行う。これにより、図に示すようなピークの発生を低減することができる。【００８４】
また、上述した微調整を行ったとしても、ピークが発生してしまう場合も考えられる。このような場合には、補正後の画像信号からピークを検出して、ピークを除去するような処理を行えばよい。尚、ピークを検出する処理は、マーカの輪郭部分だけで行えば済む。【００８５】
以上のように、補正量の位置調整処理及び除去処理後のピーク除去処理を行えば、単純に補正量を適用する場合と比べて、極めて好適に半透明マーカ２００を除去することが可能となる。【００８６】
図４に戻り、半透明マーカ２００の除去処理が終了すると、ＣＧ映像生成部１５０において合成するＣＧ映像が生成される（ステップＳ０５）。ＣＧ映像が生成されると、ＣＧ映像合成部１６０において、撮像画像上にＣＧ映像が合成される（ステップＳ０６）。ＣＧ映像は、例えば半透明マーカ２００の種類に応じて生成され、半透明マーカ２００が検出された位置に合成される。合成後の画像は、表示部１７０へと出力される（ステップＳ０７）。【００８７】
以下では、図１１から図１４を参照して、ＣＧ映像の合成について具体的に説明する。ここに図１１は、ＣＧ合成画像を半透明マーカ２００と共に示す平面図であり、図１２は、表示されるＣＧ合成画像を示す平面図である。また図１３は、半透明マーカの手前側にＣＧ映像を合成した画像を示す平面図であり、図１４は、半透明マーカの奥側にＣＧ映像を合成した画像を示す平面図である。【００８８】
図１１において、ＣＧ映像は、例えば半透明マーカ２００の上に重なるように合成される。具体的には、例えば図に示すような人物オブジェクト５００のＣＧ映像が、半透明マーカ２００の上に立つように合成される。但し、半透明マーカ２００は除去されるため、実際に表示部１７０において表示される画像は、図１２に示すようなものとなる。【００８９】
図１２に示すように、半透明マーカ２００が除去されたとしても、半透明マーカ２００の後ろ側に位置していた背景は除去されない。このように、本実施例に係る拡張現実感装置によれば、極めて自然に半透明マーカ２００だけを除去することが可能である。【００９０】
図１３及び図１４において、半透明マーカ２００は裏側からも透けて見えるため、表裏を判別できるようにすれば、図に示すように手前側及び奥側にＣＧ映像を合成することができる。尚、半透明マーカ２００の除去処理を行う前にＣＧ映像の合成をする場合は、図１４に示すように、半透明マーカ２００の透過率を考慮してＣＧ映像を合成することが好ましい。【００９１】
以上説明したように、本実施例に係る拡張現実感装置によれば、半透明マーカ２００を用いることで、好適にマーカを除去することが可能である。従って、極めて品質の高い拡張現実感を実現することができる。【００９２】
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨または思想に反しない範囲で適宜変更可能であり、そのような変更を伴う拡張現実感装置及び拡張現実感装置の制御方法もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００９３】
１１０  撮像部
１２０  マーカ検出部
１２５  マーカＩＤデータベース
１３０  除去補正量算出部
１３５  透過率データベース
１４０  除去補正適用部
１５０  ＣＧ映像生成部
１５５  ＣＧデータベース
１６０  ＣＧ映像合成部
１７０  表示部
２００  半透明マーカ
３００  机
４００  封筒
５００  人物オブジェクト
【図１】
0005456893.tif 000002
【図２】
0005456893.tif 000003
【図３】
0005456893.tif 000004
【図４】
0005456893.tif 000005
【図５】
0005456893.tif 000006
【図６】
0005456893.tif 000007
【図７】
0005456893.tif 000008
【図８】
0005456893.tif 000009
【図９】
0005456893.tif 000010
【図１０】
0005456893.tif 000011
【図１１】
0005456893.tif 000012
【図１２】
0005456893.tif 000013
【図１３】
0005456893.tif 000014
【図１４】
0005456893.tif 000015