(57)【要約】      （修正有）【課題】所定の像に関する情報がコード化された情報コードを直接撮像できない場合であっても、上記所定の像を実空間に対して重畳表示し得る拡張現実表示装置を提供する。【解決手段】所定の像に関する情報が取得された拡張現実表示用コードＱの実空間でのコード位置が、撮像部による当該拡張現実表示用コードＱの撮像画像に基づいて推定され、実空間に対して推定された上記コード位置に所定の像が重畳表示されるように、表示部１４が制御部により制御される。そして、拡張現実表示用コードＱの鏡像反転である鏡像反転コードＱｒが撮像されていると判定されると、撮像部による鏡像反転コードＱｒの撮像画像に基づいて、当該鏡像反転コードＱｒとして鏡面２１を介して撮像された拡張現実表示用コードＱの位置が、上記コード位置として推定される。【選択図】図９
2014142770.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と前記撮像手段により撮像された実空間を表示可能な表示手段とを備え、
所定の像に関する情報がコード化された情報コードを前記撮像手段により撮像することで、前記実空間が表示された前記表示手段に前記所定の像が重畳表示される拡張現実表示装置であって、
前記撮像手段にて撮像された前記情報コードをデコードすることで前記所定の像に関する情報を取得する取得手段と、
前記所定の像に関する情報が取得された情報コードの前記実空間でのコード位置を、前記撮像手段による当該情報コードの撮像画像に基づいて推定するコード位置推定手段と、
前記実空間に対して前記コード位置推定手段により推定された前記コード位置に前記所定の像が重畳表示されるように前記表示手段を制御する表示制御手段と、
前記情報コードの鏡像反転である鏡像反転コードが前記撮像手段により撮像されているか否かについて判定する判定手段と、を備え、
前記コード位置推定手段は、前記判定手段により前記鏡像反転コードが撮像されていると判定されると、前記撮像手段による前記鏡像反転コードの撮像画像に基づいて、当該鏡像反転コードとして鏡面を介して撮像された情報コードの位置を、前記コード位置として推定することを特徴とする拡張現実表示装置。
【請求項２】
前記コード位置推定手段は、前記撮像手段による前記鏡像反転コードの撮像画像に基づいて、前記実空間での前記鏡面の位置および傾斜角度を推定する鏡面状態推定手段を備え、前記撮像手段による前記鏡像反転コードの撮像画像から求められる当該鏡像反転コードとして前記鏡面を介して撮像された情報コードまでの距離と、前記鏡面状態推定手段により推定される前記鏡面の位置および傾斜角度とに基づいて、前記コード位置を推定することを特徴とする請求項１に記載の拡張現実表示装置。
【請求項３】
前記コード位置推定手段は、前記撮像手段により前記情報コードと当該情報コードの鏡像反転である前記鏡像反転コードとが同時に撮像されると、前記情報コードおよび前記鏡像反転コードのいずれか一方について前記コード位置を推定することを特徴とする請求項１または２に記載の拡張現実表示装置。
【請求項４】
前記コード位置推定手段は、前記撮像手段により前記情報コードと当該情報コードの鏡像反転である前記鏡像反転コードとが同時に撮像されると、前記情報コードについて前記コード位置を推定することを特徴とする請求項１または２に記載の拡張現実表示装置。
【請求項５】
前記表示制御手段は、前記撮像手段により前記鏡像反転コードを含めた複数の前記情報コードが同時に撮像される場合には、前記コード位置が当該拡張現実表示装置に近い前記所定の像ほど手前側に表示されるように前記表示手段を制御することを特徴とする請求項１〜４のいずれか一項に記載の拡張現実表示装置。
【請求項６】
前記コード位置推定手段は、一対のカメラを備え、前記一対のカメラによりそれぞれ撮像された撮像画像の視差量から求められる前記情報コードまでの距離に基づいて、前記コード位置を推定することを特徴とする請求項１〜５のいずれか一項に記載の拡張現実表示装置。
【請求項７】
前記一対のカメラの少なくともいずれか一方は、前記撮像手段を構成することを特徴とする請求項６に記載の拡張現実表示装置。
【請求項８】
前記コード位置推定手段は、レーザ光を用いた距離測定手段を備え、前記レーザ光の照射から当該レーザ光の反射光の検出までの時間差から求められる前記情報コードまでの距離に基づいて、前記コード位置を推定することを特徴とする請求項１〜５のいずれか一項に記載の拡張現実表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された実空間に所定の像を重畳表示する拡張現実表示装置に関するものである。
【背景技術】
【０００２】
従来から、実空間（現実世界）を撮影した画像を背景にして仮想的なオブジェクトの画像を重畳表示（合成）することにより、現実を拡張した画像を生成する拡張現実（ＡＲ；Augmented Reality）技術が提案されている。このような拡張現実技術として、例えば、下記特許文献１に開示される拡張現実システムが知られている。この拡張現実システムでは、仮想的なオブジェクト画像に関する情報がコード化された情報コードを含むマーカが時間経過とともに変化するようにマーカ端末に表示され、実空間とともにマーカ画像を動画撮影することで、実空間に対して上記オブジェクト画像が重畳表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２０４０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献1にて開示された技術では、撮像したマーカの位置に所定の像を重畳表示しているため、マーカが撮像手段の撮像視野から外れてしまうと、上記所定の像を表示できないという問題がある。例えば、表示画面からはみ出るほど大きな像を重畳表示させる場合、マーカが撮像視野内に入るように撮像手段を移動させても像の一部が重畳表示されるが、この像の残部を重畳表示させるために撮像手段を移動させる（例えば、見上げるように移動させる）と、マーカが撮像視野から外れてしまい、当該像の残部が表示できなくなってしまう。
【０００５】
本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、所定の像に関する情報がコード化された情報コードを直接撮像できない場合であっても、上記所定の像を実空間に対して重畳表示し得る拡張現実表示装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１に記載の発明は、撮像手段（１３）と前記撮像手段により撮像された実空間を表示可能な表示手段（１４）とを備え、所定の像に関する情報がコード化された情報コード（Ｑ）を前記撮像手段により撮像することで、前記実空間が表示された前記表示手段に前記所定の像が重畳表示される拡張現実表示装置（１０）であって、前記撮像手段にて撮像された前記情報コードをデコードすることで前記所定の像に関する情報を取得する取得手段（１１）と、前記所定の像に関する情報が取得された情報コードの前記実空間でのコード位置を、前記撮像手段による当該情報コードの撮像画像に基づいて推定するコード位置推定手段（１１）と、前記実空間に対して前記コード位置推定手段により推定された前記コード位置に前記所定の像が重畳表示されるように前記表示手段を制御する表示制御手段（１１）と、前記情報コードの鏡像反転である鏡像反転コード（Ｑｒ）が前記撮像手段により撮像されているか否かについて判定する判定手段（１１）と、を備え、前記コード位置推定手段は、前記判定手段により前記鏡像反転コードが撮像されていると判定されると、前記撮像手段による前記鏡像反転コードの撮像画像に基づいて、当該鏡像反転コードとして鏡面を介して撮像された情報コードの位置を、前記コード位置として推定することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
【発明の効果】
【０００７】
請求項１の発明では、所定の像に関する情報が取得された情報コードの実空間でのコード位置が、撮像手段による当該情報コードの撮像画像に基づいてコード位置推定手段により推定され、実空間に対してコード位置推定手段により推定された上記コード位置に所定の像が重畳表示されるように、表示手段が表示制御手段により制御される。そして、判定手段により情報コードの鏡像反転である鏡像反転コードが撮像されていると判定されると、撮像手段による鏡像反転コードの撮像画像に基づいて、コード位置推定手段により、当該鏡像反転コードとして鏡面を介して撮像された情報コードの位置が、上記コード位置として推定される。
【０００８】
これにより、情報コードを直接撮像できない場合であっても、その鏡像反転である鏡像反転コードが写り込んだ鏡面が撮像されることで、上記コード位置を推定することができ、上記所定の像の少なくとも一部を実空間に対して重畳表示することができる。特に、鏡像反転コードであるか否かについて判定されるため、鏡像反転コードを通常の情報コードと誤認して鏡面上に上記所定の像を重畳表示することを防止することができる。
【０００９】
請求項２の発明では、コード位置推定手段により、鏡像反転コードとして鏡面を介して撮像された情報コードまでの距離と、鏡面状態推定手段により推定される鏡面の位置および傾斜角度とに基づいて、上記コード位置が推定される。このように、情報コードまでの距離と鏡面の位置および傾斜角度とから上記コード位置を推定することで、実空間において鏡面がどのような場所に配置される場合でも、上記コード位置を正確に推定することができる。
【００１０】
請求項３の発明では、撮像手段により情報コードとその鏡像反転コードとが同時に撮像されると、コード位置推定手段によりこれら情報コードおよび鏡像反転コードのいずれか一方について上記コード位置が推定される。情報コードとその鏡像反転コードとから得られる上記所定の像に関する情報は同じであるため、いずれか一方についてのみ上記コード位置を推定することで、それぞれ上記コード位置を推定する場合と比較して、当該推定に要する処理負荷を軽減することができる。
【００１１】
請求項４の発明では、撮像手段により情報コードとその鏡像反転コードとが同時に撮像されると、コード位置推定手段により情報コードについて上記コード位置が推定される。これにより、鏡像反転コードに基づいて上記コード位置を推定する場合に必要な鏡面を介して撮像された情報コードの位置の推定が不要となり、当該推定に要する処理負荷を軽減することができる。
【００１２】
請求項５の発明では、撮像手段により鏡像反転コードを含めた複数の情報コードが同時に撮像される場合には、上記コード位置が当該拡張現実表示装置に近い所定の像ほど手前側に表示されるように表示手段が制御される。これにより、複数の情報コードが同時に撮像される場合であっても、それぞれの所定の像を、実空間での相対距離に応じて適切に重畳表示することができる。
【００１３】
請求項６の発明では、一対のカメラによりそれぞれ撮像された撮像画像の視差量から求められる情報コードまでの距離に基づいて、上記コード位置が推定される。情報コードまでの距離に応じて同時に撮像された２つの撮像画像の視差量が変化するため、一対のカメラを用いることで、情報コードまでの距離を容易に求めることができ、上記コード位置の推定に要する処理負荷を軽減することができる。
【００１４】
請求項７の発明では、一対のカメラの少なくともいずれか一方は、撮像手段を構成するため、情報コードまでの距離を求めるための構成に必要な部品点数を削減することができる。
【００１５】
請求項８の発明では、距離測定手段のレーザ光の照射から当該レーザ光の反射光の検出までの時間差から求められる情報コードまでの距離に基づいて、上記コード位置が推定される。このようなレーザ光を用いた距離測定手段を用いても、情報コードまでの距離を容易に求めることができ、上記コード位置の推定に要する処理負荷を軽減することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態に係る拡張現実表示装置の構成を概念的に説明するブロック図である。
【図２】両カメラを用いた拡張現実表示用コードまでの距離の測定方法を説明する説明図である。
【図３】ズレ角の算出方法を説明する説明図である。
【図４】図４（Ａ）は、拡張現実表示用コードが配置された実空間を例示する説明図であり、図４（Ｂ）は、図４（Ａ）に示す実空間を撮像することで円柱状の像が重畳表示された表示部の表示状態を例示する説明図である。
【図５】図５（Ａ）は、拡張現実表示用コードを直接デコード可能に撮像できる位置の拡張現実表示装置を例示する説明図であり、図５（Ｂ）は、コード撮像不可範囲に位置する拡張現実表示装置を例示する説明図である。
【図６】コード撮像不可範囲に位置する拡張現実表示装置の撮像部に鏡像反転コードを撮像させる鏡が配置された状態を示す説明図である。
【図７】制御部にて実施される拡張現実表示処理の流れを例示するフローチャートである。
【図８】鏡面に写り込んだ拡張現実表示用コードＱのコード位置を算出する過程を説明する説明図である。
【図９】図９（Ａ）は、拡張現実表示用コードを撮像することによる円柱状の像の一部の重畳表示状態を例示する説明図であり、図９（Ｂ）は、鏡像反転コードを撮像することによる円柱状の像の一部の重畳表示状態を例示する説明図である。
【発明を実施するための形態】
【００１７】
以下、本発明に係る拡張現実表示装置を具現化した一実施形態について、図面を参照して説明する。図１は、本実施形態に係る拡張現実表示装置１０の構成を概念的に説明するブロック図である。
本実施形態に係る拡張現実表示装置１０は、所定の像に関する情報がコード化された情報コード（以下、拡張現実表示用コードＱともいう）を撮像することで、実空間（現実世界）が表示された表示部に上記所定の像を拡張現実表示用コードＱの位置に応じて重畳表示する携帯型の端末装置である。
【００１８】
まず、拡張現実表示装置１０の構成について、以下に説明する。
拡張現実表示装置１０は、例えば、拡張現実表示に関するアプリケーションプログラムがインストールされた携帯電話であって、図１に示すように、主に、当該拡張現実表示装置１０全体を制御する制御部１１と、メモリ１２と、撮像部１３と、表示部１４と、入力部１５と、通信部１６とを備えている。
【００１９】
制御部１１は、マイコンを主体として構成されるものであり、ＣＰＵ、システムバス、入出力インターフェース等を有し、メモリ１２とともに情報処理装置として機能している。メモリ１２は、ＲＯＭ、ＲＡＭ、不揮発性メモリなどの公知の半導体メモリなどによって構成されており、このメモリ１２には、携帯電話としての機能を実現するための所定プログラム等に加えて、上述した拡張現実表示に関するアプリケーションプログラムが、実行可能に予め格納されている。
【００２０】
撮像部１３は、相対位置の異なる一対のカメラ１３ａ，１３ｂを有するステレオカメラ（ツインカメラ）を備えており、制御部１１により制御されて、それぞれのカメラ１３ａ，１３ｂにより撮像される画像データを制御部１１に出力するように構成されている。なお、両カメラ１３ａ，１３ｂは、同じ撮像機能を有するカメラであり、焦点距離ｆや画角θｏは、規定値であって、それぞれ等しくなっている。また、撮像部１３は、特許請求の範囲に記載の「撮像手段」の一例に相当し得る。
【００２１】
制御部１１では、両カメラ１３ａ，１３ｂにより撮像された拡張現実表示用コードＱの視差量に基づいて、当該拡張現実表示用コードＱまでの距離Ｚが求められる。
以下、両カメラ１３ａ，１３ｂの撮像画像の視差量を利用した拡張現実表示用コードＱまでの距離Ｚを測定する方法について、図２および図３を用いて説明する。図２は、両カメラ１３ａ，１３ｂを用いた拡張現実表示用コードＱまでの距離Ｚの測定方法を説明する説明図である。図３は、ズレ角θａ，θｂの算出方法を説明する説明図であり、図３（Ａ）は、カメラ１３ａによる撮像画像を示し、図３（Ｂ）は、カメラ１３ｂによる撮像画像を示す。
【００２２】
図２に示すように、拡張現実表示用コードＱまでの距離Ｚは、以下に示す式（１）から視差量ｘａ−ｘｂに基づいて算出される。
Ｚ＝｜Ｂ・ｆ／（ｘａ−ｘｂ）｜                                  ・・・（１）
なお、Ｂは、両カメラ１３ａ，１３ｂの離間距離である。
【００２３】
また、ｘａ，ｘｂは、以下の式（２）（３）から図２に示すズレ角θａ，θｂに基づいてそれぞれ算出される。
ｘａ＝ｆ・ｔａｎθａ                                            ・・・（２）
ｘｂ＝ｆ・ｔａｎθｂ                                            ・・・（３）
【００２４】
ズレ角θａは、図３（Ａ）に例示するように、拡張現実表示用コードＱの所定の基準点、例えば、位置検出パターンＱａを基準に、撮像画像の水平方向の画素数の半分をＧ、撮像画像の中心線を基準線Ｌｏとするとき、基準線Ｌｏから位置検出パターンＱａまでの水平方向のズレｘに基づいて、以下の式（４）から算出される。
θａ＝（θｏ／２）・（ｘ／Ｇ）                                  ・・・（４）
カメラ１３ａ，１３ｂは、同等の機能を有することから、図３（Ｂ）に例示するように、ズレ角θｂも上記（４）に基づいて算出される。
【００２５】
例えば、焦点距離ｆ＝１０ｍｍ，画角θｏ＝１０°のカメラ１３ａ，１３ｂが離間距離Ｂ＝１００ｍｍで配置されている場合、画素数Ｇが１００画素であり、上記ｘが基準線Ｌｏを介して異なる方向にそれぞれ１０画素である場合には、θａ，θｂは、式（４）からそれぞれ０．５となり、ｘａ，ｘｂは、式（２）（３）からそれぞれ０．０８７ｍｍとなる。ｘａとｘｂとは向きが逆なので、視差量ｘａ−ｘｂ＝０．０８７−（−０．０８７）＝０．１７４ｍｍとなり、式（１）から、拡張現実表示用コードＱまでの距離Ｚは、５，７４７ｍｍとして算出される。
【００２６】
また、制御部１１では、撮像部１３により撮像された拡張現実表示用コードＱのコード画像に対して公知のデコード処理を実施することで、拡張現実表示用コードＱとしてコード化された所定の像に関する情報が取得される。
【００２７】
表示部１４は、液晶表示器等を備えており、制御部２１により制御されて、所定の情報や撮像部１３により撮像される実空間を表示可能であって、後述するように実空間に所定の像を重畳表示する機能を有するものである。なお、表示部１４は、特許請求の範囲に記載の「表示手段」の一例に相当し、制御部１１は、特許請求の範囲に記載の「表示制御手段」の一例に相当し得る。
【００２８】
入力部１５は、複数のキー等により構成されており、制御部１１に対してキー操作に応じた情報を入力する機能を有するものである。通信部１６は、制御部１１により制御されて、外部機器等と通信を行う機能を有するものである。
【００２９】
次に、拡張現実表示用コードＱの構成について、図４を用いて説明する。図４（Ａ）は、拡張現実表示用コードＱが配置された実空間を例示する説明図であり、図４（Ｂ）は、図４（Ａ）に示す実空間を撮像することで円柱状の像Ｓ１が重畳表示された表示部１４の表示状態を例示する説明図である。
【００３０】
拡張現実表示用コードＱは、鏡像反転を認識可能な情報コード、例えば、ＱＲコード（登録商標）であって、この拡張現実表示用コードＱを光学的に読み取ることで当該拡張現実表示用コードＱに関連付けられた所定の像を重畳表示（拡張表示）するための形状や大きさ、色などの情報（以下、重畳表示用情報ともいう）や当該情報コードが拡張現実表示用コードであることを示す所定の情報が取得可能にコード化されている。
【００３１】
このように構成される拡張現実表示用コードＱは、実空間において所定の像を表示させたい位置に予め配置されている。上記所定の像が、例えば、円柱状の像Ｓ１であり、この円柱状の像Ｓ１を実空間の所定の位置として当該拡張現実表示用コードＱ上に重畳表示させる場合には、当該所定の位置に相当する床面等に拡張現実表示用コードＱが予め貼り付けられて配置される。
【００３２】
すなわち、図４（Ａ）に示すように予め配置された拡張現実表示用コードＱを撮像部１３により撮像することで、表示部１４には、図４（Ｂ）に示すように、拡張現実表示用コードＱ上に円柱状の像Ｓ１が重畳表示される。
【００３３】
次に、本発明の特徴的構成について、図５および図６を用いて詳細に説明する。図５（Ａ）は、拡張現実表示用コードＱを直接デコード可能に撮像できる位置の拡張現実表示装置１０を例示する説明図であり、図５（Ｂ）は、コード撮像不可範囲に位置する拡張現実表示装置１０を例示する説明図である。図６は、コード撮像不可範囲に位置する拡張現実表示装置１０の撮像部１３に鏡像反転コードＱｒを撮像させる鏡２０が配置された状態を示す説明図である。
【００３４】
上述したように、撮像した拡張現実表示用コードＱをデコードすることで取得した情報に基づいて所定の像を重畳表示するため、拡張現実表示用コードＱが撮像部１３の撮像視野から外れてしまうか読み取れない撮像角度になると、上記所定の像を表示できなくなる。例えば、表示部１４の表示画面からはみ出るほど大きな像Ｓ２を重畳表示させる場合、図５（Ａ）に例示するように、拡張現実表示用コードＱが撮像視野内に入るように拡張現実表示装置１０（撮像部１３）を移動させても、像Ｓ２の一部が表示部１４に重畳表示される。
【００３５】
一方、この像Ｓ２の残部を重畳表示させようと、拡張現実表示装置１０を、撮像部１３にて拡張現実表示用コードＱが直接デコード可能に撮像できない範囲（以下、コード撮像不可範囲ともいう）に移動させる（例えば、像Ｓ２の上部を見上げようとして傾ける）と、図５（Ｂ）に例示するように、拡張現実表示用コードＱが撮像部１３の撮像視野から外れてしまい、当該像Ｓ２の残部が表示できなくなってしまう。
【００３６】
そこで、本実施形態では、拡張現実表示用コードＱに対して鏡面２１が傾斜して向かうように１または２以上の鏡２０を配置する。このため、図６に例示するように、コード撮像不可範囲に移動した撮像部１３により鏡２０の鏡面２１に写りこんだ拡張現実表示用コードＱがデコード可能に撮像される。鏡２０の鏡面２１に写りこんだ拡張現実表示用コードＱは鏡像反転するため、後述する拡張現実表示処理を実施することで、上述のように鏡像反転した情報コード（以下、鏡像反転コードＱｒという）を読み取った場合に、当該鏡像反転コードＱｒの撮像画像に基づいて拡張現実表示用コードＱのコード位置が推定される。拡張現実表示処理では、この推定されたコード位置に応じて、当該拡張現実表示用コードＱから読み取られる所定の像が、表示部１４に重畳表示される。これにより、拡張現実表示用コードＱを直接撮像できない場合であっても、上記所定の像の残部を実空間に対して重畳表示することができる。
【００３７】
以下、制御部１１にて実施される拡張現実表示処理について、図７〜図９を用いて詳細に説明する。図７は、制御部１１にて実施される拡張現実表示処理の流れを例示するフローチャートである。図８は、鏡面２１に写り込んだ拡張現実表示用コードＱのコード位置を算出する過程を説明する説明図である。図９（Ａ）は、拡張現実表示用コードＱを撮像することによる円柱状の像Ｓ３の一部の重畳表示状態を例示する説明図であり、図９（Ｂ）は、鏡像反転コードＱｒを撮像することによる円柱状の像Ｓ３の一部の重畳表示状態を例示する説明図である。
【００３８】
ユーザにより拡張現実表示に関するアプリケーションプログラムを起動させるための所定の操作が入力部１５に対してなされると、制御部１１にて拡張現実表示処理が開始され、まず、図７のステップＳ１０１に示す撮像処理がなされ、撮像部１３を用いて実空間が撮像される。続いて、ステップＳ１０３に示す実空間表示処理がなされ、撮像部１３にて撮像された実空間が表示部１４に表示される。
【００３９】
次に、ステップＳ１０５に示すデコード読み取り処理がなされ、撮像部１３による撮像画像に拡張現実表示用コードＱおよび鏡像反転コードＱｒの少なくともいずれかが撮像されていることを前提とするデコード処理が実施される。拡張現実表示用コードＱおよび鏡像反転コードＱｒが撮像されていない場合には、ステップＳ１０７，Ｓ１０９にてＮｏと判定されて、上記ステップＳ１０１からの処理がなされ、撮像部１３にて撮像された実空間がそのまま表示部１４に表示される状態が継続される。なお、ステップＳ１０９を実行する制御部１１は、特許請求の範囲に記載の「判定手段」の一例に相当し得る。
【００４０】
そして、例えば、図４（Ａ）に例示するように配置される拡張現実表示用コードＱが撮像されると、この拡張現実表示用コードＱがデコードされて重畳表示用情報が取得される（Ｓ１０５）。なお、ステップＳ１０５を実行する制御部１１は、特許請求の範囲に記載の「取得手段」の一例に相当し得る。
【００４１】
このように拡張現実表示用コードＱが読み取られると、ステップＳ１０７にてＹｅｓと判定されて、ステップＳ１１１に示すコード位置算出処理がなされる。この処理では、上述したように両カメラ１３ａ，１３ｂの撮像画像の視差量を利用して拡張現実表示用コードＱまでの距離Ｚが算出され、算出された距離Ｚと両カメラ１３ａ，１３ｂの画角θｏとから拡張現実表示用コードＱの相対位置（撮像部１３の位置を基準とする空間座標）がコード位置として算出される。なお、ステップＳ１１１および後述するステップＳ１１７を実行する制御部１１は、特許請求の範囲に記載の「コード位置推定手段」の一例に相当し得る。
【００４２】
次に、ステップＳ１１３に示す重畳表示処理がなされる。この処理では、拡張現実表示用コードＱをデコードすることで取得した重畳表示用情報に基づいて生成された像が、算出されたコード位置に位置するように、表示部１４に重畳表示される。上述のように図４（Ａ）に例示する拡張現実表示用コードＱが撮像されている場合には、図４（Ｂ）に例示するように、表示部１４にて拡張現実表示用コードＱ上に円柱状の像Ｓ１が重畳表示される。
【００４３】
一方、例えば、図６に例示するように、コード撮像不可範囲に移動した拡張現実表示装置１０により、拡張現実表示用コードＱが直接撮像されずに鏡２０の鏡面２１に写りこんだ鏡像反転コードＱｒが撮像されると、この鏡像反転コードＱｒを鏡像反転した拡張現実表示用コードＱがデコードされて重畳表示用情報が取得される（Ｓ１０５）。この場合、鏡像反転コードＱｒを読み取っているため、ステップＳ１０９にてＹｅｓと判定される。
【００４４】
続いて、ステップＳ１１５に示す鏡面状態推定処理がなされ、撮像部１３に対する鏡面２１の相対位置および傾斜角度が算出される。以下、具体的な鏡面２１の相対位置および傾斜角度の算出方法の一例について、図８を参照して説明する。なお、説明の便宜上、ｘ方向を除くｙ方向およびｚ方向について鏡面２１の相対位置を撮像部１３の位置を原点として二次元的に算出する過程について説明する。
【００４５】
まず、図８に例示するように、鏡面２１を囲う縁部のうち鏡面２１の中心を介して対向する２つの縁部分を２２ａ，２２ｂとするとき、縁部分２２ａの相対位置（ｙａ，ｚａ）と、縁部分２２ｂの相対位置（ｙｂ，ｚｂ）とを、拡張現実表示用コードＱの相対位置と同様に、両カメラ１３ａ，１３ｂの撮像画像の視差量を利用して算出する。
【００４６】
次に、鏡面２１を含む平面Ｐを示す式を以下に示す式（５）とするとき、この式（５）は、縁部分２２ａ，２２ｂの相対位置である（ｙａ，ｚａ），（ｙｂ，ｚｂ）を通過することから、（ｙａ，ｚａ），（ｙｂ，ｚｂ）を代入することで、ｋ１，ｋ２を求める。
ｚ＝ｋ１・ｙ＋ｋ２                                              ・・・（５）
このように算出されるｋ１は、鏡面２１の傾斜角度に相当するものである。
【００４７】
続いて、鏡像反転コードＱｒが鏡面２１に写り込んでいないと想定したときの鏡像反転コードＱｒの仮想位置（ｙｃ，ｚｃ）を、拡張現実表示用コードＱの相対位置と同様に、両カメラ１３ａ，１３ｂの撮像画像の視差量を利用して算出する。そして、仮想位置（ｙｃ，ｚｃ）および原点を通る直線と平面Ｐとの交点を、鏡面２１の相対位置（以下、鏡面位置（ｙｄ，ｚｄ）ともいう）として算出する。なお、ステップＳ１１５を実行する制御部１１は、特許請求の範囲に記載の「鏡面状態推定手段」の一例に相当し得る。
【００４８】
このように、鏡面２１の傾斜角度および鏡面位置（ｙｄ，ｚｄ）が算出されると、ステップＳ１１７に示すコード位置算出処理がなされ、拡張現実表示用コードＱの相対位置（ｙｅ，ｚｅ）がコード位置として算出される。具体的には、鏡面位置（ｙｄ，ｚｄ）を通り平面Ｐに直交する直線Ｌ１を想定するとともに、仮想位置（ｙｃ，ｚｃ）と相対位置（ｙｅ，ｚｅ）とから直線Ｌに下ろした垂線の交点をそれぞれ（ｙｃ１，ｚｃ１），（ｙｅ１，ｚｅ１）とする。ここで、鏡面位置（ｙｄ，ｚｄ）および相対位置（ｙｅ，ｚｅ）間の距離と鏡面位置（ｙｄ，ｚｄ）および仮想位置（ｙｃ，ｚｃ）間の距離とは等しくなる。
【００４９】
直線Ｌ１は、その傾きが−１／ｋ１で鏡面位置（ｙｄ，ｚｄ）を通るため、以下の式（６）により求めることができる。
ｚ＝（−１／ｋ１）・ｙ＋（ｚｄ＋ｙｄ／ｋ１）                    ・・・（６）
【００５０】
そして、式（６）と仮想位置（ｙｃ，ｚｃ）とに基づいて（ｙｃ１，ｚｃ１）を求めた後、この（ｙｃ１，ｚｃ１）と仮想位置（ｙｃ，ｚｃ）とに基づいて（ｙｅ１，ｚｅ１）を求める。そして、相対位置（ｙｅ，ｚｅ）および（ｙｅ１，ｚｅ１）と仮想位置（ｙｃ，ｚｃ）および（ｙｃ１，ｚｃ１）との関係から求められる相対位置（ｙｅ，ｚｅ）が、コード位置として算出される。
【００５１】
そして、ステップＳ１１３に示す重畳表示処理がなされ、鏡像反転コードＱｒを鏡像反転した拡張現実表示用コードＱをデコードすることで取得した重畳表示用情報に基づいて生成された像が、ステップＳ１１５にて算出されたコード位置に位置するように、表示部１４に重畳表示される。
【００５２】
これにより、例えば、重畳表示用情報が、表示部１４の表示画面からはみ出るほど大きな円柱状の像Ｓ３に関する情報である場合、拡張現実表示用コードＱを撮像部１３により撮像することで、図９（Ａ）に示すように円柱状の像Ｓ３の下方の一部が重畳表示される。この撮像状態から拡張現実表示装置１０をコード撮像不可範囲に移動させるときに鏡２０の鏡面２１に写り込んだ鏡像反転コードＱｒが撮像部１３により撮像されると、図９（Ｂ）に示すように円柱状の像Ｓ３の上方の一部が重畳表示される。このように、拡張現実表示用コードＱを直接撮像できない場合であっても、撮像された鏡像反転コードＱｒに基づいて、所定の像の一部を実空間に対して重畳表示することができる。
【００５３】
なお、拡張現実表示処理では、撮像部１３により鏡像反転コードＱｒを含めた複数の拡張現実表示用コードＱが同時に撮像される場合には、上記コード位置が当該拡張現実表示装置１０に近い所定の像ほど手前側に表示されるように表示部１４が制御される。これにより、異なる所定の像を重畳表示するための複数の拡張現実表示用コードＱや鏡像反転コードＱｒが同時に撮像される場合であっても、それぞれの所定の像を、実空間での相対距離に応じて適切に重畳表示することができる。
【００５４】
以上説明したように、本実施形態に係る拡張現実表示装置１０では、所定の像に関する情報（重畳表示用情報）が取得された拡張現実表示用コードＱの実空間でのコード位置が、撮像部１３による当該拡張現実表示用コードＱの撮像画像に基づいて推定され、実空間に対して推定された上記コード位置に所定の像が重畳表示されるように、表示部１４が制御部１１により制御される。そして、拡張現実表示用コードＱの鏡像反転である鏡像反転コードＱｒが撮像されていると判定されると、撮像部１３による鏡像反転コードＱｒの撮像画像に基づいて、当該鏡像反転コードＱｒとして鏡面２１を介して撮像された拡張現実表示用コードＱの位置が、上記コード位置として推定される。
【００５５】
これにより、拡張現実表示用コードＱを直接撮像できない場合であっても、その鏡像反転である鏡像反転コードＱｒが写り込んだ鏡面２１が撮像されることで、上記コード位置を推定することができ、上記所定の像の少なくとも一部を実空間に対して重畳表示することができる。特に、鏡像反転コードＱｒであるか否かについて判定されるため、鏡像反転コードＱｒを通常の拡張現実表示用コードＱと誤認して鏡面２１上に上記所定の像を重畳表示することを防止することができる。
【００５６】
また、鏡像反転コードＱｒとして鏡面２１を介して撮像された拡張現実表示用コードＱまでの距離と、鏡面２１の鏡面位置および傾斜角度とに基づいて、上記コード位置が推定される。このように、拡張現実表示用コードＱまでの距離と鏡面２１の鏡面位置および傾斜角度とから上記コード位置を推定することで、実空間において鏡面２１がどのような場所に配置される場合でも、上記コード位置を正確に推定することができる。
【００５７】
さらに、一対のカメラ１３ａ，１３ｂによりそれぞれ撮像された撮像画像の視差量から求められる拡張現実表示用コードＱまでの距離に基づいて、上記コード位置が推定される。拡張現実表示用コードＱまでの距離に応じて同時に撮像された２つの撮像画像の視差量が変化するため、一対のカメラ１３ａ，１３ｂを用いることで、拡張現実表示用コードＱまでの距離を容易に求めることができ、上記コード位置の推定に要する処理負荷を軽減することができる。
【００５８】
特に、一対のカメラ１３ａ，１３ｂは、実空間を撮像する撮像部１３を構成するため、拡張現実表示用コードＱまでの距離を測定するセンサ等を別途用意する場合と比較して、拡張現実表示用コードＱまでの距離を求めるための構成に必要な部品点数を削減することができる。
【００５９】
なお、拡張現実表示用コードＱまでの距離を求めるための構成として、一対のカメラ１３ａ，１３ｂに代えて、レーザ光を用いた距離測定手段を採用してもよい。この距離測定手段によるレーザ光の照射から当該レーザ光の反射光の検出までの時間差に基づいて拡張現実表示用コードＱを求めて、上記コード位置を推定することができる。このようなレーザ光を用いた距離測定手段を用いても、拡張現実表示用コードＱまでの距離を容易に求めることができ、上記コード位置の推定に要する処理負荷を軽減することができる。なお、上記距離測定手段または他の距離測定手段を採用する場合には、撮像部１３は、一対のカメラ１３ａ，１３ｂのうち一方のみを採用するように構成されてもよい。
【００６０】
上述した実施形態において、拡張現実表示用コードＱとこの拡張現実表示用コードＱを鏡像反転した鏡像反転コードＱｒとが同時に撮像される場合には、これら拡張現実表示用コードＱおよび鏡像反転コードＱｒのいずれか一方について上記コード位置を推定することができる。拡張現実表示用コードＱとその鏡像反転コードＱｒとから得られる上記所定の像に関する情報は同じであるため、撮像された鏡像反転コードＱｒを鏡像反転した拡張現実表示用コードＱが同時に撮像された拡張現実表示用コードＱと同じ情報コードである場合には、いずれか一方についてのみ上記コード位置を推定することで、それぞれ上記コード位置を推定する場合と比較して、当該推定に要する処理負荷を軽減することができる。
【００６１】
特に、上述のように拡張現実表示用コードＱと鏡像反転コードＱｒとが同時に撮像される場合に拡張現実表示用コードＱについて上記コード位置を推定することができる。これにより、鏡像反転コードＱｒに基づいて上記コード位置を推定する場合に必要な鏡面２１を介して撮像された拡張現実表示用コードＱの位置の推定が不要となり、当該推定に要する処理負荷を軽減することができる。もちろん、拡張現実表示用コードＱと鏡像反転コードＱｒとが同時に撮像される場合に鏡像反転コードＱｒについて上記コード位置を推定してもよいし、両者に基づいて推定されるコード位置を比較することで、コード位置の推定精度を向上させてもよい。
【００６２】
なお、本発明は上記実施形態に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）拡張現実表示装置１０は、上述したように拡張現実表示に関するアプリケーションプログラムがインストールされた携帯電話として構成されることに限らず、例えば、専用の携帯端末として構成されてもよいし、据え置き型の端末として構成されてもよい。
【００６３】
（２）鏡面２１の相対位置および傾斜角度は、鏡像反転コードＱｒを撮像するごとに上記鏡面状態推定処理にて算出されることに限らず、その絶対的な位置および傾斜角度が、予め測定等されてメモリ１２等に記憶されてもよいし、通信部１６等を介して外部から取得されてもよい。この場合、鏡面２１の絶対的な位置および傾斜角度と拡張現実表示装置１０の位置および傾斜角度等とを比較することで、鏡面２１の相対位置および傾斜角度を算出することができる。
【符号の説明】
【００６４】
１０…拡張現実表示装置
１１…制御部（取得手段，コード位置推定手段，表示制御手段，判定手段，鏡面状態推定手段）
１３…撮像部（撮像手段）
１３ａ，１３ｂ…カメラ
１４…表示部（表示手段）
２０…鏡
２１…鏡面
Ｑ…拡張現実表示用コード（情報コード）
Ｑｒ…鏡像反転コード
【図１】
2014142770.tif 000003
【図２】
2014142770.tif 000004
【図３】
2014142770.tif 000005
【図４】
2014142770.tif 000006
【図５】
2014142770.tif 000007
【図６】
2014142770.tif 000008
【図７】
2014142770.tif 000009
【図８】
2014142770.tif 000010
【図９】
2014142770.tif 000011