(57)【要約】【課題】関連情報の表示対象の被写体物が配置されたエリアの撮像を、該被写体物の関連情報が撮像画像に適切に表示されるように行うことを容易に実現できる関連情報表示装置を提供する。【解決手段】被写体物１，２が配置されたエリアＡＲと撮像装置２１との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカ１０を備える。マーカ１０は、エリアＡＲとマーカ１０とを撮像したとき、マーカ１０の画像の内側領域に被写体物１，２が写るように配設される。【選択図】図２
2018189999.tif 000002
【特許請求の範囲】
【請求項１】
関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物に係る関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
前記マーカは、枠状に形成されたマーカ、又は、上下方向もしくは横方向もしくは斜め方向に間隔を存して配置された一対もしくは複数対の要素部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の少なくとも１つ以上の対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることを特徴とする関連情報表示装置。
【請求項２】
請求項１記載の関連情報表示装置において、
前記マーカは、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部に位置するように該マーカ及び前記エリアを撮像したとき、前記エリア内の全ての対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることを特徴とする関連情報表示装置。
【請求項３】
請求項１又は２記載の関連情報表示装置において、
前記表示制御手段は、前記撮像画像に写っている前記対象被写体物のうち、前記マーカの画像の内側領域内に写っている対象被写体物に係る関連情報だけを前記撮像画像上に表示するように構成されていることを特徴とする関連情報表示装置。
【請求項４】
請求項１〜３のいずれか１項に記載の関連情報表示装置において、
前記表示制御手段は、前記撮像画像のうちの前記マーカの画像の内側領域に前記エリアが写る状態で、該マーカの内側領域の全体に該エリアに関連する情報を表示する機能をさらに含むように構成されていることを特徴とする関連情報表示装置。
【請求項５】
関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物の関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
前記マーカは、上下方向又は横方向に延在するように配置された長尺部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部で上下方向又は横方向に延在するように該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の全ての対象被写体物の画像が該マーカの画像の側方領域に写るように配設されていることを特徴とする関連情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる装置に関する。
【背景技術】
【０００２】
従来、この種の装置としては、例えば特許文献１に見られるものが知られている。その装置では、撮像画像入力手段の撮像範囲内に配置されたマークと、複数の特徴点とが撮像画像から抽出される。この場合、マークの位置及び方向を示す情報と、複数の特徴点の位置を示す情報とがマークにあらかじめ記録されており、撮像画像中のマークの画像から得られるこれらの情報を用いて画像入力手段の位置及び姿勢が特定される。
【０００３】
そして、画像入力手段の位置及び姿勢を用いて、撮像画像内の対象物に対応する位置に該対象物に関連する情報が表示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許４２４２５２９号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に見られる技術では、撮像画像内の対象物に対応する位置に該対象物に関連する情報を標示させることは可能であるものの、マークと複数の特徴点とが撮像画像内に写り、且つ、マーク及び特徴点を撮像画像から認識し得ることが前提となる。
【０００６】
しかしながら、対象物が屋外にある場合、あるいは、対象物の周辺に種々様々な物体が配置されているような場合には、特徴点を撮像画像から正しく認識することができない状況も生じやすい。そして、このような場合には、対象物の関連情報を撮像画像内の適切な位置に表示することができないものとなりやすい。
【０００７】
また、撮像画像を見る一般の利用者は、特徴点がどの箇所に存在するものであるかを知らない場合も多い。そして、このような場合には、利用者は、対象物の関連情報を撮像画像に表示させるために、どのような視線方向で撮像を行ったら良いのかが判らず、所望の関連情報を表示させるのに手間取ってしまうという状況が発生しやすい。
【０００８】
本発明はかかる背景に鑑みてなされたものであり、関連情報の表示対象の被写体物が存在するエリアを撮像しようとする利用者が、該被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことを容易に実現できる関連情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の関連情報表示装置の第１の態様は、上記の目的を達成するために、関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物に係る関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
前記マーカは、枠状に形成されたマーカ、又は、上下方向もしくは横方向もしくは斜め方向に間隔を存して配置された一対もしくは複数対の要素部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の少なくとも１つ以上の対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることを特徴とする（第１発明）。
【００１０】
なお、本発明の第１の態様において、「マーカの画像の内側領域」というのは、該マーカが枠状に形成されたマーカである場合には、当該枠状のマーカの画像の枠内領域を意味する。また、マーカが一対もしくは複数対の要素部材により構成されたものである場合には、「マーカの画像の内側領域」というのは、各対の要素部材の間の間隔内領域を意味する。
【００１１】
また、任意の物体Ａ（例えば撮像装置）と物体Ｂ（例えばマーカ）との「空間的な配置関係」というのは、物体Ａと物体Ｂとの空間的な位置及び姿勢の相対関係を意味する。
【００１２】
上記第１発明によれば、前記撮像装置により前記エリアの撮像を行う利用者は、撮像装置と該エリアとの間に前記マーカを介在させた状態で該エリア及びマーカの撮像を行う。これにより、マーカの画像の内側領域に少なくとも１つ以上の対象被写体物の画像が写る状態が実現される。
【００１３】
そして、このように前記エリア及びマーカの撮像を行うと、前記配置関係特定手段によって、撮像画像におけるマーカの画像の配置状態（撮像画像の全体におけるマーカの画像の位置、サイズ、形状等の状態）に基づいて、撮像装置とマーカとの空間的な配置関係が特定される。
【００１４】
この場合、マーカは画像特徴を有するので、配置関係特定手段は、撮像画像中のマーカの画像を、該マーカの背景画像と区別して認識することを高い信頼性で行うことができる。このため、撮像画像におけるマーカの画像の配置状態に基づいて、撮像装置とマーカとの空間的な配置関係を精度よく特定できる。
【００１５】
さらに、前記画像位置特定手段によって、前記撮像画像における対象被写体物の画像の位置が特定される。この場合、撮像装置とマーカとの空間的な配置関係と、対象被写体物とマーカとの空間的な配置関係とに応じて、撮像画像中のどの位置に、対象被写体物の画像が写るのかが規定される。従って、画像位置特定手段は、前記配置関係特定手段により特定された撮像装置とマーカとの空間的な配置関係と、対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を正しく特定できることとなる。
【００１６】
そして、前記表示制御手段によって、対象被写体物の関連情報を前記撮像画像上で表示させるべき位置が決定され、当該決定した位置に該対象被写体物に係る関連情報が表示される。この場合、前記画像位置特定手段により特定された対象被写体物の画像の位置に応じて、該対象被写体物に係る関連情報を前記撮像画像上で表示させるべき位置を決定することで、対象被写体物の実際の画像に対応する適切な位置に、当該関連情報を表示させることができる。
【００１７】
ここで、第１発明によれば、前記撮像装置とエリアとの間にマーカを介在させた状態で該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の少なくとも１つ以上の対象被写体物の画像が該マーカの画像の内側領域に写る状態が実現される。
【００１８】
このため、利用者は、前記エリアにおける対象被写体物の位置を意識的に考慮せずとも、前記マーカの内側の空隙を通して該マーカの奥側に見える領域の画像を撮像画像の中心付近に配置するようにして、前記エリア及びマーカの撮像を行うだけで、マーカの画像の内側領域に、該エリア内の少なくとも１つ以上の対象被写体物の画像を写すことができる。
【００１９】
従って、利用者は、容易に、対象被写体物の画像を撮像画像中に適切に写す状態を実現できる。
【００２０】
よって、第１発明によれば、関連情報の表示対象の被写体物が存在するエリアを撮像しようとする利用者が、該被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことを容易に実現できる。ひいては、該対象被写体物に係る関連情報を、容易に撮像画像中に表示させることができる。
【００２１】
上記第１発明では、前記マーカは、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部に位置するように該マーカ及び前記エリアを撮像したとき、前記エリア内の全ての対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることが好ましい（第２発明）。
【００２２】
これによれば、利用者は、マーカの画像が撮像画像の周縁部に位置するように該マーカ及び前記エリアを撮像するだけで、前記エリアの全ての対象被写体物の画像を撮像画像中に写すことができる。ひいては、全ての対象被写体物に係る関連情報を容易に取得することができる。また、この場合、マーカの画像の内側領域が撮像画像の全体のうちに占める面積が大きくなるため、各対象被写体物の画像及び関連情報の表示を見易くできる。
【００２３】
上記第１発明又は第２発明では、前記表示制御手段は、前記撮像画像に写っている前記対象被写体物のうち、前記マーカの画像の内側領域内に写っている対象被写体物に係る関連情報だけを前記撮像画像上に表示するように構成されていることが好ましい（第３発明）。
【００２４】
これによれば、前記マーカの画像の外側に写る対象被写体物については、関連情報が表示されないこととなる。このため、利用者は、関連情報を表示させたい対象被写体物を、マーカの画像の内側領域に写すべきことを容易に認識することができる。ひいては、利用者が、対象被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことをより一層、容易に実現できる。
【００２５】
さらに、利用者は、マーカの画像をできるだけ撮像画像の周縁部に位置させるように該マーカ及びエリアの撮像を行うことを意識的に行うようになる。このため、特に第３発明を前記第２発明と組み合わせた場合には、利用者が、全ての対象被写体物を撮像画像に写すように撮像を行うことを容易に実現できる。
【００２６】
上記第１〜第３発明では、前記表示制御手段は、前記撮像画像のうちの前記マーカの画像の内側領域に前記エリアが写る状態で、該マーカの内側領域の全体に該エリアに関連する情報を表示する機能をさらに含むように構成され得る（第４発明）。
【００２７】
これによれば、撮像画像のうちのマーカの画像の内側領域の全体に、前記エリアに関連する情報を表示させることもできる。
【００２８】
次に、本発明の第２の態様は、関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物の関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
前記マーカは、上下方向又は横方向に延在するように配置された長尺部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部で上下方向又は横方向に延在するように該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の全ての対象被写体物の画像が該マーカの画像の側方領域に写るように配設されていることを特徴とする（第５発明）。
【００２９】
なお、本発明の第２の態様において、「マーカの画像の側方領域」というのは、該マーカが上下方向に延在するように配置された長尺部材により構成されたマーカである場合には、該マーカの画像の左側又は右側の領域を意味し、該マーカが横方向に延在するように配置された長尺部材により構成されたマーカである場合には、該マーカの画像の上側又は下側の領域を意味する。
【００３０】
また、前記第１の態様の場合と同様に、任意の物体Ａ（例えば撮像装置）と物体Ｂ（例えばマーカ）との「空間的な配置関係」というのは、物体Ａと物体Ｂとの空間的な位置及び姿勢の相対関係を意味する。
【００３１】
上記第５発明によれば、前記撮像装置により前記エリアの撮像を行う利用者は、撮像装置と該エリアとの間に前記マーカを介在せた状態で該エリア及びマーカの撮像を行う。この場合、利用者は、長尺部材により構成されたマーカの画像が、撮像画像の周縁部に位置するように（すなわち、撮像画像の周縁部で上下方向又は横方向に延在する画像となるように）、前記エリア及びマーカの撮像を行う。これにより、マーカの画像の内側領域に少なくとも１つ以上の対象被写体物の画像が写る状態が実現される。
【００３２】
そして、このように前記エリア及びマーカの撮像を行うと、前記配置関係特定手段、画像位置特定手段、及び表示制御手段の処理が前記第１の態様の発明と同様に行われ、撮像画像中の対象被写体物の画像に対応する適切な位置に該対象被写体物に係る関連情報が表示される。
【００３３】
かかる第５発明においては、利用者は、前記エリアにおける対象被写体物の位置を意識的に考慮せずとも、前記マーカの画像が、撮像画像の周縁部に位置するように、前記エリア及びマーカの撮像を行うだけで、マーカの画像の側方領域に、該エリア内の全ての対象被写体物の画像を写すことができる。
【００３４】
よって、第５発明によれば、関連情報の表示対象の被写体物が存在するエリアを撮像しようとする利用者が、該被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことを容易に実現できる。ひいては、該対象被写体物に係る関連情報を、容易に撮像画像中に表示させることができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態における対象被写体物が配置されたエリアとマーカとを示す図。
【図２】図１に示すエリアとマーカとの撮像画像を示す図。
【図３】撮像装置を備える端末機の一例を示す図。
【図４】図３の端末機の演算処理装置とサーバとを示すブロック図。
【図５】図５Ａ、図５Ｂ及び図５Ｃはそれぞれ他の実施形態におけるマーカの撮像画像の例を示す図。
【図６】図６Ａ及び図６Ｂはそれぞれ他の実施形態おけるマーカの撮像画像の例を示す図。
【発明を実施するための形態】
【００３６】
本発明の一実施形態を図１〜図４を参照して以下に説明する。
【００３７】
図１を参照して、ＡＲは、関連情報の表示対象の被写体物である対象被写体物が配置されたエリアである。該エリアＡＲは、複数の対象被写体物を含む。本実施形態の一例では、エリアＡＲは、例えば再生可能エネルギーの研究施設の屋外エリアである。そして、エリアＡＲは、対象被写体物として、例えば太陽光発電パネル１と風力発電機２とを含む。以降の説明では、太陽光発電パネル１及び風力発電機２を区別する必要が無いときは、それらを単に対象被写体物１，２と称する。
【００３８】
本実施形態の関連情報表示装置は、かかるエリアＡＲの撮像画像に、対象被写体物１，２に関連する情報を重畳表示する装置である。この関連情報表示装置は、１つ又は複数の、例えば２つのマーカ１０ａ，１０ｂを備える。マーカ１０ａ，１０ｂは、いずれもエリアＡＲを視認し得る場所に設置されている。例えば、マーカ１０ａは、エリアＡＲの手前側の建造物（図示省略）の窓ガラス３に組み込まれ、マーカ１０ｂは、エリアＡＲの側方の建造物４の屋上に設置されている。
【００３９】
マーカ１０ａ，１０ｂは、いずれも同一構成のものである。以下、マーカ１０ａを代表的に説明する。マーカ１０ａは、本実施形態では、図１に示すように方形枠状に形成されたマーカである。該マーカ１０ａは、その内側の空隙領域（マーカ１０ａにより囲まれた空隙領域）をエリアＡＲに臨ませるようにして設置されている。このため、マーカ１０ａの内側の空隙領域を通してエリアＡＲを視認することが可能となっている。マーカ１０ａと、エリアＡＲの各対象被写体物１，２との間の配置関係（位置及び姿勢の相対関係）は一定である。
【００４０】
マーカ１０ａの手前側（エリアＡＲと反対側）の領域は、施設の見学者等、本実施形態の関連情報表示装置の利用者が、後述の撮像装置２１によりエリアＡＲの撮像を行い得る領域となっている。
【００４１】
この場合、撮像装置２１とエリアＡＲとの間にマーカ１０ａを介在させた状態（撮像装置２１から見て、マーカ１０ａが手前側、エリアＡＲが奥側となる状態）で該エリアＡＲ及びマーカ１０ａの撮像を行うことが可能となっている。
【００４２】
さらにこの場合、マーカ１０ａ全体の画像が、図２に示すように、撮像装置２１の撮像画像（表示器２２に表示される撮像画像）の周縁部に位置するように撮像装置２１をマーカ１０ａに対向させて配置した場合、マーカ１０ａの画像の内側領域（枠内領域）に、エリアＡＲの全ての対象被写体物１，２の画像を写し得るようにマーカ１０ａが配設されている。
【００４３】
また、マーカ１０ａは、該マーカ１０ａと共にエリアＡＲを撮像したときに、該マーカ１０ａの画像をマーカ１０ａの背景画像と区別して認識可能な画像特徴を有するように構成されている。
【００４４】
具体的には、マーカ１０ａの手前側の表面部には、該マーカ１０ａに特徴的な模様、パターン、色彩等があらかじめ付されている。例えば、図２に示す例では、マーカ１０ａには白黒の格子模様が付されている。なお、マーカ１０ａの表面部に付される模様等の特徴は、マーカ１０ａの画像を、背景画像と区別して認識し得るものであればどのようなものであってもよい。また、マーカ１０ａの形状（外周形状等）に特徴を持たせるようにしてもよい。
【００４５】
以上説明したマーカ１０ａに関する構成は、マーカ１０ｂについても同様である。以降の説明では、マーカ１０ａ，１０ｂを区別する必要がないときは、マーカ１０ａ，１０ｂのそれぞれを総称的にマーカ１０と称する。
【００４６】
なお、関連情報表示装置に備えるマーカは、マーカ１０ａ，１０ｂのいずれか一方だけであってもよく、あるいは、さらに多くのマーカを備えていてもよい。また、マーカ１０ａ，１０ｂのそれぞれの画像特徴は互いに異なる特徴であってもよい。
【００４７】
図３及び図４に示すように、撮像装置２１は、本実施形態では、スマートフォン、タブレット端末等の携帯型の端末機２０に搭載されたものである。該端末機２０は、撮像装置２１による撮像画像を表示可能な表示器２２と、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む電子回路により構成された演算処理装置２３とを含む。
【００４８】
そして、端末機２０の演算処理装置２３には、本実施形態の関連情報表示装置に係るアプリケーション（以降、関連情報表示用アプリケーションという）があらかじめインストールされており、この関連情報表示用アプリケーションによって、本実施形態の関連情報表示装置の構成要素としての機能が端末機２０に付されている。
【００４９】
具体的には、演算処理装置２３は、インストールされた関連情報表示用アプリケーションにより実現される機能として、マーカ１０及びエリアＡＲの撮像画像から、マーカ１０と撮像装置２１との間の空間的な配置関係（位置及び姿勢の相対関係）を特定する配置関係特定部３１と、該撮像画像における対象被写体物１，２の画像の位置を特定する画像位置特定部３２と、表示器２２に表示された撮像画像に対象被写体物１，２の関連情報を重畳して表示させる表示制御部３３とを含む。
【００５０】
また、演算処理装置２３は、マーカ１０と各対象被写体物１，２との空間的な配置関係を表す３次元データと、各対象被写体物１，２の関連情報とをあらかじめ記憶保持したサーバ４０と通信することが可能となっている。サーバ４０は、端末機２０からの要求に応じて、上記３次元データや関連情報を端末機２０に送信する機能を有する。
【００５１】
なお、配置関係特定部３１、画像位置特定部３２、及び表示制御部３３は、それぞれ本発明における配置関係特定手段、画像位置特定手段、表示制御手段に相当する。
【００５２】
次に、本実施形態の関連情報表示装置による関連情報の表示作動について説明する。
【００５３】
利用者が対象被写体物１，２の関連情報を見ようとするとき、利用者は、まず、自身の端末機２０にあらかじめインストールした関連情報表示用アプリケーションを起動する。そして、利用者は、関連情報表示用アプリケーションを起動した自身の端末機２０と、エリアＡＲとの間にマーカ１０を介在させた状態で、端末機２０の撮像装置２１によりマーカ１０及びエリアＡＲを撮像し、その撮像画像を端末機２０の表示器２２に表示させる。
【００５４】
このとき、利用者は、図２に示したようにマーカ１０（１０ａ）の画像を撮像画像全体の周縁部に位置させるように、マーカ１０に対する撮像装置２１の距離及び方向を調整する。これにより、端末機２０の表示器２２に表示されている撮像画像のうち、マーカ１０の画像の内側領域に全ての対象被写体物１，２の画像が写るようになる。
【００５５】
この場合、利用者は、表示器２２に表示された撮像画像におけるマーカ１０の画像を見ながら、該マーカ１０の正面側から、該マーカ１０の内側の空隙領域を通して、該マーカ１０の奥側のエリアＡＲを撮像するようにマーカ１０に対する撮像装置２１の位置及び姿勢（光軸の向き）を調整するだけで、容易に、マーカ１０と撮像装置２１との適切な配置関係を実現できる。
【００５６】
また、マーカ１０の画像を撮像画像全体の周縁部に位置させることで、撮像画像全体のうちの中央寄りの広い領域がマーカ１０の画像の内側領域となり、当該広い領域にエリアＡＲの対象被写体物１，２を写すことができる。
【００５７】
なお、利用者は、マーカ１０に対する撮像装置２１の位置又は姿勢を調整することで、マーカ１０の画像の内側領域（枠内領域）に、対象被写体物１，２のいずれか一方の画像だけが写るようにすることも可能である。
【００５８】
一方、端末機２０の演算処理装置２３は、配置関係特定部３１の処理を実行することで、マーカ１０と撮像装置２１との相対的な配置関係を特定する。具体的には、配置関係特定部３１は、撮像装置２１の撮像画像から、エッジ抽出及びパターン認識等の画像認識処理により、マーカ１０の画像を認識する。この場合、マーカ１０には画像特徴が付されているため、配置関係特定部３１は、マーカ１０の画像を高い信頼性で正しく認識することができる。
【００５９】
そして、配置関係特定部３１は、撮像画像の全体におけるマーカ１０の画像の位置、該マーカ１０の画像の形状、及びサイズ、並びに、撮像装置２１のあらかじめ設定された焦点距離等から、マーカ１０と撮像装置２１との空間的な配置関係を特定する。該配置関係は、撮像装置２１に対するマーカ１０の方位、及び、撮像装置２１とマーカ１０との間の距離、あるいは、これらの方位及び距離を規定するデータ等により構成される。
【００６０】
次に、端末機２０の演算処理装置２３は、画像位置特定部３２の処理を実行することで、撮像画像における対象被写体物１，２の画像の位置を特定する。具体的には、画像位置特定部３２は、サーバ４０との通信によって、前記３次元データにより表されるマーカ１０と各対象被写体物１，２との既定の空間的な配置関係を示すデータをサーバ４０から取得する。
【００６１】
そして、画像位置特定部３２は、サーバ４０から取得した当該データと、配置関係特定部３１の処理により特定されたマーカ１０と撮像装置２１との空間的な配置関係とに基づいて、端末機２０の表示器２２に表示されている撮像画像における各対象被写体物１，２の画像の位置を特定する。
【００６２】
さらに詳細には、画像位置特定部３２は、サーバ４０から取得した当該データと、マーカ１０と撮像装置２１との空間的な配置関係とから、撮像装置２１と各対象被写体物１，２との空間的な配置関係を特定する。そして、画像位置特定部３２は撮像装置２１と各対象被写体物１，２との空間的な配置関係と、撮像装置２１の焦点距離とから撮像画像における各対象被写体物１，２の画像位置を特定する。
【００６３】
次に、端末機２０の演算処理装置２３は、表示制御部３３の処理により、各対象被写体物１，２の関連情報を撮像画像に重畳した状態で表示器２２に表示させる。具体的には、表示制御部３３は、サーバ４０との通信によって、各対象被写体物１，２の関連情報をサーバ４０から取得する。本実施形態では、対象被写体物としての太陽光発電パネル１及び風力発電機２のそれぞれの関連情報は、例えば、それぞれの種別、現在の発電出力、定格発電出力等である。なお、関連情報は、各対象被写体物１，２に関連する情報であれば、任意に種々様々な情報を採用し得る。
【００６４】
そして、表示制御部３３は、対象被写体物１，２のうち、マーカ１０の画像の内側領域（枠内領域）に写っている各対象被写体物についての関連情報を、表示器２２に表示されている撮像画像のうちの該対象被写体物の画像に対応する位置（例えば該対象被写体物の画像上の位置、又は該対象被写体物の画像の近傍位置等）に表示する。
【００６５】
本実施形態の一例では、例えば、図２に示すように、太陽光発電パネル１の画像上に、該太陽光発電パネル１が太陽光発電を行うものであることと、該太陽光発電パネル１の現在の発電出力とを示す関連情報１ａが表示される。また、風力発電機２の画像の横に、該風力発電機２が風力発電を行うものであることと、該風力発電機２の現在の発電出力とを示す関連情報２ａが表示される。
【００６６】
これにより利用者は、各対象被写体物についての関連情報を取得することができる。
【００６７】
なお、本実施形態では、表示制御部３３は、マーカ１０の画像の内側領域（枠内領域）に写っていない対象被写体物については、該対象被写体物の関連情報の表示を省略する。従って、マーカ１０の画像の内側領域（枠内領域）に対象被写体物１，２のうちの一方の対象被写体物の画像だけが写っている場合には、当該一方の対象被写体物の関連情報だけが表示器２２に表示され、他方の対象被写体物の関連情報は表示器２２に表示されない。
【００６８】
本実施形態では、対象被写体物１，２のそれぞれの関連情報の表示は、上記の如く行われる。
【００６９】
かかる本実施形態では、エリアＡＲに配置されている対象被写体物１，２の関連情報を見ようとする利用者は、端末機２０の表示器２２に表示される撮像画像の周縁部にマーカ１０の画像を位置させるように撮像装置２１の位置及び姿勢を調整するだけで、対象被写体物１，２の画像を、容易に、撮像画像全体のうちの視認し易い好適な位置に写すことができる。そして、この状態で、各対象被写体物１，２の関連情報を各対象被写体物１，２の画像に対応する適切な位置に表示させることができる。
【００７０】
従って、利用者は、撮像装置２１の位置及び姿勢を、各対象被写体物１，２の関連情報を撮像画像中に表示させる上で好適な状態に調整することを容易に行うことができる。ひいては、利用者は、各対象被写体物１，２の関連情報を効率よく円滑に取得できる。
【００７１】
また、本実施形態では、各対象被写体物１，２のうち、マーカ１０の画像の内側領域に写っている対象被写体物についてだけ、関連情報が表示される。このため、撮像装置２１を位置及び姿勢を、マーカ１０の画像の内側領域（枠内領域）に対象被写体物１，２の画像が写ることとなる好適な状態に調整すること（マーカ１０の画像を撮像画像の周縁部にに位置させるようにすること）を利用者に促すことができる。
【００７２】
次に、他の実施形態をいくつか説明する。マーカは、図１及び図２に示したものに限らず、種々様々な形態のものを採用できる。例えば、マーカは、長円形状もしくは楕円形状の枠体により構成されていてもよい。
【００７３】
また、例えば、図５Ａ、図５Ｂ、又は図５Ｃに示すように、マーカが構成されていてもよい。
【００７４】
図５Ａは、横方向に間隔を存して配置された一対の要素部材１１ａ，１１ｂにより構成されるマーカ１１を例示し、図５Ｂは、上下方向に間隔を存して配置された一対の要素部材１２ａ，１２ｂにより構成されるマーカ１２を例示し、図５Ｃは、斜め方向に間隔を存して配置された一対の要素部材１３ａ，１３ｂにより構成されるマーカ１３を例示している。
【００７５】
なお、図５Ａ〜図５Ｃでは、マーカ１１，１２，１３に画像特徴を持たせるための模様等の記載を省略している。
【００７６】
図５Ａに例示するマーカ１１では、一対の要素部材１１ａ，１１ｂは、上下方向に延在する長尺部材として形成されている。そして、該一対の要素部材１１ａ，１１ｂの間の空間は、エリアＡＲに対して遮蔽物が無い空隙となっている。
【００７７】
この場合、端末機２０の表示器２２の表示される撮像画像において、マーカ１１の要素部材１１ａ，１１ｂの画像を、図５Ａに示すように、左側及び右側のそれぞれの周縁部に位置させるように撮像装置２１の位置及び姿勢を調整することで、要素部材１１ａ，１１ｂの内側領域（要素部材１１ａ，１１ｂの間の領域）にエリアＡＲの全ての対象被写体物１，２を写すことができるように要素部材１１ａ，１１ｂが配設されている。
【００７８】
なお、横方向に間隔を有する要素部材１１ａ，１１ｂは、長尺なものではない部材（例えば円形状の部材等）であってもよい。また、横方向の間隔が互いに同一となる複数対の要素部材１１ａ，１１ｂが上下方向に並ぶように配設されていてもよい。
【００７９】
図５Ｂに例示するマーカ１２では、一対の要素部材１２ａ，１２ｂは、横方向に延在する長尺部材として形成されている。そして、該一対の要素部材１２ａ，１２ｂの間の空間は、エリアＡＲに対して遮蔽物が無い空隙となっている。
【００８０】
この場合、端末機２０の表示器２２の表示される撮像画像において、マーカ１２の要素部材１２ａ，１２ｂの画像を、図５Ｂに示すように、上側及び下側のそれぞれの周縁部に位置させるように撮像装置２１の位置及び姿勢を調整することで、要素部材１２ａ，１２ｂの内側領域（要素部材１２ａ，１２ｂの間の領域）にエリアＡＲの全ての対象被写体物１，２を写すことができるように要素部材１２ａ，１２ｂが配設されている。
【００８１】
なお、上下方向に間隔を有する要素部材１２ａ，１２ｂは、長尺なものではない部材（例えば円形状の部材等）であってもよい。また、上下方向の間隔が互いに同一となる複数対の要素部材１２ａ，１２ｂが横方向に並ぶように配設されていてもよい。
【００８２】
図５Ｃに例示するマーカ１３では、一対の要素部材１３ａ，１３ｂは、長尺でない部材、例えば円形状の部材として形成されている。そして、該一対の要素部材１３ａ，１３ｂの間の空間は、エリアＡＲに対して遮蔽物が無い空隙となっている。
【００８３】
この場合、端末機２０の表示器２２に表示される撮像画像において、マーカ１３の要素部材１３ａ，１３ｂの画像を、図５Ｃに示すように、左上側及び右下側のそれぞれの周縁部（角部）に位置させるように撮像装置２１の位置及び姿勢を調整することで、要素部材１３ａ，１３ｂの内側領域（要素部材１３ａ，１３ｂの間の領域）にエリアＡＲの全ての対象被写体物１，２を写すことができるように要素部材１３ａ，１３ｂが配設されている。
【００８４】
なお、要素部材１３ａ，１３ｂは、円形状以外の形状（例えば、正方形状等）に形成されていてもよい。また、要素部材１３ａ，１３ｂの代わりに、又は要素部材１３ａ，１３ｂに加えて、撮像画像の右上側の角部と左下側の角部とを結ぶ斜め方向に間隔を存する一対の要素部材がマーカの構成要素として備えられていてもよい。
【００８５】
図５Ａ、図５Ｂ及び図５Ｃに示す実施形態は、マーカ１１〜１３の構成以外は、図１〜図４を参照して説明した実施形態と同じである。
【００８６】
以上の如くマーカ１１〜１３を構成した場合であっても、前記した方形枠状のマーカ１０を備える実施形態の場合と同様に、利用者は、撮像装置２１の位置及び姿勢を、各対象被写体物１，２の関連情報を撮像画像中に表示させる上で好適な状態に調整することを容易に行うことができる。ひいては、利用者は、各対象被写体物１，２の関連情報を効率よく円滑に取得できる。
【００８７】
また、マーカは、例えば図６Ａ又は図６Ｂに例示する如く構成されていてもよい。なお、図６Ａ及び図６Ｂでは、マーカ１４，１５に画像特徴を持たせるための模様等の記載を省略している。
【００８８】
図６Ａに例示するマーカ１４は、上下方向に延在する単一の長尺部材として形成されている。この場合、端末機２０の表示器２２の表示される撮像画像において、マーカ１４の画像を、図６Ａに示すように、左側及び右側のいずれか一方側の周縁部（図示例では左側の周縁部）に位置させるように撮像装置２１の位置及び姿勢を調整することで、マーカ１４の延在方向に直交する方向でのマーカ１４の側方領域（図示例では、マーカ１４の右側領域）にエリアＡＲの全ての対象被写体物１，２を写すことができるようにマーカ１４が配設されている。
【００８９】
また、図６Ｂに例示するマーカ１５は、横方向に延在する単一の長尺部材として形成されている。この場合、端末機２０の表示器２２の表示される撮像画像において、マーカ１４の画像を、図６Ｂに示すように、上側及び下側のいずれか一方側の周縁部（図示例では下側の周縁部）に位置させるように撮像装置２１の位置及び姿勢を調整することで、マーカ１５の延在方向に直交する方向でのマーカ１５の側方領域（図示例では、マーカ１５の上側領域）にエリアＡＲの全ての対象被写体物１，２を写すことができるようにマーカ１５が配設されている。
【００９０】
なお、図６Ａ及び図６Ｂに示す実施形態では、表示制御部３３は、撮像画像中に写っている各対象被写体物についての関連情報を撮像画像中に表示する。ただし、エリアＡＲに配置された全ての対象被写体物１，２が写っている場合にだけ、あるいは、マーカ１４，１５が撮像画像の周縁部に写っている場合にだけ、各対象被写体物についての関連情報を撮像画像中に表示するようにしてもよい。
【００９１】
以上の如くマーカ１４，１５を構成した場合であっても、前記した方形枠状のマーカ１０を備える実施形態の場合と同様に、利用者は、撮像装置２１の位置及び姿勢を、各対象被写体物１，２の関連情報を撮像画像中に表示させる上で好適な状態に調整することを容易に行うことができる。ひいては、利用者は、各対象被写体物１，２の関連情報を効率よく円滑に取得できる。
【００９２】
なお、以上説明した各実施形態では、配置関係特定部３１、画像位置特定部３２、及び表示制御部３３しての機能を端末機２０の演算処理装置２３に持たせたが、配置関係特定部３１、画像位置特定部３２、及び表示制御部３３の機能の一部をサーバ４０に持たせることも可能である。例えば、画像位置特定部３２の処理をサーバ４０で実行させることも可能である。
【００９３】
また、例えば、サーバ４０に記憶保持した３次元データと各対象被写体物の関連情報とを、前記関連情報表示用アプリケーションと共に端末機２０にダウンロードさせるようにして、前記配置関係特定部３１、画像位置特定部３２及び表示制御部３３の処理を、サーバ４０との通信を行うことなく、端末機２０の演算処理装置２３で実行するようにしてもよい。
【００９４】
また、図１〜図４に示した実施形態、あるいは、図５Ａ〜図５Ｃに示した実施形態では、マーカ１０〜１３の画像の内側領域に写っている対象被写体物についてだけ、関連情報の表示を行うようにしたが、マーカ１０〜１３の画像の外側領域に写っている対象被写体物についても、関連情報の表示を行うようにすることも可能である。この場合、各対象被写体物について表示する関連情報を、該対象被写体物がマーカ１０〜１３の画像の内側領域に写っている場合と、外側領域に写っている場合とで異ならせるようにしてもよい。
【００９５】
例えば、各対象被写体物についての関連情報を、該対象被写体物がマーカ１０〜１３の画像の外側領域に写っている場合よりも、内側領域に写っている場合の方がより詳細な情報になるようにしてもよい。
【００９６】
また、図１〜図４に示した実施形態、あるいは、図５Ａ〜図５Ｃに示した実施形態において、前記表示制御部３３は、例えば、端末機２０の表示器２２の表示される撮像画像のうちのマーカ１０〜１３の画像の内側領域にエリアＡＲが写るように端末機２０を配置した状態で、該端末機２０の所定の操作等に応じて、あるいは、該エリアＡＲの撮像開始直後の所定期間等において、該エリアＡＲに関連する情報を、マーカ１０〜１３の画像の内側領域の全体に表示させる機能をさらに備えるように構成されていてもよい。
【符号の説明】
【００９７】
１，２…対象被写体物、１０（１０ａ，１０ｂ），１１，１２，１３，１４，１５…マーカ、２１…撮像装置、２２…表示器、３１…配置関係特定部（配置関係特定手段）、３２…画像位置特定部（画像位置特定手段）、３３…表示制御部（表示制御手段）、１１ａ，１１ｂ，１２ａ，１２ｂ，１３ａ，１３ｂ…要素部材。
【図１】
2018189999.tif 000003
【図２】
2018189999.tif 000004
【図３】
2018189999.tif 000005
【図４】
2018189999.tif 000006
【図５】
2018189999.tif 000007
【図６】
2018189999.tif 000008