(57)【特許請求の範囲】
【請求項１】
撮影または再生により表示中の対象物の撮影位置を決定する撮影位置決定手段と、
撮影または再生により表示中の対象物の前記撮影位置からの方向を検出する方向検出手段と、
前記撮影位置を始点とし、前記方向を向くベクトルの長さを予め定めた基準に基づいて決定し、対象物ベクトルとして生成するベクトル生成手段と、
前記対象物の関連情報を設定する関連情報設定手段と、
前記関連情報を前記対象物ベクトルと関連付けて記憶する関連情報記憶手段と、
座標軸を有し、前記撮影位置を始点とし前記方向を向く対象物ベクトルの終点が前記座標軸上の座標と関連付けられた仮想３次元空間を設定する仮想３次元空間設定手段と、
前記撮影位置と撮影に使用するカメラの撮影方位、傾き及び画角とに基づいて、前記仮想３次元空間における表示範囲を特定する表示範囲特定手段と、
前記仮想３次元空間における表示範囲に終点が含まれる前記対象物ベクトルに関連付けられた前記関連情報を特定する関連情報特定手段と、
前記特定された関連情報を前記表示中の画像に重畳して表示する表示手段と、
を備え、
前記ベクトル生成手段は、前記方向の俯角が予め定めた基準角度以上の場合に、前記始点から対象物ベクトルの方向に引いた直線と予め設定された地平面の方程式とから演算した交点の座標に基づいて前記対象物ベクトルの長さを決定する、対象物記録装置。
【請求項２】
前記ベクトル生成手段は、前記方向の俯角が予め定めた基準角度より小さい場合に、前記カメラの設置位置の高さに基づいて前記対象物ベクトルの長さを決定する、請求項１に記載の対象物記録装置。
【請求項３】
前記対象物ベクトルの長さを、別の方向から撮影または再生した画像上で前記ベクトル生成手段が生成した同一の対象物に対する新たな対象物ベクトルに基づいて補正するベクトル補正手段をさらに備える、請求項１または２に記載の対象物記録装置。
【請求項４】
撮影または再生により表示中の対象物の撮影位置を決定する撮影位置決定手段と、
撮影または再生により表示中の対象物の前記撮影位置からの方向を検出する方向検出手段と、
前記撮影位置を始点とし、前記方向を向くベクトルの長さを予め定めた基準に基づいて決定し、対象物ベクトルとして生成するベクトル生成手段と、
前記対象物の関連情報を設定する関連情報設定手段と、
前記関連情報を前記対象物ベクトルと関連付けて記憶する関連情報記憶手段と、
座標軸を有し、前記撮影位置を始点とし前記方向を向く対象物ベクトルの終点が前記座標軸上の座標と関連付けられた仮想３次元空間を設定する仮想３次元空間設定手段と、
前記撮影位置と撮影に使用するカメラの撮影方位、傾き及び画角とに基づいて、前記仮想３次元空間における表示範囲を特定する表示範囲特定手段と、
前記仮想３次元空間における表示範囲に終点が含まれる前記対象物ベクトルに関連付けられた前記関連情報を特定する関連情報特定手段と、
前記特定された関連情報を前記表示中の画像に重畳して表示する表示手段と、
前記表示手段が、前記仮想３次元空間における前記対象物ベクトルの終点の座標を前記関連情報の座標として、当該座標の予め設定された地平面への投影点を表示し、入力手段を介して前記投影点の位置を変更したときに、前記関連情報に関連付けられた前記対象物ベクトルの長さ及び／または方向を補正するベクトル補正手段と、
を備える、対象物記録装置。
【請求項５】
撮影機能及び撮影した画像の表示機能を有するタブレット型端末上で構成されている、請求項１から４のいずれか一項に記載の対象物記録装置。
【請求項６】
コンピュータを、
撮影または再生により表示中の対象物の撮影位置を決定する撮影位置決定手段、
撮影または再生により表示中の対象物の前記撮影位置からの方向を検出する方向検出手段、
前記撮影位置を始点とし、前記方向を向くベクトルの長さを予め定めた基準に基づいて決定し、対象物ベクトルとして生成するベクトル生成手段、
前記対象物の関連情報を設定する関連情報設定手段、
前記関連情報を前記対象物ベクトルと関連付けて記憶する関連情報記憶手段、
座標軸を有し、前記撮影位置を始点とし前記方向を向く対象物ベクトルの終点が前記座標軸上の座標と関連付けられた仮想３次元空間を設定する仮想３次元空間設定手段、
前記撮影位置と撮影に使用するカメラの撮影方位、傾き及び画角とに基づいて、前記仮想３次元空間における表示範囲を特定する表示範囲特定手段、
前記仮想３次元空間における表示範囲に終点が含まれる前記対象物ベクトルに関連付けられた前記関連情報を特定する関連情報特定手段、
前記特定された関連情報を前記表示中の画像に重畳して表示する表示手段、
として機能させ、
前記ベクトル生成手段は、前記方向の俯角が予め定めた基準角度以上の場合に、前記始点から対象物ベクトルの方向に引いた直線と予め設定された地平面の方程式とから演算した交点の座標に基づいて前記対象物ベクトルの長さを決定する機能を有する、対象物記録プログラム。
【請求項７】
コンピュータを、
撮影または再生により表示中の対象物の撮影位置を決定する撮影位置決定手段、
撮影または再生により表示中の対象物の前記撮影位置からの方向を検出する方向検出手段、
前記撮影位置を始点とし、前記方向を向くベクトルの長さを予め定めた基準に基づいて決定し、対象物ベクトルとして生成するベクトル生成手段、
前記対象物の関連情報を設定する関連情報設定手段、
前記関連情報を前記対象物ベクトルと関連付けて記憶する関連情報記憶手段、
座標軸を有し、対象物の撮影位置を始点とし対象物の方向を向く対象物ベクトルの終点が前記座標軸上の座標と関連付けられた仮想３次元空間を設定する仮想３次元空間設定手段、
前記撮影位置と撮影に使用するカメラの撮影方位、傾き及び画角とに基づいて、前記仮想３次元空間における表示範囲を特定する表示範囲特定手段、
前記仮想３次元空間における表示範囲に終点が含まれる前記対象物ベクトルに関連付けられた前記関連情報を特定する関連情報特定手段、
前記特定された関連情報を前記表示中の画像に重畳して表示する表示手段、
前記表示手段が、前記仮想３次元空間における前記対象物ベクトルの終点の座標を前記関連情報の座標として、当該座標の予め設定された地平面への投影点を表示し、入力手段を介して前記投影点の位置を変更したときに、前記関連情報に関連付けられた前記対象物ベクトルの長さ及び／または方向を補正するベクトル補正手段、
として機能させる、対象物記録プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物記録装置及び対象物記録プログラムに関する。
【背景技術】
【０００２】
従来から、道路や河川等の管理を行うために、画像データ、撮影時刻や撮影地等の属性データ、地図データ等を管理サーバーに蓄積し、あるいはこれらのデータを表示するシステムが提案されている。
【０００３】
例えば、下記特許文献１には、モバイルデバイスにおいて、目標物に対する前記モバイルデバイスの方位を、前記モバイルデバイスによってサポートされる少なくとも1つのセンサから受信した1つまたは複数の信号に少なくとも部分的に基づいて検出するステップと、前記方位にある間に前記モバイルデバイスのカメラビュー内にキャプチャされたビデオ画像を表示するステップと、前記方位と前記カメラビュー内で少なくとも部分的に覆い隠されている前記目標物との間の差に少なくとも部分的に基づいて、前記表示されたビデオ画像に1つまたは複数の視覚的インジケータをオーバーレイするステップと、を含む方法が開示されている。
【０００４】
また、下記特許文献２には、目標物の位置情報と、カメラの、撮影位置情報、撮影方位情報及び撮影画角情報とを取得する情報取得手段と、この情報取得手段により得られた目標物の位置情報と、カメラの、撮影位置情報、撮影方位情報及び撮影画角情報とに基づいて、上記カメラにより得られる撮影画像上における上記目標物の位置を算出する演算手段と、この演算手段により算出された上記撮影画像中の目標物の位置を表す情報を表示する表示手段と、上記カメラの撮影画角内に上記目標物が収まっているか否かを判断する判断手段とを具備し、上記表示手段は、この判断手段により上記カメラの撮影画角内に上記目標物が収まっていないと判断された場合、上記目標物のある方向を示す情報を表示することを特徴とする目標位置探索装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２０１４−５０５２５０公報
【特許文献２】特許第３７２９１６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記従来の技術においては、道路や河川等の対象物（被写体）の画像を表示画面に表示するものであるが、対象物（被写体）画像に対象物の説明その他の関連情報（視覚的インジケータ、目標物のある方向を示す情報等）を関連づけ、当該画像に重畳して表示する場合、その関連情報は座標情報を有しておらず、当該画像のみに表示できるだけであった。従って、当該対象物を別方向から撮影した別の画像には、上記関連情報を重畳して表示することはできなかった。
【０００７】
本発明は、撮影及び表示する対象物の関連情報に、当該関連情報を特定するための情報を付加して記録し、表示できる対象物記録装置及び対象物記録プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一実施形態は、対象物記録装置であって、撮影または再生により表示中の対象物の撮影位置を決定する撮影位置決定手段と、撮影または再生により表示中の対象物の前記撮影位置からの方向を検出する方向検出手段と、前記撮影位置を始点とし、前記方向を向くベクトルの長さを予め定めた基準に基づいて決定し、対象物ベクトルとして生成するベクトル生成手段と、前記対象物の関連情報を設定する関連情報設定手段と、前記関連情報を前記対象物ベクトルと関連付けて記憶する関連情報記憶手段と、を備えることを特徴とする。
【０００９】
上記対象物記録装置は、座標軸を有し、対象物の撮影位置を始点とし対象物の方向を向く対象物ベクトルの終点が前記座標軸上の座標と関連付けられた仮想３次元空間を設定する仮想３次元空間設定手段と、前記撮影位置と撮影に使用するカメラの撮影方位、傾き及び画角とに基づいて、前記仮想３次元空間における表示範囲を特定する表示範囲特定手段と、前記仮想３次元空間における表示範囲に終点が含まれる前記対象物ベクトルに関連付けられた前記関連情報を特定する関連情報特定手段と、前記特定された関連情報を前記表示中の画像に重畳して表示する表示手段と、をさらに備えるのが好適である。
【００１０】
また、上記ベクトル生成手段は、前記方向の俯角が予め定めた基準角度以上の場合に、前記始点から対象物ベクトルの方向に引いた直線と予め設定された地平面の方程式とから演算した交点の座標に基づいて前記対象物ベクトルの長さを決定するのが好適である。
【００１１】
また、上記ベクトル生成手段は、前記方向の俯角が予め定めた基準角度より小さい場合に、前記カメラの設置位置の高さに基づいて前記対象物ベクトルの長さを決定してもよい。
【００１２】
また、上記対象物記録装置は、上記対象物ベクトルの長さを、別の方向から撮影または再生した画像上で前記ベクトル生成手段が生成した同一の対象物に対する新たな対象物ベクトルに基づいて補正するベクトル補正手段をさらに備えてもよい。
【００１３】
また、上記対象物記録装置は、上記表示手段が、前記仮想３次元空間における前記対象物ベクトルの終点の座標を前記関連情報の座標として、当該座標の予め設定された地平面への投影点を表示し、入力手段を介して前記投影点の位置を変更したときに、前記関連情報に関連付けられた前記対象物ベクトルの長さ及び／または方向を補正するベクトル補正手段をさらに備えてもよい。
【００１４】
上記対象物記録装置は、撮影機能及び撮影した画像の表示機能を有するタブレット型端末上で構成されているのが好適である。
【００１５】
本発明の他の実施形態は、対象物記録プログラムであって、コンピュータを、撮影または再生により表示中の対象物の撮影位置を決定する撮影位置決定手段、撮影または再生により表示中の対象物の前記撮影位置からの方向を検出する方向検出手段、前記撮影位置を始点とし、前記方向を向くベクトルの長さを予め定めた基準に基づいて決定し、対象物ベクトルとして生成するベクトル生成手段、前記対象物の関連情報を設定する関連情報設定手段、前記関連情報を前記対象物ベクトルと関連付けて記憶する関連情報記憶手段、として機能させることを特徴とする。
【００１６】
また、上記対象物記録プログラムは、コンピュータを、座標軸を有し、対象物の撮影位置を始点とし対象物の方向を向く対象物ベクトルの終点が前記座標軸上の座標と関連付けられた仮想３次元空間を設定する仮想３次元空間設定手段、前記撮影位置と撮影に使用するカメラの撮影方位、傾き及び画角とに基づいて、前記仮想３次元空間における表示範囲を特定する表示範囲特定手段、前記仮想３次元空間における表示範囲に終点が含まれる前記対象物ベクトルに関連付けられた前記関連情報を特定する関連情報特定手段、前記特定された関連情報を前記表示中の画像に重畳して表示する表示手段、としてさらに機能させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、撮影及び表示する対象物の関連情報に、当該関連情報を特定するための情報を付加して記録し、当該対象物を別方向から撮影した別の画像にも重畳して表示できる。
【図面の簡単な説明】
【００１８】
【図１】実施形態にかかる対象物記録装置の例の説明図である。
【図２】実施形態にかかる対象物記録装置の機能ブロック図である。
【図３】実施形態にかかる方向検出部が検出する対象物の撮影位置からの方向の説明図である。
【図４】仮想３次元空間の説明図である。
【図５】実施形態にかかる第１の補正及び第２の補正の説明図である。
【図６】実施形態にかかる対象物記録装置の使用例の説明図である。
【図７】実施形態にかかる対象物記録装置の動作例のフロー図である。
【図８】実施形態にかかる対象物記録装置の他の動作例のフロー図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態（以下、実施形態という）を、図面に従って説明する。
【００２０】
図１（ａ）、（ｂ）には、実施形態にかかる対象物記録装置の説明図が示される。図１（ａ）において、撮影機能及び撮影した画像の再生表示機能を有するタブレット端末等の撮影・表示端末１０は、表側に画像を表示する表示画面１２が、裏側に撮影対象（対象物）を撮影するためのカメラ１４（図１（ｂ）参照）が設けられている。
【００２１】
上記カメラ１４は、ステレオカメラとする必要はなく、動画撮影のできるものであれば、単一のカメラ（撮影装置）により構成することができる。なお、カメラ１４は、ＣＣＤ、ＣＭＯＳ等を使用した撮像素子で構成することができる。
【００２２】
撮影・表示端末１０は、上記カメラ１４により矢印Ａ方向を撮影し、道路、河川、建造物その他の対象物（撮影対象）を含む画像を撮影しつつ表示画面１２に当該画像を表示する。あるいは、過去に撮影した対象物を含む画像を記憶しておき、これを表示画面１２に再生表示することもできる。なお、過去に撮影した画像のデータは、外部のサーバー等に格納しておき、撮影・表示端末１０がインターネット回線その他の適宜な通信回線を介して取得し、再生表示する構成としてもよい。本実施形態にかかる撮影・表示端末１０では、撮影・表示端末１０で撮影中の対象物を含む画像を表示している際に、あるいは過去に撮影した画像を再生表示している際に、対象物に関連する関連情報を設定し、対象物を含む画像に重畳する処理を実行する。関連情報の設定方法及び表示例は後述する。
【００２３】
なお、撮影・表示端末１０は、タブレット端末に限定されるものではなく、撮影機能、撮影した画像の表示機能、インターネット回線や電話回線等を使用して外部のサーバーと通信する機能、撮影方位を検出する機能、ジャイロ等を使用して自分の傾きを検出する機能及びＧＰＳ等を使用して自分の位置を特定する機能等を有するものであれば撮影・表示端末１０として使用できる。
【００２４】
さらに、車両搭載型レーザー計測装置であるＭＭＳ（道路現況レーザー計測（Mobile Mapping System：モービル・マッピング・システム））を撮影装置（カメラ１４）として使用し、取得した単写真あるいは全周囲画像をコンピュータ等の適宜な画面（表示画面１２）上に表示する構成としてもよい。
【００２５】
また、上記関連情報としては、例えば過去における道路や周辺設備の修理箇所、破損状況、道路や河川の識別符号（国道の番号、河川コード等）、道路や河川に設定されたキロポストの位置、道路周囲の建物の名称や、当該建物に入居している施設、都道府県名、市区町村名、地番等が挙げられるが、これらに限定されるものではない。道路、河川、建造物その他の対象物に関連する情報であればどのような情報であっても関連情報として設定することができる。
【００２６】
関連情報を設定する際には、当該関連情報の表示位置を特定するために、当該関連情報が関連する対象物の位置を表す対象物ベクトルを設定しておく。対象物ベクトルの設定方法については後述する。
【００２７】
図２には、実施形態にかかる対象物記録装置の例の機能ブロック図が示される。図２において、対象物情報表示装置は、撮影位置決定部１６、方向検出部１８、ベクトル生成部２０、関連情報設定部２２、仮想３次元空間設定部２４、表示範囲特定部２６、関連情報特定部２８、表示制御部３０、ベクトル補正部３２、通信部３４、記憶部３６及びＣＰＵ３８を含んで構成されている。この対象物記録装置は、ＣＰＵ３８、ＲＯＭ、ＲＡＭ、不揮発性メモリ、Ｉ／Ｏ、通信インターフェース等を備え、装置全体の制御及び各種演算を行うコンピュータとして構成されており、上記各機能は、例えばＣＰＵ３８とＣＰＵ３８の処理動作を制御するプログラムとにより実現される。
【００２８】
撮影位置決定部１６は、撮影中に（撮影と同時に）または再生により表示中の撮影対象（対象物）の撮影位置を決定する。すなわち、撮影・表示端末１０のカメラ１４で対象物を撮影しているときの撮影位置（カメラ１４の位置）の座標を決定する。撮影位置を決定する対象物は、表示画面１２に表示された画像中において、使用者が適宜な入力手段（マウス等のポインティングデバイス、キーボード、タッチパネル等）により指定した画像の要素（道路、建物その他の建造物、山や木等の自然物等、画像として表示される全ての要素）である。撮影位置決定部１６は、例えば撮影中にＧＰＳ受信機により取得した位置情報、あるいは再生中の画像データに含まれる上記ＧＰＳ受信機により取得した位置情報により撮影位置の座標を特定する構成とすることができる。なお、ＧＰＳ受信機にはＩＭＵ（慣性計測装置）を組み合わせても良い。撮影位置の座標としては、例えば緯度、経度、標高等の３次元座標が挙げられるが、これには限定されない。特定した撮影位置の座標は、記憶部３６に記憶させる。
【００２９】
方向検出部１８は、撮影方位検出部１８ａ及び傾き検出部１８ｂを備え、撮影中にまたは再生により表示中の対象物の上記撮影位置からの方向を検出する。
【００３０】
撮影方位検出部１８ａは、撮影・表示端末１０のカメラ１４で撮影対象を撮影しているときの撮影方位（カメラ１４の光軸の方位）を検出する。撮影方位の検出は、例えば磁気センサにより行うことができる。すなわち、撮影方位検出部１８ａが磁気センサからの出力を受け取り、磁気センサの取り付け方向、カメラ１４の光軸方向等に基づき撮影方位を演算する。演算した撮影方位は記憶部３６に記憶させる。
【００３１】
傾き検出部１８ｂは、撮影・表示端末１０のカメラ１４で撮影対象を撮影しているときのカメラ１４（撮影画面）の傾き、すなわちカメラ１４の光軸周りの回転（ローリング）及び光軸と直交する左右軸（ローリングが無い場合に撮影方向を前方としたときの左右に伸びる水平の軸であり、ローリングがあるときにはその角度分傾く軸）周りの回転（ピッチング）の角度を検出する。なお、ローリング及びピッチングを、図１（ａ）に示す。カメラ１４の傾きは、例えば加速度センサからの出力を傾き検出部１８ｂが受け取り、演算することにより求める。傾き検出部１８ｂが演算したカメラ１４の傾きは記憶部３６に記憶させる。
【００３２】
方向検出部１８は、適宜な入力手段（マウス等のポインティングデバイス、キーボード、タッチパネル等）により使用者が指定した、表示画面１２上で表示中の対象物の撮影位置からの方向を、記憶部３６から読み出した上記カメラ１４の撮影方位、傾き及び画角に基づいて検出する。方向検出部１８が検出した上記方向は記憶部３６に記憶させる。なお、画角は、カメラ１４で撮影される光景の範囲を角度で表したものであり、水平画角、垂直画角、対角線画角がカメラ１４に固有の値として予めわかっているので、例えば記憶部３６に記憶させておき、方向検出部１８が記憶部３６から読み出して使用する。
【００３３】
ここで、撮影位置からの方向が検出される対象物の位置は、対象物の画像に含まれる画素または画素領域（連続する画素の集合により形成される領域）とすることができ、方向検出部１８は、上記撮影位置から上記画素または画素領域の方向を検出する。上記画素または画素領域は、使用者が画面上で上記入力手段により行う対象物の指定の際に入力手段により入力した指定情報としての画素または画素領域である。この指定情報は、例えばタッチパネルまたはポインティングデバイスで指示された、対象物の画像に含まれる画素または画素領域とすることができる。また、キーボードにより上記画素または画素領域を指示する構成としてもよい。
【００３４】
入力された指定情報は、方向検出部１８が受け付け、入力手段により指示された画素または画素領域が表示画面１２上のいずれの画素または画素領域であるかを判定する。なお、指定情報が画素領域である場合には、予め画素領域を構成する画素の数、画素の連続方法、上記方向を検出する際の中心となる画素等について予め設定し、方向検出部１８はこの設定に基づいて方向検出処理を実行する。上記方向を検出する際の中心となる画素とは、撮影位置から当該中心となる画素までの方向が方向検出部１８により検出される方向となる画素である。
【００３５】
図３（ａ）、（ｂ）には、方向検出部１８が検出する対象物の撮影位置からの方向の説明図が示される。図３（ａ）が上記方向のＸＹ平面への投影図であり、図３（ｂ）が上記方向を向く直線と平行であり、ＸＹ平面に直交する平面Ｗへの投影図である。なお、ＸＹＺは座標軸を表しているが、座標軸はこれには限定されず、任意の座標軸を使用することができる。
【００３６】
図３（ａ）において、撮影位置決定部１６が決定した対象物Ｐの撮影位置（カメラ１４の位置）がＣで示される。また、カメラ１４の撮影範囲（のＸＹ平面への投影）の角度がαで示される。図３（ａ）に示される、撮影位置Ｃから対象物Ｐへの方向は、ＸＹ平面に投影された方向すなわち方位にあたる。また、図３（ｂ）において、撮影位置Ｃから対象物Ｐへの方向は仰角または俯角にあたる。
【００３７】
カメラ１４で撮影し、表示画面１２に表示された画像中の各点（画素）は、上記図３（ａ）、（ｂ）に示される方位及び仰俯角（仰角または俯角）の組み合わせとしての方向と１対１に対応する。方向検出部１８は、上記使用者が指定した対象物中の画素または画素領域について、方位については撮影方位検出部１８ａが検出した撮影方位と傾き検出部１８ｂが検出したカメラ１４のローリング及びピッチングとカメラ１４の画角とから公知の方法により演算することができる。また、仰俯角についても、傾き検出部１８ｂが検出したカメラ１４のローリング及びピッチングとカメラ１４の画角とから公知の方法により演算することができる。
【００３８】
ベクトル生成部２０は、撮影位置決定部１６が決定した撮影位置を始点とし、上記使用者が指定した対象物について方向検出部１８が検出した方向を向くベクトルの長さを予め定めた基準に基づいて決定し、対象物ベクトルとして生成する。ここで、予め定めた基準は以下の通りである。まず、上記方向の俯角が予め定めた基準角度以上の場合には、上記始点から対象物ベクトルの方向に引いた直線と予め設定された地平面の方程式とから演算した交点の座標に基づいて対象物ベクトルの長さを決定する。すなわち、上記始点と上記交点との間の距離を上記対象物ベクトルの長さとする。また、上記交点が対象物ベクトルの終点となる。予め定めた基準角度は経験値から設定できるが、例えば２０〜４０度とすることができ、３０度とするのが好適である。また、ベクトル生成部２０は、生成した対象物ベクトルを記憶部３６に記憶させる。
【００３９】
また、上記方向の俯角が上記予め定めた基準角度より小さい場合（水平及び仰角の場合を含む）には、上記カメラ１４の設置位置の高さに基づいて対象物ベクトルの長さを決定する。この場合、例えばカメラ１４の設置位置の高さの２倍の長さを対象物ベクトルの長さとすることができるが、これには限定されない。例えば、カメラ１４の種類（使用者が手で持って撮影するタブレット端末、車両搭載型のＭＭＳ等）毎に設置位置の高さに乗算する係数を設定できる構成としてもよい。この場合には、対象物ベクトルの始点から上記決定された長さの点が対象物ベクトルの終点となる。
【００４０】
関連情報設定部２２は、上記対象物の関連情報を設定する。関連情報の内容は上述した通りである。関連情報設定部２２は、使用者が画面上で適宜な入力手段（マウス等のポインティングデバイス、キーボード、タッチパネル等）により行う対象物の指定を受け付け、指定された対象物についての関連情報を入力するための入力画面を表示する構成とすることができる。例えば、使用者が上記入力手段から対象物を指定するための指定情報を入力すると、関連情報設定部２２が当該指定情報を受け付ける。指定情報は、例えばタッチパネルまたはポインティングデバイスで指示された、対象物の画像に含まれる画素または画素領域とすることができる。また、キーボードにより上記画素または画素領域を指示する構成としてもよい。関連情報設定部２２は、指定情報である画素または画素領域に関連付けて入力画面を設定し、表示制御部３０が表示画面に表示する。使用者が当該入力画面に対象物に関する関連情報の内容を入力すると、関連情報設定部２２が関連情報を受け付け、記憶部３６に記憶させる。関連情報設定部２２は、このような関連情報を表示するための図形（以後、タグという場合がある）も設定する。このタグには、関連情報の内容を表示するための文字、図形等が含まれているのが好適である。
【００４１】
なお、上記対象物の指定処理は、方向検出部１８の場合と同様の処理であるので、方向検出部１８による方向検出処理と、関連情報設定部２２による関連情報設定処理とを同時に、あるいは連続して実行してもよい。
【００４２】
次に、関連情報設定部２２は、上記指定された対象物についてベクトル生成部２０が生成した対象物ベクトルを記憶部３６から読み出し、対応する対象物の関連情報に関連付けて記憶部３６に記憶させる。この場合の関連情報設定部２２及び記憶部３６が、対象物ベクトルと関連付けられた関連情報を記憶する関連情報記憶部として機能する。
【００４３】
なお、関連情報設定部２２が設定した対象物の関連情報は、対象物の近傍、例えば対象物ベクトルの終点が上記タグの図形に含まれるような位置に表示するのが好適である。
【００４４】
仮想３次元空間設定部２４は、上記対象物ベクトルを含んだ仮想３次元空間を設定する。ここで、仮想３次元空間は、現実の空間の座標（例えば緯度、経度、標高）に対応する座標を表す座標軸を有する仮想的な、すなわちコンピュータ上に設定される空間である。また、仮想３次元空間設定部２４は、上記対象物ベクトルを、対象物ベクトルが属性として有する座標情報に基づいて仮想３次元空間中の座標に関連付ける。なお、対象物ベクトルが属性として有する座標情報は、例えば対象物ベクトルの終点の座標または始点及び終点の座標とすることができる。また、仮想３次元空間中の座標軸と撮影位置決定部１６が決定する撮影位置の座標を表す座標軸とを同じもの（例えば、緯度、経度、標高に統一する等）としてもよいし、異なる座標軸をそれぞれ設定し、必要に応じて座標を変換してもよい。仮想３次元空間の座標軸、仮想３次元空間中の座標に関連付けられた対象物ベクトル等の仮想３次元空間に関する情報は、仮想３次元空間設定部２４が記憶部３６に記憶させる。
【００４５】
図４には、仮想３次元空間の説明図が示される。図４において、コンピュータ上に設定された仮想３次元空間には、座標軸α１、α２、α３が規定されている。この座標軸は任意に設定することができ、上述したように、例えば（Ｘ、Ｙ、Ｚ）座標（数学座標系）、（緯度、経度、標高）座標（地球座標系）等でもよい。
【００４６】
仮想３次元空間には、属性として座標情報（例えば、終点の座標または始点及び終点の座標）を有する対象物ベクトルＶｐが、上記座標情報に基づき仮想３次元空間中の座標軸α１、α２、α３が表す座標に関連付けられている。ここで、「座標軸が表す座標に関連付けられている」とは、対象物ベクトルＶｐが、上記座標軸α１、α２、α３に基づいて、対象物ベクトルＶｐの座標情報に対応する位置に配置されていることをいう。なお、対象物ベクトルＶｐに関連付けられた関連情報も仮想３次元空間に含ませる構成となっている。図４の例では、関連情報が「タグ」と表示されており、各対象物ベクトルＶｐの終点を含む位置に配置されている。
【００４７】
表示範囲特定部２６は、上記撮影位置決定部１６が決定した撮影位置と上記撮影方位検出部１８ａが検出した撮影方位と傾き検出部１８ｂが検出した撮影に使用するカメラ１４の傾きと撮影に使用するカメラ１４の画角とに基づいて、上記仮想３次元空間における表示範囲を特定する。上記撮影位置、撮影方位、カメラ１４の傾き及び画角は、表示範囲特定部２６が記憶部３６から読み出して使用する。表示範囲特定部２６は、公知のコンピュータグラフィックスの処理として仮想３次元空間を透視投影するスクリーン（図４参照）を設定する際に、上記撮影位置、撮影方位、撮影に使用するカメラ１４の傾き及びカメラ１４の画角に基づいてスクリーンの大きさ及び方向（スクリーンの法線が向く方向）を決定する。表示範囲は、上記スクリーンに仮想３次元空間が透視投影される範囲となる。この場合の表示範囲は、上記撮影位置から見た場合の表示範囲である。上記撮影位置の座標には、上述した緯度、経度等の平面座標と標高が含まれる。標高は、撮影位置決定部１６が決定した標高値としてもよいし、検出値の誤差が大きい等の事情がある場合には、予め設定した標高値を使用してもよい。特定した表示範囲すなわち上記スクリーンの大きさと方向は記憶部３６に記憶させるとともに、表示範囲特定部２６が表示制御部３０により表示画面１２に表示させる。
【００４８】
なお、カメラ１４で取得された画像も、上記撮影位置、撮影方位、カメラ１４の傾き及び画角に基づいて特定することができるので、上記仮想３次元空間に関連付けられた対象物ベクトル等を、表示範囲特定部２６が特定した表示範囲を介して重畳し、表示することができる。このような重畳表示処理は、表示制御部３０が行う。
【００４９】
図４において、上記表示範囲は、撮影位置（例えば緯度、経度、標高により定まるカメラ１４の視点、図４の例では（ｘ、ｙ、ｚ）で表されている）、撮影方位、撮影に使用するカメラ１４の傾き及びカメラ１４の画角から表示範囲特定部２６が特定する。図４の例では表示範囲が矩形領域として示されている。この表示範囲は、上述したように、仮想３次元空間を透視投影するスクリーンとして設定され、上記撮影位置、撮影方位、撮影に使用するカメラ１４の傾き及びカメラ１４の画角に基づいてスクリーンの大きさ及び方向が決定される。
【００５０】
関連情報特定部２８は、上記表示範囲特定部２６が特定した仮想３次元空間における表示範囲に終点が含まれる対象物ベクトルに関連付けられた上記関連情報を特定する。この処理は、例えば上記スクリーンに終点が透視投影される対象物ベクトル、すなわち終点の座標としてスクリーンに透視投影される仮想３次元空間の範囲（表示範囲）に含まれる緯度、経度等の平面座標及び高さ（標高）を有する対象物ベクトルを撮影範囲中の対象物ベクトルとして特定することにより行う。対象物ベクトルを特定することにより、この対象物ベクトルに関連づけられた関連情報も関連情報特定部２８が特定することができる。なお、予め生成していた対象物ベクトルは、例えば通信部３４により外部のサーバーと通信し、当該サーバーから取得する構成とすることができる。この場合、撮影対象の撮影中に、撮影位置決定部１６が決定する撮影位置の座標をサーバーに送信し、送信した座標を含む一定範囲（上記撮影範囲よりも広い一定範囲）に含まれる座標を終点の座標として有する対象物ベクトルをサーバーから返信させる構成とすることができる。サーバーから返信された対象物ベクトルは、記憶部３６に記憶させておく。また、対象物ベクトルは、サーバーから撮影中に受け取るのではなく、撮影範囲の候補となる領域に含まれる終点の座標を有する対象物ベクトルを予め記憶部３６に記憶させておいてもよい。
【００５１】
図４において、関連情報特定部２８は、上記表示範囲を示すスクリーンに透視投影される仮想３次元空間の範囲に終点の座標（緯度、経度等の平面座標及び／または高さ（標高））が含まれる対象物ベクトルを特定する。次に、関連情報特定部２８が、上記特定された対象物ベクトルに関連づけられた関連情報を記憶部３６から読み出して表示制御部３０により表示画面１２にタグとして表示させる。図４の例では、表示範囲に終点の座標が含まれる対象物ベクトルに関連づけられたタグＩ、ＩＩが表示画面１２に表示され、表示範囲に終点の座標が含まれない対象物ベクトルに関連づけられたタグＩＩＩは表示されない。
【００５２】
表示制御部３０は、撮影・表示端末１０のカメラ１４が撮影中または再生中の画像を表示画面１２に表示するとともに、当該画像に上記関連情報特定部２８が特定した対象物ベクトルに関連づけられた関連情報を記憶部３６から読み出して重畳し、表示画面１２に表示する。この場合、対象物ベクトルの終点に関連情報の画像の一部が重なる（上記点が関連情報の画像内に含まれる）ように関連情報を表示するのが好適である。また、対象物ベクトルは、表示してもよいし、表示しなくてもよい。使用者が入力する指示に基づいて表示、非表示を切り替える構成が好適である。
【００５３】
以上に述べた表示範囲特定部２６、関連情報特定部２８及び表示制御部３０の動作により、ある撮影位置Ｃ１で撮影した対象物を、他の撮影位置Ｃ２から撮影した場合、上記ある撮影位置Ｃ１で撮影した画像において設定した対象物の関連情報を、仮想３次元空間を介して、上記他の撮影位置Ｃ２から撮影した画像中の対象物に重畳して表示することができる。これは、表示範囲特定部２６が特定した、上記ある撮影位置Ｃ１及び他の撮影位置Ｃ２から見た場合の表示範囲中に同じ対象物が存在し、仮想３次元空間に関連づけられた対象物ベクトルを介して同じ関連情報が特定され、表示されるからである。
【００５４】
ベクトル補正部３２は、上記対象物ベクトルの長さを、別の方向から撮影または再生した画像上で上記ベクトル生成部２０が生成した同一の対象物に対する新たな対象物ベクトルに基づいて補正する。この補正処理を以後第１の補正という。
【００５５】
また、ベクトル補正部３２は、上記表示制御部３０が表示画面１２に、上記仮想３次元空間における対象物ベクトルの終点の座標を関連情報の座標として、この座標の予め仮想３次元空間に設定された地平面への投影点を表示している状態で、入力手段を介して上記投影点の位置を変更したときに、上記関連情報に関連付けられた対象物ベクトルの長さ及び／または方向を補正する。この補正処理を以後第２の補正という。
【００５６】
図５（ａ）、（ｂ）には、上記第１の補正及び第２の補正の説明図が示される。図５（ａ）が第１の補正の例であり、図５（ｂ）が第２の補正の例である。
【００５７】
図５（ａ）には、例えば道路Ｒ上のある点Ｉからカメラ１４で対象物Ｐを撮影し、その画像を表示画面１２に表示しているときに、使用者が指定した対象物Ｐについてベクトル生成部２０が生成した点Ｉを始点とする長さＬ１の対象物ベクトルＶｐ１が示されている。次に、上記点Ｉとは異なる点ＩＩからカメラ１４で同じ対象物Ｐを撮影し、その画像を表示画面１２に表示しているときに、上記対象物について使用者が指定したときに、ベクトル生成部２０が上記点ＩＩを始点とする長さＬ２の対象物ベクトルＶｐ２を生成する。この場合、同一の対象物Ｐに対する２つの対象物ベクトルＶｐ１、Ｖｐ２の長さＬ１、Ｌ２及び方向が正確に設定されていれば、対象物ベクトルＶｐ１、Ｖｐ２の終点Ｅ１、Ｅ２が対象物Ｐの位置で一致する筈である。しかし、上記長さまたは方向に誤差があると、図５（ａ）に示されるように、対象物ベクトルＶｐ１、Ｖｐ２の終点Ｅ１、Ｅ２にずれが生じる。そこで、ベクトル補正部３２は、時間的に後から生成した対象物ベクトルＶｐ２を含む面Ｆ（例えば、上記道路に直交する面が挙げられるが、これには限定されない）を設定し、この面Ｆと時間的に先に設定した対象物ベクトルＶｐ１との交点Ｃを求め、対象物ベクトルＶｐ１の始点とこの交点Ｃとの長さを対象物ベクトルＶｐ１の新たな長さＬｃとなるように対象物ベクトルＶｐ１を補正する（第１の補正）。なお、時間的に先に設定した対象物ベクトルＶｐ１を含む面を設定し、この面と時間的に後から生成した対象物ベクトルＶｐ２との交点を求め、対象物ベクトルＶｐ２の始点とこの交点との長さを対象物ベクトルＶｐ２の新たな長さとなるように対象物ベクトルＶｐ２を補正してもよい。
【００５８】
図５（ｂ）には、例えば道路Ｒ上のある点Ｉからカメラ１４で対象物Ｐを撮影し、その画像を表示画面１２に表示しているときに、使用者が指定した対象物Ｐについてベクトル生成部２０が生成した点Ｉを始点とする長さＬ１の対象物ベクトルＶｐ１が示されている。また、関連情報設定部２２が設定した対象物の関連情報Ｒｐが表示画面１２に表示されている。このとき、ベクトル補正部３２は、表示制御部３０に、対象物ベクトルＶｐ１の終点の座標の予め仮想３次元空間に設定された地平面への投影点を上記関連情報Ｒｐの位置の投影点Ｓ１として表示させる。図５（ｂ）の例では、投影点Ｓ１が道路Ｒからはみ出しており、図示しない対象物の関連情報の位置として不適切であると使用者が判断したものとする。この場合、使用者が適宜な入力手段（マウス等のポインティングデバイス、キーボード、タッチパネル等）を介して上記投影点Ｓ１の位置を道路Ｒ上に移動したときに、移動後の投影点Ｓ２に対応する長さ（Ｌ２）に対象物ベクトルの長さを補正（第２の補正）して、補正後の対象物ベクトルＶｐ２とする。ここで、「投影点Ｓ２に対応する長さ」とは、対象物ベクトルＶｐ１上の点であって、その点の地平面への投影点が移動後の投影点Ｓ２に一致する点と対象物ベクトルＶｐ１の始点との長さをいう。
【００５９】
なお、第２の補正としては、図５（ｂ）の例に示される、対象物ベクトルの長さを短くする補正のみではなく、長さを長くする補正も含む。さらに、長さの変更に限らず、投影点の移動により、対象物ベクトルの方向を変更する補正であってもよい。
【００６０】
以上の第１の補正及び第２の補正の結果、長さ及び／または方向が変更された対象物ベクトルの情報は、ベクトル補正部３２が記憶部３６に記憶させる。
【００６１】
通信部３４は、適宜なインターフェースにより構成され、無線または有線の通信回線を介してＣＰＵ３８が外部のサーバー等とデータ（撮影対象の関連情報等）をやり取りするために使用する。
【００６２】
記憶部３６は、ハードディスク装置、ソリッドステートドライブ（ＳＳＤ）等の不揮発性メモリで構成され、上記各種情報等、及びＣＰＵ３８の動作プログラム等の、対象物記録装置が行う各処理に必要な情報を記憶させる。なお、記憶部３６としては、デジタル・バーサタイル・ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、電気的消去および書き換え可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ等を使用してもよい。また、記憶部３６には、主としてＣＰＵ３８の作業領域として機能するランダムアクセスメモリ（ＲＡＭ）、及びＢＩＯＳ等の制御プログラムその他のＣＰＵ３８が使用するデータが格納される読み出し専用メモリ（ＲＯＭ）を含めるのが好適である。
【００６３】
なお、記憶部３６の機能は、外部のサーバーに設定してもよい。
【００６４】
図６（ａ）、（ｂ）には、実施形態にかかる対象物記録装置の使用例の説明図が示される。図６（ａ）、（ｂ）に示された例では、車両１００に搭載したレーザー計測装置であるＭＭＳ１０２（の撮影装置）がカメラ１４に相当し、コンピュータ等の適宜な再生装置１０４が表示画面１２に相当する。また、撮影位置はＧＰＳにより取得し、撮影方位及びカメラの傾きはＩＭＵで取得する構成となっている。
【００６５】
図６（ａ）において、車両１００が道路Ｒを走行中にＭＭＳ１０２により道路及び道路周辺の単写真画像を撮影する。このとき、対象物（本例では、街路灯）Ｐも撮影する。図６（ａ）では、道路Ｒ上の３点の撮影位置Ｉ、ＩＩ、ＩＩＩで対象物Ｐを撮影している。なお、図６（ａ）の例では、撮影位置Ｉ、ＩＩ、ＩＩＩの間の距離が離れているように記載されているが、動画撮影のように、短い時間または距離の間隔で連続的に撮影する構成とすることも可能である。
【００６６】
図６（ｂ）では、図６（ａ）で取得した画像を、コンピュータ等の適宜な再生装置１０４の表示画面に再生表示している。図中のＩ、ＩＩ、ＩＩＩは、上記対象物Ｐを撮影した道路Ｒ上の３点（撮影位置）を示している。
【００６７】
図６（ｂ）において、画像の再生表示中に、使用者が適宜な入力手段から対象物Ｐを指定すると、ベクトル生成部２０が対象物Ｐについて対象物ベクトルを生成する。図６（ｂ）では、撮影位置Ｉで設定された対象物ベクトルをＶｐ１で表し、撮影位置ＩＩで設定された対象物ベクトルをＶｐ２で表している。なお、対象物ベクトルＶｐ２には、対象物Ｐについて関連情報設定部２２が設定した関連情報Ｒｐが関連付けられており、表示画面１２に表示されている。この場合、Ｖｐ１、Ｖｐ２等の対象物ベクトルは表示画面１２に表示されていない。
【００６８】
ここで、例えば、撮影位置ＩＩＩの画像を再生表示する際には、撮影位置ＩＩで設定された対象物ベクトルＶｐ２に関連付けられた関連情報Ｒｐが表示される。この処理は、表示範囲特定部２６が撮影位置ＩＩＩからの仮想３次元空間における表示範囲を特定し、関連情報特定部２８がこの表示範囲に対象物ベクトルＶｐ２の仮想３次元空間における終点の座標が存在するか否かを判定し、存在する場合に、対象物ベクトルＶｐ２に関連付けられた関連情報Ｒｐを表示制御部３０が記憶部３６から読み出して再生表示中の画像に重畳し、表示画面１２に表示することにより行う。
【００６９】
なお、撮影位置Ｉにおいても、上記撮影位置ＩＩＩの場合と同様の処理により関連情報Ｒｐを表示することができる。
【００７０】
また、上記対象物ベクトルＶｐ２の長さは、例えば対象物ベクトルＶｐ１により長さを補正（第１の補正）することもできる。この処理は、ベクトル補正部３２が、対象物ベクトルＶｐ１を含み、道路Ｒと直行する面を設定し、この面と対象物ベクトルＶｐ２との交点を求め、対象物ベクトルＶｐ２の始点（撮影位置ＩＩ）とこの交点との長さを対象物ベクトルＶｐ２の新たな長さとなるように対象物ベクトルＶｐ２を補正することにより行う。この補正により、対象物ベクトルＶｐ２の長さ、すなわち終点の座標が変更されるので、これに関連付けられた関連情報Ｒｐの表示画面１２上における表示位置も変更される。表示位置の変更処理は、表示制御部３０が行う。
【００７１】
なお、図６（ｂ）の例では、対象物ベクトルＶｐ１により対象物ベクトルＶｐ２の長さを補正したが、対象物ベクトルＶｐ２により対象物ベクトルＶｐ１の長さを補正してもよい。この場合には、関連情報Ｒｐを対象物ベクトルＶｐ１に関連付けておく。
【００７２】
また、図６（ｂ）の例では第１の補正の例が示されているが、上述した第２の補正を実行することもできる。
【００７３】
さらに、図６（ｂ）の例では、撮影位置ＩＩＩを始点とする対象物ベクトルＶｐ３も示されている。この対象物ベクトルＶｐ３は、道路Ｒ上の破損箇所Ｂを対象物とする対象物ベクトルである。この対象物ベクトルＶｐ３には、使用者の入力する指示に基づき、関連情報設定部２２が関連情報を設定し、関連付けすることができる。
【００７４】
また、図６（ａ）の例では、ＭＭＳ１０２により道路及び道路周辺の単写真画像を撮影した例が示されているが、全周囲画像としてもよい。また、タブレット端末等を使用し、撮影と再生表示を同時に実施しながら上記各処理を実行してもよい。
【００７５】
図７には、実施形態にかかる対象物記録装置の動作例のフローが示される。図７において、撮影位置決定部１６は、撮影と同時に表示中の、または再生により表示中の対象物（使用者が指定したもの）の撮影位置を決定する（Ｓ１）。
【００７６】
次に、方向検出部１８は、撮影と同時に表示中、または再生により表示中であって上記使用者が指定した対象物（対象物の画像に含まれる画素または画素領域）について、上記撮影位置からの方向を検出する（Ｓ２）。
【００７７】
ベクトル生成部２０は、撮影位置決定部１６が決定した撮影位置を始点とし、上記使用者が指定した対象物について方向検出部１８が検出した方向を向くベクトルの長さを、上述した予め定めた基準に基づいて決定し、対象物ベクトルとして生成する（Ｓ３）。
【００７８】
次に、関連情報設定部２２は、上記対象物の関連情報を設定する（Ｓ４）。この処理は、上述したように、使用者が上記入力手段から指定した対象物（対象物の画像に含まれる画素または画素領域）に関連付けて設定された入力画面を表示制御部３０が表示画面に表示し、使用者が当該入力画面に入力した対象物に関する関連情報の内容を関連情報設定部２２が受け付けることにより実行する。関連情報設定部２２が受け付けた関連情報は、記憶部３６に記憶させる（Ｓ５）。
【００７９】
図８には、実施形態にかかる対象物記録装置の他の動作例のフローが示される。図８において、まず仮想３次元空間設定部２４が、上記対象物ベクトルを含んだ仮想３次元空間を設定する（Ｓ１１）。
【００８０】
次に、表示範囲特定部２６が、撮影位置、撮影方位、カメラ１４の傾き及びカメラの画角に基づいて上記仮想３次元空間における表示範囲を特定する（Ｓ１２）。
【００８１】
関連情報特定部２８は、上記表示範囲特定部２６が特定した仮想３次元空間における表示範囲に終点が含まれる対象物ベクトルに関連付けられた上記関連情報を特定し（Ｓ１３）、表示制御部３０が、撮影・表示端末１０のカメラ１４が撮影中または再生中の画像を表示画面１２に表示するとともに、当該画像に上記関連情報特定部２８が特定した対象物ベクトルに関連づけられた関連情報を記憶部３６から読み出して重畳し、表示画面１２に表示する（Ｓ１４）。
【００８２】
上述した、図７、図８の各ステップを実行するためのプログラムは、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供しても良い。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明または「データ信号」の発明として捉えても良い。
【符号の説明】
【００８３】
１０  撮影・表示端末、１２  表示画面、１４  カメラ、１６  撮影位置決定部、１８  方向検出部、２０  ベクトル生成部、２２  関連情報設定部、２４  仮想３次元空間設定部、２６  表示範囲特定部、２８  関連情報特定部、３０  表示制御部、３２  ベクトル補正部、３４  通信部、３６  記憶部、３８  ＣＰＵ、１００  車両、１０２  ＭＭＳ、１０４  再生装置。
【図１】
0006723018.tif 000002
【図２】
0006723018.tif 000003
【図３】
0006723018.tif 000004
【図４】
0006723018.tif 000005
【図５】
0006723018.tif 000006
【図６】
0006723018.tif 000007
【図７】
0006723018.tif 000008
【図８】
0006723018.tif 000009