(57)【特許請求の範囲】
【請求項１】
撮影した映像を蓄積した記録媒体と、
上記映像の撮影位置を示す情報および撮影方向を示す情報を含む撮影情報を上記映像と対応付けて蓄積した映像データベースと、
上記撮影位置を含んだ地域の地図情報を表示する地図情報表示手段と、
上記撮影位置の情報と上記地図情報表示手段によって表示された地図上の座標点とを対応付ける対象位置対応手段と、
上記対象位置対応手段による対応付けに基き上記撮影位置を上記地図上に表示するとともに、立体地図情報から得た地形の高低と建物の高さのデータ、上記撮影位置を示す情報および上記撮影方向を示す情報に基き上記撮影位置においてどの地点まで映像に写っているかを上記地図上に表示する撮影範囲表示手段と
を備えたことを特徴とする映像情報表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、映像情報表示装置に関し、特に、映像とその撮影位置、撮影方向、撮影時刻等の撮影情報を管理する撮影情報のデータベース技術に関するものである。
【０００２】
【従来の技術】
従来、一般的な撮影情報の位置との対応付けの例では、自動車やトラックの運行管理のためにいろいろな地点の道路状況をビデオカメラで撮影してビデオテープに記録し、事務所に持ち帰って各地点の映像を再生する必要がある場合、まず撮影時点でカメラに貯えられているテープカウンタやタイマカウンタを利用して、撮影者が自分で撮影地点とそのカウント値を対応付けて記録しておき、再生時にその記録データを参考にして所望の地点の道路状況の映像を再生するようにしている。
【０００３】
また、地図上の地点に映像を関連付ける市販の地図表示ソフトウェアの例では、撮影した映像を地図上の特定の地点と対応付けることができるが、その対応付けは操作員が撮影情報をどの位置と対応付けるか指示する必要があった。また、対応付けた映像は地図上の対応した地点をマウス等の入力装置で指示すると映像が表示できる。
【０００４】
また、映像と地図情報を自動的に対応付ける例として、例えば特開平７−２４８７２６号公報に示された従来のＧＰＳ利用位置映像データ収集およびその再生装置がある。この例では、映像撮影時に位置情報と映像管理データベースを作成する仕組みになっており、撮影時に映像の内部アドレスと位置情報をマッチングしながら記録していくための装置であるアドレス情報マッチング手段が必要である。対応付けた映像は地図上の対応した地点をマウス等の入力装置で指示し、撮影日時をキーボード等で指定すると指定した地点の指定した撮影時間の映像が表示される。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来例では下記のような問題点があった。
地図上に対応付けてある動画映像を再生表示するときに、その動画映像を最初から最後まで通して見ることしかできなかったので、例えばある交差点付近の１００ｍの映像といったように見たい範囲だけ見ることができないという問題点があった。
【０００６】
また、例えば道路に沿って撮影した映像が地図上に対応付けてあるとき、その映像を再生表示しても映像が１ｋｍ以上にわたって撮影されている時等は長時間の映像なので、どの地点でどのような映像が撮影されているかの位置関係がわからなくなるという問題点があった。
【０００７】
また、例えば道路に沿って撮影した映像が地図上に対応付けてあるとき、地図上にはマークで対応付けてあることが示してあるが、地形や建物の形状を考慮していないので、その位置から撮影した映像にどの範囲まで写っているかがよくわからないという問題点があった。
【０００８】
この発明は上記のような問題点を解決するためになされたもので、移動しながらまたは撮影方向を変えながら撮影した映像と映像を撮影したときの撮影情報とを容易に検索することができる映像情報表示装置を得ることを目的とする。
【０００９】
【課題を解決するための手段】
この発明に係る映像情報表示装置は、撮影した映像を蓄積した記録媒体と、上記映像の撮影位置を示す情報および撮影方向を示す情報を含む撮影情報を上記映像と対応付けて蓄積した映像データベースと、上記撮影位置を含んだ地域の地図情報を表示する地図情報表示手段と、上記撮影位置の情報と上記地図情報表示手段によって表示された地図上の座標点とを対応付ける対象位置対応手段と、上記対象位置対応手段による対応付けに基き上記撮影位置を上記地図上に表示するとともに、立体地図情報から得た地形の高低と建物の高さのデータ、上記撮影位置を示す情報および上記撮影方向を示す情報に基き上記撮影位置においてどの地点まで映像に写っているかを上記地図上に表示する撮影範囲表示手段とを備えたものである。
【００１０】
【発明の実施の形態】
図１はこの発明に係る映像情報表示装置の全体構成図である。
映像情報表示装置のハードウェア構成としては、コンピュータ装置１００と、マウス２００と、キーボード３００及びディスプレイ装置４００をもつ。
【００１１】
コンピュータ装置１００の内部には、映像と撮影情報を蓄積して管理するデータベース部となる地図情報電子データ部１０１と、映像を検索して表示の指示を行う検索表示ソフトウェア部１０２と、映像をディスプレイ装置に表示する映像表示部１０３と、地図をディスプレイ装置に表示する地図表示ソフトウェア部１０４と、入力手段から地図上に入力を行うインターフェイスソフトウェア部１０５と、地図で表示する画面上の座標と緯度経度である実際の位置を変換する座標変換ソフトウェア部１０６と、映像以外の関連情報を検索表示する情報表示ソフトウェア部１０７と、データベースにデータを蓄積するデータ蓄積ソフトウェア部１０８を有する。また、コンピュータ装置１００の内部の記録媒体または外部の記録媒体に蓄積しておいて利用するデータとして、地図情報電子データ部内の地図のイメージ情報である地図情報７と、撮影情報電子データ部内の撮影情報４と映像３の電子ファイルである撮影関連電子データをもつ。
【００１２】
ここで、上記地図情報電子データ部１０１は、映像データベース５を内蔵し、上記検索表示ソフトウェア部１０２は、映像検索手段２、軌跡表示手段１０、撮影情報地図上表示手段１１、対象範囲検索手段１８、移動軌跡検索手段２０、代表画面表示手段２１、代表画面移動表示手段２２、撮影範囲表示手段２３、指示位置確認手段２５及び指示位置表示手段２６を内蔵している。
【００１３】
また、上記映像表示部１０３は、映像情報再生手段１、動画強調手段２７及び定点映像時間順表示手段１６を内蔵し、上記地図表示ソフトウェア部１０４は、地図情報表示手段８を内蔵し、上記インターフェイスソフトウェア部１０５は、映像軌跡指示手段１２、映像軌跡区間指示手段１３、対象位置入力手段１４、対象位置検索手段１５、対象範囲入力手段１７及び移動軌跡入力手段１９を内蔵する。
【００１４】
また、上記座標変換ソフトウェア部１０６は、対象位置対応手段９を内蔵し、上記情報表示ソフトウェア部１０７は、関連情報表示手段２４を内蔵し、上記データ蓄積ソフトウェア部１０８は、映像対応付け手段６を内蔵する。
これら各内蔵手段の機能については後述する各実施の形態で説明する。
以下、各実施の形態に従う構成とその動作及び効果について説明する。
【００１５】
実施の形態１．
図２はこの発明の実施の形態１に係る映像情報表示装置の構成を示す構成図である。
図２において、１は映像を再生する映像再生手段、２は映像を検索して取り出す映像検索手段、３は撮影した映像の電子ファイル、５は撮影情報と映像に関連する関連情報を蓄積すると共に、これらと映像を特定するための電子ファイル名等の情報を対応付けて記録する映像データベースである。
【００１６】
次に動作について説明する。
まず、操作員が撮影方向、撮影時間、撮影した場所等の撮影情報を検索キーとして映像検索手段２へキーボードやマウスを用いて撮影情報の検索指示をする。撮影した場所指定には、地図情報表示手段８がディスプレシ装置４００に表示する例えば市街地地図のような地図上で、マウスを用いて地図上の１つの位置を指定することにより行う。地図情報表示手段８として市販の地図表示ソフトウェアを用いれば、マウスで指示した地図上の点が実際の地球上での経度緯度のソフトウェアで出力できるので、この経度緯度を秒単位まで記録して撮影した場所の指定として用いる。撮影方向は、キーボードから北方向から時計周りに何度傾いた位置かを度分秒で入力する。撮影時間は、キーボードから西暦年月日時分秒を入力する。
次に、映像検索手段２では、撮影情報を検索キーとして、映像データベース５からその撮影情報と一致する映像を特定するための映像特定情報を取り出す。ここで、映像特定情報とは、図３の映像情報に記述してあるように映像の電子ファイル名である。
映像データベース５には、映像を記録した電子ファイル１つに対して、ある位置における撮影時間、影位置記録、撮影方向の３種類のデータが対になった情報が、複数組対応付けて記録してある。撮影位置に番号を付けて管理してあり、位置ごとに異なる番号が撮影時間に従って昇順につけてある。
映像検索手段２では、操作員が指示した撮影時間、撮影位置、撮影方向に一致する撮影位置をこのデータベースの中から決定して、その撮影位置を含む映像特定情報を取り出す。撮影時間、撮影位置、撮影方向は全て指定する必要はなく、少なくとも一つ指定すればその条件にあった撮影位置を含む映像特定情報を取り出す。条件の一致する撮影位置がない場合、映像検索手段２の処理として自動的に条件を緩くして条件の一致する撮影位置を含む映像特定情報を取り出す。具体的には、時間は指示時刻から１０秒前後とし、撮影位置の場合、東経北緯を前後１秒の範囲とし、撮影方向は５度前後の範囲とする。
【００１７】
次に、映像検索手段２では、映像特定情報を元に映像を記録媒体３から取り出し、取り出した映像を映像再生手段１に渡す。これに基づき、映像再生手段１では、映像を再生する。映像の再生は、コンピュータ装置における市販の映像再生ソフトウェアを用いる。
【００１８】
以上のように、実施の形態１によれば、映像データベース５では撮影情報として、撮影方向の情報をもっており、映像検索手段２では操作員の指示に従い撮影方向を検索キーとして映像を検索できるので、撮影位置だけで選んだ画像では見たい位置が写っていないこともあるが、撮影方向を合わせて指定することにより間違いなく見たい画像を検索して表示することができる。
【００１９】
実施の形態２．
上述した実施の形態１では、既にデータベースに蓄積してある撮影情報を用いて映像を検索して表示しているが、次に、この撮影情報を映像データベースへ蓄積する場合に、操作員の労力がいらずに自動的に蓄積でき、かつ撮影時に特殊な手段を使わずに蓄積された撮影情報を利用できる実施の形態を示す。
【００２０】
図４はこの発明の実施の形態２に係る映像情報表示装置の構成を示す構成図である。
図４において、図２に示す実施の形態１と同一部分は同一符号を示し、その説明は省略する。新たな符号として、４は撮影日時、撮影位置、撮影方向を含む撮影情報、６は撮影情報との対応付けを行い、対応付けの内容と撮影情報を映像データベース５に記録する映像対応付け手段である。
【００２１】
次に動作について説明する。
まず、操作員が映像対応付け手段６へ対応付けたい映像の電子ファイル名と、その映像を撮影したときの撮影方向、撮影時間、撮影した場所等の記録である撮影情報の電子ファイル名を指示する。
操作員の指示はキーボードからファイル名を指示することにより行う。映像の電子ファイルと、撮影情報の電子ファイルは、ＭＯ等の補助記憶媒体に蓄積してあることを前提としている。
次に、映像対応付け手段６は、新しく映像に付ける電子ファイル名を決め、この新しい映像の電子ファイル名と撮影情報を映像データベース５に書き込む。
映像につける電子ファイル名は、映像データベース５に既に蓄積されている電子ファイル名以外のファイル名となるように決定する。具体的は登録日時により、１９９８年１月５日１０時３０分であれば、199801051030というファイル名にする。
【００２２】
このとき、映像データベース５は、図３のように、各映像のファイル名とその映像における複数の撮影地点の撮影日時や撮影場所、撮影方向を情報として蓄積し、映像とその映像情報をファイル名で対応付け、映像情報のうち、ある撮影位置がその映像の何秒目の映像かをしりたい場合には、撮影日時を見ればわかるようになる。
対応付けの具体的方法を説明する。
撮影情報の電子ファイルには、複数の撮影時刻の日時、撮影位置の緯度と経度、撮影方向の角度、が１組になって、複数組記録してある。映像対応付け手段６は、これらの情報をすべて読み込み、撮影時刻の時間順に並べ変えて、１組が１行となるように映像データベース５に書き込む。各行は図３のように一番左側の列に前述の例で199801051030と記述した映像につける新しい電子ファイル名を記録し、次の列に、その撮影位置が撮影時刻の時間順の何番目かという撮影位置の番号を記録し、その次の列に撮影時間を記録し、その次の列に撮影した位置の経度緯度を記録し、その次の列に撮影方向の角度を記録する。撮影時刻の記録のある行数だけ記録する。
次に、映像対応付け手段で６は、操作員が指定した映像をコピーし、コピーした電子ファイルに新しい映像の電子ファイル名を付ける。
【００２３】
以上のように、この実施の形態２によれば、別々に記録した映像と撮影情報を対応付けて蓄積する映像対応付け手段６により、撮影した映像と別に記録した撮影位置や撮影時間等の撮影情報を撮影情報ファイルの名称を指定するだけで映像データベース５に自動的に書き込むことにより、操作員が映像データベース５を構築する労力を軽減し、特殊な蓄積方法で撮影したデータでなくても容易にデータベース化できる。
【００２４】
実施の形態３．
上述した実施の形態１では、操作員が指示した撮影情報に従った映像の検索ができるが、次に、撮影した位置を地図上に分かり易く表示する実施の形態を示す。
【００２５】
図５はこの発明の実施の形態３に係る映像情報表示装置の構成を示す構成図である。
図５において、図２に示す実施の形態１と同一部分は同一符号を示し、その説明は省略する。新たな符号として、７は地図のイメージである地図情報、８は地図情報を表示する地図情報表示手段、９は地図上の座標と実際の経度緯度位置との数値変換を行う対象位置対応手段、１０は地図上に撮影情報に基づいた撮影位置の軌跡を表示する軌跡表示手段である。
【００２６】
次に動作について説明する。
まず、操作員が軌跡表示手段１０へ撮影したときの位置の軌跡を地図上に表示するように指示する。これに基づき、軌跡表示手段１０では、映像データベースから全ての撮影情報を読み出す。次に、軌跡表示手段１０では、撮影情報に含まれる撮影位置の経度緯度情報を地図上での座標に変換するように対象位置対応手段９に依頼する。対象位置対応手段９では、対象となる地図上の座標に変換して軌跡表示手段１０へ返す。
【００２７】
ここで、経度緯度から地図上の座標への変換には、地図のイメージデータの座標の原点の経度と緯度と、縮尺としてイメージデータの１ドットが何ｍかという情報を地図情報として地図イメージデータと一緒に予め蓄積してあることとし、座標に変換する経度緯度と地図情報に含まれる地図イメージデータの原点の経度緯度の差を四則計算により求め、この経度緯度の差をメートルに換算し、座標に変換したい位置と地図イメージデータの原点の位置が東西南北どの方向に何メートル離れているかを算出し、この距離に従って原点からの位置を算出することにより計算する。
【００２８】
次に、軌跡表示手段１０では、地図情報表示手段８へ地図表示の指示を行う。これに基づき、地図情報表示手段８では、地図情報７を読み込み表示し、表示画面では図６の例のように道路や街区を表示する。地図の表示は市販の地図表示ソフトウェアを利用してもよい。
次に、軌跡表示手段１０では、軌跡点の地図上の座標を利用して、地図上に軌跡を描いて表示する。軌跡の表示例は図７のようになる。
【００２９】
ここで、図３の撮影情報に記述してあるファイル名１の映像の軌跡を地図上に表示する例を示す。ファイル名「１」では撮影位置として、３つの点の記録がある。この３点を時間の古い順にＡ、Ｂ、Ｃとすると、まずＡの点を地図上に表示し、次にＢの点を地図上に表示し、最後にＣの点を地図上に表示し、Ａ、Ｂ、Ｃを順番に結ぶ線を地図上に表示する。地図上に点や線を表示するしくみに以下に記す。
【００３０】
地図情報表示手段８では、表示画面を階層的にもっていて、地図を表示している層の上に文字やグラフィックを描くことのできる表示層がある。この層に点や線を表示する。点や線を表示する位置について説明すると、Ａ、Ｂ、Ｃの各点の位置はそれぞれ図３に示すように経度と緯度がわかる。Ａ，Ｂ、Ｃの各点の経度緯度を上記と同じ手法によって地図上の座標位置に変換し、この位置を表示位置と決める。
【００３１】
以上のように、この実施の形態３によれば、地図情報表示手段８により地図を表示し、軌跡表示手段１０により、撮影情報に沿った撮影位置の軌跡を地図上に表示でき、道路等に沿って撮影した映像を地図と対応付けて表示する場合、地図上に撮影中の撮影位置の移動軌跡を表示することができ、映像の撮影位置を容易にしることができるようになる。
【００３２】
実施の形態４．
上述した実施の形態３では、撮影した位置を地図上に分かり易く表示する実施の形態を示したが、次に、撮影方向や撮影日時を地図上に視覚的に表示する実施の形態を示す。
【００３３】
図８はこの発明の実施の形態４に係る映像情報表示装置の構成を示す構成図である。
図８において、図５に示す実施の形態３と同一部分は同一符号を示し、その説明は省略する。新たな符号として、１１は撮影した向きや時間等の撮影情報を地図上に表示する撮影情報地図上表示手段である。
【００３４】
次に動作について説明する。
まず、操作員が撮影情報地図上表示手段１１へ撮影情報表示を指示する。これに基づき、撮影情報地図上表示手段１１では、映像データベース５から撮影情報を読み出す。次に、撮影情報地図上表示手段１１では、撮影情報に含まれる撮影方向や撮影日時、撮影位置の変化から算出した移動速度を地図上に絵や文字で描く。撮影情報の表示例は、図９のようになり、ある撮影位置の撮影情報としては、カメラの絵の撮影位置を示し、ベクトルの矢印の大きさで移動速度を示し、撮影位置の横に撮影日時を示す。
【００３５】
ここで、絵や文字を描く場所の特定方法であるが、図３に示すように、撮影位置には経度緯度情報を含んでいる。この経度緯度情報を、実施の形態３で示したように地図上の座標位置に変換し、この位置を表示位置とする。地図上に線を描く方法は実施の形態３と同じである。また、撮影日時等の文字情報は撮影位置に対応した地図上の座標の横に表示する。撮影方向は、図３のように撮影情報に撮影方向が含まれるので、この方向に向いたカメラの絵で表示する。
【００３６】
以上のように、この実施の形態４によれば、撮影情報地図上表示手段１１により、映像データベース５に蓄積してある撮影情報である撮影した方向や撮影時間を地図上に絵を用いて分かり易く表示できるので、いつどのようにどの方角を撮影したのかが分かりやすくなる。
【００３７】
実施の形態５．
上述した実施の形態３では、撮影した位置を地図上に分かり易く表示する実施の形態を示してあり、さらに、実施の形態１では、映像を映像情報を用いて検索する実施の形態が示してある。次に、地図表示画面上で撮影の軌跡を選択することにより視覚的に映像を選択して検索する実施の形態を示す。
【００３８】
図１０はこの発明の実施の形態５に係る映像情報表示装置の構成を示す構成図である。
図１０において、図５に示す実施の形態３と同一部分は同一符号を示し、その説明は省略する。新たな符号として、１２は映像の軌跡を地図上で選択し、その軌道に対応した映像を映像検索手段２を介して検索して表示する映像軌跡指示手段である。
【００３９】
次に動作について説明する。
操作員が地図表示画面上で表示してある軌跡を選択する。
ここで、軌跡の選択とは、図１１に示すように、操作員の示した地図上の点と、既に表示してある撮影の軌跡を結んだ線の距離が、予め設定しておいた距離以内である場合に、その軌跡を選択したと映像軌跡指示手段１２が判断することである。映像軌跡指示手段１２は、選択した軌跡の地図上の点の位置を得て、対象位置対応手段９へ地図上の軌跡位置を経度緯度で示す実際の位置に変換する依頼をする。対象位置対応手段９では、操作員が選択した軌跡の点の実際の位置である経度情報を計算し、映像軌跡指示手段１２へ送る。
対象位置対応手段９における画面表示した地図上の指定点の経度緯度への変換は以下のように行う。
地図のイメージデータの座標の原点の経度緯度と、縮尺としてイメージデータの１ドットが何メートルかという情報を地図情報として地図イメージデータと一緒に予め蓄積してあることとする。経度緯度に変換する座標上の点が原点から表示座標上の距離で南北方向と東西方向にどれだけ離れているかの距離を計算する。この距離にイメージデータの１ドットのメートル数を掛けると実空間で地図上の原点からの東西南北でどれだけ離れているかの距離が計算できる。原点からの距離として、北に１００メートル、西に５０メートルであったとする。地図上の原点の緯度経度付近における経度緯度の１秒のずれにつき何メートル離れるかという計算値は容易に計算できるので、この値が仮に緯度で１秒２５メートル経度で１秒２０メートルであったとすれば、原点からの距離からこの値を割ることにより、地図の原点の経度緯度よりも北に４秒、西に２秒ずれている地点の経度緯度が操作員の指示した地図上の位置の実空間での経度緯度である。
【００４０】
映像軌跡指示手段１２は、実際の位置を検索キーとして、映像検索手段２へ映像の検索を依頼する。映像検索手段２は、実際の位置を検索キーとして映像データベース５を検索し、映像のファイル名を取り出す。映像検索手段２は、該当する映像のファイルを取り出し、映像再生手段１へ映像のファイルを送る。これに基づき、映像再生手段１では、その映像を再生する。
映像検索手段２において、位置に基づく検索は以下のように行う。
図３で示すように、映像データベースには、撮影した映像の撮影位置の経度緯度が記録してある。これが秒単位で記録してあるとする。撮影位置の経度緯度が操作員が指定した地図上の位置の経度緯度との差が予め設定しておいた範囲以内の場合、この撮影位置を含む映像のファイル名を検索結果とする。予め設定しておく経度緯度の差は例えば経度、緯度共に５秒前後という値になる。
【００４１】
以上のように、この実施の形態５によれば、映像軌跡指示手段１２を備えることで、操作員が地図上で指示した点に一番近い軌跡で示される映像を再生表示することができ、地図上で対応付けてある映像を検索して再生表示する場合、地図上に表示してある撮影位置の移動軌跡を選択できるので、複数の映像が地図上に対応づけられていても、見たい位置が写っている映像を撮影位置の軌跡を見ながら間違いなく検索できる。
【００４２】
実施の形態６．
上述した実施の形態５では、地図上で選択した軌跡で示される映像を検索して表示する例を示したが、次に映像が例えば道路に沿って長距離に渡って撮影されているときなどに、特定の区間の映像だけを検索して再生表示する実施の形態を示す。
【００４３】
図１２はこの発明の実施の形態６に係る映像情報表示装置の構成を示す構成図である。
図１２において、図１０に示す実施の形態５と同一部分は同一符号を示し、その説明は省略する。新たな符号として、１３は映像の軌跡のある１部分の区間を地図上で選択し、その軌道に対応した映像を映像再生手段を介して検索して表示する映像軌跡区間指示手段であり、図１０に示す実施の形態５の映像軌跡指示手段１２と入れ替わっている。
【００４４】
次に動作について説明する。
操作員が地図表示画面上で表示してある軌跡の区間を２端点で選択する。
ここで、端点の選択とは、実施の形態５と同じように行い、操作員の指示した地図上の点と最も近い軌跡上の映像の撮影位置である点を示す。
映像軌跡区間指示手段１３は、選択した軌跡の地図上の２点（始点、終点）の位置を得て、この２点について、対象位置対応手段９へ地図上の軌跡位置を経度緯度で示す実際の位置に変換する依頼をする。
【００４５】
対象位置対応手段９では、操作員が選択した軌跡の２点の実際の位置を実施の形態５にように計算し、映像軌跡区間指示手段１３へ送る。映像軌跡区間指示手段１３は、２点の実際の位置である経度情報を検索キーとして、映像検索手段２へ映像の検索を依頼する。
映像検索手段２は、２点の実際の位置を検索キーとして映像データベース５を検索し、映像のファイル名を取り出す。
映像検索手段２は、実施の形態５における映像検索手段２と同じ処理により、始点として指定した位置に近い撮影位置と、終点と指定した位置に近い撮影位置を検索し、この２つの撮影位置の両方が一つの撮影記録にある映像のファイル名を選択する。
【００４６】
映像検索手段２は、その映像の撮影位置の２地点がそれぞれ何時に撮影されたものかを撮影情報から調べ、その２地点の古い方の時間を再生開始時間とし、新しい方の時間を再生終了時間として映像再生手段１へ映像のファイルを送り再生を指示する。これに基づき、映像再生手段１では、指定された再生開始時間と再生終了時間の間の映像を再生する。
映像再生手段１における指定時間の映像再生は以下のように行う。
映像再生手段１は、映像検索手段２から受け取った映像のファイル名をキーとして、映像データベース５の内容を参照し、この映像のファイル名の最初の撮影位置の撮影時間を取り出す。この撮影時間から、再生開始時間、再生終了時間が夫々何秒後かを加減算により計算する。それぞれ２０秒、２５秒であったとする。映像の動画像ファイルには、映像が時間順に多量に蓄積されていて、予め１秒間の撮影時間における映像のコマ数が決まっていることとする。例えば１秒間に２０コマであったとする。この場合、映像再生手段１は、２０秒かける２０コマである先頭から４００コマ目から映像を再生し、２５秒かける２０コマである先頭から５００コマ目まで再生する。
【００４７】
以上のように、この実施の形態６によれば、映像軌跡区間指示手段１３では、操作員が地図上で指示した軌跡の区間の映像を再生表示することができるので、地図上で対応付けてある映像を検索して再生表示する場合、例えば道路に沿って何キロメートルも撮影した映像であってもある交差点から次の交差点の範囲というように見たい範囲の映像だけを見ることができ、不要に長い映像を見て見たい位置の写っている映像を検索する必要はなくなるという効果がある。
【００４８】
実施の形態７．
上述した実施の形態３では、撮影した映像を軌跡で地図上に表示することができるが、次に地図上で指定した特定の場所が写っている映像を検索する実施の形態を示す。
【００４９】
図１３はこの発明の実施の形態７に係る映像情報表示装置の構成を示す構成図である。
図１３において、図５に示す実施の形態３と同一部分は同一符号を示し、その説明は省略する。新たな符号として、１４は地図上で見たい個所の位置を入力し、対象位置対応手段９を介して位置の実際の位置に変換する対象位置入力手段、１５は映像データベース５から見たい位置が写っている映像を検索して映像検索手段２を介して映像再生手段１により再生させるための対象位置検索手段である。
【００５０】
次に動作について説明する。
操作員が地図表示画面上で見たい位置を指示することで、画面から地図上の座標位置を対象位置入力手段１４に送る。対象位置入力手段１４は、対象位置対応手段９へ、地図上の座標位置を経度緯度で示す実際の位置に変換する依頼をする。対象位置対応手段９では、操作員が指示した点の実際の位置を計算し、対象位置入力手段１４へ送る。そして、対象位置入力手段１４は、操作員が指示した位置を実際の経度緯度に直した位置を対象位置検索手段１５へ送り映像の検索を依頼する。
対象位置対応手段９における操作員の地図上の指示位置の経度緯度への変換は実施の形態５と同じように行う。
【００５１】
次に、対象位置検索手段１５では、映像データベース５を検索し、操作員の指示した位置に近い撮影位置を取り出す。このとき、近いという判断は、距離が例えば３０メートルというように予め決めておく。
何メートル離れているかの判断は、操作員の指示した位置の経度緯度と、映像データベース５から取り出す撮影位置の経度緯度の差を用いて計算する。仮にこの２点間の経度、緯度共に１秒の差があった場合で、かつこの経緯度近辺の緯度１秒の差による距離が２５メートルで、経度１秒の差による距離が２０メートルであったとすれば、２点の距離は２０メートルの二乗と２５メートルの二乗を合わせた数の平方根となり約３２メートルとなる。
対象位置検索手段１５では、検索して取り出した撮影位置の全てについて、操作員が指示した点が写っているかどうかを確認する。この確認方法としては、図１４に示すように、撮影位置から撮影方向に向かって予め設定した仰角の範囲内に操作員が指示した点が入り、その距離が予め設定した距離以内であることとする。
撮影位置から撮影方向に向かって予め設定した仰角の範囲内に操作員が指示した点が入っているかの確認は以下のように行う。北緯をY軸、東経をX軸として、Ｘ−Ｙ座標と仮にみなし、撮影位置を原点と仮定し、座標の単位をメートルとする。この座標上で、撮影位置と操作員の指定位置の差違の計算と同等に、操作員の指定位置が経度、緯度方向にそれぞれ何メートル離れているかを計算する。これがたとえば、東に１０メートル、北に２０メートルであった場合、Ｘ−Ｙ座標上で指定点（１０，２０）という点を仮におき、原点から指定点へ向かう指定点ベクトルを設定する。指定点ベクトルの原点からの角度をＡとすると、ベクトルの長さをＢとして、ＢｃｏｓＡ＝２０、ＢｓｉｎＡ＝１０となる。これより、Ａ＝逆ｃｏｓ（２０／Ｂ）であり、かつＡ＝逆ｓｉｎ（１０／Ｂ）となる。このＡと撮影位置における撮影角度を比較することにより、撮影範囲に入っているかどうかが確認できる。
【００５２】
対象位置検索手段１５では、操作員が指示した点が写っている撮影位置を撮影情報にもつ映像を取り出し、操作員が指示した点が写っている撮影位置が写っている映像の撮影時間の前後例えば５秒というように予め設定した時間の映像再生を映像再生手段１へ依頼する。映像再生手段１では、これに従って映像を再生する。
対象位置検索手段１５から映像再生手段１への依頼は、再生開始時間、再生終了時間、映像のファイル名を指定して行う。映像の撮影位置における撮影時間の５秒前を再生開始時間とし、撮影位置における撮影時間の５秒後を再生終了時間とする。再生開始時間が該当する映像の最初の撮影位置記録の撮影時間より前の場合は、再生開始時間はこの映像の最初の撮影位置記録の撮影時間とする。また、再生終了時間が該当する映像の最後の撮影位置記録の撮影時間より後の場合は、再生終了時間はこの映像の最後の撮影位置記録の撮影時間となる。指定した時間の範囲だけの映像の再生は、実施の形態６の処理と同様に処理する。
【００５３】
以上のように、この実施の形態７によれば、対象位置入力手段１４で入力した位置に、対象位置検索手段１５を介してその点が写っている映像を検索するようにしたので、地図上で対応付けてある映像を検索して再生表示する場合、見たい位置地点を地図上で指示するだけで、その位置が写っている映像を検索して表示することができるようになり、見たい位置が写っている映像を間違えなく検索することができる。
【００５４】
実施の形態８．
上述した実施の形態７では、操作員が指示した点が写っている映像を検索することができるが、次に地図上で指定した位置の映像が複数あったときに、時間順に複数の映像を再生する実施の形態を示す。
【００５５】
図１５はこの発明の実施の形態８に係る映像情報表示装置の構成を示す構成図である。
図１５において、図１３に示す実施の形態７と同一部分は同一符号を示し、その説明は省略する。新たな符号として、１６は検索して取り出した映像を時間順に再生表示する定点映像時間順表示手段である。
【００５６】
次に動作について説明する。
操作員が地図表示画面上で見たい位置を指示することで、画面から地図上の座標位置を対象位置入力手段１４に送る。対象位置入力手段１４は、対象位置対応手段９へ、地図上の座標位置を経度緯度で示す実際の位置に変換する依頼をする。対象位置対応手段９では、操作員が指示した点の実際の位置を計算し、対象位置入力手段へ送る。以上の処理の詳細は、実施の形態７と同様に処理する。
【００５７】
次に、対象位置入力手段１４は、操作員が指示した位置を実際の経度緯度に直した位置を対象位置検索手段１５へ送り映像の検索を依頼する。これに基づき、対象位置検索手段１５では、映像データベース５を検索し、操作員の指示した位置に近い撮影位置を取り出す。このとき、近いという判断は、距離が例えば３０メートルというように予め決めておく。対象位置検索手段１５では、検索して取り出した撮影位置の全てについて、操作員が指示した点が写っているかどうかを確認する。この確認方法としては、図１４に示すように、撮影位置から撮影方向に向かって予め設定した仰角の範囲内に操作員が指示した点が入り、その距離が予め設定した距離以内であることとする。以上の処理の詳細は、実施の形態７と同様に処理する。
【００５８】
対象位置検索手段１５では、操作員が指示した点が写っている撮影位置を撮影情報にもつ映像を取り出す。この実施の形態８では、操作員が指示した位置が写っている映像は複数あるものとする。対象位置検索手段１５では、操作員が指示した点が写っている撮影位置が写っている映像の撮影時間の前後例えば５秒というように予め設定した時間の映像表示を定点映像時間順表示手段１６へ依頼する。このとき、映像は複数である。
対象位置検索手段１５から定点映像時間順表示手段１６への依頼は、再生開始時間、再生終了時間、映像のファイル名を一組として、複数の映像がある場合は映像の数だけ送る。映像の撮影位置における撮影時間の５秒前を再生開始時間とし、撮影位置における撮影時間の５秒後を再生終了時間とする。再生開始時間が該当する映像の最初の撮影位置記録の撮影時間より前の場合は、再生開始時間はこの映像の最初の撮影位置記録の撮影時間とする。また、再生終了時間が該当する映像の最後の撮影位置記録の撮影時間より後の場合は、再生終了時間はこの映像の最後の撮影位置記録の撮影時間となる。
【００５９】
複数ある映像の再生順序は以下のように決定する。
定点映像時間順表示手段１６では、映像を古い順に再生する指示を映像再生手段１へ送る。一つの映像が再生し終わったら、次に古い映像を再生するように次々と指示を送る。映像再生手段１では、これに従って映像を再生する。
映像を古い順に指定する具体的処理は以下のように行う。
定点映像時間順表示手段１６では、対象位置検索手段１５から送られた各映像の再生開始時間を比較して、この再生開始時間の最も古い映像の再生開始時間、再生終了時間、映像のファイル名を映像再生手段１へ送る。指定した時間の範囲だけの映像の再生は、実施の形態６の処理と同様に処理する。映像再生手段１は、映像を再生し終わると定点映像時間順表示手段１６へ再生終了であることを知らせる。映像時間順表示手段１６では、映像再生手段１で再生した映像のファイル名と再生開始時間と再生終了時間を定点映像時間順表示手段１６の保持している記録から消す。定点映像時間順表示手段１６において保持している残りの映像の映像ファイル、再生開始時間、再生終了時間の組の中から、最も再生開始時間の古い映像を選択して、この再生開始時間の最も古い映像の再生開始時間、再生終了時間、映像のファイル名を映像再生手段１へ送る。この処理を定点映像時間順表示手段１６で保持している映像の全てを表示し終わるまで続ける。
【００６０】
以上のように、この実施の形態８によれば、対象位置入力手段１４で入力した位置を複数の映像で記録してある場合でも、定点映像時間順表示手段１６によって順次古い順にその地点の映像を検索することができるようにしたので、地図上である地点に対応付けてある映像を検索する場合、その地点に複数の映像が対応付けてある場合でも、古い順に順次検索して表示するので、何度も同じ地点の映像を何回も検索し直さなくても済む。
【００６１】
実施の形態９．
上述した実施の形態３では、撮影した映像を軌跡で地図上に表示することができるが、次に地図上で指定した特定の場所が写っている映像を検索する実施の形態を示す。
【００６２】
図１６はこの発明の実施の形態９に係る映像情報表示装置の構成を示す構成図である。
図１６において、図５に示す実施の形態３と同一部分は同一符号を示し、その説明は省略する。新たな符号として、１７は地図上で操作員が見たい範囲を指定するとその範囲の実際の位置を対象位置対応手段９を用いて取得する対象範囲入力手段、１８は操作員が指定した範囲が撮影してある映像を映像データベース５から検索し、映像検索手段２と映像再生手段１を介して再生する対象範囲検索手段である。
【００６３】
次に動作について説明する。
操作員が地図表示画面上で見たい範囲を指示することで、画面から地図上の範囲を特定できる点の座標位置を対象範囲入力手段１７に送る。例として、範囲は４角形とし、特定するために４点を送ることとする。対象範囲入力手段１７は、対象位置対応手段９へ、４点の地図上の座標位置を経度緯度で示す実際の位置に変換する依頼をする。
【００６４】
対象位置対応手段９では、操作員が指示した範囲を示す４点の実際の位置を計算し、対象範囲入力手段１７へ送る。これに基づき、対象範囲入力手段１７は、操作員が指示した位置を実際の経度緯度に直した位置を対象範囲検索手段１８へ送り映像の検索を依頼する。対象打ち対応手段９における操作員の地図上の指示位置の経度緯度変換は実施の形態５と同じように行う。
【００６５】
対象範囲検索手段１８では、映像データベース５を検索し、操作員の指定した範囲が写っている撮影位置を取り出す。このとき、指定した範囲が写っているかどうかの判断は、図１７のように行う。ある撮影位置から撮影方向に向かって予め設定した仰角の範囲内に操作員の指定した範囲の点が含まれ、その距離が予め設定した距離以内のときは、その範囲がその撮影地点で写っていると判断する。具体的には、対象範囲検索手段１８は、映像データベースに含まれる撮影情報のすべての撮影位置を以下のように調べる。先ず、撮影位置を原点として、北方向をＹ（単位はメートル）東方向をＸ（単位はメートル）とする座標系を用いて、操作員が指定した４点を北西の角をＡ、北東の角をＢ、南東の角をＣ、南西の角をＤと表現する。これらが例えば、Ａ（５，２０）、Ｂ（２０，２０）、Ｃ（５，５）、Ｄ（２０，５）であったとする。操作員の指定した範囲は、５≦Ｘ≦２０かつ５≦Ｙ≦２０である。以上の条件を仮に条件１とする。撮影時の撮影範囲を、撮影方向から左右各３０度として設定してある場合で、かつ、撮影方向が北に対して東方向に６０度であったとする。このとき、撮影範囲は撮影方向から左右３０度を示す線の間になり、Ｙ≧０、Ｙ≦√３Ｘを満たしかつ、Ｘ≧０の範囲となる。さらに、撮影位置から３０ｍ以内の距離であったとすればＸの二乗とＹの二乗の合計が３０の二乗である９００以下にならなくては行けない。以上の条件を条件２とする。
条件１と条件２を同時に満たしていればその撮影位置において、撮影区間が写っていたことになる。
これを簡単に確認する方法として、先ず条件１を満たす座標をメモリ空間内に描く。メモリとは、０または１を記録する記録媒体であり、記録させる仮想の場所を番地によって指定するものであり、メモリ空間内に描くとは、メモリの全ての番地に０を記憶させておき、条件を満たす座標によって指定される番地の記憶内容を１とすることである。番地は例えば１６進数で８桁であり最初の４桁を上位番地、下４桁を番地と名づけ、Ｙ座標を上位番地、Ｘ座標を下位番地に割り当てる。このとき、１メートルが１６進数の１０程度になるように細かく分割すれば精度があがる。
次に、条件２を満たす座標を別の記録媒体であるメモリ空間内に同様にして描く。条件１を描いたメモリと、条件２を描いたメモリの全ての同じ番地の記憶内容を比較し、両方とも記憶内容が１である番地がある場合、条件１と条件２を動じに満たす点があることになり、この撮影位置は確かに操作員が指定した範囲内のどこかの点が写っていると判断する。
【００６６】
以上のように、この実施の形態９によれば、対象範囲入力手段１７で入力した範囲が写っている映像を、対象範囲検索手段１８を介して検索することができるようにしたので、地図上のある範囲内に対応付けられている映像を検索する場合、地図上で範囲を指定してその範囲内の映像をまとめて検索することができるので、地図上でみたい範囲の映像を一つ一つ選択して検索しなくてもよくなる。
【００６７】
実施の形態１０．
上述した実施の形態３では、撮影した映像を軌跡で地図上に表示することができるが、次に地図上である軌跡を通って移動した物体が写っている映像を検索する実施の形態を示す。
【００６８】
図１８はこの発明の実施の形態１０に係る映像情報表示装置の構成を示す構成図である。
図１８において、図５に示す実施の形態３と同一部分は同一符号を示し、その説明は省略する。新たな符号として、１９は地図上で操作員が見たい位置の移動軌跡とその日時を入力すると、その位置を対象位置対応手段を介して実際の位置に変換する移動軌跡入力手段、２０は移動軌跡入力手段１９から受け取った時間に同じく受け取った位置が写っている映像を映像データベース５から検索し、映像検索手段２と映像再生手段１を介して再生する移動軌跡検索手段である。
【００６９】
次に動作について説明する。
操作員が地図上に検索したい移動軌跡をマウスを使って入力する。軌跡の入力は地図上に複数の点を指示することにより行う。また、指示した点にはその点を通過した時間を入力する。これらの情報は地図表示の画面から移動軌跡入力手段１９へ送る。移動軌跡入力手段１９では、軌跡として入力した地図上の座標位置を対象位置対応手段９へ送り、座標位置を経度緯度で示す実際の位置に変換する依頼をする。
【００７０】
対象位置対応手段９では、軌跡の各点の実際の位置を計算し、移動軌跡入力手段１９へ送る。対象位置対応手段９における操作員の地図上の指示位置の経度緯度への変換は実施の形態５と同じように行う。移動軌跡入力手段１９では、操作員が入力した軌跡の点における実際の位置とその点に対して入力した時間を移動軌跡検索手段２０に送り、その地点にその時間に撮影した映像があるかどうかの検索を依頼する。移動軌跡検索手段２０では、映像データベース５を検索し、操作員の指定した軌跡の点に近い撮影位置の撮影情報を取り出す。
【００７１】
移動軌跡検索手段２０では、検索して取り出した撮影位置の全てについて、操作員が指示した点が写っているかどうかを確認する。写っているかどうかの判断は、実施の形態７と同じであるが、実施の形態１０では位置だけではなく撮影時間についても操作員の指定した時間かどうかを調べる。
撮影時間については、映像データベース５の撮影位置のある点において、操作員が指定したある点が写っていると判断したときに、その撮影位置の撮影時間を、操作員が指定した時間と比較し、予め設定しておいた例えば５秒以内という時間差であれば、その時間にその位置が写っていると判断する。
そして、操作員が指示した点が写っている撮影位置を撮影情報にもつ映像を取り出す。移動軌跡検索手段２０では、操作員が指示した点が写っている撮影位置が写っている映像の撮影時間の前後例えば５秒というように予め設定した時間の映像再生を映像再生手段１へ依頼する。映像再生手段１では、これに従って映像を再生する。再生の指示と再生の処理は、実施の形態７と同様に処理する。
【００７２】
以上のように、この実施の形態１０によれば、移動軌跡入力手段１９で入力した時間と地点の映像があるかどうかを移動軌跡検索手段２０を介して検索することができるようにしたので、例えば過去に地図で示される範囲内を通過した車を撮影した映像を検索する場合、地図上で例えば道路に沿って移動した車の移動経路と例えば大きな交差点のような要所要所の通過地点を指定するだけで、その車の写っている映像を取り出すことができるので、移動経路上の各地点に対応付けられている映像を全て検索したり内容を確認したりする手間が省ける。
【００７３】
実施の形態１１．
上述した実施の形態３では、撮影した映像を軌跡で地図上に表示することができるが、次に映像の軌跡だけではなく映像の内容の一部も地図上に表示する実施の形態を示す。
【００７４】
図１９はこの発明の実施の形態１１に係る映像情報表示装置の構成を示す構成図である。
図１９において、図５に示す実施の形態３と同一部分は同一符号を示し、その説明は省略する。新たな符号として、２１は地図上に検索結果である映像の一場面の画像である代表画面を表示する代表画面表示手段である。
【００７５】
次に動作について説明する。
まず、操作員が軌跡表示手段１０へ撮影したときの位置の軌跡を地図上に表示するように指示することで、軌跡表示手段１０では、映像データベース５から全ての撮影情報を読み出す。次に、軌跡表示手段１０では、撮影情報に含まれる撮影位置の経度緯度情報を地図上での座標に変換するように対象位置対応手段９に依頼する。
【００７６】
対象位置対応手段９では、対象となる地図上の座標に変換して軌跡表示手段１０へ返す。
対象位置対応手段９における経度緯度の画面表示した地図上の座標への変換は以下のように行う。
地図のイメージデータの座標の原点の経度緯度と、縮尺として、経度緯度の１秒が地図を示すイメージデータの何ドットかという情報を地図情報として地図イメージデータと一緒に予め蓄積してあることとする。これにより、操作員の指定した経度緯度が、地図上の原点から何秒離れているかがわかる。この秒数に経度緯度の１秒が地図を示すイメージデータの何ドットかという値を掛け合わせて、地図上の座標位置を決定する。
次に、軌跡表示手段１０では、地図情報表示手段８へ地図表示の指示を行う。地図情報表示手段８では、地図情報７を読み込み表示し、表示画面は道路や街区を示す。
この処理は例えば市販の地図表示ソフトウェアを用いて行う。
次に、軌跡表示手段１０では、軌跡点の地図上の座標を利用して、地図上に軌跡を描いて表示する。軌跡の表示例は図７のようになる。
以上の処理は実施の形態３と同様に処理する。
【００７７】
次に、軌跡表示手段１０は、代表画面表示手段２１へ軌跡を示す撮影情報と地図上の軌跡の表示してある座標位置を送る。代表画面表示手段２１は、軌跡を示す映像の電子ファイルを取り出す。すなわち、映像３の電子ファイルから１場面の画像を取り出し地図上の軌跡の横に表示する。
画像の取り出しについては以下のように行う。
撮影情報に映像の電子ファイル名が含まれる。この電子ファイルには、時間順に、例えば１秒に２０コマの時間順の静止画が記録されている。例えば電子ファイルの先頭の静止画を読み込むこととする。
表示する位置については、その映像で最も過去に撮影された撮影位置の経度緯度を地図上に座標に直した点の直ぐ横に表示する。
【００７８】
以上のように、この実施の形態１１によれば、代表画面表示手段２１により、軌跡を表示した映像の内容の一部を地図上に表示することができるようにしたので、撮影した映像のうちの１場面の画像を、地図上に対応付けた撮影位置の軌跡と合わせて表示するので、単純に映像の撮影位置がわかるだけではなく、その内容も地図上の表示を見ればわかるようになる。
【００７９】
実施の形態１２．
上述した実施の形態３では、撮影した映像を軌跡で地図上に表示することができるが、次に映像の軌跡だけではなく映像の内容を撮影位置がわかるように移動しながら地図上に表示する実施の形態を示す。
【００８０】
図２０はこの発明の実施の形態１２に係る映像情報表示装置の構成を示す構成図である。
図２０において、図５に示す実施の形態３と同一部分は同一符号を示し、その説明は省略する。新たな符号として、２２は地図上に検索結果である映像の一場面の画像を表示するが、その表示方法として、撮影位置に対応する位置に沿って表示位置を移動し、撮影時間に沿った再生内容に表示する画面を切り替える代表画面移動表示手段である。
【００８１】
次に動作について説明する。
まず、操作員が軌跡表示手段１０へ撮影したときの位置の軌跡を地図上に表示するように指示することで、軌跡表示手段１０では、映像データベース５から全ての撮影情報を読み出し、撮影情報に含まれる撮影位置の経度緯度情報を地図上での座標に変換するように対象位置対応手段９に依頼する。対象位置対応手段９では、対象となる地図上の座標に変換して軌跡表示手段１０へ返す。座標の変換は、実施の形態１１と同じように行う。
【００８２】
次に、軌跡表示手段１０では、地図情報表示手段８へ地図表示の指示を行う。地図情報表示手段８では、地図情報７を読み込み表示し、表示画面に道路や街区を示す。そして、軌跡表示手段１０では、軌跡点の地図上の座標を利用して、地図上に軌跡を描いて表示する。軌跡の表示例は図７のようになる。以上の処理は実施の形態３と同様に処理する。
次に、軌跡表示手段１０から代表画面再生移動表示手段２２へ軌跡を示す撮影情報と地図上の軌跡の表示してある座標位置が送られる。
【００８３】
代表画面再生移動表示手段２２は、軌跡を示す映像３の電子ファイルを取り出し、映像を再生し、図２１で示すように、その再生中の映像が撮影された地点の地図上の位置に映像を表示するように映像を地図上に移動しながら表示する。
この実施の形態１２としては、撮影情報に撮影時間と撮影位置が含まれるので、再生しながらそれに対応した撮影位置を取り出し、その位置に対応した地図上の座標を対象位置対応手段９から取り出し、その座標地点を再生している映像の表示位置とする。
代表画面再生移動表示手段２２は、撮影位置の時間順に、映像を撮影位置Ａから次の撮影位置であるＢまでの時間を一つの区切りとして、その撮影時間の映像の電子ファイルの表示を撮影位置Ａの地図上の軌跡の表示位置の横に表示する。この表示が終わったら、撮影位置Ｂから時間順に告ぎの撮影位置であるＣまでの区間の映像を撮影位置Ｂの地図上の表示位置の横に再生して表示する。これを繰り返す。特定の撮影位置区間の表示については、実施の形態６と同じように行う。
【００８４】
以上のように、この実施の形態１２によれば、代表画面再生移動表示手段２２により、選択した軌跡の映像の内容がその撮影位置がわかる形で地図上に表示するようにしたので、映像を再生するときに、映像を撮影した位置に対応した地図上の位置に映像再生画面を表示することができ、映像の再生時間が長くても、どの位置の再生をしているかが容易にわかる。
【００８５】
実施の形態１３．
上述した実施の形態３では、撮影した映像を軌跡で地図上に表示することができるが、次に映像の軌跡だけではなく映像が実空間内でどの範囲で撮影できているかの情報を地図上にわかりやすく表示する実施の形態を示す。
【００８６】
図２２はこの発明の実施の形態１３に係る映像情報表示装置の構成を示す構成図である。
図２２において、図５に示す実施の形態３と同一部分は同一符号を示し、その説明は省略する。新たな符号として、２３は映像の撮影位置の軌跡を地図上に表示するときに、地図上に映像がどの範囲まで写っているかを地図上に表示する撮影範囲表示手段である。
【００８７】
次に動作について説明する。
まず、操作員が軌跡表示手段４へ撮影したときの位置の軌跡を地図上に表示するように指示することで、軌跡表示手段４では、映像データベース５から全ての撮影情報を読み出し、撮影情報に含まれる撮影位置の経度緯度情報を地図上での座標に変換するように対象位置対応手段９に依頼する。
【００８８】
対象位置対応手段９では、対象となる地図上の座標に変換して軌跡表示手段４へ返す。これに基づき、軌跡表示手段４では、地図情報表示手段８へ地図表示の指示を行う。地図情報表示手段８では、地図情報７を読み込み表示し、表示画面に図６の例のように道路や街区を示す。
この処理は実施の形態１１と同様に行う。
【００８９】
次に、軌跡表示手段４では、軌跡点の地図上の座標を利用して、地図上に軌跡を描いて表示する。軌跡の表示例は図７のようになる。
軌跡表示手段４から、撮影範囲表示手段２３へ軌跡を示す撮影情報の中から撮影位置と撮影方向を取り出して送ることで、撮影範囲表示手段２３は、軌跡を示す映像の電子ファイルを取り出し、地図の土地の等高線情報や建物の形状と高さ情報等で構成される立体地図情報を読み込み、撮影位置とその方向から計算して映像に写っている範囲を算出して地図上に表示する。
算出の方法は、図２３に示すように、土地と建物の立体モデルにたいして、カメラの視点がどの範囲で届くかを計算する。
具体的な方法を、地図上の座標を用いて説明する。但し東方向をＸ軸、北方向をＹ軸とするＸ−Ｙ座標に高さ方向にＺ軸を加えた３次元のＸ−Ｙ−Ｚ座標を用いて説明する。また、便宜上地図上の座標の１単位は実空間で１メートルであるとする。また、カメラの撮影できる角度をカメラの撮影方向からＸ−Ｙ平面に平行に左右３０度Ｘ−Ｙ平面から上方１０度、距離５０メートルとする。
ある撮影位置の座標をＡとすると、Ａの座標は（ＸＡ，ＹＡ，０）であったとする。ＡからＸ−Ｙ平面に平行に撮影方向へ直線Ｌを引く。線を引くとは線のＸ−Ｙ−Ｚの関連式を計算することにより行う。
ＬからＸ−Ｙ平面に平行に左右に３０度の直線をＸ−Ｙ平面上に引く。これらを直線Ｍと直線Ｎとする。ＭとＮの撮影位置の座標点から距離にして、５０メートルの座標をＢ、Ｃとする。ＢはＬより左の線とする。
ＢからＺ軸にプラスの方向に垂線Ｍ２を引く。撮影位置からＭ２へ到達する線Ｍ３を引き、この線のＸ−Ｙ平面との角度が１０度になるようにする。Ｍ３とＭ２の交点をＢ２とする。
ＣからＺ軸にプラスの方向に垂線Ｎ２を引く。撮影位置からＮ２へ到達する線Ｎ３を引き、この線のＸ−Ｙ平面との角度が１０度になるようにする。Ｎ３とＮ２の交点をＣ２とする。
Ｂ、Ｂ２、Ｃ２、Ｃを結ぶ長方形の面をＳと呼ぶこととする。ＳをＸ−Ｙ平面に平行な線で１０当分に分割し、かつ、直線ＬとＺ軸からなる平面に平行な線で１０当分に分割する。分割された１００の長方形をセルと呼ぶこととする。撮影位置から各セルの中心へ線を引く。この直線をＳＥＬ１からＳＥＬ１００と名づける。以上は線の計算式を求めることにより行う。
一方、地図上には建物や斜面等の地形が、ある座標点においては、何メートルというように高さデータが蓄積してあるとする。これを座標空間にあてはめ、座標の１単位を１辺とした立方体を座標空間の中におく。座標空間の中に置くとは、メモリ空間内立体座標を置くことにより行う。メモリとは、０または１を記録する記録媒体であり、記録させる仮想の場所を番地によって指定するものであり、メモリ空間内に置くとは、メモリの全ての番地に０を記憶させておき、条件を満たす座標によって指定される番地の記憶内容を１とすることとする。番地は例えば１６進数で１２桁であり最初の４桁を上位番地、次の４桁を中間番地、下４桁を番地と名づけ、Ｘ座標を上位番地、 Ｙ座標を中間番地、Ｚ座標を下位番地に割り当てる。
次に、ＳＥＬ１〜ＳＥＬ１００まで以下の処理を行う。例えばＳＥＬ１の場合、ＳＥＬ１の直線式を例えば１<X≦２の場合は２とすることにより、整数値のＸ、Ｙ、Ｚの組を全て算出する。次にこのＸ，Ｙ，Ｚの組み合わせを前述のメモリ空間内の座標として、番地に割り当て、この番地に立体物があるか無いかを確認する。最も撮影位置に近い点における立体物がある点がその撮影位置のそのＳＥＬ１への方向の視界の限界としてその地図上のＸ，Ｙの座標を記憶する。立体物が一つも無い場合は、長方形ＳとＳＥＬ１がぶつかる点を視界の限界とする。  以上の繰り返しによって、地図上のどの範囲が見えているかを計算する。
【００９０】
以上のように、この実施の形態１３によれば、撮影範囲表示手段２３により、撮影した映像が実際にどの範囲まで撮影できているかを地図上に詳しく表示することができるようにしたので、映像に写っている範囲が地図上に詳しく表示でき、ビルの横やどての近く等の撮影できているかどうか分かりつらい部分の映像が写っているかどうかを映像を再生しなくても地図上で容易に知ることができる。
【００９１】
実施の形態１４．
上述した実施の形態３では、撮影した映像を軌跡で地図上に表示することができるが、次に映像の軌跡だけではなく映像に関連付けてある他の情報の検索を行う実施の形態を示す。
【００９２】
図２４はこの発明の実施の形態１４に係る映像情報表示装置の構成を示す構成図である。
図２４において、図５に示す実施の形態３と同一部分は同一符号を示し、その説明は省略する。新たな符号として、２４は映像に関連する説明文等の情報を検索して表示する関連情報表示手段である。
【００９３】
次に動作について説明する。
操作員が、実施の形態３と同じように軌跡を選択し、軌跡で示した映像の関連情報を表示する指示をする。その軌跡の全ての撮影地点地図上の座標位置を関連情報検索手段２４で受け取る。関連情報検索手段２４では、地図上の座標を実際の位置に変換するように対象位置対応手段９へ指示する。対象位置対応手段９では、地図上の座標を実際の位置に変換して関連情報検索手段２４へ返す。
【００９４】
これに基づき、関連情報検索手段２４では、撮影位置を検索キーとして、映像データベース５から関連情報を取り出して表示する。このとき、映像データベース５に映像についてメモをした文書データや映像に写っている対象物についての説明文書データ等の関連情報を予め撮影位置と関連付けて持っていることとする。
【００９５】
以上のように、この実施の形態１４によれば、関連情報検索手段２４により、撮影した映像に関連する関連情報を検索するようにしたので、地図に対応付けてある映像に関連した関連情報を関連情報専用のデータベースを利用しなくても検索できるようになる。
【００９６】
実施の形態１５．
上述した実施の形態３では、撮影した映像を軌跡で地図上に表示することができるが、次に、再生表示している映像の中の位置を選択するとその位置が地図上でどこであるかを表示する実施の形態を示す。
【００９７】
図２５はこの発明の実施の形態１５に係る映像情報表示装置の構成を示す構成図である。
図２５において、図５に示す実施の形態３と同一部分は同一符号を示し、その説明は省略する。新たな符号として、２５は操作員が映像再生中に映像に写っている位置を指定すると、再生時間を元に映像の撮影位置と撮影方向を映像データベース５から検索して取り出し、その位置を確認する指示位置確認手段、２６は指示位置確認手段２５から受け取った撮影位置を地図上に表示する指示位置表示手段である。
【００９８】
次に動作について説明する。
映像が映像再生手段１で再生中であるとき、操作員が画面上の位置を指示位置確認手段２５を介して指示すると、指示位置確認手段２５は、映像再生手段１から再生中の映像の電子ファイル名と再生がその映像の先頭から何秒目かという再生時間を取得する。これに基づき、指示位置確認手段２５は、映像データベース５から映像の電子ファイル名と再生時間を検索のキーとして撮影情報に含まれる撮影位置と撮影方向を取り出す。そして、撮影位置と撮影方向から操作員が画面上で指示した位置が実際の位置でどの位置になるかを計算する。
【００９９】
指示位置確認手段２５における計算は図２６のように行う。すなわち、撮影方向に対して予め設定した範囲の仰角で撮影していると仮定し、その仰角を図２６ではＣと示す。操作員が指定した点の画面の中心からの距離を図２６中のａで示し、操作員が指定した点から画面の右または左の近い方までの距離を図２６のｂで示す。撮影位置から撮影方向をｃ×ａ／（ａ＋ｂ）の角度だけずらした方角を目標位置方向とし、実際の撮影位置から目標方向に向かって予め設定した範囲の例えば幅１０メートル長さ２００メートルを指示位置の実際の位置として算出する。そして、指示位置確認手段２５は、指示位置の実際の位置を指示位置表示手段２６へ表示するように指示する。指示位置表示手段２６は、指示された範囲を地図上で網目上等の表示方法で表示する。
【０１００】
以上のように、この実施の形態１５によれば、指示位置確認手段２５により操作員が再生中の映像を見ながら画面上で指示した位置が実際の経度緯度で表現できる位置でどこに対応するかがわかり、指示位置表示手段２６により、その位置を地図上に表示するようにしたので、地図と対応付けてある映像を再生表示しているときに、映像中の位置または物体を指定するとその位置または物体のある位置が地図上で表示でき、映像に写っている位置の確認が正確でかつ簡単にできる。
【０１０１】
実施の形態１６．
上述した実施の形態７では、指定した特定の場所が写っている映像を検索することができるが、次に地図上で指定した特定の場所が写っている映像を検索し、その表示画面中で指定した位置がどこであるかを強調して表示する実施の形態を示す。
【０１０２】
図２７はこの発明の実施の形態１６に係る映像情報表示装置の構成を示す構成図である。
図２７において、図１３に示す実施の形態７と同一部分は同一符号を示し、その説明は省略する。新たな符号として、２７は地図上で操作員が選択した位置を動画中で枠で囲む等のマークを付けることにより強調する動画強調手段である。
【０１０３】
次に動作について説明する。
操作員が地図表示画面上で見たい位置を指示することで、画面から地図上の座標位置が対象位置入力手段１４に送られる。これに基づき、対象位置入力手段１４は、対象位置対応手段９へ地図上の座標位置を経度緯度で示す実際の位置に変換する依頼をする。対象位置対応手段９では、操作員が指示した点の実際の位置を計算し、対象位置入力手段１４へ送る。これにより、対象位置入力手段１４は、操作員が指示した位置を実際の経度緯度に直した位置を対象位置検索手段１５へ送り映像の検索を依頼する。
【０１０４】
対象位置検索手段１５では、映像データベース５を検索し、操作員の指示した位置に近い撮影位置を取り出す。このとき、近いという判断は、距離が例えば３０メートルというように予め決めておく。対象位置検索手段１５では、検索して取り出した撮影位置の全てについて、操作員が指示した点が写っているかどうかを確認する。この確認方法としては、図１４に示すように、撮影位置から撮影方向に向かって予め設定した仰角の範囲内に操作員が指示した点が入り、その距離が予め設定した距離以内であることとする。
【０１０５】
対象位置検索手段１５では、操作員が指示した点が写っている撮影位置を撮影情報にもつ映像３を取り出し、操作員が指示した点が写っている撮影位置が写っている映像の撮影時間の前後例えば５秒というように予め設定した時間の映像再生を映像再生手段１へ依頼する。映像再生手段１では、これに従って映像を再生し、また、対象位置検索手段１５は、操作員が指定した指定位置が写っている撮影地点とその撮影時間の情報を動画強調手段２７へ送る。
【０１０６】
動画強調手段２７は、指定位置が写っている撮影時間に撮影された映像に指定位置を強調する表示を行う。強調する表示とは、図２８のように、その位置が写っている部分に例えば四角い枠を表示することである。強調表示を画面上のどの位置に表示するかの判断は撮影方向と操作員が地図上で指定した指定位置の方向のずれである図２８のａと、元々のカメラアングルの仰角ｃを用いて、画面の中心から画面の半分の幅かけるａ／ｃだけずらした点を中心として表示する。画面の上下の位置については、撮影情報に撮影方向の上下についての方向の情報があり、かつ操作員が指示する指定位置の情報に高さ情報がある場合に同様の手法を用いて算出する。
【０１０７】
以上のように、この実施の形態１６によれば、動画強調手段２７が、操作員が地図上で指示した点が映像のどこに写っているかの位置を計算するので、操作員が地図上で指示した点を映像上で強調して表示することができ、地図と対応付けてある映像を再生表示しているときに、地図上で選択した位置を映像上で強調して表示するので、映像の中に見たい建物や標識等が写っているかどうかを簡単に表示できる。
【０１０８】
【発明の効果】
以上のように、この発明によれば、映像に写っている範囲が地図上に詳しく表示できるので、ビルの横やどての近く等の撮影できているかどうか分かりつらい部分の映像が写っているかどうかを映像を再生しなくても地図上で容易に知ることができ、地形や建物のかげになって映像が写っているかどうかの確認を容易に行うことができる。
【図面の簡単な説明】
【図１】  この発明に係る映像情報表示装置の全体構成図である。
【図２】  この発明の実施の形態１に係る映像情報表示装置の構成を示すブロック図である。
【図３】  映像の例と映像データベースの具体的内容の例を示す説明図である。
【図４】  この発明の実施の形態２に係る映像情報表示装置の構成を示すブロック図である。
【図５】  この発明の実施の形態３に係る映像情報表示装置の構成を示すブロック図である。
【図６】  地図表示の例を示す説明図である。
【図７】  地図上に撮影軌跡を表示したときの表示例を示す説明図である。
【図８】  この発明の実施の形態４に係る映像情報表示装置の構成を示すブロック図である。
【図９】  地図上に撮影情報を視覚的に表示したときの表示例を示す説明図である。
【図１０】  この発明の実施の形態５に係る映像情報表示装置の構成を示すブロック図である。
【図１１】  地図上の撮影軌跡と操作員の指示位置との距離の例を示す説明図である。
【図１２】  この発明の実施の形態６に係る映像情報表示装置の構成を示すブロック図である。
【図１３】  この発明の実施の形態７に係る映像情報表示装置の構成を示すブロック図である。
【図１４】  地図上で操作員が指示した位置が映像に写っているかどうかを撮影情報を元に判断する例を示す説明図である。
【図１５】  この発明の実施の形態８に係る映像情報表示装置の構成を示すブロック図である。
【図１６】  この発明の実施の形態９に係る映像情報表示装置の構成を示すブロック図である。
【図１７】  地図上で操作員が指示した範囲が映像に写っているかどうかを撮影情報を元に判断する例を示す説明図である。
【図１８】  この発明の実施の形態１０に係る映像情報表示装置の構成を示すブロック図である。
【図１９】  この発明の実施の形態１１に係る映像情報表示装置の構成を示すブロック図である。
【図２０】  この発明の実施の形態１２に係る映像情報表示装置の構成を示すブロック図である。
【図２１】  代表画面を撮影軌跡に沿って移動しながら表示する表示例を示す説明図である。
【図２２】  この発明の実施の形態１３に係る映像情報表示装置の構成を示すブロック図である。
【図２３】  立体情報を元にした撮影範囲の説明と撮影範囲の地図上の表示例の説明図である。
【図２４】  この発明の実施の形態１４に係る映像情報表示装置の構成を示すブロック図である。
【図２５】  この発明の実施の形態１５に係る映像情報表示装置の構成を示すブロック図である。
【図２６】  画面中の位置と実際の位置の対応例を示す説明図である。
【図２７】  この発明の実施の形態１６に係る映像情報表示装置の構成を示すブロック図である。
【図２８】  映像表示における指定位置の強調例を示す説明図である。
【符号の説明】
１  映像再生手段、２  映像検索手段、３  撮影した映像の電子ファイル、５映像データベース、６  映像対応付け手段、７  地図情報、８  地図情報表示手段、９  対象位置対応手段、１０  軌跡表示手段、１１  撮影情報地図上表示手段、１２  映像軌跡指示手段、１３  映像軌跡区間指示手段、１４  対象位置入力手段、１５  対象位置検索手段、１６  定点映像時間順表示手段、１７  対象範囲入力手段、１８  対象範囲検索手段、１９  移動軌跡入力手段、２０  移動軌跡検索手段、２１  代表画面表示手段、２２  代表画面移動表示手段、２３撮影範囲表示手段、２４  関連情報表示手段、２５  指示位置確認手段、２６指示位置表示手段、２７  動画強調手段、１００  コンピュータ装置、２００マウス、３００  キーボード、４００  ディスプレイ装置。
【図１】
0004109985.tif 000002
【図２】
0004109985.tif 000003
【図３】
0004109985.tif 000004
【図４】
0004109985.tif 000005
【図５】
0004109985.tif 000006
【図６】
0004109985.tif 000007
【図７】
0004109985.tif 000008
【図８】
0004109985.tif 000009
【図９】
0004109985.tif 000010
【図１０】
0004109985.tif 000011
【図１１】
0004109985.tif 000012
【図１２】
0004109985.tif 000013
【図１３】
0004109985.tif 000014
【図１４】
0004109985.tif 000015
【図１５】
0004109985.tif 000016
【図１６】
0004109985.tif 000017
【図１７】
0004109985.tif 000018
【図１８】
0004109985.tif 000019
【図１９】
0004109985.tif 000020
【図２０】
0004109985.tif 000021
【図２１】
0004109985.tif 000022
【図２２】
0004109985.tif 000023
【図２３】
0004109985.tif 000024
【図２４】
0004109985.tif 000025
【図２５】
0004109985.tif 000026
【図２６】
0004109985.tif 000027
【図２７】
0004109985.tif 000028
【図２８】
0004109985.tif 000029