(57)【要約】【課題】被写体と被写体の空間位置の把握を効率化する画像表示システム、画像表示方法、およびプログラムを提供すること。【解決手段】画像表示システムの情報処理装置３００は、連続したフレームとして動画像を取得し、動画像を表示する画像表示システムであり、フレームが取得された時の位置データと、動画像と、被写体の位置データ範囲でインデキシングした平面イメージ図とを格納する記憶装置３１６と、動画像を読出して動画像を伸張し、動画再生するための伸張／圧縮処理部３０４と、位置データを読出して、動画像の撮影位置の移動方向を計算する移動解析部３１２とを含み、位置データにより検索された平面イメージ図を取得し、取得した平面イメージ図に撮影位置の移動方向を示す方向指示イメージを重畳して、表示装置３１８の表示画面上に表示させている。【選択図】図３
2008225353.tif 000002
【特許請求の範囲】
【請求項１】
連続したフレームとして動画像を取得し、前記動画像を表示する画像表示システムであって、
前記フレームが取得された時の位置データと、前記動画像と、被写体の位置データ範囲でインデキシングした平面イメージ図とを格納する記憶装置と、
前記動画像を読出して前記動画像を伸張し、動画再生するための伸張／圧縮処理部と、
前記位置データを読出して、前記動画像の撮影位置の移動方向を計算する移動解析部とを含み、
前記位置データにより検索された前記平面イメージ図を取得し、取得した前記平面イメージ図に前記撮影位置の前記移動方向を示す方向指示イメージを重畳して表示イメージを作成する、画像表示システム。
【請求項２】
前記フレームは、圧縮された画像データと位置データとを含む、請求項１に記載の画像表示システム。
【請求項３】
前記移動解析部は、前記移動方向および前記撮影位置を示すように前記方向指示イメージの回転量および並進移動量を決定する、請求項１に記載の画像表示システム。
【請求項４】
前記画像表示システムは、前記方向指示イメージを設定されたフレーム間隔で計算し、前記方向指示イメージを、前記平面イメージ図での移動履歴として表示する、請求項１に記載の画像表示システム。
【請求項５】
前記記憶装置は、前記方向指示イメージを前記移動履歴として表示させた複数の表示イメージを作成し、前記方向指示イメージを作成した前記フレームと対応させて登録する、請求項４に記載の画像表示システム。
【請求項６】
前記記憶装置は、さらに基準方向から測定して設定された角度刻みで回転させた複数の前記方向指示イメージを格納し、前記画像表示システムは、前記回転量に対応する前記方向指示イメージを選択し、前記並進移動位置で前記平面イメージ図に重畳する、請求項３に記載の画像表示システム。
【請求項７】
連続したフレームとして動画像を取得し、前記動画像を表示する画像表示システムに動画像および動画像と被写体との平面関係を表示させる画像表示方法であって、
前記フレームが取得された時の位置データと、前記動画像と、前記動画像の被写体の位置データ範囲でインデキシングした平面イメージ図とを記憶装置に格納するステップと、
前記位置データにより検索された前記平面イメージ図を取得するステップと、
前記位置データを前記記憶装置から読出して、前記動画像の撮影位置の移動方向を計算するステップと、
前記移動方向および前記撮影位置を示すように前記方向指示イメージの回転量および並進移動量を決定するステップと、
取得した前記平面イメージ図に前記撮影装置の前記移動方向を示す前記方向指示イメージを重畳した表示イメージを作成するステップと、
を前記画像表示システムに実行させる方法。
【請求項８】
さらに、前記方向指示イメージを設定されたフレーム間隔で計算し、前記方向指示イメージを前記平面イメージ図での移動履歴として表示するステップを実行する、請求項７に記載の方法。
【請求項９】
さらに、
前記方向指示イメージを前記移動履歴として表示させた複数の表示イメージを作成するステップと、
前記動画像を伝送し、伝送した前記動画像を伸張してストリーム再生させるステップと、
前記ストリーム再生する前記動画像が前記方向指示イメージを計算した前記フレームを含む場合に、前記複数の平面イメージ図から、前記フレームにより配置された前記方向指示イメージまでの前記移動履歴を含む他平面イメージ図を選択し、表示させるステップと
を実行させる請求項８に記載の方法。
【請求項１０】
請求項７〜９のいずれか１項記載の方法をコンピュータに実行させるためのコンピュータ実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体と被写体の空間位置の把握を効率化する画像表示システム、画像表示方法、およびプログラムに関する。
【背景技術】
【０００２】
情報処理装置に対して、デジタルカメラやデジタルビデオなどにより撮影された画像データを表示することが容易になっている。スチル画像などを表示させる場合、複数の画像を順次切り換えて連続的に表示させる機能も、情報処理装置では、例えばスクリーンセーバなどとして実装されている。スチル画像は、通常、画像ごとの独立性が高いので、現在表示されているスチル画像が前のスチル画像とどのような空間的関係にあるかということに対し、多くの場合、ユーザが関心を持つことは少ない。
【０００３】
一方、建造物、構造物などの１つの画像では全体を表現できない被写体の場合、現在表示されている画像と、前の画像とがそのような空間的関係にあるのかについてユーザは関心を持つ場合がある。このような例として、不動産物件、車、建築・土木現場、災害現場など、１つのスチル画像では全体像を認識できない場合、全体像を認識できるサイズの画像ではユーザの目的に対応できない場合などがある。
【０００４】
一方で、本来大きな被写体の一部分を表示させる場合、表示されている画像が被写体のどの部分なのかなど、ユーザは認識することが困難な場合がある。また、構造物内部が暗いような場合、表示された画像ではカメラがどの方向に向いているのか、またどの方向に進めば良いのかがわからない場合もある。このような場合、例えば車載用ＧＰＳなどのように、スチル画像上に現在の進行方向を矢印などのアイコンを使用して表示させ、それに対応してスチル画像を回転させ、現在進行方向とスチル画像との認識度を一致させる技術も知られている。
【０００５】
例えば、特開２００３−２０３２５１号公報（特許文献１）は、空間データを有するデータベースから特定のアクションに応答してレンダリングされるビデオであって、データベースからリトリーブされる複数の画像を仮想経路に沿った所定のロケーションにしたがって空間的に索引付けされたビデオを有するビデオシステムを開示している。
【０００６】
また、特許第３７９６７０４号明細書は、ビデオカメラで撮影された動画像とＣＧで作成した物体の画像を画像合成装置により合成する際に、ビデオカメラの絶対位置を測定するカメラ位置測定手段およびカメラ角度測定手段を備え、各測定手段からの出力を画像フレームの作成時に同期して収集し、連続して移動するビデオカメラの位置の変化に応じて緯度データ、経度データまたは高度データに対応して撮影された動画像とＣＧ画像とを測定されたデータと位置合わせして表示させる、ビデオカメラ位置角度測定装置を開示している。
【０００７】
しかしながら、定められた経路または仮想経路で運動する車などとは異なり、被写体周囲で撮影者がその目的に対応して撮影する動画像については、その進行経路が定められていない。また、表示画面に表示される動画像が、被写体に対してどのような空間的位置で撮影されたのかについてユーザに対し認識性を高めることも必要である。さらに、スチル画像を複数表示すれば、ある程度ユーザに対して空間的位置関係を認識させることは可能であるものの、スチル画像を複数表示させた場合には、スチル画像の時系列的関係の正確さという点で、充分ではないという不都合があった。
【特許文献１】特開２００３−２０３２５１号公報
【特許文献２】特許第３７９６７０４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上記従来技術の不都合に鑑みてなされたものであり、本発明は、被写体の動画像を表示させるに際して、当該動画像が被写体に対してどのような位置にあるのか、または被写体に対して撮影装置がどのように移動しているのかについて、ユーザが容易に認識することを可能とする画像表示システム、画像表示方法、およびプログラムを提供することを目的とする。
【０００９】
また、本発明は、被写体を撮影した動画像の空間的位置関係の他、動画像として被写体を表示することにより、画像による時系列的コインシデンスを提供することを可能とする、画像表示システム、画像表示方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像表示システムは、被写体の動画像を取得するデジタルビデオカメラなどの画像取得部を含む。デジタルビデオカメラは、ＧＰＳ(Global Positioning System)などの位置取得部を備えており、フレームを登録する時に、当該フレームを取得した時の経度データ、緯度データおよび高度データ（以下、緯度、経度および高度を含むデータを総じて位置データとして参照する。）などをフレームに対応して登録する。時系列的に連続して撮影されたフレームおよび当該フレームの位置データは、記憶装置に格納される。格納された動画像は、パーソナルコンピュータなどの情報処理装置に転送されて、再生が行われる。
【００１１】
情報処理装置は、フレームを表示する時、フレームに対応して格納された位置データを取得し、フレーム間で位置データの差分ベクトルを計算し、差分ベクトルを撮影装置の移動ベクトルとして設定する。移動ベクトルは、連続するフレームごとに計算し、方向指示イメージを更新することもできるし、設定されたフレーム間隔ごとに計算され、方向指示イメージを更新することもできる。
【００１２】
情報処理装置は、さらに、位置データにより参照される被写体の平面イメージ図を格納する。情報処理装置は、表示装置上に少なくとも動画像および平面イメージ図を表示する。平面イメージ図上には、方向指示イメージが当該フレームの位置座標に対応する位置であって、撮影者またはロボットなどの進行方向を示すように表示される。このため、本発明では、動画像と当該動画像が被写体のどの位置を表示しているのか、または撮影装置がどの方向に進行しているのかなど、動画像と当該動画像の被写体の位置的関係をインタラクティブに認識させることができる。
【００１３】
本発明の画像表示システムによれば、動画像と動画像が表示する被写体の平面的位置関係とを効率的に表示でき、表示装置上で被写体の空間的認識性を向上することができる。
【００１４】
また、本発明の画像表示システムによれば、空間的位置に対し、時系列的なコインシデンスを与えながら被写体の認識性を向上させることが可能となる。このため、本発明は、不動産物件説明、車のセールス、建築・土木現場の検査、ロボットの遠隔制御などに適用可能である。
【００１５】
すなわち、本発明によれば、
連続したフレームとして動画像を取得し、前記動画像を表示する画像表示システムであって、
前記フレームが取得された時の位置データと、前記動画像と、被写体の位置データ範囲でインデキシングした平面イメージ図とを格納する記憶装置と、
前記動画像を読出して前記動画像を伸張し、動画再生するための伸張／圧縮処理部と、
前記位置データを読出して、前記動画像の撮影位置の移動方向を計算する移動解析部とを含み、
前記位置データにより検索された前記平面イメージ図を取得し、取得した前記平面イメージ図に前記撮影位置の前記移動方向を示す方向指示イメージを重畳して表示イメージを作成する、画像表示システムが提供される。
【００１６】
本発明の前記フレームは、圧縮された画像データと位置データとを含むことができる。本発明の前記移動解析部は、前記移動方向および前記撮影位置を示すように前記方向指示イメージの回転量および並進移動量を決定することができる。本発明の前記画像表示システムは、前記方向指示イメージを設定されたフレーム間隔で計算し、前記方向指示イメージを、前記平面イメージ図での移動履歴として表示することができる。本発明の前記記憶装置は、前記方向指示イメージを前記移動履歴として表示させた複数の表示イメージを作成し、前記方向指示イメージを作成した前記フレームと対応させて登録することができる。本発明の前記記憶装置は、さらに基準方向から測定して設定された角度刻みで回転させた複数の前記方向指示イメージを格納し、前記画像表示システムは、前記回転量に対応する前記方向指示イメージを選択し、前記並進移動位置で前記平面イメージ図に重畳することができる。
【００１７】
本発明によれば、
連続したフレームとして動画像を取得し、前記動画像を表示する画像表示システムに動画像および動画像と被写体との平面関係を表示させる画像表示方法であって、
前記フレームが取得された時の位置データと、前記動画像と、前記動画像の被写体の位置データ範囲でインデキシングした平面イメージ図とを記憶装置に格納するステップと、
前記位置データにより検索された前記平面イメージ図を取得するステップと、
前記位置データを前記記憶装置から読出して、前記動画像の撮影位置の移動方向を計算するステップと、
前記移動方向および前記撮影位置を示すように前記方向指示イメージの回転量および並進移動位置を決定するステップと、
取得した前記平面イメージ図に前記撮影装置の前記移動方向を示す前記方向指示イメージを重畳した表示イメージを作成するステップと、
を前記画像表示システムに実行させる方法が提供される。
【００１８】
本発明では、さらに、前記方向指示イメージを設定されたフレーム間隔で計算し、前記方向指示イメージを前記平面イメージ図での移動履歴として表示するステップを実行することができる。
【００１９】
本発明ではさらに、前記方向指示イメージを前記移動履歴として表示させた複数の表示イメージを作成するステップと、前記動画像を伝送し、伝送した前記動画像を伸張してストリーム再生させるステップと、前記ストリーム再生する前記動画像が前記方向指示イメージを計算した前記フレームを含む場合に、前記複数の平面イメージ図から、前記フレームにより配置された前記方向指示イメージまでの前記移動履歴を含む他平面イメージ図を選択し、表示させるステップとを含んでいても良い。
【００２０】
また本発明によれば、上記いずれか記載の方法をコンピュータに実行させるためのコンピュータ実行可能なプログラムが提供される。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図１は、撮影装置１００のハードウェア構成のブロック図である。図1に示す撮影装置１００は、レンズ系、シャッタ、ＣＣＤまたはＣＭＯＳなどの撮像素子を含む画像取得部１０２を含んでいる。画像取得部１０２は、図示しないクロックにより、所定間隔で撮像素子上に形成される画像をフレームとして取得し、以後の処理のためにＲＡＭ１０４に格納する。また撮影装置１００は、ＲＯＭ１０６、ＧＰＳ受信／処理部１０８を備えている。ＲＯＭ１０６は、撮影装置１００の初期設定データなどの格納し、中央処理装置（ＣＰＵ）１１０による処理を可能とする。ＧＰＳ受信／処理部１０８は、位置取得部として機能するＧＰＳ衛星からの位置データを受信し、東経、北緯、高度（日本の地理的データを表示させる場合）を生成し、ＲＡＭ１０４などに格納する。
【００２２】
ＲＡＭ１０４に格納されたフレームは、ＨＤＤ１１２などの不揮発性記憶装置、またはＤＶＤ、ＣＤ−ＲＷ、ＭＯ、ＳＤカードなどの記録媒体１１４に格納される。フレームを格納する場合、ＣＰＵ１１０は、フレームと、当該フレームが取得されたタイミングの位置データとを対応させて登録し、フレームの位置データを参照可能する。撮影装置１００は、イーサネット（登録商標）、ＩＥＥＥ８０２．１１などのワイヤレスＬＡＮ、またはＩＥＥＥ１３９４などの規格を使用して外部装置との間でデータ通信を可能とする通信インタフェース１１６を備えている。撮影装置１００は、ＨＤＤ１１２の記録媒体１１４に格納されたデータを、オフラインで情報処理装置（図示せず）に提供することができる。また、撮影装置１００は、通信インタフェース１１６を使用してオンラインで情報処理装置にデータを転送することができる。撮影装置１００の各機能部は、バスライン１１８により相互接続されていて、データ送受信を行っている。
【００２３】
撮影装置１００が取得したフレームは、それ自体でスチル画像を提供することができるが、時間的に連続してフレームを取得することにより、動画像を提供する。
【００２４】
図２は、撮影装置１００が取得した動画像２００のデータ構造を示す。動画像２００は、所定間隔ΔＴの間隔ごとに取得されたフレーム２０２が時系列にしたがって示されている。フレーム２０２は、ヘッダ２０４、量子化テーブル、ハフマンテーブルなどの画像圧縮データ２０６、ハードウェア情報などを記述するハードウェアデータ２０８、およびイメージデータ２１０などを含んで構成される。イメージデータ２１０は、種々の形式で登録することができ、例えば、ＰＮＧ、ＢＭＰ、ＴＩＦＦ、ＧＩＦ、ＪＰＥＧ、ＪＰＥＧ２０００などを用いることができる。また、イメージデータ２１０は、ラスタデータとすることもできるが、データ量を削減し、高速な復号を行う点から、ＪＥＰＧ、ＪＰＥＧ２０００などの圧縮ファイルを使用することが好ましい。さらに、フレーム２０２は、その登録フォーマットとして、ＥＸＩＦを使用することができる。
【００２５】
さらに、他の実施形態では、動画像は、上述した構造を有する限り、ＭｏｖｉｎｇＪＰＥＧ（ＭＪＰＥＧ）とすることができる。また、ＥＸＩＦフォーマットを使用してフレームを登録する場合には、ＥＸＩＦフォーマットの適切なタグを使用してＧＰＳデータなどを、動画像に一体化させることもできる。また、これら以外にも、Ｉｎｄｅｏ、ＤＩＶＸなどのフォーマットの動画像を作成し、ＨＤＤなどに格納することができる。また、本実施形態では、撮影装置１００が取得する動画像は、ＭＰＥＧなどのフォーマットとすることができる。
【００２６】
一方、撮影装置１００が取得した位置データ２１２は、図２に示した実施形態では、フレーム２０２と別のデータとして撮影装置１００が作成し、格納するものとして示されている。位置データ２１２は、フレーム２０２を固有に識別するためのフレーム識別値を登録するフィールド２１４と、それに対応する位置データＤＮ（北緯）１、ＤＥ（東経）１、ＤＨ（高度）１を登録するフィールド２１６とを含む構成とされる。動画像２００は、位置データ２１２によりインデキシングされ、情報処理装置による以後の処理に利用される。
【００２７】
図３は、撮影装置１００が作成した動画像を再生するための情報処理装置３００の実施形態を示す。図３に示した情報処理装置３００は、パーソナルコンピュータまたはサーバなどとして構成されている。情報処理装置３００は、概ね、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ（いずれも図示せず）などを含んで構成される。ＣＰＵとしては、ＰＥＮＴＩＵＭ（登録商標）〜ＰＥＮＴＩＵＭ（登録商標）ＩＶ、ＰＥＮＴＩＵＭ（登録商標）互換ＣＰＵ、ＰＯＷＥＲ  ＰＣ（登録商標）などを使用することができる。
【００２８】
また、使用するオペレーティング・システム（ＯＳ）としては、ＭａｃＯＳ（商標）、Ｗｉｎｄｏｗｓ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）２００Ｘ  Ｓｅｒｖｅｒ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）またはそれ以外の適切なＯＳを挙げることができる。さらに、上述したＯＳ上で動作する、Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ  Ｃ＋＋、ＶｉｓｕａｌＢａｓｉｃ、Ｊａｖａ（登録商標）などのプログラミング言語により記述されたアプリケーション・プログラムを格納し、実行する。さらに、図３に示した実施形態の情報処理装置３００は、Ｑｕｉｃｋ  Ｔｉｍｅ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）メディアプレーヤ、Ｓｈｏｃｋｗａｖｅ（登録商標）、Ｆｌａｓｈ  Ｐｌａｙｅｒ（登録商標）などの動画像再生ソフトウェアまたは動画像再生モジールとして含むアプリケーションを実装し、撮影装置１００が取得した動画像２００の再生を可能としている。なお、ＵＮＩＸ（登録商標）およびＬＩＮＵＸ（登録商標）についても同様のアプリケーションが利用でき、それぞれプラグインまたはアドインソフトウェアとして実装することができる。
【００２９】
情報処理装置１００は、さらに通信インタフェース３０２を介してインターネットなどに接続された外部装置との間でデータ通信を行う。また、通信インタフェース３０２は、他の実施形態では、ＩＥＥＥ１３９４規格のデータ通信を行うものとすることができる。また、情報処理装置３００は、インターネットまたはＩＥＥＥ１３９４などのデータ通信を同時にサポートできるように複数の通信インタフェースを実装していても良い。
【００３０】
情報処理装置３００は、さらに、ＨＤＤなどの不揮発性記憶装置（ＨＤＤ）３１６から動画像および位置データを読み出し、また格納するため、記憶装置インタフェース３０８を備えている。記憶装置インタフェース３０８は、ＳＣＳＩ、ＩＤＥ、ＡＴＡ、ＡＴＡ−ＰＩ、ＵＳＢ１．０または２．０などの既存のインタフェースから構成することができる。ＨＤＤ３１６から読み出された動画像は、バッファメモリなどで構成されるイメージ記憶部３０６に一旦格納され、コーデックとして参照される伸張／圧縮処理部３０４での伸張処理が施される。伸張処理が施された動画像は、動画再生ソフトウェアなどで構成されるイメージ再生処理部３１０へと送られ、動画像としてバッファリングされた後再生が行われる。再生された動画像は、グラフィックチップおよびＲＡＭＤＡＣなどの画像処理部を含むビデオ信号変換部３１４へと送られて、ＮＴＳＣ規格に対応したビデオ信号に変換され、表示装置３１８により動画像として再生される。
【００３１】
また、ＨＤＤ３１６から読み出された位置データは、動画像とは別に処理される。位置データが動画像に含まれたデータ形式を使用する場合には、読み出した動画像から、伸張／圧縮処理部３０４で使用しないデータを分離し、分離されたデータに含まれる位置データを使用して処理を行う。位置データは、撮影装置１００の移動を解析する移動解析部３１２に送られる。移動解析部３１２は、フレームに対応して登録された位置データを時系列解析し、撮影装置１００の地理的位置を特定し、さらに地理的移動を与える差分ベクトルを計算する。解析された位置データは、情報処理装置３００のＨＤＤ３１６に登録された被写体の平面図などのイメージを取得し、表示装置３１８上に動画像と共に表示される。
【００３２】
計算された差分ベクトルは、動画像が被写体の平面イメージ図上でどの位置を移したものであるのか、および撮影装置１００が、被写体に対してどのように運動しているのかを示す方向指示イメージを平面イメージ図上に表示させる処理のために利用される。なお、平面イメージ図および方向指示イメージを含む表示イメージについても、ビデオ信号変換部３１４に送られてビデオ信号に変換された後、表示装置３１８上に表示される。なお、表示イメージの作成は、移動解析部３１２が担当しても良いし、また情報処理装置３００に適切な処理部を構成させ、当該処理部に実行させても良い。
【００３３】
図４は、移動解析部３１２が作成するインデキシングデータ４００の実施形態を示す。図４に示すデータは、移動解析部３１２が作成し、動画像の再生処理を終了するまで、または平面イメージ図に撮影装置１００の移動を示す方向指示イメージを追加する処理が終了するまで、ＲＡＭまたはＨＤＤなどの記憶装置に格納しておくことができる。インデキシングデータ４００は、フィールド４０２，４０４、４０６を含んで構成されている。フレーム４０２は、取得した動画像のフレームから、フレームを固有に識別させるフレーム識別値を登録する。フィールド４０４は、対応するフレームが取得された位置データを、経度データ、緯度データ、高度データとして対応づけて登録するさらに、フィールド４０６は、各フレーム識別値について、基準位置からの地理的位置の差を表す差分ベクトルを登録する。
【００３４】
差分ベクトルを計算する場合の初期基準位置は、種々の基準に対応して設定することができ、例えば、平面イメージ図の入口などの特定ポイントを初期値とし、設定されたフレーム数だけ時系列的に隔てたフレームの位置データを差分ベクトルとして与え、以後、時系列的に隔てたフレームの位置を新たな基準位置として更新し、次の設定フレーム数処理された時点で新たな差分ベクトルを計算することで生成することができる。また、図４に示すように、連続するフレームごとに前フレームとの差分ベクトルを計算させておき、フレーム単位で撮影装置１００の位置を再現できるようにされていても良い。
【００３５】
本実施形態では、設定されたフレーム間隔ごと、例えば再生時間で１〜１０秒程度ごとに差分ベクトルを計算させ、方向指示イメージを更新することもできる。当該実施形態では、ユーザが頻繁な方向指示イメージのふらつきを気にせずに、撮影装置の大まかな移動を把握することができる。一方、１フレーム間隔で位置データの差分ベクトルを計算することにより、撮影装置１００の精密な移動解析または経路解析を行うことができる。なお、本実施形態で、ＭＰＥＧなどのマルチメディアファイルを使用する場合、フレーム単位の移動計算処理ではなく、ＧＯＰ単位の移動計算処理を行うこともできる。
【００３６】
なお、図４中、Δａは、緯度データの差分値、Δｂは、経度データの差分値、Δｃは、高度データの差分値を意味し、各記号の末尾のアラビア数字は、フレーム識別値をインデックスするための値として使用される。
【００３７】
図５は、情報処理装置３００が、被写体をインデキシングするために、ＨＤＤ３１６に格納する対象インデキシングデータ５００の実施形態を示す。なお、対象としては、不動産、建造物、土木建築現場などを含むことができ、撮影装置１００が画像を取得できる限り特に限定されるものではない。図５に示した対象インデキシングデータ５００は、被写体識別値を登録するフィールド５０２と、被写体名称を登録するフィールド５０４とを含んで構成される。被写体識別値は、被写体の各データを登録するためのキー要素として使用される。被写体名称は、ユーザに対して表示された被写体を識別させるために使用され、例えば、「○○市△町□番地戸建て住宅」、「○○市△町□番地戸建て住宅２階」または「△△施設３階」など被写体の所在や名称または階層などを含ませることができる。また、建造物などが複数の階層を有している場合、建造物の改装ごとに異なるインデキシングデータ５００を与え、撮影装置１００の移動の際に階層が変化した場合には、異なる階層の平面イメージ図を選択可能とされている。
【００３８】
さらに、対象インデキシングデータ５００は、被写体の位置データ範囲を登録するフィールド５０６と、イメージ識別値５０８とを含んで構成することができる。位置データ範囲の値は、撮影装置１００が取得した動画像から被写体を検索するために用いられる。位置データ範囲は、被写体となる建造物や施工現場または災害場所の地図データやＧＰＳ測定値を使用することができる。位置データ範囲は、予め測定してインデキシングデータとして登録しておくこともできるし、平面イメージ図を表示させる場合に実測してその時点で登録することもできる。イメージ識別値は、検索された被写体の平面イメージを情報処理装置に取得させるために用いられる。なお、平面イメージ図は、ＢＭＰ、ＴＩＦＦ、ＰＮＧ、ＪＰＥＧ、ＪＰＥＧ２０００、ＰＤＦなど種々のファイル形式で作成することができ、またイメージ識別値は、ファイルネーム、格納場所のパス、またはＵＲＩ(Uniform Resource Identifier)を使用して登録することもできる。
【００３９】
情報処理装置３００は、動画像の再生開始時に取得した位置データを使用して対象インデキシングデータ５００を検索する。位置データが対象インデキシングデータ５００の位置データ範囲に含まれる場合に、対応するレコードに登録された平面イメージ図および被写体名称を取得して、表示装置３１８の平面図表示フィールドなどの適切な表示領域に表示させる。
【００４０】
情報処理装置３００は、その後、動画像を取得した時の位置データの変化を解析し、平面イメージ図上に撮影装置１００の移動を示す方向指示イメージを重畳して表示イメージを作成する。方向指示イメージは、ユーザが一目で移動方向であると判断できるイメージとして、情報処理装置３００が、ＨＤＤ３１６などに管理されている。方向指示イメージは、本実施形態の処理を実行するプログラムがＲＡＭに読み込まれた時に同時に読み出され、以後の処理のため、ＲＡＭに格納させておくことができる。方向指示イメージの表示は、動画像の再生に連動させて、移動ベクトルからリアルタイムに表示させることができる。
【００４１】
また、他の実施形態では、予め方向指示イメージを含む表示イメージを作成しておき、動画再生に対応して表示イメージを変更することにより表示させることもできる。方向指示イメージのリアルタイム表示は、遠隔制御のために好適に利用される。一方、予め方向指示イメージを配置した表示イメージを複数登録する実施形態は、同一の動画像を異なるユーザに配信する場合に好適に利用できる。また、一旦表示された方向指示イメージは、移動した後に消去することもできるし、また移動経路の識別性を高めるため、過去の移動履歴として新たな方向指示イメージを追加して表示させることもできる。
【００４２】
図６は、平面イメージ図に重畳して表示する方向指示イメージ６００の実施形態を示す。方向指示イメージ６００は、予めサイズが定められたＢＭＰ、ＰＮＧ、ＧＩＦ、ＴＩＦＦ、ＪＰＥＧ、ＪＰＥＧ２０００などのイメージとして登録することができる。なお、平面イメージ図への矢線の重畳は、平面イメージ図を下側レイヤとし、方向指示イメージを平面イメージの対応する位置に位置決めした後、適切な画像処理ソフトウェアなどを使用して両画像を統合することにより行うことができる。なお、方向指示イメージをリアルタイムで表示する場合には、画像の統合処理を行う必要はない。また、方向指示イメージ６００の形態は、矢線の他、指差しイメージなど、方向およびその基点が識別できる限り、いかなる形状でも使用することができる。
【００４３】
好ましい実施形態では、方向指示イメージの基準方向を、情報処理装置３００の表示装置３１８の上側として設定し、これを０°位置として属性情報を登録しておく。さらに、他の実施形態では、平面イメージ図の被写体の１辺を基準線として選択し、この基準線が水平または垂直になるように表示画面に平面イメージをマッピングし、基準ベクトルを当該基準線から垂直上方を示すように設定することができる。さらに他の実施形態で、平面イメージ図がＮ方向でインデキシングされている場合、Ｎ方位を表示画面上の上方向として使用することもできる。
【００４４】
また、方向指示イメージ６００には、その属性情報として方向指示イメージ６００を新たに位置決めする時の基準ポイント６０２を定めておく。この基準ポイント６０２は、図６の方向指示イメージの適切な位置を選択することができるが、矢線の下側基線の中央６０２を選択することが、位置データに良好に関連付けて表示できるので好ましい。また、情報処理装置３００は、方向指示イメージ６００を並進および回転させるため、上述した０°の方向の基準ベクトルＶＶを登録している。
【００４５】
基準ベクトルＶＶは、位置データから取得された移動ベクトルと内積することにより移動ベクトルの方向（すなわち０°方向に対する回転角θ）を決定するために使用される。情報処理装置３００は、方向指示イメージ６００を表示させる場合、方向指示イメージ６００の基準ポイントを、表示画面上で、直前に残差ベクトルを計算した位置データに対応する位置へと並進移動させ、同時に取得された回転角θだけ回転させる。並進および回転処理後、方向指示イメージ６００は、移動ベクトルの方向および現在位置までの移動方向を示す。
【００４６】
この場合、情報処理装置３００は、並進移動量および回転角で与えられる回転量を取得して並進・回転を可能とする行列式の変数として使用し、方向指示イメージの表示を１段階で行うこともできる。基準ベクトルＶＶの大きさは任意に設定することができるが、単位ベクトルとすることが無駄な計算を排除する点で好ましい。
【００４７】
図７は、本実施形態で移動ベクトルの方向に方向指示イメージ６００を配置する処理を示す。方向指示イメージ６００は、イメージデータを、表示属性データ７００を使用して表示装置の表示画面上に表示させる処理により、平面イメージ図に重畳される。表示属性データ７００は、方向指示イメージの基準ポイント６０２を示す値Ref_point、当該基準ポイント６０２を配置する表示画面上での座標値であるtarget_position、および回転角(rotation_angle)θを含んで構成される。変数target_positionは、移動ベクトルを計算した時点でその直前に移動ベクトルを算出するために使用されたフレームが与える位置データを使用し、対応する表示画面上での位置座標として設定される。
【００４８】
また、変数rotation_angleは、基準ベクトルＶＶと、計算された移動ベクトルとの内積とを計算し、計算された内積の値のarccos計算を実行することにより計算される。この計算が終了した段階で、表示画面上における方向指示イメージ６００の先端を向ける方向および基準位置への並進移動量および回転量が決定できる。その後、移動解析部３１２は、方向指示イメージ６００の表示属性データ（Ref_point=null、rotation_angle=0)の値に計算された値を設定し、平面イメージ図上に方向指示イメージ６００を重畳させる。平面イメージ図上に方向指示イメージ６００が重畳されたイメージは、表示イメージとして参照され、各イメージが統合された後に表示されても良いし、統合されずに表示されてもよい。
【００４９】
方向指示イメージ６００を並進回転移動させる場合は、移動履歴が残されないが、方向指示イメージ６００を並進回転し、イメージ自体を目標位置でコピーする場合には、方向指示イメージ６００が移動履歴を与えることができるので、ユーザが直感的に被写体の３次元構造を認識することがさらに容易となる。
【００５０】
図７中では、方向指示イメージ６００は、方向指示イメージ６００の基準ポイント６０２を新たに方向指示イメージを表示させる目標位置７０２に配置する。目標位置は、前回移動計算を行う際に使用された設定フレーム数に対応する過去フレームが与える経度および緯度に対応する表示位置に重合され、移動ベクトルＭＶに並行に回転されて表示されている。移動ベクトルＭＶおよび基準ベクトルＶＶは、両方とも表示画面上に表示させずとも良いが、方向を判定するために必要な場合には、表示画面上に表示させることもできる。なお、目標座標を決定する基準は、上述した以外にも撮影装置の移動を適切に示すことができる限り、特に限定はない。
【００５１】
さらに他の実施形態では、方向指示精度は劣るものの、高速表示という点で、並進回転変換を行うことなく、複数の方向指示イメージであって、その方向が例えば、１０°、１５°、３０°などの刻み値で０°から３６０°まで、３６方向、２４方向、１２方向の方向指示イメージを登録しておき、移動ベクトルの方向が方向指示イメージについて予め設定された角度範囲に入った場合に、当該角度範囲を含む方向指示イメージを選択し、基準位置に一致するように重畳させてもよい。
【００５２】
この実施形態は、方向指示イメージのために必要な記憶空間が増加するものの、刻み値を細分化すればするほど精度の低下を防止しながら、表示速度を向上させることができ、例えばネットワークを介してストリーミングなどにより動画像を表示させながら撮影装置１００の移動を表示させる場合に、好適に使用することができる。
【００５３】
図８は、情報処理装置３００が実行する処理の実施形態である。図８に示した実施形態は、動画再生と方向指示イメージとを同時に処理する実施形態である。図８に示した処理は、ステップＳ８００から開始し、ステップＳ８０１で、動画像を構成するフレームデータおよび位置データをイメージバッファなどのイメージ記憶部３０６に取得する。ステップＳ８０２でフレームデータを伸張／圧縮処理部（コーデック）３０４に送り伸張し、再生処理を開始する。以後、情報処理装置３００は、イメージ再生処理部３１０およびビデオ信号変換部３１４を機能させて、動画再生を行う。
【００５４】
これと並列的に、情報処理装置３００の移動解析部３１２は、位置データに対応する平面イメージ図を選択し、表示するべき平面イメージ図として設定する。そして、ステップＳ８０３でフレームデータに対応した前回基準の位置データからの差分ベクトルを計算する。ステップＳ８０４では、設定されたフレーム数または時間などで設定される方向指示イメージ６００の更新タイミングとなったか否かを判断する。更新タイミングとなっていない場合（ｎｏ）処理はステップＳ８０３に分岐され、再度差分ベクトルを計算する。また、更新タイミングである場合（ｙｅｓ）ステップＳ８０５で更新タイミングとなったフレームデータに対応する位置データを使用し、前回基準とした位置データとの差分ベクトルを移動ベクトルとして設定する。同時に当該位置データで、基準の位置データを更新する。
【００５５】
ステップＳ８０６で、移動解析部３１２は、基準ベクトルと計算した移動ベクトルとの間の内積計算およびarccos計算を実行し、変数rotation_angleを計算する。ステップＳ８０７でArrow_dataとして、目標位置および回転角(rotation_angle)θを設定し、被写体の平面イメージ図上の目標位置７０２に方向指示イメージ６００の基準ポイント６０２を重ね合わせ、計算された回転角で方向指示イメージ６００を平面イメージ図に重畳した表示イメージを作成する。ステップＳ８０８で、動画像再生が終了したか否かを判断し、動画像再生が終了していない場合（ｎｏ）には、処理をステップＳ８０３に分岐させる。一方、動画再生が終了した場合（ｙｅｓ）には、処理をステップＳ８０９に分岐させ、処理を終了する。図８に示した実施形態は、撮影装置１００などからの動画像および位置データを遠隔的かつリアルタイムに取得する場合に好適に使用することができる。
【００５６】
図９は、予め方向指示イメージを重畳した平面イメージ図を作成しておく場合の実施形態である。図９に示した実施形態は、サーバなどの情報処理装置３００からウェブサービスを使用して動画像をストリーミング送信し、対応する方向指示イメージを含む平面イメージ図をＵＲＩとして指定し、更新する、ネットワークサービスとして好適に利用できる。
【００５７】
図９に示した処理は、ステップＳ９００から開始し、ステップＳ９０１で、動画像を構成するフレームデータおよび位置データをイメージバッファなどのイメージ記憶部３０６に取得する。ステップＳ９０２で、位置データに対応する平面イメージ図を選択し、表示するべき平面イメージ図として設定する。その後、フレームデータに対応した前回基準の位置データからの差分ベクトルを計算する。ステップＳ９０３では、設定されたフレーム数または時間などで設定される方向指示イメージ６００の更新タイミングとなったか否かを判断する。更新タイミングとなっていない場合（ｎｏ）処理はステップＳ９０２に分岐され、再度差分ベクトルを計算する。また、更新タイミングである場合（ｙｅｓ）ステップＳ９０４で更新タイミングとなったフレームデータに対応する位置データを使用し、前回基準とした位置データとの差分ベクトルを移動ベクトルとして設定する。同時に当該位置データで、基準の位置データを更新する。
【００５８】
ステップＳ９０５で、移動解析部３１２は、基準ベクトルと計算した移動ベクトルとの間の内積計算およびarccos計算を実行し、変数rotation_angleを計算する。ステップＳ９０６でArrow_dataとして、目標位置および回転角(rotation_angle)θを設定し、被写体の平面イメージ図上の目標位置７０２に方向指示イメージ６００の基準ポイント６０２を重ね合わせ、計算された回転角で重畳し、表示イメージを作成する。
【００５９】
ステップＳ９０７で、作成した表示イメージを、被写体の平面イメージ図に対応づけてＨＤＤ３１６に格納する。ステップＳ９０８では、フレームが終了したか否かを判断し、フレームが終了していない場合（ｎｏ）には、処理をステップＳ９０２に分岐させ、すべてのフレームの処理を行う。一方、動画再生が終了した場合（ｙｅｓ）には、処理をステップＳ９０９に分岐させ、処理を終了する。図９に示した実施形態は、予め方向指示イメージ６００を重畳した平面イメージ図を表示イメージとして作成しておくため、ウェブサービスなどにより動画像をストリーミング再生させ、同時に再生される動画像が更新タイミングのフレームを含む場合に対応する表示イメージのＵＲＩを表示させるようにＨＴＭＬを修正することで、動画再生および方向指示イメージ表示が可能となる。
【００６０】
以下、図１０〜図１２を使用して本実施形態の画像表示システムの画面表示を説明する。図１０〜図１２は、時系列的に撮影装置１００が撮影を進行させる場合の実施形態に対応する。図１０は、撮影装置１００がオフィスフロアに入った直後の動画像１００４と方向指示イメージ１００６とが表示装置３１８の表示画面に表示されている。動画像１００４は、平面イメージ図１００２に重畳して表示されているが、他の実施形態では、それぞれについて独立した表示フレームを作成し、別個に表示させることもできる。
【００６１】
図１１は、撮影装置１００がオフィスフロア内にさらに入ったところを示した実施形態を示す。図１１中、動画像を表示する領域は、撮影装置１００の進行に対応して変化しているが、ユーザは動画像１００４を見ているだけでは、被写体のどの位置なのかが把握できず、認識性が良くない。このとき、図１１の実施形態では、平面イメージ図１００２の対応する位置に新たな方向指示イメージ１００８が、前回表示した方向指示イメージ１００６と共に表示され、被写体内での相対的な位置関係の把握が容易となっていることがわかる。撮影装置１００がさらにオフィスフロア内を進行し、進行方向を変化させる場合の実施形態を図１２に示す。
【００６２】
図１２では、撮影装置１００は、図中左手側に進行方向を変えさらに進行しているのが平面イメージ図１００２に表示された方向指示イメージ１０１０から容易に把握できる。また、動画像には、方向指示イメージ１００８で示された位置での進行方向にあるドアの様子が示されており、被写体の構造把握を容易に行うことが可能とされている。また、方向指示イメージは、定期的に表示されるので、例えば、移動ベクトルをフレーム間隔（フレーム数×ΔＴ）で除算して移動速度ベクトルに変換し、表示イメージを速度ベクトルの大きさ分だけ伸ばして表示することで進行速度についての情報を付加しても良い。速度ベクトルを使用する実施形態の場合、撮影装置１００をロボットなどに搭載し、ロボットを遠隔制御する場合の制御性を向上させることができる。
【００６３】
以上説明したように、本発明によれば、被写体の動画像と平面構造とを対応づけて表示させ、動画像と当該動画像の平面構造内での位置関係を認識することを容易とする、画像表示システム、画像表示方法およびプログラムを提供することができる。本発明の画像表示システムは、不動産物件説明、車のセールスのためのウェブサービス、建築・土木現場の検査、ロボットに遠隔制御などに適用可能である。
【図面の簡単な説明】
【００６４】
【図１】本実施形態における撮影装置のハードウェア構成のブロック図。
【図２】撮影装置が取得した動画像のデータ構造の実施形態を示した図。
【図３】撮影装置が作成した動画像を再生するための情報処理装置の実施形態を示した図。
【図４】移動解析部が作成するインデキシングデータの実施形態を示した図。
【図５】情報処理装置が、被写体をインデキシングするために、ＨＤＤに格納する対象インデキシングデータの実施形態を示した図。
【図６】平面イメージ図に重畳して表示する方向指示イメージの実施形態を示した図。
【図７】本実施形態で移動ベクトルの方向に方向指示イメージを配置する処理を示した図。
【図８】情報処理装置が実行する画像表示処理の実施形態のフローチャート。
【図９】情報処理装置が実行する画像表示処理の実施形態のフローチャート。
【図１０】本実施形態の画像表示システムによる画面表示を示した図。
【図１１】本実施形態の画像表示システムによる画面表示を示した図。
【図１２】本実施形態の画像表示システムによる画面表示を示した図。
【符号の説明】
【００６５】
１００…撮影装置、１０２…画像取得部、１０４…ＲＡＭ、１０６…ＲＯＭ、１０８…ＧＰＳ受信／処理部、１１０…ＣＰＵ、１１２…ＨＤＤ、１１４…記録媒体、１１６…通信インタフェース、１１８…バスライン、２００…動画像、２０２…フレーム、２０４…ヘッダ、２０６…画像圧縮データ、２０８…ハードウェアデータ、２１０…イメージデータ、２１２…位置データ、２１４…フレーム識別値フィールド、２１６…位置データフィールド、３００…情報処理装置３０２…通信インタフェース、３０４…伸張／圧縮処理部（コーデック）、３０６…イメージ記憶部、３０８…記憶装置インタフェース、３１０…イメージ再生処理部、３１４…ビデオ信号変換部、３１６…不揮発性記憶装置（ＨＤＤ）、３１８…表示装置、４００…インデキシングデータ、５００…対象インデキシングデータ、６００…方向指示イメージ、６０２…基準ポイント、７００…表示属性データ、７０２…目標位置
【図１】
2008225353.tif 000003
【図２】
2008225353.tif 000004
【図３】
2008225353.tif 000005
【図４】
2008225353.tif 000006
【図５】
2008225353.tif 000007
【図６】
2008225353.tif 000008
【図７】
2008225353.tif 000009
【図８】
2008225353.tif 000010
【図９】
2008225353.tif 000011
【図１０】
2008225353.tif 000012
【図１１】
2008225353.tif 000013
【図１２】
2008225353.tif 000014