(57)【特許請求の範囲】
【請求項１】
パノラマ画像の解析を実行させる画像解析プログラムであって、
前記パノラマ画像の作成元となる一連の映像フレーム内の任意の映像フレームから、前記パノラマ画像の一部を構成する部分パノラマ画像を抽出する抽出工程と、
前記任意の映像フレームに関するオプティカルフローを算出し、前記任意の映像フレームを代表するオプティカルフローである大域オプティカルフローを算出するオプティカルフロー算出工程と、
前記抽出工程によって抽出された部分パノラマ画像の各画素に、前記部分パノラマ画像の抽出元となる映像フレームについて前記オプティカルフロー算出工程によって算出されたオプティカルフローの値を、部分パノラマ画像ごとに関連付ける関連付け工程と、
前記部分パノラマ画像の抽出元となる映像フレームについて前記オプティカルフロー算出工程によって算出された大域オプティカルフローの値と、前記関連付け工程によって前記部分パノラマ画像の各画素に関連付けられた各オプティカルフローの値とに基づいて、前記部分パノラマ画像内の被写体までの距離を、前記部分パノラマ画像ごとに算出する距離算出工程と、
前記距離算出工程によって前記部分パノラマ画像ごとに算出された前記各部分パノラマ画像内の被写体までの距離を、前記部分パノラマ画像の配列順に連結した距離パターンを生成する生成工程と、
をコンピュータに実行させることを特徴とする画像解析プログラム。
【請求項２】
前記生成工程によって生成された距離パターンに基づいて、前記被写体が何であるかを判定させる距離パターン判定工程をコンピュータに実行させることを特徴とする請求項１に記載の画像解析プログラム。
【請求項３】
前記一連の映像フレームを取得するカメラを有する移動体の移動経路を入力させる経路入力工程と、
前記距離パターン判定工程によって判定された判定結果に基づいて、前記経路入力工程によって入力された移動経路を補正させる経路補正工程と、
をコンピュータに実行させることを特徴とする請求項２に記載の画像解析プログラム。
【請求項４】
前記パノラマ画像と前記オプティカルフローの値とに基づいて、前記被写体の３次元形状データを作成させる３次元形状データ作成工程をコンピュータに実行させることを特徴とする請求項１〜３のいずれか一つに記載の画像解析プログラム。
【請求項５】
前記オプティカルフローの値と、前記パノラマ画像と同一経路および同一撮像方向により得られた他のパノラマ画像に関するオプティカルフローの値と、を比較させる比較工程と、
前記比較工程によって比較された比較結果に基づいて、前記パノラマ画像と前記他のパノラマ画像との変更箇所に関する情報を表示させる表示工程と、
をコンピュータに実行させることを特徴とする請求項１〜４のいずれか一つに記載の画像解析プログラム。
【請求項６】
距離に関する優先条件の指定を受け付けさせる優先条件指定工程と、
前記距離算出工程によって算出された距離が、前記優先条件指定工程によって指定された優先条件に合致するか否かを判定させる優先条件判定工程と、
前記優先条件判定工程によって判定された判定結果に基づいて、前記パノラマ画像を表示させる表示工程と、
をコンピュータに実行させることを特徴とする請求項１〜５のいずれか一つに記載の画像解析プログラム。
【請求項７】
パノラマ画像の解析を実行させる画像解析プログラムであって、
前記パノラマ画像の作成元となる一連の映像フレーム内の任意の映像フレームから、前記パノラマ画像の一部を構成する部分パノラマ画像を抽出する抽出工程と、
前記任意の映像フレームに関するオプティカルフローを算出するオプティカルフロー算出工程と、
前記抽出工程によって抽出された部分パノラマ画像の各画素に、前記部分パノラマ画像の抽出元となる映像フレームについて前記オプティカルフロー算出工程によって算出されたオプティカルフローの値を、部分パノラマ画像ごとに関連付ける関連付け工程と、
前記関連付け工程によって部分パノラマ画像の各画素に関連付けられた各オプティカルフローの値に基づいて、前記部分パノラマ画像内の被写体までの距離を、前記部分パノラマ画像ごとに算出する距離算出工程と、
前記距離算出工程によって前記部分パノラマ画像ごとに算出された前記各部分パノラマ画像内の被写体までの距離を、前記部分パノラマ画像の配列順に連結した距離パターンを生成する生成工程と、
距離に関する優先条件の指定を受け付けさせる優先条件指定工程と、
前記距離算出工程によって算出された距離が、前記優先条件指定工程によって指定された優先条件に合致するか否かを判定する優先条件判定工程と、
前記優先条件判定工程によって判定された判定結果に基づいて、前記パノラマ画像を表示する表示工程と、
をコンピュータに実行させることを特徴とする画像解析プログラム。
【請求項８】
請求項１〜請求項７のいずれか一つに記載の画像解析プログラムを記録したコンピュータに読み取り可能な記録媒体。
【請求項９】
パノラマ画像の解析を実行する画像解析装置であって、
前記パノラマ画像の作成元となる一連の映像フレーム内の任意の映像フレームから、前記パノラマ画像の一部を構成する部分パノラマ画像を抽出する抽出手段と、
前記任意の映像フレームに関するオプティカルフローを算出し、前記任意の映像フレームを代表するオプティカルフローである大域オプティカルフローを算出するオプティカルフロー算出手段と、
前記抽出手段によって抽出された部分パノラマ画像の各画素に、前記部分パノラマ画像の抽出元となる映像フレームについて前記オプティカルフロー算出手段によって算出されたオプティカルフローの値を、部分パノラマ画像ごとに関連付ける関連付け手段と、
前記部分パノラマ画像の抽出元となる映像フレームについて前記オプティカルフロー算出手段によって算出された大域オプティカルフローの値と、前記関連付け手段によって前記部分パノラマ画像の各画素に関連付けられた各オプティカルフローの値とに基づいて、前記部分パノラマ画像内の被写体までの距離を、前記部分パノラマ画像ごとに算出する距離算出手段と、
前記距離算出手段によって前記部分パノラマ画像ごとに算出された前記各部分パノラマ画像内の被写体までの距離を、前記部分パノラマ画像の配列順に連結した距離パターンを生成する生成手段と、
を備えることを特徴とする画像解析装置。
【請求項１０】
パノラマ画像の解析を実行する画像解析方法であって、
前記パノラマ画像の作成元となる一連の映像フレーム内の任意の映像フレームから、前記パノラマ画像の一部を構成する部分パノラマ画像を抽出する抽出工程と、
前記任意の映像フレームに関するオプティカルフローを算出し、前記任意の映像フレームを代表するオプティカルフローである大域オプティカルフローを算出するオプティカルフロー算出工程と、
前記抽出工程によって抽出された部分パノラマ画像の各画素に、前記部分パノラマ画像の抽出元となる映像フレームについて前記オプティカルフロー算出工程によって算出されたオプティカルフローの値を、部分パノラマ画像ごとに関連付ける関連付け工程と、
前記部分パノラマ画像の抽出元となる映像フレームについて前記オプティカルフロー算出工程によって算出された大域オプティカルフローの値と、前記関連付け工程によって前記部分パノラマ画像の各画素に関連付けられた各オプティカルフローの値とに基づいて、前記部分パノラマ画像内の被写体までの距離を、前記部分パノラマ画像ごとに算出する距離算出工程と、
前記距離算出工程によって前記部分パノラマ画像ごとに算出された前記各部分パノラマ画像内の被写体までの距離を、前記部分パノラマ画像の配列順に連結した距離パターンを生成する生成工程と、
を含んだことを特徴とする画像解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、パノラマ画像を解析する画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法に関する。
【背景技術】
【０００２】
従来から、地図データを最新の状態に保つ地図メンテナンスのため、ロードサイド情報として店舗情報の変化等を、実際に現地を歩いて調査する代わりに、現地のロードサイド映像を撮影して後で精査することが有用である。
【０００３】
しかし、ロードサイド映像は得てして長時間にわたる映像（動画像）であり、そのまま閲覧して解析をおこなうのは、非常に労力がかかる。このため、ロードサイド映像ではなく、ロードサイドパノラマ画像（静止画像）を作成して利用するという方法がある。
【０００４】
このロードサイドパノラマ画像は、時間軸方向に２次元画像である映像フレームを堆積した映像から、時間軸のない一枚の２次元画像に投影したパノラマ画像であるため、ロードサイド全体状況の把握が容易かつ直感的であり、閲覧負荷を減らすことができる。
【０００５】
また、撮り流したロードサイド映像は、たとえば、信号で停止している間も同じロードサイド部分を撮影し続けることになるが、時間軸ではなく移動距離を横軸にとったロードサイドパノラマ画像を作成すれば、停止している間のロードサイド部分は同じ部分に縮退して同一被写体がパノラマ画像に複数現れることがない。したがって、ロードサイドパノラマ画像は、ロードサイド映像に比べてデータ量を大幅に削減することができる。
【０００６】
また、ロードサイドパノラマ画像の作成例として、主に駐車車両検知やトンネル内検査などのため、車載のラインセンサカメラを使って、移動体の移動距離または移動速度を厳密に測定しながら撮影タイミングを調整し、撮影したスリットを横に繋いでロードサイドのパノラマ画像を作成する手法が開示されている（たとえば、下記特許文献１を参照。）。
【０００７】
他方、車載ビデオカメラによる映像を使って、各映像フレームの一部（スリット画像）を切り取って繋げ、パノラマ画像を作成する手法も開示されている（たとえば、下記特許文献２を参照。）。この手法は、各映像フレームの画像縦中心線上の各オプティカルフローを求める。そして、各オプティカルフローに基づく幅を１つ決めて（基本フローと呼ぶことにする）、縦長の短冊状に画像縦中心線付近を切り出し、映像フレーム毎に切り出したスリット画像を順に隣に貼り付けていく。
【０００８】
なお、切り出す際に各オプティカルフローが切り出し幅より小さい部分、すなわち基本フローより小さいオプティカルフローの部分は適宜伸張してもよい。これらの手法により作成されたパノラマ画像は、映像よりは閲覧が楽であるものの、時には横方向に数万画素にも及ぶような横長の画像となる。
【０００９】
【特許文献１】特許第３２３０９９８号公報
【特許文献２】特開平１１−１６４３２５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、ロードサイドを解析する場合、上述した従来技術のようにロードサイドパノラマ画像を作成利用することで、閲覧に伴う労力を減らそうという試みがあったものの、画像そのものをそのまま閲覧しなければならなかった。したがって、地図メンテナンスにおける作業者の負担が依然大きいという問題があった。
【００１１】
また、ロードサイド情報の変更箇所は、前回のロードサイドパノラマ画像と今回のロードサイドパノラマ画像を作業者の閲覧作業により検出しなければならない。このような、変更箇所がどこに存在するかは作業者に依存するため、地図メンテナンスの作業効率上問題があった。
【００１２】
この発明は、上述した従来技術による問題点を解消するため、ロードサイド解析の省力化を図ることにより、作業者の閲覧負担軽減および地図メンテナンス作業の効率化を実現することができる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した課題を解決し、目的を達成するため、この発明にかかる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法は、パノラマ画像の解析を実行する画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法であって、前記パノラマ画像の作成元となる一連の映像フレーム内の任意の映像フレームから、前記パノラマ画像の一部を構成する部分パノラマ画像を抽出し、前記任意の映像フレームに関するオプティカルフローを算出し、抽出された部分パノラマ画像の各画素に、算出されたオプティカルフローの値を関連付け、前記部分パノラマ画像の各画素に関連付けられたオプティカルフローの値に基づいて、前記部分パノラマ画像内の被写体までの距離を算出することを特徴とする。
【００１４】
この発明によれば、一連の映像フレームからパノラマ画像内の被写体との距離を推定することができる。
【００１５】
また、上記発明において、前記任意の映像フレームに関する大域オプティカルフローを算出することとしてもよい。
【００１６】
この発明によれば、パノラマ画像と外界との相対速度をあらわした大域オプティカルフローによりパノラマ画像を解析することができる。
【００１７】
また、上記発明において、算出された距離に関する前記パノラマ画像の距離パターンに基づいて、前記被写体が何であるかを判定させることとしてもよい。
【００１８】
この発明によれば、パノラマ画像内の被写体を自動的に特定することができる。
【００１９】
また、上記発明において、前記一連の映像フレームを取得するカメラを有する移動体の移動経路を入力し、距離パターン判定結果に基づいて、入力された移動経路を補正することとしてもよい。
【００２０】
この発明によれば、移動経路の精度向上を図ることができる。
【００２１】
また、上記発明において、前記パノラマ画像と前記オプティカルフローの値とに基づいて、前記被写体の３次元形状データを作成することとしてもよい。
【００２２】
この発明によれば、パノラマ画像内の被写体をリアルに再現することができる。
【００２３】
また、上記発明において、前記パノラマ画像に対応する地図データを、前記パノラマ画像の視線方向に回転させることとしてもよい。
【００２４】
この発明によれば、地図データの内容を容易に把握することができる。
【００２５】
また、上記発明において、前記地図データ上の文字列データを回転させないこととしてもよい。
【００２６】
この発明によれば、地図データ上の文字列データを読みやすくすることができる。
【００２７】
また、上記発明において、前記オプティカルフローの値と、前記パノラマ画像と同一経路および同一撮像方向により得られた他のパノラマ画像に関するオプティカルフローの値と、を比較し、比較された比較結果に基づいて、前記パノラマ画像と前記他のパノラマ画像との変更箇所に関する情報を表示することとしてもよい。
【００２８】
この発明によれば、両パノラマ画像の差分により、外界の変化を検出することができる。
【００２９】
また、上記発明において、ＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）マッチングを用いて比較することとしてもよい。
【００３０】
この発明によれば、外界の変化の検出精度の向上を図ることができる。
【００３１】
また、上記発明において、距離に関する優先条件の指定を受け付け、算出された距離が、指定された優先条件に合致するか否かを判定し、判定結果に基づいて、前記パノラマ画像を表示することとしてもよい。
【００３２】
この発明によれば、ユーザが顕示したいパノラマ画像内の領域を表示することができる。
【発明の効果】
【００３３】
本発明にかかる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法によれば、ロードサイド解析の省力化を図ることにより、作業者の閲覧負担軽減および地図メンテナンス作業の効率化を実現することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３４】
以下に添付図面を参照して、この発明にかかる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法の好適な実施の形態を詳細に説明する。
【００３５】
（画像解析装置のハードウェア構成）
まず、この発明の実施の形態にかかる画像解析装置のハードウェア構成について説明する。図１は、この発明の実施の形態にかかる画像解析装置のハードウェア構成を示すブロック図である。
【００３６】
図１において、画像解析装置は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、ＨＤ（ハードディスク）１０５と、ＦＤＤ（フレキシブルディスクドライブ）１０６と、着脱可能な記録媒体の一例としてのＦＤ（フレキシブルディスク）１０７と、ディスプレイ１０８と、Ｉ／Ｆ（インターフェース）１０９と、キーボード１１０と、マウス１１１と、スキャナ１１２と、プリンタ１１３と、カメラ１１４と、を備えている。また、各構成部はバス１００によってそれぞれ接続されている。
【００３７】
ここで、ＣＰＵ１０１は、画像解析装置の全体の制御を司る。ＲＯＭ１０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＨＤＤ１０４は、ＣＰＵ１０１の制御にしたがってＨＤ１０５に対するデータのリード／ライトを制御する。ＨＤ１０５は、ＨＤＤ１０４の制御で書き込まれたデータを記憶する。
【００３８】
ＦＤＤ１０６は、ＣＰＵ１０１の制御にしたがってＦＤ１０７に対するデータのリード／ライトを制御する。ＦＤ１０７は、ＦＤＤ１０６の制御で書き込まれたデータを記憶したり、ＦＤ１０７に記憶されたデータを画像解析装置に読み取らせたりする。
【００３９】
また、着脱可能な記録媒体として、ＦＤ１０７のほか、ＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−ＲＷ）、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、メモリーカードなどであってもよい。ディスプレイ１０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ１０８は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
【００４０】
Ｉ／Ｆ１０９は、通信回線を通じてインターネットなどのネットワークに接続され、このネットワークを介して他の装置に接続される。そして、Ｉ／Ｆ１０９は、ネットワークと内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ１０９には、たとえばモデムやＬＡＮアダプタなどを採用することができる。
【００４１】
キーボード１１０は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス１１１は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
【００４２】
スキャナ１１２は、画像を光学的に読み取り、画像解析装置内に画像データを取り込む。なお、スキャナ１１２は、ＯＣＲ機能を持たせてもよい。また、プリンタ１１３は、画像データや文書データを印刷する。プリンタ１１３には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
【００４３】
カメラ１１４は、被写体を撮像して連続する一連の映像フレームとして取り込む。カメラ１１４が車両などの移動体に搭載されたカメラである場合、被写体としてロードサイドを撮像することができる。なお、「ロードサイド」とは一般には道路わきという意味であるが、本明細書では、カメラ１１４から望む道路わきの建物や地面、当該道路わきの建物や地面から離れた地表物も含む。また、カメラ１１４は、ビデオカメラでもよくラインセンサカメラでもよい。
【００４４】
（画像解析装置の機能的構成）
つぎに、この発明の実施の形態にかかる画像解析装置の機能的構成について説明する。図２は、この発明の実施の形態にかかる画像解析装置の機能的構成を示すブロック図である。図２において、画像解析装置２００は、取得部２０１と、抽出部２０２と、オプティカルフロー算出部２０３と、関連付け部２０４と、距離算出部２０５と、から構成されている。
【００４５】
まず、取得部２０１は、パノラマ画像の作成元となる一連の映像フレームを取得する。具体的には、取得部２０１は、図１に示したカメラ１１４によって構成される。すなわち、カメラ１１４の撮影中においては、カメラ映像の入力単位である一映像フレームごとに入力される。連続する２枚の映像フレームは、フレームバッファに一時的に順次保持される。
【００４６】
また、抽出部２０２は、各映像フレームから、パノラマ画像の一部を構成する画像（以下、「部分パノラマ画像」という）を抽出する。図３は、映像フレームとパノラマ画像との関係を示す説明図である。図３において、符号Ｆ1〜Ｆnは一連の映像フレームをあらわしている。各映像フレームＦ1〜Ｆnから所定幅切り出された画像が部分パノラマ画像Ｇ1〜Ｇnである。この部分パノラマ画像Ｇ1〜Ｇnを順次時系列に繋げることでパノラマ画像Ｇが作成される。
【００４７】
ここで、取得部２０１を構成するカメラ１１４がビデオカメラである場合、ビデオカメラ映像の映像フレームごとに、多くは歪みを少なくするため画面縦中心線付近の画像の一部を切り出して部分パノラマ画像Ｇiとして繋いでいく。ここでは、切り出し幅は特に規定せず、上述した特許文献２のようにオプティカルフローを算出して切り出し幅としてもよく、また、単純に固定値にしてもよい。また、一部を拡大することとしてもよい。
【００４８】
一方、ラインセンサカメラも用いる場合、ビデオカメラの撮影位置および撮影方向を同一にしておくことが望ましい。なお、ラインセンサカメラはビデオカメラより撮影間隔が短いため、ビデオカメラの撮影間隔単位でラインセンサにより撮影した複数回分のスリット群を張り合わせたものを、部分パノラマ画像Ｇiとする。
【００４９】
また、オプティカルフロー算出部２０３は、任意の映像フレームＦiに関するオプティカルフローを算出する。オプティカルフローは後述するように大域オプティカルフローと局所オプティカルフローとがあるが、特に断りがない限り、単に「オプティカルフロー」と称した場合には、大域オプティカルフローと局所オプティカルフローのうち少なくともいずれか一方を指すこととする。
【００５０】
オプティカルフロー算出部２０３は、複数の画素の固まり全体（探索窓）の移動先を探索するが、この探索窓の画素数すなわち探索窓サイズの大小によって、局所オプティカルフローまたは画面全体の大域オプティカルフローを算出する。
【００５１】
たとえば、大域オプティカルフローの探索窓として、画面中心部に縦横がそれぞれ画面縦横サイズの１／３程度の大きさの領域を設定する。また、たとえば、局所オプティカルフローの探索窓として、画面を細かく分割したブロックを用いる。オプティカルフロー算出方法自体は、探索窓の画素群の輝度差の絶対値和が最小となる移動先を探し、その移動ベクトルをオプティカルフローとする方法など、一般的な方法を用いることができる。
【００５２】
なお、取得部２０１を構成するカメラ１１４がビデオカメラである場合、ビデオカメラの映像フレーム内の画素情報から、前後映像フレームＦi，Ｆi+1に対する画素の移動量、すなわちオプティカルフローを算出する。
【００５３】
一方、ラインセンサカメラを用いる場合、ラインセンサカメラの映像ではオプティカルフローは算出できないので、ラインセンサカメラからパノラマ画像を作成する場合は、前述したように撮影位置や撮影方向を等しくするようなオプティカルフロー算出用のビデオカメラを別に用意する。
【００５４】
また、関連付け部２０４は、抽出部２０２によって抽出された部分パノラマ画像の各画素に、オプティカルフロー算出部２０３によって算出されたオプティカルフローの値を関連付ける。具体的には、関連付け部２０４は、カメラ１１４によって撮像された一連の映像フレームＦ１〜Ｆｎから得られた各部分パノラマ画像Ｇiの各画素領域に、オプティカルフロー算出部２０３によって算出された各オプティカルフローを関連付ける。これにより、フローマップデータを作成することができる。
【００５５】
すなわち、部分パノラマ画像Ｇi内において、探索窓に対応する画素領域（探索窓関連領域）を検出する。そして、検出された探索窓関連領域に合致する部分パノラマ画像Ｇi内の画素位置と、部分パノラマ画像Ｇi自体のパノラマ画像Ｇに占める位置とから、探索窓関連領域のパノラマ画像Ｇにおける位置を計算する。そして、オプティカルフローの値とそのパノラマ画像Ｇ内の位置とを対応づけて、パノラマ画像Ｇに対するフローマップデータを作成する。
【００５６】
たとえば、カメラ１１４としてビデオカメラを用いた場合、部分パノラマ画像Ｇiはオプティカルフローの算出をおこなった映像フレームＦiの一部であるため、単純に部分パノラマ画像Ｇiを切り出した位置がわかれば、部分パノラマ画像Ｇiのフローマップを作成することができる。
【００５７】
一方、カメラ１１４としてラインセンサカメラを用いた場合、部分パノラマ画像Ｇiとオプティカルフローの算出をおこなった映像フレームＦj（ｊ≠ｉ）とは映像が異なるため、部分パノラマ画像Ｇi内の位置座標をそのまま映像フレームＦj内の位置座標とすることはできない。この場合、図４に示す対応関係により、部分パノラマ画像Ｇiのフローマップを作成する。
【００５８】
図４は、ラインセンサカメラとビデオカメラとの映像の対応関係を示す説明図である。図４において、ビデオカメラの映像となる映像フレームＦj，Ｆj+1の縦中心線Ｌ付近を各大域オプティカルフロー幅ｄで切り抜いた縦長の領域Ａj，Ａj+1を、ラインセンサカメラ４０２で作成した部分パノラマ画像Ｇiに対応する部分とみなし、オプティカルフローの値を割り振っていくことができる。
【００５９】
この図４に示した方法では、映像フレームＦj内の大域オプティカルフローを、ビデオカメラ４０１全体が外界に対して連続する映像フレームＦj，Ｆj+1との撮影時間内の移動距離とみなし、その移動距離分を撮影したであろう部分パノラマ画像Ｇiと、移動によって映像フレームＦj，Ｆj+1内でずれた部分、すなわち、大域オプティカルフローの幅２ｄで切り抜いた縦長の領域Ａj，Ａj+1を対応づけしたものである。
【００６０】
なお、対応づける方法はこれに限るものではなく、映像フレームＦj，Ｆj+1の縦中心線Ｌ上の一列分のオプティカルフロー群を部分パノラマ画像Ｇi全体のオプティカルフローとしてもよい。この場合は部分パノラマ画像Ｇiのオプティカルフローは横軸に沿ってすべて同じ値で、すべて縦中心線Ｌ上の値となる。
【００６１】
また、図２において、距離算出部２０５は、関連付け部２０４によって部分パノラマ画像Ｇiの各画素に関連付けられたオプティカルフローの値に基づいて、部分パノラマ画像Ｇi内の被写体までの距離（被写体距離）を算出する。具体的には、たとえば、関連付け部２０４によって作成されたフローマップを用いて、パノラマ画像Ｇの一部に映っている被写体に対して、カメラ１１４との距離をオプティカルフローから算出する。この結果、単なるロードサイド画像を、距離（奥行き方向）を加えた立体的な情報とともに利用することができる。なお、距離の算出の具体例については後述する。
【００６２】
なお、上述した取得部２０１、抽出部２０２、オプティカルフロー算出部２０３、関連付け部２０４、および距離算出部２０５は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に記録されたプログラムを、ＣＰＵ１０１が実行することによって、またはＩ／Ｆ１０９によって、その機能を実現する。
【００６３】
（オプティカルフローの算出例）
つぎに、上述したオプティカルフロー算出部２０３によるオプティカルフローの算出例について説明する。図５は、オプティカルフロー算出部２０３によるオプティカルフローの算出例を示す説明図である。図５に示した映像フレームＦiは、道路上の移動体から撮像されたロードサイド映像５００を示している。この映像フレームＦiの下端縁が移動体側であり、上下方向は移動体からの奥行きをあらわしている。映像フレームＦiとして、道路５０１、縁石５０２、歩道５０３、壁面５０４が撮像されている。
【００６４】
また、映像フレームＦiにおいて、符号Ｌは映像フレームＦiの縦中心線である。符号Ｗは、大域オプティカルフローの算出領域となる大域探索窓である。大域探索窓Ｗ内の太矢印は、大域オプティカルフローをあらわしており、大域オプティカルフローの長さが、大域オプティカルフローの値となる。なお、符号Ｈは、大域探索窓Ｗの色ヒストグラムである。
【００６５】
また、符号ｗは、局所オプティカルフロー算出領域となる局所探索窓ｗｋ（ｋは所定の値で、探索窓番号をあらわす。）からなる局所探索窓群である。局所探索窓ｗｋ内の細矢印は、局所オプティカルフローをあらわしており、局所オプティカルフローの長さが、局所オプティカルフローの値となる。
【００６６】
図５において、映像フレームＦiの中心部に横長の大域探索窓Ｗを設定し、その大域探索窓Ｗ全体が前の映像フレームＦi-1のどの位置にあったかを画素特徴量から求め、その位置移動量として大域オプティカルフローを求めている。ここでは高速化のため、大域探索窓Ｗの全画素の輝度を用いる代わりに、画素特徴量として色変化分布である色ヒストグラムＨを用いて、似た領域を探索した。
【００６７】
また、縦中心線Ｌ上で適当な横固定幅、縦８画素程度の局所探索窓群ｗを、縦方向に等間隔にｋ個（たとえば、ｋ＝３０個）設定し、それぞれ大域オプティカルフローと同様に前の映像フレームＦi-1からの移動量として局所オプティカルフローをｋ個（３０個）算出する。
【００６８】
なお、実際の局所探索窓ｗｋは、この小矩形と縦サイズおよび縦方向の位置が等しく、この小矩形を、縦中心線Ｌを中心とした位置にずらし、横幅を適当な固定値にそろえたものである。図５に示した例では、このように、局所オプティカルフローは映像フレームＦiの縦方向にｋ分割した局所探索窓ｗｋから算出し、横方向には特に分割していない。これに対応し、上述した関連付け部２０４では、部分パノラマ画像Ｇiを縦方向にｋ分割し、その１分割領域ごとに局所オプティカルフローを割り振る。
【００６９】
なお、この例では、局所オプティカルフローとして横方向の移動量しか求めていないが、縦方向の移動量と横方向の移動量の２つの移動量、すなわち２つの値をもつフローベクトルとして局所オプティカルフローを算出して、フローマップを作成してもよい。
【００７０】
（フローマップの一例）
つぎに、上述した関連付け部２０４によって作成されるフローマップの一例について説明する。図６は、関連付け部２０４によって作成されるフローマップの一例を示す説明図である。図６において、フローマップＭは、たとえば、テキストデータで構成されている。
【００７１】
フローマップＭの各行は、部分パノラマ画像Ｇi単位のフローマップデータＭi（図６ではｉ＝１〜ｎ，ｎ＝１１）を示す。フローマップＭの左端となるフローマップデータＭiの先頭の値（図６中、符号ｐで囲まれた領域内の値）は、パノラマ画像Ｇ内における部分パノラマ画像Ｇiの画素位置を示す。部分パノラマ画像Ｇiの縦サイズはパノラマ画像Ｇの縦サイズと等しいため、横方向の画素位置、すなわち部分パノラマ画像Ｇiの左端がパノラマ画像Ｇの左端から数えて何番目の画素に位置するかを記録している。
【００７２】
また、各フローマップデータＭiの２番目以降の値（図６中、符号ｐで囲まれていない領域の値）、０から２５５の値に圧縮した局所オプティカルフローの値として記録されている。各フローマップデータＭiでは、局所オプティカルフローの値は、局所探索窓ｗｋの個数（ｋ個、図６ではｋ＝３０個）分記録されている。
【００７３】
なお、図６ではフローマップＭの一例について述べたが、フローマップの形式はこれに限定するものではなく、大域オプティカルフローまたは局所オプティカルフローと、対応するパノラマ画像Ｇ内の領域およびその画素位置が相互にわかればよく、可能であればパノラマ画像Ｇそのものにメタデータとして埋め込み保持することとしてもよい。
【００７４】
また、部分パノラマ画像Ｇiに関係しないオプティカルフローも含めてフローファイルを作成しておき、フローマップＭに関係するオプティカルフローのフローファイル内位置を記載することで、分散保持してもよい。また、値を０〜２５５に圧縮せずにそのままの値を保存してもよい。
【００７５】
（被写体距離の算出例）
つぎに、上述した距離算出部２０５による被写体距離の算出例について説明する。図７は、距離算出部２０５による被写体距離の算出例を示す説明図である。図７では、カメラ１１４としてビデオカメラ４０１を用いる。図７（ｉ）では、横軸を移動体（たとえば、
車両）の進行方向（Ｘ方向）とし、縦軸を移動体のビデオカメラ４０１からの奥行きを示す距離（Ｙ方向）としている。また、このＸＹ座標空間内には、被写体Ｐ1、Ｐ2が存在する。
【００７６】
被写体Ｐ1の座標位置は（Ｐ1x，Ｐ1y）であり、被写体Ｐ2の座標位置は（Ｐ2x，Ｐ2y）とする。簡単のため、被写体Ｐ1、Ｐ2はビデオカメラ４０１の進行方向Ｘに対して垂直に並んでいるものとし、Ｐ1x＝Ｐ2xとした。
【００７７】
また、図７（ｉ）では、移動体の移動にしたがって座標位置Ａ（Ａ＝（Ａx，Ａy））
から座標位置Ｂ（Ｂ＝（Ｂx，Ｂy））に移動したビデオカメラ４０１によって被写体Ｐ1、Ｐ2を撮像している。ＷABは、座標位置Ａと座標位置Ｂとの距離差であり、ビデオカメラ４０１の移動距離をあらわす。また、ｆはビデオカメラ４０１の焦点距離であり、Ｓａは座標位置Ａにおける焦点距離ｆの位置にあるビデオカメラ４０１の投影面であり、Ｓｂは座標位置Ｂにおける焦点距離ｆの位置にあるビデオカメラ４０１の投影面である。
【００７８】
また、Ｔａはビデオカメラ４０１の撮影空間となる座標位置Ａにおける視錐体であり、Ｔｂはビデオカメラ４０１の撮影空間となる座標位置Ｂにおける視錐体である。Θは視錐体Ｔａ，Ｔｂの画角である。なお、画角は変化しないものとする。
【００７９】
また、Ｆａは、座標位置Ａにおけるビデオカメラ４０１の３５ｍｍフィルム上に投影された撮像画像であり、Ｆｂは、座標位置Ｂにおけるビデオカメラ４０１の３５ｍｍファイル上に投影された撮像画像である。Ｌは画面（投影面Ｓａ，Ｓｂ）の縦中心線である。実際には銀塩カメラではないので撮影素子上に映っているが、ここでは３６［ｍｍ］×２４［ｍｍ］の３５ｍｍフィルム換算を使うものとする。また、３５ｍｍフィルム上の撮像画像は、縦横画素数でｇx［画素］×ｇy［画素］の表示画面に投影されて映像フレームとして表示されるものとする。
【００８０】
また、図７（ｉｉ）は、図７（ｉ）の座標位置Ａ，Ｂを同位置とした場合の図である。被写体Ｐ1は、図７（ｉｉ）では、ビデオカメラ４０１が座標位置Ａに対応する座標位置Ｐ1Aと、ビデオカメラ４０１の座標位置Ｂに対応する座標位置Ｐ1Bとしてあらわされる。この被写体Ｐ1Aと被写体Ｐ1B間の距離、すなわちＸ方向の距離差はビデオカメラ４０１の移動距離ＷABとなる。
【００８１】
同様に、被写体Ｐ2は、図７（ｉｉ）では、ビデオカメラ４０１が座標位置Ｂに対応する座標位置Ｐ2Aと、ビデオカメラ４０１の座標位置Ｂに対応する座標位置Ｐ2Bとしてあらわされる。この被写体Ｐ2Aと被写体Ｐ2B間の距離、すなわちＸ方向の距離差はビデオカメラ４０１の移動距離ＷABとなる。
【００８２】
ここで、図７（ｉ）に示した横幅画素数ｇxの投影面Ｓａ，Ｓｂ上での被写体Ｐ1，Ｐ
2のオプティカルフローの値Ｍ1，Ｍ2は、図７（ｉｉ）において、対応する３５ｍｍフィ
ルム、すなわち焦点距離ｆだけ離れた横幅３６［ｍｍ］のフィルム上の実移動距離Ｌ1，Ｌ2としてあらわされ、下記式（１），（２），（３），（４）で表現される。また、オプティカルフローの値Ｍ1，Ｍ2と奥行きを示す距離Ｐ1y，Ｐ2yは反比例の関係にあり、オプティカルフロー比の逆数は距離比と等しくなる(下記式（５）を参照。)。
【００８３】
Ｍ1＝Ｌ1・ｇx／３６……………………………………………………………（１）
Ｍ2＝Ｌ2・ｇx／３６……………………………………………………………（２）
Ｌ1＝ｆ・（Ｐ1x−Ａx）／Ｐ1y＋ｆ・（Ｂx−Ｐ1x）／Ｐ1y＝ｆ・ＷAB／Ｐ1y
………（３）
【００８４】
Ｌ2＝ｆ・（Ｐ2x−Ａx）／Ｐ2y＋ｆ・（Ｂx−Ｐ2x）／Ｐ2y＝ｆ・ＷAB／Ｐ2y
………（４）
【００８５】
Ｍ1／Ｍ2＝Ｌ1／Ｌ2＝Ｐ2y／Ｐ1y…………………………………………………（５）
【００８６】
各オプティカルフローの値Ｌ1，Ｌ2から被写体距離Ｐ1y，Ｐ2yを求めるには、上記式（１），（２），（３），（４）を変形した下記式（６）および式（７）を用いればよい。
【００８７】
Ｐ1y＝ｆ・ＷAB／Ｌ1＝ｆ・ＷAB・ｇx／３６・Ｍ1………………………（６）
Ｐ2y＝ｆ・ＷAB／Ｌ2＝ｆ・ＷAB・ｇx／３６・Ｍ2………………………（７）
【００８８】
特別なカメラ操作をしない限り、焦点距離ｆは全映像フレームＦi共通の固定定数値とすることができ、ビデオカメラ４０１の距離差ＷABと焦点距離ｆの積ｆ・ＷABは、被写体（のビデオカメラ４０１との距離）とは無関係に一定な値である。また、焦点距離で用いたカメラフィルムのサイズ３６［ｍｍ］及び対応する表示画面の画素数ｇx［画素］も一定な値である。このため、この比較２映像フレームＦａ，Ｆｂにおけるビデオカメラ４０１の座標位置Ａ，Ｂ間の移動距離ＷABと、他の比較２映像フレーム（たとえば、Ｆｃ，Ｆｄ）のビデオカメラの座標位置（たとえばＣ，Ｄ）間の移動距離（たとえば、ＷCD）との相対比さえわかれば、その相対比を各オプティカルフローの値に掛けて擬似的な被写体距離としても、パノラマ画像Ｇ全体で整合性がとれた値とすることができる。
【００８９】
ここで、移動距離ＷABが大きければ画面全体の画素の移動距離、すなわち大域オプティカルフローも大きくなるため、単純に大域オプティカルフロー比でこの比を代用するとすれば、ＧＰＳや車速センサなどの外部センサの値を用いずに、映像のみで被写体距離を算出することができる。
【００９０】
また、ビデオカメラ４０１の距離差ＷABおよび焦点距離ｆの値を、図示しない外部センサで映像フレームＦiごとに測定しておき、測定された距離差ＷABおよび焦点距離ｆの値を使って各映像フレームＦiおよび各画素領域の被写体距離を正確に算出することとしてもよい。
【００９１】
ビデオカメラ４０１の撮影速度はＮＴＳＣのインタレースなしで６０［フレーム／秒］であるため、より正確な距離にするには、たとえば、カメラ移動速度が６０［ｋｍ／ｈ］（＝１６．６７［ｍ／ｓ］）の場合でも、映像フレーム当たりに換算するとビデオカメラ４０１の移動距離が０．２７８［ｍ］となり、１０［ｃｍ］単位の精度が望まれる。
【００９２】
また、上記式（３）に示したように、オプティカルフローの値と距離は逆数の関係であることから、単純にオプティカルフローの逆数を擬似的な距離として代用してもよい。なお、オプティカルフローの値およびオプティカルフローの値から推定した距離については、周辺から１つだけ突出した値があればオプティカルフロー算出誤差と看做して無効としたり、それぞれの値をメッシュの各点の力場としてバネモデルを用いてお互いの値で引っ張り合い突出をまるめるなど、各種手法を使って適宜補正をおこなってから利用してもよい。
【００９３】
（画像解析処理手順）
つぎに、この発明の実施の形態にかかる画像解析装置２００の画像解析処理手順について説明する。図８は、この発明の実施の形態にかかる画像解析装置２００の画像解析処理手順を示すフローチャートである。
【００９４】
図８において、まず、取得部２０１により、カメラ１１４から一連の映像フレームＦiを取得する（ステップＳ８０１）。つぎに、抽出部２０２により、取得された映像フレームから部分パノラマ画像Ｇiを抽出する（ステップＳ８０２）。そして、オプティカルフロー算出部２０３により、映像フレームに関するオプティカルフローを算出する（ステップＳ８０３）。たとえば、上述したオプティカルフローの算出例で示したように、オプティカルフローを算出する。
【００９５】
つぎに、関連付け部２０４により、部分パノラマ画像Ｇiとオプティカルフローの値とを関連付ける（ステップＳ８０４）。たとえば、上述したようにフローマップＭを作成することで、部分パノラマ画像Ｇiとオプティカルフローの値とを関連付けることができる。そして、距離算出部２０５により、部分パノラマ画像Ｇiに関連付けられたオプティカルフローの値から被写体距離を算出する（ステップＳ８０５）。たとえば、上述した被写体距離の算出例で示したように、被写体距離を算出する。
【００９６】
このようなパノラマ画像Ｇに対応した距離の利用例として、奥行き方向の変化および分布パターンを調べることで、該当パノラマ画像Ｇの被写体をある程度推測することが挙げられる。たとえば、突然カメラ１１４からの奥行き（距離）が無限遠となり数秒程度進んで元に戻るパターンを、交差点通過時のパターンと推定して、ＧＰＳなどの既存の位置情報を補正するのに用いることができる。
【００９７】
また、カメラ１１４の至近に矩形の突起が現れたパターンを駐車車両の可能性と看做し、路上駐車の多い場所の候補を、パノラマ画像Ｇを閲覧する前に絞りこむこともできる。これらの利用例については後述する。
【００９８】
以上、この発明の実施の形態の原理を説明したが、これに限定されることはなく、この発明の実施の形態の原理は、たとえば、以下に列挙するパターンに応用可能である。
【００９９】
・大域オプティカルフローを算出しないパターン
・オプティカルフローを先に算出して部分パノラマ画像Ｇiを作成する際にも利用するパターン
・部分パノラマ画像Ｇiに関係しそうな映像フレーム内の範囲をあらかじめ計算してその部分の局所オプティカルフローのみを算出するパターン
・局所探索窓ｗｋを横方向にも細分化するパターン
・局所探索窓ｗｋの全画素の輝度ではなく局所探索窓ｗｋ全体の色変化傾向（ヒストグラム）等を用いてフローを求めるパターン
・部分パノラマ画像Ｇi内の複雑さをエッジ抽出や色分布などで調べて複雑な部分をより細分化した局所探索窓ｗｋを用いて局所オプティカルフローを求めるパターン
・部分パノラマ画像Ｇi内をエッジ抽出等により領域分割しておき分割領域単位で局所オプティカルフローをマップ化しておくパターン
【０１００】
また、フローマップＭの作成をおこなう関連付け部２０４と距離の算出をおこなう距離算出部２０５は、１つのシステム内に限定するものではなく、関連付け部２０４を有するシステムと、フローマップＭを利用する距離算出部２０５を有するシステムが別々に存在してもよい。
【０１０１】
このように、この発明の実施の形態では、ロードサイドの解析のために、ロードサイドを撮影した従来のパノラマ画像Ｇに加えて、ロードサイドを映像として撮影した部分パノラマ画像Ｇiから大域オプティカルフローまたは局所オプティカルフローを算出し、パノラマ画像Ｇ内の位置とを関連付けてフローマップＭを作成して被写体までの距離（被写体距離）を算出し利用することで、パノラマ画像Ｇ内の見たい部分を絞り込んだり、対応する位置情報を補正したりすることができ、解析にかかる労力を省力化することができる。
【実施例１】
【０１０２】
つぎに、この発明の実施の形態にかかる実施例１について説明する。実施例１は、被写体距離のほか、被写体距離の変化を示す距離パターンにより被写体が何であるかを安定して判定結果を表示する例である。なお、上述した実施の形態で説明した構成と同一構成については同一符号を付し、その説明を省略する。
【０１０３】
まず、実施例１にかかる画像解析装置について説明する。図９は、実施例１にかかる画像解析装置の機能的構成を示すブロック図である。図９において、画像解析装置９００は、図２に示した取得部２０１、抽出部２０２、オプティカルフロー算出部２０３、関連付け部２０４、および距離算出部２０５のほか、距離パターン判定部９０１と、結果表示部９０２とを備えている。
【０１０４】
距離パターン判定部９０１は、パノラマ画像Ｇ内の被写体が何であるかを特定する。具体的には、たとえば、被写体距離の変化を示す距離パターンとその出現をどう解釈するかを示す登録パターンを持つ。たとえば、急に手前に現れる矩形を駐車車両の登録パターンとしたり、無限遠の距離の分布パターンを交差点の登録パターンとしたりする。そして、これらの登録パターンと距離パターンを比較して被写体が何であるかを特定する。
【０１０５】
図１０は、距離パターンの一例を示す説明図である。図１０において、（Ａ）は距離パターンの波形を示すグラフであり、（Ｂ）は（Ａ）の波形に対応するロードサイドである。図１０（Ａ）のグラフでは、横軸を移動体の進行方向（Ｘ方向）とし、縦軸を移動体のビデオカメラ４０１からの奥行きを示す距離（Ｙ方向）としている。
【０１０６】
図１０（Ａ）のグラフにおいて、実線の波形Ｗ１は、パノラマ画像Ｇで下から６０画素の高さの奥行きを示している距離パターンである。また、点線の波形Ｗ２は、パノラマ画像Ｇで下から１３０画素の高さの奥行きを示している距離パターンである。実際のフローマップＭ（図６を参照。）および算出被写体距離はパノラマ画像Ｇの縦画角分だけ高さデータがあるため、波形Ｗ１，Ｗ２は、高さ６０画素と１３０画素の位置で算出被写体距離を横に切った断面形状をあらわしている。
【０１０７】
波形Ｗ１で示したように、歩道と道路との境界として、生垣などのライン（図１０（Ａ）中、一点鎖線で表示）に続き、そのあたりを境に上か下かで道路上の物体か否かがわかる。この結果、ピーク領域Ｒ１は、高さに無関係に無限遠の矩形であり、交差点で交差した道路であると判定される。また、ピーク領域Ｒ２は、道路上のある程度の大きさおよび高さの矩形であり、駐車車両であると判定される。
【０１０８】
ピーク領域Ｒ３は、１３０画素の高さでは大きくへこんだ矩形（６０画素の高さでは、生垣が途切れた部分でへこむ）であり、空き地と判定される。ピーク領域Ｒ４は、道路と歩道の境界で高く細長い柱のように現れる小さな矩形であり、電柱と判定される。ピーク領域Ｒ５は、１３０画素の高さにおいてのみ奥行き方向（Ｙ方向）に急峻であり、建物間の間隙と判定される。
【０１０９】
なお、ここでは簡単のため高さを画素のままで説明したが、被写体の高さは、パノラマ画像Ｇ内での被写体位置、カメラ１１４との距離、カメラ１１４自身の高さおよび焦点距離ｆ等のパラメータから概算することができる。
【０１１０】
図１１は、実施例１にかかる被写体の高さ推定例を示す説明図である。図１１では、被写体Ｐの高さｈの概算方法の一例を、ビデオカメラ４０１から作成した部分パノラマ画像Ｇiを例にして説明する。
【０１１１】
部分パノラマ画像Ｇiを切り取ったビデオカメラ４０１の映像フレームＦi全体を３５［ｍｍ］フィルムの１コマに換算し、その中心から被写体Ｐまでの距離ｇ１と、画面縦半分の画素数１／２ｇｙとの比から、画角α１を算出することができる。
【０１１２】
また、ビデオカメラ４０１の該当映像フレームＦiの３５ｍｍフィルム内に映る被写体Ｐのフィルム中心からの距離Ｙ１を算出することができる。図７同様、実際には銀塩カメラではないので撮影素子上に映っているが、３５ｍｍフィルム換算を使う。
【０１１３】
ここで、ビデオカメラ４０１の３５ｍｍフィルム換算の焦点距離ｆと相対距離Ｗの比が、すなわち３５ｍｍフィルム内の距離と実世界での大きさの比と等しい、すなわち同じ画角α１であることから、ビデオカメラ４０１中心からの被写体Ｐの高さｈ１を求めることができる。
【０１１４】
この結果、ビデオカメラ４０１中心の地面からの高さｈｃを足して、被写体Ｐの地面からの高さｈが求まる（下記式（８）〜（１０）を参照。）。
【０１１５】
ｇ1／ｇy＝Ｙ1／２４……………………………………………………………………（８）
ｈ1＝Ｗ・Ｙ1／ｆ＝（２４・ｇ1・Ｗ）／（ｆ・ｇy）……………………………（９）
ｈ＝ｈ1＋ｈc＝（２４・ｇ1・Ｗ)／（ｆ・ｇy）＋ｈc…………………………（１０）
【０１１６】
映像フレームＦiの縦画素数ｇｙ、ビデオカメラ４０１の高さｈｃ、３５ｍｍ換算焦点距離ｆは固定値にできるので、被写体Ｐの部分パノラマ画像Ｇi内位置ｇ１およびその位置でのオプティカルフローの値から計算したビデオカメラ４０１との相対距離Ｗがわかれば、被写体Ｐの大体の高さｈを推定することができる。
【０１１７】
距離パターン判定部９０１は、算出されたパノラマ画面内の位置ごとの被写体距離の変化を示す被写体距離パターンをみて、地物のどの登録パターンに合致するか、またどのくらいの確率で合致するか等を判定する。
【０１１８】
また、結果表示部９０２は、作成されたパノラマ画像Ｇを表示する。また、距離パターン判定部９０１によって判定された判定結果を用いて、パノラマ画像Ｇの一部を抽出して閲覧表示したり、判定結果をリストとして表示してもよい。
【０１１９】
また、対応する地図やオプティカルフローから求めた距離やオプティカルフロー自体をパノラマ画像Ｇと同時、またはその代わりとして表示してもよい。この実施例１では、結果表示を行ったが、表示以外に判定結果をパノラマ画像Ｇの位置と共に保存して、再利用することとしてもよい。この実施例１を用いることで、駐車車両の多い区間や交差点付近など、あらかじめ候補を絞った閲覧が可能となり、閲覧解析を省力化することができる。
【実施例２】
【０１２０】
つぎに、この発明の実施の形態にかかる実施例２について説明する。実施例２は、被写体距離や距離パターンのほか、経路補正をおこなう例である。なお、上述した実施の形態および実施例１で説明した構成と同一構成については同一符号を付し、その説明を省略する。
【０１２１】
まず、実施例２にかかる画像解析装置について説明する。図１２は、実施例２にかかる画像解析装置の機能的構成を示すブロック図である。図１２において、画像解析装置１２００は、図２または図９に示した取得部２０１、抽出部２０２、オプティカルフロー算出部２０３、関連付け部２０４、距離算出部２０５、距離パターン判定部９０１、および結果表示部９０２のほか、経路入力部１２０１と、経路補正部１２０２と、を備えている。
【０１２２】
図１２において、経路入力部１２０１は、パノラマ画像Ｇの各部に対応する移動体（たとえば、車両）の移動経路および位置データを入力する。現在のＧＰＳによる位置データは、高架下やビルの谷間などで特に位置誤差が顕著であるように、細かい精度および正確な位置を常に取得することはできない。
【０１２３】
また、移動距離が車速パルス単位でしかとれないこと、慣性計測装置から取得した移動方向にも誤差が大きいことなどから、移動体自身の専用センサから移動距離および移動方向を使って取得する位置データも、数〜１０メートル単位で相乗位置誤差が蓄積し、大まかな位置データしか取れず精度があまりよくない。
【０１２４】
このため、ここで入力する移動経路および位置データは、多少精度を欠くと想定されるが、あとで補正をおこなうのでかまわない。距離パターン判定部９０１は、距離パターンから被写体が何であるかを判定する。たとえば、交差点などを地物としてパターン登録しておき、距離パターンとの一致判定をおこなう。
【０１２５】
また、経路補正部１２０２は、距離パターンの判定結果を用いてパノラマ画像Ｇの各部に対応する経路および位置データを補正する。たとえば、あるパノラマ画像Ｇの一部に対して、距離パターンの判定結果では画像開始から数えて２番目の交差点内にいるとするのに対し、経路入力部１２０１でＧＰＳ等から測定入力した経路および位置データでは２番目の交差点を数ｍ通り過ぎた位置であったとする。
【０１２６】
その場合には、距離パターンの判定結果を優先して、交差点の位置となるよう、パノラマ画像Ｇに対する経路および位置データの補正をおこなう。パノラマ画像Ｇ内で補正した部分と補正した部分の間の部分、すなわち未補正の部分も、必要に応じてこれら補正した結果を利用し、単純に線形補間などで補正してもよい。また、線形補間ではなく、擬似的にカメラ速度と看做せる大域オプティカルフローの値の変化に比例した割合で重み付けをした補間を行って補正を施してもよい。
【０１２７】
また、結果表示部９０２は、補正後のより正確な経路および位置データを用いて、ロードサイド解析のための表示を行う。たとえば、パノラマ画像Ｇと共に地図上に該当経路および現在の位置を表示することができる。また、見たい被写体の位置情報が既知の場合に、その被写体が映っていると予測されるパノラマ画像Ｇをより正確に抽出提示することも可能である。たとえば、地図から被写体を選んでパノラマ画像Ｇ内の関連部分を検索表示することができる。
【０１２８】
なお、システムによっては結果表示部９０２を省略して経路および位置データの補正のみを実行するものとして、パノラマ画像Ｇの閲覧以外の用途に用いてもよい。このように、実施例２によれば、ＧＰＳや車速センサ等の経路および位置データを適宜補正することで、パノラマ画像Ｇの各部に対応する経路および位置データをより正確なものに補正することができる。
【０１２９】
また、カメラ単位、すなわち部分パノラマ画像Ｇi単位でしか与えられなかった位置データを、距離パターン判定を用いて精度高く位置補間していくことで、部分パノラマ画像Ｇi内の各被写体の位置データとして活用することができる。
【０１３０】
この実施例２では、フローマップＭおよび距離パターンの判定を用いて、ＧＰＳや車速センサ等の経路および位置データを補正して精度を良くし、さらに部分パノラマ画像Ｇi内の各部分の経路および位置データを得るため位置補間を実行するが、高精度や細かい情報を必要としない場合は補正および補間を特に実行せず、ＧＰＳや車速センサ等の経路および位置データを部分パノラマ画像Ｇi単位でパノラマ画像Ｇに単純に対応づけしてもよく、また補正のみを利用してもよく、また補間のみを利用してもよい。
【０１３１】
また、経路および位置データとともに、パン・チルト等のカメラパラメータや撮影方向、カメラ高さ情報、撮影時刻などを、単純および補間保存してもよい。さらに、距離パターンの判定結果で判定された地物情報も、同様に保存利用してもよい。
【０１３２】
また、この実施例２によりパノラマ画像に位置データを対応づけした結果を実際に利用することもできる。図１３は、パノラマ画像に位置データを対応づけした結果を利用するシステムを示す概略図である。
【０１３３】
図１３において、ユーザは、パノラマ画像Ｇを閲覧しながら、パノラマ画像Ｇの興味領域を選択すると、その興味領域に対応付けされている撮影位置を取得し、撮影位置やカメラパラメータ等から被写体位置や被写体を推定することができる。この結果、パノラマ画像Ｇ上を選択するだけで、対応する被写体および地図上の位置を推定してデータベースの編集、たとえば、店舗情報の追加登録など、を簡単におこなうことができる。このように、ＧＰＳの位置データのフローマップＭによる補正の有無に関わらず編集システムを構築することができる。
【実施例３】
【０１３４】
つぎに、この発明の実施の形態にかかる実施例３について説明する。実施例３は、オプティカルフローの値に応じた凹凸を有する被写体の３次元形状データを作成する例である。なお、上述した実施の形態および実施例１，２で説明した構成と同一構成については同一符号を付し、その説明を省略する。
【０１３５】
まず、実施例３にかかる画像解析装置について説明する。図１４は、実施例３にかかる画像解析装置の機能的構成を示すブロック図である。図１４において、画像解析装置１４００は、図２または図９に示した取得部２０１、抽出部２０２、オプティカルフロー算出部２０３、関連付け部２０４、距離算出部２０５、および結果表示部９０２のほか、３次元形状データ作成部１４０１を備えている。
【０１３６】
３次元形状データ作成部１４０１は、フローマップＭの位置座標、すなわちパノラマ画像Ｇ内の位置座標に加え、奥行き方向にその座標のオプティカルフローの値またはオプティカルフローの値から求めたカメラ１１４との距離を用いて、凸凹をつけた３次元形状データを作成する。
【０１３７】
この凹凸形状は、四角形メッシュでも三角形メッシュでも、あるいは等高線状の立体を重ね合わせたような図形によっても定義することができる。結果表示部９０２では、作成された３次元形状データを表示する。たとえば、この３次元形状データに、パノラマ画像Ｇをテクスチャとして貼り付けることで、単なるパノラマ画像Ｇ以上に臨場感がある閲覧をおこなうことができる。
【０１３８】
ここで、３次元形状データの例を示す。図１５は、３次元形状データの一例を示す説明図である。図１５においては、四角形メッシュで実際に３次元形状データを作成してパノラマ画像Ｇをテクスチャマッピングした例である。図１５では、（Ａ）がテクスチャマッピングされた３次元形状データをあらわしており、（Ｂ）がテクスチャマッピングされていない３次元形状データをあらわしている。
【０１３９】
また、図１６〜図１８は、３次元形状データの他の例を示す説明図である。図１６〜図１８において、（Ａ）は、３次元形状データのテクスチャとなるパノラマ画像であり、（Ｂ）は、パノラマ画像がテクスチャマッピングされた３次元形状データである。
【０１４０】
なお、テクスチャはなくてもよいし、または、パノラマ画像Ｇの代わりにオプティカルフローの値に応じた白黒濃淡や、所定のオプティカルフローの値以上を特定色（たとえば赤）とした特殊パノラマ画像等、用途に応じて他の画像をテクスチャとして用いてもよい。
【０１４１】
また、３次元形状データとパノラマ画像Ｇを別々に表示してもよいし、さらに地図を同時または別々に表示してもよい。なお、システムによっては結果表示部９０２を省略して３次元形状データの作成だけをおこなうこととしてもよい。この実施例３によれば、たとえば、手前に突き出た駐車車両や店舗部分等をより迅速に検知でき、現地での見た目に近くすることで解析の省力化を図ることができる。
【実施例４】
【０１４２】
つぎに、この発明の実施の形態にかかる実施例４について説明する。実施例４は、実施例１〜３の結果表示部９０２において地図を動的に表示する例である。なお、上述した実施の形態および実施例１〜３で説明した構成と同一構成については同一符号を付し、その説明を省略する。
【０１４３】
まず、実施例４にかかる画像解析装置について説明する。図１９は、実施例４にかかる画像解析装置の機能的構成を示すブロック図である。図１９において、画像解析装置１９００は、図２、図９、図１２、図１４に示した結果表示部９０２を含む各機能的構成（図１９では不図示）のほか、地図表示動的制御部１９０１を備えている。
【０１４４】
図１９において、地図表示動的制御部１９０１は、ＧＰＳや車速センサ、距離パターン、所定の経路など、各種手法によりパノラマ画像Ｇに対応する経路および位置データが取得済みの場合に、それらから推定したパノラマ画像Ｇの視線方向にあわせて、地図の表示を動的に制御する。
【０１４５】
たとえば、経路および位置がわかれば、移動体の横を見ているロードサイド映像から作成したパノラマ画像Ｇの閲覧方向も自動的に経路に対して垂直方向と推定できる。したがって、その閲覧方向が地図上で常に同じ方向になるよう、地図を動的に回転させる制御を実行する。
【０１４６】
図２０は、地図表示動的制御を示す説明図である。図２０では、パノラマ画像Ｇに対応した地図の回転例を示している。従来技術では、（Ａ）で示したように、地図が表示されるが、（Ｂ）および（Ｃ）では常にカメラ方向を地図の上方向になるように、現在のパノラマ画像Ｇの閲覧位置スクロールにあわせて自動的に制御する。この実施例４は、上方向になるよう制御したが、上下左右いずれの方向に制御してもよい。
【０１４７】
また、この実施例４では、地図上の文字も地図と一緒に回転しているが、地図上の文字のみ回転させないように制御してもよい。この結果、曲がりくねった経路であっても、瞬時にどの方向を見ているパノラマ画像Ｇであるか、また、被写体は何であるかを地図から読み取ることができる。
【実施例５】
【０１４８】
つぎに、この発明の実施の形態にかかる実施例５について説明する。実施例５は、実施の形態で示した関連付け部２０４によって得られるフローマップＭを、時間を置いて同じ経路を撮影したロードサイド映像を用いて２個作成し、それぞれのフローマップＭを比較する例である。なお、上述した実施の形態および実施例１で説明した構成と同一構成については同一符号を付し、その説明を省略する。
【０１４９】
まず、実施例５にかかる画像解析装置について説明する。図２１は、実施例５にかかる画像解析装置の機能的構成を示すブロック図である。図２１において、画像解析装置２１００は、図９に示した距離パターン判定部９０１に替え、比較判定部２１０１を備えている。
【０１５０】
比較判定部２１０１は、関連付け部２０４により、時間を置いて同じ経路を撮影したロードサイド映像を使ってそれぞれフローマップを作成しておき、それぞれのフローマップの比較をおこなう。たとえば、両フローマップ上で大きく差がある部分の面積を調べて、その面積がしきい値以上の場合のみ、変化と検知する。
【０１５１】
両フローマップの比較箇所は、両フローマップが示すパノラマ画像部分の位置情報および詳細な経路情報がわかればよいが、始点終点を同じ場所とし、ほぼ同一の経路をたどるパノラマ画像であれば、詳細な経路情報がなくてもある程度の比較判定が可能である。たとえば、音声認識などでよく使われるＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍ）マッチングを利用して、２枚のパノラマ画像を構成するスリットの位置合わせをおこなうことができる。
【０１５２】
その際、スリットとスリットの類似度には、たとえば、スリット内の特徴量（たとえば、色やフローマップ、距離）のヒストグラムを計算し、たとえば、ヒストグラムインターセクションによる方法で類似度を算出して利用することができる。これにより、２つのパノラマ画像のスリットの対応関係を導出することができ、導出された対応スリットの類似度に対して、たとえば、予め定めたしきい値によって評価することにより、変化の発生したスリットを検出することができる。
【０１５３】
このような比較判定をおこなうことで、ロードサイドの建物が空き地になった、または空き地が建物になったなど、大きな変化発生の可能性のある地点を推測することができる。なお、比較判定に使用する特徴量は、フローマップのオプティカルフローの値そのもの、またはオプティカルフローの値から算出された距離のうち、いずれを用いて比較してもよい。また、フローマップ内の変化発生推定箇所に対応するパノラマ画像部分の色等の画素情報を共に比較に用いることで、さらに変化発生推定箇所を絞り込むこともできる。
【０１５４】
また、結果表示部９０２は、比較判定部２１０１によって判定された判定結果を表示する。たとえば、変化発生推定箇所に対応する箇所をパノラマ画像や地図上で顕示表示したり、その箇所だけパノラマ画像から抽出して閲覧表示したり、単純に変化発生推定箇所リストとしてリスト表示したりしてもよい。
【０１５５】
このように、フローマップを用いて事前に変化の可能性の高い部分を比較推定することができるため、単純に複数のパノラマ画像を目視比較してロードサイド変化部分を検知していた手間を大幅に減らすことができる。また、さらに実施例１で示した距離パターン判定部９０１を追加することとしてもよい。
【０１５６】
この場合、事前に変化がないとわかっている地物、たとえば、交差点など、を各フローマップ内で検知して相互に対応づけしておくことで、おおよその経路および位置データを推定することができ、フローマップ間で比較する部分を特定することができる。また、空き地部分の変化だけ推定する等、より詳細な推定をおこなったり、路肩の駐車車両と区別することで、一時的な遮蔽物である駐車車両とは別の恒常的な変化部分を推定することもできる。
【実施例６】
【０１５７】
つぎに、この発明の実施の形態にかかる実施例６について説明する。実施例６は、パノラマ画像Ｇの作成前にオプティカルフローおよび被写体距離を算出し、優先的に映りをよくすべき部分か否かを、相対距離条件を用いて判定しながら、パノラマ画像Ｇを作成する例である。なお、上述した実施の形態および実施例１で説明した構成と同一構成については同一符号を付し、その説明を省略する。
【０１５８】
まず、実施例６にかかる画像解析装置について説明する。図２２は、実施例６にかかる画像解析装置の機能的構成を示すブロック図である。図２２において、画像解析装置２２００は、図２に示した取得部２０１、抽出部２０２、オプティカルフロー算出部２０３、関連付け部２０４、および距離算出部２０５のほか、優先条件指定部２２０１と、優先条件判定部２２０２と、パノラマ画像作成部２２０３とを備えている。
【０１５９】
なお、ラインセンサカメラ４０２を用いてパノラマ画像Ｇを作成する場合は、実施の形態と同様、ビデオ撮影間隔単位でラインセンサカメラ４０２により撮影した複数回分のライン群を張り合わせたもの（パノラマ画像の一部）を、“部分パノラマ画像”とみなすものとして説明する。
【０１６０】
まず、優先条件指定部２２０１は、映りが良いように優先する被写体の条件を、カメラ１１４との距離を用いて指定する。たとえば、ロードサイドの店舗を解析したい場合、路肩の駐車車両やガードレールよりも、その車両またはガードレール越しに一部が見える、店舗の方が重要な被写体である。
【０１６１】
そのため、たとえば、カメラ１１４との距離を５ｍ以上という条件データとして設定しておき、それより近くにある被写体はあまり重要でないとみなす。なお、この距離条件は随時変更してもかまわず、たとえば、パノラマ画像Ｇを閲覧しながら調整変更してもかまわない。
【０１６２】
また、優先条件判定部２２０２は、算出された被写体距離群と優先条件指定部２２０１によって指定された優先距離とを比較して、映像フレーム内のどこが優先部位になるかを判定する。すなわち、ある距離が条件に合致した場合、その距離の元となったオプティカルフローの探索窓Ｗ，ｗｋの画素または画素群を優先部位とする。
【０１６３】
また、パノラマ画像作成部２２０３は、優先部位を優先した部分パノラマ画像Ｇiを切り出して、パノラマ画像Ｇを作成する。具体的には、映像フレームＦiの縦中心線Ｌ上に優先部位があれば、その優先部位のオプティカルフロー幅で映像フレームＦiの中心縦線Ｌ付近から部分パノラマ画像を切り出す。
【０１６４】
この結果、従来技術では、画面中心に占有する面積の大きな最も近くにある被写体、すなわちその映像フレームＦiで最もよく映っている被写体を優先して切り出すことしかできなかった。たとえば、突然駐車車両が画面中央に大きく現れた場合、従来手法では駐車車両に部分パノラマ画像Ｇiを作成するための基本フローが固定されてしまい、本来精査したい後ろの店舗が繰り返しパターンになったり、拡大して横伸びして見づらくなったりした。
【０１６５】
これに対し、実施例６では、映像フレームＦiでの映り具合には無関係に、カメラ１１４からの距離が優先条件に合致している被写体を優先して映像フレームＦiから切り出すことができる。具体的には、カメラ１１４との距離により優先するか否かを判定するため、特にロードサイド映像のように店舗とカメラの距離変化が少ない場合は、全パノラマ画像を通して店舗が常に最も綺麗になるように、部分パノラマ画像Ｇiを自動作成することができる。
【０１６６】
以下、従来技術と実施例６とを対比するためにパノラマ画像を用いて比較する。図２３は、従来のパノラマ画像の一例を示す説明図である。図２３において、（Ａ）がパノラマ画像Ｇａ、（Ｂ）はパノラマ画像Ｇａの作成に用いた一部の映像フレーム群Ｆａ（Ｆａ１〜Ｆａ６）である。なお、（Ｂ）は左から経過時間方向にあらわしている。（Ｂ）の映像フレーム群Ｆａすべてを通して、背景建物の大きな柱２本が駐車車両越しに映り続けている。
【０１６７】
一方、作成されたパノラマ画像Ｇａを見ると、この柱は駐車車両の前後に間延びして現れ（図では一点鎖線矢印で対応づけ）、その間が繰り返しパターンになってしまっている。これは、駐車車両の画面占有が大きいため、部分パノラマ画像の切り出しおよび貼り付けの基本となる基本フローが駐車車両上に設定されてしまい、結果的に後ろの建物が間延びしてしまったためである。
【０１６８】
図２４は、実施例６のパノラマ画像を示す説明図である。距離として路上の店舗付近となる値（例：５ｍ）を優先距離として１つ指定するだけで、すべての映像フレーム内で自動的に距離に合致するポイントを動的に探索し、そのポイントを基本としたパノラマ画像Ｇｂ，Ｇｃを作成することができる。
【０１６９】
したがって、手前の駐車車両がいかに画面上で占有面積が大きく真ん中にあろうとも、基本領域に選ばれることはなく、店舗及び背景建物が常に最も綺麗に映るパノラマ画像Ｇｂ，Ｇｃとなる。なお、上述した機能的構成のほか、たとえば、実施例３で説明した３次元形状データ作成部１４０１を追加して、距離に応じた色分け特殊パノラマ画像を作成することとしてもよい。
【０１７０】
このように、部分パノラマ画像作成の前に部分パノラマ画像内の各被写体とカメラ１１４との距離を算出推定しておくことで、ロードサイド解析では特に重要な、距離という奥行き情報を条件とし、その条件に合致する被写体を自動的に探索することができる。したがって、その映りを最優先するパノラマ画像作成ができるようになる。また、同時に距離パターンとして保存して利用することで、パノラマ画像閲覧の省力化に繋がる前述の各種実施例に示すような方法を適用することもできる。
【実施例７】
【０１７１】
つぎに、この発明の実施の形態にかかる実施例７について説明する。実施例７は、作成済みのパノラマ画像Ｇとそのオプティカルフローおよび距離パターンを用いて、指定された距離の被写体を優先したパノラマ画像を再合成して閲覧する例である。なお、上述した実施の形態および実施例１で説明した構成と同一構成については同一符号を付し、その説明を省略する。
【０１７２】
まず、実施例７にかかる画像解析装置について説明する。図２５は、実施例７にかかる画像解析装置の機能的構成を示すブロック図である。図２５において、画像解析装置２５００は、図２ｎｉ示した取得部２０１、抽出部２０２、オプティカルフロー算出部２０３、関連付け部２０４、および距離算出部２０５のほか、パノラマ画像作成部２５０１と、優先条件指定部２５０２と、パノラマ画像再合成部２５０３とを備えている。
【０１７３】
まず、パノラマ画像作成部２５０１では、各種方法でパノラマ画像Ｇを作成するが、ラインセンサカメラ４０２を用いてもよいし、ビデオカメラ４０１を用いてフレーム中心線上の各フローのうち、最大のものを基本フローして作成しても良いし、実施例６を用いて距離条件としてその映像フレーム内で距離が最小の被写体として作成しても良い。
【０１７４】
このようなパノラマ画像Ｇは、図２３および図２４で述べたように、一部の被写体は間伸びしたり、繰り返しパターンで映っていることになり、パノラマ画面上の全ての被写体は、見た目と同様にそのまま綺麗に映っているか（例：最も手前の被写体）、間伸びまたは繰り返しパターンで映っているか（例：後方の被写体）の２つに分けることができる。
【０１７５】
換言すると、それぞれパノラマ画像内に、必要最小限の画素部分を占有する被写体であるか、または複数映るとか間伸びするとか必要以上の画素部分を占有する冗長性のある映り方をしている被写体であるかのいずれかになっている。
【０１７６】
また、関連付け部２０４では、オプティカルフローの値を部分パノラマ画像に関連付けて、フローマップＭを作成すると同時に、パノラマ画像Ｇのどの部分が部分パノラマ画像Ｇi単位で１つの画像になっているか、すなわち、繋いだ切れ目がどこであるかも、フローマップデータとして登録する。
【０１７７】
また、優先条件指定部２５０２は、実施例６と同様、映りが最もよくなる被写体を特定する方法として、カメラ１１４からの距離を指定する。なお、パノラマ画像作成部２５０１で実施例６を適用する場合は、そちらの距離条件（＝最もカメラに近い）とは異なる指定をおこなってもよい。
【０１７８】
また、パノラマ画像再合成部２５０３は、フローマップＭからパノラマ画像Ｇの切れ目を検出し、各部分パノラマ画像Ｇi単位で画像の再切り出し及び縮小処理を行い、それを再度繋いで新たなパノラマ画像Ｇ´を作成する。具体的には、各部分パノラマ画像Ｇi内で、距離が優先距離に合致する画素部分をフローマップＭおよびフローマップＭから推定した距離から探索する。
【０１７９】
そして、その画素部分が繰り返しパターンになっている場合はパターン１つ分を元の部分パノラマ画像Ｇiから縦サイズはそのままに切り出して新たな部分パノラマ画像Ｇ´iとする。間伸びしている場合は、下記式（１１）を用いて部分パノラマ画像Ｇi全体の幅を新しい幅まで圧縮し、その圧縮画像を新たな部分パノラマ画像Ｇ´iとして用いる。ここでＣは適当な定数である。
【０１８０】
新しい幅＝Ｃ×元の幅×（その部分のオプティカルフローの値／部分パノラマ画像内の最大オプティカルフローの値）…………………………………………………………（１１）
【０１８１】
なお、繰り返しパターンか間伸びかどうかは、パノラマ画像作成部２５０１の処理内容から以下のように判定できる。図２６および図２７は被写体の映り具合を示す説明図である。図２６はビデオカメラ４０１を用いた場合を示しており、図２７はラインセンサカメラ４０２を用いた場合を示している。
【０１８２】
図２６において、ビデオカメラ４０１を用いて作成したパノラマ画像のうち、部分パノラマ画像の切り取り幅の基準となったフレーム部分（被写体）以外の部分を明示的に間伸び処理して部分パノラマ画像を作成した場合、間伸びする。
【０１８３】
図２７において、ラインセンサカメラ４０２を用いたパノラマ画像は、平行投影となるので基本的に全体が横長に伸ばされた間伸びであり、被写体とラインセンサカメラ４０２との距離の大きさに応じて被写体の画素部分が間伸びして映る。
【０１８４】
繰り返しパターンは、図２３（Ａ）に示した背景建物のようなもので、図２４で示したように、実物は同じ横幅の被写体であっても、投射投影でカメラ１１４との距離に比例して画角が広がっていく関係で、投影面すなわち画面上での占有幅が狭くなるために生じる。したがって、ビデオカメラ４０１の映像フレームＦiを用いて作成したパノラマ画像Ｇのうち、上記のような間伸び処理を特に行わないで部分パノラマ画像Ｇiを作成した場合に、繰り返しパターンが生じる。
【０１８５】
これ以外の判定方法として、繰り返しパターンを画素特徴量、すなわち輝度や色の変化パターンとして抽出してももちろん構わない。なお、優先条件指定部２５０２およびパノラマ画像再合成部２５０３は、パノラマ画像Ｇすべてに一括処理してその後で閲覧してもよいが、優先距離を随時指定しながら、常に新たな再合成パノラマ画像を作成しつつ閲覧表示してもよい。
【０１８６】
また、距離をそのまま指定する代わりに、パノラマ画像Ｇ上の被写体をマウスクリック等で指定し、その被写体に対応する距離およびオプティカルフローを内部で自動算出して、それを再合成用の優先距離として用いてもよい。
【０１８７】
この実施例７によれば、動的に好みの被写体が最も良く映るパノラマ画像Ｇ´を作成閲覧することができる。また、従来のように、ラインセンサカメラ４０２の撮影映像（スリット群）およびビデオカメラ４０１の映像フレームＦiからパノラマ画像Ｇを作成するのではなく、基本となるパノラマ画像Ｇが１つあればよいので、用いるデータ量も削減することができる。
【０１８８】
この結果、たとえば、ロードサイドの基本パノラマ画像を１つ作成しておき、遠くの山々をはっきりみたいときは山々をより良く映したパノラマ画像を合成し、近くの駐車車両をはっきりみたいときは駐車車両をより良く映したパノラマ画像を合成するなど、フレキシブルに閲覧利用することができる。
【０１８９】
このように、この発明の実施の形態（実施例１〜７を含む）によれば、映像の各画像内領域の画素移動量であるオプティカルフローを算出し、各種方法でパノラマ画像を作成し、パノラマ画像の各画素位置とオプティカルフローを対応づけたフローマップを作成することにより、パノラマ画像の効果的な閲覧及び利用の省力化を実現することができる。
【０１９０】
また、オプティカルフローの値からカメラとの距離を推定算出する際に、パノラマ画像と外界との相対速度として画面内の大域オプティカルフローの値を用いることもできる。また、推定算出した被写体距離群に対し、推定算出に用いたオプティカルフローの値のフローマップ内位置により、パノラマ画像に対する距離マップを作成することもできる。
【０１９１】
また、パノラマ画像に対するフローマップの各オプティカルフローの値からパノラマ画像の各被写体とカメラの距離を推測算出し、パノラマ画像内の距離パターンと登録しておいた距離パターンとを比較して、交差点や空き地、特殊な形状の建物、駐車車両等の地物及び地物の種類とカメラとの相対位置を検知し、パノラマ画像閲覧の省力化を図ることもできる。
【０１９２】
また、パノラマ画像の各部に映る被写体が何であるか特定済みの場合に、パノラマ画像に対するフローマップと各オプティカルフローの値からその被写体に関係するカメラの距離群を推測算出して距離パターンを得ることもできる。
【０１９３】
また、検知した地物を、パノラマ画面上で顕示表示することもできる。さらに、パノラマ画像のうち地物が映っていると検知した部分を、パノラマ画像の要約として優先的に選択閲覧できることもできる。
【０１９４】
また、検知した地物に対し、パノラマ画面内の位置を使ってパノラマ画像に対する地物マップを作成することもできる。さらに、パノラマ画像作成に用いたカメラの各位置および方向データをＧＰＳや車速センサ等各種方法による測定値および固定値として入力し、そのカメラに関連するパノラマ画像内位置と位置および方向データを対応づけた位置情報マップとして保持し、パノラマ画像の閲覧に利用することもできる。
【０１９５】
また、パノラマ画像作成に用いたカメラの各位置及び方向データ、カメラパラメータをＧＰＳや車速センサ等各種方法による測定値および固定値として入力し、パノラマ画像の各カメラ位置およびその補間位置から該当方向を見た場合の撮像空間を推定することで、撮像空間内および撮像空間周辺に存在する地物群を一般の地図データ等から推定取得し、パノラマ画像内位置と推定地物群を対応づけた地物情報マップとして保持し、パノラマ画像の閲覧に利用することもできる。
【０１９６】
また、複数のパノラマ画像とそれぞれに対するフローマップ、位置および閲覧方向の位置情報マップを用いて、各パノラマ画像で同じ位置を撮影している部分を推定し、その部分の被写体とカメラの距離をフローマップより其々推測算出し、パノラマ画像どうしで距離パターンを比較して差が大きな部分か判定することで、差が大きい部分をロードサイド変化の発生箇所と看做して、パノラマ画像閲覧の省力化を実現することができる。
【０１９７】
また、同じ位置を撮影している部分を推定方法に関し、ＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）マッチングによって、２つのパノラマ画像を構成するスリットの対応関係を導出することによって、同じ位置を撮影している部分を推定することもできる。
【０１９８】
また、差の大きな部分か判定すると同時に、登録しておいた地物の変化および分布パターンと比較して地物を推定し、推定の可否および推定で特定した地物の種類によって変化発生と看做すか否かを取捨選択し、ロードサイド変化の発生箇所かどうかを判定することで、パノラマ画像閲覧の省力化を実現することもできる。
【０１９９】
また、ロードサイド変化の発生箇所として検知した部分を、パノラマ画面上で表示することもできる。さらに、パノラマ画像のうちロードサイド変化の発生箇所として検知した部分を、パノラマ画像の要約として優先的に選択閲覧できることもできる。
【０２００】
また、距離パターンの代わりにオプティカルフローの分布パターンを用いることもできる。さらに、パノラマ画像上の被写体またはその一部を指定すると、対応するフローマップからカメラとの距離を算出して、オプティカルフローおよび被写体距離を表示することもできる。
【０２０１】
また、パノラマ画像作成に用いたカメラの各位置データおよび方向をＧＰＳや車速センサ等各種方法による測定値及び固定値として入力し、パノラマ画像上の被写体または一部を指定することにより、対応するフローマップからカメラとの距離を算出して、カメラ位置からカメラ方向に算出距離だけ離れた位置を計算し、その位置の値および該当位置に関する情報、該当位置に関する地図及び地図上の位置等を表示することもできる。
【０２０２】
また、パノラマ画像に対するフローマップの各オプティカルフローの値またはオプティカルフローの値から算出推定した各被写体とカメラの距離を用いて、オプティカルフローの値又は距離を奥行き情報としたパノラマ画像に対応する３次元パノラマ形状を作成することもできる。さらに、作成した３次元パノラマ形状にパノラマ画像をテクスチャとして貼り付けることで、パノラマ画像を立体的に閲覧することもできる。
【０２０３】
また、パノラマ画像に対するフローマップの各オプティカルフローの値の大小を濃淡とした、濃淡パノラマ画像を作成することもできる。さらに、パノラマ画像の各部の位置情報およびカメラ方向が既知の場合に、地図上でパノラマ画像のカメラ方向が常に同じ方向を向くよう、パノラマ画像の閲覧にあわせて地図を回転制御することもできる。さらに、パノラマ画像の閲覧にあわせて地図を回転制御する際に、地図上の文字は回転させないようにすることもできる。
【０２０４】
また、パノラマ画像内で優先的に綺麗な映り具合とする被写体の条件をカメラとの距離を使って指定しておく。そして、パノラマ画像作成用の各映像フレームの大域および局所オプティカルフローを算出して被写体距離を推定し、被写体距離が優先条件に合致している画素部分を各画像内で動的に探索して、パノラマ切り出し部分の特定及び切り出し画像の貼り付けの基準とする。これにより、指定した距離条件に合致した被写体を優先的に最もよく映るパノラマ画像を作成することもできる。
【０２０５】
また、パノラマ画像に対するフローマップを作成すると同時に、切り出し画像を繋いだ位置を記録しておく。そして、パノラマ画像を閲覧する際に、パノラマ画像内で優先的に綺麗な映り具合とする被写体の探索条件を画面上の被写体指示または数値によりカメラとの距離またはオプティカルフローの値で指定する。そして、フローマップより推定した距離またはフローマップのオプティカルフローの値を用いてパノラマ画像内に該当優先部分を探索して、該当優先部分が属する切り出し画像内で繰り返しパターンとして映っているか間伸びしているかを判定する。
【０２０６】
そして、繰り返しパターン場合は繰り返しの１サイクルのみ切り出すよう横幅および位置を調整して新たな切り出し画像を切り出し、間伸びの場合は所属切り出し画像内のオプティカルフローの最大値または距離最小値と該当優先部分の値との比または逆数の比を求めてその比で切り出し画像全体の幅を圧縮して新たな切り出し画像とする。これにより、切出し画像を再度繋ぎあわせてパノラマ画像を再合成することができる。
【０２０７】
このように、従来は単純に閲覧していた長大なパノラマ画像について、大域オプティカルフローおよび局所オプティカルフローとそれから推定したカメラとの相対距離、各種方法で入力した位置情報及びフローなどで補正した位置データを、パノラマ画像の各被写体及び部分単位で求めて、パノラマ画像に対する各情報（被写体距離、フローマップなど）として利用することができる。
【０２０８】
したがって、パノラマ画像内にどんな被写体が映っているかを推定したり、複数パノラマ画像の違う箇所を検知したり、パノラマ画像に対応した３次元形状データを作成することができる。したがって、ロードサイド解析の省力化を図ることができる。
【０２０９】
すなわち、パノラマ画像の解析したい領域を自動的に推定したり、見やすく加工することで、閲覧にかかる労力の大幅削減を実現する。また、指定距離の被写体を最もよい映り具合とするようなパノラマ画像を、映像または既存パノラマ画像から動的に作成または再合成することができる。
【０２１０】
これにより、パノラマ画像作成自体のコスト及び必要データの減少とともに、随時任意の被写体の映りを制御できるため、映像の代換として十分通用するデータ圧縮および要約方法として、パノラマ画像を利用することができる。さらに、パノラマ画像自体の解析だけでなく、フローマップをＧＰＳや車速センサなどの位置情報の補正手段として用いることもできる。
【０２１１】
以上のことから、本発明によれば、ロードサイド解析の省力化を図ることにより、作業者の閲覧負担軽減および地図メンテナンス作業の効率化を実現することができるという効果を奏する。
【０２１２】
なお、本実施の形態で説明した画像解析方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
【０２１３】
（付記１）パノラマ画像の解析を実行させる画像解析プログラムであって、
前記パノラマ画像の作成元となる一連の映像フレーム内の任意の映像フレームから、前記パノラマ画像の一部を構成する部分パノラマ画像を抽出させる抽出工程と、
前記任意の映像フレームに関するオプティカルフローを算出させるオプティカルフロー算出工程と、
前記抽出工程によって抽出された部分パノラマ画像の各画素に、前記オプティカルフロー算出工程によって算出されたオプティカルフローの値を関連付けさせる関連付け工程と、
前記関連付け工程によって前記部分パノラマ画像の各画素に関連付けられたオプティカルフローの値に基づいて、前記部分パノラマ画像内の被写体までの距離を算出させる距離算出工程と、
をコンピュータに実行させることを特徴とする画像解析プログラム。
【０２１４】
（付記２）前記オプティカルフロー算出工程は、前記任意の映像フレームに関する大域オプティカルフローを算出させることを特徴とする付記１に記載の画像解析プログラム。
【０２１５】
（付記３）前記距離算出工程によって算出された距離に関する前記パノラマ画像の距離パターンに基づいて、前記被写体が何であるかを判定させる距離パターン判定工程をコンピュータに実行させることを特徴とする付記１または２に記載の画像解析プログラム。
【０２１６】
（付記４）前記一連の映像フレームを取得するカメラを有する移動体の移動経路を入力させる経路入力工程と、
前記距離パターン判定工程によって判定された判定結果に基づいて、前記経路入力工程によって入力された移動経路を補正させる経路補正工程と、
をコンピュータに実行させることを特徴とする付記３に記載の画像解析プログラム。
【０２１７】
（付記５）前記パノラマ画像と前記オプティカルフローの値とに基づいて、前記被写体の３次元形状データを作成させる３次元形状データ作成工程をコンピュータに実行させることを特徴とする付記１〜４のいずれか一つに記載の画像解析プログラム。
【０２１８】
（付記６）前記パノラマ画像に対応する地図データを、前記パノラマ画像の視線方向に回転させる回転制御工程をコンピュータに実行させることを特徴とする付記１〜５のいずれか一つに記載の画像解析プログラム。
【０２１９】
（付記７）前記回転制御工程は、
前記地図データ上の文字列データを回転させないことを特徴とする付記６に記載の画像解析プログラム。
【０２２０】
（付記８）前記オプティカルフローの値と、前記パノラマ画像と同一経路および同一撮像方向により得られた他のパノラマ画像に関するオプティカルフローの値と、を比較させる比較工程と、
前記比較工程によって比較された比較結果に基づいて、前記パノラマ画像と前記他のパノラマ画像との変更箇所に関する情報を表示させる表示工程と、
をコンピュータに実行させることを特徴とする付記１〜７のいずれか一つに記載の画像解析プログラム。
【０２２１】
（付記９）前記比較工程は、ＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）マッチングを用いて比較させることを特徴とする付記８に記載の画像解析プログラム。
【０２２２】
（付記１０）距離に関する優先条件の指定を受け付けさせる優先条件指定工程と、
前記距離算出工程によって算出された距離が、前記優先条件指定工程によって指定された優先条件に合致するか否かを判定させる優先条件判定工程と、
前記優先条件判定工程によって判定された判定結果に基づいて、前記パノラマ画像を表示させる表示工程と、
をコンピュータに実行させることを特徴とする付記１〜９のいずれか一つに記載の画像解析プログラム。
【０２２３】
（付記１１）付記１〜付記１０のいずれか一つに記載の画像解析プログラムを記録したコンピュータに読み取り可能な記録媒体。
【０２２４】
（付記１２）パノラマ画像の解析を実行する画像解析装置であって、
前記パノラマ画像の作成元となる一連の映像フレーム内の任意の映像フレームから、前記パノラマ画像の一部を構成する部分パノラマ画像を抽出する抽出手段と、
前記任意の映像フレームに関するオプティカルフローを算出するオプティカルフロー算出手段と、
前記抽出手段によって抽出された部分パノラマ画像の各画素に、前記オプティカルフロー算出手段によって算出されたオプティカルフローの値を関連付ける関連付け手段と、
前記関連付け手段によって前記部分パノラマ画像の各画素に関連付けられたオプティカルフローの値に基づいて、前記部分パノラマ画像内の被写体までの距離を算出する距離算出手段と、
を備えることを特徴とする画像解析装置。
【０２２５】
（付記１３）パノラマ画像の解析を実行する画像解析方法であって、
前記パノラマ画像の作成元となる一連の映像フレーム内の任意の映像フレームから、前記パノラマ画像の一部を構成する部分パノラマ画像を抽出する抽出工程と、
前記任意の映像フレームに関するオプティカルフローを算出するオプティカルフロー算出工程と、
前記抽出工程によって抽出された部分パノラマ画像の各画素に、前記オプティカルフロー算出工程によって算出されたオプティカルフローの値を関連付ける関連付け工程と、
前記関連付け工程によって前記部分パノラマ画像の各画素に関連付けられたオプティカルフローの値に基づいて、前記部分パノラマ画像内の被写体までの距離を算出する距離算出工程と、
を含んだことを特徴とする画像解析方法。
【産業上の利用可能性】
【０２２６】
以上のように、本発明にかかる画像解析装置、画像解析方法、および画像解析プログラムは、地図メンテナンスや駐車車両検知、都市計画立案等のためのロードサイド解析だけに限定するものでなく、各種ナビゲーションシステムの現在位置および周辺地域の確認表示、行政による災害地閲覧サービスや思い出ビデオ、マンション販売業における物件周辺閲覧、パノラマ画像を使った地域情報掲示板サービス等の周辺状況確認表示及び閲覧補助として利用することができる。また、位置情報補正方法として、移動体の位置補正用センサに用いてもよい。
【図面の簡単な説明】
【０２２７】
【図１】この発明の実施の形態にかかる画像解析装置のハードウェア構成を示すブロック図である。
【図２】この発明の実施の形態にかかる画像解析装置の機能的構成を示すブロック図である。
【図３】映像フレームとパノラマ画像との関係を示す説明図である。
【図４】ラインセンサカメラとビデオカメラとの映像の対応関係を示す説明図である。
【図５】オプティカルフロー算出部によるオプティカルフローの算出例を示す説明図である。
【図６】関連付け部によって作成されるフローマップの一例を示す説明図である。
【図７】距離算出部による被写体距離の算出例を示す説明図である。
【図８】この発明の実施の形態にかかる画像解析装置の画像解析処理手順を示すフローチャートである。
【図９】実施例１にかかる画像解析装置の機能的構成を示すブロック図である。
【図１０】実施例１にかかる距離パターンの一例を示す説明図である。
【図１１】実施例１にかかる被写体の高さ推定例を示す説明図である。
【図１２】実施例２にかかる画像解析装置の機能的構成を示すブロック図である。
【図１３】実施例２にかかるパノラマ画像に位置データを対応づけした結果を利用するシステムを示す概略図である。
【図１４】実施例３にかかる画像解析装置の機能的構成を示すブロック図である。
【図１５】実施例３にかかる３次元形状データの一例を示す説明図である。
【図１６】実施例３にかかる３次元形状データの他の例を示す説明図（その１）である。
【図１７】実施例３にかかる３次元形状データの他の例を示す説明図（その２）である。
【図１８】実施例３にかかる３次元形状データの他の例を示す説明図（その３）である。
【図１９】実施例４にかかる画像解析装置の機能的構成を示すブロック図である。
【図２０】実施例４にかかる地図表示動的制御を示す説明図である。
【図２１】実施例５にかかる画像解析装置の機能的構成を示すブロック図である。
【図２２】実施例６にかかる画像解析装置の機能的構成を示すブロック図である。
【図２３】従来のパノラマ画像の一例を示す説明図である。
【図２４】実施例６のパノラマ画像を示す説明図である。
【図２５】実施例７にかかる画像解析装置の機能的構成を示すブロック図である。
【図２６】実施例７にかかる被写体の映り具合を示す説明図（その１）である。
【図２７】実施例７にかかる被写体の映り具合を示す説明図（その２）である。
【符号の説明】
【０２２８】
１１４  カメラ
２００，９００，１２００，１４００，１９００，２１００，２２００，２５００  画像解析装置
２０１  取得部
２０２  抽出部
２０３  オプティカルフロー算出部
２０４  関連付け部
２０５  距離算出部
４０１  ビデオカメラ
４０２  ラインセンサカメラ
９０１  距離パターン判定部
９０２  結果表示部
１２０１  経路入力部
１２０２  経路補正部
１４０１  ３次元形状データ作成部
１９０１  地図表示動的制御部
２１０１  比較判定部
２２０１  優先条件指定部
２２０２  優先条件判定部
２２０３  パノラマ画像作成部
２５０１  パノラマ画像作成部
２５０２  優先条件指定部
２５０３  パノラマ画像再合成部
【図１】
0004740723.tif 000002
【図２】
0004740723.tif 000003
【図３】
0004740723.tif 000004
【図４】
0004740723.tif 000005
【図５】
0004740723.tif 000006
【図６】
0004740723.tif 000007
【図７】
0004740723.tif 000008
【図８】
0004740723.tif 000009
【図９】
0004740723.tif 000010
【図１０】
0004740723.tif 000011
【図１１】
0004740723.tif 000012
【図１２】
0004740723.tif 000013
【図１３】
0004740723.tif 000014
【図１４】
0004740723.tif 000015
【図１５】
0004740723.tif 000016
【図１６】
0004740723.tif 000017
【図１７】
0004740723.tif 000018
【図１８】
0004740723.tif 000019
【図１９】
0004740723.tif 000020
【図２０】
0004740723.tif 000021
【図２１】
0004740723.tif 000022
【図２２】
0004740723.tif 000023
【図２３】
0004740723.tif 000024
【図２４】
0004740723.tif 000025
【図２５】
0004740723.tif 000026
【図２６】
0004740723.tif 000027
【図２７】
0004740723.tif 000028