(57)【要約】  撮影された画像により、記録媒体に２次元パノラマ画像を記録する。そして、３次元画像の表示要求を受け付けた場合、解析対象画像抽出部（２０１）により、２次元パノラマ画像の中から解析対象画像を抽出し、オプティカルフロー算出部（２０２）により、解析対象画像に関するオプティカルフローを算出し、距離算出部（２０３）により、オプティカルフローを用いて被写体までの距離を算出する。つぎに、画像特徴量生成部（２０４）により、距離に基づいて解析対象画像における画像特徴量を生成し、変換部（２０５）により、画像特徴量に基づいて解析対象画像の領域分割処理をおこない、補正部（２０７）により、領域分割処理がおこなわれた解析対象画像について画像特徴量補正処理をおこない、表示制御部（２０６）の制御にしたがい、表示部（２１０）により解析対象画像に関する３次元画像を表示することを特徴とする。
2007108090.tif 000002
【特許請求の範囲】
【請求項１】
移動体から撮影された画像により作成された２次元パノラマ画像の中から、解析対象となる一部の２次元画像（以下、「解析対象画像」という）を抽出させる抽出工程と、
前記抽出工程によって抽出された解析対象画像に関するオプティカルフローを算出させるオプティカルフロー算出工程と、
前記オプティカルフロー算出工程によって算出されたオプティカルフローを用いて、前記２次元パノラマ画像中における被写体までの距離を算出させる距離算出工程と、
前記距離算出工程によって算出された距離に基づいて、前記解析対象画像における画像特徴量を生成させる生成工程と、
前記生成工程によって生成された前記解析対象画像における画像特徴量の中から選ばれた注目ブロック領域における画像特徴量と、前記注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量との差に基づいて、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換させる変換工程と、
前記変換工程によって変換された前記解析対象画像における変換後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を表示画面に表示させる表示制御工程と、
をコンピュータに実行させることを特徴とする画像解析プログラム。
【請求項２】
前記変換工程は、
前記注目ブロック領域における画像特徴量と、前記周辺ブロック領域における画像特徴量との差が所定の変換に関するしきい値以下である場合、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換させることを特徴とする請求項１に記載の画像解析プログラム。
【請求項３】
前記解析対象画像における変換後の画像特徴量の中から選ばれた注目ブロック領域（以下、「変換後注目ブロック領域」という）における画像特徴量と、前記変換後注目ブロック領域近傍に存在する周辺ブロック領域（以下、「変換後周辺ブロック領域」という）における画像特徴量との差に基づいて、当該変換後注目ブロック領域の画像特徴量を補正させる補正工程をさらにコンピュータに実行させ、
前記表示制御工程は、
前記補正工程によって補正された前記解析対象画像における補正後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を前記表示画面に表示させることを特徴とする請求項１または２に記載の画像解析プログラム。
【請求項４】
前記補正工程は、
前記変換後注目ブロック領域における画像特徴量と、前記変換後周辺ブロック領域における画像特徴量との差が所定の補正に関するしきい値以上である場合、当該変換後注目ブロック領域の画像特徴量を当該変換後周辺ブロック領域における画像特徴量に補正させることを特徴とする請求項３に記載の画像解析プログラム。
【請求項５】
請求項１〜４のいずれか一つに記載の画像解析プログラムを記録したコンピュータに読み取り可能な記録媒体。
【請求項６】
移動体から撮影された画像により作成された２次元パノラマ画像の中から、解析対象となる一部の２次元画像（以下、「解析対象画像」という）を抽出する抽出手段と、
前記抽出手段によって抽出された解析対象画像に関するオプティカルフローを算出するオプティカルフロー算出手段と、
前記オプティカルフロー算出手段によって算出されたオプティカルフローを用いて、前記２次元パノラマ画像中における被写体までの距離を算出する距離算出手段と、
前記距離算出手段によって算出された距離に基づいて、前記解析対象画像における画像特徴量を生成する生成手段と、
前記生成手段によって生成された前記解析対象画像における画像特徴量の中から選ばれた注目ブロック領域における画像特徴量と、前記注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量との差に基づいて、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換する変換手段と、
前記変換手段によって変換された前記解析対象画像における変換後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を表示画面に表示する表示制御手段と、
を備えることを特徴とする画像解析装置。
【請求項７】
前記変換手段は、
前記注目ブロック領域における画像特徴量と、前記周辺ブロック領域における画像特徴量との差が所定の変換に関するしきい値以下である場合、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換することを特徴とする請求項６に記載の画像解析装置。
【請求項８】
前記解析対象画像における変換後の画像特徴量の中から選ばれた注目ブロック領域（以下、「変換後注目ブロック領域」という）における画像特徴量と、前記変換後注目ブロック領域近傍に存在する周辺ブロック領域（以下、「変換後周辺ブロック領域」という）における画像特徴量との差に基づいて、当該変換後注目ブロック領域の画像特徴量を補正する補正手段をさらに備え、
前記表示制御手段は、
前記補正手段によって補正された前記解析対象画像における補正後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を前記表示画面に表示することを特徴とする請求項６または７に記載の画像解析装置。
【請求項９】
前記補正手段は、
前記変換後注目ブロック領域における画像特徴量と、前記変換後周辺ブロック領域における画像特徴量との差が所定の補正に関するしきい値以上である場合、当該変換後注目ブロック領域の画像特徴量を当該変換後周辺ブロック領域における画像特徴量に補正することを特徴とする請求項８に記載の画像解析装置。
【請求項１０】
移動体から撮影された画像により作成された２次元パノラマ画像の中から、解析対象となる一部の２次元画像（以下、「解析対象画像」という）を抽出する抽出工程と、
前記抽出工程によって抽出された解析対象画像に関するオプティカルフローを算出するオプティカルフロー算出工程と、
前記オプティカルフロー算出工程によって算出されたオプティカルフローを用いて、前記２次元パノラマ画像中における被写体までの距離を算出する距離算出工程と、
前記距離算出工程によって算出された距離に基づいて、前記解析対象画像における画像特徴量を生成する生成工程と、
前記生成工程によって生成された前記解析対象画像における画像特徴量の中から選ばれた注目ブロック領域における画像特徴量と、前記注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量との差に基づいて、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換する変換工程と、
前記変換手段によって変換された前記解析対象画像における変換後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を表示画面に表示する表示制御工程と、
を含むことを特徴とする画像解析方法。
【請求項１１】
前記変換工程は、
前記注目ブロック領域における画像特徴量と、前記周辺ブロック領域における画像特徴量との差が所定の変換に関するしきい値以下である場合、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換することを特徴とする請求項１０に記載の画像解析方法。
【請求項１２】
前記解析対象画像における変換後の画像特徴量の中から選ばれた注目ブロック領域（以下、「変換後注目ブロック領域」という）における画像特徴量と、前記変換後注目ブロック領域近傍に存在する周辺ブロック領域（以下、「変換後周辺ブロック領域」という）における画像特徴量との差に基づいて、当該変換後注目ブロック領域の画像特徴量を補正する補正工程をさらに含み、
前記表示制御工程は、
前記補正工程によって補正された前記解析対象画像における補正後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を前記表示画面に表示することを特徴とする請求項１０または１１に記載の画像解析方法。
【請求項１３】
前記補正工程は、
前記変換後注目ブロック領域における画像特徴量と、前記変換後周辺ブロック領域における画像特徴量との差が所定の補正に関するしきい値以上である場合、当該変換後注目ブロック領域の画像特徴量を当該変換後周辺ブロック領域における画像特徴量に補正することを特徴とする請求項１２に記載の画像解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、移動体から撮影された画像を解析して、移動体の周辺環境を立体的な３次元画像として表示する画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法に関する。
【背景技術】
【０００２】
従来より、車両などの移動体周辺に存在する障害物を利用者に報知するために、移動体に搭載されたカメラによって移動体周辺の画像を撮影し、移動体に搭載されたモニタによって撮像された移動体周辺の画像を表示している。特に車両などの駐車時における車両周辺環境の理解補助のため、車両に搭載された車載カメラによって撮影された車両後方の画像を表示できるバックモニタが商品化されている。【０００３】
近年では、複数のカメラによって車両周辺を撮影し、撮影された画像について画像処理を施すことによって、車両の周辺環境を俯瞰図にして車載モニタに表示する提案がされている（たとえば、下記特許文献１参照。）。【０００４】
また、車載カメラによって撮影された複数の画像の中から、立体物におけるエッジなどの特徴点を抽出して、抽出された特徴点と車両の移動情報とに基づいて、車両から立体物までの距離を算出する。そして、算出された距離を用いて車両の周辺に存在する立体物の３次元画像をモニタなどの表示部に表示する提案がされている（たとえば、下記特許文献２，３参照。）。【０００５】
【特許文献１】特開２００１−１１４０４８号公報
【特許文献２】特開２００１−１８７５５３号公報
【特許文献３】特開２００４−２９７８０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１では、撮影された画像を２次元に投影して生成された俯瞰図を表示部に表示するため、車両周辺に存在する立体物がひずんで表示される場合がある。したがって、利用者は、表示部の表示を確認しても車両と立体物の位置関係が正確に把握できないという問題がある。【０００７】
また、上述した特許文献２，３では、立体物のエッジなどの特徴点の抽出により算出された車両から立体物までの距離を用いて、車両周辺の３次元画像を生成するため、特徴点が適切に抽出できない場合は、正確な３次元画像を生成することができない。したがって、利用者は、誤った３次元画像によって車両周辺環境を認識することとなり、車両周辺環境を理解するためには、３次元画像を利用せずに目視しなければならないという問題がある。【０００８】
具体的には、表面がなめらかでエッジの少ない立体物の特徴点を抽出することは困難である。したがって、車両周辺に表面のなめらかな立体物があっても、３次元画像中には反映されない場合、３次元画像を確認することによって利用者は、車両周辺に存在する立体物を存在しないこととして認識してしまう。【０００９】
さらに、表面にエッジの出現が多数認められる立体物の特徴点について過剰に抽出してしまう場合がある。したがって、車両周辺にエッジを多数有する立体物によって、３次元画像中に多数の立体物を表示してしまう場合、３次元画像を確認することによって利用者は、車両周辺に存在しない立体物についても存在することとして認識してしまう。【００１０】
一方、適切に特徴点を抽出して正確な３次元画像を生成する場合、高性能なカメラによる撮影や高精度な画像処理が必要となるため、装置の高コスト化および処理の複雑化によって実現が困難であるという問題がある。くわえて、上述した従来技術では、カメラから撮影された画像全体を処理する必要があるため、多大な演算処理の負荷を強いるという問題がある。【００１１】
この発明は、上述した従来技術による問題点を解消するため、利用者による移動体の周辺環境に対する誤認識をなくし、移動体の周辺環境についての適切な理解補助を図ることができる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するため、この発明にかかる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法は、移動体から撮影された画像により作成された２次元パノラマ画像の中から、解析対象となる一部の２次元画像（以下、「解析対象画像」という）を抽出し、抽出された解析対象画像に関するオプティカルフローを算出し、算出されたオプティカルフローを用いて、前記２次元パノラマ画像中における被写体までの距離を算出し、算出された距離に基づいて、前記解析対象画像における画像特徴量を生成し、生成された前記解析対象画像における画像特徴量の中から選ばれた注目ブロック領域における画像特徴量と、前記注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量との差に基づいて、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換し、変換された前記解析対象画像における変換後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を表示画面に表示することを特徴とする。【００１３】
この発明によれば、解析対象画像における画像特徴量を用いて、３次元画像を表示するため、移動体周辺に特徴点が適切に抽出できない立体物が存在しても、利用者は、３次元画像を確認することにより移動体周辺環境を的確に把握することができる。【００１４】
また、上記発明において、前記注目ブロック領域における画像特徴量と、前記周辺ブロック領域における画像特徴量との差が所定の変換に関するしきい値以下である場合、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換することとしてもよい。【００１５】
この発明によれば、オプティカルフローの算出誤差などによる画像特徴量の差が生じないよう画像特徴量を変換して３次元画像を表示することができる。【００１６】
また、上記発明において、さらに、前記解析対象画像における変換後の画像特徴量の中から選ばれた注目ブロック領域（以下、「変換後注目ブロック領域」という）における画像特徴量と、前記変換後注目ブロック領域近傍に存在する周辺ブロック領域（以下、「変換後周辺ブロック領域」という）における画像特徴量との差に基づいて、当該変換後注目ブロック領域の画像特徴量を補正し、補正された前記解析対象画像における補正後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を前記表示画面に表示することとしてもよい。【００１７】
この発明によれば、変換後の解析対象画像における画像特徴量を補正して３次元画像を表示するため、利用者は、正確に移動体周辺環境を把握することができる。【００１８】
また、上記発明において、前記変換後注目ブロック領域における画像特徴量と、前記変換後周辺ブロック領域における画像特徴量との差が所定の補正に関するしきい値以上である場合、当該変換後注目ブロック領域の画像特徴量を当該変換後周辺ブロック領域における画像特徴量に補正することとしてもよい。【００１９】
この発明によれば、オプティカルフローの誤った算出などによる画像特徴量を補正して３次元画像を表示することができる。
【発明の効果】
【００２０】
本発明にかかる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法によれば、利用者に移動体の周辺環境を正確に認識させ、移動体の周辺環境についての適切な理解補助を図ることができるという効果を奏する。
【図面の簡単な説明】
【００２１】
【図１】図１は、この発明の実施の形態にかかる画像解析装置のハードウェア構成を示すブロック図である。
【図２】図２は、この発明の実施の形態にかかる画像解析装置の機能的構成を示すブロック図である。
【図３】図３は、この発明の実施の形態にかかるカメラの設置の概要を示す説明図である。
【図４−１】図４−１は、この発明の実施の形態にかかる２次元パノラマ画像の一例を示す説明図である。
【図４−２】図４−２は、この発明の実施の形態にかかる（ｎ）フレームのフレーム画像におけるスリット画像と、２次元パノラマ画像との関係について示す説明図である。
【図４−３】図４−３は、この発明の実施の形態にかかる（ｎ−１）フレームおよび（ｎ）フレームのフレーム画像を示す説明図である。
【図５】図５は、この発明の実施の形態にかかる（ｎ）フレームのフレーム画像の鉛直線上における垂直８画素単位の分割を示す説明図である。
【図６】図６は、この発明の実施の形態にかかるオプティカルフローの算出の一例を示す説明図である。
【図７】図７は、この発明の実施の形態にかかる被写体までの距離の算出について示す説明図である。
【図８】図８は、この発明の実施の形態にかかる画像特徴量について示す説明図である。
【図９】図９は、この発明の実施の形態にかかる領域分割処理の一例を示す説明図である。
【図１０】図１０は、この発明の実施の形態にかかる３次元画像の表示画面を示す説明図である。
【図１１】図１１は、この発明の実施の形態にかかる画像解析装置の画像解析処理の内容を示すフローチャートである。
【図１２】図１２は、この発明の実施の形態にかかる画像解析装置における領域分割処理（図１１のステップＳ１１０８）の内容を示すフローチャートである。
【図１３】図１３は、この発明の実施の形態にかかる画像解析装置における画像特徴量補正処理（図１１のステップＳ１１０９）の内容を示すフローチャートである。
【符号の説明】
【００２２】
１００  バス
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  ＨＤＤ
１０５  ＨＤ
１０６  ＦＤＤ
１０７  ＦＤ
１０８  ディスプレイ
１０９  通信Ｉ／Ｆ
１１０  キーボード
１１１  マウス
１１２  スキャナ
１１３  プリンタ
１１４  映像Ｉ／Ｆ
１１５  カメラ
１１６  ネットワーク
２００  画像解析装置
２０１  解析対象画像抽出部
２０２  オプティカルフロー算出部
２０３  距離算出部
２０４  画像特徴量生成部
２０５  変換部
２０６  表示制御部
２０７  補正部
２１０  表示部
【発明を実施するための最良の形態】
【００２３】
以下に添付図面を参照して、この発明にかかる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法の好適な実施の形態を詳細に説明する。【００２４】
（実施の形態）
（画像解析装置のハードウェア構成）
まず、図１を用いて、この発明の実施の形態にかかる画像解析装置のハードウェア構成について説明する。図１は、この発明の実施の形態にかかる画像解析装置のハードウェア構成を示すブロック図である。【００２５】
図１において、画像解析装置は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、ＨＤ（ハードディスク）１０５と、ＦＤＤ（フレキシブルディスクドライブ）１０６と、着脱可能な記録媒体の一例としてのＦＤ（フレキシブルディスク）１０７と、ディスプレイ１０８と、通信Ｉ／Ｆ（インターフェース）１０９と、キーボード１１０と、マウス１１１と、スキャナ１１２と、プリンタ１１３と、映像Ｉ／Ｆ１１４と、カメラ１１５と、を備えている。また、各構成部はバス１００によってそれぞれ接続されている。【００２６】
ここで、ＣＰＵ１０１は、画像解析装置の全体の制御を司る。ＲＯＭ１０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＨＤＤ１０４は、ＣＰＵ１０１の制御にしたがってＨＤ１０５に対するデータのリード／ライトを制御する。ＨＤ１０５は、ＨＤＤ１０４の制御で書き込まれたデータを記憶する。【００２７】
ＦＤＤ１０６は、ＣＰＵ１０１の制御にしたがってＦＤ１０７に対するデータのリード／ライトを制御する。ＦＤ１０７は、ＦＤＤ１０６の制御で書き込まれたデータを記憶したり、ＦＤ１０７に記憶されたデータを画像解析装置に読み取らせたりする。【００２８】
また、着脱可能な記録媒体として、ＦＤ１０７のほか、ＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−ＲＷ）、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、メモリカードなどであってもよい。ディスプレイ１０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ１０８は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。【００２９】
通信Ｉ／Ｆ１０９は、通信回線を通じてインターネットなどのネットワーク１１６に接続され、このネットワーク１１６を介して他の装置に接続される。そして、通信Ｉ／Ｆ１０９は、ネットワーク１１６と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。通信Ｉ／Ｆ１０９には、たとえばモデムやＬＡＮアダプタなどを採用することができる。【００３０】
キーボード１１０は、文字、数字、各種指示などの入力のためのキーを備え、押下されたキーに対応するデータを装置内部へ入力する。また、タッチパネル式の入力パッドやテンキーなどであってもよい。また、マウス１１１を操作することで、マウス１１１の本体下部の移動を検出するセンサによる出力および本体上部の各ボタンのＯＮ／ＯＦＦを随時装置内部へ入力して、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなってもよい。なお、ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。【００３１】
スキャナ１１２は、画像を光学的に読み取り、画像解析装置内に画像データを取り込む。なお、スキャナ１１２は、ＯＣＲ機能を持たせてもよい。また、プリンタ１１３は、画像データや文書データを印刷する。プリンタ１１３には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。【００３２】
また、映像Ｉ／Ｆ１１４は、カメラ１１５と接続される。映像Ｉ／Ｆ１１４は、カメラ１１５全体の制御をおこなう制御ＩＣと、カメラ１１５によって撮影されたフレーム画像を一時的に記録するＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）などのバッファメモリなどによって構成される。また、バッファメモリは、複数のフレームバッファを有する構成でもよく、たとえば、２つのフレームバッファにより、カメラ１１５によって撮影されるフレーム画像を交互に格納することとしてもよい。そして、カメラ１１５によって撮影されたフレーム画像について、画像解析装置の各構成への入出力を制御する構成でもよい。【００３３】
カメラ１１５は、被写体を撮影して連続する一連のフレーム画像として取り込む。カメラ１１５が車両などの移動体に搭載されている場合、被写体として道路わきの建物や地面などの地表物や、移動体から臨む道路わきからの建物や地面などの地表物やその他立体物などを撮影することができる。【００３４】
また、カメラ１１５は、モノクロやカラーのどちらでもよく、ビデオカメラなどによって構成され、Ｃ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）あるいはＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの光電変換素子を有している。【００３５】
また、カメラ１１５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＩＥＥＥ１３９４（Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃ  Ｅｎｇｉｎｅｅｒｓ  １３９４）などによって映像Ｉ／Ｆ１１４と接続されており、撮影したフレーム画像を、映像Ｉ／Ｆ１１４を介して逐次画像解析装置へ出力する構成としてもよい。【００３６】
（画像解析装置の機能的構成）
つぎに、図２を用いて、この発明の実施の形態にかかる画像解析装置の機能的構成について説明する。図２は、この発明の実施の形態にかかる画像解析装置の機能的構成を示すブロック図である。図２において、画像解析装置２００は、解析対象画像抽出部２０１と、オプティカルフロー算出部２０２と、距離算出部２０３と、画像特徴量生成部２０４と、変換部２０５と、表示制御部２０６と、補正部２０７と、表示部２１０と、から構成されている。【００３７】
解析対象画像抽出部２０１は、移動体から撮影された画像により作成された２次元パノラマ画像の中から、解析対象となる一部の２次元画像として解析対象画像を抽出する。詳細は図４−１〜図４−３に後述するが、２次元パノラマ画像は、具体的には、図１で示したカメラ１１５によって撮影されたカメラ画像について、カメラ画像の入力単位であるフレーム画像を用いて作成される。【００３８】
より具体的には、カメラ１１５によって撮影されたカメラ画像は、フレーム画像ごとに図１で示した映像Ｉ／Ｆ１１４に入力される。連続する２枚のフレーム画像は、映像Ｉ／Ｆ１１４の有するフレームバッファに一時的に順次保持される。２次元パノラマ画像は、入力された連続するフレーム画像における中心付近について、縦長に切り出されたスリット画像を横方向に繋げることにより作成できる。なお、カメラ１１５の設置の概要については、図３に後述する。【００３９】
オプティカルフロー算出部２０２は、解析対象画像抽出部２０１によって抽出された解析対象画像に関するオプティカルフローを算出する。オプティカルフローは、連続するフレーム画像間における被写体の移動量によって算出することができる。【００４０】
詳細は図５および図６に後述するが、オプティカルフローの算出は、具体的には、２次元パノラマ画像の作成元のフレーム画像について、フレーム画像中心を通る鉛直線上における所定の画素幅ごとに算出する。【００４１】
距離算出部２０３は、オプティカルフロー算出部２０２によって算出されたオプティカルフローを用いて、２次元パノラマ画像中における被写体までの距離を算出する。詳細は図７に後述するが、距離算出は、具体的には、被写体までの距離は、オプティカルフローの大きさＯFと、移動体の速度Ｖと、カメラ１１５の焦点距離ｆと、撮影のフレームレートＦを用いて算出できる。【００４２】
画像特徴量生成部２０４は、距離算出部２０３によって算出された距離に基づいて、解析対象画像における画像特徴量を生成する。詳細は図８に後述するが、画像特徴量は、たとえば、２次元パノラマ画像中の被写体までの距離に応じた画素値を用いて生成する。【００４３】
変換部２０５は、画像特徴量生成部２０４によって生成された解析対象画像における画像特徴量の中から選ばれた注目ブロック領域における画像特徴量と、注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量との差に基づいて、注目ブロック領域の画像特徴量を周辺ブロック領域における画像特徴量に変換する。【００４４】
注目ブロック領域は、所定の範囲を有するブロック領域であり、たとえば、前述した２次元パノラマ画像を構成する各スリット画像のスリット画像幅と、オプティカルフロー算出部２０２によるオプティカルフロー算出における画素幅で囲まれた領域である。【００４５】
周辺ブロック領域は、注目ブロック領域と同じ範囲を有するブロック領域でもよく、注目ブロック領域の近傍に存在する。ここで、注目ブロック領域の近傍に存在する周辺ブロック領域は、注目ブロック領域の上下左右に隣接するブロック領域や、注目ブロック領域から所定の範囲に存在するブロック領域を含むこととしてもよい。【００４６】
具体的には、注目ブロック領域の斜め方向や、注目ブロック領域に隣接するブロック領域にさらに隣接するブロック領域などを含むこととしてもよく、注目ブロック領域の大きさによって設定できる。【００４７】
画像特徴量の変換は、具体的には、注目ブロック領域における画像特徴量と、周辺ブロック領域における画像特徴量との差が所定の変換に関するしきい値以下である場合、注目ブロック領域の画像特徴量を周辺ブロック領域における画像特徴量に変換する。【００４８】
所定の変換に関するしきい値は、あらかじめ設定できる構成でもよく、たとえば、移動体との距離が均一な被写体について、オプティカルフローの算出の誤差などに起因して、不均一な画像特徴量が生成されたブロック領域をなくすよう設定する。【００４９】
上述のように、注目ブロック領域の画像特徴量を、周辺ブロック領域の画像特徴量に変換することによって、２次元パノラマ画像を均一な画像特徴量を有する複数の領域に分割することができる。換言すれば、２次元パノラマ画像において、移動体との距離が均一な被写体について、不均一な画像特徴量とならないよう変換することができる。【００５０】
表示制御部２０６は、表示部２１０の有する表示画面を制御して、変換部２０５によって変換された解析対象画像における変換後の画像特徴量を用いて、解析対象画像に関する３次元画像を表示させる。なお、表示部２１０は、具体的には、たとえば、図１で前述したディスプレイ１０８によってその機能を実現する。【００５１】
詳細は図１０に後述するが、３次元画像は、画像特徴量の生成元となる被写体までの距離を奥行きとして、２次元パノラマ画像中の各ブロック領域をテクスチャ画像として描画される画像でもよい。３次元画像の表示によって被写体はひずんで表示されずに、利用者は、被写体までの距離を正確に把握することができる。【００５２】
さらに、画像特徴量は、前述の変換部２０５によって、移動体との距離が均一な被写体については均一に変換されているため、利用者は、容易に被写体を３次元的に把握することができる。【００５３】
また、表示制御部２０６は、表示部２１０の有する表示画面を制御して、後述する補正部２０７によって補正された解析対象画像における補正後の画像特徴量を用いて、解析対象画像に関する３次元画像を表示させる。【００５４】
補正部２０７は、解析対象画像における変換後の画像特徴量の中から選ばれた変換後注目ブロック領域における画像特徴量と、変換後注目ブロック領域近傍に存在する変換後周辺ブロック領域における画像特徴量との差に基づいて、変換後注目ブロック領域の画像特徴量を補正する。【００５５】
画像特徴量の補正は、具体的には、変換後注目ブロック領域における画像特徴量と、変換後周辺ブロック領域における画像特徴量との差が所定の補正に関するしきい値以上である場合、変換後注目ブロック領域の画像特徴量を変換後周辺ブロック領域における画像特徴量に補正する。【００５６】
所定の補正に関するしきい値は、あらかじめ設定できる構成でもよく、たとえば、移動体との距離が均一な被写体について、オプティカルフローの誤った算出などに起因して、周辺から極端に異なる画像特徴量が生成されたブロック領域をなくすよう設定する。【００５７】
このように、オプティカルフローの誤った算出などによって無限遠となった被写体までの距離について、補正部２０７の補正によって変換後周辺ブロック領域の画像特徴量に補正する。そして、この画像特徴量の生成元となる距離を奥行きにして３次元画像としているため、利用者は、的確に被写体を３次元的に把握することができる。【００５８】
なお、図２において上述した解析対象画像抽出部２０１、オプティカルフロー算出部２０２、距離算出部２０３、画像特徴量生成部２０４、変換部２０５、表示制御部２０６、補正部２０７は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に記録されたプログラムを、ＣＰＵ１０１が実行することによって、また通信Ｉ／Ｆ１０９やキーボード１１０やマウス１１１や映像Ｉ／Ｆ１１４によって、その機能を実現する。【００５９】
（カメラ１１５の設置概要）
つぎに、図３を用いて、この発明の実施の形態にかかるカメラ１１５の設置の概要について説明する。図３は、この発明の実施の形態にかかるカメラの設置の概要を示す説明図である。図３において、任意のルート３００上を走行する車両３０１には、カメラ１１５が設置されている。【００６０】
カメラ１１５は、車両３０１の側方を撮影する向きに設置されており、左右の側方どちらかを限定するものではなく、また、可動式としてもよい。なお、本実施の形態では、カメラ１１５は、車両３０１の左側方について道路わきの建物や地面などの地表物や、移動体から臨む道路わきからの建物や地面などの地表物やその他立体物などを撮影することとする。【００６１】
また、カメラ１１５は、モノクロやカラーのどちらでもよく、ビデオカメラやラインセンサカメラなどによって構成され、１秒間に数十フレームの間隔で連続的に側方画像を撮影する。なお、単位時間あたりに撮影するフレーム数が、前述のフレームレートＦとなる。【００６２】
（２次元パノラマ画像の概要）
つぎに、図４−１〜図４−３を用いて、この発明の実施の形態にかかる２次元パノラマ画像について説明する。図４−１は、この発明の実施の形態にかかる２次元パノラマ画像の一例を示す説明図である。【００６３】
図４−１において、符号Ｆ1〜ＦNはカメラ１１５により撮影された一連のフレーム画像をあらわしている。フレーム画像Ｆ1〜ＦNは、たとえば、３２０画素×２４０画素および２４ｂｉｔのカラー画像であり、それら各フレーム画像Ｆ1〜ＦNから所定幅切り出された画像が２次元パノラマ画像の一部を構成するスリット画像Ｇ1〜ＧNである。このスリット画像Ｇ1〜ＧNを順次時系列に繋げることで２次元パノラマ画像Ｇが作成される。【００６４】
ここで、図４−２を用いて、この発明の実施の形態にかかるフレーム画像Ｆ1〜ＦNにおけるスリット画像Ｇ1〜ＧNと、２次元パノラマ画像Ｇとの関係について説明する。図４−２は、この発明の実施の形態にかかる（ｎ）フレームのフレーム画像におけるスリット画像と、２次元パノラマ画像との関係について示す説明図である。【００６５】
図４−２において、（ｎ）フレームのフレーム画像Ｆnにおけるスリット画像Ｇnは、フレーム画像Ｆnの中心付近を縦長に切り出されている。２次元パノラマ画像Ｇは、図４−２で示したスリット画像Ｇnと同様にして切り出された、他のフレーム画像のスリット画像Ｇn-1、Ｇn-2、Ｇn-3・・・を横方向に繋げることによって作成される。【００６６】
つぎに、図４−３を用いて、この発明の実施の形態にかかるスリット画像の幅について説明する。図４−３は、この発明の実施の形態にかかる（ｎ−１）フレームおよび（ｎ）フレームのフレーム画像を示す説明図である。【００６７】
図４−３において、（ｎ）フレームのフレーム画像Ｆnにおけるスリット画像Ｇnのスリット画像幅Ｗs（ｎ）は、連続する直前のフレーム画像Ｆn-1中の所定のテンプレート領域４３０が、フレーム画像Ｆnと、フレーム画像Ｆn-1の間に移動した移動量となる。【００６８】
換言すれば、各フレーム画像間の移動量ずつ各フレーム画像の中心付近から切り出して、順次繋げることにより２次元パノラマ画像とすることで、車両３０１の移動中に左側方の画像を余すことなく２次元パノラマ画像にすることができる。【００６９】
具体的には、スリット画像幅Ｗs（ｎ）は、テンプレート領域４３０と最も類似している類似領域４４０を検索することによって求められる、テンプレート領域４３０から類似領域４４０への移動量である。【００７０】
より具体的には、スリット画像幅Ｗs（ｎ）は、連続する（ｎ−１）フレームと（ｎ）フレームにおける各画素の明度値を用いて求めることができる。明度値は、明るさをあらわす度合いであり、２４ｂｉｔのカラー画素値から算出できる値である。【００７１】
スリット画像幅Ｗs（ｎ）は、（ｎ−１）フレームと（ｎ）フレームの明度値をそれぞれｐ（ｎ−１，ｘ，ｙ）とｐ（ｎ，ｘ，ｙ）として、（ｎ−１）フレームにおけるテンプレート領域４３０をフレーム画像Ｆn-1中心の横１００画素×縦８０画素とすると、下記式（１）を満たすＷs（ｎ）を求めればよい。このとき、車両３０１は水平にしているため、垂直の移動成分は考慮しない。【００７２】
【数１】
2007108090.tif 000003
【００７３】
（オプティカルフロー算出の概要）
つぎに、図５および図６を用いて、この発明の実施の形態にかかるオプティカルフローの算出について説明する。【００７４】
図５は、この発明の実施の形態にかかる（ｎ）フレームのフレーム画像の鉛直線上における垂直８画素単位の分割を示す説明図である。オプティカルフロー算出部２０２は、カメラ１１５によって撮影されたフレーム画像Ｆnを参照して、フレーム画像Ｆn中心の鉛直線Ｌn上で垂直８画素単位のオプティカルフローを算出する。【００７５】
換言すれば、オプティカルフロー算出部２０２は、縦軸方向における２４０画素を８画素ずつに分割し、３０個のオプティカルフローを算出する。８画素幅の分割は、たとえば、ｉ本（ｉ＝０〜２９の整数）のライン（１画素分）によって分割する構成でもよい。【００７６】
つづいて、図６を用いて、この発明の実施の形態にかかるオプティカルフローの算出の一例について説明する。図６は、この発明の実施の形態にかかるオプティカルフローの算出の一例を示す説明図である。図６は、連続する（ｎ−１）フレームと（ｎ）フレームのフレーム画像Ｆn，Ｆn-1における、上からｉ番目（ｉ＝０〜２９の整数）の８画素幅領域を切り出したものである。【００７７】
ｉ番目の８画素幅領域の切り出しは、たとえば、（８×ｉ）ラインから（８×（ｉ＋１）−１）ラインで切り出すもので、図６では、（ｎ−１）フレームのフレーム画像Ｆn-1における切り出し領域６０１と、（ｎ）フレームのフレーム画像Ｆnにおける切り出し領域６１１と、を示している。【００７８】
つづいて、オプティカルフロー算出部２０２は、図６における（ｎ−１）フレームのフレーム画像Ｆnの中心付近において、横１００画素×縦８画素をテンプレート領域６０２とし、この領域と最も近似する近似領域６１２を（ｎ）フレームのフレーム画像Ｆnから探索する。このテンプレート領域６０２と、近似領域６１２の移動量が中心位置のオプティカルフローＯF（ｎ，ｉ）６２０となる。【００７９】
近似領域６１２の検索は、下記式（２）を満たすオプティカルフローＯF（ｎ，ｉ）６２０を、各値を変えながら探索する構成でもよい。なお、このとき車両３０１は水平に移動しているので、垂直成分は考慮しないものとした。【００８０】
【数２】
2007108090.tif 000004
【００８１】
（距離算出の概要）
ここで、図７を用いて、この発明の実施の形態にかかる被写体までの距離の算出について説明する。図７は、この発明の実施の形態にかかる被写体までの距離の算出について示す説明図である。【００８２】
図７において、（ｎ−１）フレームのフレーム画像Ｆn−１における被写体７０１と、（ｎ）フレームのフレーム画像Ｆnにおける被写体７０２のフレーム間の移動量は、（ｎ）フレームにおける車速Ｖ（ｎ）と撮影のフレームレートＦを用いると、Ｖ（ｎ）／Ｆとすることができる。フレームレートＦは、単位時間あたりに撮影されるフレーム数で、１秒あたり３０フレーム撮影することとしてもよい。車速Ｖ（ｎ）は、図示しない車速センサにより算出することとしてもよく、具体的には、タイヤが１回転するごとに１パルスを発生する車速パルス発生器と計数カウンタによって構成可能である。【００８３】
より具体的には、車速Ｖ（ｎ）は、（タイヤの回転数）×（タイヤの円周）から、単位時間あたりの移動距離を算出して、速度として出力する。また、車速Ｖ（ｎ）は、たとえば、加速度センサなど他のセンサの出力によって算出する構成でもよい。【００８４】
また、図７において、焦点距離ｆは、カメラ１１５におけるレンズ７０３から投影面７０４までの距離である。【００８５】
図７より、（ｎ）フレームの被写体７０２までの距離Ｄ（ｎ，ｉ）は、距離算出部２０３によって、前述の式（２）によるオプティカルフローＯF（ｎ，ｉ）６２０と、フレーム間の移動量Ｖ（ｎ）／Ｆと、焦点距離ｆを用いて、下記式（３）により算出される。【００８６】
【数３】
2007108090.tif 000005
【００８７】
（画像特徴量の生成）
つぎに、図８および図９を用いて、この発明の実施の形態にかかる画像特徴量について説明する。図８は、この発明の実施の形態にかかる画像特徴量について示す説明図である。【００８８】
図８において、２次元パノラマ画像における被写体までの距離Ｄ（ｎ，ｉ）は、図７で前述したように距離算出部２０３によって（ｎ）フレームのフレーム画像Ｆnにおけるスリット画像幅Ｗs（ｎ）×８画素幅のブロック領域Ｂ（ｎ，ｉ）ごとに計算される。ブロック領域Ｂ（ｎ，ｉ）におけるｎおよびｉは、それぞれ２次元パノラマ画像の作成元となったフレーム画像のフレーム番号と、オプティカルフロー算出部２０２によってオプティカルフローを算出した縦軸方向の番号である。【００８９】
ここで、画像特徴量として画素値を用いた距離画像８００は、２次元パノラマ画像に対応する位置のブロック領域Ｂ（ｎ，ｉ）における画素値を、距離算出部２０３によって算出された距離Ｄ（ｎ，ｉ）に応じた画素値としている。具体的には、距離Ｄ（ｎ，ｉ）がカメラ１１５（車両３０１）から近い方から順に明るい（白い）画素値としている。【００９０】
また、ブロック領域Ｂ（ｎ，ｉ）内の画素値は一定の値であり、それぞれ距離情報テーブル８１０として記録することとしてもよい。この距離情報テーブル８１０は、スリット画像ごとに距離画像に関する情報を含んでいるため、距離情報テーブル８１０から距離画像８００へ容易に変換できる。【００９１】
具体的には、距離情報テーブル８１０におけるデータは、ＦＲＡＭＥと、ＬＥＦＴと、ＷＩＤＴＨと、ＤＥＰＴＨ＿ｉと、ＡＲＥＡ＿ｉと、から構成されている。ＦＲＡＭＥは、フレーム番号を指し、（ｎ）フレームのフレーム画像Ｆnであれば（ｎ）である。【００９２】
ＬＥＦＴは、（ｎ）フレームから蓄積されたスリット画像Ｇnの位置を指し、図８では、ＬＥＦＴｎである。また、ＷＩＤＴＨは、（ｎ）フレームから蓄積されたスリット画像幅Ｗs（ｎ）を指し、図８では、ＷＩＤＴＨｎである。【００９３】
ＤＥＰＴＨ＿ｉは、スリット画像Ｇnにおける縦軸方向ｉ番目の８画素幅のブロック領域Ｂ（ｎ，ｉ）の距離Ｄ（ｎ，ｉ）である。ＡＲＥＡ＿ｉは、スリット画像Ｇnにおける縦軸方向ｉ番目の８画素幅のブロック領域Ｂ（ｎ，ｉ）の領域ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）である。ここで、ｉは、図５で前述したように、０〜２９の整数である。【００９４】
領域ＩＤは、変換部２０５によって、注目ブロック領域の画像特徴量を、周辺ブロック領域の画像特徴量に変換することによって併合された、均一な画像特徴量を有する領域に特有のＩＤである。換言すれば、２次元パノラマ画像について均一な画像特徴量ごとに分割された領域のＩＤである。【００９５】
詳細は図１２に後述するが、領域分割処理は、具体的には、変換部２０５によって任意の注目ブロック領域の画像特徴量と、周辺ブロック領域の画像特徴量とを比較して、画像特徴量が近いブロック領域を併合することによっておこなう。【００９６】
併合は、たとえば、注目ブロック領域の画像特徴量を周辺ブロック領域における画像特徴量に変換することである。また、併合は、注目ブロック領域の画像特徴量と周辺ブロック領域における画像特徴量の少なくともいずれかを変換して画像特徴量を同一にすることとしてもよい。【００９７】
画像特徴量の比較は、たとえば、下記式（４）および式（５）に示す値を用いておこなうことができる。【００９８】
【数４】
2007108090.tif 000006
【００９９】
【数５】
2007108090.tif 000007
【０１００】
ここで、ｑ（ｘ，ｙ）は、２次元パノラマ画像の位置（ｘ，ｙ）における画素の明度値であり、上記式（４）におけるＱ（ｎ，ｉ，ｈ）は、ブロック領域Ｂ（ｎ，ｉ）を正規化した明度ヒストグラムを示す。【０１０１】
そして、下記式（６）によって算出される値が所定の変換の関するしきい値以下であるとき、ブロック領域Ｂ（ｎ，ｉ）と、ブロック領域Ｂ（ｎ，ｉ）とは異なるブロック領域Ｂ（ｍ，ｊ）とは類似する領域として併合することができる。【０１０２】
【数６】
2007108090.tif 000008
【０１０３】
上述のように領域分割処理をおこなうことによって、オプティカルフローの算出の誤差などに起因して、不均一な画像特徴量が生成されたブロック領域をなくすことができる。【０１０４】
具体的には、本実施の形態にかかる画像解析装置２００は、カメラ１１５から撮影されたカメラ画像を、３次元画像として表示する際に画像特徴量を用いている。この画像特徴量は、オプティカルフローの算出の誤差やオプティカルフロー抽出エラーなどに起因する誤った画像特徴量が含まれている。そこで、誤った画像特徴量を修正するため、所定の変換に関するしきい値（以下、「領域分割用しきい値」ともいう）を設定して、領域分割用しきい値よりも画像特徴量の差が小さい場合に、注目ブロック領域と周辺ブロック領域とを併合する構成としている。【０１０５】
このように、領域分割処理を施すことによって、２次元パノラマ画像を均一な画像特徴量を有する複数の領域に分割することができる。図９は、この発明の実施の形態にかかる領域分割処理の一例を示す説明図である。【０１０６】
図９において、２次元パノラマ画像Ｇにおける車両３０１の側面領域９０１は、カメラ１１５（車両３０１）からの距離がほぼ均一な領域である。距離画像８００においては、上述の領域分割処理によって、車両３０１の側面領域９１１を分割することができる。【０１０７】
このように、領域分割処理を終了した後の距離画像８００について、分割された領域における画像特徴量は、それぞれ領域分割用しきい値よりも大きい差となっている。この領域分割処理後の領域には、オプティカルフローの誤った算出などに起因して、周辺と極端に異なる画像特徴量を有する領域が存在する場合がある。【０１０８】
周辺と極端に異なる画像特徴量は、たとえば、オプティカルフローの誤った算出などによって被写体まで距離が無限遠となったり、カメラ１１５（車両３０１）に接触するような距離となったりするために生成される。【０１０９】
周辺と極端に異なる画像特徴量を補正するために、補正部２０７によって画像特徴量補正処理をおこなう。詳細は図１３に後述するが、画像特徴量補正処理は、変換後（以下、「領域分割処理後」ともいう）の任意の注目ブロック領域の画像特徴量と、周辺ブロック領域の画像特徴量とを比較して、ブロック領域の画像特徴量を併合することによっておこなう。【０１１０】
比較および併合については前述の領域分割処理とほぼ同様であるため説明を省略するが、前述の式（６）によって算出される値が所定の補正に関するしきい値（以下、「補正用しきい値」ともいう）以上であるとき、ブロック領域を併合することとしてもよい。【０１１１】
なお、画像特徴量補正処理について、本明細書では領域分割処理後のブロック領域について説明しているが、領域分割処理後のブロック領域同士を比較する構成としてもよい。より具体的には、領域分割処理後に均一な画像特徴量となった領域に囲まれた、領域の画像特徴量について、周辺の領域の画像特徴量と比較する。そして、画像特徴量の差が補正用しきい値以上である場合、それぞれのブロック領域における画像特徴量の併合をおこなう。【０１１２】
画像特徴量補正処理を終了した後、表示制御部２０６は、表示部２１０の有する表示画面を制御して、解析対象画像における補正後の画像特徴量を用いて、３次元画像を表示する。【０１１３】
図１０は、この発明の実施の形態にかかる３次元画像の表示画面を示す説明図である。図１０において３次元画像１０００は、画像特徴量の生成元となる被写体までの距離を奥行きｚ値、２次元パノラマ画像中の各ブロック領域の位置をｘ値およびｙ値として、テクスチャ画像として描画される。【０１１４】
図１０に示すように、３次元画像１０００によれば、被写体はひずんで表示されずに、利用者は、被写体までの距離を正確に把握することができる。さらに、車両周辺の立体物について、適切な距離が奥行きとして表示されているため、利用者は、的確に被写体を３次元的に把握することができる。【０１１５】
（画像解析装置２００の画像解析処理手順）
つぎに、図１１を用いて、この発明の実施の形態にかかる画像解析装置２００の画像解析処理手順について説明する。図１１は、この発明の実施の形態にかかる画像解析装置の画像解析処理の内容を示すフローチャートである。【０１１６】
図１１のフローチャートにおいて、まず、カメラ１１５によって、車両３０１の左側方のカメラ画像の撮影を開始したか否かを判断する（ステップＳ１１０１）。撮影の開始は、車両３０１の走行の開始とともにおこなわれる構成でもよい。また、撮影の開始は、利用者が必要に応じて、不図示の入力部を操作することによって開始されることとしてもよい。【０１１７】
ステップＳ１１０１において、撮影を開始するのを待って、開始した場合（ステップＳ１１０１：Ｙｅｓ）は、つぎに、記録媒体に２次元パノラマ画像を記録する（ステップＳ１１０２）。記録媒体は、たとえば、図１で前述したＨＤ１０５やＦＤ１０７や映像Ｉ／Ｆ１１４の有するバッファメモリなどで、ＣＰＵ１０１の制御にしたがって２次元パノラマ画像が記録される。【０１１８】
そして、３次元画像の表示要求を受け付けたか否かを判断する（ステップＳ１１０３）。３次元画像の表示要求は、たとえば、利用者が不図示の入力部を操作することによっておこなわれる。また、３次元画像の表示要求は、走行中の車両３０１が駐車をする際の挙動を検出してもよい。具体的には、車両３０１が駐車スペースを通過した後に停車して、後進に移行する挙動を表示要求として検出する。【０１１９】
ステップＳ１１０３において、３次元画像の表示要求を受け付けない場合（ステップＳ１１０３：Ｎｏ）は、ステップＳ１１０１に戻って処理を繰り返す。【０１２０】
また、ステップＳ１１０３において、３次元画像の表示要求を受け付けた場合（ステップＳ１１０３：Ｙｅｓ）は、解析対象画像抽出部２０１によって、ステップＳ１１０２において記録された２次元パノラマ画像の中から、解析対象画像を抽出する（ステップＳ１１０４）。【０１２１】
つぎに、オプティカルフロー算出部２０２によって、ステップＳ１１０４において抽出された解析対象画像に関するオプティカルフローを算出する（ステップＳ１１０５）。オプティカルフローの算出は、連続するフレーム画像間における被写体の移動量によって算出することができる。【０１２２】
そして、距離算出部２０３によって、ステップＳ１１０５において算出されたオプティカルフローを用いて、２次元パノラマ画像中における被写体までの距離を算出する（ステップＳ１１０６）。【０１２３】
つぎに、画像特徴量生成部２０４によって、ステップＳ１１０６において算出された距離に基づいて、解析対象画像における画像特徴量を生成する（ステップＳ１１０７）。具体的には、画像特徴量は、２次元パノラマ画像中の被写体までの距離に応じた画素値を用いて生成する。【０１２４】
そして、変換部２０５によって、ステップＳ１１０７において生成された画像特徴量に基づいて、解析対象画像の領域分割処理をおこなう（ステップＳ１１０８）。【０１２５】
具体的には、領域分割処理は、注目ブロック領域における画像特徴量と、周辺ブロック領域における画像特徴量との差が所定のしきい値（領域分割用しきい値）以下である場合、注目ブロック領域の画像特徴量を周辺ブロック領域における画像特徴量に変換することによりおこなわれ、領域分割処理の詳細は図１２に後述する。【０１２６】
つぎに、補正部２０７によって、ステップＳ１１０８において領域分割処理がおこなわれた解析対象画像について画像特徴量補正処理をおこなう（ステップＳ１１０９）。【０１２７】
具体的には、画像特徴量補正処理は、領域分割処理後の注目ブロック領域における画像特徴量と、領域分割処理後の周辺ブロック領域における画像特徴量との差が所定のしきい値（補正用しきい値）以上である場合、変換後注目ブロック領域の画像特徴量を変換後周辺ブロック領域における画像特徴量に補正することによりおこなわれ、詳細は図１３に後述する。【０１２８】
そして、表示制御部２０６の制御にしたがい、表示部２１０によって解析対象画像に関する３次元画像を表示して（ステップＳ１１１０）、一連の処理を終了する。３次元画像は、具体的には、画像特徴量の生成元となる被写体までの距離を奥行きとして、２次元パノラマ画像中の各ブロック領域をテクスチャ画像として描画される画像であり、利用者は、この３次元画像を確認することによって、車両周辺環境を正確に理解することができる。【０１２９】
つづいて、図１２を用いて、この発明の実施の形態にかかる画像解析装置２００における領域分割処理（図１１のステップＳ１１０８）手順について説明する。図１２は、この発明の実施の形態にかかる画像解析装置における領域分割処理（図１１のステップＳ１１０８）の内容を示すフローチャートである。【０１３０】
図１２のフローチャートにおいて、まず、変換部２０５によって、解析対象画像における任意の注目ブロック領域を選択する（ステップＳ１２０１）。注目ブロック領域は、所定の範囲を有するブロック領域であり、たとえば、前述した２次元パノラマ画像を構成する各スリット画像のスリット画像幅と、オプティカルフロー算出部２０２によるオプティカルフロー算出における画素幅で囲まれた領域である。【０１３１】
そして、変換部２０５によって、ステップＳ１２０１において選択された注目ブロック領域における画像特徴量と、注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量とを比較して、画像特徴量の差はしきい値以下であるか否かを判断する（ステップＳ１２０２）。なお、ステップＳ１２０２におけるしきい値は、前述の領域分割用しきい値であり、たとえば、移動体との距離が均一な被写体について、オプティカルフローの算出の誤差などに起因して、不均一な画像特徴量が生成されたブロック領域をなくすよう設定する。【０１３２】
ステップＳ１２０２において、画像特徴量の差がしきい値以下でない場合（ステップＳ１２０２：Ｎｏ）は、つづいて、変換部２０５によって、解析対象画像におけるすべてのブロック領域について処理を終了したか否かを判断する（ステップＳ１２０４）。【０１３３】
また、ステップＳ１２０２において、画像特徴量の差がしきい値以下であった場合（ステップＳ１２０２：Ｙｅｓ）は、つづいて、変換部２０５によって、画像特徴量を変換する（ステップＳ１２０３）。画像特徴量の変換は、具体的には、注目ブロック領域の画像特徴量を周辺ブロック領域における画像特徴量に変換することによって、解析対象画像を均一な画像特徴量ごとに分割された領域に分割する。【０１３４】
なお、図１２のフローチャートでは説明を省略するが、ステップＳ１２０３において画像特徴量を変換するとともに、領域ＩＤを変換することとしてもよい。具体的には、たとえば、注目ブロック領域の領域ＩＤを、周辺ブロック領域の領域ＩＤに変換して、同一の領域ＩＤとする。【０１３５】
そして、変換部２０５によって、解析対象画像におけるすべてのブロック領域について処理を終了したか否かを判断する（ステップＳ１２０４）。【０１３６】
ステップＳ１２０４において、すべてのブロック領域について処理を終了していない場合（ステップＳ１２０４：Ｎｏ）は、ステップＳ１２０１に戻って処理を繰り返す。【０１３７】
また、ステップＳ１２０４において、すべてのブロック領域について処理を終了した場合（ステップＳ１２０４：Ｙｅｓ）は、図１１におけるステップＳ１１０８の領域分割処理を終了して、ステップＳ１１０９へ移行する。【０１３８】
つぎに、図１３を用いて、この発明の実施の形態にかかる画像解析装置２００における画像特徴量補正処理（図１１のステップＳ１１０９）手順について説明する。図１３は、この発明の実施の形態にかかる画像解析装置における画像特徴量補正処理（図１１のステップＳ１１０９）の内容を示すフローチャートである。【０１３９】
図１３のフローチャートにおいて、まず、補正部２０７によって、解析対象画像における領域分割処理後の注目ブロック領域を選択する（ステップＳ１３０１）。【０１４０】
そして、補正部２０７によって、ステップＳ１３０１において選択された領域分割処理後の注目ブロック領域における画像特徴量と、領域分割処理後の注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量とを比較して、画像特徴量の差はしきい値以上であるか否かを判断する（ステップＳ１３０２）。なお、ステップＳ１３０２におけるしきい値は、前述の補正用しきい値であり、たとえば、移動体との距離が均一な被写体について、オプティカルフローの誤った算出などに起因して、周辺から極端に異なる画像特徴量が生成されたブロック領域をなくすよう設定する。【０１４１】
ステップＳ１３０２において、画像特徴量の差がしきい値以上でない場合（ステップＳ１３０２：Ｎｏ）は、つづいて、補正部２０７によって、解析対象画像におけるすべてのブロック領域について処理を終了したか否かを判断する（ステップＳ１３０４）。【０１４２】
また、ステップＳ１３０２において、画像特徴量の差がしきい値以上であった場合（ステップＳ１３０２：Ｙｅｓ）は、つづいて、補正部２０７によって、画像特徴量を補正する（ステップＳ１３０３）。画像特徴量の補正は、具体的には、領域分割処理後の注目ブロック領域の画像特徴量を領域分割処理後の周辺ブロック領域における画像特徴量に補正する。【０１４３】
なお、図１３のフローチャートでは説明を省略するが、ステップＳ１３０３において画像特徴量を補正するとともに、領域ＩＤを変換することとしてもよい。具体的には、たとえば、補正をおこなった領域分割処理後の注目ブロック領域の領域ＩＤを、補正元となった領域分割処理後の周辺ブロック領域の領域ＩＤに置換して、同一の領域ＩＤとする。【０１４４】
そして、補正部２０７によって、解析対象画像におけるすべてのブロック領域について処理を終了したか否かを判断する（ステップＳ１３０４）。【０１４５】
ステップＳ１３０４において、すべてのブロック領域について処理を終了していない場合（ステップＳ１３０４：Ｎｏ）は、ステップＳ１３０１に戻って処理を繰り返す。【０１４６】
また、ステップＳ１３０４において、すべてのブロック領域について処理を終了した場合（ステップＳ１３０４：Ｙｅｓ）は、図１１におけるステップＳ１１０９の画像特徴量補正処理を終了して、ステップＳ１１１０へ移行する。【０１４７】
このように、この発明の実施の形態によれば、解析対象画像のオプティカルフローを算出して、被写体までの距離を算出する。そして、被写体までの距離に応じた画像特徴量によって３次元画像を表示するため、特徴点の抽出が困難な立体物が車両周辺に存在している場合でも、利用者は、３次元画像を確認することにより、的確に車両周辺環境の理解を図ることができる。【０１４８】
また、画像特徴量の変換および補正をおこなって３次元画像を表示するため、オプティカルフローの算出の誤差やエラーなどによって、３次元画像中における車両周辺環境の理解が困難となる箇所の出現を防ぐことができる。具体的には、３次元画像中における奇異な凹凸を削減することができる。したがって、利用者は、３次元画像を確認することにより、正確に車両周辺環境の理解を図ることができる。【０１４９】
車両の周辺環境を２次元的な画像でなく３次元画像として表示するため、車両と車両周辺に存在する立体物と間にひずみは生じない。したがって、車両と車両周辺に存在する立体物の位置関係を的確に把握することができる。【０１５０】
特に、利用者は、３次元画像を確認することにより、車両が駐車する空間を適切に認識することができるため、車両の駐車を安全かつ容易におこなうことができる。【０１５１】
以上説明したように、この発明によれば、利用者に、移動体の周辺環境を正確に認識させ、適切な理解を促すことができる。【０１５２】
なお、本実施の形態で説明した画像解析方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
【産業上の利用可能性】
【０１５３】
以上のように、本発明にかかる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法は、移動体の周辺環境の理解補助に有用であり、特に車両が駐車する際の車両周辺環境を立体的に運転者に提示することによる駐車支援に適している。
【図１】
2007108090.tif 000009
【図２】
2007108090.tif 000010
【図３】
2007108090.tif 000011
【図４−１】
2007108090.tif 000012
【図４−２】
2007108090.tif 000013
【図４−３】
2007108090.tif 000014
【図５】
2007108090.tif 000015
【図６】
2007108090.tif 000016
【図７】
2007108090.tif 000017
【図８】
2007108090.tif 000018
【図９】
2007108090.tif 000019
【図１０】
2007108090.tif 000020
【図１１】
2007108090.tif 000021
【図１２】
2007108090.tif 000022
【図１３】
2007108090.tif 000023
【手続補正書】
【提出日】平成20年8月13日(2008.8.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体から撮影された画像により作成された２次元パノラマ画像の中から、解析対象となる一部の２次元画像（以下、「解析対象画像」という）を抽出させる抽出工程と、
前記抽出工程によって抽出された解析対象画像に関するオプティカルフローを算出させるオプティカルフロー算出工程と、
前記オプティカルフロー算出工程によって算出されたオプティカルフローを用いて、前記２次元パノラマ画像中における被写体までの距離を算出させる距離算出工程と、
前記距離算出工程によって算出された距離に基づいて、前記解析対象画像における画像特徴量を生成させる生成工程と、
前記生成工程によって生成された前記解析対象画像における画像特徴量の中から選ばれた注目ブロック領域における画像特徴量と、前記注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量との差に基づいて、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換させる変換工程と、
前記変換工程によって変換された前記解析対象画像における変換後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を表示画面に表示させる表示制御工程と、
をコンピュータに実行させることを特徴とする画像解析プログラム。
【請求項２】
前記変換工程は、
前記注目ブロック領域における画像特徴量と、前記周辺ブロック領域における画像特徴量との差が所定の変換に関するしきい値以下である場合、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換させることを特徴とする請求項１に記載の画像解析プログラム。
【請求項３】
前記解析対象画像における変換後の画像特徴量の中から選ばれた注目ブロック領域（以下、「変換後注目ブロック領域」という）における画像特徴量と、前記変換後注目ブロック領域近傍に存在する周辺ブロック領域（以下、「変換後周辺ブロック領域」という）における画像特徴量との差に基づいて、当該変換後注目ブロック領域の画像特徴量を補正させる補正工程をさらにコンピュータに実行させ、
前記表示制御工程は、
前記補正工程によって補正された前記解析対象画像における補正後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を前記表示画面に表示させることを特徴とする請求項１または２に記載の画像解析プログラム。
【請求項４】
請求項１〜３のいずれか一つに記載の画像解析プログラムを記録したコンピュータに読み取り可能な記録媒体。
【請求項５】
移動体から撮影された画像により作成された２次元パノラマ画像の中から、解析対象となる一部の２次元画像（以下、「解析対象画像」という）を抽出する抽出手段と、
前記抽出手段によって抽出された解析対象画像に関するオプティカルフローを算出するオプティカルフロー算出手段と、
前記オプティカルフロー算出手段によって算出されたオプティカルフローを用いて、前記２次元パノラマ画像中における被写体までの距離を算出する距離算出手段と、
前記距離算出手段によって算出された距離に基づいて、前記解析対象画像における画像特徴量を生成する生成手段と、
前記生成手段によって生成された前記解析対象画像における画像特徴量の中から選ばれた注目ブロック領域における画像特徴量と、前記注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量との差に基づいて、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換する変換手段と、
前記変換手段によって変換された前記解析対象画像における変換後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を表示画面に表示する表示制御手段と、
を備えることを特徴とする画像解析装置。
【請求項６】
前記変換手段は、
前記注目ブロック領域における画像特徴量と、前記周辺ブロック領域における画像特徴量との差が所定の変換に関するしきい値以下である場合、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換することを特徴とする請求項５に記載の画像解析装置。
【請求項７】
前記解析対象画像における変換後の画像特徴量の中から選ばれた注目ブロック領域（以下、「変換後注目ブロック領域」という）における画像特徴量と、前記変換後注目ブロック領域近傍に存在する周辺ブロック領域（以下、「変換後周辺ブロック領域」という）における画像特徴量との差に基づいて、当該変換後注目ブロック領域の画像特徴量を補正する補正手段をさらに備え、
前記表示制御手段は、
前記補正手段によって補正された前記解析対象画像における補正後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を前記表示画面に表示することを特徴とする請求項５または６に記載の画像解析装置。
【請求項８】
移動体から撮影された画像により作成された２次元パノラマ画像の中から、解析対象となる一部の２次元画像（以下、「解析対象画像」という）を抽出する抽出工程と、
前記抽出工程によって抽出された解析対象画像に関するオプティカルフローを算出するオプティカルフロー算出工程と、
前記オプティカルフロー算出工程によって算出されたオプティカルフローを用いて、前記２次元パノラマ画像中における被写体までの距離を算出する距離算出工程と、
前記距離算出工程によって算出された距離に基づいて、前記解析対象画像における画像特徴量を生成する生成工程と、
前記生成工程によって生成された前記解析対象画像における画像特徴量の中から選ばれた注目ブロック領域における画像特徴量と、前記注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量との差に基づいて、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換する変換工程と、
前記変換手段によって変換された前記解析対象画像における変換後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を表示画面に表示する表示制御工程と、
を含むことを特徴とする画像解析方法。
【請求項９】
前記変換工程は、
前記注目ブロック領域における画像特徴量と、前記周辺ブロック領域における画像特徴量との差が所定の変換に関するしきい値以下である場合、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換することを特徴とする請求項８に記載の画像解析方法。
【請求項１０】
前記解析対象画像における変換後の画像特徴量の中から選ばれた注目ブロック領域（以下、「変換後注目ブロック領域」という）における画像特徴量と、前記変換後注目ブロック領域近傍に存在する周辺ブロック領域（以下、「変換後周辺ブロック領域」という）における画像特徴量との差に基づいて、当該変換後注目ブロック領域の画像特徴量を補正する補正工程をさらに含み、
前記表示制御工程は、
前記補正工程によって補正された前記解析対象画像における補正後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を前記表示画面に表示することを特徴とする請求項８または９に記載の画像解析方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、移動体から撮影された画像を解析して、移動体の周辺環境を立体的な３次元画像として表示する画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法に関する。
【背景技術】
【０００２】
従来より、車両などの移動体周辺に存在する障害物を利用者に報知するために、移動体に搭載されたカメラによって移動体周辺の画像を撮影し、移動体に搭載されたモニタによって撮像された移動体周辺の画像を表示している。特に車両などの駐車時における車両周辺環境の理解補助のため、車両に搭載された車載カメラによって撮影された車両後方の画像を表示できるバックモニタが商品化されている。
【０００３】
近年では、複数のカメラによって車両周辺を撮影し、撮影された画像について画像処理を施すことによって、車両の周辺環境を俯瞰図にして車載モニタに表示する提案がされている（たとえば、下記特許文献１参照。）。
【０００４】
また、車載カメラによって撮影された複数の画像の中から、立体物におけるエッジなどの特徴点を抽出して、抽出された特徴点と車両の移動情報とに基づいて、車両から立体物までの距離を算出する。そして、算出された距離を用いて車両の周辺に存在する立体物の３次元画像をモニタなどの表示部に表示する提案がされている（たとえば、下記特許文献２，３参照。）。
【０００５】
【特許文献１】特開２００１−１１４０４８号公報
【特許文献２】特開２００１−１８７５５３号公報
【特許文献３】特開２００４−２９７８０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１では、撮影された画像を２次元に投影して生成された俯瞰図を表示部に表示するため、車両周辺に存在する立体物がひずんで表示される場合がある。したがって、利用者は、表示部の表示を確認しても車両と立体物の位置関係が正確に把握できないという問題がある。
【０００７】
また、上述した特許文献２，３では、立体物のエッジなどの特徴点の抽出により算出された車両から立体物までの距離を用いて、車両周辺の３次元画像を生成するため、特徴点が適切に抽出できない場合は、正確な３次元画像を生成することができない。したがって、利用者は、誤った３次元画像によって車両周辺環境を認識することとなり、車両周辺環境を理解するためには、３次元画像を利用せずに目視しなければならないという問題がある。
【０００８】
具体的には、表面がなめらかでエッジの少ない立体物の特徴点を抽出することは困難である。したがって、車両周辺に表面のなめらかな立体物があっても、３次元画像中には反映されない場合、３次元画像を確認することによって利用者は、車両周辺に存在する立体物を存在しないこととして認識してしまう。
【０００９】
さらに、表面にエッジの出現が多数認められる立体物の特徴点について過剰に抽出してしまう場合がある。したがって、車両周辺にエッジを多数有する立体物によって、３次元画像中に多数の立体物を表示してしまう場合、３次元画像を確認することによって利用者は、車両周辺に存在しない立体物についても存在することとして認識してしまう。
【００１０】
一方、適切に特徴点を抽出して正確な３次元画像を生成する場合、高性能なカメラによる撮影や高精度な画像処理が必要となるため、装置の高コスト化および処理の複雑化によって実現が困難であるという問題がある。くわえて、上述した従来技術では、カメラから撮影された画像全体を処理する必要があるため、多大な演算処理の負荷を強いるという問題がある。
【００１１】
この発明は、上述した従来技術による問題点を解消するため、利用者による移動体の周辺環境に対する誤認識をなくし、移動体の周辺環境についての適切な理解補助を図ることができる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するため、この発明にかかる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法は、移動体から撮影された画像により作成された２次元パノラマ画像の中から、解析対象となる一部の２次元画像（以下、「解析対象画像」という）を抽出し、抽出された解析対象画像に関するオプティカルフローを算出し、算出されたオプティカルフローを用いて、前記２次元パノラマ画像中における被写体までの距離を算出し、算出された距離に基づいて、前記解析対象画像における画像特徴量を生成し、生成された前記解析対象画像における画像特徴量の中から選ばれた注目ブロック領域における画像特徴量と、前記注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量との差に基づいて、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換し、変換された前記解析対象画像における変換後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を表示画面に表示することを特徴とする。
【００１３】
この発明によれば、解析対象画像における画像特徴量を用いて、３次元画像を表示するため、移動体周辺に特徴点が適切に抽出できない立体物が存在しても、利用者は、３次元画像を確認することにより移動体周辺環境を的確に把握することができる。
【００１４】
また、上記発明において、前記注目ブロック領域における画像特徴量と、前記周辺ブロック領域における画像特徴量との差が所定の変換に関するしきい値以下である場合、当該注目ブロック領域の画像特徴量を当該周辺ブロック領域における画像特徴量に変換することとしてもよい。
【００１５】
この発明によれば、オプティカルフローの算出誤差などによる画像特徴量の差が生じないよう画像特徴量を変換して３次元画像を表示することができる。
【００１６】
また、上記発明において、さらに、前記解析対象画像における変換後の画像特徴量の中から選ばれた注目ブロック領域（以下、「変換後注目ブロック領域」という）における画像特徴量と、前記変換後注目ブロック領域近傍に存在する周辺ブロック領域（以下、「変換後周辺ブロック領域」という）における画像特徴量との差に基づいて、当該変換後注目ブロック領域の画像特徴量を補正し、補正された前記解析対象画像における補正後の画像特徴量を用いて、前記解析対象画像に関する３次元画像を前記表示画面に表示することとしてもよい。
【００１７】
この発明によれば、変換後の解析対象画像における画像特徴量を補正して３次元画像を表示するため、利用者は、正確に移動体周辺環境を把握することができる。
【００１８】
また、上記発明において、前記変換後注目ブロック領域における画像特徴量と、前記変換後周辺ブロック領域における画像特徴量との差が所定の補正に関するしきい値以上である場合、当該変換後注目ブロック領域の画像特徴量を当該変換後周辺ブロック領域における画像特徴量に補正することとしてもよい。
【００１９】
この発明によれば、オプティカルフローの誤った算出などによる画像特徴量を補正して３次元画像を表示することができる。
【発明の効果】
【００２０】
本発明にかかる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法によれば、利用者に移動体の周辺環境を正確に認識させ、移動体の周辺環境についての適切な理解補助を図ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照して、この発明にかかる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法の好適な実施の形態を詳細に説明する。
【００２２】
（実施の形態）
（画像解析装置のハードウェア構成）
まず、図１を用いて、この発明の実施の形態にかかる画像解析装置のハードウェア構成について説明する。図１は、この発明の実施の形態にかかる画像解析装置のハードウェア構成を示すブロック図である。
【００２３】
図１において、画像解析装置は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、ＨＤ（ハードディスク）１０５と、ＦＤＤ（フレキシブルディスクドライブ）１０６と、着脱可能な記録媒体の一例としてのＦＤ（フレキシブルディスク）１０７と、ディスプレイ１０８と、通信Ｉ／Ｆ（インターフェース）１０９と、キーボード１１０と、マウス１１１と、スキャナ１１２と、プリンタ１１３と、映像Ｉ／Ｆ１１４と、カメラ１１５と、を備えている。また、各構成部はバス１００によってそれぞれ接続されている。
【００２４】
ここで、ＣＰＵ１０１は、画像解析装置の全体の制御を司る。ＲＯＭ１０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＨＤＤ１０４は、ＣＰＵ１０１の制御にしたがってＨＤ１０５に対するデータのリード／ライトを制御する。ＨＤ１０５は、ＨＤＤ１０４の制御で書き込まれたデータを記憶する。
【００２５】
ＦＤＤ１０６は、ＣＰＵ１０１の制御にしたがってＦＤ１０７に対するデータのリード／ライトを制御する。ＦＤ１０７は、ＦＤＤ１０６の制御で書き込まれたデータを記憶したり、ＦＤ１０７に記憶されたデータを画像解析装置に読み取らせたりする。
【００２６】
また、着脱可能な記録媒体として、ＦＤ１０７のほか、ＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−ＲＷ）、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、メモリカードなどであってもよい。ディスプレイ１０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ１０８は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
【００２７】
通信Ｉ／Ｆ１０９は、通信回線を通じてインターネットなどのネットワーク１１６に接続され、このネットワーク１１６を介して他の装置に接続される。そして、通信Ｉ／Ｆ１０９は、ネットワーク１１６と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。通信Ｉ／Ｆ１０９には、たとえばモデムやＬＡＮアダプタなどを採用することができる。
【００２８】
キーボード１１０は、文字、数字、各種指示などの入力のためのキーを備え、押下されたキーに対応するデータを装置内部へ入力する。また、タッチパネル式の入力パッドやテンキーなどであってもよい。また、マウス１１１を操作することで、マウス１１１の本体下部の移動を検出するセンサによる出力および本体上部の各ボタンのＯＮ／ＯＦＦを随時装置内部へ入力して、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなってもよい。なお、ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
【００２９】
スキャナ１１２は、画像を光学的に読み取り、画像解析装置内に画像データを取り込む。なお、スキャナ１１２は、ＯＣＲ機能を持たせてもよい。また、プリンタ１１３は、画像データや文書データを印刷する。プリンタ１１３には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
【００３０】
また、映像Ｉ／Ｆ１１４は、カメラ１１５と接続される。映像Ｉ／Ｆ１１４は、カメラ１１５全体の制御をおこなう制御ＩＣと、カメラ１１５によって撮影されたフレーム画像を一時的に記録するＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）などのバッファメモリなどによって構成される。また、バッファメモリは、複数のフレームバッファを有する構成でもよく、たとえば、２つのフレームバッファにより、カメラ１１５によって撮影されるフレーム画像を交互に格納することとしてもよい。そして、カメラ１１５によって撮影されたフレーム画像について、画像解析装置の各構成への入出力を制御する構成でもよい。
【００３１】
カメラ１１５は、被写体を撮影して連続する一連のフレーム画像として取り込む。カメラ１１５が車両などの移動体に搭載されている場合、被写体として道路わきの建物や地面などの地表物や、移動体から臨む道路わきからの建物や地面などの地表物やその他立体物などを撮影することができる。
【００３２】
また、カメラ１１５は、モノクロやカラーのどちらでもよく、ビデオカメラなどによって構成され、Ｃ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）あるいはＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの光電変換素子を有している。
【００３３】
また、カメラ１１５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＩＥＥＥ１３９４（Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃ  Ｅｎｇｉｎｅｅｒｓ  １３９４）などによって映像Ｉ／Ｆ１１４と接続されており、撮影したフレーム画像を、映像Ｉ／Ｆ１１４を介して逐次画像解析装置へ出力する構成としてもよい。
【００３４】
（画像解析装置の機能的構成）
つぎに、図２を用いて、この発明の実施の形態にかかる画像解析装置の機能的構成について説明する。図２は、この発明の実施の形態にかかる画像解析装置の機能的構成を示すブロック図である。図２において、画像解析装置２００は、解析対象画像抽出部２０１と、オプティカルフロー算出部２０２と、距離算出部２０３と、画像特徴量生成部２０４と、変換部２０５と、表示制御部２０６と、補正部２０７と、表示部２１０と、から構成されている。
【００３５】
解析対象画像抽出部２０１は、移動体から撮影された画像により作成された２次元パノラマ画像の中から、解析対象となる一部の２次元画像として解析対象画像を抽出する。詳細は図４−１〜図４−３に後述するが、２次元パノラマ画像は、具体的には、図１で示したカメラ１１５によって撮影されたカメラ画像について、カメラ画像の入力単位であるフレーム画像を用いて作成される。
【００３６】
より具体的には、カメラ１１５によって撮影されたカメラ画像は、フレーム画像ごとに図１で示した映像Ｉ／Ｆ１１４に入力される。連続する２枚のフレーム画像は、映像Ｉ／Ｆ１１４の有するフレームバッファに一時的に順次保持される。２次元パノラマ画像は、入力された連続するフレーム画像における中心付近について、縦長に切り出されたスリット画像を横方向に繋げることにより作成できる。なお、カメラ１１５の設置の概要については、図３に後述する。
【００３７】
オプティカルフロー算出部２０２は、解析対象画像抽出部２０１によって抽出された解析対象画像に関するオプティカルフローを算出する。オプティカルフローは、連続するフレーム画像間における被写体の移動量によって算出することができる。
【００３８】
詳細は図５および図６に後述するが、オプティカルフローの算出は、具体的には、２次元パノラマ画像の作成元のフレーム画像について、フレーム画像中心を通る鉛直線上における所定の画素幅ごとに算出する。
【００３９】
距離算出部２０３は、オプティカルフロー算出部２０２によって算出されたオプティカルフローを用いて、２次元パノラマ画像中における被写体までの距離を算出する。詳細は図７に後述するが、距離算出は、具体的には、被写体までの距離は、オプティカルフローの大きさＯFと、移動体の速度Ｖと、カメラ１１５の焦点距離ｆと、撮影のフレームレー
トＦを用いて算出できる。
【００４０】
画像特徴量生成部２０４は、距離算出部２０３によって算出された距離に基づいて、解析対象画像における画像特徴量を生成する。詳細は図８に後述するが、画像特徴量は、たとえば、２次元パノラマ画像中の被写体までの距離に応じた画素値を用いて生成する。
【００４１】
変換部２０５は、画像特徴量生成部２０４によって生成された解析対象画像における画像特徴量の中から選ばれた注目ブロック領域における画像特徴量と、注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量との差に基づいて、注目ブロック領域の画像特徴量を周辺ブロック領域における画像特徴量に変換する。
【００４２】
注目ブロック領域は、所定の範囲を有するブロック領域であり、たとえば、前述した２次元パノラマ画像を構成する各スリット画像のスリット画像幅と、オプティカルフロー算出部２０２によるオプティカルフロー算出における画素幅で囲まれた領域である。
【００４３】
周辺ブロック領域は、注目ブロック領域と同じ範囲を有するブロック領域でもよく、注目ブロック領域の近傍に存在する。ここで、注目ブロック領域の近傍に存在する周辺ブロック領域は、注目ブロック領域の上下左右に隣接するブロック領域や、注目ブロック領域から所定の範囲に存在するブロック領域を含むこととしてもよい。
【００４４】
具体的には、注目ブロック領域の斜め方向や、注目ブロック領域に隣接するブロック領域にさらに隣接するブロック領域などを含むこととしてもよく、注目ブロック領域の大きさによって設定できる。
【００４５】
画像特徴量の変換は、具体的には、注目ブロック領域における画像特徴量と、周辺ブロック領域における画像特徴量との差が所定の変換に関するしきい値以下である場合、注目ブロック領域の画像特徴量を周辺ブロック領域における画像特徴量に変換する。
【００４６】
所定の変換に関するしきい値は、あらかじめ設定できる構成でもよく、たとえば、移動体との距離が均一な被写体について、オプティカルフローの算出の誤差などに起因して、不均一な画像特徴量が生成されたブロック領域をなくすよう設定する。
【００４７】
上述のように、注目ブロック領域の画像特徴量を、周辺ブロック領域の画像特徴量に変換することによって、２次元パノラマ画像を均一な画像特徴量を有する複数の領域に分割することができる。換言すれば、２次元パノラマ画像において、移動体との距離が均一な被写体について、不均一な画像特徴量とならないよう変換することができる。
【００４８】
表示制御部２０６は、表示部２１０の有する表示画面を制御して、変換部２０５によって変換された解析対象画像における変換後の画像特徴量を用いて、解析対象画像に関する３次元画像を表示させる。なお、表示部２１０は、具体的には、たとえば、図１で前述したディスプレイ１０８によってその機能を実現する。
【００４９】
詳細は図１０に後述するが、３次元画像は、画像特徴量の生成元となる被写体までの距離を奥行きとして、２次元パノラマ画像中の各ブロック領域をテクスチャ画像として描画される画像でもよい。３次元画像の表示によって被写体はひずんで表示されずに、利用者は、被写体までの距離を正確に把握することができる。
【００５０】
さらに、画像特徴量は、前述の変換部２０５によって、移動体との距離が均一な被写体については均一に変換されているため、利用者は、容易に被写体を３次元的に把握することができる。
【００５１】
また、表示制御部２０６は、表示部２１０の有する表示画面を制御して、後述する補正部２０７によって補正された解析対象画像における補正後の画像特徴量を用いて、解析対象画像に関する３次元画像を表示させる。
【００５２】
補正部２０７は、解析対象画像における変換後の画像特徴量の中から選ばれた変換後注目ブロック領域における画像特徴量と、変換後注目ブロック領域近傍に存在する変換後周辺ブロック領域における画像特徴量との差に基づいて、変換後注目ブロック領域の画像特徴量を補正する。
【００５３】
画像特徴量の補正は、具体的には、変換後注目ブロック領域における画像特徴量と、変換後周辺ブロック領域における画像特徴量との差が所定の補正に関するしきい値以上である場合、変換後注目ブロック領域の画像特徴量を変換後周辺ブロック領域における画像特徴量に補正する。
【００５４】
所定の補正に関するしきい値は、あらかじめ設定できる構成でもよく、たとえば、移動体との距離が均一な被写体について、オプティカルフローの誤った算出などに起因して、周辺から極端に異なる画像特徴量が生成されたブロック領域をなくすよう設定する。
【００５５】
このように、オプティカルフローの誤った算出などによって無限遠となった被写体までの距離について、補正部２０７の補正によって変換後周辺ブロック領域の画像特徴量に補正する。そして、この画像特徴量の生成元となる距離を奥行きにして３次元画像としているため、利用者は、的確に被写体を３次元的に把握することができる。
【００５６】
なお、図２において上述した解析対象画像抽出部２０１、オプティカルフロー算出部２０２、距離算出部２０３、画像特徴量生成部２０４、変換部２０５、表示制御部２０６、補正部２０７は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に記録されたプログラムを、ＣＰＵ１０１が実行することによって、また通信Ｉ／Ｆ１０９やキーボード１１０やマウス１１１や映像Ｉ／Ｆ１１４によって、その機能を実現する。
【００５７】
（カメラ１１５の設置概要）
つぎに、図３を用いて、この発明の実施の形態にかかるカメラ１１５の設置の概要について説明する。図３は、この発明の実施の形態にかかるカメラの設置の概要を示す説明図である。図３において、任意のルート３００上を走行する車両３０１には、カメラ１１５が設置されている。
【００５８】
カメラ１１５は、車両３０１の側方を撮影する向きに設置されており、左右の側方どちらかを限定するものではなく、また、可動式としてもよい。なお、本実施の形態では、カメラ１１５は、車両３０１の左側方について道路わきの建物や地面などの地表物や、移動体から臨む道路わきからの建物や地面などの地表物やその他立体物などを撮影することとする。
【００５９】
また、カメラ１１５は、モノクロやカラーのどちらでもよく、ビデオカメラやラインセンサカメラなどによって構成され、１秒間に数十フレームの間隔で連続的に側方画像を撮影する。なお、単位時間あたりに撮影するフレーム数が、前述のフレームレートＦとなる。
【００６０】
（２次元パノラマ画像の概要）
つぎに、図４−１〜図４−３を用いて、この発明の実施の形態にかかる２次元パノラマ画像について説明する。図４−１は、この発明の実施の形態にかかる２次元パノラマ画像の一例を示す説明図である。
【００６１】
図４−１において、符号Ｆ1〜ＦNはカメラ１１５により撮影された一連のフレーム画像をあらわしている。フレーム画像Ｆ1〜ＦNは、たとえば、３２０画素×２４０画素および２４ｂｉｔのカラー画像であり、それら各フレーム画像Ｆ1〜ＦNから所定幅切り出された画像が２次元パノラマ画像の一部を構成するスリット画像Ｇ1〜ＧNである。このスリット画像Ｇ1〜ＧNを順次時系列に繋げることで２次元パノラマ画像Ｇが作成される。
【００６２】
ここで、図４−２を用いて、この発明の実施の形態にかかるフレーム画像Ｆ1〜ＦNにおけるスリット画像Ｇ1〜ＧNと、２次元パノラマ画像Ｇとの関係について説明する。図４−２は、この発明の実施の形態にかかる（ｎ）フレームのフレーム画像におけるスリット画像と、２次元パノラマ画像との関係について示す説明図である。
【００６３】
図４−２において、（ｎ）フレームのフレーム画像Ｆnにおけるスリット画像Ｇnは、フレーム画像Ｆnの中心付近を縦長に切り出されている。２次元パノラマ画像Ｇは、図４−
２で示したスリット画像Ｇnと同様にして切り出された、他のフレーム画像のスリット画
像Ｇn-1、Ｇn-2、Ｇn-3・・・を横方向に繋げることによって作成される。
【００６４】
つぎに、図４−３を用いて、この発明の実施の形態にかかるスリット画像の幅について説明する。図４−３は、この発明の実施の形態にかかる（ｎ−１）フレームおよび（ｎ）フレームのフレーム画像を示す説明図である。
【００６５】
図４−３において、（ｎ）フレームのフレーム画像Ｆnにおけるスリット画像Ｇnのスリット画像幅Ｗs（ｎ）は、連続する直前のフレーム画像Ｆn-1中の所定のテンプレート領域４３０が、フレーム画像Ｆnと、フレーム画像Ｆn-1の間に移動した移動量となる。
【００６６】
換言すれば、各フレーム画像間の移動量ずつ各フレーム画像の中心付近から切り出して、順次繋げることにより２次元パノラマ画像とすることで、車両３０１の移動中に左側方の画像を余すことなく２次元パノラマ画像にすることができる。
【００６７】
具体的には、スリット画像幅Ｗs（ｎ）は、テンプレート領域４３０と最も類似してい
る類似領域４４０を検索することによって求められる、テンプレート領域４３０から類似領域４４０への移動量である。
【００６８】
より具体的には、スリット画像幅Ｗs（ｎ）は、連続する（ｎ−１）フレームと（ｎ）
フレームにおける各画素の明度値を用いて求めることができる。明度値は、明るさをあらわす度合いであり、２４ｂｉｔのカラー画素値から算出できる値である。
【００６９】
スリット画像幅Ｗs（ｎ）は、（ｎ−１）フレームと（ｎ）フレームの明度値をそれぞ
れｐ（ｎ−１，ｘ，ｙ）とｐ（ｎ，ｘ，ｙ）として、（ｎ−１）フレームにおけるテンプレート領域４３０をフレーム画像Ｆn-1中心の横１００画素×縦８０画素とすると、下記
式（１）を満たすＷs（ｎ）を求めればよい。このとき、車両３０１は水平にしているた
め、垂直の移動成分は考慮しない。
【００７０】
【数１】
2007108090.tif 000024
【００７１】
（オプティカルフロー算出の概要）
つぎに、図５および図６を用いて、この発明の実施の形態にかかるオプティカルフローの算出について説明する。
【００７２】
図５は、この発明の実施の形態にかかる（ｎ）フレームのフレーム画像の鉛直線上における垂直８画素単位の分割を示す説明図である。オプティカルフロー算出部２０２は、カメラ１１５によって撮影されたフレーム画像Ｆnを参照して、フレーム画像Ｆn中心の鉛直線Ｌn上で垂直８画素単位のオプティカルフローを算出する。
【００７３】
換言すれば、オプティカルフロー算出部２０２は、縦軸方向における２４０画素を８画素ずつに分割し、３０個のオプティカルフローを算出する。８画素幅の分割は、たとえば、ｉ本（ｉ＝０〜２９の整数）のライン（１画素分）によって分割する構成でもよい。
【００７４】
つづいて、図６を用いて、この発明の実施の形態にかかるオプティカルフローの算出の一例について説明する。図６は、この発明の実施の形態にかかるオプティカルフローの算出の一例を示す説明図である。図６は、連続する（ｎ−１）フレームと（ｎ）フレームのフレーム画像Ｆn，Ｆn-1における、上からｉ番目（ｉ＝０〜２９の整数）の８画素幅領域を切り出したものである。
【００７５】
ｉ番目の８画素幅領域の切り出しは、たとえば、（８×ｉ）ラインから（８×（ｉ＋１）−１）ラインで切り出すもので、図６では、（ｎ−１）フレームのフレーム画像Ｆn-1
における切り出し領域６０１と、（ｎ）フレームのフレーム画像Ｆnにおける切り出し領
域６１１と、を示している。
【００７６】
つづいて、オプティカルフロー算出部２０２は、図６における（ｎ−１）フレームのフレーム画像Ｆnの中心付近において、横１００画素×縦８画素をテンプレート領域６０２
とし、この領域と最も近似する近似領域６１２を（ｎ）フレームのフレーム画像Ｆnから
探索する。このテンプレート領域６０２と、近似領域６１２の移動量が中心位置のオプティカルフローＯF（ｎ，ｉ）６２０となる。
【００７７】
近似領域６１２の検索は、下記式（２）を満たすオプティカルフローＯF（ｎ，ｉ）６
２０を、各値を変えながら探索する構成でもよい。なお、このとき車両３０１は水平に移動しているので、垂直成分は考慮しないものとした。
【００７８】
【数２】
2007108090.tif 000025
【００７９】
（距離算出の概要）
ここで、図７を用いて、この発明の実施の形態にかかる被写体までの距離の算出について説明する。図７は、この発明の実施の形態にかかる被写体までの距離の算出について示す説明図である。
【００８０】
図７において、（ｎ−１）フレームのフレーム画像Ｆn−１における被写体７０１と、
（ｎ）フレームのフレーム画像Ｆnにおける被写体７０２のフレーム間の移動量は、（ｎ
）フレームにおける車速Ｖ（ｎ）と撮影のフレームレートＦを用いると、Ｖ（ｎ）／Ｆとすることができる。フレームレートＦは、単位時間あたりに撮影されるフレーム数で、１秒あたり３０フレーム撮影することとしてもよい。車速Ｖ（ｎ）は、図示しない車速センサにより算出することとしてもよく、具体的には、タイヤが１回転するごとに１パルスを発生する車速パルス発生器と計数カウンタによって構成可能である。
【００８１】
より具体的には、車速Ｖ（ｎ）は、（タイヤの回転数）×（タイヤの円周）から、単位時間あたりの移動距離を算出して、速度として出力する。また、車速Ｖ（ｎ）は、たとえば、加速度センサなど他のセンサの出力によって算出する構成でもよい。
【００８２】
また、図７において、焦点距離ｆは、カメラ１１５におけるレンズ７０３から投影面７０４までの距離である。
【００８３】
図７より、（ｎ）フレームの被写体７０２までの距離Ｄ（ｎ，ｉ）は、距離算出部２０３によって、前述の式（２）によるオプティカルフローＯF（ｎ，ｉ）６２０と、フレー
ム間の移動量Ｖ（ｎ）／Ｆと、焦点距離ｆを用いて、下記式（３）により算出される。
【００８４】
【数３】
2007108090.tif 000026
【００８５】
（画像特徴量の生成）
つぎに、図８および図９を用いて、この発明の実施の形態にかかる画像特徴量について説明する。図８は、この発明の実施の形態にかかる画像特徴量について示す説明図である。
【００８６】
図８において、２次元パノラマ画像における被写体までの距離Ｄ（ｎ，ｉ）は、図７で前述したように距離算出部２０３によって（ｎ）フレームのフレーム画像Ｆnにおけるス
リット画像幅Ｗs（ｎ）×８画素幅のブロック領域Ｂ（ｎ，ｉ）ごとに計算される。ブロ
ック領域Ｂ（ｎ，ｉ）におけるｎおよびｉは、それぞれ２次元パノラマ画像の作成元となったフレーム画像のフレーム番号と、オプティカルフロー算出部２０２によってオプティカルフローを算出した縦軸方向の番号である。
【００８７】
ここで、画像特徴量として画素値を用いた距離画像８００は、２次元パノラマ画像に対応する位置のブロック領域Ｂ（ｎ，ｉ）における画素値を、距離算出部２０３によって算出された距離Ｄ（ｎ，ｉ）に応じた画素値としている。具体的には、距離Ｄ（ｎ，ｉ）がカメラ１１５（車両３０１）から近い方から順に明るい（白い）画素値としている。
【００８８】
また、ブロック領域Ｂ（ｎ，ｉ）内の画素値は一定の値であり、それぞれ距離情報テーブル８１０として記録することとしてもよい。この距離情報テーブル８１０は、スリット画像ごとに距離画像に関する情報を含んでいるため、距離情報テーブル８１０から距離画像８００へ容易に変換できる。
【００８９】
具体的には、距離情報テーブル８１０におけるデータは、ＦＲＡＭＥと、ＬＥＦＴと、ＷＩＤＴＨと、ＤＥＰＴＨ＿ｉと、ＡＲＥＡ＿ｉと、から構成されている。ＦＲＡＭＥは、フレーム番号を指し、（ｎ）フレームのフレーム画像Ｆnであれば（ｎ）である。
【００９０】
ＬＥＦＴは、（ｎ）フレームから蓄積されたスリット画像Ｇnの位置を指し、図８では
、ＬＥＦＴｎである。また、ＷＩＤＴＨは、（ｎ）フレームから蓄積されたスリット画像幅Ｗs（ｎ）を指し、図８では、ＷＩＤＴＨｎである。
【００９１】
ＤＥＰＴＨ＿ｉは、スリット画像Ｇnにおける縦軸方向ｉ番目の８画素幅のブロック領
域Ｂ（ｎ，ｉ）の距離Ｄ（ｎ，ｉ）である。ＡＲＥＡ＿ｉは、スリット画像Ｇnにおける
縦軸方向ｉ番目の８画素幅のブロック領域Ｂ（ｎ，ｉ）の領域ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）である。ここで、ｉは、図５で前述したように、０〜２９の整数である。
【００９２】
領域ＩＤは、変換部２０５によって、注目ブロック領域の画像特徴量を、周辺ブロック領域の画像特徴量に変換することによって併合された、均一な画像特徴量を有する領域に特有のＩＤである。換言すれば、２次元パノラマ画像について均一な画像特徴量ごとに分割された領域のＩＤである。
【００９３】
詳細は図１２に後述するが、領域分割処理は、具体的には、変換部２０５によって任意の注目ブロック領域の画像特徴量と、周辺ブロック領域の画像特徴量とを比較して、画像特徴量が近いブロック領域を併合することによっておこなう。
【００９４】
併合は、たとえば、注目ブロック領域の画像特徴量を周辺ブロック領域における画像特徴量に変換することである。また、併合は、注目ブロック領域の画像特徴量と周辺ブロック領域における画像特徴量の少なくともいずれかを変換して画像特徴量を同一にすることとしてもよい。
【００９５】
画像特徴量の比較は、たとえば、下記式（４）および式（５）に示す値を用いておこなうことができる。
【００９６】
【数４】
2007108090.tif 000027
【００９７】
【数５】
2007108090.tif 000028
【００９８】
ここで、ｑ（ｘ，ｙ）は、２次元パノラマ画像の位置（ｘ，ｙ）における画素の明度値であり、上記式（４）におけるＱ（ｎ，ｉ，ｈ）は、ブロック領域Ｂ（ｎ，ｉ）を正規化した明度ヒストグラムを示す。
【００９９】
そして、下記式（６）によって算出される値が所定の変換の関するしきい値以下であるとき、ブロック領域Ｂ（ｎ，ｉ）と、ブロック領域Ｂ（ｎ，ｉ）とは異なるブロック領域Ｂ（ｍ，ｊ）とは類似する領域として併合することができる。
【０１００】
【数６】
2007108090.tif 000029
【０１０１】
上述のように領域分割処理をおこなうことによって、オプティカルフローの算出の誤差などに起因して、不均一な画像特徴量が生成されたブロック領域をなくすことができる。
【０１０２】
具体的には、本実施の形態にかかる画像解析装置２００は、カメラ１１５から撮影されたカメラ画像を、３次元画像として表示する際に画像特徴量を用いている。この画像特徴量は、オプティカルフローの算出の誤差やオプティカルフロー抽出エラーなどに起因する誤った画像特徴量が含まれている。そこで、誤った画像特徴量を修正するため、所定の変換に関するしきい値（以下、「領域分割用しきい値」ともいう）を設定して、領域分割用しきい値よりも画像特徴量の差が小さい場合に、注目ブロック領域と周辺ブロック領域とを併合する構成としている。
【０１０３】
このように、領域分割処理を施すことによって、２次元パノラマ画像を均一な画像特徴量を有する複数の領域に分割することができる。図９は、この発明の実施の形態にかかる領域分割処理の一例を示す説明図である。
【０１０４】
図９において、２次元パノラマ画像Ｇにおける車両３０１の側面領域９０１は、カメラ１１５（車両３０１）からの距離がほぼ均一な領域である。距離画像８００においては、上述の領域分割処理によって、車両３０１の側面領域９１１を分割することができる。
【０１０５】
このように、領域分割処理を終了した後の距離画像８００について、分割された領域における画像特徴量は、それぞれ領域分割用しきい値よりも大きい差となっている。この領域分割処理後の領域には、オプティカルフローの誤った算出などに起因して、周辺と極端に異なる画像特徴量を有する領域が存在する場合がある。
【０１０６】
周辺と極端に異なる画像特徴量は、たとえば、オプティカルフローの誤った算出などによって被写体まで距離が無限遠となったり、カメラ１１５（車両３０１）に接触するような距離となったりするために生成される。
【０１０７】
周辺と極端に異なる画像特徴量を補正するために、補正部２０７によって画像特徴量補正処理をおこなう。詳細は図１３に後述するが、画像特徴量補正処理は、変換後（以下、「領域分割処理後」ともいう）の任意の注目ブロック領域の画像特徴量と、周辺ブロック領域の画像特徴量とを比較して、ブロック領域の画像特徴量を併合することによっておこなう。
【０１０８】
比較および併合については前述の領域分割処理とほぼ同様であるため説明を省略するが、前述の式（６）によって算出される値が所定の補正に関するしきい値（以下、「補正用しきい値」ともいう）以上であるとき、ブロック領域を併合することとしてもよい。
【０１０９】
なお、画像特徴量補正処理について、本明細書では領域分割処理後のブロック領域について説明しているが、領域分割処理後のブロック領域同士を比較する構成としてもよい。より具体的には、領域分割処理後に均一な画像特徴量となった領域に囲まれた、領域の画像特徴量について、周辺の領域の画像特徴量と比較する。そして、画像特徴量の差が補正用しきい値以上である場合、それぞれのブロック領域における画像特徴量の併合をおこなう。
【０１１０】
画像特徴量補正処理を終了した後、表示制御部２０６は、表示部２１０の有する表示画面を制御して、解析対象画像における補正後の画像特徴量を用いて、３次元画像を表示する。
【０１１１】
図１０は、この発明の実施の形態にかかる３次元画像の表示画面を示す説明図である。図１０において３次元画像１０００は、画像特徴量の生成元となる被写体までの距離を奥行きｚ値、２次元パノラマ画像中の各ブロック領域の位置をｘ値およびｙ値として、テクスチャ画像として描画される。
【０１１２】
図１０に示すように、３次元画像１０００によれば、被写体はひずんで表示されずに、利用者は、被写体までの距離を正確に把握することができる。さらに、車両周辺の立体物について、適切な距離が奥行きとして表示されているため、利用者は、的確に被写体を３次元的に把握することができる。
【０１１３】
（画像解析装置２００の画像解析処理手順）
つぎに、図１１を用いて、この発明の実施の形態にかかる画像解析装置２００の画像解析処理手順について説明する。図１１は、この発明の実施の形態にかかる画像解析装置の画像解析処理の内容を示すフローチャートである。
【０１１４】
図１１のフローチャートにおいて、まず、カメラ１１５によって、車両３０１の左側方のカメラ画像の撮影を開始したか否かを判断する（ステップＳ１１０１）。撮影の開始は、車両３０１の走行の開始とともにおこなわれる構成でもよい。また、撮影の開始は、利用者が必要に応じて、不図示の入力部を操作することによって開始されることとしてもよい。
【０１１５】
ステップＳ１１０１において、撮影を開始するのを待って、開始した場合（ステップＳ１１０１：Ｙｅｓ）は、つぎに、記録媒体に２次元パノラマ画像を記録する（ステップＳ１１０２）。記録媒体は、たとえば、図１で前述したＨＤ１０５やＦＤ１０７や映像Ｉ／Ｆ１１４の有するバッファメモリなどで、ＣＰＵ１０１の制御にしたがって２次元パノラマ画像が記録される。
【０１１６】
そして、３次元画像の表示要求を受け付けたか否かを判断する（ステップＳ１１０３）。３次元画像の表示要求は、たとえば、利用者が不図示の入力部を操作することによっておこなわれる。また、３次元画像の表示要求は、走行中の車両３０１が駐車をする際の挙動を検出してもよい。具体的には、車両３０１が駐車スペースを通過した後に停車して、後進に移行する挙動を表示要求として検出する。
【０１１７】
ステップＳ１１０３において、３次元画像の表示要求を受け付けない場合（ステップＳ１１０３：Ｎｏ）は、ステップＳ１１０１に戻って処理を繰り返す。
【０１１８】
また、ステップＳ１１０３において、３次元画像の表示要求を受け付けた場合（ステップＳ１１０３：Ｙｅｓ）は、解析対象画像抽出部２０１によって、ステップＳ１１０２において記録された２次元パノラマ画像の中から、解析対象画像を抽出する（ステップＳ１１０４）。
【０１１９】
つぎに、オプティカルフロー算出部２０２によって、ステップＳ１１０４において抽出された解析対象画像に関するオプティカルフローを算出する（ステップＳ１１０５）。オプティカルフローの算出は、連続するフレーム画像間における被写体の移動量によって算出することができる。
【０１２０】
そして、距離算出部２０３によって、ステップＳ１１０５において算出されたオプティカルフローを用いて、２次元パノラマ画像中における被写体までの距離を算出する（ステップＳ１１０６）。
【０１２１】
つぎに、画像特徴量生成部２０４によって、ステップＳ１１０６において算出された距離に基づいて、解析対象画像における画像特徴量を生成する（ステップＳ１１０７）。具体的には、画像特徴量は、２次元パノラマ画像中の被写体までの距離に応じた画素値を用いて生成する。
【０１２２】
そして、変換部２０５によって、ステップＳ１１０７において生成された画像特徴量に基づいて、解析対象画像の領域分割処理をおこなう（ステップＳ１１０８）。
【０１２３】
具体的には、領域分割処理は、注目ブロック領域における画像特徴量と、周辺ブロック領域における画像特徴量との差が所定のしきい値（領域分割用しきい値）以下である場合、注目ブロック領域の画像特徴量を周辺ブロック領域における画像特徴量に変換することによりおこなわれ、領域分割処理の詳細は図１２に後述する。
【０１２４】
つぎに、補正部２０７によって、ステップＳ１１０８において領域分割処理がおこなわれた解析対象画像について画像特徴量補正処理をおこなう（ステップＳ１１０９）。
【０１２５】
具体的には、画像特徴量補正処理は、領域分割処理後の注目ブロック領域における画像特徴量と、領域分割処理後の周辺ブロック領域における画像特徴量との差が所定のしきい値（補正用しきい値）以上である場合、変換後注目ブロック領域の画像特徴量を変換後周辺ブロック領域における画像特徴量に補正することによりおこなわれ、詳細は図１３に後述する。
【０１２６】
そして、表示制御部２０６の制御にしたがい、表示部２１０によって解析対象画像に関する３次元画像を表示して（ステップＳ１１１０）、一連の処理を終了する。３次元画像は、具体的には、画像特徴量の生成元となる被写体までの距離を奥行きとして、２次元パノラマ画像中の各ブロック領域をテクスチャ画像として描画される画像であり、利用者は、この３次元画像を確認することによって、車両周辺環境を正確に理解することができる。
【０１２７】
つづいて、図１２を用いて、この発明の実施の形態にかかる画像解析装置２００における領域分割処理（図１１のステップＳ１１０８）手順について説明する。図１２は、この発明の実施の形態にかかる画像解析装置における領域分割処理（図１１のステップＳ１１０８）の内容を示すフローチャートである。
【０１２８】
図１２のフローチャートにおいて、まず、変換部２０５によって、解析対象画像における任意の注目ブロック領域を選択する（ステップＳ１２０１）。注目ブロック領域は、所定の範囲を有するブロック領域であり、たとえば、前述した２次元パノラマ画像を構成する各スリット画像のスリット画像幅と、オプティカルフロー算出部２０２によるオプティカルフロー算出における画素幅で囲まれた領域である。
【０１２９】
そして、変換部２０５によって、ステップＳ１２０１において選択された注目ブロック領域における画像特徴量と、注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量とを比較して、画像特徴量の差はしきい値以下であるか否かを判断する（ステップＳ１２０２）。なお、ステップＳ１２０２におけるしきい値は、前述の領域分割用しきい値であり、たとえば、移動体との距離が均一な被写体について、オプティカルフローの算出の誤差などに起因して、不均一な画像特徴量が生成されたブロック領域をなくすよう設定する。
【０１３０】
ステップＳ１２０２において、画像特徴量の差がしきい値以下でない場合（ステップＳ１２０２：Ｎｏ）は、つづいて、変換部２０５によって、解析対象画像におけるすべてのブロック領域について処理を終了したか否かを判断する（ステップＳ１２０４）。
【０１３１】
また、ステップＳ１２０２において、画像特徴量の差がしきい値以下であった場合（ステップＳ１２０２：Ｙｅｓ）は、つづいて、変換部２０５によって、画像特徴量を変換する（ステップＳ１２０３）。画像特徴量の変換は、具体的には、注目ブロック領域の画像特徴量を周辺ブロック領域における画像特徴量に変換することによって、解析対象画像を均一な画像特徴量ごとに分割された領域に分割する。
【０１３２】
なお、図１２のフローチャートでは説明を省略するが、ステップＳ１２０３において画像特徴量を変換するとともに、領域ＩＤを変換することとしてもよい。具体的には、たとえば、注目ブロック領域の領域ＩＤを、周辺ブロック領域の領域ＩＤに変換して、同一の領域ＩＤとする。
【０１３３】
そして、変換部２０５によって、解析対象画像におけるすべてのブロック領域について処理を終了したか否かを判断する（ステップＳ１２０４）。
【０１３４】
ステップＳ１２０４において、すべてのブロック領域について処理を終了していない場合（ステップＳ１２０４：Ｎｏ）は、ステップＳ１２０１に戻って処理を繰り返す。
【０１３５】
また、ステップＳ１２０４において、すべてのブロック領域について処理を終了した場合（ステップＳ１２０４：Ｙｅｓ）は、図１１におけるステップＳ１１０８の領域分割処理を終了して、ステップＳ１１０９へ移行する。
【０１３６】
つぎに、図１３を用いて、この発明の実施の形態にかかる画像解析装置２００における画像特徴量補正処理（図１１のステップＳ１１０９）手順について説明する。図１３は、この発明の実施の形態にかかる画像解析装置における画像特徴量補正処理（図１１のステップＳ１１０９）の内容を示すフローチャートである。
【０１３７】
図１３のフローチャートにおいて、まず、補正部２０７によって、解析対象画像における領域分割処理後の注目ブロック領域を選択する（ステップＳ１３０１）。
【０１３８】
そして、補正部２０７によって、ステップＳ１３０１において選択された領域分割処理後の注目ブロック領域における画像特徴量と、領域分割処理後の注目ブロック領域近傍に存在する周辺ブロック領域における画像特徴量とを比較して、画像特徴量の差はしきい値以上であるか否かを判断する（ステップＳ１３０２）。なお、ステップＳ１３０２におけるしきい値は、前述の補正用しきい値であり、たとえば、移動体との距離が均一な被写体について、オプティカルフローの誤った算出などに起因して、周辺から極端に異なる画像特徴量が生成されたブロック領域をなくすよう設定する。
【０１３９】
ステップＳ１３０２において、画像特徴量の差がしきい値以上でない場合（ステップＳ１３０２：Ｎｏ）は、つづいて、補正部２０７によって、解析対象画像におけるすべてのブロック領域について処理を終了したか否かを判断する（ステップＳ１３０４）。
【０１４０】
また、ステップＳ１３０２において、画像特徴量の差がしきい値以上であった場合（ステップＳ１３０２：Ｙｅｓ）は、つづいて、補正部２０７によって、画像特徴量を補正する（ステップＳ１３０３）。画像特徴量の補正は、具体的には、領域分割処理後の注目ブロック領域の画像特徴量を領域分割処理後の周辺ブロック領域における画像特徴量に補正する。
【０１４１】
なお、図１３のフローチャートでは説明を省略するが、ステップＳ１３０３において画像特徴量を補正するとともに、領域ＩＤを変換することとしてもよい。具体的には、たとえば、補正をおこなった領域分割処理後の注目ブロック領域の領域ＩＤを、補正元となった領域分割処理後の周辺ブロック領域の領域ＩＤに置換して、同一の領域ＩＤとする。
【０１４２】
そして、補正部２０７によって、解析対象画像におけるすべてのブロック領域について処理を終了したか否かを判断する（ステップＳ１３０４）。
【０１４３】
ステップＳ１３０４において、すべてのブロック領域について処理を終了していない場合（ステップＳ１３０４：Ｎｏ）は、ステップＳ１３０１に戻って処理を繰り返す。
【０１４４】
また、ステップＳ１３０４において、すべてのブロック領域について処理を終了した場合（ステップＳ１３０４：Ｙｅｓ）は、図１１におけるステップＳ１１０９の画像特徴量補正処理を終了して、ステップＳ１１１０へ移行する。
【０１４５】
このように、この発明の実施の形態によれば、解析対象画像のオプティカルフローを算出して、被写体までの距離を算出する。そして、被写体までの距離に応じた画像特徴量によって３次元画像を表示するため、特徴点の抽出が困難な立体物が車両周辺に存在している場合でも、利用者は、３次元画像を確認することにより、的確に車両周辺環境の理解を図ることができる。
【０１４６】
また、画像特徴量の変換および補正をおこなって３次元画像を表示するため、オプティカルフローの算出の誤差やエラーなどによって、３次元画像中における車両周辺環境の理解が困難となる箇所の出現を防ぐことができる。具体的には、３次元画像中における奇異な凹凸を削減することができる。したがって、利用者は、３次元画像を確認することにより、正確に車両周辺環境の理解を図ることができる。
【０１４７】
車両の周辺環境を２次元的な画像でなく３次元画像として表示するため、車両と車両周辺に存在する立体物と間にひずみは生じない。したがって、車両と車両周辺に存在する立体物の位置関係を的確に把握することができる。
【０１４８】
特に、利用者は、３次元画像を確認することにより、車両が駐車する空間を適切に認識することができるため、車両の駐車を安全かつ容易におこなうことができる。
【０１４９】
以上説明したように、この発明によれば、利用者に、移動体の周辺環境を正確に認識させ、適切な理解を促すことができる。
【０１５０】
なお、本実施の形態で説明した画像解析方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
【産業上の利用可能性】
【０１５１】
以上のように、本発明にかかる画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置および画像解析方法は、移動体の周辺環境の理解補助に有用であり、特に車両が駐車する際の車両周辺環境を立体的に運転者に提示することによる駐車支援に適している。
【図面の簡単な説明】
【０１５２】
【図１】図１は、この発明の実施の形態にかかる画像解析装置のハードウェア構成を示すブロック図である。
【図２】図２は、この発明の実施の形態にかかる画像解析装置の機能的構成を示すブロック図である。
【図３】図３は、この発明の実施の形態にかかるカメラの設置の概要を示す説明図である。
【図４−１】図４−１は、この発明の実施の形態にかかる２次元パノラマ画像の一例を示す説明図である。
【図４−２】図４−２は、この発明の実施の形態にかかる（ｎ）フレームのフレーム画像におけるスリット画像と、２次元パノラマ画像との関係について示す説明図である。
【図４−３】図４−３は、この発明の実施の形態にかかる（ｎ−１）フレームおよび（ｎ）フレームのフレーム画像を示す説明図である。
【図５】図５は、この発明の実施の形態にかかる（ｎ）フレームのフレーム画像の鉛直線上における垂直８画素単位の分割を示す説明図である。
【図６】図６は、この発明の実施の形態にかかるオプティカルフローの算出の一例を示す説明図である。
【図７】図７は、この発明の実施の形態にかかる被写体までの距離の算出について示す説明図である。
【図８】図８は、この発明の実施の形態にかかる画像特徴量について示す説明図である。
【図９】図９は、この発明の実施の形態にかかる領域分割処理の一例を示す説明図である。
【図１０】図１０は、この発明の実施の形態にかかる３次元画像の表示画面を示す説明図である。
【図１１】図１１は、この発明の実施の形態にかかる画像解析装置の画像解析処理の内容を示すフローチャートである。
【図１２】図１２は、この発明の実施の形態にかかる画像解析装置における領域分割処理（図１１のステップＳ１１０８）の内容を示すフローチャートである。
【図１３】図１３は、この発明の実施の形態にかかる画像解析装置における画像特徴量補正処理（図１１のステップＳ１１０９）の内容を示すフローチャートである。
【符号の説明】
【０１５３】
１００  バス
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  ＨＤＤ
１０５  ＨＤ
１０６  ＦＤＤ
１０７  ＦＤ
１０８  ディスプレイ
１０９  通信Ｉ／Ｆ
１１０  キーボード
１１１  マウス
１１２  スキャナ
１１３  プリンタ
１１４  映像Ｉ／Ｆ
１１５  カメラ
１１６  ネットワーク
２００  画像解析装置
２０１  解析対象画像抽出部
２０２  オプティカルフロー算出部
２０３  距離算出部
２０４  画像特徴量生成部
２０５  変換部
２０６  表示制御部
２０７  補正部
２１０  表示部
【国際調査報告】
2007108090.tif 000030
2007108090.tif 000031