(57)【特許請求の範囲】
【請求項１】
カスケード構造を用いてステレオ画像を表示して画像における目標を分析する方法であって、
入力されたステレオ画像に対し、ステレオ画像中の第一類相関特徴、ルール又はモデルにより、少なくとも一つの第一の第一階級構造マップを生成するステップと、
前記少なくとも一つの第一の第一階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第一階級目標分析結果の構造マップを得るステップと、を含み、
各自の第一の第一階級構造マップは、当該第一類相関特徴、ルール又はモデルの各自の厳格レベルにより生成されるものであり、前記各自の第一の第一階級構造マップは各自の第一分割レベルでの目標を含む、目標分析方法。
【請求項２】
入力されたステレオ画像に対し、前記第一類相関特徴、ルール又はモデルと異なる第二類相関特徴、ルール又はモデルにより、少なくとも一つの第二の第一階級構造マップを生成するステップと、
前記少なくとも一つの第一の第一階級構造マップと前記少なくとも一つの第二の第一階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第一階級目標分析結果の構造マップを得るステップと、をさらに含み、
各自の第二の第一階級構造マップは当該第二類相関特徴、ルール又はモデルの各自の厳格レベルにより生成されるものであり、前記各自の第二の第一階級構造マップは各自の第二分割レベルでの目標を含む、請求項１に記載の目標分析方法。
【請求項３】
前記第一階級目標分析結果の構造マップに対し、前記第一類又は第二類相関特徴、ルール又はモデルとは異なる第三類相関特徴、ルール又はモデルにより、少なくとも一つの第二階級構造マップを生成するステップと、
前記少なくとも一つの第二階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第二階級目標分析結果の構造マップを得るステップと、をさらに含み、
各自の第二階級構造マップは、当該第三類相関特徴、ルール又はモデルの各自の厳格程度により生成されるものであり、前記各自の第二階級構造マップは各自の第三フィッティングレベルでの目標を含む、請求項２に記載の目標分析方法。
【請求項４】
前記第一類又は第二類相関特徴、ルール又はモデルは、クラスタリングに用いる空間隣接性特徴、グレースケール一致性特徴、エッジ連続性特徴、又は輪郭特徴を含み、
前記第一類又は第二類相関特徴、ルール又はモデルの各自の厳格レベルは、空間隣接性特徴の場合の、固定視差中心又は移動可能視差中心による各自の空間視差閾値のクラスタリングと、グレースケール一致性特徴の場合の、各自のグレースケール差閾値によるクラスタリングと、エッジ連続性特徴の場合の、各自のエッジ連続性閾値によるクラスタリング、又は輪郭特徴の場合の、各自の輪郭包含関係によるクラスタリングを含み、
前記第三類相関特徴、ルール又はモデルは、垂直線フィッティングモデル、平面フィッティングモデル又は立方体フィッティングモデルを含む、請求項３に記載の目標分析方法。
【請求項５】
前記少なくとも一つの第一の第一階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第一階級目標分析結果の構造マップを得るステップは、
前記各自の第一分割レベルでの目標を含む少なくとも一つの第一の第一階級構造マップにより相互補正を行い、目標の特徴により、どの第一分割レベルで分割して得られた目標がより正確であるかを決定し、決定された第一分割レベルで分割して得られた目標を含む第一階級目標分析結果の構造マップを得るステップを含む、請求項１に記載の目標分析方法。
【請求項６】
前記少なくとも一つの第一の第一階級構造マップと前記少なくとも一つの第二の第一階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第一階級目標分析結果の構造マップを得るステップは、
前記少なくとも一つの第二の第一階級構造マップにより前記少なくとも一つの第一の第一階級構造マップを補正し、目標の特徴により、各自の第一分割レベルと各自の第二分割レベルのうちのどの分割レベルで分割して得られた目標がより正確であるかを決定し、決定された分割レベルで分割して得られた目標を含む第一階級目標分割結果の構造マップを得るステップを含む、請求項２に記載の目標分析方法。
【請求項７】
前記少なくとも一つの第二階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第二階級目標分析結果の構造マップを得るステップは、
前記各自の第三フィッティングレベルでの目標を含む少なくとも一つの第二階級構造マップにより相互補正を行い、目標の特徴により、どの第三フィッティングレベルで分割して得られた目標がより正確であるかを決定し、決定された第三フィッティングレベルで分割して得られた目標を含む第二階級目標分割結果の構造マップを得るステップを含む、請求項３に記載の目標分析方法。
【請求項８】
前記各自の第一分割レベルでの目標を含む少なくとも一つの第一の第一階級構造マップにより相互補正を行うステップは、
目標の特徴により、各自の第一分割レベルのうちのどの分割レベルで分割して得られた目標がより正確であるかを決定した後、当該決定された分割レベルで分割して得られた目標に達するように、前記各自の第一の第一階級構造マップにおいて分割して得られた目標を併合、或いは分割するステップを含む、請求項５に記載の目標分析方法。
【請求項９】
前記少なくとも一つの第二の第一階級構造マップにより前記少なくとも一つの第一の第一階級構造マップを補正するステップは、
目標の特徴により、各自の第一分割レベルと各自の第二分割レベルのうちのどの分割レベルで分割して得られた目標がより正確であるかを決定した後、当該決定された分割レベルで分割して得られた目標に達するように、前記各自の第一の第一階級構造マップ又は各自の第二の第一階級構造マップにおいて分割して得られた目標を併合、或いは分割するステップを含む、請求項６に記載の目標分析方法。
【請求項１０】
前記各自の第三フィッティングレベルでの目標を含む少なくとも一つの第二階級構造マップにより相互補正を行うステップは、
目標の特徴により、各自の第三フィッティングレベルのうちのどの分割レベルで分割して得られた目標がより正確であるかを決定した後、当該決定された分割レベルで分割して得られた目標に達するように、前記各自の第二階級構造マップにおいて分割して得られた目標を併合、或いは分割するステップを含む、請求項７に記載の目標分析方法。
【請求項１１】
目標の特徴は、目標の左右対称特性、目標の水平方向のグレースケール一致特性、又は目標の内部輪郭包含特性を含む、請求項５に記載の目標分析方法。
【請求項１２】
カスケード構造を用いてステレオ画像を表示して画像における目標を分析するシステムであって、
入力されたステレオ画像に対し、ステレオ画像中の第一類相関特徴、ルール又はモデルにより、少なくとも一つの第一の第一階級構造マップを生成する第一の第一階級生成装置と、
前記少なくとも一つの第一の第一階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第一階級目標分析結果の構造マップを得る第一の第一階級分析装置と、を含み、
各自の第一の第一階級構造マップは当該第一類相関特徴、ルール又はモデルの各自の厳格レベルにより生成されるものであり、前記各自の第一の第一階級構造マップは各自の第一分割レベルでの目標を含む、目標分析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はステレオビジョンの画像処理分野に関し、より具体的には、カスケード構造を用いてステレオ画像を表示することによりステレオ画像中の目標を分析する方法とシステムに関する。
【背景技術】
【０００２】
現在、ステレオビジョンに基づく3次元画像の分析、処理技術が、ホットな研究ポイントになってきている。例えば、信頼できる3次元ステレオによる道路環境の理解は、車両の自主運転にとって大変重要である。3次元ステレオによる道路環境識別の課題は、主として路面推定、消失点計算、目標検出等を含み、このうち、目標の分析と検出が最も重要な部分であり、車の自主制御に対して直接的な影響がある。
【０００３】
現在のステレオ画像の単フレーム情報による目標の分析と検出方法には主に二つの種類があり、（1）スライディング・ウィンドウ及びその改良された関連方法によるもの、（2）分割/クラスタリングの方法によるものである。第一類の方法は通常、比較的簡単であるが、計算量が非常に多い。第一類の方法に比べて、第二類の方法はリアルタイム的な方法という点で明らかな優位点があり、目標の外観変化に対して比較的強いロバスト性がある。しかし、第二類の方法は統一的な特徴或いは一致したルールで正確なクラスタ分割を行うことが難しく、クラスタリング条件が緩すぎると隣接目標を誤って併合したことによる過併合の結果を招き易く、クラスタリング条件が厳しすぎると一つの目標を誤って幾つかの小ブロックに分割したことによる過分割の結果を招く可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、以上の問題に対し、新規方法により、目標の分析と検出を行い、これによってより正確な目標位置を得るものを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の実施例の一の態様においては、カスケード構造を用いてステレオ画像を表示して画像における目標を分析する方法であって、入力されたステレオ画像に対し、ステレオ画像中の第一類相関特徴、ルール又はモデルにより、少なくとも一つの第一の第一階級構造マップを生成するステップと、前記少なくとも一つの第一の第一階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第一階級目標分析結果の構造マップを得るステップと、を含み、各自の第一の第一階級構造マップは、当該第一類相関特徴、ルール又はモデルの各自の厳格レベルにより生成されるものであり、前記各自の第一の第一階級構造マップは各自の第一分割レベルでの目標を含む、目標分析方法を提供する。
【０００６】
本発明の実施例の他の態様においては、カスケード構造を用いてステレオ画像を表示して画像における目標を分析するシステムであって、入力されたステレオ画像に対し、ステレオ画像中の第一類相関特徴、ルール又はモデルにより、少なくとも一つの第一の第一階級構造マップを生成する第一の第一階級生成装置と、前記少なくとも一つの第一の第一階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第一階級目標分析結果の構造マップを得る第一の第一階級分析装置と、を含み、各自の第一の第一階級構造マップは当該第一類相関特徴、ルール又はモデルの各自の厳格レベルにより生成されるものであり、前記各自の第一の第一階級構造マップは各自の第一分割レベルでの目標を含む、目標分析システムを提供する。
【図面の簡単な説明】
【０００７】
【図１】本発明の技術を応用した例示的なハードウェア構造である。
【図２】本発明の一実施例による、カスケード構造を用いたステレオ画像表示による画像中の目標分析方法の例示的なフローチャートである。
【図３】本発明の別の実施例による、カスケード構造を用いたステレオ画像表示による画像中の目標分析方法の例示的なフローチャートである。
【図４Ａ】本発明の更に別の実施例による、カスケード構造を用いたステレオ画像表示による画像中の目標分析の具体的方法の例示的なフローチャートである。
【図４Ｂ】図4Aの示す方法を応用したプロセスの直観的概念図である。
【図５】図4Aに示すように各類の相関特徴、ルール或いはモデルにより多系列の低階級カスケード構造ピラミッド（CSP）の構造マップを生成するプロセスのフローチャートである。
【図６Ａ】１類の相関特徴、ルール或いはモデル（即ち、空間隣接性特徴）により一系列の低階級カスケード構造ピラミッド（CSP）を生成する例示的な構造マップ、ならびに当該一系列の低階級構造マップを統合して目標を含む低階級目標分析結果の構造マップを得るプロセスの概念図である。
【図６Ｂ】１類の相関特徴、ルール或いはモデル（即ち、空間隣接性特徴）により一系列の低階級カスケード構造ピラミッド（CSP）を生成する例示的な構造マップ、ならびに当該一系列の低階級構造マップを統合して目標を含む低階級目標分析結果の構造マップを得るプロセスの概念図である。
【図６Ｃ】１類の相関特徴、ルール或いはモデル（即ち、空間隣接性特徴）により一系列の低階級カスケード構造ピラミッド（CSP）を生成する例示的な構造マップ、ならびに当該一系列の低階級構造マップを統合して目標を含む低階級目標分析結果の構造マップを得るプロセスの概念図である。
【図６Ｄ】１類の相関特徴、ルール或いはモデル（即ち、空間隣接性特徴）により一系列の低階級カスケード構造ピラミッド（CSP）を生成する例示的な構造マップ、ならびに当該一系列の低階級構造マップを統合して目標を含む低階級目標分析結果の構造マップを得るプロセスの概念図である。
【図６Ｅ】１類の相関特徴、ルール或いはモデル（即ち、空間隣接性特徴）により一系列の低階級カスケード構造ピラミッド（CSP）を生成する例示的な構造マップ、ならびに当該一系列の低階級構造マップを統合して目標を含む低階級目標分析結果の構造マップを得るプロセスの概念図である。
【図７Ａ】空間隣接性特徴に関する一系列の低階級構造マップとグレースケール一致性特徴に関する一系列の構造マップを統合して目標を含む別の低階級目標分析結果の構造マップを得るプロセスの概念図である。
【図７Ｂ】空間隣接性特徴に関する一系列の低階級構造マップとグレースケール一致性特徴に関する一系列の構造マップを統合して目標を含む別の低階級目標分析結果の構造マップを得るプロセスに係わる画像例の概念図である。
【図８Ａ】図7A に示す、目標を含む別の低階級目標分析結果の構造マップにより生成される一系列の高階級構造マップである。
【図８Ｂ】図8Aに示す一系列の高階級構造マップにより一系列の高階級カスケード構造ピラミッド（CSP）を得る構造マップである。
【図９】図8Aに示す一系列の高階級構造マップを統合して目標を含む高階級目標分析結果を生成する構造マップである。
【図１０】本発明の一実施例による、カスケード構造を用いたステレオ画像表示による画像中の目標分析システムの例示的なブロック図である。
【発明を実施するための形態】
【０００８】
以下、本発明の具体的実施例を詳細に参照して、添付図中に本発明の例を示すこととする。具体的実施例と併せて本発明を説明するが、本発明を前記実施例に限定する考えではないことが理解できる。反対に、添付した請求項の限定する本発明の精神と範囲内に含まれる変更、修正及び等価物をカバーしようとしている。注意すべきなのは、ここに述べる方法やステップは、如何なる機能ブロック或いは機能配置によっても実現できることであり、如何なる機能ブロック或いは機能配置も物理的実体、論理的実体、或いは両者の組合せとして実現されることである。
【０００９】
当該分野の技術者に、より良く本発明を理解していただくために、以下、添付図と具体的な実施方式をあわせて本発明について更に詳細な説明を行う。
【００１０】
図1は本発明の技術を応用した例示的なハードウェア構造である。
【００１１】
図1に示すように、ステレオカメラ（例えば二眼カメラ）は撮影したステレオ画像をデコーダに転送し、デコーダはそれを解析して必要な如何なる画像、例えば視差画像、グレースケール画像等にも変換することができ、デジタル信号処理器は目標画像（視差画像、グレースケール画像を含むがこれらに限定されない）を入力し、記憶装置と交互に処理を行い検出した目標と他の関係データを車両制御モジュールに出力し、車両制御モジュールは検出した目標と他の関係データにより、歩行者、車両、道路の識別、自動運転等、車両の制御を行うことができる。このうち、デジタル信号処理器は入力設備（二眼カメラとデコーダ）、出力設備（車両制御モジュール）ならびに記憶装置を連結することができる。本出願の提出する方法は当該デジタル信号処理器の中で機能することができる。
【００１２】
図2は本発明の一実施例による、カスケード構造を用いたステレオ画像表示による画像中の目標分析方法の例示的なフローチャートである。
【００１３】
図2に示すカスケード構造を用いたステレオ画像表示による画像中の目標分析方法は、入力したステレオ画像に対し、ステレオ画像中の第一類相関特徴、ルール或いはモデルにより、少なくとも一つの第一の第一階級構造マップを生成し、各自の第一の第一階級構造マップは当該第一類相関特徴、ルール或いはモデルの各自の厳格レベルにより生成されるものであり、前記各自の第一の第一階級構造マップは各自の第一分割レベルでの目標を含むステップS201、前記少なくとも一つの第一の第一階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第一階級目標分析結果の構造マップを得るステップS202を含む。
【００１４】
ここで、入力したステレオ画像に、例えば、それを視差画像、グレースケール画像、或いはエッジ検出して得られたエッジ検出画像に変換するなどの事前処理を行い、これにより上述したように、ステレオ画像中の第一類相関特徴、ルール或いはモデルにより、少なくとも一つの第一の第一階級構造マップを生成するのに便利なようにすることもできる。
【００１５】
１つの実施例で、第一類相関特徴、ルール或いはモデルには、クラスタリングに用いる空間隣接性特徴、グレースケール一致性特徴、エッジ連続性特徴、或いは輪郭特徴を含むことができる。実施例で、当該第一類相関特徴、ルール或いはモデルの各自の厳格レベルは、空間隣接性特徴の場合の、固定視差中心による、或いは移動可能視差中心による異なる空間視差（或いは距離、或いは奥行き）閾値のクラスタリング、グレースケール一致性特徴の場合の、異なるグレースケール差閾値によるクラスタリング、或いはエッジ連続性特徴の異なるエッジ連続性閾値によるクラスタリング、輪郭特徴の場合の異なる輪郭包含関係によるクラスタリング等を含む。例えば、人、自動車のように検出対象が一般に垂直に立っている場合は、視差画像に対する視差（或いは距離、或いは奥行き）パラメータは一つの視差（或いは距離、或いは奥行き）閾値（対象は垂直という仮定なので、当該閾値は比較的小さくて良い）を設定することができ、当該視差（或いは距離、或いは奥行き）閾値により、視差画像に対し固定視差中心或いは移動可能視差中心によるクラスタリングを行い、視差値（或いは距離、或いは奥行き値）が視差（或いは距離、或いは奥行き）閾値より小さい画素点をクラスタリングし、これにより分割区域を形成する。この分割区域は視差（或いは距離、或いは奥行き）閾値の値の大小により過分割、過併合或いは適切な大きさの形を形成する。その他、固定視差中心により上記クラスタリングを行うか、移動可能視差中心により上記クラスタリングを行うかの選択によっても、より小さい、或いはより大きいクラスタリング分割区域を形成することができる。
【００１６】
これにより、第一類相関特徴、ルール或いはモデルに対する各自の厳格レベルの選択によって、各自の分割レベルでの目標を含むクラスタリング構造マップが得られ、階層感のある一系列のクラスタリング構造マップを形成することができ、それらは多かれ少なかれ、大きいか小さいかの違いはあっても検出対象を含むことが分かる。なお、空間隣接性特徴によりクラスタリングする場合以外に、グレースケール一致性特徴の場合の異なるグレースケール差閾値、或いはエッジ連続性特徴の異なるエッジ連続性閾値によっても、別の幾つかの系列の階層感のあるクラスタリング構造マップが得られ、それらも多かれ少なかれ、大きいか小さいかの違いはあっても検出対象を含む。
【００１７】
これらの各自の分割レベルの構造マップを、より粗い分割レベルからより細かい分割レベルの順に上から下に並べれば、カスケード構造のピラミッド（Cascade Structure Pyramids, CSP）に類似した構造を構築することができ、このうちピラミッド底部の構造マップに相対して、ピラミッド最上部に位置する構造マップ中の情報は、通常、より少なく、より抽象的である。それをピラミッドと呼ぶ理由は、正に稠密表示法によっているため、CSP最上部に位置する構造マップがより抽象的で、データ量がより少なく、CSP底部に位置する構造マップより更に「小さく」、正にあたかもピラミッドのような形をしているためである。なお、当該ピラミッド構築のステップは選択的なものであり、ただ読者に向けて本発明の構想をより直観的に表現するためだけにある。
【００１８】
このように、各自の第一の第一階級構造マップが当該第一類相関特徴、ルール或いはモデルの各自の厳格レベルにより生成されるものであるため、この異なる第一階級構造マップは各自の分割レベルの目標を含むことができ、例えば、比較的に多くの過分割の（即ち、実際の対象が多すぎる小区域に分割された）目標や比較的に少ない過併合の（即ち、複数の実際の対象が大きな区域に統合された）目標を含む構造マップもあれば、比較的に少ない過分割の目標や比較的に多くの過併合の（即ち、分割が足りない）目標を含む構造マップもあり、なお、大きさがちょうど適切な、実際の対象を含む分割目標や少ない過分割、過併合の分割目標を含む構造マップもある。これらの各自の分割レベルの構造マップの分析により、過分割や過併合の分割目標を相互補正し、これにより比較的正確な分割目標を得ることができる。
【００１９】
１つの実施例では、前記の各自の第一分割レベルでの目標を含む少なくとも一つの第一の第一階級構造マップにより相互補正を行い、目標の特徴により、どの第一分割レベルで分割する目標がより正確であるかを決定し、これにより決定した第一分割レベルで分割した目標を含む第一階級目標分析結果の構造マップを得ることができる。例えば、空間隣接性特徴によりクラスタリングする場合、各自の第一の第一階級構造マップは各自の分割レベルの分割目標を有する。検出対象をバスと仮定すると、例えば目標の特徴には、典型的なバスの高さ、幅の平均値、バスの背面の各画素点の視差値（或いは距離、或いは奥行き値）の差が比較的小さいこと（バスの背面は典型的には垂直で二眼カメラの撮影する前方バスの背面は通常、二眼カメラに向き合っているため、バスの背面の画素点の視差画像上の視差値（或いは距離、或いは奥行き値）は概ね近い値を取る）、及び/またはバスの側面の垂直線上の各画素点の視差値（或いは距離、或いは奥行き値）の差が比較的小さく（同様にバスの側面は典型的には垂直であるため）、分割目標内部のある点の視差値（或いは距離、或いは奥行き値）と他の点の差異が大きくないこと等がある。このように、バスという具体的な対象の特徴により、大きさが所定の大きさに近似した分割目標、概ね近い視差値（或いは距離、或いは奥行き値）の差を有する分割目標、及び/または垂直線方向上で概ね近い視差値（或いは距離、或いは奥行き値）の差を有する分割目標はより正確な分割目標であると決定することができ、これにより当該分割目標を目標分析結果（即ち、検出対象の位置）として決定し、かつ分割目標内部のある数ブロックの視差値（或いは距離、或いは奥行き値）と他のブロックの視差値（或いは距離、或いは奥行き値）との差が比較的大きいことを根拠に、当該分割目標は更に分割することが可能である等と考えることができる。
【００２０】
このように、ある類に相関特徴、ルール或いはモデルについて、例えば、過分割区域の構造マップ、過併合区域の構造マップ、適切区域の構造マップ等を含む、各自の分割レベルでの目標を含む分割構造マップを得ることにより、分析して相互補正を行い、目標の特徴によりどの分割レベルで分割した目標がより正確であるかを決定し、これにより比較的正確な分割目標を得ることができる。
【００２１】
なお、本文では、通常、「対象」という術語を使用して、例示的、非限定的に、実際に検出する実際の物体を表示し、「目標」或いは「分割（する）目標」或いは「分割（する）区域」という術語を使用して、ステレオ画像に処理を行い得られた目標検出結果を表示するが、この目標検出結果は必ずしも対象の実際の真実の位置ではなく、上記のように異なる目標検出方法及び/または変化した目標検出の正確度により変わり得るということである。
【００２２】
図3は本発明の別の実施例による、カスケード構造を用いたステレオ画像表示による画像中の目標分析方法の例示的なフローチャートである。
【００２３】
図3に示す方法は、入力したステレオ画像に対し、ステレオ画像中の第一類相関特徴、ルール或いはモデルにより、少なくとも一つの第一の第一階級構造マップを生成し、各自の第一の第一階級構造マップは当該第一類相関特徴、ルール或いはモデルの各自の厳格レベルにより生成されるものであり、前記各自の第一の第一階級構造マップは各自の第一分割レベルでの目標を含むステップ301、入力したステレオ画像に対し、前記第一類相関特徴、ルール或いはモデルとは異なる第二類相関特徴、ルール或いはモデルにより、少なくとも一つの第二の第一階級構造マップを生成し、各自の第二の第一階級構造マップは当該第二類相関特徴、ルール或いはモデルの各自の厳格レベルにより生成されるものであり、前記各自の第二の第一階級構造マップは各自の第二分割レベルでの目標を含むステップ302、前記少なくとも一つの第一の第一階級構造マップと前記少なくとも一つの第二の第一階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第一階級目標分析結果の構造マップを得るステップ303を含む。
【００２４】
これにより、ステップ301では、第一類相関特徴、ルール或いはモデルに対する各自の厳格レベルの選択によって、各自の分割レベルでの目標を含むクラスタリング構造マップが得られ、階層感のある一系列の第一の第一階級クラスタリング構造マップを形成できることが分かる。同時に、ステップ302では、第二類相関特徴、ルール或いはモデルに対する各自の厳格レベルの選択によって、各自の分割レベルでの目標を含むクラスタリング構造マップが得られ、階層感のある一系列の第二の第一階級クラスタリング構造マップを形成することができる。
【００２５】
これらの各自の分割レベルの構造マップを、より粗い分割レベルからより細かい分割レベルの順に上から下に並べると、第一類相関特徴、ルール或いはモデルに対する最初の第一階級CSPピラミッド及び第二類相関特徴、ルール或いはモデルに対する二番目の第一階級CSPピラミッドを含む2つのカスケード構造ピラミッド（Cascade Structure Pyramids,
CSP）に類似した構造を構築することができる。なお、これらの二つのピラミッドは共に第一階級であることである。
【００２６】
その後、上記のように、各自の第一の第一階級構造マップは、第一類標準（例えば、相関特徴、ルール或いはモデル）に対する各自の分割レベルの目標を含むことができるので、例えば、比較的に多くの過分割の目標や比較的に少ない過併合の目標を含む第一の第一階級構造マップもあれば、比較的に少ない過分割の目標や比較的に多くの過併合の目標を含む第一の第一階級構造マップもあり、なお、適切な大きさの、実際の対象を含む分割目標や少量の過分割、過併合の分割目標を含む第一の第一階級構造マップもあり、同時に、各自の第二の第一階級構造マップは、第二類標準に対する各自の分割レベルの目標を含むことができるので、例えば、比較的に多くの過分割の目標や比較的に少ない過併合の目標を含む第二の第一階級構造マップもあれば、比較的に少ない過分割の目標や比較的に多くの過併合の目標を含む第二の第一階級構造マップもあり、なお、適切な大きさの、実際の対象を含む分割目標や少量の過分割、過併合の分割目標を含む第二の第一階級構造マップもある。これらの異なる標準の、かつ異なる標準下の各自の分割レベルの構造マップの分析により、過分割や過併合の分割目標を更に相互補正し、これにより比較的正確な分割目標を得ることができる。
【００２７】
１つの実施例では、前記少なくとも一つの第二の第一階級構造マップにより前記少なくとも一つの第一の第一階級構造マップを補正し、目標の特徴により、各自の第一分割レベルと各自の第二分割レベルのうちのどの分割レベルで分割する目標がより正確であるかを決定し、これにより決定した分割レベルで分割した目標を含む第一階級目標分析結果の構造マップを得ることができる。例えば、第一類標準が空間隣接性特徴によるクラスタリング、かつ第一類標準がグレースケール一致性特徴によるクラスタリングである場合、検出対象をバスと仮定すると、例えば目標の特徴は上記のように典型的なバスの高さ、幅の平均値、バスの背面の各画素点の視差値（或いは距離、或いは奥行き値）の差が比較的小さいこと、及び/またはバスの側面の垂直線上の各画素点の視差値（或いは距離、或いは奥行き値）の差が比較的小さいことを含み、例えばバスの背面の水平方向上のグレースケールが基本的に一致すること等を含むこともできる。このように、バスという具体的な対象の特徴により、大きさが所定の大きさに近似した分割目標、概ね近い視差値（或いは距離、或いは奥行き値）の差を有する分割目標、及び/または垂直線方向上で概ね近い視差値（或いは距離、或いは奥行き値）の差を有する、かつ背面の水平方向上のグレースケールが基本的に一致する分割目標がより正確な分割目標であると決定することができ、或いは、各自の第一階級構造マップ或いは各自の第二の第一階級構造マップ中の分割目標を併合、或いは分割して該決定した分割レベルでの分割目標を達成し、これにより当該分割目標が目標分析結果（即ち、検出対象の位置）であると決定することができる。
【００２８】
このように、ある二つの類の相関特徴、ルール或いはモデルについて、例えば、過分割区域の構造マップ、過併合区域の構造マップ、適切区域の構造マップ等を含む、各自の分割レベルでの目標を含む分割構造マップを得ることにより、分析して相互補正を行い、目標の特徴によりどの相関特徴、ルール或いはモデルの下で、どの分割レベルで分割した目標がより正確であるかを決定し、これにより比較的正確な分割目標を得ることができる。
【００２９】
１つの実施例では、目標の特徴に目標の左右対称特性、目標の水平方向上のグレースケール一致特性、或いは目標の内部輪郭包含特性等を含むことができる。なお、これらの特徴はただの例に過ぎず非限定的であり、目標の特徴は、例えば、人の頭や肩の「Ω」形と言った他の多くの目標に関係する具体的な図形や図形面での特徴も含むことができ、当該分野の技術者はこれらの特徴を考えることもできるが、ここでは一つ一つ例を挙げない。
【００３０】
ここまでの方法で、一区切り付けることもでき、つまり、図3に示すステップ304とステップ305を行わなくても一定の正確さの分割目標分析結果を得ることができる。なお、上記の分析も第一階級ピラミッドの目標分析であり、それは図2に示す実施例と比較すると、一つの第一階級ピラミッドでもう一つの第一階級ピラミッドの目標分析をサポートしているだけである。
【００３１】
続いて、より正確な分割目標結果を得るために、当該方法は第一階級ピラミッドの目標分析も含むことができ、それは、前記第一階級目標分析結果の構造マップに対し、前記第一類或いは第二類相関特徴、ルール或いはモデルと全て異なる第三類相関特徴、ルール或いはモデルにより、少なくとも一つの第二階級構造マップを生成し、異なる第一階級構造マップは当該第三類相関特徴、ルール或いはモデルの異なる厳格程度により生成されるものであり、前記各自の第二階級構造マップは各自の第三フィッティングレベルでの目標を含むステップ304、前記少なくとも一つの第二階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第二階級目標分析結果の構造マップを得るステップ305を含む。
【００３２】
このように、第一階級目標分析結果の構造マップにより第三類相関特徴、ルール或いはモデルに対する一系列の第二階級構造マップを構築し、選択として第二階級ピラミッドを構成し、これにより過分割区域、過併合区域、適切区域等を含む第二階級ピラミッドの構造マップを利用し、分析して相互補正し、目標の特徴によりどの分割レベルで分割した目標がより正確であるかを決定し、これにより比較的正確な分割目標を得ることもできる。ここで、当該第二階級ピラミッドは既に比較的正確な第一階級目標分析結果の構造マップを利用して更に構築したものであるため、第二階級ピラミッドの構造マップに対し分析と補正を行って得られた分割目標の構造マップはより正確である可能性がある。
【００３３】
１つの実施例で、当該第三類相関特徴、ルール或いはモデルは、幾何学的特徴による垂直線フィッティングモデル、平面フィッティングモデル、或いは立方体フィッティングモデルを含むことができる。具体的には、例えば、垂直線フィッティングモデルは例えば第一階級の分割目標が構築するブロックを一本の或いは数本の垂直線にフィットさせ、各垂直線上で、構造マップ中の分割目標の構成するブロックは全て相似した視差値（距離値或いは奥行き値）を有し、平面フィッティングモデルは例えば第一階級の分割目標の構成するブロックを一つ或いは複数の平面にフィットさせ、立方体フィッティングモデルは例えば第一階級の分割目標の構成するブロックを一つ或いは複数の立方体にフィットさせる。
【００３４】
１つの実施例では、前記の各自の第三フィッティングレベルでの目標を含む少なくとも一つの第二階級構造マップを相互補正し、目標の特徴により、どの第三フィッティングレベルで分割した目標がより正確であるかを決定し、これにより決定した第三フィッティングレベルで分割した目標を含む第二階級目標分析結果の構造マップを得ることができる。例えば、検出対象をバスと仮定すると、例えば目標の特徴は、バスの背面の垂直線上の分割ブロックの視差値（或いは距離、或いは奥行き値）の差が比較的小さいこと、バスの背面と側面が二つの面であること、及び/またはバス全体が一つの立方体であること等を含むことができる。このようにして、バスという具体的な対象の特徴により、バスの背面の垂直線上の各分割ブロックの視差値（或いは距離、或いは奥行き値）の差が比較的小さく、バスの背面と側面が二つの面であり、及び/またはバス全体が一つの立方体である分割目標はより正確な分割目標であると決定し、或いは異なる第一階級構造マップ中の分割目標に併合、或いは分割を行い、更にフィッティングして当該決定した分割レベルで分割した目標に到達するまで行い、これにより当該分割目標が目標分析結果（即ち、検出対象の位置）であると決定することができる。
【００３５】
このように、2級ピラミッド構造を経た後、第一階級ピラミッド構造の最初の目標分析結果を基に更なる目標分析結果を求め、これにより目標分析結果をより正確にさせることができる。
【００３６】
以上、二つの第一階級ピラミッド構造マップと一つの第二階級ピラミッド構造マップを説明しただけであるが、なお、本実施例はこれに限らず、実際には、三つ以上の第一階級ピラミッド構造マップ、二つ以上の第二階級ピラミッド構造マップより多くても良く、二つ以上の第三階級、第四階級、第n（nは正の整数）階級ピラミッド構造マップのいずれでも良い。具体的には、少なくとも一つの第一階級ピラミッド構造を利用して相互補正し第一階級目標分析結果としての構造マップを得、その後、第一階級目標分析結果を基に、少なくとも一つの第二階級ピラミッド構造マップを構築し、少なくとも一つの第二階級ピラミッド構造を利用して相互補正し第二階級目標分析結果としての構造マップを得、それから、第二階級目標分析結果を基に、少なくとも一つの第三級ピラミッド構造マップを構築し、少なくとも一つの第三級ピラミッド構造を利用して相互補正し第三級目標分析結果としての構造マップを得るが、その他もこれから類推すれば良く、ここでは贅言しない。
【００３７】
以下、実施例を利用して詳細に本技術のより具体的な細目を説明する。
【００３８】
図4Aは本発明の更に別の実施例による、カスケード構造を用いたステレオ画像表示による画像中の目標分析の具体的方法の例示的なフローチャートである。図4Bは図4Aの示す方法を応用したプロセスの直観的概念図である。
【００３９】
図4Aに示すような具体的な方法は、以下のような、入力したステレオ画像に対し低階級CSPを構築するステップ401、低階級CSPに対し補正と融合を行うステップ402、低階級により高階級CSP構築を行うステップ403、高階級CSPに対し分析を行って高階級CSPを補正し、検出目標の位置情報を得るステップ404を含む。
【００４０】
図4Bに示すように、当該実施例では、低階級と高階級の二つの級のピラミッド構造CSPに分け、各級ピラミッド構造CSP中にまた三個の構造マップを含む。例えば、図4Bに示すように、低階級CSPはピラミッドAとピラミッドBを含み、高階級CSPはピラミッドCとピラミッドDを含む。低階級ピラミッドAは三個の低階級カスケード構造マップ（Low Level Cascade Structure、LLCS）i、j、kを含み、低階級ピラミッドBは三個の低階級カスケード構造マップ（LLCS）l、m、nを含み、高階級ピラミッドCは三個の高階級カスケード構造マップ（High Level Cascade
Structure、HLCS）o、p、qを含み、高階級ピラミッドDは三個の高階級カスケード構造マップ（HLCS）r、s、tを含む。
【００４１】
なお、本文中で、理解の便宜を図るために、術語「階級」を使って複数のピラミッドの組成する大構造（図4Bのような上下二つの階級の大構造）を指し、「層」は一つのピラミッド内部の構造マップ（4Bに示すような一つのピラミッド内の三層構造）を指すことである。
【００４２】
図5は図4Aに示すように各類の相関特徴、ルール或いはモデルにより多系列の低階級カスケード構造ピラミッド（CSP）の構造マップを生成するプロセスのフローチャートである。
【００４３】
低階級CSP構築の例示的なフローチャートは図5のように示され、以下のように、空間隣接性特徴によりCSPを構築するステップS501、グレースケール一致性特徴によりCSPを構築するステップS502、エッジ連続性特徴によりCSPを構築するステップS503を含むがCSP構築はこれに限らない。他の相関特徴、ルール或いはモデルはここで一つ一つ例を挙げないが、当該分野の技術者は他の相関特徴、ルール或いはモデルを考えてCSPを構築することができる。本文はただ空間隣接性特徴によるCSP構築を例に説明するが、他のCSPは各自の選択した特徴により相応するクラスタリング法を用いて構築することができる。
【００４４】
図6A-6Eは類相関特徴、ルール或いはモデル（即ち、例に挙げた空間隣接性特徴）により一系列の低階級カスケード構造ピラミッド（CSP）を生成する例示的な構造マップ例、ならびに当該一系列の低階級構造マップを統合して目標を含む低階級目標分析結果の構造マップを得るプロセスの概念図である。
【００４５】
図6Aは入力したステレオ画像から変換して得られた元のグレースケール画像（図6Aの(a)のように示す）と元の視差画像（図6Aの(b)のように示す）である。
【００４６】
図4のステップ402では、例えば空間隣接性特徴による低層CSP構築を行い、入力した視差画像に対して処理を行い、これにより、非限定的に、以下を含む一系列の構造マップ（図6Bのように示す）を得ることができる。
【００４７】
（１）固定視差中心によるクラスタ画像
当該構造マップ中では、各分割区域は全て固定した視差値の中心（当該分割区域形成時に、当該分割区域に加わった最初の画素点の視差値が当該分割区域の視差値の中心となる）をもち、新たに加わる画素点は分割区域の視差値の中心（実際の視差値（或いは距離、或いは奥行き値）上にある）に近く、かつ当該分割区域の位置と隣接している。図6B中の(a)に示すように、白色の枠はクラスタの小ブロックを表示し、各ブロックは一つの分割区域であり、その中には視差、位置、大きさ等の情報を含む。当該例示的な構造マップはCSPの最下層に位置しており、何故ならこの方式で得られる構造マップ中の分割区域は比較的細かく、比較的具体的で、情報とデータ量が比較的多いからである。
【００４８】
（２）移動可能視差中心によるクラスタ画像
当該構造マップ中では、各分割区域の視差値の中心は偏移することができる。当該分割区域形成時に、当該分割区域に加わった最初の視差点の視差値が当該分割区域の視差値の中心となる。ある一つの分割区域に新たに加わる画素点はただ当該分割区域中でその隣接する境界点の視差値に近ければよく、その後、視差値の中心が当該新たに加わった画素点の視差値方向に偏移するが、これは当該視差値の中心が分割区域中の既にある画素点と新たに加わった画素点の視差値により計算されるものだからである。このため、新たに加わった各画素点は全て当該分割区域の視差値の中心に影響を及ぼす。当該構造マップはCSPの中層に位置するが、何故ならその中の分割区域が図6B(a)の最下層に比べより大きく、より抽象的で、情報とデータ量がより少ないからであり、図6Bの(b)に示すとおりである。
【００４９】
（３）大領域によるクラスタ画像
当該構造マップ中では、移動可能視差中心によるクラスタの採用と類似したルールで、ただ、視差値の差を制御する閾値パラメータがやや大きく、及び/または隣域の大きさをより大きくし、クラスタリングをより大きな隣域範囲内で行わせるだけであり、これにより比較的大きな分割区域を得る。当該構造マップはCSPの最上層に位置するが、何故ならその中の分割区域が図6B(b)の中層に比べより大きく、より抽象的で、情報とデータ量がより少ないからであり、図6Bの(c)に示すとおりである。
【００５０】
即ち、上記3種類の状況は全て空間隣接性特徴の各自の分割レベルによるものであり、これにより3種類の各自の分割レベルをもつ目標の構造マップが得られる。図6Cに示すように、最下層の構造マップが比較的に多くの過分割（即ち、実際の対象が多すぎる小区域に分割される）の目標と比較的に少ない過併合（即ち、複数の実際の対象が一つの大区域に併合される）の目標をもつ可能性があり、最上層の構造マップが比較的に少ない過分割の目標と比較的に多くの過併合（即ち、分割不足）の目標を含む可能性があるが、なお、中層の構造マップが大きさのちょうど適切な実際対象を含む分割目標と少量の過分割、過併合の分割目標を含む可能性もある。
【００５１】
なお、3層の構造マップはただの例であり、実際には2層或いは3層よりも多い構造マップを構築しても良い。
【００５２】
好ましくは、上記の構造マップを低から高への順に従って空間隣接性特徴によるCSPピラミッドに構成することもでき、図6Dの(a)と(b)に示すとおりである。これらの構造マップは全て、連接成分抽出法（Connected Component Labeling）、領域拡張法（Region
Growing）等、当該分野で常用される幾つかのクラスタリング法により得られるものである。連接成分抽出法（Connected
Component Labeling）に関するより多くの紹介は下記、http://en.wikipedia.org/wiki(Connected-component_labeling
の内容を参考にすることができる。ここではこれら当該分野で常用されるクラスタリング法についての詳細説明は割愛する。
【００５３】
このように構築されたCSPピラミッドは多くの応用ができ、例えば、これらの各自の分割レベルの構造マップ（図6Dの(b)に示すような）の分析を通して、過分割及び過併合の分割目標を相互補正し、これにより比較的正確な分割目標（図6Dの(c)に示すような）を得ることができる。
【００５４】
以下、車線検出と車両検出をそれぞれ例にとってどのように相互補正を行うかを説明する。
【００５５】
図6Cと6Dの(b)は空間隣接性特徴による異なった分割レベルをとって得られた、異なる層のCSPの構造マップを示す。CSP最下層の構造マップ（固定視差中心によるクラスタ画像）中で、車両と車線が共に過分割されている。CSPの中層構造マップでは、車両の右側が過分割で、同時にその左側が過併合である（車線と一緒に併合されている）。CSP最上層の構造マップ（大隣域によるクラスタ画像）では、車両と車線が共に過併合である。
【００５６】
異なる応用に対して、適切な特徴パラメータ（例えばクラスタ中心の設定）とクラスタリングのパラメータ（例えば閾値の大きさ）を選択して、当該階級のCSP中の各層の構造マップの過分割と過併合の程度を制御することができる。下記のステップでは、当該階級のCSP中のこれらの構造マップを総合的に考慮し処理して、これにより比較的正確な目標位置を得ることができる。
【００５７】
好ましくは、例えば図6Eに示すように、ここで(a)中の白色の太枠が空間隣接性特徴により得られた最下層構造マップ中の二つのクラスタブロックを、白色の太点線枠が空間隣接性特徴により得られた最上層の構造マップ中の一つのクラスタブロックを表すと仮定すると、この時、どのクラスタブロックが過併合でどのクラスタブロックが過分割かを知ることはできない。しかし、画面中の各対象の視差分析を通して、もし最下層構造マップ中の二つのクラスタブロック間に、視差値（或いは距離或いは奥行き値）がこの二つのクラスタブロックと異なる区域が存在するなら、当該二つのクラスタブロックは適切に分割されていて、その中間に遠方の背景（或いは他の対象）が存在しているので、白色の太点線枠のそのクラスタブロックは過併合である可能性があり、従って最上層の構造マップ中の当該過併合のクラスタブロックを二つの前景目標と背景の接合個所から分け、最下層構造マップ中の二つの前景目標ブロックは保留し、併合、或いは分割等、次の操作を行わない。
【００５８】
このように、類似的に、画面中の各対象の具体的特徴に応じて、当該階級のCSP中のこれらの構造マップを総合的に考慮して更に併合、分割、或いは保留操作を行い、これにより比較的正確な目標位置を得ることができる。なお、図6Eに示す方式はただの例で非限定的であり、当該分野の技術者は対象の具体的な特徴によって更に併合、分割、或いは保留操作を行う他の条件を考えることができる。
【００５９】
なお、CSP中のこれらの構造マップ例はただ希薄な表示方法を用いて表すためだけのものだと言うことである。事実、システムの内部処理中の際はCSP中の構造マップに対して稠密な表示方法を用いることができる。稠密な表示方法では、各ブロック情報及び相隣ブロック間の関係を含んだ画像構造を用いてクラスタリング結果を表示する。このため、CSP中で、最上層部構造マップは更に抽象性を増し、更に少ないデータ量を持ち、一見してより「小さい」、ピラミッドのような形にすることができる。
【００６０】
図4のステップ402では、低階級CSP融合を行うことができる。
【００６１】
当該ステップで、空間隣接性特徴に対する一つの低階級CSPが存在するだけなら、空間隣接性特徴に対する低階級CSP中の三層の構造マップを統合するだけで分割区域（即ち、クラスタリング結果）の更なる併合、分割を行い、これにより構造マップの分割目標を補正することができ、図6Dに示すとおりである。
【００６２】
当該ステップで、一つより多い低階級CSPが存在するだけなら、異なる低階級CSPの異なる層の間の構造マップを統合し、更なる併合、分割を行い、これにより構造マップの分割目標を補正し、異なる応用の需要に適応することができる。
【００６３】
以下、図7Aに示すように、空間隣接性特徴による低階級CSPとグレースケール一致性特徴による低階級CSP（即ち二つの低階級CSP）の融合補正を例にとって説明を行う。図7Aは空間隣接性特徴に関係する一系列の低階級構造マップとグレースケール一致性特徴に関係する一系列の構造マップを統合して目標を含む別の低階級目標分析結果の構造マップを得るプロセスの概念図である。
【００６４】
融合補正操作が処理する必要のある関心区域（Region of Interest, ROI）を、図7Aの左上画像中の四角枠に示すように、空間隣接性特徴によるCSPの高層構造マップ（過併合のクラスタ画像）中で決定する。空間隣接性特徴によるCSPの低階級構造マップ（図7A中の左下画像）とグレースケール一致性特徴によるCSPの低階級構造マップ（図7A中の中間下部の画像）を統合し、当該グレースケール一致性特徴によるCSPの低階級構造マップ中の小クラスタ区域を基本データ要素とすると、これらの空間隣接性特徴のCSPの低階級構造マップ或いはグレースケール一致性特徴によるCSPの低階級構造マップ中の小クラスタブロックはそれぞれ相似した視差値或いは相似したグレースケール値をもつ。前に決定したROI内で、これらの構造マップ中の小クラスタブロックを基本データ要素として入力し、検出する車両の特徴により、どの分割レベルが正確であるかを決定し、これにより更なる分割と併合処理を行い、図7Aの右画像に示すように、補正後の構造マップを得ることができる。
【００６５】
具体的に、一つの選択可能な方式を例えば図7Bに示すと、図7Bは空間隣接性特徴に関する一系列の低階級構造マップとグレースケール一致性特徴に関する一系列の構造マップを統合して目標を含む別の低階級目標分析結果の構造マップを得るプロセスに関連する画像例の概念図である。
【００６６】
図7Bの(a)中の白枠は空間隣接性特徴により得られた最下層構造マップのクラスタブロックを表示し、白点線枠は空間隣接性特徴により得られた最上層構造マップの決定したROIを表示する。図7B中の(b)はグレースケール一致性特徴により得られた構造マップである。図7Bの(c)の上と下の水平な黒線は、ここで水平グレースケール一致性補正チェックが失敗し、図7B(a)の二つの白枠のブロックを一つのブロックに併合することができなかったことを表示し、下方の水平なグレーの線は、ここで水平グレースケール一致性補正チェックがパスして、図7B(a)の二つの白枠ブロックを一つのブロックに併合できたことを表示している。
【００６７】
このように、類似的に、画面中の各対象の具体的特徴に応じて、当該低階級CSP中のこれら二つの類の一系列構造マップ（即ち、一つ或いは複数の空間隣接性特徴の構造マップと一つ或いは複数のグレースケール一致性による構造マップ）を総合的に考慮し、更に併合、分割、或いは保留操作を行うことにより、より正確な目標位置を得ることができる。なお、図7Bに示す方式は単なる例で非限定的なものであり、当該分野の技術者は対象の具体的な特徴に応じて更に併合、分割、或いは保留操作を行う他の条件を考えることができる。
【００６８】
図4Bに示すステップS403では、高階級CSPを構築する。
【００６９】
当該ステップでは、高階級に相関特徴、ルール或いはモデルにより、未補正の低階級CSP（例えば図6Bに示すような）或いは補正後の低階級CSP（例えば図7A中の右画像に示す）を入力として、高階級CSPを構築する。ここではただ補正後の低階級CSP、幾何学的構造モデルによる高階級CSPだけを例にとって説明を行う。
【００７０】
図8Aは図7Aに示す、目標を含む別の低階級目標分析結果の構造マップにより生成される一系列の高階級構造マップである。図8Bは図8Aに示す一系列の高階級構造マップにより一系列の高階級カスケード構造ピラミッド（CSP）を得る構造マップである。
【００７１】
図8Aに示す、幾何学的構造モデルによるCSPは、低階級CSPにより生成したものであり、低階級CSPの高階級構造マップの中で、処理対象の関心区域（Region of
interest, ROI）を決定し、当該ROI内で低階級CSPの低階級構造マップ中のデータを基本要素として入力し、幾何学的モデルのパラメータフィッティングを行ってもよい。幾何学的構造モデルによるCSPの構築は以下の構造マップを含むことができるが、これに限らない。
【００７２】
（c1）垂直線モデルによる構造マップ
図8Aの(a)中の白い垂直線の示すように、低階級の分割目標の構成するブロックを一本或いは複数本の垂直線にフィットさせると、各垂直線上で、低階級CSPから来た低階級構造マップ中の分割ブロックは全て相似した視差値（即ち、距離値或いは奥行き値）をもつ。
【００７３】
（c2）平面モデルによる構造マップ
図8Aの(b)中の白い平面の示すように、低階級分割目標の構成するブロックを一つ或いは複数の平面にフィットさせる。ここには、車両正面の平面と車両側面の平面という二つの平面がある。
【００７４】
（c3)立方体モデルによる構造マップ
図8Aの(c)中の白い立方体の示すように、第一階級の分割目標の構成するブロックを一つ或いは複数の立方体にフィットさせる。ここでは一つの立方体で車両の位置を表示している。
【００７５】
以上のこれらの構造マップを低から高へ順に統合してみると、図8Bに示すように、一緒になって幾何学的構造モデルによるCSPを構成する。なお、当該配列によるピラミッドの作成は読者の理解の便を図るステップであり必須のものではない。
【００７６】
図4のステップS404では、高階級CSPの分析を行って検出目標を得る。
【００７７】
当該ステップでは、CSPの高階級構造マップ中の幾何学的モデルを分解し、CSPの低階級構造マップ中の幾何学的モデルをまとめ、これにより図9に示すように、検出目標を得る。図9は図8Aに示す一系列の高階級構造マップを統合して目標を含む高階級目標分析結果を生成する構造マップである。
【００７８】
非限定的な１例として、具体的に、まず、中層構造マップ（左中画像）中の平面モデルのデータにより、最上層構造マップ（左下画像）中の立方体モデルのデータを分析する。見て分かるように、当該立方体内に若干の平面があり、これらの平面の分布は立方体モデルを満たしていないため、当該立方体を平面に分解することができる。その後、最下層構造マップ（左上画像）中の垂直線モデルのデータにより、これらの平面モデルのデータを補正チェックする。最前面の平面は若干の他の平面をカバーしているため、当該平面は平面モデルのデータ分布を満たしておらず（左辺の車両と右辺のバイクは相似した視差値、即ち距離或いは奥行き値を有し、それらは共同してその最前面の平面を構成しているが、その内部には他の物体の構成する平面が存在する）、従って最前面の平面を垂直線モデルのデータに分解することができる。これと同時に、垂直線モデルのデータにより、他の幾つかの平面に対し補正チェックを行うと、それらの分布が平面モデル分布を満たしていることが分かるため、それらの平面を保留しておくことができる。ここまで、上記に述べたように、最上層から下部への方法でモデルを分解し、続いて、底部から上部への方法でモデルを総合することができる。立方体モデルと平面モデルの分解により得られた垂直線モデルのデータは、フィッティングを経て新しい平面を形成することができ、これらの平面に更なるフィッティングを行って、前に保留しておいた平面と組み合わせ、図9中の右画像に示すように、新しい更に正確な立方体を形成することができる。これらの新しい立方体は目標位置をより正確に表示した高階級結果として出力される。例としては、このように、各層の高階級構造マップ間の相互補正が行われる。
【００７９】
なお、上記方式はただの一例で非限定的であり、当該分野の技術者は各層の高階級構造マップならびに検出対象の特徴により各種各様の補正方式を設計することができる。
【００８０】
なお、以上、図6から図9までの具体例に対する説明は単なる例で非限定的なものであり、当該分野の技術者は異なる特徴、ルール或いはモデルにより各種ピラミッドの構築を設計することもでき、各種各様の層数と級別のピラミッドを設計して、検出対象に各種正確度の分析と検出を行うこともできるが、ここでは一つ一つ例を挙げない。
【００８１】
図10は本発明の一実施例による、カスケード構造を用いたステレオ画像表示による画像中の目標分析システムの例示的なブロック図である。
【００８２】
図10に示す、カスケード構造を用いてステレオ画像を表示し画像中の目標を分析するシステム1000は、入力したステレオ画像に対し、ステレオ画像中の第一類相関特徴、ルール或いはモデルにより、少なくとも一つの第一の第一階級構造マップを生成するように構成され、各自の第一の第一階級構造マップは当該第一類相関特徴、ルール或いはモデルの各自の厳格レベルにより生成されるものであり、前記各自の第一の第一階級構造マップは各自の第一分割レベルでの目標を含む第一の第一階級生成装置1001、前記少なくとも一つの第一の第一階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第一階級目標分析結果の構造マップを得るように構成される第一の第一階級分析装置1002を含む。
【００８３】
このように、ある類相関特徴、ルール或いはモデルについて、各自の分割レベルでの目標を含む分割構造マップ、例えば、過分割区域の構造マップ、過併合区域の構造マップ、適切区域の構造マップを含む構造マップ等を得ることにより、分析し相互補正を行って、目標の特徴によりどの分割レベルで分割した目標がより正確であるかを決定し、これにより比較的正確な分割目標を得ることができる。
【００８４】
１つの実施例において、当該システム1000は、入力したステレオ画像に対し、前記第一類相関特徴、ルール或いはモデルと異なる第二類相関特徴、ルール或いはモデルにより、少なくとも一つの第二の第一階級構造マップを生成し、各自の第二の第一階級構造マップは当該第二類相関特徴、ルール或いはモデルの各自の厳格レベルにより生成されるものであり、前記各自の第二の第一階級構造マップは各自の第二分割レベルでの目標を含むように構成される第二の第一階級生成装置（図中未表示）と、前記少なくとも一つの第一の第一階級構造マップと前記少なくとも一つの第二の第一階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第一階級目標分析結果の構造マップを得るように構成される第二の第一階級分析装置（図中未表示）も含むことができる。
【００８５】
当該システム1000は、前記第一階級目標分析結果の構造マップに対し、前記第一類或いは第二類相関特徴、ルール或いはモデルと全て異なる第三類相関特徴、ルール或いはモデルにより、少なくとも一つの第二階級構造マップを生成するように構成され、各自の第二階級構造マップは当該第三類相関特徴、ルール或いはモデルの各自の厳格レベルにより生成されるものであり、前記各自の第二階級構造マップは各自の第三フィッティングレベルでの目標を含む第二階級生成装置、前記少なくとも一つの第二階級構造マップを少なくとも部分的に統合してステレオ画像中の目標を分析することにより、目標を含む第二階級目標分析結果の構造マップを得るように構成される第二階級分析装置も含むことができる。
【００８６】
１つの実施例では、前記第一類或いは第二類相関特徴、ルール或いはモデルは、クラスタリングに用いる、空間隣接性特徴、グレースケール一致性特徴、エッジ連続性特徴、或いは輪郭特徴等によるクラスタを含むことができる。前記第一類或いは第二類相関特徴、ルール或いはモデルの各自の厳格レベルは、空間隣接性特徴の場合の、固定視差中心或いは移動可能視差中心による異なる空間視差（即ち、距離）閾値のクラスタリング、グレースケール一致性特徴の場合の異なるグレースケール差閾値によるクラスタリング、エッジ連続性特徴の異なるエッジ連続性閾値によるクラスタリング、或いは輪郭特徴の場合の異なる輪郭包含関係によるクラスタリング等を含むことができる。前記第三類相関特徴、ルール或いはモデルは垂直線フィッティングモデル、平面フィッティングモデル、或いは立方体フィッティングモデルを含むことができる。
【００８７】
１つの実施例において、第一の第一階級分析装置は、前記各自の第一分割レベルでの目標を含む少なくとも一つの第一の第一階級構造マップにより相互補正を行い、目標の特徴により、どの第一分割レベルで分割する目標がより正確であるかを決定し、これにより決定した第一分割レベルで分割した目標を含む第一階級目標分析結果の構造マップを得るために配置することができる。
【００８８】
１つの実施例では、第二の第一階級分析装置は、前記少なくとも一つの第二の第一階級構造マップにより前記少なくとも一つの第一の第一階級構造マップを補正し、目標の特徴により、各自の第一分割レベルと各自の第二分割レベルのうちのどの分割レベルで分割した目標がより正確であるかを決定し、これにより決定した分割レベルで分割した目標を含む第一階級目標分割結果の構造マップを得るために配置することができる。
【００８９】
第一の第一階級分析装置は、前記各自の第三フィッティングレベルでの目標を含む少なくとも一つの第二階級構造マップにより相互補正を行い、目標の特徴により、どの第三フィッティングレベルで分割した目標がより正確であるかを決定し、これにより決定した第三フィッティングレベルで分割した目標を含む第二階級目標分割結果の構造マップを得るために配置することができる。
【００９０】
第二の第一階級分析装置は、目標の特徴により、各自の第一分割レベルと各自の第二分割レベルのうちのどの分割レベルで分割した目標がより正確であるかを決定した後、前記各自の第一の第一階級構造マップ或いは各自の第二の第一階級構造マップ中の分割した目標を併合、或いは分割することにより、当該決定した分割レベルで分割した目標に到達するために配置することができる。
【００９１】
第二階級分析装置は、目標の特徴により、各自の第三フィッティングレベルのうちのどの分割レベルで分割した目標がより正確であるかを決定した後、前記各自の第二階級構造マップ中の分割した目標を併合、或いは分割することにより、当該決定した分割レベルで分割した目標に到達するために配置することができる。
【００９２】
１つの実施例では、目標の特徴に、目標の左右対称特性、目標の水平方向グレースケール一致特性、或いは目標の内部輪郭包含特性等を含むことができる。
【００９３】
このように、2階級のピラミッド構造を経た後、第一階級ピラミッド構造の最初の目標分析結果をもとに、更なる目標結果分析を行い、これにより目標分析結果をより正確なものにできることが分かる。
【００９４】
なお、本出願で提示した長所、優位点、効果等はただの例で非限定的であり、これらの長所、優位点、効果等は本発明の各実施例が必ず具備しなければならないものと考えられてはならないことである。その他、上記出願の具体的細部はただ例を示すための役割と理解の便を図る役割だけで、非限定的なものであり、上記細部は本発明が必ず上記の具体的細部を用いて実現しなければならないと限定するものではない。
【００９５】
本出願で言及した部材、装置、設備、システムのブロック図はただの例に過ぎず、また必ずブロック図に示された方式で連結、手配、配置しなければならないという事を要求し、あるいは暗示する意図ではない。当該分野の技術者なら知り得るように、任意の方式でこれらの部材、装置、設備、システムを連結、手配、配置することができる。例えば、「含む」、「包含する」、「有する」等の言葉は開かれた意味の語彙で、「含むがこれに限らない」ことを指し、互いに置き換えて使用できる。ここで使用する語彙、「或いは」と「及び」は「及び/または」の語彙を指し、前後の文から明らかにこれと違うことを指していない限り、互いに置き換えて使用できる。ここで使用する語彙「例えば」は「例えば、しかしこれに限らない」というフレーズを指し、互いに置き換えて使用できる。
【００９６】
本出願のステップ・フローチャートならびに以上の方法説明はただの例に過ぎず、また必ず提示された順序で各実施例のステップを行わなければならないということを要求しあるいは暗示する意図ではない。当該分野の技術者なら知り得るように、任意の順序で以上の実施例のステップの順序を行うことができる。例えば、「その後」、「それから」、「続いて」等の言葉はステップの順序を限定する意図ではなく、これらの言葉はただ読者にこれらの方法の説明を通読させるために用いているだけである。この他、例えば冠詞、「一つの」、「一」あるいは「当該」の使用は、単数的要素の如何なる引用についても、当該要素を単数に限定するものと解釈されてはならない。
【００９７】
また、本分中の各実施例におけるステップや装置は、決してある実施例での実行だけに限定されるものではなく、事実上、本発明の概念により本文中の各実施例中の関係する一部のステップ及び一部の装置を統合して新しい実施例を構想することができるが、これらの新しい実施例も本発明の範囲内に含まれる。
【００９８】
以上に述べた方法の各操作は相応する機能を果たせる如何なる適切な手段によっても行うことができる。当該手段には各種ハードウェア及び/またはソフトウェアの組合せ及び/またはモジュールを含むことができ、電気回路、専用集積回路（ASIC）あるいはプロセッサーを含むがこれに限らない。
【００９９】
前記機能の通用的プロセッサー、デジタル信号処理器（DSP）、ASIC、現場書き換え可能ゲートアレー（FPGA）あるいは他のプログラム可能半導体デバイス（PLD）、ディスクリート・ゲートあるいはトランジスター・トランジスター・ロジック、ディスクリート・ハードウェア部材あるいはその任意の組合せによって実現でき、あるいは前記各例のロジック部品、モジュールや電気回路を構成することができる。通用プロセッサーはマイクロ・プロセッサーであるが、代用として、当該プロセッサーは商業的に取得できる如何なるプロセッサー、制御器、マイクロ制御器あるいはステートマシーンでも良い。プロセッサーはコンピュータ・デバイスの組合せ、例えばDSPとマイクロ・プロセッサーの組合せ、複数のマイクロ・プロセッサー、DSP心臓部と協同する一つあるいは複数のマイクロ・プロセッサーあるいは他の如何なるこのような配置にも実現することができる。
【０１００】
本出願と統合して説明した方法あるいは計算方法のステップは直接、ハードウェア、プロセッサーの行うソフトウェア・モジュールあるいはその二つの組合せに当てはめることができる。ソフトウェア・モジュールは如何なる形式の有形記憶媒体にも存在することができる。使用できる記憶媒体の例には随時アクセスメモリー（RAM）、読み取り専用メモリー（ROM）、フラッシュ・メモリー、EPROMメモリー、EEPROMメモリー、一時記憶装置、ハードディスク、リムーバブル・ディスク、CD-ROM等を含む。記憶媒体はプロセッサーと連結し当該プロセッサーが当該記憶媒体から情報を読み取り、そして当該記憶媒体に情報を書き入れることができるようにすることができる。代用方式で、記憶媒体はプロセッサーと一体化することができる。ソフトウェア・モジュールは単体のコマンドあるいは複数のコマンドで良く、幾つかの異なるコード上で、異なるプログラム間ならびに複数の記憶媒体を跨って分布することができる。
【０１０１】
ここで公開する方法は前記方法を実現するのに用いる一つあるいは複数の動作を含む。方法及び/または動作は相互交換できるが請求項の範囲を外れることはない。言い換えれば、動作の具体的順序を指定している場合を除いて、具体的動作の順序及び/または使用を変更できるか否かによって請求項の範囲を外れることはない。
【０１０２】
前記の機能はハードウェア、ソフトウェア、ファームウェアあるいはその任意の組合せにより実現できる。ソフトウェアにより実現する場合、機能は一つあるいは複数のコマンドとして適切なコンピュータ読み取り可能媒体に保存される。記憶媒体はコンピュータのアクセスできる如何なる使用可能な適切な媒体でも良い。非限定的な例を通して、このようなコンピュータ読み取り可能媒体には、RAM、ROM、EEPROM、CD-ROMあるいはその他の光ディスク・メモリー、磁気ディスク・メモリー、あるいは他の磁気メモリー部材あるいは携帯あるいはメモリー・コマンドあるいはデータ構造方式の希望のプログラム・コードに用いることができ、かつコンピュータがアクセスできる他の如何なる適切な媒体も含むことができる。ここで使用するものとして、ディスク（disk）やディスケット（disc）にはコンパクト・ディスク（CD）、レーザー（登録商標）ディスク、光ディスク、デジタル・バーサタイル・ディスク（DVD）、フロッピー（登録商標）・ディスク、ブルーレイを含み、そのうち（磁気）ディスクは通常マグネットでデータを再現し、（光）ディスクはレーザー光学を利用してデータを再現する。
【０１０３】
これによって、コンピュータ・プログラム製品はここに提示する操作を行う。例えば、このようなコンピュータ・プログラム製品は有形メモリー（及び/またはコード）をもち、その上で指令するコンピュータ読み取り可能有形媒体であり、当該コマンドは一つあるいは複数のプロセッサーが実行してここで述べる操作を行う。コンピュータ・プログラム製品は包装材料を含むことができる。
【０１０４】
ソフトウェアあるいはコマンドは伝送媒体を通して伝送することもできる。例えば、同軸ケーブル、光ファイバー光ケーブル、ダブルリッジ線、デジタル加入者線（DSL）などが使用でき、あるいは例えば赤外線、ワイヤレスないしマイクロウェーブの無線技術による伝送媒体がウェブサイト、サーバあるいは他の遠隔先からソフトウェアを伝送する。
【０１０５】
また、ここで述べる方法と技術を行うのに用いるモジュール及び/または他の適切な手段は適宜、ユーザー端末及び/またはベース・ステーションからのダウンロード及び/または他の方式により取得できる。例えば、このような設備はサーバに接続しここで述べる方法を行うのに用いる手段の伝送を促進することができる。或いは、ここで述べる各種方法は記憶部材（例えばRAM、ROM、例えばCD或いはフロッピー（登録商標）・ディスク等の物理的記憶媒体）を通して提供され、ユーザー端末或いはキーステーションが当該設備と接続し、或いは当該設備に記憶部材を提供する時に各種方法を取得することができるようにする。この他、ここで述べる方法や技術を設備に提供するのに用いる他の如何なる適切な技術も利用できる。
【０１０６】
他の例や実現方式は本出願及び添付した請求項の範囲と精神内にある。例えば、ソフトウェアの本質により、以上に述べた機能はプロセッサー、ハードウェア、ファームウェア、ハードワイア、或いはこれらの任意の組合せの実行するソフトウェアを使用して実現できる。機能を実現する特徴も物理的に各位置にあり、機能の一部が異なる物理的位置で実現できるように分配されることを含む。かつ、例えばここで使用されるように、請求項での使用を含み、「少なくとも一つ」で始まる項目の列挙中で使用する「或いは」は分離した列挙を指示しており、例えば「A、B或いはCのうち少なくとも一つ」の列挙はA或いはB或いはC、或いはAB或いはAC或いはBC、或いはABC（即ちAとBとC）を意味している。この他、「例示的な」の言葉遣いは説明する例が好ましいものであるとか、或いは他の例に比べより良いということを意味してはいない。
【０１０７】
添附した請求項の定義する指導的技術を逸脱することなくここに述べる技術の各種変更、代替、更改を行うことができる。この他、本出願の請求項の範囲は以上述べた処理、機器、製造、イベントの組成、手段、方法及び動作の具体的面に限らない。ここで述べることに相応する面において基本的に同じ機能を実行し、或いは基本的に同じ結果を実現する、現在存在する或いは将来開発される処理、機器、製造、イベントの組成、手段、方法或いは動作を利用することができる。ゆえに、添付した請求項はその範囲内でのこのような処理、機器、製造、イベントの組成、手段、方法或いは動作を含んでいる。
【０１０８】
公開した以上の面の説明により、当該分野の如何なる技術者も本発明を実施或いは使用することができる。これらの面に対する各種修正も当該分野の技術者にとっては極めて明らかなものであり、ここで定義された一般原理は他の面に応用しても本発明の範囲から逸脱するものではない。このため、本発明はここに示した面に限定する意図はなく、ここに公開した原理と新規的な特徴に一致する最も広い範囲によるものとなる。
【０１０９】
例示及び説明の目的のために、以上の説明を行ったが、この説明は本発明の実施例をこの出願の形式に制限することを意図していない。以上のように複数の例示面と実施例を論じたが、当該分野の技術者は、それらの変形、修正、変更、添加及びサブ組合せを認識することができる。
【図１】
0006561605.tif 000002
【図２】
0006561605.tif 000003
【図３】
0006561605.tif 000004
【図４Ａ】
0006561605.tif 000005
【図４Ｂ】
0006561605.tif 000006
【図５】
0006561605.tif 000007
【図６Ａ】
0006561605.tif 000008
【図６Ｂ】
0006561605.tif 000009
【図６Ｃ】
0006561605.tif 000010
【図６Ｄ】
0006561605.tif 000011
【図６Ｅ】
0006561605.tif 000012
【図７Ａ】
0006561605.tif 000013
【図７Ｂ】
0006561605.tif 000014
【図８Ａ】
0006561605.tif 000015
【図８Ｂ】
0006561605.tif 000016
【図９】
0006561605.tif 000017
【図１０】
0006561605.tif 000018