(57)【要約】  【課題】ＤＰマッチング法で生成した視差データ内にディスオーダが存在するか否かを評価できる画像処理方法を提供する。  【解決手段】  ＡＢＭ処理部１４により生成した視差データＳ１２のヒストグラムデータＨＧＤをヒストグラム検出部１６で生成し、ヒストグラムデータＨＧＤに生じるピークを基に、ＤＰ処理部１２で生成した視差データＳ１２内にディスオーダが存在するか否かを判断する。【選択図】  図１
2006031230.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮像対象を異なる位置から撮像して得られた第１の画像と第２の画像とを基に、前記第１の画像内の第１のエピポ−ラ線上の各位置に映し出された像に対応する像が映し出された前記第２の画像内の対応点を、前記第２の画像内の対応した第２のエピポ−ラ線上で探索する画像処理方法であって、
前記対応点の探索をエリアベースマッチング法により行って、前記第１の画像と前記第２の画像との間の視差を示す第１の視差データを生成する第１の工程と、
前記第１の工程で生成した前記第１の視差データのヒストグラムを生成し、当該ヒストグラムに基づいて、奥行きが所定の基準以上に離れた前景と背景とが前記第１の画像および前記第２の画像内に存在するかを検出する第２の工程と、
前記対応点の探索をＤＰマッチング法により行って、前記第１の画像と前記第２の画像との間の視差を示す第２の視差データを生成する第３の工程と、
前記第２の工程における前記検出の結果に基づいて、前記第３の工程で生成した前記第２の視差データの評価を示す評価データを生成する第４の工程と
を有する画像処理方法。
【請求項２】
前記第１の工程は、第１の画像内の前記第１のエピポ−ラ線上に規定された複数の位置の各々について、当該位置を含む所定の領域内の画像との間の差異を最小とする画像を前記第２の画像内の前記第２のエピポ−ラ線上で特定することで前記第２の画像内の対応点を探索し、複数の位置の各々とそれに対応した前記対応点との間のずれを基に前記第１の視差データを生成し、
前記第１の画像内の前記第１のエピポ−ラ線上の一端と第２の画像内の前記第２のエピポ−ラ線上の一端との組を始点とし、前記第１のエピポ−ラ線上の他端と前記第２のエピポ−ラ線上の他端との組を終点として、前記第１のエピポ−ラ線上で前記終点に向けて１区間進む第１のベクトルと、前記第２のエピポ−ラ線上で前記終点に向けて１区間進む第２のベクトルと、前記第１のエピポ−ラ線および前記第２のエピポ−ラ線の双方において前記終点に向けて１区間進む第３のベクトルとの何れかを各点において選択して規定される複数のパスを規定し、当該複数のパスの各々について当該パス上の各点における前記処理対象の点の画素データと、それに対応した前記第２の画像内の対応点の画素データとの差異を示す指標データを累積したコストデータを生成し、前記複数のパスのうち前記コストデータを最小とする前記パスを特定し、当該特定したパス上の点で規定される前記第１のエピポ−ラ線上の点と前記第２のエピポ−ラ線上の対応点とのずれを基に前記第２の視差データを生成する
請求項１に記載の画像処理方法。
【請求項３】
前記第４の工程は、前記第２の工程において前記奥行きが所定の基準以上に離れた前景と背景とが存在しないと判断したことを条件に、前記第３の工程で生成した前記第２の視差データ内にディスオーダが存在しないことを示す前記評価データを生成する
請求項１に記載の画像処理方法。
【請求項４】
前記第２の視差データの複数のスキャンラインの各々について、当該スキャンライン上で規定した第２のウィンドウ内の視差データと、前記第１の視差データ内に前記第２のウィンドウに対応して規定した第１のウィンドウ内の視差データとを比較して、前記第２のウィンドウ内の視差データ内にディスオーダが存在するか否かを判断する第５の工程
をさらに有し、
前記第４の工程は、前記第２の工程において前記奥行きが所定の基準以上に離れた前景と背景とが存在すると判断し、且つ、前記第５の工程において隣接した所定数以上のスキャンラインについて、前記第２のウィンドウ内の視差データにディスオーダが存在すると判断された場合に、前記第３の工程で生成した前記第２の視差データ内にディスオーダが存在することを示す前記評価データを生成する
請求項１に記載の画像処理方法。
【請求項５】
前記第４の工程は、前記第５の工程において隣接した所定数以上のスキャンラインについて、前記第２のウィンドウ内の視差データ内にディスオーダが存在すると判断され、且つ、前記所定数以上のスキャンライ上の前記視差データがディスオーダが存在すると判断された前記第２のウィンドウの前記スキャンライン方向の距離が所定の範囲内である場合に、前記第３の工程で生成した前記第２の視差データ内にディスオーダが存在することを示す前記評価データを生成する
請求項４に記載の画像処理方法。
【請求項６】
前記第５の工程は、前記第１のウィンドウ内の視差データと前記第２のウィンドウ内の視差データとの間で、対応する画素データの差分がしきい値を越える数を検出し、当該数を基に前記第２のウィンドウ内の視差データ内にディスオーダが存在するか否かを判断する
請求項４に記載の画像処理方法。
【請求項７】
前記第２の工程は、前記第１の工程で生成した前記第１の視差データのヒストグラムが２つのピークを含み、当該２つのピークの中心周波数の所定値以上異なり、且つ、各ピークを構成する画素データが所定数以上存在することを条件に、奥行きが所定の基準以上に離れた前景と背景とが存在すると検出する
請求項１に記載の画像処理方法。
【請求項８】
所定の撮像対象を異なる位置から撮像して得られた第１の画像と第２の画像とを基に、前記第１の画像内の第１のエピポ−ラ線上の各位置に映し出された像に対応する像が映し出された前記第２の画像内の対応点を、前記第２の画像内の対応した第２のエピポ−ラ線上で探索する画像処理装置であって、
前記対応点の探索をエリアベースマッチング法により行って、前記第１の画像と前記第２の画像との間の視差を示す第１の視差データを生成する第１の視差データ生成手段と、
前記第１の視差データ生成手段が生成した前記第１の視差データのヒストグラムを生成し、当該ヒストグラムに基づいて、奥行きが所定の基準以上に離れた前景と背景とが前記第１の画像および前記第２の画像内に存在するかを検出するヒストグラム検出手段と、
前記対応点の探索をＤＰマッチング法により行って、前記第１の画像と前記第２の画像との間の視差を示す第２の視差データを生成する第２の視差データ生成手段と、
前記ヒストグラム検出手段の前記検出の結果に基づいて、第２の視差データ生成手段が生成した前記第２の視差データの評価を示す評価データを生成する評価手段と
を有する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＤＰマッチング法により生成した視差データの評価を行う画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
撮像対象を当該撮像対象の左右に配置した左カメラと右カメラで撮像し、両カメラで撮像した画像の対応点をエピポ−ラ線上で探索して、その対応点のずれに基づいて視差データを生成する画像処理装置がある。
このような画像処理装置は、上記視差データを利用して、例えば、撮像対象の３次元画像を生成したり、複数の異なる角度から撮像対象を撮像した場合の画像データを生成する。
ところで、上記対応点の探索を高精度に行う手法として、ＤＰ(Dynamic Programming)
マッチング法がある。
当該ＤＰマッチング法は、例えば、右カメラで撮像した第１の画像内のエピポ−ラ線上の一端から他端に向けて順に位置する複数の点の各々において、３方向のベクトルのうち何れかを選択した複数のパスを規定し、各パスについて当該パス上の各点における第１の画像と第２の画像との差分を累積したコストを生成する。そして、上記複数のパスのうちコストが最小のパスを選択する（探索処理）。
次に、上記当該選択したパス上の点を基に、第１の画像と第２の画像との間のエピポ−ラ線上の対応点を特定する（バックトラッキング処理）。
ところで、撮像対象内の対象ＡとＢとが、図５の例で示すような前景と背景との関係にある場合には左カメラの受光面のエピポ−ラ線上における像Ａ’と像Ｂ’との位置関係と、右カメラの受光面のエピポ−ラ線上における像Ａ’’と像Ｂ’’との位置関係は逆になる。
そのため、上述したＤＰマッチング法では、上述したように撮像対象内に前景と背景が存在する場合には、上記位置関係が逆になることに起因した、いわゆるディスオーダ（ｄｉｓｏｒｄｅｒ）が視差データ内に生じ、視差データの信頼性が低くなる。
【０００３】
【非特許文献１】Y.Ohta and T.Kanade,Stereo by intra-and-inter-scanline search using dynamic programming,IEEE Trans.Pattern analysis and machine intelligence,Vol.PAMI-7,No.2,pp.139-154,March,1985
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来では、上述したＤＰマッチング法により、視差データを生成した場合に、当該視差データ内に上述したディスオーダが存在するか否かを検出できず、ディスオーダが生じた低い信頼性の視差データがそのまま利用されることがあるという問題がある。
【０００５】
本発明は、上述した従来技術の問題点に鑑みてなされ、ＤＰマッチング法で生成した視差データ内にディスオーダが存在するか否かを評価できる画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した従来技術の問題点を解決し、上述した目的を達成するために、第１の発明の画像処理方法は、所定の撮像対象を異なる位置から撮像して得られた第１の画像と第２の画像とを基に、前記第１の画像内の第１のエピポ−ラ線上の各位置に映し出された像に対応する像が映し出された前記第２の画像内の対応点を、前記第２の画像内の対応した第２のエピポ−ラ線上で探索する画像処理方法であって、前記対応点の探索をエリアベースマッチング法により行って、前記第１の画像と前記第２の画像との間の視差を示す第１の視差データを生成する第１の工程と、前記第１の工程で生成した前記第１の視差データのヒストグラムを生成し、当該ヒストグラムに基づいて、奥行きが所定の基準以上に離れた前景と背景とが前記第１の画像および前記第２の画像内に存在するかを検出する第２の工程と、前記対応点の探索をＤＰマッチング法により行って、前記第１の画像と前記第２の画像との間の視差を示す第２の視差データを生成する第３の工程と、前記第２の工程における前記検出の結果に基づいて、前記第３の工程で生成した前記第２の視差データの評価を示す評価データを生成する第４の工程とを有する。
【０００７】
第１の発明の画像処理方法の作用は以下のようになる。
先ず、第１の工程において、前記第１の画像と前記第２の画像との間の視差を示す第１の視差データを生成する。
次に、第２の工程において、前記第１の工程で生成した前記第１の視差データのヒストグラムを生成し、当該ヒストグラムに基づいて、奥行きが所定の基準以上に離れた前景と背景とが前記第１の画像および前記第２の画像内に存在するかを検出する。
次に、第３の工程において、前記対応点の探索をＤＰマッチング法により行って、前記第１の画像と前記第２の画像との間の視差を示す第２の視差データを生成する。
次に、第４の工程において、前記第２の工程における前記検出の結果に基づいて、前記第３の工程で生成した前記第２の視差データの評価を示す評価データを生成する。
【０００８】
第２の発明の画像処理装置は、所定の撮像対象を異なる位置から撮像して得られた第１の画像と第２の画像とを基に、前記第１の画像内の第１のエピポ−ラ線上の各位置に映し出された像に対応する像が映し出された前記第２の画像内の対応点を、前記第２の画像内の対応した第２のエピポ−ラ線上で探索する画像処理装置であって、前記対応点の探索をエリアベースマッチング法により行って、前記第１の画像と前記第２の画像との間の視差を示す第１の視差データを生成する第１の視差データ生成手段と、前記第１の視差データ生成手段が生成した前記第１の視差データのヒストグラムを生成し、当該ヒストグラムに基づいて、奥行きが所定の基準以上に離れた前景と背景とが前記第１の画像および前記第２の画像内に存在するかを検出するヒストグラム検出手段と、前記対応点の探索をＤＰマッチング法により行って、前記第１の画像と前記第２の画像との間の視差を示す第２の視差データを生成する第２の視差データ生成手段と、前記ヒストグラム検出手段の前記検出の結果に基づいて、第２の視差データ生成手段が生成した前記第２の視差データの評価を示す評価データを生成する評価手段とを有する。
【０００９】
第２の発明の画像処理装置の作用は以下のようになる。
第１の視差データ生成手段が、対応点の探索をエリアベースマッチング法により行って、前記第１の画像と前記第２の画像との間の視差を示す第１の視差データを生成する。
次に、ヒストグラム検出手段が、前記第１の視差データ生成手段が生成した前記第１の視差データのヒストグラムを生成し、当該ヒストグラムに基づいて、奥行きが所定の基準以上に離れた前景と背景とが前記第１の画像および前記第２の画像内に存在するかを検出する。
また、第２の視差データ生成手段が、前記対応点の探索をＤＰマッチング法により行って、前記第１の画像と前記第２の画像との間の視差を示す第２の視差データを生成する。
次に、評価手段が、第２の視差データ生成手段と、前記ヒストグラム検出手段の前記検出の結果に基づいて、第２の視差データ生成手段が生成した前記第２の視差データの評価を示す評価データを生成する。
【発明の効果】
【００１０】
本発明によれば、ＤＰマッチング法で生成した視差データ内にディスオーダが存在するか否かを評価できる画像処理方法および画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態に係わる画像処理装置を図１〜図１１を参照して説明する。
先ず、本実施形態の画像処理装置の構成要素と、本発明の構成要素との対応関係を説明する。
先ず、本実施形態の視差データＳ１２が本発明の第２の視差データに対応し、視差データＳ１４が本発明の第１の視差データに対応している。
また、本実施形態のヒストグラムデータＨＧＤが、本発明のヒストグラムに対応している。
また、本発明の撮像画像データＰ＿Ｒ，Ｐ＿Ｒが本発明の第１の画像および第２の画像に対応している。
【００１２】
図１０に示すステップＳＴ２２が、本発明の第１の工程および第３の工程に対応している。
図１０に示すステップＳＴ２３，ＳＴ２４が、本発明の第２の工程に対応している。
図１０および図１１に示すステップＳＴ２５〜ＳＴ３２が本発明の第５の工程に対応している。
また、図１に示すＡＢＭ処理部１４が本発明の第１の視差データ生成手段に対応し、ＤＰ処理部１２が本発明の第２の視差データ生成手段に対応し、ヒストグラム検出部１６が本発明のヒストグラム検出手段に対応し、シフトウィンドウ検出部１８およびディスオーダ検出部２０が本発明の評価手段に対応している。
【００１３】
図１は、本実施形態に係わる画像処理装置１の構成図である。
図１に示すように、画像処理装置１は、例えば、カメラＲ＿Ｃ、カメラＬ＿Ｃ、ＤＰ処理部１２、ＡＢＭ処理部１４、ヒストグラム検出部１６、シフトウィンドウ検出部１８、ディスオーダ検出部２０および処理部２２を有する。
【００１４】
〔カメラＲ＿Ｃ，カメラＬ＿Ｃ〕
図２は、カメラＲ＿Ｃ，カメラＬ＿Ｃと撮像対象ＴＡＲＧＥＴとの位置関係を説明するための図である。
図２に示すように、カメラＲ＿Ｃ，カメラＬ＿Ｃは、撮像対象ＴＡＧＥＴに対応して対向して配設される。
画像処理装置１は、例えば、パーソナルコンピュータなどに組み込まれる。この場合に、カメラＲ＿ＣおよびカメラＬ＿Ｃは、例えば、ユーザの顔の位置の左右両側に配設され、ユーザの顔を撮像対象ＴＡＲＧＥＴとする。
カメラＲ＿Ｃは、受光面８＿Ｒの結像結果に応じた撮像画像データＰ＿ＲをＤＰ処理部１２、ＡＢＭ処理部１４および処理部２２に出力する。
カメラＬ＿Ｃは、受光面８＿Ｌの結像結果に応じた撮像画像データＰ＿ＬをＤＰ処理部１２、ＡＢＭ処理部１４および処理部２２に出力する。
カメラＲ＿Ｃの受光面８＿Ｒの結像結果に応じた撮像画像データＰ＿Ｒと、カメラＬ＿Ｃの受光面８＿Ｌの結像結果に応じた撮像画像データＰ＿Ｌとの間にはエピポーラ拘束が成り立つ。すなわち、撮像画像データＰ＿Ｒ内の各点には、それに対応したエピポ−ラ線が１本定まり、そのエピポ−ラ線と対応して撮像画像データＰ＿Ｌ内に１本のエピポ−ラ線が定まる。
【００１５】
〔ＤＰ処理部１２〕
ＤＰ処理部１２は、カメラＲ＿Ｃ，Ｌ＿Ｃから入力した撮像画像データＰ＿Ｒ，Ｐ＿Ｌを基に、ＤＰマッチング法により、視差データＳ１２を生成する。
図３は、ＤＰ処理部１２の処理を説明するためのである。
図３において、横軸は、撮像画像データＰ＿Ｌのエピポ−ラ線の一端（ＳＴＡＲＴ）から他端（ＥＮＤ）までの位置を示している。
また、縦軸は、撮像画像データＰ＿Ｒのエピポ−ラ線の一端（ＳＴＡＲＴ）から他端（ＥＮＤ）までの位置を示している。
【００１６】
ＤＰ処理部１２は、撮像画像データＰ＿Ｌ，Ｐ＿Ｒの他端（ＥＮＤ）から一端（ＳＴＡＲＴ）に向けて、対応点を探索する。
このとき、ＤＰ処理部１２は、図３に示す格子の各点（ＸＬ，ＸＲ）において、図４に示すように予め決められた３つのベクトルで規定された点（ＸＬ−１，ＸＲ），（ＸＬ−１，ＸＲ−１），（ＸＬ，ＸＲ−１）のみを探索対象とする。
すなわち、ＤＰ処理部１２は、処理対象の各点において、点（ＸＬ−１，ＸＲ），（ＸＬ−１，ＸＲ−１），（ＸＬ，ＸＲ−１）のうち何れかを選択して複数のパスを規定し、各パスについて当該パス上の各点の差分を累積したコストを生成する。そして、上記複数のパスのうちコストが最小のパスを選択する。
次に、当該選択したパスによって規定される撮像画像データＰ＿ＬとＰ＿Ｒのエピポ−ラ線上での対応点を特定する（バックトラッキング処理）。
当該コストは、例えば、撮像画像データＰ＿Ｒ，Ｐ＿Ｌの画素値の差分（差異）、当該画素を含む所定領域内の画素値の差分の累積値などの指標データを基に決定する。
なお、ＸＬは撮像画像データＰ＿Ｌ内のスキャンライン（処理対象のエピポ−ラ線）上の座標を示し、ＸＲは撮像画像データＰ＿Ｒ内のスキャンライン（処理対象のエピポ−ラ線）上の座標を示している。
【００１７】
ＤＰ処理部１２は、図３に示す方法で、パスを選択し、当該パスに基づいて、撮像画像データＰ＿Ｒ上での対応点の位置と、撮像画像データＰ＿Ｌ上での対応点の位置との相対的な位置関係（位置のずれ）に基づいて視差を特定し、その結果に基づいて、視差データＳ１２を生成する。
ＤＰマッチングによれば、対応点を高精度に検出でき、高い信頼性の視差データＳ１２を生成できる。
【００１８】
ところで、ＤＰマッチング法は、例えば、図５（Ａ）に示すように、撮像対象内の対象ＡとＢとが前景と背景との関係にない場合には受光面８＿Ｌのエピポ−ラ線上で像Ａ’と像Ｂ’との位置関係と、受光面８＿Ｒのエピポ−ラ線上で像Ａ’’と像Ｂ’’との位置関係は同じになる。そのため、ＤＰ処理部１２において、図３および図４を用いて説明したＤＰマッチング法により対応点を適切に探索できる。
しかしながら、例えば、図５（Ｂ）に示すように、撮像対象内の対象ＡとＢとが前景と背景との関係にある場合には受光面８＿Ｌのエピポ−ラ線上で像Ａ’と像Ｂ’との位置関係と、受光面８＿Ｒのエピポ−ラ線上で像Ａ’’と像Ｂ’’との位置関係は逆になる。そのため、ＤＰ処理部１２において、図３およに図４を用いて説明したＤＰマッチング法により対応点を適切に探索できない、いわゆるディスオーダが生じる。この場合、ＤＰ処理部１２が生成した視差データＳ１２の信頼性は低い。
本実施形態では、以下に示す構成により、図５（Ｂ）に示す場合（ディスオ−ダ）を検出する。
【００１９】
〔ＡＢＭ処理部１４〕
ＡＢＭ処理部１４は、カメラＲ＿Ｃ，Ｌ＿Ｃから入力した撮像画像データＰ＿Ｒ，Ｐ＿Ｌを基に、ＡＢＭ(Area Based Matching) 法により、視差データＳ１４を生成する。
具体的には、ＡＢＭ処理部１４は、例えば、撮像画像データＰ＿Ｒ内のエピポ−ラ線上の各位置において、当該位置を含む所定の領域内の画像との間の差異を最小とする画像を撮像画像データＰ＿Ｌ内の対応するエピポ−ラ線上で特定することで対応点を探索する。  ＡＢＭ処理部１４は、撮像画像データＰ＿Ｒ上での対応点の位置と、撮像画像データＰ＿Ｒ上での対応点の位置との相対的な位置関係（位置のずれ）に基づいて視差を特定し、その結果に基づいて、視差データＳ１４を生成する。
ＡＢＭ処理部１４が用いるＡＢＭ法によれば、図５（Ｂ）に示すように前景と背景が存在する場合でも、対応点を検出できる。
しかしながら、ＡＢＭ法では、撮像画像データＰ＿Ｒ，Ｐ＿Ｌ内に濃淡変化が少ない領域が存在する場合などには、視差データＳ１４の信頼性が非常に低くなるという問題がある。
【００２０】
〔ヒストグラム検出部１６〕
ヒストグラム検出部１６は、ＡＢＭ処理部１４から入力した視差データＳ１４のヒストグラムを検出してヒストグラムデータＨＧＤを生成する。
ヒストグラム検出部１６は、ヒストグラムデータＨＧＤに基づいて、視差データＳ１４内に背景の像に対して奥行きが所定の基準以上に離れた前景の像とが存在するかを検出し、その検出結果を示す検出結果データＳ１６をディスオーダ検出部２０に出力する。
図６は、ヒストグラム検出部１６の処理を説明するためのフローチャートである。
ステップＳＴ１：
ヒストグラム検出部１６は、ヒストグラムデータＨＧＤ内に２つのピークが存在するか否かを判断し、２つのピークが存在すると判断するとステップＳＴ２に進み、そうでない場合にはステップＳＴ５に進む。
すなわち、ヒストグラム検出部１６は、図７（Ａ）に示す場合に２つのピークが存在しないとしてステップＳＴ５に進み、図７（Ｂ）に示す場合に２つのピークが存在するとしてステップＳＴ２に進む。
【００２１】
ステップＳＴ２：
ヒストグラム検出部１６は、ヒストグラムデータＨＧＤ内に存在する２つのピークの中心周波数が所定値以上離れているか否かを判断し、離れていると判断するとステップＳＴ３に進み、そうでない場合にはステップＳＴ５に進む。
ステップＳＴ３：
ヒストグラム検出部１６は、ヒストグラムデータＨＧＤ内に存在する２つのピークの各々を構成する画素データの数が所定数以上存在するか否かを判断し、所定数以上存在すると判断するとステップＳＴ４に進み、そうでない場合にステップＳＴ５に進む。
【００２２】
ステップＳＴ４：
ヒストグラム検出部１６は、前景が存在することを示す検出結果データＳ１６をディスオーダ検出部２０に出力する。
ステップＳＴ５：
ヒストグラム検出部１６は、前景が存在しないことを示す検出結果データＳ１６をディスオーダ検出部２０に出力する。
【００２３】
〔シフトウィンドウ検出部１８〕
シフトウィンドウ検出部１８は、ＤＰ処理部１２から入力した視差データＳ１２を構成する複数のスキャンラインの各々について、当該スキャンライン上で規定した第２のウィンドウ内の視差データと、ＡＢＭ処理部１４から入力した視差データＳ１４内に上記第２のウィンドウに対応して規定した第１のウィンドウ内の視差データとを比較して、上記第２のウィンドウ内の視差データにディスオーダが生じているか否かを判断する。
具体的には、シフトウィンドウ検出部１８は、上記第２のウィンドウ内の視差データと上記第１のウィンドウ内の視差データとの間で、対応する画素データの差分がしきい値を越える数を検出し、当該数を基に上記第２のウィンドウ内の視差データにディスオーダが生じているか否かを判断する。
【００２４】
図８は、シフトウィンドウ検出部１８の処理を説明するためのフローチャートである。
ステップＳＴ１１：
シフトウィンドウ検出部１８は、変数Ｃｏｕｎｔｅｒに「０」を設定する。
ステップＳＴ１２：
シフトウィンドウ検出部１８は、視差データＳ１２内の処理対象の第２のウィンドウ内の未処理の画素データを選択する。
ステップＳＴ１３：
シフトウィンドウ検出部１８は、ステップＳＴ１２で選択した第２のウィンドウ内の画素データＤ２と、それに対応した第１のウィンドウ内の画素データＤ１との差分の絶対値｜Ｄ１−Ｄ２｜がしきいＴＨを越えるか否かを判断し、越えると判断するとステップＳＴ１４に進み、そうでない場合にはステップＳＴ１５に進む。
【００２５】
ステップＳＴ１４：
シフトウィンドウ検出部１８は、変数Ｃｏｕｎｔｅｒを「１」だけインクリメントする。
ステップＳＴ１５：
シフトウィンドウ検出部１８は、第２のウィンドウ内の全ての画素データをステップＳＴ１２で選択したか否かを判断し、選択したと判断するとステップＳＴ１６に進み、そうでない場合にステップＳＴ１２に進む。
【００２６】
ステップＳＴ１６：
シフトウィンドウ検出部１８は、変数Ｃｏｕｎｔｅｒが所定の基準値Ｒより大きいか否かを判断し、大きいと判断するとステップＳＴ１７に進み、そうでない場合にステップＳＴ１８に進む。
ステップＳＴ１７：
シフトウィンドウ検出部１８は、視差データＳ１２内の処理対象の第２のウィンドウにディスオーダが存在すると判断する。
ステップＳＴ１８：
シフトウィンドウ検出部１８は、視差データＳ１２内の処理対象の第２のウィンドウにディスオーダが存在しないと判断する。
【００２７】
〔ディスオーダ検出部２０〕
ディスオーダ検出部２０は、ヒストグラム検出部１６から入力した検出結果データＳ１６が、前景が存在しないことを示す場合に、ディスオーダが存在しないことを示すディスオーダ検出データＳ２０を生成し、これを処理部２２に出力する。
【００２８】
ディスオーダ検出部２０は、ヒストグラム検出部１６から入力した検出結果データＳ１６が、前景が存在することを示す場合に以下の処理を行う。
ディスオーダ検出部２０は、シフトウィンドウ検出部１８の検出結果に基づいて、隣接した所定数以上のスキャンラインについて、上記第２のウィンドウ内の視差データにディスオーダが存在すると判断した場合に、視差データＳ１２内にディスオーダが存在することを示すディスオーダ検出データＳ２０を生成する。
また、ディスオーダ検出部２０は、例えば、図９に示すように、隣接した所定数以上のスキャンラインについて、上記第２のウィンドウ内の視差データ内にディスオーダが存在すると判断され、且つ、所定数以上のスキャンライ上の前記視差データがディスオーダが存在すると判断された第２のウィンドウのスキャンライン方向の距離が所定の範囲内である場合に、視差データＳ１２内にディスオーダが存在することを示すディスオーダ検出データＳ２０を生成してもよい。
ディスオーダ検出部２０は、上述したディスオーダの検出を視差データＳ１２全体に第２のウィンドウをシフトさせて行い、全ての第２のウィンドウ内でディスオーダを検出しなかった場合に、視差データＳ１２内にディスオーダが存在しないことを示すディスオーダ検出データＳ２０を生成する。
【００２９】
〔処理部２２〕
処理部２２は、ディスオーダ検出部２０からのディスオーダ検出データＳ２０に基づいて、視差データＳ１２内にディスオーダが生じていない場合には、ＤＰ処理部１２が生成した視差データＳ１２を基に、撮像画像データＰ＿Ｒ，Ｐ＿Ｌを処理して３次元画像の生成処理などを行う。
また、処理部２２は、ディスオーダ検出データＳ２０に基づいて、視差データＳ１２内にディスオーダが生じている場合には、ＡＢＭ処理部１４が生成した視差データＳ１４を基に、撮像画像データＰ＿Ｒ，Ｐ＿Ｌを処理して３次元画像の生成処理などを行う。
【００３０】
以下、画像処理装置１の全体動作例を説明する。
図１０および図１１は、図１に示す画像処理装置１の全体動作例を説明するためのフローチャートである。
ステップＳＴ２１：
カメラＲ＿Ｃ，Ｌ＿Ｃで撮像対象ＴＡＲＧＥＴを撮像し、その撮像画像データＰ＿Ｒ，Ｐ＿ＬがＤＰ処理部１２、ＡＢＭ処理部１４および処理部２２に出力される。
ステップＳＴ２２：
ＤＰ処理部１２において、撮像画像データＰ＿Ｒ，Ｐ＿Ｌを基に、ＤＰマッチング法により、視差データＳ１２を生成し、これをシフトウィンドウ検出部１８およびディスオーダ検出部２０に出力する。
ＡＢＭ処理部１４において、撮像画像データＰ＿Ｒ，Ｐ＿Ｌを基に、エリアベースマッチング法により、視差データＳ１４を生成し、これをシフトウィンドウ検出部１８およびディスオーダ検出部２０に出力する。
【００３１】
ステップＳＴ２３：
ヒストグラム検出部１６は、ＡＢＭ処理部１４からの視差データＳ１４を基に、ヒストグラムデータＨＧＤを生成する。
ステップＳＴ２４：
ヒストグラム検出部１６は、ヒストグラムデータＨＧＤに基づいて、視差データＳ１４内に背景の像に対して奥行きが所定の基準以上に離れた前景の像とが存在するかを検出し、その検出結果を示す検出結果データＳ１６をディスオーダ検出部２０に出力する。
ステップＳＴ２５：
ディスオーダ検出部２０は、ステップＳＴ２４で前景が存在しないと判断すると、ステップＳＴ３２に進み、前景が存在すると判断するとステップＳＴ２６に進む。
【００３２】
ステップＳＴ２６：
ディスオーダ検出部２０は、シフトウィンドウ検出部１８に以下の処理を行わせる。
すなわち、シフトウィンドウ検出部１８は、図８を用いて説明したように、ＤＰ処理部１２から入力した視差データＳ１２を構成する複数のスキャンラインの各々について、ディスオーダ検出の第２のウィンドウを選択する。
ステップＳＴ２７：
シフトウィンドウ検出部１８は、ステップＳＴ２６で選択した第２のウィンドウ内の視差データと、ＡＢＭ処理部１４から入力した視差データＳ１４内に上記第２のウィンドウに対応して規定した第１のウィンドウ内の視差データとを比較して、上記第２のウィンドウ内の視差データにディスオーダが生じているか否かを判断する。
ステップＳＴ２８：
ディスオーダ検出部２０は、ステップＳＴ２７のシフトウィンドウ検出部１８の検出結果に基づいて、隣接した所定数以上のスキャンラインについて、上記第２のウィンドウ内の視差データにディスオーダが存在するか否かを判断する。
【００３３】
ステップＳＴ２９：
ディスオーダ検出部２０は、ステップＳＴ２８において隣接した所定数以上のスキャンラインについて、上記第２のウィンドウ内の視差データにディスオーダが存在すると判断した場合にステップＳＴ３２に進み、そうでない場合にステップＳＴ３０に進む。
ステップＳＴ３０：
ディスオーダ検出部２０は、視差データＳ１２の全ての第２のウィンドウ内でディスオーダの検出処理を行ったか否かを判断し、行ったと判断するとステップＳＴ３１に進み、行っていないと判断するとステップＳＴ２６に戻る。
ステップＳＴ３１：
ディスオーダ検出部２０は、視差データＳ１２内にディスオーダが存在しないことを示す（フラグが「０」を示す）ディスオーダ検出データＳ２０を生成し、これを処理部２２に出力する。
ステップＳＴ３２：
ディスオーダ検出部２０は、視差データＳ１２内にディスオーダが存在することを示す（フラグが「１」を示す）ディスオーダ検出データＳ２０を生成し、これを処理部２２に出力する。
【００３４】
以上説明したように、画像処理装置１によれば、ＤＰ処理部１２が生成した視差データＳ１２とＡＢＭ処理部１４が生成した視差データＳ１４とを基に、ヒストグラム検出部１６、シフトウィンドウ検出部１８およびディスオーダ検出部２０を用いて、視差データＳ１２内にディスオーダが存在するか否かを判断できる。
そのため、処理部２２において、その判断結果を基に、ＤＰマッチング法による視差データＳ１２内にディスオーダが存在しないことを条件に、視差データＳ１２利用し、視差データＳ１２内にディスオーダが存在する場合にはＡＢＭによる視差データＳ１４を利用できる。これにより、処理部２２において、視差データを基にした画像処理を高い信頼性で高精度に行うことができる。
なお、画像処理装置１によれば、例えば、ディスオーダの検出精度は、９９．６％である。
【００３５】
本発明は上述した実施形態には限定されない。
例えば、本発明は、例えば、図１に示すＤＰ処理部１２、ＡＢＭ処理部１４、ヒストグラム検出部１６およびディスオーダ検出部２０によってのみ構成し、ディスオーダ検出部２０において、ヒストグラム検出部１６の検出結果データＳ１６を基に、視差データＳ１２の信頼性を検証してもよい。
【産業上の利用可能性】
【００３６】
本発明は、ＤＰマッチング法により生成した視差データを利用するシステムに適用可能である。
【図面の簡単な説明】
【００３７】
【図１】図１は、本発明の実施形態に係わる画像処理装置の構成図である。
【図２】図２は、カメラＲ＿Ｃ，カメラＬ＿Ｃと撮像対象ＴＡＲＧＥＴとの位置関係を説明するための図である。
【図３】図３は、図１に示すＤＰ処理部の処理を説明するためのである。
【図４】図４は、図１に示すＤＰ処理部の処理を説明するためのである。
【図５】図５は、図１に示すＤＰ処理部の処理を説明するためのである。
【図６】図６は、図１に示すヒストグラム検出部の処理を説明するためのフローチャートである。
【図７】図７は、図１に示すヒストグラム検出部の処理を説明するための図である。
【図８】図８は、図１に示すシフトウィンドウ検出部の処理を説明するための図である。
【図９】図９は、図１に示すディスオーダ検出部の処理を説明するためのフローチャートである。
【図１０】図１０は、図１に示す画像処理装置の全体動作例を説明するためのフローチャートである。
【図１１】図１１は、図１に示す画像処理装置の全体動作例を説明するための図１０の続きのフローチャートである。
【符号の説明】
【００３８】
１…画像処理装置、Ｒ＿Ｃ，Ｒ＿Ｌ…カメラ、１２…ＤＰ処理部、１４…ＡＢＭ処理部、１６…ヒストグラム検出部、１８…シフトウィンドウ検出部、２０…ディスオーダ検出部、２２…処理部
【図１】
2006031230.tif 000003
【図２】
2006031230.tif 000004
【図３】
2006031230.tif 000005
【図４】
2006031230.tif 000006
【図５】
2006031230.tif 000007
【図６】
2006031230.tif 000008
【図７】
2006031230.tif 000009
【図８】
2006031230.tif 000010
【図９】
2006031230.tif 000011
【図１０】
2006031230.tif 000012
【図１１】
2006031230.tif 000013