(57)【要約】【課題】ステレオカメラにおける２つのカメラで撮像された画像をステレオマッチングする際の特徴点の対応を容易に取ることができる画像処理装置および画像処理方法を提供する。【解決手段】ステレオカメラ２で撮像した左右画像におけるそれぞれの面領域を分割手段１３，１４で分割する。分割した面領域から、それぞれに対応するヒストグラムをヒストグラム生成手段１５，１６で生成する。これらのヒストグラムを比較手段１７で比較し、それらの比が一定である場合に、両ヒストグラムを生成する面領域が正しく対応していると判断する。【選択図】  図１
2004259047.tif 000002
【特許請求の範囲】
【請求項１】
検出対象物をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラで撮像された画像を画像処理する画像処理装置において、
前記第１撮像手段で撮像された第１画像における面領域および前記第２撮像手段で撮像された第２画像における面領域をそれぞれ抽出する面領域抽出手段と、
前記第１画像および前記第２画像における前記面領域に対するヒストグラムをそれぞれ生成するヒストグラム生成手段と、
前記第１画像における面領域のヒストグラムと、前記第２画像における面領域のヒストグラムとを比較し、その比較結果に基づいて、前記第１画像における面領域と前記第２画像における面領域との対応関係の正否を判断するヒストグラム比較判断手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記ヒストグラム比較判断手段は、前記第１画像における面領域のヒストグラムと、前記第２画像における面領域のヒストグラムとの比が所定の関係にあるときに、前記第１画像における面領域と前記第２画像における面領域とが正対応関係にあると判断する請求項１に記載の画像処理装置。
【請求項３】
検出対象物をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラで撮像された画像を画像処理する画像処理方法において、
前記第１撮像手段で撮像された第１画像における面領域および前記第２撮像手段で撮像された第２画像における面領域をそれぞれ抽出する面領域抽出工程と、
前記第１画像および前記第２画像における前記面領域に対するヒストグラムをそれぞれ生成するヒストグラム生成工程と
前記第１画像における面領域のヒストグラムと、前記第２画像における面領域のヒストグラムとを比較し、その比較結果に基づいて、前記第１画像における面領域と前記第２画像における面領域との対応関係の正否を判断するヒストグラム比較判断工程と、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
従来、ステレオカメラにおける２つのカメラで撮像された画像をステレオマッチングすることによって三次元座標を取得する技術として、たとえば特開平９−３５０６１号公報に開示された画像処理方法がある。このステレオマッチングでは、ステレオ画像を局所的特徴によってセグメントに分割し、このセグメント上で境界線（エッジ）などの追跡点を選択し、選択した追跡点の対応を求め、対応点の移動前と移動後の三次元座標を計測するというものである。
【０００３】
【特許文献１】
特開平９−３５０６１号公報
【０００４】
【発明が解決しようとする課題】
しかし、上記特許文献１に開示された画像処理方法においては、単に追跡点（特徴点）を選択して、特徴点の対応から三次元座標を計測するようにしている。このため、検出対象物の境界線が曲線で構成されているなどの複雑な形状であり、特徴点を多数設定する必要がある場合には、特徴点の対応をとるのに手間がかかるという問題があった。特に、検出対象物が自動車などの場合には、画像上の車両領域は多くの曲線を含んでいるので、特徴点の対応をとるのに非常に手間がかかるという問題があった。
【０００５】
そこで、本発明の課題は、ステレオカメラにおける２つのカメラで撮像された画像をステレオマッチングする際の両画像の対応を容易に取ることができる画像処理装置および画像処理方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決した本発明に係る画像処理装置は、検出対象物をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラで撮像された画像を画像処理する画像処理装置において、第１撮像手段で撮像された第１画像における面領域および第２撮像手段で撮像された第２画像における面領域をそれぞれ抽出する面領域抽出手段と、第１画像および第２画像における面領域に対するヒストグラムをそれぞれ生成するヒストグラム生成手段と、第１画像における面領域のヒストグラムと、第２画像における面領域のヒストグラムとを比較し、その比較結果に基づいて、第１画像における面領域と第２画像における面領域との対応関係の正否を判断するヒストグラム比較判断手段と、を備えるものである。
【０００７】
本発明に係る画像処理装置においては、ステレオカメラで撮像された第１画像および第２画像における面領域のヒストグラムを比較することにより、両画像における面領域の対応を取っている。このため、対象物の形状が複雑な場合でも、多数の特徴点を取る必要がないので、両画像の対応を容易に取ることができる。
【０００８】
なお、本発明にいう「面」とは、平面および滑らかな曲線状の変化を含む曲面を含む面をいう。
【０００９】
ヒストグラム比較判断手段は、第１画像における面領域のヒストグラムと、第２画像における面領域のヒストグラムとの比が所定の関係にあるときに、第１画像における面領域と第２画像における面領域とが正対応関係にあると判断するのが好適である。
【００１０】
このように、第１画像および第２画像における面領域のヒストグラムの構成比で対応関係を判断することにより、高い精度で両画像における面領域の対応をとることができる。
【００１１】
また、上記課題を解決した本発明に係る画像処理方法は、検出対象物をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラで撮像された画像を画像処理する画像処理方法において、記第１撮像手段で撮像された第１画像における面領域および第２撮像手段で撮像された第２画像における面領域をそれぞれ抽出する面領域抽出工程と、第１画像および第２画像における面領域に対するヒストグラムをそれぞれ生成するヒストグラム生成工程と第１画像における面領域のヒストグラムと、第２画像における面領域のヒストグラムとを比較し、その比較結果に基づいて、第１画像における面領域と第２画像における面領域との対応関係の正否を判断するヒストグラム比較判断工程と、を備えることを特徴とする。
【００１２】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、各実施形態において、同一の機能を有する部分については同一の符号を付し、重複する説明は省略することがある。
【００１３】
図１は、本発明に係る画像処理装置のブロック構成図である。図１に示すように、本実施形態に係る画像処理装置１は、ステレオカメラ２に接続されている。ステレオカメラ２は、第１撮像手段である第１撮像装置２１および第２撮像手段である第２撮像装置２２を備えている。第１撮像装置２１および第２撮像装置２２には、同期装置２３が接続されており、それぞれ同期した状態で同一の対象物を撮像するようになっている。これらの第１撮像装置２１および第２撮像装置２２は、内部パラメータおよび相対的な位置関係が既知であり、同期装置２３で同期が取られた状態で検出対象を撮像することができる。
【００１４】
画像処理装置１は、第１入力手段１１および第２入力手段１２を備えている。第１入力手段１１は、ステレオカメラ２における第１撮像装置２１に接続されており、第１撮像装置２１で撮像され、第１撮像装置２１から出力された第１画像を入力処理している。また、第２入力手段１２は、第２撮像装置２２に接続されており、第２撮像装置２２で撮像され、第２撮像装置２２から出力された第２画像を入力処理している。
【００１５】
第１入力手段１１および第２入力手段１２は、それぞれ本発明の面領域抽出手段である第１分割手段１３および第２分割手段１４に接続されており、第１入力手段１１は、入力処理した第１画像を第１分割手段１３に出力している。また、第２入力手段１２は、入力処理した第２画像第２分割手段１４に出力している。第１分割手段１３では、第１画像における面領域を抽出し、抽出した面領域を他の領域から分割処理する。また、第２分割手段１４では、第２画像における面領域を抽出し、抽出した面領域を他の領域から分割処理する。
【００１６】
第１分割手段１３および第２分割手段１４は、第１ヒストグラム生成手段１５および第２ヒストグラム生成手段１６にそれぞれ接続されている。第１ヒストグラム生成手段１５は、第１分割手段１３で分割された面領域に対するヒストグラムを作成し、第２ヒストグラム生成手段１６は、第２分割手段１３で分割された面領域に対するヒストグラムを生成する。
【００１７】
第１ヒストグラム生成手段１５および第２ヒストグラム生成手段１６は、それぞれ本発明のヒストグラム比較判断手段である比較手段１７に接続されている。比較手段１７では、第１ヒストグラム生成手段１５と第２ヒストグラム生成手段１６でそれぞれ生成された第１ヒストグラムとの比を比較し、比較結果に基づいて第１画像における面領域と第２画像における面領域の対応の正否を判断する。また、比較手段１７は、出力手段１８に接続されており、判断した第１画像における面領域と第２画像における面領域との比較結果を出力する。出力手段１８では、出力処理を行った後に、図示しないモニタ等の出力装置に判断結果を出力する。
【００１８】
以上の構成を有する本実施形態に係る画像処理装置を用いた画像処理方法について説明する。図２は、本実施形態の画像処理方法の手順を示すフローチャートである。
【００１９】
図２に示すように、本実施形態に係る画像処理方法においては、まずステレオカメラ２における第１撮像装置２１および第２撮像装置２２により、第１画像および第２画像を取得する（Ｓ１）。ここで、第１画像を左画像とし、第２画像を右画像とする。左画像および右画像を取得したら、画像処理装置１における入力手段１１，１２に左右画像を出力する、入力手段１１，１２では、それぞれ左画像および右画像に所定の入力処理を施し、入力処理を施した画像をそれぞれ分割手段１３，１４に出力する。第１分割手段１３では、第１入力手段１１から出力された左画像から面領域を抽出し、抽出した面領域を他の領域から分割する（Ｓ２−１）。それと同時に、第２分割手段１４では、第２入力手段１２から出力された右画像から面領域を抽出し、抽出した面領域を他の領域から分割する（Ｓ２−２）。たとえば、図３（ａ）に示すように、左画像における検出対象物ＤＬが直方体の場合には、３つの面領域Ｌ１〜Ｌ３が存在する。これらの面領域の間には境界線が存在するので、これらの境界線をたとえばエッジ検出によって検出して、これらの境界線を境に面領域Ｌ１〜Ｌ３をそれぞれ分割する。また、図４（ａ）に示すように、右画像にも同じ検出対象物ＤＲが異なる角度で撮像される。この検出対象物ＤＲから同様に境界線を検出して、これらの境界線を境に面領域Ｒ１〜Ｒ３をそれぞれ分割する。
【００２０】
分割手段１３，１４で面領域を分割したら、続いて第１ヒストグラム生成手段１５によって、図３（ｂ）に示すように、左画像で分割された各面領域Ｌ１〜Ｌ３を画面の水平線で切断した切断長に対応するヒストグラムφＬｉ（ｙ）、（ｉ＝１〜３）を作成する（Ｓ３−１）。それと同時に、第２ヒストグラム生成手段１６では、図４（ｂ）に示すように、右画像で分割された各面領域Ｒ１〜Ｒ３を水平線で切断した切断長に対応するヒストグラムφＲｊ（ｙ）、（ｊ＝１〜３）を作成する（Ｓ３−２）。
【００２１】
両ヒストグラム生成手段１５，１６でそれぞれヒストグラムφＬｉ（ｙ），φＲｊ（ｙ）を作成したら、比較手段１７において、ヒストグラムφＬｉ（ｙ），φＲｊ（ｙ）の比ｆ（ｙ；Ｒｊ，Ｌｉ）を算出する（Ｓ４）。その結果、ヒストグラムφＬｉ（ｙ），φＲｊ（ｙ）の比ｆ（ｙ；Ｒｊ，Ｌｉ）が一定（ｃｏｎｓｔ）となった場合には、両ヒストグラムφＬｉ（ｙ），φＲｊ（ｙ）を生成する左右画像の面領域対が正しい対応をなしていると決める（Ｓ５）。
【００２２】
ここで、ヒストグラム同士の比が一定であるときに、正しい対応をなすと判断することができる理由について説明する。図３（ａ）および図４（ａ）に示す検出対象物ＤＬ，ＤＲにオクルージョンがなく、境界線が同一平面上に存在するとき、面領域Ｌｉ，Ｒｊを水平線で切断した切断長のヒストグラムφＬｉ（ｙ），φＲｊ（ｙ）の間には、下記の（１）式が成り立つ。
【００２３】
φＬｉ（ｙ）＝ｋφＲｊ（ｙ）  ・・・（１）
この（１）が成り立つ理由についてさらに説明する。いま、左右画像における対応する面領域Ｌｉ，Ｒｊについて、左画像における面領域Ｌｉの左右の境界線をφＬｉ０、φＬｉ１とし、右画像における面領域Ｒｊの左右の境界線をφＲｊ０、φＲｊ１とする。このとき、アフィン変換の関係から、下記（２）式および下記（３）式が成り立つ。
【００２４】
φＬｉ０＝ａ＊φＲｊ０＋ｂ＊ｙ＋ｃ  ・・・（２）
φＬｉ１＝ａ＊φＲｊ１＋ｂ＊ｙ＋ｃ  ・・・（３）
ここで、ａ、ｂ，ｃは、撮像装置２１，２２の向きや撮像装置２１，２２と面領域Ｌｉ，Ｒｊとの位置関係等に基づいて定められる所定の定数である。
【００２５】
この（３）式から（２）式を引いてヒストグラムφＬｉを下記（４）式により求める。
【００２６】
φＬｉ＝φＬｉ１−φＬｉ０
＝ａ＊φＲｊ１−ａ＊φＲｊ０＝ａ＊φＲｊ  ・・・（４）
この（４）式により、上記（１）式が成り立つことが分かる。
【００２７】
したがって、ヒストグラムφＬｉ，φＲｊの比を比較することにより、その対応を精度よく取ることができる。
【００２８】
ただし、オルクージョン等が発生することも考えられるので、ヒストグラムφＬｉ，φＲｊの比が完全に一定でなくとも、ある程度の誤差を含む範囲であれば、それらのヒストグラムφＬｉ，φＲｊを生成する領域が対応していると判断することもできる。また、ヒストグラムφＬｉ，φＲｊの比のうち、もっとも定数に近い関係にあるもの同士を対応する面領域として判断することもできる。
【００２９】
このようして、面領域の対応を判断して処理が終了する。また、面領域の対応が取れたら、適宜のステレオマッチング等によって得られた画像を、出力手段１８を介して適宜の図示しない出力装置に出力する。
【００３０】
このように、本実施形態に係る画像処理装置においては、左右画像における検出対象の面領域を抽出し、これらの面領域に対応するヒストグラムを生成する。そして、左右画像における面領域に対応するヒストグラムを比較して、ヒストグラム同士が一定の比率関係にあるときに、対応する面と判断している。このため、各画像における特徴点を検出することなく、両画像における検出対象の面同士の対応を取ることができる。したがって、検出対象が複雑な形状であっても、両面同士の対応を容易に取ることができる。
【００３１】
【発明の効果】
以上のとおり、本発明によれば、ステレオカメラにおける２つのカメラで撮像された画像をステレオマッチングする際の両画像の対応を容易に取ることができる画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置装置のブロック構成図である。
【図２】本実施形態に係る画像処理方法を示すフローチャートである。
【図３】（ａ）は左画像に映された検出対象物を示す図、（ｂ）はその検出対象物に対応するヒストグラムである。
【図４】（ａ）は左画像に映された検出対象物を示す図、（ｂ）はその検出対象物に対応するヒストグラムである。
【符号の説明】
１…画像処理装置、２…ステレオカメラ、１１…第１入力手段、１２…第２入力手段、１３…第１分割手段、１４…第２分割手段、１５…第１ヒストグラム生成手段、１６…第２ヒストグラム生成手段、１７…比較手段、１８…出力手段、２１…第１撮像装置、２２…第２撮像装置、２３…同期装置、ＤＬ，ＤＲ…検出対象物、Ｌｉ，Ｒｊ（ｉ＝１〜３）…面領域、φＬｉ，φＲｊ…ヒストグラム。
【図１】
2004259047.tif 000003
【図２】
2004259047.tif 000004
【図３】
2004259047.tif 000005
【図４】
2004259047.tif 000006