(57)【特許請求の範囲】
【請求項１】
一対の撮像素子で同時刻に同方向を撮像した一対の画像を画像処理する画像処理装置であって、
一方の画像から視差情報を取得する対象物を認識して、前記一方の画像内に該対象物の画像を含む撮像画像領域である一方画像対象物領域を抽出する一方画像対象物領域抽出手段と、
該一方画像対象物領域を構成する複数の画像構成部分について、それぞれ前記対象物の画像を構成する対象物画像構成部分と前記対象物以外の背景の画像を構成する背景画像構成部分のいずれであるかの確度である背景度を算出する背景度算出手段と、
前記背景度を用いて、他方の画像内から前記一方画像対象物領域と類似した画像を有する他方画像対象物領域を抽出し、該一方画像対象物領域と前記他方画像対象物領域との視差を算出する視差算出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記一方画像対象物領域抽出手段により抽出された前記一方画像対象物領域を用いて前記他方の画像内を探索し、前記他方の画像内から前記一方画像対象物領域と類似した画像を有する他方画像類似領域を抽出する他方画像類似領域抽出手段を備え、
前記視差算出手段は、前記他方の画像内で他方画像類似領域を中心として予め設定された大きさを有する周辺範囲を探索して前記他方画像対象物領域を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記背景度算出手段は、
予め記憶された車両知識に基づいて前記背景度を算出する第１の背景度算出手段と、
前記一方画像対象物領域と前記他方画像類似領域とを重ね合わせたときの互いに対応する画像構成部分の輝度差分に基づいて前記背景度を算出する第２の背景度算出手段の少なくとも一方を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記視差算出部は、前記一方画像対象物領域を前記他方画像類似領域に重ね合わせたときに互いに同じ位置となる画像構成部分の輝度値の差分値を各画像構成部分についてそれぞれ算出し、該各差分値に対して前記背景度を用いた重み付けを行い、該重み付けされた各差分値を用いて前記他方画像対象物領域を抽出することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
一対の撮像素子で同時刻に同方向を撮像した一対の画像を画像処理する画像処理方法であって、
一方の画像から視差情報を取得する対象物を認識して、前記一方の画像内に該対象物の画像を含む撮像画像領域である一方画像対象物領域を抽出する工程と、
該一方画像対象物領域を構成する複数の画像構成部分について、それぞれ前記対象物の画像を構成する対象物画像構成部分と前記対象物以外の背景の画像を構成する背景画像構成部分のいずれであるかの確度である背景度を算出する工程と、
前記背景度を用いて、他方の画像内から前記一方画像対象物領域と類似した画像を有する他方画像対象物領域を抽出し、該一方画像対象物領域と前記他方画像対象物領域との視差を算出する工程と、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像素子で撮像した画像を画像処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、ステレオカメラ装置など複数のカメラを用いて歩行者や車両などの障害物を検出する障害物検出装置が実用化されている。ステレオカメラ装置とは、同時刻に撮像された複数の画像上における同一対象物の位置ずれ（視差）を算出し、その視差をもとに対象物の実空間上の位置を周知の変換式により算出し、対象物の認識を行う画像処理装置である。ステレオカメラ装置は、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用することができる（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2008-114627号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像画像上の対象物は、カメラとの距離が長くなるに応じてその大きさが小さくなり、画像が粗くなる。したがって、ステレオカメラ装置は、対象物との距離が長くなるに応じて、対象物とその周囲の背景との区別が困難になり、視差の誤差が多くなるという問題を有している。
【０００５】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、対象物体までの距離を測定する際に、距離精度を向上させ、従来より遠い距離の対象物でも正確な距離を測定することができる画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決する本発明の画像処理装置及び画像処理方法は、一対の撮像素子で同時刻に同方向を撮像した一対の画像の一方の画像から対象物の画像を含む一方画像対象物領域を抽出する。そして、一方画像対象物領域を構成する複数の画像構成部分についてそれぞれ対象物画像構成部分と背景画像構成部分のいずれであるかの確度である背景度を算出する。そして、背景度を用いて他方の画像内から一方画像対象物領域と類似した画像を有する他方画像対象物領域を抽出して、一方画像対象物領域と前記他方画像対象物領域との視差を算出する。
【発明の効果】
【０００７】
本発明によれば、他方の画像内から一方画像対象物領域と類似した他方画像対象物領域を抽出する際に、背景度により重み付けをしているので、背景の影響をより少なくすることができる。したがって、対象物の正確な視差情報を得ることができ、対象物までの距離精度を向上させることができる。したがって、従来よりも遠い距離の対象物でも正確な距離を測定できる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００８】
【図１】本実施の形態におけるシステム概要図。
【図２】車両検出部における処理内容を説明するフローチャート。
【図３】車両領域出力処理の出力内容を説明する図。
【図４】右画像類似領域抽出部の処理内容を説明するフローチャート。
【図５】右画像類似領域抽出処理の内容を説明する図。
【図６】背景度算出部の処理内容を説明するフローチャート。
【図７】車両知識による背景度算出処理の内容を説明する図。
【図８】重ね合わせ誤差による背景度算出処理の内容を説明する図。
【図９】視差算出部の処理内容を説明するフローチャート。
【図１０】左右車両領域の視差算出処理の内容を説明する図。
【発明を実施するための形態】
【０００９】
次に、本実施の形態について以下に図面を用いて説明する。
本実施の形態では、本発明を自車両に搭載されたステレオカメラ装置の映像を用いて先行車両を検出するシステムに適用した場合について説明する。
【００１０】
まず、図1を用いて本システムの概要について説明する。図1において、104は車両103に搭載されたステレオカメラ装置である。ステレオカメラ装置104は、画像処理により車両（自車両）103の前方を走行する先行車両102の存在を検出し、車両103から先行車両102までの相対距離、相対速度を算出する。
【００１１】
ステレオカメラ装置104は、車両103の前方を撮像する一対の撮像手段として左撮像部（左カメラ）105と右撮像部（右カメラ）106を備えており、左撮像部105からの映像が左画像入力部107に入力され、右撮像部106からの映像が右画像入力部108に入力される。左撮像部105と右撮像部106は、ＣＣＤなどの撮像素子をそれぞれ有しており、互いに車幅方向に離間した位置から車両前方を撮像するように車両103に設置されている。
【００１２】
車両検出部109は、左画像入力部107に入力された左画像301（図3参照）内を探索して、先行車両102が撮像されている画像領域を左画像車両領域（一方画像対象物領域）302として抽出する（一方画像対象物領域抽出手段）。右画像類似領域抽出部110は、右画像入力部108に入力された右画像501（図5参照）内を探索して、車両検出部109で抽出した左画像車両領域302と類似した画像領域を右画像類似領域（他方画像類似領域）503（図5参照）として抽出する（他方画像類似領域抽出手段）。
【００１３】
背景度算出部111は、図3に示すように左画像車両領域302を構成する複数の画像構成部分として例えば各画素について、それぞれ先行車両102の画像を構成する車両画像構成部分304と先行車両102以外の背景の画像を構成する背景画像構成部分303のいずれであるかの確度である背景度を算出する。なお、背景度を算出する範囲は画素単位に限定されるものではなく、例えば、複数の画素を一つの範囲として、その背景度を算出してもよい。
【００１４】
視差算出部112は、図5に示すように右画像501内の右画像類似領域503の周辺範囲を探索して、左画像車両領域302に最も類似する画像領域を右画像車両領域として抽出する。視差算出部112は、背景度を用いた重み付けをして探索を行う。そして、抽出した右画像車両領域と左画像車両領域302との視差を算出する。
【００１５】
相対距離・相対速度算出部113では、視差算出部112で算出した先行車両102の視差から、先行車両102と車両103との相対距離、相対速度を算出する。車両103は、相対距離・相対速度算出部113で算出した先行車両102との相対距離・相対速度の値に基づき、アクセルやブレーキを制御して、例えば先行車両102に追従する制御や、先行車両102への追突を防止する制御などの走行制御を行う。
【００１６】
次に、図2と図3を用いて車両検出部109で行う処理について説明する。図2は、車両検出部109で行われる処理内容を説明するフローチャート、図3は、左画像車両領域出力処理207の出力内容を説明する図である。
【００１７】
まず、左画像取得処理201では、左撮像部105で右撮像部106と同時刻に撮像された左画像301の取得が行われる。左画像301は、左撮像部105からステレオカメラ装置104の左画像入力部107に入力される。そして、処理領域決定処理202では、左画像301内から先行車両102が撮像されている部分を抽出する処理を行うための処理領域を決定する処理が行われる。
【００１８】
処理領域を決定する方法の１つとして、左撮像部105で撮像された左画像301内から、車両103が走行する道路101の車線（走行レーン）の両側の2本の車線境界線115を検出し、その検出した2本の車線境界線115に挟まれる領域を、処理領域として決定する方法を例として挙げることができる。
【００１９】
次に、縦エッジペア抽出処理203では、処理領域決定処理202で決定した処理領域内において画像301の縦(v)方向に画像輝度のエッジ成分がペアとなって存在する縦エッジのペアを抽出する処理が行われる。縦エッジを抽出するには、画像301を横(u)方向に探索し、画像301の輝度値の勾配が一定閾値以上の部分が、画像301の縦方向に連続して存在する部分を検出する。
【００２０】
次に、パターンマッチ処理204において、縦エッジペア抽出処理204で抽出した２つの縦エッジで囲まれる矩形の領域に対して、車両学習データ205との輝度パターンの類似性を計算し、縦エッジペアで囲まれる矩形領域が、先行車両102を後方から撮像した部分であるか否かを判定する。類似性の判定には、ニューラルネットワークやサポートベクターマシンといった手法を使う。また、車両学習データ205は、予め様々な車両を後方から撮像した多数のポジティブデータ画像と、車両ではない被写体を撮像した多数のネガティブデータ画像を準備しておくものとする。
【００２１】
次に、車両領域抽出処理206にて、パターンマッチ処理204で先行車両102を後方から撮像した画像であると判定された画像領域を左画像車両領域302として抽出し、車両領域出力処理207にて、左画像車両領域302の矩形の４頂点Ｐ１〜Ｐ４の座標値Ｐ１(u1,v1)、Ｐ２(u1,v2)、Ｐ３(u2,v1)、Ｐ４(u2,v2)を出力する。
【００２２】
ここで抽出した左画像車両領域302は、図3に示すように、矩形の画像領域内に、先行車両102を撮像した対象物画像構成部分（図3にて先行車両102の輪郭で囲まれる画像構成部分）304と、先行車両102ではない背景画像構成部分（図3にて画像領域302の外枠と先行車両102の輪郭との間で囲まれるハッチング部分）303の両方を含んでいる。
【００２３】
次に、図4及び図5を用いてステレオカメラ装置104の右画像類似領域抽出部110の処理内容について詳細に説明する。図4は、右画像類似領域抽出部110で行われる処理内容を説明するフローチャート、図5は、右画像類似領域抽出処理の内容を説明する図である。
【００２４】
まず、左画像・右画像取得処理401にて、車両検出部109で左画像301から抽出された左画像車両領域302と、右撮像部106で左画像301と同時刻に撮像された右画像501とを取得する。そして、右画像類似領域抽出処理402において、左画像車両領域302内に撮像されている先行車両102と同じ先行車両102が右画像501に撮像されている画像領域を、左画像車両領域302に類似する右画像類似領域503として右画像501から抽出する。
【００２５】
図5に、左画像車両領域302に類似する右画像類似領域503を右画像501から抽出する方法を示す。ここで、ステレオカメラ装置104の左撮像部105と右撮像部106は出荷時のキャリブレーションによって平行化されていることを前提とする。平行化とは、左右撮像部105、106の光軸が平行であることを意味する。
【００２６】
ここでは、左画像車両領域302と同じ大きさを有する矩形の探索領域502を用いて、右画像501内を探索し、左画像車両領域302と最も類似する探索領域502を右画像類似領域503として抽出する処理が行われる。
【００２７】
具体的には、左画像車両領域302の矩形の４頂点の座標値がＰ１(u1,v1)、Ｐ２(u1,v2)、Ｐ３(u2,v1)、Ｐ４(u2,v2)であるとき、右画像501内の (0,v1)、(0,v2)、(u2-u1,v1)、(u2-u1,v2)を４頂点とする探索領域502を、右画像501において水平に１画素ずつ、あるいは複数画素ずつ移動させて探索する。そして、探索する際に、左画像車両領域302内の各画素の輝度値と、探索領域502内の各画素の輝度値との差分値をそれぞれ計算する。すなわち、左画像車両領域302と探索領域502の同じ画素位置における輝度の差分値を、各画素についてそれぞれ計算する。
【００２８】
そして、各差分値を総和した領域内総和値が最も小さくなる位置の探索領域502を、左画像車両領域302に類似する右画像類似領域503として抽出する。ここで、ステレオカメラ装置104の左撮像部105と右撮像部106は出荷時のキャリブレーションによって、同じ感度特性を持つものとする。
【００２９】
次に、右画像類似領域出力処理403において、右画像類似領域抽出処理402で抽出した右画像類似領域503の矩形の４頂点P11〜P14の座標値P11(u3,v1)、P12(u3,v2)、P13(u4,v1)、P14(u4,v2)を出力する。
【００３０】
次に、図6を用いてステレオカメラ装置104の背景度算出部111で行う処理について説明する。図6は、背景度算出部111で行われる処理フローである。
【００３１】
まず、左右画像車両領域取得処理601では、車両検出部109から出力された左画像車両領域302と、右画像類似領域抽出部110から出力された右画像類似領域503を取得する。次に，左画像車両領域302の各画素が対象物画像構成部分と背景画像構成部分のいずれであるのかの確度である背景度を算出する処理が行われる。背景度は、第１の背景度算出処理602により第１の背景度が算出され、第２の背景度算出処理603により第２の背景度が算出され、最終背景度算出処理604により、第１の背景度と第２の背景度を総合した最終的な背景度が算出される。
【００３２】
まず、第１の背景度算出処理602では、車両知識により背景度を算出する処理が行われる。ここでは、左画像車両領域302の各画素が対象物画像構成部分と背景画像構成部分のいずれであるのかの確度を事前に規定した車両知識を用いて背景度を算出する。背景度は、ある画素が背景となる確度を表した値であり、例えば背景度1のときはその画素は背景画像構成部分と判断でき、背景度0のときはその画素が対象物画像構成部分と判断できる。そして、背景度が0と1の中間のときはその値に比例した確度となる。図7に車両知識を用いた背景度の算出例を示す。ここでは，矩形で示した中心領域701内は車両の領域（背景度0）であり，左画像車両領域302の外枠端は背景である（背景度1）という車両知識を用いて、線形的に背景度を補完することにより各画素の背景度を算出する。
【００３３】
次に、第２の背景度算出処理603では、重ね合わせ誤差により背景度を算出する処理が行われる。ここでは、左画像車両領域302と右画像類似領域503とを重ね合わせた際の輝度値の誤差の大小より各画素の背景度が算出される。図8に重ね合わせ誤差により各画素の背景度を算出する方法を示す。
【００３４】
まず、左画像車両領域302と右画像類似領域503の座標起点が一致するように重ね合わせる。そして、左画像車両領域302と右画像類似領域503の同じ画素位置における輝度の差分値、および領域内の差分の平均Dと標準偏差σを計算する。そして、差分値がD±1σよりも小さいときは背景度0、差分値がD±1σ以上D±3σ以下のときは背景度0.5、差分値がD±3σよりも大きいときは背景度1.0として、各画素についてそれぞれ背景度を算出する。
【００３５】
次に、最終背景度算出処理604では、第１の背景度算出処理602において出力される背景度と，第２の背景度算出処理603において出力される背景度を、各画素毎に掛け算を行い，各画素についてそれぞれ最終的な背景度を算出する。
【００３６】
なお、上記では、第１の背景度と第２の背景度を用いて最終背景度を算出する場合について説明したが、この構成に限定されるものではなく、第１の背景度と第２の背景度の少なくとも一方を用いるものであればよく、また、背景度の算出方法も一例であり、他の方法によって背景度を算出してもよい。
【００３７】
次に、図9を用いて視差算出部112の処理について説明する。図9は、視差算出部112で行われる処理内容を説明するフローチャートである。
【００３８】
まず、左右画像車両領域取得処理901では、車両検出部109から出力される左画像車両領域302と、右画像類似領域抽出部110から出力される右画像類似領域503を取得する処理が行われる。
【００３９】
次に、左右車両領域マッチング処理902では，背景度を用いて左画像車両領域302に最も類似する右画像車両領域（他方画像対象物領域）を右画像501から抽出する処理が行われる。ここでは、右画像501内で右画像類似領域503を中心として予め設定された大きさを有する周辺範囲内を探索する。
【００４０】
そして、周辺範囲を探索する際に、左画像車両領域302内の各画素の輝度値と、探索領域502内の各画素の輝度値との差分値をそれぞれ計算する。すなわち、左画像車両領域302と探索領域502との同じ画素位置における輝度値の差分値を、各画素についてそれぞれ計算する。これにより、左画像車両領域302を右画像501に重ね合わせたときに互いに同じ位置となる画素の輝度値の差分値が各画素についてそれぞれ算出されたこととなる。
【００４１】
そして、最終背景度算出処理604によって得られた各画素の背景度を用いて、各画素の輝度値の差分値に、重み付けを行う。ここでは、１から背景度を減算した値（１−背景度）に対して差分値を乗算した値（＝（１−背景度）×差分値）を、各画素について算出し、探索領域502内の総和値を算出する。そして、周辺範囲を探索した中で、総和値が一番小さくなる位置の探索領域502を、右画像車両領域として抽出する。
【００４２】
次に、視差算出処理903では，背景度を用いた左右車両領域マッチング処理902の結果として得られる視差を出力する。ここで、左画像車両領域302の左上座標を(u1,v1)，右画像においてマッチングした右画像車両領域の左上座標を(u’1,v1)とすると，u1-u’1 が視差を表し，この値が出力される。
【００４３】
視差算出部112では、左画像車両領域302に類似する右画像車両領域を抽出する際に、背景度により重み付けしているので、背景の影響をより少なくすることができる。したがって、先行車両102の正確な視差を算出することができる。
【００４４】
また、視差算出部112では、右画像501内で右画像類似領域503を中心とした周辺範囲を探索して、その探索範囲を絞り込んでいるので、右画像501内を広く探索する場合と比較して、探索時間を短くすることができる。特に、右画像車両領域を抽出する処理において背景度により重み付けをする演算処理を行っているので、探索範囲を絞り込むことによって、演算処理の負荷を軽減し、処理速度の向上を図ることができる。
【００４５】
次に、図10を用いて、相対距離・相対速度算出部113による相対距離の算出方法について説明する。まず、図10において、左画像301と右画像501の対応点1001（左右カメラの同一物体）のカメラからの距離を算出する方法を説明する。
【００４６】
図10において、左の撮像部105は、レンズ1002と撮像面1003から成る焦点距離f、光軸1008のカメラであり、右撮像部106は、レンズ1004と撮像面1005から成る焦点距離f、光軸1009のカメラである。カメラ前方にある点1001は、左の撮像部105の撮像面1003の点1006（光軸1008からd2の距離）へ撮像され、左画像301では点1006（光軸1108からd4画素の位置）となる。同様に、カメラ前方にある点1001は、右の撮像部106の撮像面1005の点1007（光軸1009からd3の距離）に撮像され、右画像501では点1007（光軸1009からd5画素の位置）となる。
【００４７】
このように同一の物体の点1001が、左画像301では光軸1008から左へd4画素の位置、右画像501では光軸1009から右へd5の位置に撮像され、d4+d5画素の視差が発生する。このため、左の撮像部105の光軸1008と点1001との距離をxとすると、以下の式により、ステレオカメラ装置104から点1001までの距離Dを求めることができる。
【００４８】
点1001と左の撮像部105との関係から  d2 : f = x : D
点1001と右の撮像部106との関係から  d3 : f = (d-x) : D
【００４９】
従って、D = f × d / (d2 + d3) = f × d / { (d4 + d5 ) × a}  となる。ここで、aは撮像面1003、1005の撮像素子のサイズである。
【００５０】
上記したステレオカメラ装置104は、画像処理装置として、左画像301から視差情報を取得する対象物である先行車両102を認識し、左画像301内に先行車両102の画像を含む左画像車両領域302を抽出し、左画像対象物領域を構成する各画素について背景度を算出し、背景度を用いて右画像501内から左画像車両領域302に類似した右画像車両領域を抽出し、左画像車両領域と右画像車両領域との視差を算出する。
【００５１】
上記したステレオカメラ装置104によれば、左画像車両領域302に類似する右画像車両領域を抽出する際に、背景度により重み付けしているので、背景の影響をより少なくすることができる。したがって、先行車両102の正確な視差情報を得ることができ、先行車両102までの距離精度を向上させることができる。したがって、従来よりも遠い距離の先行車両102でも正確な距離を測定できる。
【００５２】
そして、上記したステレオカメラ装置104は、左画像車両領域302を用いて右画像501から右画像類似領域503を予め抽出しておき、背景度を用いて右画像501内から右画像車両領域を抽出する際に、右画像類似領域503の周辺範囲を探索して右画像車両領域を抽出してもよい。これにより、右画像501内を広く探索する場合と比較して、探索時間を短くすることができ、特に、右画像車両領域を抽出する処理において背景度により重み付けをする演算処理を行っているので、その演算処理の負荷を軽減し、処理速度の向上を図ることができる。
【００５３】
なお、本発明は、上述の実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上述の実施の形態では、右画像類似領域抽出部110で右画像類似領域503を抽出し、視差算出部112でその右画像類似領域503の周辺範囲内を探索して、右画像車両領域を抽出する場合を例に説明したが、これに限定されるものではない。例えば、右画像類似領域抽出処理402と同様に、右画像内において (0,v1)、(0,v2)、(u2-u1,v1)、(u2-u1,v2)を４頂点とする探索領域502を水平に移動させて、左画像車両領域302と類似する右画像車両領域を探索する構成としてもよい。
【００５４】
なお、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００５５】
102  先行車両（対象物）
103  車両（自車両）
104  ステレオカメラ装置（画像処理装置）
105  左撮像部（左カメラ）
106  右撮像部（右カメラ）
107  左画像入力部
108  右画像入力部
109  車両検出部
110  右画像類似領域抽出部
111  背景度算出部
112  視差算出部
113  相対距離・相対速度算出部
302  左画像車両領域（一方画像対象物領域）
502  探索領域
503  右画像類似領域
【図１】
0005587852.tif 000002
【図２】
0005587852.tif 000003
【図３】
0005587852.tif 000004
【図４】
0005587852.tif 000005
【図５】
0005587852.tif 000006
【図６】
0005587852.tif 000007
【図７】
0005587852.tif 000008
【図８】
0005587852.tif 000009
【図９】
0005587852.tif 000010
【図１０】
0005587852.tif 000011