(57)【要約】【課題】近傍に物体が存在したとしても、独立した物体を正確に検知可能な撮像装置を得ること。【解決手段】本発明の撮像装置１００は、異なる位置に配置される複数の撮像部で撮像された画像を取得する画像取得部１０、２０と、複数の画像間で共通する部位についての視差情報を生成する視差情報生成部３０と、複数の撮像素子のうち一部の撮像素子では撮影され且つ他の撮像素子では物体に隠れて撮影不能となる背景のオクルージョン領域を検出するオクルージョン領域検出部５０を備えることを特徴とする。【選択図】図１
2017175483.tif 000002
【特許請求の範囲】
【請求項１】
異なる位置に配置される複数の撮像部で撮像された画像を取得する画像取得部と、
前記複数の画像間で共通する部位についての視差情報を生成する視差情報生成部と、
前記複数の撮像素子のうち一部の撮像素子では撮影され且つ他の撮像素子では物体に隠れて撮影不能となる背景のオクルージョン領域を検出するオクルージョン領域検出部と、を備えることを特徴とする撮像装置。
【請求項２】
前記オクルージョン領域を用いて物体を検知する物体検知部を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像中の物体候補の輪郭を検出する輪郭検出部を備え、
前記物体検知部は、前記オクルージョン領域が前記物体候補の輪郭に沿って位置し、且つ、前記オクルージョン領域と前記物体候補の輪郭とが対応する形状を有する場合に、前記物体候補を他の物体と独立した物体として検知することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記輪郭検出部は、少なくとも一つの撮像部で取得された画像中で前記複数の撮像部間方向に隣接する画素同士の輝度差を用いて前記物体候補の輪郭を検出することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記複数の画像間で視差情報が存在しない視差不存在領域を抽出する視差不存在領域抽出部を備え、
前記オクルージョン領域検出部は、前記視差不存在領域の幅が、前記複数の撮像部間の距離と、前記物体までの距離と、前記視差不存在領域に隣接する背景までの距離とに基づいて演算されるオクルージョン幅に相当する場合に、前記視差不存在領域を前記オクルージョン領域として用いることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記物体検知部は、オクルージョン領域に隣接する物体候補に対して識別器を用いて前記物体を検知することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記オクルージョン領域が前記物体の輪郭に沿って位置し、且つ、前記オクルージョン領域と前記物体の輪郭とが対応する形状を有する場合に、前記オクルージョン領域の形状に基づいて前記物体の輪郭を補正する輪郭補正部を備えることを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記輪郭補正部は、
前記視差情報生成部により生成した視差画像上で前記視差不存在領域に隣接する背景の位置を特定し、
前記視差画像上で前記背景の視差である背景視差と、前記物体候補の視差である前景視差から予測されるオクルージョン幅を計算し、
前記オクルージョン幅に基づいて前記視差画像上で前記物体候補の推定位置である前景推定位置を推定し、
前記輪郭検出部により検出した前景輪郭位置と前記前景推定位置から輪郭ずれを算出し、
該輪郭ずれの絶対値が閾値以上の場合は、前記前景推定位置を補正後の前景輪郭位置とし、
前記輪郭ずれの絶対値が閾値未満の場合は、前景輪郭位置と前景推定位置の中間位置を補正後の前景輪郭位置することを特徴とする請求項７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像素子で撮像された画像を用いて独立した物体を適切に検知する撮像装置に関する。
【背景技術】
【０００２】
様々なセンサ（ステレオカメラ、TOFカメラ、レーザレーダ）などを利用した物体を検知する試みがなされている。例えば、水平に配置された２つの撮像素子を用いたステレオカメラは、三角測量の原理を用いている。ステレオカメラでは、左右それぞれの撮像素子で撮像された画像間のマッチングをして視差を求め、元の画像に対応する視差画像を作成する。視差画像上において、視差の値が近くまた画像上の位置も近い画素の集まりを一つの物体として、検知されることとなる。
【０００３】
従来は、画像間マッチング技術、すなわち視差を適切に求める技術や、視差画像からの物体の検知する技術の練磨が行われてきた。例えば、特許文献１では、視差画像において左右方向に区分し、それぞれの区分ごとに視差ヒストグラムをとって、区分ごとの物体を検知したのちに隣接区分とグループ化することでノイズ低減を図っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２８５５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、いずれのセンサを用いても有限の分解能および精度でのみしか三次元情報を得ることができないために、画像上もしくは実世界でおいて十分近傍である類似の距離の点または領域を同一の物体として検知するように処理がなされる。言い換えると、十分近接する物体は、相異なる物体として検知することはできないという問題がある。
【０００６】
二つの物体がある状況で一つの物体として検知したとすると、物体の識別や物体の移動状態の推定を誤ることにつながる。例えば、ステレオカメラを搭載した車両が走行中に二人の歩行者が自車レーンを横断して交差した直後に一つの物体として検知してしまっていては、二人の歩行者の移動速度の推定が困難となり、無駄な衝突回避の制御あるいは誤った衝突回避の制御を行ってしまいやすい。
【０００７】
本発明は、近傍に物体が存在したとしても、独立した物体を正確に検知可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成すべく、本発明による撮像装置は、左右水平に配置された撮像素子の少なくとも一方の撮像素子によって得られた画像に対してもう一方の撮像素子によって得られた画像との共通する特徴点を対応付けて両画像間の視差を検出する視差情報生成手段と、前記特徴対応付けにおいて共通する特徴点が存在しないことで出現する視差不存在領域を抽出する視差不存在領域抽出手段と、前記視差不存在領域とその周辺の視差分布からオクルージョン発生時特有の視差不存在領域の形状を評価してオクルージョン領域を検出するオクルージョン領域検出手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明の撮像装置によれば、物体の輪郭を明確にすることができ、適切に独立した物体を検知することができる。したがって、物体の適切な識別および適切な速度推定を実施することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
【図１】本発明の撮像装置の実施例１の構成図。
【図２】ステレオカメラの２つの画像取得部によって撮像された画像を示す図。
【図３】視差画像の一例を示す図。
【図４】オクルージョンの発生する原理を説明する俯瞰図。
【図５】右カメラに対応する視差画像とオクルージョン領域を示す図。
【図６】物体によって背景を隠すことで作られる視差不存在領域を示す座標図。
【図７】右画像においてオクルージョンにより発生した視差不存在領域を示す図。
【図８】歩行者周辺の視差分布を示す図。
【図９】視差不存在領域を囲む左端と右端を示す図。
【図１０】オクルージョン領域検出方法を説明する処理フローを示す図。
【図１１】本実施例の具体的な構成の一例を示す図。
【図１２】物体検知方法の一例を説明する図。
【図１３】物体検知方法の一例を説明する図。
【図１４】物体検知方法の一例を説明する図。
【図１５】物体検知方法の一例を説明する図。
【図１６】物体検知方法の一例を説明する図。
【図１７】本発明の撮像装置の実施例２の構成図。
【図１８】オクルージョンを用いた輪郭補正方法を説明するフローチャート。
【図１９】右画像の一部を拡大して示す図。
【図２０】視差画像を示す図。
【図２１】歩行者の輪郭を検出した輪郭画像を示す図。
【図２２】輪郭ずれ量が閾値未満の場合における輪郭の補正方法を説明する図。
【図２３】輪郭ずれ量が閾値以上の場合における輪郭の補正方法を説明する図。
【図２４】補正後の輪郭画像を示す図。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の撮像装置の実施の形態を説明する。なお、以下において、水平ステレオカメラ装置を例にとって説明を行うが、本発明の要旨はこれに限定されるものではなく、２つのカメラを鉛直に配列するなどの水平以外の任意の角度に配列されたステレオカメラ装置にも適用することができ、その場合には得られるオクルージョン領域すなわち独立した物体の境界の角度が異なるのみである。また同様に、３つ以上のカメラをもつ撮像装置にも適用することができ、複数の精度や角度の境界を得ることができる。
【００１２】
［実施例１］
図１は本発明の撮像装置の実施例１の構成図である。
本実施例の撮像装置１００は、自動車に搭載されて前方を撮像する水平ステレオカメラを想定しており、画像取得部１０、画像取得部２０、視差情報生成部３０、視差不存在領域抽出部４０、およびオクルージョン領域検出部５０を有している。画像取得部１０と画像取得部２０とが、水平ステレオカメラの左右のカメラ（撮像素子）に対応している。画像取得部は、異なる位置に配置される複数の撮像部で撮像された画像を取得することができるものであればよく、本例では、画像取得部１０を左カメラ、画像取得部２０を右カメラとするが、対称な関係であるために一般性を失わない。
【００１３】
画像取得部１０と画像取得部２０は、自車から前方を同時に撮像して、左右一対の画像を取得する。視差情報生成部３０は、複数の撮像部で同時に撮像された各画像を用いて、複数の画像間で共通する部位についての視差情報を生成する処理を行う。具体的には、視差情報生成部３０において、取得された左右画像の少なくとも一方の画像に対するもう一方の画像とのマッチングを行い、対応元の画像の各画素または任意の画素数のブロックごとに視差が得られる。マッチングの尺度は、輝度の差を用いても、色情報を用いても、よい。視差は距離に相当し、対応元の画像に対応した視差画像が得られる。
【００１４】
視差不存在領域抽出部は、複数の画像間で視差情報が存在しない視差不存在領域を抽出する。視差不存在領域抽出部４０では、視差情報生成部３０によって得られた視差画像を用いて視差不存在領域を抽出する。視差不存在領域は、視差画像の中で視差が得られなかった連続領域であり、十分大きな幅と面積を持っており、かつ十分低密度の視差のある画素を内包している。
【００１５】
オクルージョン領域検出部５０は、複数の撮像素子のうち一部の撮像素子では撮影され且つ他の撮像素子では物体に隠れて撮影不能となる背景のオクルージョン領域を検出する。オクルージョン領域検出部５０では、視差不存在領域抽出部４０で抽出された視差不存在領域の中からオクルージョン領域を検出する。オクリュージョン領域は、視差不存在領域のうち、左右に距離の異なる視差が得られている領域について、距離が手前側の物体によってオクルージョンが発生したことによって矛盾がないかを評価することによって検出される。
【００１６】
以下、図１に記載した各部の詳細を説明する。
画像取得部１０と画像取得部２０とは、同時に、水平ステレオカメラのそれぞれ左右の画像を撮像する。図２は、画像取得部１０と画像取得部２０によってそれぞれ撮像された画像であり、（a）が左画像を、（ｂ）が右画像を、示す。図２に示す画像は、遠方に建物２０３があり、その手前に歩行者２０４が歩いている瞬間を左右のカメラで撮像した画像である。符号２０６は地面であり、符号２０５は、上空となる。水平ステレオカメラは、左右に離れた異なる視点から撮像することによって、視差が得られ、したがって、被写体の三次元情報を得ることができる。
【００１７】
視差情報生成部３０によって、画像取得部１０と画像取得部２０とで得られた左右画像の各画素のマッチングを行って、各画素の視差を得る。例えば対応元の右画像のある画素周辺5x5画素ブロックとよいマッチングが得られる対応先の左画像の同画素行を探す。
【００１８】
図３は、視差画像の一例を示す図である。図３に示す視差画像３１０は、図２に示す左右の画像２１０、２２０から右画像２１０を基準として左画像２２０とのマッチングを行うことで得られた視差を、濃淡によって各画素に表現した画像である。視差画像３１０では、距離が遠方の位置の視差ほど黒く、手前の位置の視差ほど白に近く表現している。ただし、完全に白になっている部分は、視差が計算することができなかった画素である。
【００１９】
マッチングが十分よくない場合やマッチング元のブロックに十分な特徴がない場合には、有効な視差が得られない視差不存在画素となってしまう。したがって、白飛びあるいは黒つぶれしたブロックの場合に、視差が得られないこととなってしまう。その例が、空２０５の画像部分である。また、歩行者２０４の右側に影のように白く見える視差不存在領域は、右カメラでは見えるが左カメラでは見えない、いわゆるオクルージョンによって、生じている。本実施の形態では、画像上のオクルージョン領域を検出することを目的とする。
【００２０】
水平ステレオカメラでは、左右異なる視点から撮像することで視差を得ることができるが、異なる視点から見ているために、右カメラには撮像できるが左カメラからは撮像できない領域が存在する。同様に、左カメラには撮像できるが右カメラからは撮像できない領域が存在する。これらの領域が上記のオクルージョン領域である。
【００２１】
図４は、オクルージョンの発生する原理を説明する俯瞰図である。右カメラ４０２からは見える背景の建物４０３の一部が、左カメラ４０１からは前景の歩行者４０４に隠されて見えない。その領域は、斜線で表す領域４０６であり、この位置の物体の視差は原理的に得ることができない。右カメラ４０２の視野角の中では、図４の線４０５と線４０７で囲まれる角度が視差の得られない角度となる。つまり、その方向に相当する画素では視差が得られないこととなる。
【００２２】
右カメラ４０２に対応する視差画像とオクルージョン領域を、図５に示す。左画像に撮像されない領域が領域５０１である。この領域５０１は、右画像を基準にした視差が検出されない領域であり、つまり視差不存在領域となる。図４からは自明ではあるが、領域の左側を前景の歩行者４０４の視差が囲み、領域の右側を背景の建物４０３の視差が囲んでいることが特徴である。前景の歩行者４０４に対して画像上の右側に十分近くに他の物体が存在する場合には、背景の視差が見えないこともある。
【００２３】
オクルージョンによる視差不存在領域の性質について、説明する。右画像における視差不存在領域の性質を説明するが、左画像も全く対称であるために同様であり、一般性を失わない。
【００２４】
図６は、物体６０１の右端によって距離がZBで一定の背景を隠すことでできる視差不存在領域を示す座標図である。左右のカメラ間の基線長ｌの水平ステレオカメラであり、左右のカメラの中点を原点Ｏとして、基線方向をX軸、水平ステレオカメラの正面方向すなわち距離方向をZ軸とする。
【００２５】
右画像を基準とした視差画像では、物体６０１の右端（XF,ZF）によって視差不存在領域が作られる。右カメラ４０２から物体６０１の右端を通る直線が、距離ZBで背景に交わる点の座標を（XRB0,ZB）、左カメラ４０１から物体６０１の右端を通る直線が、距離ZBで背景に交わる点の座標を（XRB1,ZB）、とする。そうすると、
【００２６】
【数１】
2017175483.tif 000003
と計算でき、視差不存在領域の画像上の横サイズは、以下のようになる：
【００２７】
【数２】
2017175483.tif 000004
ただし、ku、dF、およびdBはそれぞれ、カメラの内部パラメータで決まる定数、物体６０１の右端の視差、および背景の視差である。
【００２８】
したがって、前景の物体の距離と背景の物体の距離が一定であれば、物体の鉛直方向の形状変化や大きさに依存せず、右画像の横方向には一定の画素数の視差不存在領域が形成される。より画像上の形状を表す表現に言い換えると、右画像に撮像されている画像の縦方向に対して一定の距離をもつ物体の右端が隠した背景の距離が一定であれば、視差不存在領域の左右の輪郭は同形状を持つ。
【００２９】
オクルージョンを作るのは前景の物体の端の位置であるので、物体にわたってカメラと一定の距離を持つ必要はない。また、その物体の端の位置によって右カメラ４０２で見える背景の角度すなわち画素が決まり、すなわち視差不存在領域の左端位置が決まるため、背景の距離が関係するのは視差不存在領域の右端位置のみである。
【００３０】
したがって、図６では背景距離を一定としたが、画像に関与する距離は（XRB1，ZB）の点の距離のみであり、一定距離である必要はない。数式（２）のZFは前景物体６０１の右端位置の距離であり、ZBは前景物体６０１の右端への左カメラ４０１からの視線を延ばして背景の物体との交わる点の距離である。陽に表現すると、視差不存在領域の画像上の横サイズは、以下のようになる：
【００３１】
【数３】
2017175483.tif 000005
【数４】
2017175483.tif 000006
【００３２】
ただし、dB1およびZB1は、左カメラから物体右端（距離ZF）を通る直線が背景に交わる点の距離とその視差を表す。したがって、視差不存在領域の右端の距離すなわち背景の距離が短いほど、視差不存在領域の画像上のサイズは小さくなる。言い換えると、背景の距離が推定できる場合には、視差不存在領域の形状を推定することができる。そして、視差と視差不存在領域の画像上の横サイズと、画像上のサイズで表現すると、数式（３）のように、単純に視差の差分が視差不存在領域の画像上の横サイズとなる。なお、物体に隣接する側の視差不存在領域の輪郭（図６における、右カメラ４０２から（XF,ZF）の角度の画素群であり、図９における左端９０１に相当する。）は、左右カメラと前景の物体の位置だけで決まるので、背景の物体の距離には依存しない。
【００３３】
左右カメラのオクルージョンによる視差不存在領域のこれらの性質を用いて、前景の物体によるオクルージョンが発生しているということを検出する。
【００３４】
図５の歩行者４０４周辺の視差は、上記のオクルージョンによる視差不存在領域５０１を示している。歩行者４０４の進行方向側の腕と胴体の間にできているオクルージョンは、視差は存在しないが期待される視差不存在領域の幅より狭いために背景の視差は得られていない。歩行者４０４の進行方向逆側つまり歩行者４０４に対して画像上の右側に生じている視差不存在領域は、数式（３）と（４）で記述されるオクルージョン領域であることが期待される。
【００３５】
数式（３）通りに、背景の距離が一定である腰より上の位置では一定の幅の視差不存在領域をもち、背景が地面となり距離が画像下ほど短くなっており視差不存在領域の幅も相関して小さくなっている。後者をオクルージョン領域と同定して検出することを、本実施の形態の目的としている。
【００３６】
次に、視差不存在領域抽出部４０によって、視差不存在領域を抽出する。視差計算の精密さによってノイズが観測されてしまうために、条件付きで抽出する。その条件は、以下である：
１）  視差が得られていない連続領域であること
２）  その連続領域が十分な幅と面積を持っていること
３）  その連続領域内に含まれる有効視差が十分低密度であること
４）  対応する原画像上にマッチングを得るのに十分な特徴があること
５）  領域の各画素行は、領域の左側に距離の短い視差画素があり、領域の右側に距離の遠い視差画素があること
【００３７】
条件１）は、画像の特徴がないことによる視差不存在領域と区別するための条件である。条件２）は、検出の信頼性を高めるための条件である。条件３）は、オクルージョンによる原理的に対応位置がない画素は、対応はしているが特徴がないことによる対応位置が見つからない画素に比べて、偶然のマッチングによる有効視差が発生しにくいこと、を反映している。条件４）は、直接的に、特徴がないことによる視差不存在領域の抽出を抑制している。特徴のある領域を原画像で同定しておいて、視差画像上の無効視差領域と論理積をとった領域だけを、処理対象としてもよい。
【００３８】
条件５）は、前景の物体によって背景が隠されることによるオクルージョン領域を検出するために限定している。ただし、右側の距離の遠い視差画素は、推定された背景の視差であってもよい。実際上は、背景は度々前景によって隠されるため、時間的連続性や空間的連続性を仮定して推定することができる。すなわち、ある時間で見えた背景の距離を覚えておき以降の時間で使用したり、近くの背景距離から外挿して推定することができる。あらかじめ得られる地図情報を使用してもよい。これらの条件の閾値は、視差情報生成の分解能や精度によって決定されるべき値である。
【００３９】
視差不存在領域は、エッジ抽出や領域分割で得られた輪郭を用いて、形状整形をすることができる。例えば、視差情報生成部３０は、輝度のみでマッチングし視差を計算する場合を考える。前景と背景の輝度が近いために、視差の精度が落ちることがある。そこで、色によって領域を分割し前景と背景を分ける。分割した領域におおよそ沿ってはいるが不安定な形状を示す視差不存在領域を分割した領域に補正してやることで、より精度を上げることができる。
【００４０】
図７は、右画像の視差不存在領域７０１を示す図である。視差不存在領域７０１は、歩行者４０４に対して画像上の右側に、歩行者４０４に相関した形状であることを見ることができる。この例は、右画像における視差不存在領域であるが、左画像についても同様に抽出を行う。
【００４１】
図８には、歩行者周辺の視差分布を示す。オクルージョン領域検出部５０では、視差不存在領域７０１について、各画素行ごとに視差を見て、数式（３）がどの程度成り立つかを評価し、画像縦方向にわたって総合評価を実施し、視差不存在領域７０１がオクルージョン領域であるかを評価する。一つのオクルージョン領域は、視差不存在領域全体である必要はなく、画像の縦方向に複数に分割した部分領域でもよい。
【００４２】
オクルージョン領域検出部５０は、視差不存在領域抽出部４０により抽出された視差不存在領域がオクルージョンによって形成された領域であるか、すなわち、オクルージョン領域であるかの評価を行う。
【００４３】
図９に、視差不存在領域７０１を囲む左端９０１と右端９０２を示す。図中の一点鎖線９０３は、例えば建物と地面との境界のように、背景が一定の領域と変化している領域の境界を示す。
【００４４】
背景境界９０３より上部は、前景距離（前景の物体までの距離）及び背景距離（背景の物体までの距離）がともに一定となっているので、視差不存在領域の幅が一定と期待される。背景境界９０３より下部は、前景距離が一定であるが、画像の下ほど背景距離が短いために、視差不存在領域の幅が小さくなると期待される。前景距離と背景距離がほとんど同一となってくる歩行者の脚の画素行では、視差不存在領域の幅はほぼゼロとなることが期待される。ただし、カメラの角度分解能に依存する。
【００４５】
オクルージョン領域検出部５０は、視差不存在領域の幅が、複数の撮像部間の距離と、物体候補までの距離と、視差不存在領域に隣接する背景までの距離とに基づいて演算されるオクルージョン幅に相当する場合に、視差不存在領域をオクルージョン領域として用いる。オクルージョン領域検出部５０は、図１０に示される処理フローによって実現される。各処理ステップを示しながら説明を行う。
【００４６】
処理ステップS1001では、視差不存在領域７０１の各行についてループ処理を行う。処理ステップS1002において、視差不存在領域７０１の各行に関する左右にある前景と背景の距離（ZF(v)，ZB(v)）（vは、画素列の番号）を得る。前景距離は視差不存在領域７０１の左側の物体の視差より、背景距離は視差不存在領域７０１の右側の建物の視差より、それぞれ計測を行う。
【００４７】
加えて、処理ステップS1002において、視差不存在領域７０１の各画素行に関する画像上の幅ｗ(v)を計測する。それぞれの量は、カメラや視差マッチングなどの精度から、統計的誤差を推定する。幅ｗ(v)は、数式（３）で記述されることを期待される。ノイズを考慮して、幅を画素列方向に平滑化してもよい。距離についても同様に、周囲の視差と平滑化してもよい。
【００４８】
前景と背景の距離（ZF(v)，ZB(v)）から、オクルージョン領域であった場合の幅ｗ（ZF(v)，ZB(v)）を計算でき、同様に統計的誤差を計算することができる（処理ステップS1003）。処理ステップS1004において、オクルージョン領域と仮定したときの距離から計算された幅ｗ（ZF(v)，ZB(v)）と、視差不存在領域７０１から計測された幅ｗ(v)とを統計的に矛盾がないかを評価する。各画素行において、各幅と統計的誤差からオクルージョンによるかの整合度合を評価することができる。
【００４９】
さらに、処理ステップS1005とS1006によって、所望の領域のオクルージョンであるかの評価を行う。視差不存在領域７０１全体に対する評価をしてもよいし、開始行と終了行をパラメータとして統計的にフィッティングしてもよいし、特定の縦サイズごとに評価をしてもよい。最小自乗法を用いてもよいし最尤法を用いてもよい。
【００５０】
ただし、1行だけでは統計的有意性が低いため、十分な縦サイズを確保する必要がある。幅がゼロ画素の領域についても同様に統計的に評価することができる。言い換えると、前景と背景の距離から十分小さな幅のオクルージョンであるということを確かめることができる。しかしながら、幅がゼロの領域だけのオクルージョン領域というのはもはやオクルージョンが発生していないため、除外することもできる。
【００５１】
処理ステップS1007からS1009において、オクルージョンであるかを判定する。統計的に計算したオクルージョン度合が十分大きければオクルージョン領域であり（S1008）、そうでなければオクルージョン領域ではない（S1009）と判定される。全体の画素行数に対して一部の画素行の幅が予測される値から大きくかけはなれていたとしても、前景物体の色輝度分布の特徴の欠落によるものも考えられるので、予測幅から極端に異なる一部の行を除いた統計的フィッティングを行うことで、オクルージョンとして検知が可能である。
【００５２】
また、背景の距離が分からない場合であっても、図９に示すように、左端９０１と右端９０２の相関関数を計算し、相関が十分高い場合には、オクルージョンと判定することができる。
【００５３】
前景の歩行者の例えば腕が隣の歩行者と画像上連続している場合においても、連続してしまった腕より十分上部の例えば歩行者の胸部以上は、オクルージョン領域と検出することができる。また、腕より十分下部の例えば歩行者の腰以下も、オクルージョン領域と検出することができる可能性がある。例え、腕より下部がオクルージョン領域とされなくとも、前景物体の輪郭から歩行者識別されるならば、腕より上部でオクルージョンがあった歩行者の右側にはオクルージョンがあるものと期待することができる。
【００５４】
本実施の形態は、前景の物体や背景の物体の移動状態に関わらず実施することができ、静止していても移動していてもかまわない。なお、距離と視差は一対一の関係であるので、距離で表現および計算しているが、全く同様に、より直接観測される視差で表現および計算してもよい。
【００５５】
視差画像の中のオクルージョン領域を検知することができると、視差画像内における物体の境界を明確にすることができる。上述したように、オクルージョン領域は前景の物体の端部に生じるため、オクルージョン領域に隣接した前景の物体はオクルージョン領域との接合部が物体の端部分すなわち境界と期待される。例えば、物体候補（公知の技術によって検知した、例えば視差情報から同程度かつ十分な面積を持つ視差固まり）の右端の輪郭に対して、隣接
する視差不存在領域の幅がオクルージョンの数式通りならば、物体候補の右端によってオクルージョンが形成されており、その輪郭は物体の境界と見なすことができる。なお、隣接するとは、物体候補の輪郭検出手法の誤差と視差情報生成手法の誤差程度の画素範囲内で、かつ、物体候補の輪郭と視差不存在領域が所定の位置関係に、例えば右画像を基準とした場合には視差不存在領域が物体候補の輪郭の右側に、配置していることを意味する。したがって、例えば、独立した物体を適切に検知することや、十分に近接する二つの物体を相異なる物体として検知することができる。したがって、物体の識別や物体の移動状態の推定を正確に行うことができ、無駄な衝突回避の制御あるいは誤った衝突回避の制御が行われるのを防ぐことができる。例えば、商店街の多数の歩行者を一人一人分離して一人一人の歩行者として位置や動きを認識することが可能となる。
【００５６】
図１１は、本実施例の具体的な構成の一例を示す図である。
撮像装置１０１は、画像取得部１０、２０、視差情報生成部３０、視差不存在領域抽出部４０、オクルージョン領域検出部５０に加えて、物体検知部６０を有している。物体検知部６０は、オクルージョン領域検出部５０により境界が明確にされた物体候補について、物体の位置、形、大きさ等を特定する物体検知を行う。具体的には、オクルージョン領域が物体候補の輪郭に沿って位置し、且つ、オクルージョン領域と物体候補の輪郭とが対応する形状を有する場合に、物体候補を他の物体と独立した物体として検知する。これにより、例えば、互いに近傍に位置することで従来では一つの物体候補として検知されるおそれがあった二つの物体候補の境界を、オクルージョン領域を用いてそれぞれ明確にすることで、物体検知部６０において二つの物体として検知することができる。
【００５７】
図１２は、物体検知方法の一例を説明する図であり、（ａ）は左画像を基準とした視差画像を示し、（ｂ）は右画像を基準とした視差画像を示す図である。ここで、図１２（ａ）、（ｂ）は、歩行者の領域に関する視差のみを抜き出して表わした視差画像に相当する。上述のオクルージョン領域検出部５０によって、図１２（ａ）に示す視差画像では、物体候補１２０１の左側にオクルージョン領域１２０２が検出される。また、図１２（ｂ）に示す視差画像では、物体候補１２０４の右側にオクルージョン領域１２０３が検出されている。図１２（ａ）のオクルージョン領域１２０２や、図１２（ｂ）のオクルージョン領域１２０３は、物体候補とそれ以外との境界を示している。このように、オクルージョン領域と視差の固まりである視差不存在領域とから物体を検知することができる。なお、図１２（ａ）及び図１２（ｂ）のどちらかだけでも境界を明確にすることができるが、図１２（ａ）、（ｂ）の両方を用いると、左右に境界があるということで、一つの物体であることが強く結論づけられる。
【００５８】
図１３は、一つの立体物に対する物体検知方法の一例を説明する図であり、物体候補の輪郭と、検出されたオクルージョン領域と接する境界を表した図である。図１３（ａ）は左画像を基準として検出された物体候補１３０１、１３０２とオクルージョン領域１３０４を示し、図１３（ｂ）は右画像を基準として検出された物体候補１３０５、１３０６とオクルージョン領域１３０８を示す。物体候補１３０１と物体候補１３０５、物体候補１３０２と物体候補１３０６は、それぞれ明らかに同一の物体候補である。物体候補間には、左画像上、右画像上、それぞれに、空間１３０３、１３０７が空いている。
【００５９】
左右の物体候補の間には、境界が存在しないため、間の空間が十分小さいのであれば一つの物体とみなすことができる。一つの物体の内側において、画像上の特徴がない部分があり、その部分において視差が検出されなかったために物体候補が分かれてしまったと解釈することができる。
【００６０】
図１４は、その解釈にしたがい、物体候補を結合して検知した物体１４０１を示す。検出されている境界１４０４と１４０８をともに示す。このように、一つの物体が複数の物体候補に分かれていたとしても、オクルージョン候補すなわち境界が間にないことで、確信度を高く一つの物体として検知することが可能である。
【００６１】
図１５は、二つの立体物に対する物体検知方法の一例を説明する図であり、物体候補の輪郭と、検出されたオクルージョン領域に接する境界を表した図である。図１５（ａ）は左画像を基準として検出された物体候補１５０１、１５０２および境界１５０４、１５０５を示し、図１５（ｂ）は右画像を基準として検出された物体候補１５０６、１５０７および境界１５０９、１５１０を示す。物体候補１５０１と物体候補１５０６、物体候補１５０２と物体候補１５０７は、それぞれ明らかに同一の物体候補である。物体候補間には、左画像上、右画像上、それぞれに、空間１５０３、１５０８が空いている。
【００６２】
図１３と図１４の例と同様ではあるが、図１５の例では二つの物体候補の間には、オクルージョン領域があり、境界１４０４と１４０８が認識されている。それらの境界を跨る物体を検知することはできない。したがって、この例では、図１６のように、二つの物体１６０１と１６０２を検知することができる。物体間にオクルージョン領域が検出することができれば、物体間の間隔が狭くとも、独立に検知することができる。
【００６３】
物体の検知は、オクルージョン領域と識別器とから適切な大きさのもの、あるいは、所望の形状に近いものに限定してもよい。また、例えば歩行者の上半身だけ使用する、あるいは、車両の左右両端及び上端を使用して下端は使用しないなど、サイズを限定して物体の部分だけを検知してもよい。オクルージョン領域の検出は、所望の立体物の形状に近いものに限定してもよい。
【００６４】
［実施例２］
次に、本発明の実施例２について以下に説明する。本実施例において特徴的なことは、物体の輪郭を検出してオクルージョンにより補正することである。
【００６５】
図１７は、本発明の撮像装置の実施例２の構成図である。
撮像装置１０２は、画像取得部１０、２０と、視差情報生成部３０と、視差不存在領域抽出部４０と、オクルージョン領域検出部５０と、物体検知部６０に加えて、輪郭検出部７０と輪郭補正部８０を有している。輪郭検出部７０は、エッジ抽出などの公知の方法により前景となる物体の輪郭を検出する。例えば、少なくとも一つの画像取得部で取得された画像中で輝度に対するソーベルフィルタを用いて物体の輪郭（前景の輪郭）を抽出する。
【００６６】
本実施例において用いる輪郭補正の原理について、説明する。背景において視差画素の欠損が見られない場合においては、視差不存在領域の背景視差側の形状は前景の物体の輪郭形状を表すと期待される。したがって、視差不存在領域の背景側の端からオクルージョン幅だけ前景側に移動した画素位置が前景の輪郭となるはずである。この原理に基づいて、本実施例を示す。なお、背景の視差分布は、時間的な補間によって精密な視差不存在領域の背景側画素を特定することができる。すなわち、例えば過去１０フレームの背景視差データから視差が計算されるべき背景位置を特定しておけば、特徴がないことによる視差不存在画素であるかオクルージョンのためであるかを区別することができ、精密な視差不存在領域の背景側画素を特定することができる。特徴がない画素がオクルージョン領域の背景側画素にあるとすると、最終的な輪郭位置に不確定性が生じてしまう。数が多く発生するとは考えにくいため、補正された輪郭に沿って平均化などのフィルタをかけることで対処することができる。
【００６７】
図１８は、オクルージョンを用いた輪郭補正方法を説明するフローチャートである。
処理ステップS1601でオクルージョン領域の各行についてループ処理を行い、処理ステップS1602では、視差画像上の背景位置を特定する。そして、ステップS1603で背景視差と前景視差から予測されるオクルージョン幅を計算し、ステップS1604で視差画像上の前景推定位置を推定する。
【００６８】
ステップS1605では、前景輪郭位置から前景推定位置を減算して輪郭ずれを算出し、ステップS1606で輪郭ずれの絶対値が閾値以上か否かを判断する。そして、閾値以上の場合には、前景推定位置が前景輪郭位置であると判断する（S1608）。一方、閾値未満の場合は、前景輪郭位置と前景推定位置を加算して２で割ることにより前景輪郭位置を求める（S1607）。
【００６９】
図１９は、右画像の一部を拡大して示す図、図２０は、視差画像を示す図である。図１９に示すように、右画像１７００において、歩行者１７０４の背中部分に白とびした特徴のない画素の固まり１７０５がある場合、エッジ及び視差は検出されない。したがって、図２０の視差画像１８００に示すように、歩行者１８０４の背中部分には、オクルージョン領域１８０１に加えて、視差不存在領域１８０５が凹んだ状態で生じている。
【００７０】
図２１は、歩行者の輪郭を検出した輪郭画像を示す図である。図２１に示すように、輪郭検出部７０によって検出される歩行者１９０４の輪郭１９０１は、単に、エッジだけから検出される輪郭である。背景との混合を避けるために、視差と論理積をとっても、同様に、背中の特徴がない画素ブロックに輪郭の凹み１９０２ができてしまう。
【００７１】
図２２は、輪郭ずれ量が閾値未満の場合における輪郭の補正方法を説明する図である。
図２２（ａ）に示す符号２００１は、オクルージョン領域の右端、すなわち背景位置を示す境界であり、符号２００２は、補正された前景輪郭位置である。前景輪郭位置２００４は、輪郭検出部７０によって検出される。前景推定位置２００５は、背景視差と前景視差から予測されるオクルージョン幅２００６と背景位置２００１から推定される。
【００７２】
ある画素行２００３では、図２２（ａ）のｂ部分の拡大図である図２２（ｂ）に示すように、輪郭ずれ量が小さく閾値未満となり、前景輪郭位置２００４と前景推定位置２００５との中間位置に前景輪郭位置を補正する（S1607）。すなわち、補正後の前景輪郭位置２００２は、前景輪郭位置２００４と前景推定位置２００５との中間位置になる。
【００７３】
図２３は、輪郭ずれ量が閾値以上の場合における輪郭の補正方法を説明する図である。図２３（ａ）に示す符号２１０１は、オクルージョン領域の右端、すなわち背景位置を示す境界であり、符号２１０２は、補正された前景輪郭位置である。前景輪郭位置２１０４は、輪郭検出部７０によって検出される。前景推定位置２１０５は、背景視差と前景視差から予測されるオクルージョン幅２１０６と背景位置２１０１から推定される。
【００７４】
ある画素行２１０３では、図２３（ａ）のｂ部分の拡大図である図２３（ｂ）に示すように、輪郭ずれ量が大きく閾値以上となり、補正後の前景輪郭位置２１０２は、前景推定位置２１０５とされる（S1608）。したがって、図２４に示すように、例えば歩行者２２０４の背中部分に視差不存在領域の凹みが生じていた場合でも、歩行者２２０４の輪郭に沿った輪郭画像に補正することができる。
【００７５】
この実施例２のようにして、前景の物体の色輝度分布によるエッジや視差の乱れ、例えば部分的に特徴がない前景画素ブロックにおいてのエッジ・視差欠落、による輪郭の乱れ、を補正することができる。
ひとたび、視差不存在領域がオクルージョンであるとわかると、このような応用が可能となる。
なお、このような部分的な視差欠落があったとしても、十分小さければ（実施例２の例で言うと、欠落行が少なければ）、実施例１のように、統計的にオクルージョンの検知は可能である。
【００７６】
本実施例によれば、補正された輪郭によって、より高度な物体識別が可能となる。例えば、歩行者の所作・合図の認識に応用が可能である。具体的には、人同士であれば通じるジェスチャーなどの表現を自動認識させ、自動運転に不可欠である車両のドア・ミラーの開閉状態の認識や、自車可能経路の推定や人の飛び出し予測などに応用可能である。
【００７７】
実施例２では、実施例１の物体検知６０を用いたが、独立な物体が検知されている必要はないため、実際には公知の物体検知でかまわない。
【００７８】
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００７９】
１０、２０  画像取得部
３０  視差情報生成部
４０  視差不存在領域抽出部
５０  オクルージョン領域検出部
６０  物体検知部
７０  輪郭検出部
８０  輪郭補正部
１００  撮像装置
【図１】
2017175483.tif 000007
【図２】
2017175483.tif 000008
【図３】
2017175483.tif 000009
【図４】
2017175483.tif 000010
【図５】
2017175483.tif 000011
【図６】
2017175483.tif 000012
【図７】
2017175483.tif 000013
【図８】
2017175483.tif 000014
【図９】
2017175483.tif 000015
【図１０】
2017175483.tif 000016
【図１１】
2017175483.tif 000017
【図１２】
2017175483.tif 000018
【図１３】
2017175483.tif 000019
【図１４】
2017175483.tif 000020
【図１５】
2017175483.tif 000021
【図１６】
2017175483.tif 000022
【図１７】
2017175483.tif 000023
【図１８】
2017175483.tif 000024
【図１９】
2017175483.tif 000025
【図２０】
2017175483.tif 000026
【図２１】
2017175483.tif 000027
【図２２】
2017175483.tif 000028
【図２３】
2017175483.tif 000029
【図２４】
2017175483.tif 000030