(57)【要約】【課題】広い視野範囲の物体を高精度に検出する物体検出装置を提供する。【解決手段】物体検出装置は、入力された複数の画像間の視差を算出する視差算出部１０２と、物体が存在する道路面の面パラメータを算出するパラメータ算出部１０３と、複数の画像の共通領域と非共通領域とを算出する領域算出部１０４ａと、共通領域の道路面上の矩形であって、共通領域の道路面上の矩形に含まれる各点の視差の均一度が閾値より大きい矩形を、物体を検出する候補矩形として生成する第１生成部１０４ｂと、非共通領域の道路面上の矩形を候補矩形として生成する第２生成部１０４ｃと、生成された候補矩形に検出対象の物体が含まれるか否かを判定する判定部１０５と、を備える。【選択図】        図３
2010079582.tif 000002
【特許請求の範囲】
【請求項１】
基準面上に存在する物体を検出する物体検出装置であって、
複数の撮像装置のそれぞれで撮像された画像間の視差を算出する視差算出部と、
前記視差に基づいて、前記複数の画像の共通領域と、前記共通領域以外の非共通領域と、を算出する領域算出部と、
前記共通領域内の矩形であって、前記矩形に含まれる各点の前記視差の均一度が予め定められた閾値より大きい矩形を、前記物体を検出するための矩形の候補である候補矩形として生成する第１生成部と、
前記非共通領域内の矩形を前記候補矩形として生成する第２生成部と、
生成された前記候補矩形に検出対象の物体が含まれるか否かを判定する判定部と、
を備えることを特徴とする物体検出装置。
【請求項２】
前記均一度は、矩形に含まれる前記基準面上の点に対する前記視差と矩形に含まれる前記基準面上に存在しない各点に対して算出された前記視差との間の差分が予め定められた差分閾値より小さい点の個数であることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記複数の撮像装置が搭載された移動体の操舵角を検出する操舵角検出部をさらに備え、
前記第２生成部は、前記操舵角に基づいて前記移動体の進行方向を推定し、前記非共通領域のうち、推定した進行方向に存在する前記非共通領域に対して生成する前記候補矩形の個数を、推定した進行方向と異なる方向に存在する前記非共通領域に生成する前記候補矩形の個数より増加させることを特徴とする請求項１に記載の物体検出装置。
【請求項４】
前記複数の画像は、時系列画像であり、
前記第２生成部は、第１時刻に撮像された前記複数の画像に対して、前記第１時刻の前の第２時刻で撮像された前記複数の画像から生成された前記候補矩形に対応する前記非共通領域の前記基準面上の矩形を前記候補矩形として生成することを特徴とする請求項１に記載の物体検出装置。
【請求項５】
前記第１生成部は、前記共通領域の前記基準面上の矩形であって、前記共通領域の前記基準面上の矩形に含まれる各点の前記視差の均一度が予め定められた閾値より大きい矩形のうち、面積が最大の矩形を前記候補矩形として生成することを特徴とする請求項１に記載の物体検出装置。
【請求項６】
前記第１生成部は、前記共通領域の前記基準面上の各点を下辺の中点とする予め定められた大きさの矩形であって、前記共通領域の前記基準面上の矩形に含まれる各点の前記視差の均一度が予め定められた閾値より大きい矩形を前記候補矩形として生成することを特徴とする請求項１に記載の物体検出装置。
【請求項７】
前記第２生成部は、前記非共通領域の前記基準面上の各点を下辺の中点とする予め定められた大きさの矩形を前記候補矩形として生成することを特徴とする請求項１に記載の物体検出装置。
【請求項８】
前記第２生成部は、前記非共通領域の前記基準面上の各点を下辺の中点とする複数の大きさの矩形を前記候補矩形として生成することを特徴とする請求項１に記載の物体検出装置。
【請求項９】
前記第２生成部は、前記判定部によって前記第１生成部で生成された前記候補矩形に検出対象の物体が含まれると判定された場合に、前記判定部によって前記第１生成部で生成された前記候補矩形に検出対象の物体が含まれないと判定された場合より多くの前記候補矩形を生成することを特徴とする請求項１に記載の物体検出装置。
【請求項１０】
基準面上に存在する物体を検出する物体検出方法であって、
視差算出部が、複数の撮像装置のそれぞれで撮像された画像間の視差を算出する視差算出ステップと、
領域算出部が、前記視差に基づいて、前記複数の画像の共通領域と、前記共通領域以外の非共通領域と、を算出する領域算出ステップと、
第１生成部が、前記共通領域内の矩形であって、前記矩形に含まれる各点の前記視差の均一度が予め定められた閾値より大きい矩形を、前記物体を検出するための矩形の候補である候補矩形として生成する第１生成ステップと、
第２生成部が、前記非共通領域内の矩形を前記候補矩形として生成する第２生成ステップと、
判定部が、生成された前記候補矩形に検出対象の物体が含まれるか否かを判定する判定ステップと、
を備えることを特徴とする物体検出方法。
【請求項１１】
コンピュータを、
複数の撮像装置のそれぞれで撮像された画像間の視差を算出する視差算出部と、
前記視差に基づいて、前記複数の画像の共通領域と、前記共通領域以外の非共通領域と、を算出する領域算出部と、
前記共通領域内の矩形であって、前記矩形に含まれる各点の前記視差の均一度が予め定められた閾値より大きい矩形を、前記物体を検出するための矩形の候補である候補矩形として生成する第１生成部と、
前記非共通領域内の矩形を前記候補矩形として生成する第２生成部と、
生成された前記候補矩形に検出対象の物体が含まれるか否かを判定する判定部と、
として機能させるための物体検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、移動体（例えば、自動車）に搭載した複数台のカメラを用いて特定の物体（例えば、人物）を検出する装置、方法及びプログラムに関する。
【背景技術】
【０００２】
入力画像に含まれる特定の物体を検出する物体検出技術は、応用範囲が広く、非常に有用な技術である。この技術を用いれば、例えば自動車に搭載したカメラによって自車周囲の歩行者を検出することが可能であり、アラームでドライバーに注意を喚起したり、ブレーキを制御することにより安全運転を支援することができる。自動車のような移動体にカメラを搭載して物体を検出する場合には、２台のカメラによるステレオ視が有効である。
【０００３】
車載のステレオカメラを用いた歩行者検出処理の概要を以下に示す（例えば非特許文献１）。
１．ステレオ画像間の各点の視差を計算する。
２．各点の視差に基づいて、道路上の立体物を歩行者候補領域として検出する。
３．各候補領域をパターン識別して歩行者領域を検出する。パターン識別は、予め学習により生成した識別器が行う。
【０００４】
ステレオ視を用いれば検出対象までの距離が計測できるだけでなく、得られた３次元情報を用いて、道路面に対して高さを有する領域を抽出することができるため、識別処理を行う領域を限定できる。一般にパターン識別処理は計算コストが高いため、ステレオ処理により全体の処理コストを削減し、かつ、識別精度も向上させることが可能となる（例えば非特許文献１）。
【０００５】
【非特許文献１】D. M. Gavrila and S. Munder, “Multi-Cue Pedestrian Detection and Tracking from a Moving Vehicle”, International Journal of Computer Vision, Springer Verlag, vol.73, no.1（June） , pp.41-59, 2007.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ステレオ視差が計算可能な領域は、左右両方のカメラの共通視野領域に限定される。このため、例えば右カメラの撮像範囲内に歩行者が進入してきた場合であっても、この共通視野領域外であれば歩行者候補として検出できない。このため、警報が遅れ、結果としてブレーキのタイミングが遅れるなどの問題が生じうる。
【０００７】
本発明は、上記に鑑みてなされたものであって、広い視野範囲の物体を高精度に検出できる装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、基準面上に存在する物体を検出する物体検出装置であって、複数の撮像装置のそれぞれで撮像された画像間の視差を算出する視差算出部と、前記視差に基づいて、前記複数の画像の共通領域と、前記共通領域以外の非共通領域と、を算出する領域算出部と、前記共通領域内の矩形であって、前記矩形に含まれる各点の前記視差の均一度が予め定められた閾値より大きい矩形を、前記物体を検出するための矩形の候補である候補矩形として生成する第１生成部と、前記非共通領域内の矩形を前記候補矩形として生成する第２生成部と、生成された前記候補矩形に検出対象の物体が含まれるか否かを判定する判定部と、を備えることを特徴とする。
【０００９】
また、本発明は、上記装置を実行することができる方法及びプログラムである。
【発明の効果】
【００１０】
本発明によれば、広い視野範囲の物体を高精度に検出できるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下に添付図面を参照して、この発明に係る装置、方法及びプログラムの最良な実施の形態を詳細に説明する。
【００１２】
本実施の形態に係る物体検出装置は、ステレオカメラ等を用いたステレオ視により道路面や床面などの基準面上に存在する物体を検出する装置であって、ステレオカメラを構成する各カメラ（撮像装置）で撮像した個々の画像のみから物体を検出する単眼視をステレオ視と融合して利用することにより、両者の欠点を補い、従来の方式に比べて広い視野範囲の物体を高精度に検出する。
【００１３】
最初に、ステレオカメラの視野について図１及び図２を用いて説明する。図１は、ステレオカメラの共通視野の一例を示す図である。図２は、歩行者が右側から移動体の進行方向に進入してきた場合に撮影される画像の一例を示す図である。
【００１４】
図１（ａ）に、ステレオカメラを構成する２つのカメラ１１ａ、１１ｂが所定の間隔Ｂで設置された例が示されている。図１（ｂ）には、個々のカメラ１１ａ、１１ｂの撮像範囲を示している。
【００１５】
図１（ａ）に示すように、２つのカメラ１１ａ、１１ｂの撮像範囲の重複部分である斜線部が共通視野となる。共通視野の左右に存在する幅Ｂの空間は、ステレオ視差が計算できない領域である。ステレオ処理可能な領域は１つのカメラの撮像範囲（図１（ｂ））に比べて幅Ｂだけ狭くなる。
【００１６】
このため、図２に示すように、歩行者が右側から移動体の進行方向に進入してきた場合、歩行者が右カメラの撮像範囲内に存在しても（図２（ａ））、左カメラの撮像範囲外に存在すれば（図２（ｂ））、ステレオ処理によって歩行者候補として検出することができない。このような場合は、歩行者が共通視野内に入ってから検出されることになる。このため、上述のように警報やブレーキのタイミングが遅れるなどの問題が生じる。
【００１７】
なお、幅Ｂはカメラ間隔に一致するため、カメラ間隔を狭くすれば、一方のカメラでしか映らない領域を狭くすることができる。しかし、ステレオ視の原理は三角測量であるため、カメラ間隔が狭くなればなるほど距離計測精度は低下するという問題が生じる。
【００１８】
そこで、本実施の形態の物体検出装置は、単眼視とステレオ視とを融合して利用することにより、広い視野範囲の物体を高精度に検出可能とする。
【００１９】
次に、本実施の形態に係る物体検出装置の構成について図３を用いて説明する。図３は、本実施の形態に係る物体検出装置１００の構成を示すブロック図である。物体検出装置１００は、画像入力部１０１と、視差算出部１０２と、パラメータ算出部１０３と、候補矩形生成部１０４と、判定部１０５と、出力部１０６と、を備えている。なお、画像入力部１０１は、物体検出装置１００の外部に配置されて物体検出装置１００に接続されてもよい。
【００２０】
なお、本実施の形態では、図４に示すように、移動体４０１（自動車）の前方に搭載した画像入力部１０１として機能する２台のカメラ１１ａ、１１ｂを用いて、自動車の進行方向の道路面４１０上に存在する歩行者４１１を検出することを例示的に示す。物体検出装置１００は、カメラ１１ａ、１１ｂから入力した入力画像内に検出対象物である歩行者が含まれるかを判定し、含まれる場合に歩行者の画像上での位置と実空間での位置とを出力する。
【００２１】
図３に戻り、画像入力部１０１は、少なくとも２台のカメラを用いて撮影視点が異なる複数の画像を入力する。視野に重なりが存在すれば複数のカメラの互いの位置や方向は任意に設定できる。本実施の形態では、同一の２台のカメラ１１ａ、１１ｂを左右平行に配置してステレオ画像を撮影するものとする。
【００２２】
図５は、本実施の形態で使用するステレオカメラ座標系の一例を示す図である。本実施の形態では、ステレオカメラ座標系の原点Ｏを右カメラ（カメラ１１ｂ）の視点（レンズ中心）にとる。また、左右カメラの視点を結ぶ直線をＸ軸とし、鉛直下向きにＹ軸、カメラの光軸方向にＺ軸を設定する。
【００２３】
カメラ間の距離（基線長）をＢとすると、左カメラの位置は（−Ｂ，０，０）と表せる。簡単のため、道路面を平面でモデル化し、かつ、水平方向の傾斜が微小であるとして無視すると、道路面（道路平面）の方程式は以下の（１）式で表される。
Ｙ＝αＺ＋β  ・・・（１）
【００２４】
α及びβは、それぞれステレオカメラから観察した道路平面の傾斜、及び、ステレオカメラの道路面からの高さを表す。以下では、α及びβを合わせて面パラメータと呼ぶ。一般に道路面の傾斜は場所ごとに異なり、かつ、移動体走行時にはカメラが振動するため、面パラメータは移動体の移動に伴って時々刻々変化する。
【００２５】
図３に戻り、視差算出部１０２は、画像入力部１０１で取得したステレオ画像間の視差を計算する。具体的には、視差算出部１０２は、ステレオ画像を構成する複数の画像間で対応する点（対応点）を求め、求めた対応点それぞれについて、複数の画像上での位置の差を表す視差を算出する。
【００２６】
ここで、ステレオ画像の各画像に対する座標系について説明する。ステレオ画像を構成する各画像に対しては、それぞれ画像座標系が設定される。右カメラ（カメラ１１ｂ）で撮像された画像（以下「右画像」という。）には、水平方向及び垂直方向にそれぞれｘ軸及びｙ軸が設定される。同様に、左カメラ（カメラ１１ａ）で撮像された画像（以下「左画像」という。）には、水平方向及び垂直方向にそれぞれｘ’軸及びｙ’軸が設定される。各画像の水平方向（ｘ軸及びｘ’軸）は、ステレオカメラ座標系のＸ軸方向と一致するものとする。
【００２７】
このような場合、右画像上の点（ｘ，ｙ）の左画像上の対応点を（ｘ’，ｙ’）とすると、ｙ＝ｙ’となる。したがって、水平方向の位置の違いのみを考えればよい。以下では右画像と左画像での対応点の水平位置の違いを視差と呼ぶ。また、以下では、右画像を基準画像として、視差をｄ＝ｘ−ｘ’と表記する。
【００２８】
次に、図６を参照して、視差算出部１０２による視差の算出方法について説明する。図６は、視差の算出方法の一例を説明するための模式図である。視差算出部１０２は、基準画像である右画像の任意の点（ｘ，ｙ）に対し、左画像上の同一走査線上を探索して対応点（ｘ’，ｙ）＝（ｘ＋ｄ，ｙ）を求める。
【００２９】
ｄ≧０となるため、探索の際には、視差算出部１０２は、図６（ａ）のように左画像上の同一座標より右側の点のみを調べればよい。より具体的には、視差算出部１０２は、図６（ｂ）のように右画像上の点（ｘ，ｙ）の周囲にウィンドウを設定し、その内部の輝度パターンと最も類似した輝度パターンを周囲に持つ点を左画像の同一走査線から求める。
【００３０】
輝度パターンの類似性の評価尺度としては、例えば、正規化相互相関Ｃを用いることができる。探索ウィンドウのサイズを（２ｗ＋１）×（２ｗ＋１）画素とし、左右画像に設定したウィンドウ内の輝度をそれぞれｆ（ξ，η），ｇ（ξ，η）と表現すると、正規化相互相関Ｃは以下の（２）式で与えられる。
【数１】
2010079582.tif 000003
【００３１】
基準画像上の任意の点に対して、正規化相互相関Ｃを用いて対応点を探索すれば、全ての点に対する視差を含む視差マップが得られる。
【００３２】
パラメータ算出部１０３は、視差算出部１０２によって算出された視差マップを用いて、面パラメータα及びβを算出する。まず、基準画像上の点（ｘ，ｙ）の視差ｄから、その点の３次元空間上での位置（Ｘ，Ｙ，Ｚ）を求める方法について説明する。空間中の点（Ｘ，Ｙ，Ｚ）と、その左右画像への投影像である（ｘ’、ｙ）及び（ｘ，ｙ）の間には以下の（５）式の関係式が成り立つ。
【数２】
2010079582.tif 000004
【００３３】
（５）式をＸ，Ｙ，Ｚについて解くと、以下の（６）式が得られる。
【数３】
2010079582.tif 000005
【００３４】
パラメータ算出部１０３は、上記の各式を用いて、視差算出部１０２により視差が得られた基準画像上の点の３次元空間上での位置（３次元位置）を求める。そして、パラメータ算出部１０３は、求めた３次元位置のうち、道路面との距離が近い点を選択して、道路面の方程式である上記（１）式（Ｙ＝αＺ＋β）に代入することにより、面パラメータであるα及びβを算出する。
【００３５】
パラメータ算出部１０３は、道路面との距離が近い点を、以下の（７）式の条件を満たす点として抽出する。
【数４】
2010079582.tif 000006
【００３６】
ここで、ΔＹは閾値であり、適当な値を予め設定しておく。Ｙｐは、点（Ｘ，Ｙ，Ｚ）を通ってＹ軸に平行な直線と基準道路面との交点のＹ座標を表す。基準道路面とは、例えば平坦な道路などのように予め定められた基準となる道路面をいう。基準道路面のパラメータは、例えば、移動体が静止しているときに平坦な道路で計測する。基準道路面のパラメータをα’、β’とすると、Ｙｐは、以下の（７−１）式により与えられる。
Ｙｐ＝α’Ｚ＋β’  ・・・（７−１）
【００３７】
図３に戻り、候補矩形生成部１０４は、ステレオ画像の各画像で、歩行者を検出する矩形の候補である候補矩形を生成する。候補矩形生成部１０４は、領域算出部１０４ａと、第１生成部１０４ｂと、第２生成部１０４ｃとを備えている。
【００３８】
領域算出部１０４ａは、各画像を単眼処理領域とステレオ処理領域に分割する。ステレオ処理領域とは、左右カメラの共通視野範囲に相当する各画像上の領域を意味する。すなわち、ステレオ処理領域は、対応点が左右画像の両方にそれぞれ含まれる領域（共通領域）である。単眼処理領域とは、左右カメラの共通視野範囲外に相当する各画像上の領域（非共通領域）を意味する。
【００３９】
まず、これら２つの領域の詳細について説明する。なお、歩行者を検出する候補領域の形状は任意であるが、以下では矩形を例に説明する。また、説明の便宜上、以下では画像の左上を原点とする画像座標系の場合を例として説明するが、他の座標系であっても同様の手法で領域を算出することができる。
【００４０】
基準画像上の点（ｘ，ｙ）が道路平面Ｙ＝αＺ＋β上の点であれば、点（ｘ，ｙ）の視差ｄｐは、上記（５）式から、以下の（８）式で与えられる。
【数５】
2010079582.tif 000007
【００４１】
ここでα及びβは、パラメータ算出部１０３によって算出された面パラメータを用いる。すべての物体が道路面よりも上側（カメラ側）に存在すると仮定すれば、カメラから観察して道路平面よりも手前に物体が存在するので、視差ｄｐは視差ｄの下限（最小値）を表す。一方、上記（５）式よりｄは非負であるから、視差ｄには以下の（９）式の拘束式が成り立つ。
【数６】
2010079582.tif 000008
【００４２】
したがって、ｙ≧αの範囲では、右画像に対して、以下の（１０）式が成り立つ。
【数７】
2010079582.tif 000009
【００４３】
ここで、ｘ’ｍａｘはｘ’の最大値、すなわち、画像の横幅を表す。同様に、左画像に対しては、ｘの最小値が０であるため、以下の（１１）式のような不等式が成り立つ。
【数８】
2010079582.tif 000010
【００４４】
領域算出部１０４ａは、左右の各画像上で、これらの条件を満たさない領域を、左右カメラの共通視野範囲外に相当する、対応点が存在しない単眼処理領域として算出する。また、領域算出部１０４ａは、単眼処理領域以外の領域をステレオ処理領域として算出する。
【００４５】
図７は、左右の各画像の単眼処理領域の一例を示す図である。左画像では画像の左下に単眼処理領域７０１ａが存在し、右画像では画像の右下に単眼処理領域７０１ｂが存在する。
【００４６】
図３に戻り、候補矩形生成部１０４は、第１生成部１０４ｂ及び第２生成部１０４ｃを用いることにより、ステレオ処理領域及び単眼処理領域でそれぞれ異なる方式で候補矩形を生成する。具体的には、第１生成部１０４ｂは、ステレオ処理領域で候補矩形を生成する。また、第２生成部１０４ｃは、単眼処理領域で候補矩形を生成する。まず、第１生成部１０４ｂによるステレオ処理領域での候補矩形の生成方法について説明する。
【００４７】
図８は、ステレオ処理領域に生成される候補矩形の一例を示す図である。第１生成部１０４ｂは、まず、ステレオ処理領域の任意の点（ｘ，ｙ）に対し、その点を下辺の中点とする矩形を設定する。第１生成部１０４ｂは、面パラメータα及びβを用いることにより、下辺が道路面と接しており、大きさが人間の縦横のサイズを考慮して決定した矩形を設定する。
【００４８】
例えば、人間の身長及び人間の横幅の代表値をそれぞれＨ及びＷとした場合、矩形の画像上の高さｈ及び幅ｗは以下のように求めることができる。すなわち、道路面の方程式である（１）式（Ｙ＝αＺ＋β）及び（５）式から、以下の（１２）式が成り立つため、以下の（１３）式が得られる。
【数９】
2010079582.tif 000011
【００４９】
このように画像上の縦方向の位置、すなわちｙ座標によって、第１生成部１０４ｂが生成する矩形の画像上のサイズは変化する。また、第１生成部１０４ｂは、人間の様々な大きさに対応するため、図８のように画像上の各点（ｘ，ｙ）に対して、複数種類の矩形を生成する。図８では３種類の矩形を設定する例が示されている。
【００５０】
次に、第１生成部１０４ｂは、このようにして各点に設定した矩形内の視差から、矩形内に人物（歩行者）が含まれる可能性を評価し、可能性が高い矩形を候補矩形として生成する。具体的には、第１生成部１０４ｂは、矩形に含まれる視差の均一の度合いを表す均一度が所定の閾値より大きい矩形を、人物が含まれる可能性が高い矩形であると評価する。図９は、矩形の評価方法を説明するための模式図である。
【００５１】
図９（ａ）に示すように、矩形９０１内に人物が含まれる場合、矩形内の奥行きがほぼ一様となるので、対応する視差も一様となる。また、点（ｘ，ｙ）が道路面と接するため、この点の視差は上記（８）式により与えられる。したがって、矩形内の任意の点の視差をｄｉとすると、第１生成部１０４ｂは、視差の均一度を以下の（１４）式を満たす点の個数Ｎで評価することができる。ここで、Δｄは予め定められた視差の差分の閾値（差分閾値）を表す。
【数１０】
2010079582.tif 000012
【００５２】
第１生成部１０４ｂは、矩形の大きさによる影響を考慮するため、矩形の面積Ｓ＝ｗ×ｈで個数Ｎを正規化し、正規化した個数Ｎが以下の（１５）式を満たす矩形を候補矩形として登録する。
【数１１】
2010079582.tif 000013
【００５３】
ここで、Ｎｍｉｎは閾値であり、予め適切な値を設定しておく。なお、図９（ｂ）に示すように、検出対象となる物体（歩行者等の人物）よりも小さい矩形９０２でも矩形内の視差が均一となり、上記（１５）式を満たす場合がある。このような矩形が候補となることを防ぐため、第１生成部１０４ｂが、ある点に対して複数サイズの矩形が上記（１５）式を満たす場合に、面積が最も大きな矩形だけを候補矩形として選択するように構成してもよい。例えば、図９（ｂ）に示すように矩形９０１と矩形９０２とが候補矩形となる場合、矩形９０１のみを候補矩形として選択してもよい。
【００５４】
また、上記均一度の評価方法は一例であり、矩形内の視差の均一度を評価できるものであればあらゆる評価方法を適用できる。また、値が小さいほど均一の度合いが大きいことを表す均一度を用いるように構成してもよい。
【００５５】
次に、第２生成部１０４ｃによる単眼処理領域での候補矩形の生成方法について説明する。第２生成部１０４ｃは、ステレオ処理領域での処理と同様に、任意の点（ｘ，ｙ）に対し、パラメータ算出部１０３によって算出された面パラメータα及びβを用いて、歩行者サイズの候補矩形を生成する。具体的には、第２生成部１０４ｃは、面パラメータα及びβを用いることにより、下辺が道路面と接しており、大きさが人間の縦横のサイズを考慮して決定した矩形を候補矩形として生成する。
【００５６】
図１０は、左右の各画像上の単眼処理領域で生成された候補矩形の例を示す図である。また、図１１は、生成された候補矩形のステレオカメラの実空間での位置を示す図である。例えば、図１０及び図１１では、左画像で生成された候補矩形の下辺の中点１００１〜１００４、及び右画像で生成された候補矩形の下辺の中点１０１１〜１０１４の対応が示されている。
【００５７】
単眼処理領域７０１ａ及び７０１ｂの各矩形の横幅は、実空間に変換するとカメラ間隔Ｂに対応している。ここでは、カメラ間隔Ｂが、人間の横方向の大きさとほぼ同等か、それよりも小さい場合を例示している。また、各点ごとに１つの矩形を生成する場合を図示しているが、人物の様々なサイズに対応するため、第２生成部１０４ｃが各点に対して複数種類の大きさの矩形を生成してもよい。
【００５８】
図３に戻り、判定部１０５は、生成された候補矩形に検出対象である歩行者（人物）が含まれるか否かを判定し、候補矩形を人物を含む矩形と含まない矩形に分類する。例えば、判定部１０５は、人物と人物以外（非人物）を識別できるように、予め学習により求めておいた識別器を用いる。すなわち、人物を含む輝度パターンと、人物を含まない輝度パターンとをサンプル画像として多数用意し、それらを正しく識別できる識別関数を算出する。学習方式は任意であるが、ＡｄａＢｏｏｓｔやサポートベクターマシン（Support Vector Machine）等が比較的有効である。
【００５９】
出力部１０６は、判定部１０５により人物を含むと判定された矩形の位置を出力する。
【００６０】
次に、このように構成された本実施の形態に係る物体検出装置１００による物体検出処理について図１２を用いて説明する。図１２は、本実施の形態における物体検出処理の全体の流れを示すフローチャートである。
【００６１】
まず、画像入力部１０１が、ステレオカメラを構成するカメラ１１ａ及び１１ｂにより撮像された左右画像を入力する（ステップＳ１２０１）。次に、視差算出部１０２が、入力した左画像と右画像の対応点を求め各点に対する視差を算出して視差マップを作成する（ステップＳ１２０２）。次に、パラメータ算出部１０３が、視差マップを用いて道路平面の面パラメータα及びβを算出する（ステップＳ１２０３）。
【００６２】
次に、候補矩形生成部１０４の領域算出部１０４ａが、算出された視差を用いて、左右画像のそれぞれに対して単眼処理領域及びステレオ処理領域を算出する（ステップＳ１２０４）。
【００６３】
次に、候補矩形生成部１０４の第１生成部１０４ｂが、ステレオ処理領域に対して候補矩形を生成する（ステップＳ１２０５）。さらに、候補矩形生成部１０４の第２生成部１０４ｃが、単眼処理領域に対して候補矩形を生成する（ステップＳ１２０６）。
【００６４】
次に、判定部１０５が、第１生成部１０４ｂ及び第２生成部１０４ｃによって生成された各候補矩形に人物が含まれるか否かを判定する（ステップＳ１２０７）。そして、出力部１０６が、人物が含まれると判定された矩形の位置などの情報を出力し（ステップＳ１２０８）、物体検出処理を終了する。
【００６５】
上述のように、従来のステレオ視のみを用いた物体検出方法では、左右のカメラの共通視野外に存在する物体を検出することができなかった。すなわち、実際に各カメラで撮像した範囲より、物体検出の視野範囲が狭いという問題があった。一方、単眼視のみを用いる場合には、実際に撮像した範囲内で物体を検出可能だが、ステレオ視を用いる方法のように面パラメータ等を用いて候補領域を絞り込むことができないため、物体を高精度に検出することができなかった。
【００６６】
これに対し、本実施の形態の物体検出装置は上記のような処理により、単眼視とステレオ視を融合して利用することにより、両者をそれぞれ単独で用いる場合の欠点を補い、単眼視方式に比べると高精度に、ステレオ視方式に比べると広い視野範囲で物体検出が可能となる。すなわち、本実施の形態によれば、ステレオ処理領域のみでなく単眼処理領域も対象として広範囲に物体を検出できる。また、単眼処理領域に対しても面パラメータを用いて候補領域を絞り込むことができるため、高精度に物体を検出できる。
【００６７】
なお、本実施の形態では、移動体の前方に設置したカメラを用いて進行方向に存在する歩行者を検出する場合について説明したが、移動体の側方や後方にカメラを設置してもよい。また、例えば移動ロボットなどのような移動体以外の移動体にカメラを搭載する場合にも適用可能である。また、移動体にカメラを設置する場合に限定されるものではなく、固定位置に設置される監視カメラで撮像した画像から物体を検出する場合にも適用できる。
【００６８】
また、人物（歩行者）を検出する場合について説明したが、検出対象物はこれに限定されるものではなく、他の検出対象であっても適用可能である。また、人物と移動体の同時検出といった多クラスの物体を検出する場合にも適用できる。
【００６９】
また、２台のカメラを左右平行に並べた場合のステレオ視について説明したが、２台以上であればカメラの台数は任意であり、また、視野に重なりが存在すればそれら複数のカメラをどのように配置してもよい。
【００７０】
なお、本発明は上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせてもよい。その他、本発明の要旨を逸脱しない範囲で変形を実施できる。
【００７１】
以下に、変形の具体例について説明する。
【００７２】
（変形例１）
変形例１では、移動体の進行方向に応じて単眼処理領域で生成する候補矩形の個数を増減する。図１３は、本実施の形態の変形例１に係る物体検出装置１３００の構成を示すブロック図である。物体検出装置１３００は、画像入力部１０１と、視差算出部１０２と、パラメータ算出部１０３と、候補矩形生成部１３０４と、判定部１０５と、出力部１０６と、操舵角検出部１３０７と、を備えている。なお、画像入力部１０１は、物体検出装置１３００の外部に配置されて物体検出装置１３００に接続されてもよい。
【００７３】
変形例１では、操舵角検出部１３０７を追加したこと、及び、候補矩形生成部１３０４の第２生成部１３０４ｃの機能が上記実施の形態と異なっている。その他の構成及び機能は、物体検出装置１００の構成を表すブロック図である図３と同様であるので、同一符号を付し、ここでの説明は省略する。
【００７４】
操舵角検出部１３０７は、ステレオカメラが搭載された移動体の操舵角を検出するセンサである。第２生成部１３０４ｃは、検出された操舵角から移動体の進行方向を推定し、進行方向に存在する単眼処理領域に対して、進行方向以外の方向に存在する単眼処理領域より多くの候補矩形を生成する点が、上記第２生成部１０４ｃと異なっている。
【００７５】
例えば、移動体が右折する場合は、移動体は右画像の単眼処理領域（以下「右端領域」という。）に向かうことになるので、この領域に存在する歩行者は、移動体が直進する場合に比べて衝突の危険性がより高くなる。一方、左画像の単眼処理領域（以下「左端領域」という。）から移動体が遠ざかることになるので、この領域に存在する歩行者と衝突する可能性は、移動体直進時と比較して低くなる。したがって、第２生成部１３０４ｃは、移動体右折時には右端領域の候補矩形を増やし、左端領域の候補矩形を減らす。逆に左折時には、第２生成部１３０４ｃは、左端領域の候補矩形を増やし、右端領域の候補矩形を減らす。このように操舵角を用いて候補矩形数を増減させることにより、より効率的な物体検出処理が可能となる。
【００７６】
（変形例２）
変形例２では、時間的に連続する画像（フレーム）間の対応関係を利用して候補矩形を生成する。図１４は、本実施の形態の変形例２に係る物体検出装置１４００の構成を示すブロック図である。物体検出装置１４００は、画像入力部１０１と、視差算出部１０２と、パラメータ算出部１０３と、候補矩形生成部１４０４と、判定部１４０５と、出力部１０６と、を備えている。なお、画像入力部１０１は、物体検出装置１４００の外部に配置されて物体検出装置１４００に接続されてもよい。
【００７７】
変形例２では、候補矩形生成部１４０４の第２生成部１４０４ｃの機能が上記実施の形態と異なっている。その他の構成及び機能は、物体検出装置１００の構成を表すブロック図である図３と同様であるので、同一符号を付し、ここでの説明は省略する。
【００７８】
第２生成部１４０４ｃは、画像入力部１０１が時系列に入力する画像（フレーム）のうち、前の時刻で入力されたフレームに対して生成された候補矩形に対応する矩形を現在の時刻のフレームから求め、求めた矩形を候補矩形として生成する。
【００７９】
図１５は、変形例２での候補矩形の生成方法の一例を示す図である。図１５（ａ）は右画像、図１５（ｂ）は左画像にそれぞれ対応する。図１５（ａ）、（ｂ）に示すように、時刻ｔ−１では歩行者はステレオ処理領域内に存在し、左右画像のいずれにも映っている。このため、第１生成部１０４ｂによって視差を用いて候補領域を生成することができる。しかし、次の時刻ｔでは、歩行者は左画像上で画角外となり、右画像上で単眼処理領域に移動する。このため、時刻ｔではステレオ視差を用いて候補領域を生成することができない。したがってこの場合は、第２生成部１４０４ｃが単眼処理領域で候補矩形を生成することになる。
【００８０】
本変形例では、第２生成部１４０４ｃは、前の時刻ｔ−１で生成された候補矩形に対応する矩形を、時刻ｔのフレームから抽出し、抽出した矩形を候補矩形として生成する。第２生成部１４０４ｃは、例えば、時刻ｔのフレーム内の任意の矩形のうち、時刻ｔ−１で生成された候補矩形との類似度が最も大きい矩形を、対応する矩形として抽出する。
【００８１】
このような処理により、前フレームの候補矩形を用いて、現フレームの単眼処理領域に対して、より正確な候補矩形を生成することができる。なお、抽出した候補矩形によって遮蔽される領域には候補矩形を生成しないことにより、候補矩形の数を減少させるように構成してもよい。最も移動体に近い人物のみを検出できれば、その後方に存在する人物を検出する必要がないためである。この場合、完全に遮蔽される領域内に候補矩形を生成しないように構成してもよいし、所定の割合以上遮蔽される候補矩形を除外するように構成してもよい。
【００８２】
（変形例３）
変形例３では、ステレオ処理領域で生成された候補矩形に対する人物検出の判定結果にしたがって、単眼処理領域の候補矩形数を増減する。図１６は、本実施の形態の変形例３に係る物体検出装置１５００の構成を示すブロック図である。物体検出装置１５００は、画像入力部１０１と、視差算出部１０２と、パラメータ算出部１０３と、候補矩形生成部１５０４と、判定部１５０５と、出力部１０６と、を備えている。なお、画像入力部１０１は、物体検出装置１５００の外部に配置されて物体検出装置１５００に接続されてもよい。
【００８３】
変形例３では、候補矩形生成部１５０４の第２生成部１５０４ｃの機能、及び、判定部１５０５の機能が上記実施の形態と異なっている。その他の構成及び機能は、物体検出装置１００の構成を表すブロック図である図３と同様であるので、同一符号を付し、ここでの説明は省略する。
【００８４】
判定部１５０５は、最初に第１生成部１０４ｂによって生成された候補矩形に対して人物の有無を判定する点が上記判定部１０５と異なっている。
【００８５】
第２生成部１５０４ｃは、判定部１５０５が、第１生成部によって生成された候補矩形に人物が含まれると判定した場合に、単眼処理領域で生成する候補矩形の数を減少させる。例えば、移動体が直進している時、ステレオ処理領域の移動体の直前に相当する位置で歩行者が検出されたとすると、両端の単眼処理領域に他の歩行者が存在したとしても、その重要性はステレオ処理領域内の歩行者に比べて低いと考えることができる。このため、第２生成部１５０４ｃが、単眼処理領域の候補矩形の個数を削減する、又は、候補矩形を生成しないように構成する。
【００８６】
次に、本実施の形態に係る物体検出装置のハードウェア構成について図１７を用いて説明する。図１７は、本実施の形態に係る物体検出装置のハードウェア構成を示す説明図である。
【００８７】
本実施の形態に係る物体検出装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。
【００８８】
本実施の形態に係る物体検出装置で実行される物体検出プログラムは、ＲＯＭ５２等に予め組み込まれて提供される。
【００８９】
本実施の形態に係る物体検出装置で実行される物体検出プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータ読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００９０】
さらに、本実施の形態に係る物体検出装置で実行される物体検出プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態に係る物体検出装置で実行される物体検出プログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【００９１】
本実施の形態に係る物体検出装置で実行される物体検出プログラムは、上述した各部（画像入力部、視差算出部、パラメータ算出部、候補矩形生成部、判定部、出力部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１が上記ＲＯＭ５２から物体検出プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
【図面の簡単な説明】
【００９２】
【図１】ステレオカメラの共通視野の一例を示す図である。
【図２】歩行者が右側から移動体の進行方向に進入してきた場合に撮影される画像の一例を示す図である。
【図３】本実施の形態に係る物体検出装置の構成を示すブロック図である。
【図４】物体検出装置と検出する物体との関係を示す図である。
【図５】本実施の形態で使用するステレオカメラ座標系の一例を示す図である。
【図６】視差の算出方法の一例を説明するための模式図である。
【図７】左右の各画像の単眼処理領域の一例を示す図である。
【図８】ステレオ処理領域に生成される候補矩形の一例を示す図である。
【図９】矩形の評価方法を説明するための模式図である。
【図１０】左右の各画像上の単眼処理領域で生成された候補矩形の例を示す図である。
【図１１】生成された候補矩形のステレオカメラの実空間での位置を示す図である。
【図１２】本実施の形態における物体検出処理の全体の流れを示すフローチャートである。
【図１３】本実施の形態の変形例１に係る物体検出装置の構成を示すブロック図である。
【図１４】本実施の形態の変形例２に係る物体検出装置の構成を示すブロック図である。
【図１５】変形例２での候補矩形の生成方法の一例を示す図である。
【図１６】本実施の形態の変形例３に係る物体検出装置の構成を示すブロック図である。
【図１７】本実施の形態に係る物体検出装置のハードウェア構成を示す説明図である。
【符号の説明】
【００９３】
１０２  視差算出部
１０３  パラメータ算出部
１０４ａ  領域算出部
１０４ｂ  第１生成部
１０４ｃ  第２生成部
１０５  判定部
【図１】
2010079582.tif 000014
【図２】
2010079582.tif 000015
【図３】
2010079582.tif 000016
【図４】
2010079582.tif 000017
【図５】
2010079582.tif 000018
【図６】
2010079582.tif 000019
【図７】
2010079582.tif 000020
【図８】
2010079582.tif 000021
【図９】
2010079582.tif 000022
【図１０】
2010079582.tif 000023
【図１１】
2010079582.tif 000024
【図１２】
2010079582.tif 000025
【図１３】
2010079582.tif 000026
【図１４】
2010079582.tif 000027
【図１５】
2010079582.tif 000028
【図１６】
2010079582.tif 000029
【図１７】
2010079582.tif 000030