(57)【要約】      （修正有）【課題】オブジェクトの認識精度の向上、誤認識の低減を図ることができるオブジェクト認識装置を提供する。【解決手段】ステレオ画像信号が逐次入力されるステレオ画像入力部２０と、ステレオ画像の少なくとも一方の画像をフレーム毎に逐次記憶保持して輝度画像フレームを構築する輝度画像構築部２１と、ステレオ画像を用いて視差を計算して視差画像フレームを構築する視差画像構築部２２と、輝度画像フレームと視差画像フレームとを用いてオブジェクトを認識するオブジェクト認識部２３とを備え、オブジェクト認識部２３は、輝度特徴量とその輝度特徴量の演算に用いた画素の視差値により視差特徴量を演算するオブジェクト特徴量演算部２３aと、記憶した輝度特徴量と視差特徴量とに関する記憶データと輝度特徴量と視差特徴量とによってオブジェクトを決定するための評価値を演算してオブジェクトを決定するオブジェクト決定処理部２３ｂとを備えている。【選択図】図３
2015026310.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラにより得られたステレオ画像信号が逐次入力されるステレオ画像入力部と、該ステレオ画像入力部から出力されたステレオ画像の少なくとも一方の画像をフレーム毎に逐次記憶保持して輝度画像フレームを構築する輝度画像構築部と、前記ステレオ画像入力部から前記輝度画像構築部への出力に同期して出力されたステレオ画像を用いて視差を計算して視差画像フレームを構築する視差画像構築部と、輝度画像フレームと視差画像フレームとを用いてオブジェクトを認識するオブジェクト認識部とを備え、該オブジェクト認識部は、輝度画像フレームから輝度特徴量とその輝度特徴量を演算するために用いた画素の視差値により視差特徴量を演算するオブジェクト特徴量演算部と、記憶した輝度特徴量と視差特徴量とに関する記憶データと前記輝度特徴量と前記視差特徴量とによってオブジェクトを決定するための評価値を演算してオブジェクトを決定するオブジェクト決定処理部と、備えていることを特徴とするオブジェクト認識装置。
【請求項２】
前記オブジェクト特徴量演算部は、前記視差特徴量として視差平均値と視差標準偏差とを演算し、前記記憶データは、前記評価値を求めるための前記輝度特徴量に重みづけを行うための重み係数と、前記評価値を求めるための前記視差特徴量に重みづけを行うための重み係数を含むことを特徴とする請求項１に記載のオブジェクト認識装置。
【請求項３】
前記評価値を求めるための演算式が、
2015026310.tif 000007
であることを特徴とする請求項２に記載のオブジェクト認識装置。
ただし、F（ｘ）は前記評価値を求めるための評価関数、ｈｔ（ｘ）は輝度特徴量、αｔは輝度特徴量ｈｔ（ｘ）に重みづけを行うための係数、αｄは視差平均値に重みづけを行うための係数、ασｄは視差標準偏差に重みづけを行うための係数である。
【請求項４】
ステレオ画像からオブジェクトを認識するための輝度特徴量と、該輝度特徴量を求めるために用いた画素が有する視差値により前記オブジェクトを認識するための視差特徴量とを演算により求めるオブジェクト特徴量演算ステップと、前記オブジェクトを認識するために事前学習した輝度特徴量と視差特徴量とに関する学習データと輝度特徴量と視差特徴量とによってオブジェクトを決定するための評価値を演算してオブジェクトを決定するオブジェクト決定処理ステップとを実行することを特徴とするコンピュータで読み取り可能なオブジェクト認識用プログラム。
【請求項５】
請求項１ないし請求項３のいずれか１項に記載されたオブジェクト認識装置を用いて移動物体に搭載された機器の制御を行う移動体制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト認識装置及びそのオブジェクト認識装置に用いるオブジェクト認識用プログラム及び移動体制御システムに関する。
【背景技術】
【０００２】
近時、自車両の前方の走行車両、歩行者等のオブジェクトとしての移動物体を認識し、自車両と前方車両との間への別の車両の割り込み、歩行者の飛び出し等の危険な状態を早期発見し、ドライバーに警告等を行い、危険を予防するオブジェクト認識装置が開発されている。
【０００３】
オブジェクト認識装置には、色と空間周波数という特徴量を用いて、歩行者と二輪車とを認識する技術が知られている（例えば、特許文献１参照）。しかしながら、背景が複雑になると、背景に被写体と同じ色、同じ空間周波数の物体が増加するため、対象とする移動物体の認識率が低下し、誤認識率が増加する。
【０００４】
そこで、カメラにより得られた画像から視差を計算して視差画像（距離画像ともいう）を求め、その視差画像と輝度画像とにより、対象物としての移動物体の特定効率および特定精度の向上を図る技術が提案されている（特許文献２参照）。なお、視差画像とは視差値を画素値とした画像をいう。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、この特許文献２に開示のものでも、背景が複雑化すると、認識精度が低下すると共に、誤認識率が増加する。
本発明は、上記の事情に鑑みて為されたもので、オブジェクトの認識精度の向上、オブジェクトの誤認識の低減を図ることができるオブジェクト認識装置及びそのオブジェクト認識装置に用いるオブジェクト認識用プログラム及び移動体制御システムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明のオブジェクト認識装置は、ステレオカメラにより得られたステレオ画像信号が逐次入力されるステレオ画像入力部と、該ステレオ画像入力部から出力されたステレオ画像の少なくとも一方の画像をフレーム毎に逐次記憶保持して輝度画像フレームを構築する輝度画像構築部と、前記ステレオ画像入力部から前記輝度画像構築部への出力に同期して出力されたステレオ画像を用いて視差を計算して視差画像フレームを構築する視差画像構築部と、輝度画像フレームと視差画像フレームとを用いてオブジェクトを認識するオブジェクト認識部とを備え、該オブジェクト認識部は、輝度画像フレームから輝度特徴量とその輝度特徴量を演算するために用いた画素の視差値により視差特徴量とを演算するオブジェクト特徴量演算部と、事前学習した前記輝度特徴量と前記視差特徴量とに関する学習データと前記輝度特徴量と前記視差特徴量とによってオブジェクトを決定するための評価値を演算してオブジェクトを決定するオブジェクト決定処理部と、備えていることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、オブジェクトを認識するための輝度特徴量と、この輝度特徴量を演算するために用いた画素が有する視差値により求めた視差特徴量と、その輝度特徴量とその視差特徴量とに関して事前学習した学習データとによって、オブジェクトを決定することにしたので、オブジェクトの認識精度の向上、オブジェクトの誤認識の低減を図ることができる
【図面の簡単な説明】
【０００８】
【図１】図１は本発明に係るオブジェクト認識装置が搭載されている移動体としての車両を示す概略図である。
【図２】図２は図１に示すオブジェクト認識装置のハードウエアの構成を示すブロック図である。
【図３】図３は図２に示すオブジェクト認識装置の機能を説明するためのブロック図である。
【図４】図４はステレオカメラの構造と視差との関係を説明するための模式図である。
【図５】図５はステレオカメラにより取得された左右のステレオ画像と視差画像との説明図であって、（ａ）は左側の撮影レンズ系による画像、（ｂ）は右側の撮影レンズ系による画像の一例を示し、（ｃ）はこのステレオ画像から求められた視差画像の一例を示している。
【図６】図６は輝度画像から切り出される矩形ブロックを模式的に示す図である。
【図７】図７は矩形ブロックの輝度特徴量を求めるために用いる分割パターンとその分割パターンを用いて輝度特徴量を求めるための一例を模式的に示す説明図である。
【図８】図８は輝度特徴量と視差特徴量とに関する学習データを学習させるための学習用のオブジェクトの一例を示し、（a）は学習用のオブジェクトの輝度画像を示し、（ｂ）は学習用のオブジェクトの視差画像を示している。
【図９】図９はオブジェクト識別器の階層構造の概念を説明するための図である。
【図１０】図１０は認識したオブジェクトを説明するための図である。
【図１１】図１１は、本発明に係るオブジェクト認識処理装置の実施例の作用を説明するためのフローチャート図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しつつ本発明に係るオブジェクト認識処理装置について説明する。
図１は本発明に係るオブジェクト認識処理装置を搭載した移動体としての車両の外観を示す概略図である。
【００１０】
その図１において、１は移動体としての自車両、２はオブジェクト認識装置、Sは追尾対象としてのオブジェクト（移動物体）である。オブジェクト認識装置２は、自車両の本体に備えられている。
【００１１】
図２はそのステレオカメラとオブジェクト認識装置２のハードウェア構成を示すブロック図である。
オブジェクト認識装置２は、図２に示す車載用のステレオカメラから出力される信号を処理する回路から構成されている。図２はそのステレオカメラのハードウェア構成を示すブロック図である。その図２において、１a、１ｂは左右の撮影レンズ系を示し、２a、２ｂは左右の撮像素子としてのCMOS（Complementary Metal Oxide Semiconductor）を示す。
なお、このオブジェクト認識装置２はステレオカメラに含まれていても良い。
【００１２】
被写体光は、左右の撮影レンズ系１a、１ｂによりCMOS２a、２ｂにそれぞれ結像される。
CMOS２a、２ｂは、その撮像面に結像された光学像を電気信号に変換して、アナログ画像データとして左右のCDS（Correlated Double Sampling:相関２重サンプリング）回路３a、３ｂに向けて出力する。
【００１３】
そのCDS回路３a、３ｂはCMOS２a、２ｂから出力されたアナログ画像データのノイズ成分を除去して、Ａ／Ｄ変換器４a、４ｂに向けて出力する。A／D変換器４a、４ｂはアナログ画像データをデジタル画像データに変換して画像処理回路５a、５ｂに向けて出力する。
【００１４】
そのCMOS２a、２ｂ、CDS回路３a、３ｂ、A／D変換器４a、４ｂは、タイミング信号を発生するタイミング信号発生器６によりタイミング制御される。そのタイミング信号発生器６はCPU（Central Processing Unit）７によって、コントロールされる。なお、CPU７は画像処理回路５a、５ｂ、後述する画像圧縮伸張回路、メモリカードもコントロールする。
【００１５】
画像処理回路５a、５ｂは、画像データを一時格納するSDRAM（SynchronousDRAM）８を用いて、Y、Cr、Cb変換処理、ホワイトバランス処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。
【００１６】
なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。
【００１７】
また、信号処理、画像処理が施された画像情報は、圧縮伸張回路９を介して、メモリカード１０に記録される。圧縮伸張回路９は、画像処理回路５a、５ｂから出力されるデジタル画像データを圧縮してメモリカード１０に出力すると共に、メモリカード１０から読み出した画像情報を伸張して画像処理回路５a、５ｂに出力する機能を有する。
【００１８】
CPU７は、コンピュータで読み取り可能なオブジェクト認識用プログラムに従って各種演算処理を行い、プログラム等が格納された読み出し専用メモリとしてのROM（Read Only Memory）１１、各種の処理過程で利用するワークエリア、各種データ格納エリア等を有する読み出し書き込み自在のメモリとしてのRAM（Random Access Memory）１２を内蔵し、これらがバスラインによって相互接続されている。なお、１３はこのオブジェクト認識装置２の操作部である。ここでは、この操作部１３の操作により、オブジェクト認識装置２は、その機能を実行する。
【００１９】
このオブジェクト認識装置２のCPU７による処理機能の概要を図３を参照しつつ説明する。ステレオカメラのCMOS２a、２ｂ、CDS回路３ａ，３ｂ，Ａ/Ｄ変換器４ａ，４ｂ，は、ここでは、ステレオ画像信号を逐次出力するステレオ画像出力部としての機能を有する。
【００２０】
その画像処理回路５a、５ｂは、ステレオ画像出力部から出力されたステレオ画像が入力されてフレーム毎にステレオ画像を逐次記憶保持するステレオ画像入力部２０としての機能と、そのステレオ画像の少なくとも一方に基づいて画像フレーム毎に輝度画像フレームを構築する輝度画像構築部２１としての機能とを有する。
【００２１】
CPU７は、ROM１１に格納されているプログラムがロードされ、ステレオ画像入力部２０からの輝度画像構築部部２１への出力に同期して出力されたステレオ画像を用いて視差を計算し、視差画像フレームを構築する視差画像構築部２２として機能する。
【００２２】
また、CPU7は、輝度画像構築部２１からの輝度画像フレームと視差画像構築部２２からの視差画像フレームとを用いてオブジェクトを認識するオブジェクト認識部２３として機能する。
【００２３】
オブジェクト認識部２３は、ここでは、輝度画像フレームから得られた矩形ブロック内の画素の輝度値により求めた輝度特徴量とその輝度特徴量を求めるために用いた画素の視差特徴量とを演算により求めるオブジェクト特徴量演算部２３aと、オブジェクトを決定するために予め学習により求められた特徴量に関する重み係数を記憶するオブジェクト認識辞書メモリ部（記録媒体）２３ｃと、オブジェクト認識辞書メモリ部２３ｃに記憶されている重み係数とオブジェクト特徴量演算部２３aにより求められた輝度特徴量と視差特徴量とによりオブジェクトを決定するオブジェクト決定処理部２３ｂとから構成されている。なお、オブジェクト認識辞書メモリ部２３ｃは、例えば、ROM１１からなる。
【００２４】
図4はオブジェクトSとステレオカメラによる像との関係を模式的に示す図である。
オブジェクトSの撮像対象点Ｏは、図４に示すように、撮影レンズ系１a、１ｂによりCMOS２a、２ｂの撮像面に結像される。
【００２５】
撮影レンズ系１a、１ｂの焦点距離をｆ、撮影レンズ系１ａ，１ｂの光軸間距離（基線長）をD、ステレオカメラからオブジェクト（移動物体）Sまでの距離をZ、結像中心からのずれ量をそれぞれΔ１、Δ２とすると、視差Δは、Δ＝Δ１＋Δ２である。なお、ずれ量Δ１、Δ２は、CMOS２a、２ｂ上における撮像対象点Oの結像位置によって求まる。また、この実施例では、符号Δは視差値の意味でも使用する。
【００２６】
なお、オブジェクト（移動物体）Sまでの距離Zは、Z＝D×（ｆ／Δ）の式から求めることができる。
視差画像構築部２２は、視差Δを用いて画素毎に視差値を計算し、オブジェクト距離計算部２５aは、Z＝D×（ｆ／Δ）の演算式を用いて、オブジェクトSの撮像対象点Ｏまでの距離を演算することができる。
【００２７】
なお、その図４において、符号ｓ’はCMOS２a、２ｂの撮像面に結像されたオブジェクト（移動物体）Sの像を示している。また、ここでは、撮影レンズ系１a、１ｂの光軸は水平方向（横方向又は左右方向）に平行であるとし、水平方向の光軸に対して画素のラインは左右の画像について縦方向にずれていないものとする。なお、撮影レンズ系１a、１ｂの光軸は縦方向に平行でもよい。
【００２８】
図５はそのCMOS２a、２ｂの撮像面に結像されたオブジェクトSのステレオ画像と視差画像とを示し、（ａ）は左側の画像Ｇ（G1）、（ｂ）は右側の画像Ｇ（G2）を示している。また、図５（ｃ）は、そのステレオ画像から求められた視差画像Ｇ３の模式図を示している。左側の画像G1と右側のG2とは、視差のため、撮像面上での結像位置は異なる。これらの画像G1、G2は、例えば、RAM１２のメモリ領域に一時的に保存される。
【００２９】
その画像G1,G2から輝度画像フレームと視差画像フレームとが生成され、同時刻に撮像された輝度画像Ｇ１、Ｇ２と視差画像Ｇ３、すなわち、輝度画像フレームと視差画像フレームとが同期した複数枚の連続した画像フレームが生成される。その輝度画像フレームの画像上の座標と視差画像フレームの画像上の座標とは一対一に対応している。
【００３０】
その視差画像は、例えば、以下に説明する方法により求める。
まず、図５に示す高さｙ１、ｙ２の横ラインがオブジェクトS’、路面領域ROを横切る際の視差について説明する。
高さｙ１の横ラインについての画素の視差値を、例えば「…、５、４、…、１２、１２、…、１２、…、４、…、１、１、…」とする。ここで、視差値「１２、１２、…」は、例えば、オブジェクトS’を意味し、視差値「１、１、…」は、路面領域R0を意味する。
【００３１】
すなわち、ここでは、高さｙ１における横ラインの画素の視差値「１２」は、例えば、図１に示す自車両１から約１０ｍの位置にあるオブジェクトSとしての前方車両を意味し、視差値「１」はその前方車両よりも遠くの位置にある路面を意味している。
【００３２】
また、高さｙ２の横ラインについての画素の視差値を、例えば、「…、２５、２５、…、２４、…、２４、２５、…、」とする。この高さｙ２における横ラインの画素の視差値は、前方車両よりも自車両１に近い路面領域R0の視差値を意味する。
【００３３】
視差画像を作成するために、図５（a）、図５（ｂ）に示すように、左右の画像G1、G2をブロックIrで分割し、ブロックの差分が一番小さいとき、ブロックIrがマッチングしたとして、視差値を求める。なお、ブロックIrのサイズの最適値は実験により求めて調整した後、設定する。
【００３４】
例えば、１２８０×９６０画素の画像G1、G2について５×５サイズのブロックIrで分割し、このブロックＩｒによる左の画像Ｇ１のブロックＩｒと右の画像Ｇ２のブロックＩｒのブロックマッチングについて説明する。
【００３５】
高さｙ１の横ラインについて、左の画像Ｇ１のブロックＩｒが、座標原点位置（０、０）に対して（ｘ１、ｙ１）の位置にあるとする。この例では、左の画像Ｇ１のブロックＩｒは左側の前方風景とオブジェクトSの像S１’の左側の白い部分との境界部に位置している。この左の画像Ｇ１のブロックＩｒの輝度値の総和を例えばＩr（ｘ１、ｙ１）とする。
【００３６】
これに対して、高さｙ１の横ラインについて、右の画像Ｇ２のブロックＩｒを、例えば、位置（０、ｙ１）から位置（ｘ１＋Δ、ｙ１）まで移動させる。その位置（０、ｙ１）のブロックＩｒの輝度値の総和をＩｒ（０、ｙ１）、その位置（ｘ１＋Δ、ｙ１）のブロックIrの輝度値の総和をＩｒ（ｘ１＋Δ、ｙ１）とする。
【００３７】
左の画像Ｇ１のブロックＩｒは、オブジェクト像S1’の境界部に位置しており、このブロックＩｒによって囲まれる領域の左半分は暗く、右半分は明るい。これに対して、右の画像Ｇ２の位置（０、ｙ１）に存在するブロックＩｒによって囲まれる領域は全体的に暗い。その左の画像Ｇ１のブロックＩｒの輝度値の総和Ｉｒ（ｘ１、ｙ１）と右の画像Ｇ２のブロックＩｒの輝度値の総和Ｉｒ（０、ｙ１）との差が大きいので、ブロックマッチングしたと判定されない。
【００３８】
右の画像Ｇ２のブロックＩｒを、その位置（０、ｙ１）から位置（ｘ１＋Δ、ｙ１）に向かって移動させて、左の画像Ｇ１のブロックＩｒの輝度値の総和Ｉｒ（ｘ１、ｙ１）と右の画像Ｇ２のブロックＩｒの輝度値の総和Ｉｒ（ｘ、ｙ１）との差を順次求める。
【００３９】
すると、右の画像Ｇ２のブロックＩｒが位置（ｘ１＋Δ、ｙ１）に位置した時点で、左の画像Ｇ1のブロックIｒの輝度値の総和Ｉr（ｘ１、ｙ１）と、右の画像Ｇ2のブロックＩｒの輝度値の総和Ｉｒ（ｘ１＋Δ、ｙ１）との差が最小となる。この差が最小のときブロックマッチングしたと判定して、視差Δを求める。この視差Δは、ブロックＩｒがオブジェクトSの像S１’の境界部に存在するので、例えば、「１２」である。
【００４０】
ブロックＩｒを高さｙ１の横ラインから高さｙ２の横ラインの方向に向かって順次移動させる。ついで、各高さｙの横ラインにおいて、ブロックIｒをｘ方向に移動させて、ブロックマッチング処理を行う。すると、オブジェクトSの像S1’の境界部において、視差Δが逐次求められる。
【００４１】
また、例えば、左の画像Ｇ１のブロックＩｒが高さｙ２の横ラインの位置（ｘ１、ｙ２）に位置していたとする。すなわち、左の画像Ｇ１のブロックＩｒが白線の境界部に位置していたとする。
【００４２】
これに対して、高さｙ２の横ラインにおいて、右の画像Ｇ２のブロックＩｒを、例えば、位置（０、ｙ２）から位置（ｘ１＋Δ、ｙ２）まで移動させる。その位置（０、ｙ２）のブロックＩｒの輝度値の総和をＩｒ（０、ｙ２）、その位置（ｘ１＋Δ、ｙ２）の輝度値の総和をＩｒ（ｘ１＋Δ、ｙ２）とする。
【００４３】
左の画像Ｇ１のブロックＩｒは、白線の境界部に位置しており、このブロックＩｒによって囲まれる領域の左半分は暗く、右半分は明るい。これに対して、右の画像Ｇ２の位置（０、ｙ２）に存在するブロックＩｒによって囲まれる領域は全体的に暗い。このため、その左の画像Ｇ１のブロックＩｒの輝度値の総和Ｉｒ（ｘ１、ｙ１）と右の画像G2のブロックＩｒの輝度値の総和Ｉｒ（０、ｙ２）との差が大きく、ブロックマッチングしたと判定されない。
【００４４】
右の画像Ｇ２のブロックＩｒを、位置（０、ｙ２）から位置（ｘ１＋Δ、ｙ２）に向かって移動させて、右の画像Ｇ２のブロックＩｒの各位置（ｘ、ｙ２）において、左の画像Ｇ１のブロックＩｒの輝度値の総和Ｉｒ（ｘ１、ｙ２）と右の画像Ｇ２のブロックＩｒの輝度値の総和Ｉｒ（ｘ、ｙ２）との差を順次求める。
【００４５】
すると、右の画像Ｇ２のブロックＩｒが位置（ｘ１＋Δ、ｙ２）に位置した時点で、左の画像Ｇ１のブロックIｒの輝度値の総和Ｉr（ｘ１、ｙ２）と、右の画像G2のブロックＩｒの輝度値の総和Ｉｒ（ｘ１＋Δ、ｙ２）との差が最小となる。この差が最小のときブロックマッチングしたと判定して、視差Δを求める。この視差Δは、ブロックＩｒが白線の境界部に存在するので、例えば、「２４」又は「２５」である。高さｙ２の横ラインの白線以外の部分についてもときどきマッチングする点が得られる。
【００４６】
このようにして得られた画像が視差画像G3であり、その視差画像G3を図５（ｃ）に模式的に示す。この視差画像G3では、視差値の大きい方を高い輝度値で表現し、視差が小さい方を低い輝度値で表現している。画像のコントラストが大きい部分では、ブロックＩｒがマッチングする個数が多いので、明るい点の個数が境界部では多い。
【００４７】
オブジェクト認識部２３は、輝度画像構築部２１により得られた輝度画像フレームを用いて、車両、歩行者等のオブジェクトSを決定する。
機械学習方法により、事前にオブジェクトSの学習データを用いて、オブジェクト認識用辞書を作成する。オブジェクトSの種類によって、別々にオブジェクト認識用辞書を作成する必要がある。
【００４８】
例えば、車両を認識するためには、車両をオブジェクトとして認識する辞書を作成する必要がある。歩行者をオブジェクトSとして認識するためには、歩行者を認識する辞書を作成する必要がある。従って、対象とするオブジェクトSごとにオブジェクト認識用辞書を作成する。
【００４９】
このオブジェクトSを認識するため、まず、輝度画像G（G1又はG2）から図６に示すように、輝度画像Gの範囲内で、矩形ブロックBR１を設定する。矩形ブロックBR1の左上隅点の座標（Xs,Ys）と右下隅点の座標（Xe,Ye）は、輝度画像G内での矩形ブロックBR1の位置と矩形ブロックの大きさとによって決まる。矩形ブロックBR1は大きいサイズから小さいサイズまで順に選択する。
【００５０】
この実施例では、矩形ブロックBR1の正規化を行うので、大きいサイズの矩形ブロックBR1から小さいサイズの矩形ブロックBR２までを生成するための処理時間は同じである。輝度画像Gには大きいサイズの矩形ブロックBR1となる候補の数が少なく、小さいサイズの矩形ブロックBR２の数は多いと考えられる。というのは、自車両の直前方に存在する移動物体は少ないと考えられるからである。なお、矩形ブロックBR2は、図５（a）、図５（ｂ）に示すオブジェクトＳ’に対応しているものとして説明する。
【００５１】
大きいサイズの矩形ブロックBR1は、輝度画像上では、その個数が少ない。なので、大きいサイズの矩形ブロックBR1から順に小さいサイズの矩形ブロックBR2を用いて探索することにすれば、より早く追尾すべき移動物体を検知できる。また、大きいオブジェクトSの画像が検知されると、出力するとき体感速度は速くなる。
【００５２】
例えば、図６に示すように、大きいサイズの矩形ブロックBR1’を、輝度画像Ｇ（G1、G2）内で矢印Ａｒｘ、Ａｒｙ方向に走査して、認識対象物体があるか画像中を探索する。
ついで、若干小さいサイズの矩形ブロックBR1を用いて走査を行い、認識対象物体がありか画像中を探索する。
【００５３】
オブジェクト特徴量演算部２３aは、輝度特徴量と視差特徴量を計算する。例えば、矩形ブロックBR2内に存在する白黒の矩形領域の輝度特徴量を計算する。
【００５４】
図７（ａ）ないし（ｄ）は、オブジェクトＳ’に対応する矩形ブロックBR2について、輝度特徴量を求めるための４つの特徴的な分割パターンの例が模式的に示されている。この分割パターンは、車両に対する輝度特徴量を求めるためのものである。
【００５５】
図７（ａ）は矩形ブロックBR2を横方向に白矩形領域BR3と黒矩形領域BR４に分割した場合を示している。図７（ｂ）は矩形ブロックBR2を上下方向に白矩形領域BR3と黒矩形領域BR４とに分割した場合を示している。図７（ｃ）は横方向に間隔を開けて位置する白矩形領域BR3と白矩形領域BR3との間に黒矩形領域BR4が存在するように矩形ブロックBR2を横方向に分割した場合を示している。図７（ｄ）は対角状に交差して白矩形領域BR３と黒矩形領域BR4とが存在するように矩形ブロックBR2を分割した場合を示している。
【００５６】
その図７（ａ）ないし図７（ｄ）に示す白矩形領域BR3と黒矩形領域BR4とをそれぞれ矩形ブロックBR2に重ねて、その重なっている矩形領域内に存在する各画素の輝度値の合計値を求める。
【００５７】
そして、白矩形領域BR3に重なっている矩形ブロックBR2の画素の輝度値の総和と黒矩形領域BR4に重なっている矩形ブロックBR２の画素の輝度値の総和との差を求め、これを矩形ブロックBR2の輝度特徴量ｈｔ（ｘ）とする。
【００５８】
以下に、矩形ブロックBR2についての輝度特徴量ｈｔ（ｘ）の演算の一例について説明する。
例えば、矩形ブロックBR２が図５（ａ）に示すオブジェクトS’に対応するものとする。このオブジェクトS1’は、略矩形状で、下部の車体部分が白く上部に窓があって黒く映っている。このブロックBR２に、例えば、図７（ｂ）に示す分割パターンを用いて輝度特徴量ｈｔ（ｘ）の演算を行うと、以下のようになる。
【００５９】
例えば、図７（ｅ）に模式的に示すように、矩形ブロックBR２の上方部分の画素の輝度値がＢｒ＝０（黒）であるとする。また、矩形ブロックBR２の下半分の画素の輝度値がＷａ＝２５５（白）であるとする。この場合、黒矩形領域BR4に重なっている矩形ブロックBR2の輝度値の総和は、ΣＢｒである。これに対して、白矩形領域BR3に重なっている矩形ブロックBR2の輝度値の総和は、ΣＷａである。ΣＢｒは輝度値Ｂｒを有する画素の個数と輝度値Ｂｒの積であり、ここでは、ΣＢｒ＝０である。同様に、ΣＷａは輝度値Ｗａを有する画素の個数と輝度値Ｗａ＝２５５との積である。従って、特徴量ｈｔ（ｘ）＝ΣＷａ―ΣＢｒは０よりもはるかに大きい。
【００６０】
また、図５（ａ）に示すオブジェクトS’に対して、図７（ａ）に示す分割パターンを用いて輝度特徴量ｈｔ（ｘ）の演算を行うと、以下のようになる。図７（ｆ）に示すように、左半分の白矩形領域BR3に重なっている矩形ブロックBR2の輝度値の総和は、例えばΣ（Ｗａ＋Ｂｒ）となる。同様に、右半分の黒矩形領域BR4に重なっている矩形ブロックBR2の輝度値の総和はΣ（Ｂｒ＋Ｗａ）となる。この図７（ｆ）では、矩形ブロックBR2が左右対称的な輝度値を有するので、特徴量ｈｔ（ｘ）は、ｈｔ（ｘ）＝０となる。
【００６１】
このように、図７（ａ）ないし図７（ｄ）に示すように特徴量ｈｔ（ｘ）を求めるための白矩形領域BR３、黒矩形領域BR4の大きさと位置と分割パターンを用いて特徴量ｈｔ（ｘ）を求める。そして、この輝度特徴量ｈｔ（ｘ）からオブジェクトを認識するための輝度評価値ｆ（ｘ）を求める。
【００６２】
ここで、計算した輝度特徴量ｈｔ（ｘ）を用いて式（１）に示すような特徴量重み付けの輝度評価値f(x)を計算する。式（１）に示すようにブロック内の輝度特徴量ｈｔ（ｘ）を計算して、重み係数αｔを考慮して、評価関数としての輝度評価値f(x)を計算する。
2015026310.tif 000003
【００６３】
評価関数は輝度特徴量ｈｔ（ｘ）と重み係数αｔを持っている。輝度特徴量ｈｔ（ｘ）に対する重み係数αｔは学習により予め計算して求める。すなわち、オブジェクト認識対象に対して、学習データを集め、学習させ、輝度特徴量ｈｔ（ｘ）に対する重み係数αｔを求める。
【００６４】
また、オブジェクト特徴量演算部２３aは、視差特徴量を求める。オブジェクト特徴量演算部２３aは、この視差特徴量を求めるために、視差平均値ｄと視差標準偏差値σｄとを演算する。
その視差平均値ｄは、例えば、以下に説明するようにして求める。例えば、図７（e）に示すように、白矩形領域BR3により囲まれた領域内、黒矩形領域BR4により囲まれた領域内の各画素が有する視差値をｄi、この白矩形領域BR３と黒矩形領域BR４に存在する画素の総個数をNとすると、
視差平均値ｄは
ｄ＝Σｄi/N        
により求められる。
【００６５】
視差標準偏差値σｄは、統計数学により、
2015026310.tif 000004
この視差平均値ｄと視差標準偏差値σdはオブジェクトの視差特徴量である。
オブジェクト決定部２３ｂは、オブジェクト認識辞書メモリ部２３ｃに記憶されている重み係数とオブジェクト特徴量演算部２３aにより求められた輝度特徴量と視差特徴量とによりオブジェクトを決定する。
【００６６】
オブジェクト決定処理部２３ｂは、そのオブジェクトを決定するために、輝度特徴量ｈｔ（ｘ）と視差特徴量ｄ、σｄと重み係数とを用いて、下記に示す評価関数F（ｘ）により評価値を求める。
2015026310.tif 000005
ここで、αｄ、ασdは視差特徴量の重み係数である。
そのオブジェクト認識辞書メモリ部（記録媒体）２３ｃは、オブジェクトを決定するために予め学習により求められた輝度特徴量ｈｔ（ｘ）、視差特徴量ｄ、σｄとに対する重み係数αｔ、αｄ、ασｄとを記憶している。
なお、オブジェクト認識辞書メモリ部（記録媒体）２３ｃには、図７（ａ）ないし図７（ｄ）に示す矩形ブロック矩形ブロックの二辺が交差する四隅の交点のうちの左上隅の交点の座標値、その矩形ブロックの横幅と縦幅（矩形のサイズ）、白領域（又は黒領域）の二辺が交差する四隅の交点のうちの左上隅の交点の座標値、その白領域と黒領域のサイズ、ｆｔ（ｘ）の評価値の閾値、特徴量の重み係数αｔ等が記憶されている。
なお、符号ｔは輝度特徴量の番号、符号Ｔは輝度特徴量の総数である。
【００６７】
図８は学習用のオブジェクトの一例を示し、（a）は学習用のオブジェクトの輝度画像G４を示し、（ｂ）は学習用のオブジェクトの視差画像G５を示している。
この学習用のオブジェクトの輝度画像G4から大まかな分割パターン、細かな分割パターンにより輝度画像の領域を分割して、輝度画像G4のオブジェクトの輝度特徴量ｈｔ（ｘ）に対する重み係数αｔを求め、これをオブジェクト認識辞書メモリ部２３ｃに記憶させる。
その輝度特徴量ｈｔ（ｘ）を演算するための画素の座標値（ｘi、ｙi）が、例えば、左上隅を原点（０、０）として保存され、これらの画素の座標値（ｘi、ｙi）と分割パターンとを用いて輝度特徴量ｈｔ（ｘ）を演算する。
【００６８】
同様に、視差画像G５から、輝度画像G４のパターンに対応する画素の視差平均値ｄと視差標準偏差値σｄに対する重み係数を求め、これをオブジェクト認識辞書メモリ部２３ｃに記憶させる。
その視差特徴量に対する重み係数も、例えば、オブジェクト認識辞書メモリ部２３ｃに認識すべきオブジェクト毎に表1に示すようにテーブルとして保存されている。
【表１】
2015026310.tif 000006
【００６９】
例えば、あるオブジェクトの視差特徴量と重み係数として、視差平均値ｄ１＝１００（ｍ）、重み係数αｄ１＝０.１、視差標準偏差値σｄ１＝１/１０、重み係数ασｄ１＝０.０１、視差平均値ｄ２＝８０（ｍ）、重み係数αｄ２＝０.２、視差標準偏差値σｄ２＝１/２０、重み係数ασｄ２＝０.０２、…、視差平均値ｄi＝１（ｍ）、…等のテーブルがオブジェクト認識辞書メモリ部２３ｃに保存されている。
【００７０】
オブジェクトの認識は図９に示す階層を持つオブジェクト識別器を用いて行う。各階層において式（４）に示す評価関数F（ｘ）を持つ。その評価関数F（ｘ）の値が予め設定した閾値より小さい場合、オブジェクトでないと判断され、その矩形ブロックBR２の評価を中止する。
各階層（ｎ１からｎ１；ｎは正の整数）で評価値F（ｘ）を計算する。最後の階層ｎ１でオブジェクトでないと判断されない矩形ブロックBR1はオブジェクト候補領域と判断する。
【００７１】
オブジェクト特徴量演算部２３ａは、例えば、最初に階層１１において評価値F（ｘ）を計算するための輝度特徴量ｈｔ（ｘ）と重み係数αｔを用いて輝度評価値ｆ（ｘ）を演算する。ついで、輝度特徴量ｈｔ（ｘ）を求めるために用いた画素が有する視差値から視差平均値ｄiと標準偏差σｄiとを求める。
【００７２】
そして、重み係数を用いて評価関数F(ｘ)を作成する。
例えば、階層１１では大まかに車らしい特徴があるか否かを判断するために、図７（ａ）ないし図７（ｄ）に示すパターンを用いて、輝度評価値ｆ（ｘ）を計算する。ついで、輝度特徴量ｈｔ（ｘ）を求めるために用いた画素が有する視差値から視差平均値ｄiと標準偏差σｄiとを求める。そして、重み係数を用いて評価関数F(ｘ)を作成する。この評価関数F（ｘ）により求められた評価値と階層１１の閾値とを比較する。
【００７３】
図７（ａ）に示す分割パターンを用いた場合、図５（ａ）に示すオブジェクトS’に対する輝度評価値ｆ（ｘ）はｆ（ｘ）＝０となる。ついで、視差特徴量を用いて評価関数F（ｘ）を作成するが、評価関数F（ｘ）による評価値が閾値よりも小さいため、階層１１においては、図７（ａ）に示す分割パターンを用いた場合、オブジェクトS’は非オブジェクトブロックと判断されて、その処理が中止される。
【００７４】
ついで、図７（ｂ）に示す分割パターンを用いた処理に移行する。この場合、図５（ａ）に示すオブジェクトS’に対する輝度評価値ｆ（ｘ）は閾値よりも大きな値となる。ついで、視差特徴量を用いて評価関数F（ｘ）を作成する。評価関数F（ｘ）が閾値よりも大きい場合、階層２１に移行する。
【００７５】
階層２１では、更に細かな分割パターンが準備されている。その個数は、階層１１で準備されている分割パターンの個数よりも多い。これらの分割パターンを用いて、図５（ａ）に示すオブジェクトS’に対する評価値F（ｘ）を作成する。この評価値F（ｘ）が閾値を超えた場合、次の階層３１に移行する。このような処理を繰り返し、最後の階層ｎ１でオブジェクトでないと判断されない矩形ブロックBR2はオブジェクトと判断する。このようにして決定されたオブジェクトの一例が図１０に示されている。
【００７６】
次に、このオブジェクト認識装置２の作用の概略を図１１に示すフローチャートを参照しつつ説明する。
まず、CPU７は、ステレオカメラにより得られたステレオ画像信号が逐次入力されるステレオ画像入力ステップを実行する（S.1）。
【００７７】
ついで、CPU7は、ステレオ画像入力ステップにおいて得られたステレオ画像の少なくとも一方の画像を輝度画像としてフレーム毎に逐次記憶保持して輝度画像フレームを構築する輝度画像構築ステップを実行する（S.2）。
【００７８】
ついで、CPU7は、ステレオ画像入力ステップにおいて輝度画像フレームの出力に同期して出力されたステレオ画像を用いて視差を計算して視差画像フレームを構築する視差画像構築ステップ（S.３）を実行する。
【００７９】
次に、CPU７は輝度画像構築ステップ（S.２）により得られた輝度画像フレームと視差画像構築ステップ（S.3）により得られた視差画像フレームとを用いてオブジェクト認識ステップを実行する（S.4）。このオブジェクト認識ステップ（S.4）は、視差画像フレームから輝度特徴量を演算すると共に、輝度特徴量を得るために用いた画素の視差値から視差特徴量を演算するオブジェクト特徴量演算ステップ（S.41）と、オブジェクト認識辞書メモリ部２３ｃから学習した重み係数を入力する入力ステップ（S.41）と、輝度特徴量と視差特徴量と重み係数とによりオブジェクトを決定するオブジェクト決定処理（S.42）とからなる。
【００８０】
CPU７は、そのオブジェクト決定処理（S.42）によりオブジェクトが決定された場合、後述する処理、例えば、オブジェクトの追尾処理を行うためにオブジェクト認識結果を出力する（S.5）。
このオブジェクト認識処理装置２は、例えば、認識したオブジェクトに対する衝突を回避するために移動体としての車両に搭載されている操舵装置等の機器、移動体としての車両に搭載されている警報装置等の機器の制御を行う移動体制御システムの一部として用いられる。
【符号の説明】
【００８１】
２０…ステレオ画像入力部
２１…輝度画像構築部
２２…視差画像構築部
２３…オブジェクト認識部
２３ａ…オブジェクト特徴量演算部
２３ｂ…オブジェクト決定処理部
【先行技術文献】
【特許文献】
【００８２】
【特許文献１】特開２００８−１４６５４９号公報
【特許文献２】特開２０１２−２２６６８９号公報
【図１】
2015026310.tif 000008
【図２】
2015026310.tif 000009
【図３】
2015026310.tif 000010
【図４】
2015026310.tif 000011
【図５】
2015026310.tif 000012
【図６】
2015026310.tif 000013
【図７】
2015026310.tif 000014
【図８】
2015026310.tif 000015
【図９】
2015026310.tif 000016
【図１０】
2015026310.tif 000017
【図１１】
2015026310.tif 000018