(57)【要約】  本発明に係る対象物識別装置（１０）は、原画像（Ｉｍ）及び積算対象画像（８１−８８）と共通するサイズの画像領域（１００）を有するインテグラルイメージ（１０１−１０８）を生成するデータ生成部（４２）と、インテグラルイメージ（１０１−１０８）を構成する複数の画素（１２０）の中から、少なくとも一方向に沿って少なくとも１つおきに画素（１２２）をそれぞれ抽出した圧縮データ（１３１−１３８、１５１−１５８）を得るデータ取得部（４６）を備える。
2014041864.tif 000002
【特許請求の範囲】
【請求項１】
原画像（Ｉｍ）を構成する各画素（７４）における特徴量としての積算対象画像（８１−８８）に関し、前記積算対象画像（８１−８８）のいずれかの角位置を起点（１１０）として画素値を順次積算することで、前記原画像（Ｉｍ）及び前記積算対象画像（８１−８８）と共通するサイズの画像領域（１００）を有するインテグラルイメージ（１０１−１０８）を生成するデータ生成部（４２）と、
前記データ生成部（４２）により生成された前記インテグラルイメージ（１０１−１０８）を構成する複数の画素（１２０）の中から、少なくとも一方向に沿って少なくとも１つおきに画素（１２２）をそれぞれ抽出した圧縮データ（１３１−１３８、１５１−１５８）を取得するデータ取得部（４６）と、
前記原画像（Ｉｍ）が表す原画像領域（６０）の中から識別対象領域（７０）を決定する識別対象領域決定部（４８）と、
前記データ取得部（４６）により取得された前記圧縮データ（１３１−１３８、１５１−１５８）を用いて、前記識別対象領域決定部（４８）により決定された前記識別対象領域（７０）での前記積算対象画像（８１−８８）の画素値の総和を画像特徴量として算出し、前記原画像（Ｉｍ）の前記識別対象領域（７０）内に対象物（６６）が存在するか否かを前記画像特徴量に基づいて識別する対象物識別部（５０）と
を備えることを特徴とする対象物識別装置（１０）。
【請求項２】
請求項１記載の装置（１０）において、
前記識別対象領域決定部（４８）は、前記圧縮データ（１３１−１３８、１５１−１５８）として抽出された画素群の中からそれぞれ選択した、少なくとも４つの画素（７６）を頂点とする前記識別対象領域（７０）を決定することを特徴とする対象物識別装置（１０）。
【請求項３】
請求項１又は２に記載の装置（１０）において、
前記データ取得部（４６）は、前記インテグラルイメージ（１０１−１０８）の画素単位のデータ量を少なくとも１ビット削減して前記圧縮データ（１５１−１５８）を取得することを特徴とする対象物識別装置（１０）。
【請求項４】
請求項１〜３のいずれか１項に記載の装置（１０）において、
前記識別対象領域（７０）の位置を走査方向に沿ってスキャン間隔だけ遂次変更させながら、前記識別対象領域決定部（４８）による決定及び前記対象物識別部（５０）による識別を順次実行することで、前記原画像（Ｉｍ）の中に前記対象物（６６）が存在するか否かを識別する場合、
前記識別対象領域決定部（４８）は、前記原画像領域（６０）内の位置に応じて前記スキャン間隔を異ならせて前記識別対象領域（７０）を決定する
ことを特徴とする対象物識別装置（１０）。
【請求項５】
請求項４記載の装置（１０）において、
車両（１２）に搭載され、前記車両（１２）の走行中に撮像することで前記車両（１２）の周辺における撮像画像を取得する撮像部（１４）をさらに備え、
前記撮像部（１４）により前記原画像（Ｉｍ）として取得された前記撮像画像に関し、前記原画像領域（６０）内の下部の位置における前記スキャン間隔を、前記原画像領域（６０）内の上部の位置における前記スキャン間隔よりも大きくする
ことを特徴とする対象物識別装置（１０）。
【請求項６】
請求項１〜４のいずれか１項に記載の装置（１０）において、
前記画像特徴量はヒストグラムであり、
前記積算対象画像（８１−８８）は、前記原画像（Ｉｍ）の各画素（７４）における前記ヒストグラムの各区分の属否を示す２値の投票データである
ことを特徴とする対象物識別装置（１０）。
【請求項７】
請求項６記載の装置（１０）において、
車両（１２）に搭載され、前記車両（１２）の走行中に撮像することで前記原画像（Ｉｍ）としての撮像画像を取得する撮像部（１４）をさらに備えることを特徴とする対象物識別装置（１０）。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力された画像からインテグラルイメージを生成し、該インテグラルイメージを用いて画像中に特定の対象物が存在するか否かを識別する対象物識別装置に関する。
【背景技術】
【０００２】
近時、入力された画像中に特定の対象物が存在するか否かを識別する画像処理を施す際に、インテグラルイメージを用いて演算量を削減する画像処理技術が種々提案されている。ここで、インテグラルイメージは、画像領域の中から抽出した関心領域内の画素値の総和を算出するための中間データに相当する。【０００３】
特許第４５８２０７９号公報では、１つの画像領域を複数の積算領域に分割した上で、前記積算領域に応じたインテグラルイメージをそれぞれ作成する装置及び方法が提案されている。これにより、インテグラルイメージの画素値の最大値を抑制可能であり、１画素あたりのデータ量を低減できる旨が記載されている。
【発明の概要】
【０００４】
ところが、上記の特許第４５８２０７９号公報で提案された方法等によっても、積算領域の数の対数オーダーのビット数だけデータ量を削減できるにすぎない。具体的には、同文献の記載（段落［００６６］参照）によれば、１５ビットから１ビットを削減することで約７％の削減効果しか得られなかった。
【０００５】
本発明は上記した問題を解決するためになされたもので、インテグラルイメージのデータ量を大幅に削減しつつも、対象物の識別精度を維持可能な対象物識別装置を提供することを目的とする。
【０００６】
本発明に係る対象物識別装置は、原画像を構成する各画素における特徴量としての積算対象画像に関し、前記積算対象画像のいずれかの角位置を起点として画素値を順次積算することで、前記原画像及び前記積算対象画像と共通するサイズの画像領域を有するインテグラルイメージを生成するデータ生成部と、前記データ生成部により生成された前記インテグラルイメージを構成する複数の画素の中から、少なくとも一方向に沿って少なくとも１つおきに画素をそれぞれ抽出した圧縮データを取得するデータ取得部と、前記原画像が表す原画像領域の中から識別対象領域を決定する識別対象領域決定部と、前記データ取得部により取得された前記圧縮データを用いて、前記識別対象領域決定部により決定された前記識別対象領域での前記積算対象画像の画素値の総和を画像特徴量として算出し、前記原画像の前記識別対象領域内に対象物が存在するか否かを前記画像特徴量に基づいて識別する対象物識別部とを備える。
【０００７】
このように、原画像及び積算対象画像と共通するサイズの画像領域を有するインテグラルイメージを生成するデータ生成部と、前記インテグラルイメージを構成する複数の画素の中から、少なくとも一方向に沿って少なくとも１つおきに画素をそれぞれ抽出した圧縮データを取得するデータ取得部を設けたので、抽出された各画素の位置における積算対象画像の元の情報がそのまま保存された、インテグラルイメージの圧縮データが得られる。この保存された画像情報を適切に利用することで、インテグラルイメージのデータ量を大幅に削減しつつも、対象物の識別精度を維持できる。
【０００８】
また、前記識別対象領域決定部は、前記圧縮データとして抽出された画素群の中からそれぞれ選択した、少なくとも４つの画素を頂点とする前記識別対象領域を決定することが好ましい。これにより、圧縮データを用いた場合であっても、積算対象画像の画素値の総和を正確に算出することができる。
【０００９】
さらに、前記データ取得部は、前記インテグラルイメージの画素単位のデータ量を少なくとも１ビット削減して前記圧縮データを取得することが好ましい。これにより、インテグラルイメージのデータ量をさらに削減できる。
【００１０】
さらに、前記識別対象領域の位置を走査方向に沿ってスキャン間隔だけ遂次変更させながら、前記識別対象領域決定部による決定及び前記対象物識別部による識別を順次実行することで、前記原画像の中に前記対象物が存在するか否かを識別する場合、前記識別対象領域決定部は、前記原画像領域内の位置に応じて前記スキャン間隔を異ならせて前記識別対象領域を決定することが好ましい。これにより、原画像の画像領域全体における対象物の識別精度の維持及び処理演算量の低減を両立できる。
【００１１】
さらに、車両に搭載され、前記車両の走行中に撮像することで前記車両の周辺における撮像画像を取得する撮像部をさらに備え、前記撮像部により前記原画像として取得された前記撮像画像に関し、前記原画像領域内の下部の位置における前記スキャン間隔を、前記原画像領域内の上部の位置における前記スキャン間隔よりも大きくすることが好ましい。特に、車両の遠方に存在する対象物ほど画像領域の上方に小さく映し出され、車両の近辺に存在する対象物ほど画像領域の下方に大きく映し出される傾向があるため、処理演算量の低減を一層図ることができる。
【００１２】
さらに、前記画像特徴量はヒストグラムであり、前記積算対象画像は、前記原画像の各画素における前記ヒストグラムの各区分の属否を示す２値の投票データであることが好ましい。画像特徴量がヒストグラムである場合、取り扱うインテグラルイメージの数が多くなる傾向があるので、圧縮処理によるデータ量の削減効果が特に顕著になる。
【００１３】
さらに、車両に搭載され、前記車両の走行中に撮像することで前記原画像としての撮像画像を取得する撮像部をさらに備えることが好ましい。遠距離且つ広角での検知を実現するために、通常、画像の解像度が高い撮像部が車両に搭載される。こうして得た高い解像度の撮像画像に関して、インテグラルイメージの画素数が多くなり、且つ、データ列の有効ビット数が大きくなる傾向があるので、圧縮処理によるデータ量の削減効果が特に顕著になる。
【００１４】
本発明に係る対象物識別装置によれば、原画像及び積算対象画像と共通するサイズの画像領域を有するインテグラルイメージを生成するデータ生成部と、前記インテグラルイメージを構成する複数の画素の中から、少なくとも一方向に沿って少なくとも１つおきに画素をそれぞれ抽出した圧縮データを取得するデータ取得部を設けたので、抽出された各画素の位置における積算対象画像の元の情報がそのまま保存された、インテグラルイメージの圧縮データが得られる。この保存された画像情報を適切に利用することで、インテグラルイメージのデータ量を大幅に削減しつつも、対象物の識別精度を維持できる。
【図面の簡単な説明】
【００１５】
【図１】この実施形態に係る対象物識別装置の構成を示すブロック図である。
【図２】図１に示す対象物識別装置が搭載された車両の概略斜視図である。
【図３】図１に示すＥＣＵの動作説明に供されるフローチャートである。
【図４】図４Ａ及び図４Ｂは、カメラを用いた撮像により取得された撮像画像の例示図である。
【図５】図５Ａ−図５Ｃは、ＨＯＧ（Histograms of Oriented Gradient）特徴量の算出方法に関する概略説明図である。
【図６】積算対象画像の一例を示す概略説明図である。
【図７】インテグラルイメージを用いて、積算対象画像の任意領域における積算画素値を算出する方法を示す概略説明図である。
【図８】図８Ａは、間引き処理の実行前におけるインテグラルイメージの模式図である。図８Ｂは、間引き処理の実行後におけるインテグラルイメージの模式図である。
【図９】図９Ａ−図９Ｃは、図１の積算対象画像作成部に入力する撮像画像を表現した模式図である。
【図１０】ビット削減処理の方法を示す概略説明図である。
【図１１】識別対象領域の決定方法を示す概略説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明に係る対象物識別装置について好適な実施の形態を挙げ、添付の図面を参照しながら説明する。
【００１７】
図１は、この実施形態に係る対象物識別装置１０の構成を示すブロック図である。図２は、図１に示す対象物識別装置１０が搭載された車両１２の概略斜視図である。
【００１８】
図１及び図２に示すように、対象物識別装置１０は、複数のカラーチャンネルからなるカラー画像｛以下、撮像画像Ｉｍ（原画像）という｝を撮像するカラーカメラ（以下、単に「カメラ１４」という）と、車両１２の車速Ｖｓを検出する車速センサ１６と、車両１２のヨーレートＹｒを検出するヨーレートセンサ１８と、運転者によるブレーキペダルの操作量Ｂｒを検出するブレーキセンサ２０と、この対象物識別装置１０を制御する電子制御装置（以下、「ＥＣＵ２２」という）と、音声で警報等を発するためのスピーカ２４と、カメラ１４から出力された撮像画像等を表示する表示装置２６と、を備える。
【００１９】
カメラ１４は、主に可視光領域の波長を有する光を利用するカメラであり、車両１２の周辺を撮像する撮像手段として機能する。カメラ１４は、被写体の表面を反射する光量が多いほど、その出力信号レベルが高くなり、画像の輝度（例えば、ＲＧＢ値）が増加する特性を有する。図２に示すように、カメラ１４は、車両１２の前部バンパー部の略中心部に固定的に配置（搭載）されている。
【００２０】
なお、車両１２の周囲を撮像する撮像手段は、上記した構成例（いわゆる単眼カメラ）に限られることなく、例えば複眼カメラ（ステレオカメラ）であってもよい。また、カラーカメラに代替してモノクロカメラや赤外線カメラを用いてもよく、或いは両方を併せ備えてもよい。さらに、単眼カメラの場合、別の測距手段（レーダ装置）を併せて備えてもよい。
【００２１】
図１に戻って、スピーカ２４は、ＥＣＵ２２からの指令に応じて、警報音等の出力を行う。スピーカ２４は、車両１２の図示しないダッシュボードに設けられる。或いは、スピーカ２４に代替して、他の装置（例えば、オーディオ装置又はナビゲーション装置）が備える音声出力機能を用いてもよい。
【００２２】
表示装置２６（図１及び図２参照）は、車両１２のフロントウインドシールド上、運転者の前方視界を妨げない位置に配されたＨＵＤ（ヘッドアップディスプレイ）である。表示装置２６として、ＨＵＤに限らず、車両１２に搭載されたナビゲーションシステムの地図等を表示するディスプレイや、メータユニット内等に設けられた燃費等を表示するディスプレイ（ＭＩＤ；マルチインフォメーションディスプレイ）を利用することができる。
【００２３】
ＥＣＵ２２は、入出力部２８、演算部３０、表示制御部３２、及び記憶部３４を基本的に備える。
【００２４】
カメラ１４、車速センサ１６、ヨーレートセンサ１８及びブレーキセンサ２０からの各信号は、入出力部２８を介してＥＣＵ２２側に入力される。また、ＥＣＵ２２からの各信号は、入出力部２８を介してスピーカ２４及び表示装置２６側に出力される。入出力部２８は、入力されたアナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路を備える。
【００２５】
演算部３０は、カメラ１４、車速センサ１６、ヨーレートセンサ１８及びブレーキセンサ２０からの各信号に基づく演算を実行し、演算結果に基づきスピーカ２４及び表示装置２６に対する信号を生成する。演算部３０は、積算対象画像作成部４０、データ生成部４２（データ生成手段）、データ圧縮処理部４４、データ取得部４６（データ取得手段）、識別対象領域決定部４８（識別対象領域決定手段）、対象物識別部５０（対象物識別手段）、及び対象物検知部５２として機能する。
【００２６】
演算部３０における各部の機能は、記憶部３４に記憶されているプログラムを読み出して実行することにより実現される。或いは、前記プログラムは、図示しない無線通信装置（携帯電話機、スマートフォン等）を介して外部から供給されてもよい。
【００２７】
表示制御部３２は、表示装置２６を駆動制御する制御回路である。表示制御部３２が、入出力部２８を介して、表示制御に供される信号を表示装置２６に出力することで、表示装置２６が駆動する。これにより、表示装置２６は各種画像（撮像画像Ｉｍ、マーク等）を表示することができる。
【００２８】
記憶部３４は、デジタル信号に変換された撮像信号、各種演算処理に供される一時データ等を記憶するＲＡＭ（Random Access Memory）、及び実行プログラム、テーブル又はマップ等を記憶するＲＯＭ（Read Only Memory）等で構成される。
【００２９】
この実施形態に係る対象物識別装置１０は、基本的には、以上のように構成される。この対象物識別装置１０の動作の概要について以下説明する。
【００３０】
ＥＣＵ２２は、所定のフレームクロック間隔・周期（例えば、１秒あたり３０フレーム）毎に、カメラ１４から出力されるアナログの映像信号をデジタル信号に変換し、記憶部３４に一時的に取り込む。そして、ＥＣＵ２２は、記憶部３４から読み出した撮像画像Ｉｍ（車両１２の前方画像）に対して各種演算処理を施す。
【００３１】
ＥＣＵ２２（特に演算部３０）は、撮像画像Ｉｍに対する処理結果、必要に応じて車両１２の走行状態を示す各信号（車速Ｖｓ、ヨーレートＹｒ及び操作量Ｂｒ）を総合的に考慮し、車両１２の前方に存在する歩行者、動物等を、監視対象となる物体（以下、「監視対象物」或いは単に「対象物」という。）として検出する。
【００３２】
車両１２が監視対象物に接触する可能性が高いと演算部３０により判断された場合、ＥＣＵ２２は、運転者の注意を喚起するために対象物識別装置１０の各出力部を制御する。ＥＣＵ２２は、例えば、スピーカ２４を介して警報音（例えば、ピッ、ピッ、…と鳴る音）を出力させるとともに、表示装置２６上に可視化された撮像画像Ｉｍのうちその監視対象物の部位を強調表示させる。
【００３３】
なお、この実施形態における対象物識別装置１０は、移動体としての車両１２に搭載されているが、この形態及び用途に限られない。例えば、建設物を含む静止体に固定されたカメラ１４から撮像画像を逐次取得する構成であってもよい。
【００３４】
続いて、対象物識別装置１０の詳細な動作について、図３のフローチャートを参照しながら説明する。なお、本処理の流れは、車両１２が走行中である場合、撮像のフレーム毎に実行される。
【００３５】
ステップＳ１において、ＥＣＵ２２は、フレーム毎に、カメラ１４により撮像された車両１２の前方（所定画角範囲）の出力信号である撮像画像Ｉｍを取得・入力する。
【００３６】
図４Ａに示すように、任意の時点における撮像により、１つのフレームの撮像画像Ｉｍが得られたとする。撮像画像Ｉｍが表す原画像領域（以下、画像領域６０という）は横方向に長尺な矩形状（例えば、横方向が１２００画素、縦方向が６００画素）である。この画像領域６０内には、車両１２が走行する道路領域（以下、単に「道路６２」という）、道路６２に沿って略等間隔に設置された複数の電柱領域（以下、単に「電柱６４」という）、道路６２上の歩行者領域（以下、単に「歩行者６６」という）がそれぞれ存在する。
【００３７】
図４Ｂに示すように、実在する路面（道路６２）及び人体（歩行者６６）の接触点に対応する、撮像画像Ｉｍ上の位置を基準位置６８とする。そして、基準位置６８を目印として予め定めた規則に従って、矩形状の識別対象領域７０（破線で図示する枠内の領域）が設定される。ここで、識別対象領域７０は、歩行者６６を含む対象物の存否又はその種類を識別しようとする関心領域に相当する。
【００３８】
ステップＳ２において、積算対象画像作成部４０は、ステップＳ１で入力された撮像画像Ｉｍから積算対象画像８１−８８を作成する。積算対象画像８１等を作成する目的を明確にするため、先ず、画像の局所領域での輝度の強度及び勾配の特徴を示すＨＯＧ（Histograms of Oriented Gradient；勾配方向ヒストグラム）特徴量について説明する。
【００３９】
図５Ａに示すように、識別対象領域７０を格子状に分割することで、複数のブロック７２がそれぞれ定義される。本図例において、矩形状の識別対象領域７０は、行数が８つ、列数が６つとして、二次元的に均等分割されている。識別対象領域７０の中から、ヒストグラムの作成単位であるブロック７２が１つ選択されたとする。そして、ブロック７２は、例えば、縦に６画素、横に６画素、合計３６個の画素７４で構成されたとする。
【００４０】
図５Ｂに示すように、ブロック７２を構成する画素７４毎に、輝度の二次元勾配（Ｉｘ，Ｉｙ）が算出される。この場合、輝度勾配強度Ｉ及び輝度勾配角θ（０≦θ＜２π）は、次の（１）式及び（２）式に従って算出される。
Ｉ＝（Ｉｘ２＋Ｉｙ２）１／２      ‥（１）
θ＝ｔａｎ−１（Ｉｙ／Ｉｘ）    ‥（２）
【００４１】
第１行目の各格子内に表記された矢印は、平面的な輝度勾配の方向を図示する。実際には、輝度勾配強度Ｉ及び輝度勾配角θが、すべての画素７４に対して算出されるが、第２行目以降における矢印の図示を省略する。
【００４２】
図５Ｃに示すように、１つのブロック７２につき、輝度勾配角θに対するヒストグラムが作成される。ヒストグラムの横軸は輝度勾配角θであり、ヒストグラムの縦軸は画素数である。本図例では、輝度勾配角θは、第１区分（０≦θ＜π／４）、第２区分（π／４≦θ＜π／２）、‥、及び第８区分（７π／４≦θ＜２π）の８つの区分にそれぞれ分類されている。
【００４３】
そして、ブロック７２毎のヒストグラム（輝度勾配強度Ｉ、輝度勾配角θ）を予め定めた順番、例えば昇順に連結することで、識別対象領域７０内のＨＯＧ特徴量が得られる。画像領域６０内における識別対象領域７０（図４Ｂ参照）の位置を変更する都度に、ＨＯＧ特徴量の各値が変化する。特にヒストグラム等の画像特徴量を算出する場合、画素毎の加算及び条件分岐を伴うので演算量が膨大になる。そこで、繰り返しの演算処理を回避するため、画像特徴量の算出に供される補助的な中間データ（各画素７４における特徴量としての積算対象画像）を予め作成しておくのが便宜である。
【００４４】
図６に示すように、積算対象画像８１−８８が表す各画像領域８０は、撮像画像Ｉｍが表す画像領域６０（図４Ａ及び図４Ｂ参照）と同じ形状、すなわち共通するサイズを有している。以下、画像領域８０に存在する画素９０の位置にそれぞれ対応する、積算対象画像８１−８８上の画素をそれぞれ対応画素９１−９８という。
【００４５】
この実施形態では、画像特徴量としての輝度勾配角θに応じて画素９０毎に属性を決定する。例えば、画素９０における輝度勾配角θがθ＝２π／３であった場合、画素９０は第３区分（π／２≦θ＜３π／４）に属する。この場合、積算対象画像作成部４０は、第３区分に応じた積算対象画像８３のうち、対応画素９３に「１」の画素値を付与する。一方、積算対象画像作成部４０は、残余の積算対象画像８１、８２、８４−８８のうち、対応画素９１、９２、９４−９８に「０」の画素値をそれぞれ付与する。
【００４６】
このように、積算対象画像作成部４０は、画像領域８０内のすべての画素９０に関して、「１」の値を択一的に付与しながら対応画素９１−９８の画素値を順次決定する。換言すれば、積算対象画像８１−８８は、上記したヒストグラムの第１−第８区分の属否を示す２値の投票データの役割を果たす。なお、各区分の属否の判定基準として、輝度勾配角θの値に加え、輝度勾配強度Ｉの値を併せて考慮してもよい。例えば、輝度勾配強度Ｉが所定の閾値（例えば、整数値で４）以上の値である場合にのみ「１」の値を付与することで、カメラノイズ等の影響を低減できる。また、積算対象画像８１−８８は上記した投票データに限られず、画素７４毎の画像特徴量であれば種々の定義を採用してもよく、輝度勾配強度Ｉの値や、撮像画像Ｉｍ（原画像）そのものであってもよい。
【００４７】
ステップＳ３において、データ生成部４２は、ステップＳ２で作成された積算対象画像８１−８８からインテグラルイメージ１０１−１０８をそれぞれ生成する。ここで、「インテグラルイメージ」とは、積算対象画像８１−８８（画像領域８０）のいずれかの角位置を起点として画素値を順次積算して得た画像をいう。以下、上記した規則に従って積算された画素値のことを「積算画素値」と称する。
【００４８】
図７に示すように、各インテグラルイメージ１０１−１０８が表す各画像領域１００は、各積算対象画像８１−８８（図６参照）が表す各画像領域８０と同じ形状、すなわち共通するサイズを有している。各インテグラルイメージ１０１−１０８は、起点を１１０、終点を１１２としてそれぞれ作成されている。例えば、位置１１４（画像領域１００の内点）における積算画素値は、起点１１０及び位置１１４の間を結ぶ線分を対角線とする、矩形状領域における画素値の総和である。
【００４９】
ここで、位置１１４及び位置１１５の間を結ぶ線分を対角線とする、矩形状の演算領域１１６内における画素値の総和を算出する事例を想定する。この場合、位置１１４及び位置１１５での積算画素値の和から、位置１１７及び位置１１８（残余の２つの頂点）での積算画素値の和を減算することで、演算領域１１６内における画素値の総和を求めることができる。この算出方法を採用することにより、画像領域８０内の画素毎に画素値を遂次読み出して加算する方法と比べて、メモリ（記憶部３４）へのアクセス回数が大幅に低減可能である。その結果、画素値を加算する演算処理を高速に行うことができる。
【００５０】
ステップＳ４において、データ圧縮処理部４４は、ステップＳ３で生成された各インテグラルイメージ１０１−１０８に対して、画像の画素数を削減する間引き処理を実行する。ここで、間引き処理とは、画像領域１００（図７参照）の少なくとも一方向に沿って少なくとも１つおきに画素を抽出する処理をいう。この実施形態において、データ圧縮処理部４４は、二次元的に、具体的には、Ｘ方向、及びＸ方向に直交するＹ方向に沿ってそれぞれ間引き処理を実行するが、いずれか一方向（Ｘ方向、或いはＹ方向）のみであってもよい。
【００５１】
図８Ａに示すように、各インテグラルイメージ１０１−１０８は、Ｘ方向に１２００個、Ｙ方向に６００個の、二次元的に配置された複数の画素１２０で構成されている。データ圧縮処理部４４は、例えば、Ｘ方向に沿って２画素おき（３画素毎）に、且つ、Ｙ方向に沿って２画素おき（３画素毎）に抽出する。これにより、画素１２０全体の１／９に相当する抽出画素１２２（ハッチングを付した矩形セル）がそれぞれ抽出されるとともに、画素１２０全体の８／９に相当する間引き画素１２４（塗り潰しがない矩形セル）がそれぞれ除外される。
【００５２】
その結果、図８Ｂに示すように、データ圧縮処理部４４は、Ｘ方向に４００個、Ｙ方向に２００個の抽出画素１２２が二次元的に配置されたインテグラルイメージ｛以下、第１圧縮イメージ１３１−１３８（圧縮データ）という｝を得る。そして、第１圧縮イメージ１３１−１３８は、記憶部３４のうち、積算対象画像８１−８８が記憶されたメモリ領域と同一の又は異なる領域にそれぞれ記憶される。
【００５３】
以下、上記した間引き処理（ステップＳ４）を施すことで得られる作用効果について、図９Ａ−図９Ｃを参照しながら説明する。各図はいずれも、図１の積算対象画像作成部４０に入力する撮像画像Ｉｍを表現した模式図である。
【００５４】
図９Ａは、解像度を変更しない場合の、撮像画像Ｉｍを表現した模式図である。この場合、撮像画像Ｉｍは微細な部位を適切に表現するものの、以降の識別処理にて取り扱うデータ量が膨大になる問題が生じる。
【００５５】
図９Ｂは、解像度を縦横とも１／３倍（画素サイズを３倍）に変更した後の、撮像画像Ｉｍを表現した模式図である。この場合、インテグラルイメージのデータ量を大幅に（約９０％だけ）低減可能である一方、解像度の低下に起因する画像自体の情報量が減少する問題が新たに生じる。具体的には、原画像の低解像度化に伴い、対象物の微細な特徴（輝度勾配強度Ｉ、輝度勾配角θ）が失われている。
【００５６】
図９Ｃは、解像度を変更しない場合の、撮像画像Ｉｍを表現した模式図である。本図から理解されるように、図９Ａと同様に微細な部位が適切に表現されている。このように、インテグラルイメージ１０１−１０８の生成後に間引き処理を実行することで、データ量を大幅に（約９０％だけ）削減しつつも、各積算画素値に対して図９Ａの場合と略同等の微細な情報を残すことができる。これは、インテグラルイメージが画素毎に積算画素値を保持しており、その積算画素値自体は、後の間引き処理による影響を受けないからである。
【００５７】
特に、画像特徴量がヒストグラムであり、且つ、積算対象画像８１−８８は、撮像画像Ｉｍの各画素７４におけるヒストグラムの各区分の属否を示す２値の投票データである場合、取り扱うインテグラルイメージの数が多くなる傾向があるので、圧縮処理によるデータ量の削減効果が特に顕著になる。
【００５８】
また、遠距離且つ広角での検知を実現するために、通常、画像の解像度が高いカメラ１４が車両１２に搭載される。こうして得た高い解像度の撮像画像Ｉｍに関して、インテグラルイメージの画素数が多くなり、且つ、データ列（画素値）の有効ビット数が大きくなる傾向があるので、圧縮処理によるデータ量の削減効果が特に顕著になる。
【００５９】
ステップＳ５において、データ圧縮処理部４４は、ステップＳ４で間引き処理が施された各第１圧縮イメージ１３１−１３８に対して、画素単位のデータ量を少なくとも１ビット削減するビット数削減処理を実行する。
【００６０】
図１０に示すように、データ列１４０は、終点１１２（図７参照）に応じた抽出画素１２２（図８Ａ参照）での積算画素値（３バイト）を２進法で模式的に表記したバイナリデータである。以下、データ列１４０、及び、後述するデータ列１４２、１４４において、最下位ビット（ＬＳＢ）を第１ビットといい、最上位ビット（ＭＳＢ）を第２４ビットという。
【００６１】
この実施形態では、各積算対象画像８１−８８（図６参照）における画素値はいずれも非負値（０又は１）であるため、データ列１４０が示す値は、抽出画素１２２のうちの最大値に相当する。換言すれば、データ列１４０の有効ビット数は１８ビットであり、第１９−第２４ビットの値はすべて０である。なお、図８Ａに例示する画像領域１００の場合、理論的には最大１９．５ビットの値を採り得るが、輝度勾配角θの分布が略一様である場合、最大値は約１７ビット程度である。
【００６２】
図１０に示すように、データ圧縮処理部４４は、データ列１４０に対してビットシフト演算を行うことで、第１８ビットを第２４ビット（ＭＳＢ）に一致させたデータ列１４２を得る。その後、図１０に示すように、データ圧縮処理部４４は、データ列１４２のうち上位１６ビット（２バイト）を残しつつ下位８ビット（１バイト）を切り捨てることで、実質的な有効値である２バイトのデータ列１４４を得る。なお、下位ビットを削除することで、カメラ１４での撮像の際に混入する電気ノイズをデジタル的に除去する効果も得られる。
【００６３】
或いは、データ圧縮処理部４４は、演算部３０及び記憶部３４間のデータ転送のプロトコルに応じて、ビット数の削減量を決定してもよい。例えば、圧縮後のデータ列１４４が、データの転送単位の整数倍になるようにビット数を削減することで、転送させるデータ総量を低減可能である。
【００６４】
この結果、データ圧縮処理部４４は、２バイトの積算画素値からなる抽出画素１２２が二次元的に配置されたインテグラルイメージ｛以下、第２圧縮イメージ１５１−１５８（圧縮データ）という｝を得る。そして、第２圧縮イメージ１５１−１５８は、記憶部３４のうち、第１圧縮イメージ１３１−１３８が記憶されたメモリ領域と同一の又は異なる領域にそれぞれ記憶される。
【００６５】
ステップＳ６において、演算部３０は、撮像画像Ｉｍのラスタスキャンを開始する。ここで、ラスタスキャンとは、基準位置６８（図４Ｂ参照；撮像画像Ｉｍ内の画素）を走査方向に沿って所定量（スキャン間隔）だけ移動させながら、撮像画像Ｉｍの中に対象物が存在するか否かを遂次識別する手法をいう。以下、識別対象領域決定部４８は、現在スキャン中の基準位置６８、及び、基準位置６８から特定される識別対象領域７０（同図参照）の位置・サイズを遂次決定する。最初に、識別対象領域決定部４８は、基準位置６８及び識別対象領域７０の初期設定を行う。
【００６６】
ラスタスキャンの都度、データ取得部４６は、記憶部３４から第２圧縮イメージ１５１−１５８を適時に読み出して取得する。この実施形態では、データ取得部４６は、記憶部３４に予め記憶された第２圧縮イメージ１５１−１５８のうち指定アドレスの積算画素値を直接読み出すだけで足り、別途の処理は不要である。データ取得部４６は、積算対象画像８１−８８を読み出す際に、データ圧縮処理部４４による間引き処理（ステップＳ４参照）及び／又はビット数削減処理（ステップＳ５参照）と同等の処理を行ってもよい。
【００６７】
ステップＳ７において、対象物識別部５０は、決定された識別対象領域７０内に、少なくとも１種類の対象物が存在するか否かを識別する。この識別処理に先立ち、データ取得部４６は、演算に必要な各種データ（例えば、第２圧縮イメージ１５１−１５８）を記憶部３４から読み出して取得する。
【００６８】
データ圧縮処理部４４によりビット数削減処理（ステップＳ５参照）が実行された場合、データ取得部４６は、第２圧縮イメージ１５１−１５８固有のデータ定義を、対象物識別部５０への入力に適したデータ定義に適宜変更する。例えば、削減されたビット数、及びビットシフト量（ビット数及び方向）を用いて元のデータ定義に戻してもよいし、変更せずにそのまま取得してもよい。
【００６９】
対象物識別部５０は、具体的には、ブロック７２に対応する第２圧縮イメージ１５１−１５８の積算画素値を順次取得し、第１−第８区分に属する画素数をそれぞれ算出して得た各値を連結することで、当該ブロック７２に応じたヒストグラムを作成する。そして、対象物識別部５０は、ブロック７２毎のヒストグラムを順次連結することで、識別対象領域７０内の画像特徴量の一種であるＨＯＧ特徴量を得る。この画像特徴量は、その種類又は算出方法を問わず、ＨＯＧ特徴量に代表されるエッジ特徴量の他、Ｈａａｒ−Ｌｉｋｅ特徴量に代表される輝度特徴量であってもよい。
【００７０】
対象物識別部５０は、識別対象領域７０における画像特徴量（例えば、ＨＯＧ特徴量）を入力とし、対象物の存否情報を出力とする、機械学習を用いて生成された識別器である。機械学習の手法として、教師あり学習、教師なし学習、強化学習のうちのいずれのアルゴリズムを採用してもよい。学習アーキテクチャの例として、ＡｄａＢｏｏｓｔを含むブースティング法、ＳＶＭ（Support Vector machine）、ニューラルネットワーク、ＥＭ（Expectation Maximization）アルゴリズム等が挙げられる。
【００７１】
なお、識別可能な対象物の種類は、人体（図４Ａの歩行者６６）の他、各種動物（具体的には、鹿、馬、羊、犬、猫等の哺乳動物、鳥類等）、人工構造物（具体的には、車両、標識、電柱、ガードレール、壁等）等であってもよい。
【００７２】
ステップＳ８において、識別対象領域決定部４８は、指定画素に対するスキャンがすべて完了したか否かを判別する。未完了であると判別された場合（ステップＳ８：ＮＯ）、次のステップ（Ｓ９）に進む。
【００７３】
ステップＳ９において、識別対象領域決定部４８は、識別対象領域７０の位置又はサイズを変更する。具体的には、識別対象領域決定部４８は、スキャン対象であった指定画素（例えば、基準位置６８）を所定方向（例えば、右方向）に所定量（例えば、３画素分）だけ移動する。
【００７４】
図１１に示すように、撮像画像Ｉｍ（画像領域６０）は、積算対象画像８１やインテグラルイメージ１０１等と同様に、Ｘ方向に１２００個、Ｙ方向に６００個の、二次元的に配置された複数の画素７４で構成されている。
【００７５】
インテグラルイメージ１０１−１０８（図８Ａ参照）との関係を考慮すると、複数の画素７４は、積算画素値を参照できる参照可能画素７６（ハッチングを付した矩形セル）と、積算画素値を参照できない参照不可画素７８（塗り潰しがない矩形セル）とに大別される。そこで、識別対象領域決定部４８は、第２圧縮イメージ１５１−１５８として抽出された画素群の中からそれぞれ選択した、少なくとも４つの参照可能画素７６を頂点とする識別対象領域７０（例えば、矩形状、直方体状）を決定する。これにより、画素１２０（図８Ａ参照）の数が間引かれた第２圧縮イメージ１５１−１５８であっても、積算対象画像８１−８８の画素値の総和を正確に算出することができる。
【００７６】
ところで、車両１２の遠方に存在する対象物ほど画像領域６０の上方に小さく映し出され、車両１２の近辺に存在する対象物ほど画像領域６０の下方に大きく映し出される傾向がある。この性質を考慮して処理演算量の低減を一層図るべく、識別対象領域決定部４８は、画像領域６０内の位置に応じてスキャン間隔（スキャンの実行回数）を変更する。本図例のように、画像領域６０の上部のスキャン間隔を相対的に小さく（縦横とも３画素毎に）設定し、画像領域６０の下部のスキャン間隔を相対的に大きく（縦横とも６画素毎に）設定してもよい。
【００７７】
このように、識別対象領域決定部４８による決定及び対象物識別部５０による識別を順次実行する場合、識別対象領域決定部４８は、画像領域６０内の位置（すなわち、撮像画像Iｍの特徴）に応じてスキャン間隔を異ならせることで、画像領域６０全体における対象物の識別精度の維持及び処理演算量の低減を両立できる。
【００７８】
その後、ステップＳ７に戻って、演算部３０は、指定画素のスキャンがすべて完了するまでステップＳ７−Ｓ９を順次繰り返す。完了したと判別された場合（ステップＳ８：ＹＥＳ）、演算部３０は、撮像画像Ｉｍのラスタスキャンを終了する（ステップＳ１０）。
【００７９】
ステップＳ１１において、対象物検知部５２は、撮像画像Ｉｍ内に存在する対象物を検知する。フレーム単体での識別結果を用いてもよいし、複数のフレームでの識別結果を併せて考慮することで、同一の対象物についての動きベクトルを算出できる。
【００８０】
ステップＳ１２において、ＥＣＵ２２は、次回の演算処理に必要なデータを記憶部３４に記憶させる。例えば、ステップＳ７で得られた対象物（図４Ａの歩行者６６）の属性、基準位置６８等が挙げられる。
【００８１】
この動作を遂次実行することで、対象物識別装置１０は、所定の時間間隔で、車両１２の前方に存在する対象物を監視することができる。
【００８２】
以上のように、本発明に係る対象物識別装置１０は、撮像画像Ｉｍ及び積算対象画像８１−８８と共通するサイズの画像領域１００を有するインテグラルイメージ１０１−１０８を生成するデータ生成部４２と、インテグラルイメージ１０１−１０８を構成する複数の画素１２０の中から、少なくとも一方向に沿って少なくとも１つおきに画素（抽出画素１２２）をそれぞれ抽出した圧縮データ（第１圧縮データ１３１−１３８、第２圧縮データ１５１−１５８）を得るデータ取得部４６と、画像領域６０の中から識別対象領域７０を決定する識別対象領域決定部４８と、上記圧縮データを用いて、識別対象領域７０での積算対象画像８１−８８の画素値の総和を画像特徴量として算出し、撮像画像Ｉｍの識別対象領域７０内に対象物（例えば、歩行者６６）が存在するか否かを上記画像特徴量に基づいて識別する対象物識別部５０とを備える。
【００８３】
このように構成しているので、各抽出画素１２２の位置における積算対象画像８１−８８の元の情報がそのまま保存された第１圧縮イメージ１３１−１３８が得られる。この保存された画像情報を適切に利用することで、インテグラルイメージ１０１−１０８のデータ量を大幅に削減しつつも、対象物の識別精度を維持できる。
【００８４】
なお、この発明は、上述した実施の形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
【００８５】
例えば、この実施形態では、単眼カメラ（カメラ１４）により得られた撮像画像Ｉｍに対して上記した画像処理を実行しているが、複眼カメラ（ステレオカメラ）でも同様の作用効果が得られることは言うまでもない。また、原画像が表す画像領域は平面領域（二次元）のみならず、立体領域（三次元）や、時間の概念を含めた画像領域であってもよい。
【図１】
2014041864.tif 000003
【図２】
2014041864.tif 000004
【図３】
2014041864.tif 000005
【図４】
2014041864.tif 000006
【図５】
2014041864.tif 000007
【図６】
2014041864.tif 000008
【図７】
2014041864.tif 000009
【図８】
2014041864.tif 000010
【図９】
2014041864.tif 000011
【図１０】
2014041864.tif 000012
【図１１】
2014041864.tif 000013
【国際調査報告】
2014041864.tif 000014
2014041864.tif 000015