(57)【要約】【課題】識別対象画像が、識別対象物を撮像した画像であるか否かを高精度に識別することができるようにする。【解決手段】特徴ベクトル算出部２４によって、識別対象画像を分割した複数の親領域の各々を更に分割した複数の子領域の各々について、勾配ヒストグラムを表わす特徴ベクトルを算出する。特徴相関ベクトル算出部２６によって、算出された各子領域に対する特徴ベクトル間の同じ又は異なる要素の組み合わせから各々演算される相関値と、特徴ベクトル内の同じ又は異なる要素の組み合わせから各々演算される相関値とを表わす特徴相関ベクトルを、各親領域について算出する。識別部３０によって、各親領域について算出された特徴相関ベクトルに基づいて、識別対象画像が識別対象物を表わす画像であるか否かを識別する。【選択図】図１
2011053953.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像を分割した複数の分割領域の各々について、異なる特徴量の各々に対する物理量を要素とする特徴ベクトルを算出する特徴ベクトル算出手段と、
前記特徴ベクトル算出手段によって算出された各分割領域に対する特徴ベクトル間の同じ又は異なる要素の組み合わせから各々演算される演算値と、前記特徴ベクトル内の異なる要素の組み合わせから各々演算される演算値とを表わす特徴相関ベクトルを算出する特徴相関ベクトル算出手段と、
前記特徴相関ベクトル算出手段によって算出された前記特徴相関ベクトルに基づいて、前記処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は前記処理対象の画像から前記処理対象物を表わす領域を検出する画像処理手段と、
を含む画像処理装置。
【請求項２】
前記特徴ベクトル算出手段は、前記処理対象の画像を分割した複数の親領域の各々を分割した複数の子領域の各々について、前記特徴ベクトルを算出し、
前記特徴相関ベクトル算出手段は、前記親領域の各々について、前記特徴ベクトル算出手段によって該親領域について算出された各子領域に対する特徴ベクトル間の同じ又は異なる要素の組み合わせから各々演算される演算値と、前記子領域の前記特徴ベクトル内の異なる要素の組み合わせから各々演算される演算値とを表わす特徴相関ベクトルを各々算出し、
前記画像処理手段は、前記特徴相関ベクトル算出手段によって前記親領域の各々について算出された特徴相関ベクトルに基づいて、前記処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は前記処理対象の画像から前記処理対象物を表わす領域を検出する請求項１記載の画像処理装置。
【請求項３】
前記特徴ベクトル算出手段は、前記分割領域の各画素について特徴量を抽出し、前記分割領域について、異なる特徴量の各々に対する頻度を要素とする特徴ヒストグラムを前記特徴ベクトルとして算出する請求項１又は２記載の画像処理装置。
【請求項４】
前記特徴ベクトル算出手段は、前記分割領域の各画素について勾配方向及び勾配強度を算出し、前記分割領域について、各画素の勾配方向及び勾配強度に基づいて、異なる勾配方向の各々に対して勾配強度を投票した値を要素とする勾配方向ヒストグラムを前記特徴ベクトルとして算出する請求項３記載の画像処理装置。
【請求項５】
前記特徴相関ベクトル算出手段は、前記演算値として、前記要素の組み合わせの最小値又は調和平均値を算出する請求項１〜請求項４の何れか１項記載の画像処理装置。
【請求項６】
コンピュータを、
処理対象の画像を分割した複数の分割領域の各々について、異なる特徴量の各々に対する物理量を要素とする特徴ベクトルを算出する特徴ベクトル算出手段、
前記特徴ベクトル算出手段によって算出された各分割領域に対する特徴ベクトル間の同じ又は異なる要素の組み合わせから各々演算される演算値と、前記特徴ベクトル内の異なる要素の組み合わせから各々演算される演算値とを表わす特徴相関ベクトルを算出する特徴相関ベクトル算出手段、及び
前記特徴相関ベクトル算出手段によって算出された前記特徴相関ベクトルに基づいて、前記処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は前記処理対象の画像から前記処理対象物を表わす領域を検出する画像処理手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに係り、特に、処理対象画像が処理対象物を撮像した画像であるか否かを識別するか、又は処理対象物を表わす領域を検出する画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、勾配方向ヒストグラム特徴量（ＨＯＧ：Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）が物体認識分野で広く用いられている（例えば、特許文献１）。ＨＯＧ特徴量は、画像を複数の領域に分割し、各領域における輝度の勾配方向をヒストグラム化した特徴量である。ＨＯＧ特徴量は局所領域ごとに抽出されるため、照明の変動による影響が少なく、また、勾配方向ヒストグラムは、局所的な小さい幾何学的変化に頑健である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１５６６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のＨＯＧ特徴量は、局所的な物体形状を大まかに表現することしかできず、物体形状に含まれる高次特徴、例えば、隣接する輪郭の共起性など、を表すことが難しいため、高精度に画像を識別することができない、という問題がある。
【０００５】
本発明は、上記の問題点を解決するためになされたもので、処理対象画像が、処理対象物を表わす画像であるか否かを高精度に識別し、又は処理対象物を表わす領域を高精度に検出することができる画像処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために本発明に係る画像処理装置は、処理対象の画像を分割した複数の分割領域の各々について、異なる特徴量の各々に対する物理量を要素とする特徴ベクトルを算出する特徴ベクトル算出手段と、前記特徴ベクトル算出手段によって算出された各分割領域に対する特徴ベクトル間の同じ又は異なる要素の組み合わせから各々演算される演算値と、前記特徴ベクトル内の異なる要素の組み合わせから各々演算される演算値とを表わす特徴相関ベクトルを算出する特徴相関ベクトル算出手段と、前記特徴相関ベクトル算出手段によって算出された前記特徴相関ベクトルに基づいて、前記処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は前記処理対象の画像から前記処理対象物を表わす領域を検出する画像処理手段と、を含んで構成されている。
【０００７】
本発明に係るプログラムは、コンピュータを、処理対象の画像を分割した複数の分割領域の各々について、異なる特徴量の各々に対する物理量を要素とする特徴ベクトルを算出する特徴ベクトル算出手段、前記特徴ベクトル算出手段によって算出された各分割領域に対する特徴ベクトル間の同じ又は異なる要素の組み合わせから各々演算される演算値と、前記特徴ベクトル内の異なる要素の組み合わせから各々演算される演算値とを表わす特徴相関ベクトルを算出する特徴相関ベクトル算出手段、及び前記特徴相関ベクトル算出手段によって算出された前記特徴相関ベクトルに基づいて、前記処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は前記処理対象の画像から前記処理対象物を表わす領域を検出する画像処理手段として機能させるためのプログラムである。
【０００８】
本発明によれば、特徴ベクトル算出手段によって、処理対象の画像を分割した複数の分割領域の各々について、異なる特徴量の各々に対する物理量を要素とする特徴ベクトルを算出する。特徴相関ベクトル算出手段によって、特徴ベクトル算出手段によって算出された各分割領域に対する特徴ベクトル間の同じ又は異なる要素の組み合わせから各々演算される演算値と、特徴ベクトル内の異なる要素の組み合わせから各々演算される演算値とを表わす特徴相関ベクトルを算出する。
【０００９】
そして、画像処理手段によって、特徴相関ベクトル算出手段によって算出された特徴相関ベクトルに基づいて、処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は処理対象の画像から処理対象物を表わす領域を検出する。
【００１０】
このように、各分割領域に対する特徴ベクトル間又特徴ベクトル内の要素の組み合わせから各々演算される演算値を表わす特徴相関ベクトルを用いることにより、処理対象の画像が処理対象物を表わす画像であるか否かを高精度に識別することができ、又は処理対象物を表わす領域を高精度に検出することができる。
【００１１】
本発明に係る特徴ベクトル算出手段は、処理対象の画像を分割した複数の親領域の各々を分割した複数の子領域の各々について、特徴ベクトルを算出し、特徴相関ベクトル算出手段は、親領域の各々について、特徴ベクトル算出手段によって該親領域について算出された各子領域に対する特徴ベクトル間の同じ又は異なる要素の組み合わせから各々演算される演算値と、子領域の特徴ベクトル内の異なる要素の組み合わせから各々演算される演算値とを表わす特徴相関ベクトルを各々算出し、画像処理手段は、特徴相関ベクトル算出手段によって親領域の各々について算出された特徴相関ベクトルに基づいて、処理対象の画像が処理対象物を表わす画像であるか否かを識別するか、又は処理対象の画像から処理対象物を表わす領域を検出することができる。これによって、処理対象の画像が処理対象物を表わす画像であるか否かを、より高精度に識別することができ、又は処理対象物を表わす領域をより高精度に検出することができる。
【００１２】
上記の特徴ベクトル算出手段は、分割領域の各画素について特徴量を抽出し、分割領域について、異なる特徴量の各々に対する頻度を要素とする特徴ヒストグラムを特徴ベクトルとして算出することができる。
【００１３】
上記の特徴ベクトル算出手段は、分割領域の各画素について勾配方向及び勾配強度を算出し、分割領域について、各画素の勾配方向及び勾配強度に基づいて、異なる勾配方向の各々に対して勾配強度を投票した値を要素とする勾配方向ヒストグラムを特徴ベクトルとして算出することができる。
【００１４】
上記の特徴相関ベクトル算出手段は、演算値として、要素の組み合わせの最小値又は調和平均値を算出することができる。
【発明の効果】
【００１５】
以上説明したように、本発明の画像処理装置及びプログラムによれば、各分割領域に対する特徴ベクトル間又特徴ベクトル内の要素の組み合わせから各々演算される演算値を表わす特徴相関ベクトルを用いることにより、処理対象の画像が処理対象物を表わす画像であるか否かを高精度に識別することができ、又は処理対象物を表わす領域を高精度に検出することができる、という効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態に係る対象物識別装置の構成を示す概略図である。
【図２】親領域に分割する様子を示すイメージ図である。
【図３】親領域を子領域に分割する様子を示すイメージ図である。
【図４】（Ａ）ウィンドウ画像を示すイメージ図、（Ｂ）親領域に分割した様子を示すイメージ図、及び（Ｃ）子領域に分割した様子を示すイメージ図である。
【図５】子領域内の各画素について勾配強度及び位置を算出した様子を示すイメージ図である。
【図６】勾配ヒストグラムを示すグラフである。
【図７】各子領域の勾配ヒストグラムを示すグラフである。
【図８】勾配ヒストグラムを表わす特徴ベクトルの要素の組み合わせを作る様子を示すイメージ図である。
【図９】（Ａ）特徴相関ベクトルの例を示すイメージ図、及び（Ｂ）特徴相関記述子の例を示すイメージ図である。
【図１０】本発明の第１の実施の形態に係る対象物識別装置のコンピュータにおける識別処理ルーチンの内容を示すフローチャートである。
【図１１】本発明の第１の実施の形態に係る対象物識別装置のコンピュータにおける特徴ベクトル算出処理ルーチンの内容を示すフローチャートである。
【図１２】本発明の第１の実施の形態に係る対象物識別装置のコンピュータにおける特徴相関ベクトル算出処理ルーチンの内容を示すフローチャートである。
【図１３】歩行者画像識別実験の結果を示すグラフである。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像が、識別対象物としての歩行者を撮像した画像であるか否かを識別する対象物識別装置に本発明を適用した場合を例に説明する。
【００１８】
図１に示すように、第１の実施の形態に係る対象物識別装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２から得られる撮像画像が歩行者を撮像した画像であるか否かを識別するコンピュータ１４と、コンピュータ１４の識別結果を表示する表示装置１６とを備えている。
【００１９】
撮像装置１２は、車両の前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２０】
コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する識別処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、撮像装置１２から撮像された画像を取得する画像取得部２０と、画像取得部２０により取得した撮像画像から、様々な大きさの切り出しウィンドウを用いて走査することにより、複数のウィンドウ画像を抽出するウィンドウ画像抽出部２１と、抽出した各ウィンドウ画像を、複数の親領域に分割すると共に、各親領域を更に複数の子領域に分割する領域分割部２２と、各子領域について、勾配ヒストグラムを算出して、勾配ヒストグラムを示す特徴ベクトルを生成する特徴ベクトル算出部２４と、各親領域について、当該親領域に属する全ての子領域の各々の特徴ベクトルに基づいて、後述する特徴相関ベクトルを算出する特徴相関ベクトル算出部２６と、歩行者を撮像した学習画像に基づいて予め生成された学習モデルとしてのＳＶＭ（サポートベクターマシン）モデルを記憶した学習モデル記憶部２８と、算出された各親領域の特徴相関ベクトルと、学習モデルとに基づいて、ＳＶＭ識別器により、識別対象のウィンドウ画像が歩行者を撮像した画像であるか否かを識別する識別部３０とを備えている。
【００２１】
領域分割部２２は、まず、図２に示すように、ウィンドウ画像抽出部２１により得られたウィンドウ画像を、複数の親領域に均等に分割する。また、領域分割部２２は、図３に示すように、分割した親領域の各々を、更に、親領域より小さい複数の子領域に分割する。例えば、図４（Ａ）、（Ｂ）に示すように、ウィンドウ画像を、６つの親領域Ｂ１〜Ｂ６に分割し、親領域Ｂ１〜Ｂ６の各々を、更に４つの子領域に分割する。
【００２２】
特徴ベクトル算出部２４は、まず、分割された子領域の各々について、図５に示すように、各画素の勾配強度及び勾配方向を算出する。
【００２３】
勾配強度ｍは、上記（１）式に従って算出される。
【００２４】
【数１】
2011053953.tif 000003
【００２５】
ただし、ｍ（ｘ,ｙ）は画像座標（ｘ,ｙ）での勾配強度を表わし、Ｉ（ｘ，ｙ）は、画像座標（ｘ,ｙ）の輝度値を表わす。
【００２６】
ここで、勾配強度は、上記（１）式に示すように、画像の各画素を注目画素としたときの注目画素の周辺に存在する周辺画素の輝度差に基づいて求められ、注目画素及び周辺画素を含む所定領域内の輝度の変化度合いを示している。
【００２７】
勾配方向θは、以下の（２）式に従って算出される。
【００２８】
【数２】
2011053953.tif 000004
【００２９】
ただし、θ（ｘ,ｙ）は、画素座標（ｘ,ｙ）での勾配の方向を表わす。
【００３０】
特徴ベクトル算出部２４は、子領域について算出された各画素の勾配強度及び勾配方向に基づいて、図６に示すように、当該子領域に対する各勾配方向のヒストグラム（以下、勾配ヒストグラムと称する。）を算出する。具体的に、勾配方向は０〜１８０度或いは０〜３６０度の範囲をＮ度ずつに分割する。例えば、０〜１８０度の範囲で３０度ずつに分割して、６方向のヒストグラムを算出する。なお、ヒストグラムの投票時には、各画素の持つ勾配方向に対応したヒストグラム方向に、当該画素が持つ勾配強度で投票することによって、勾配ヒストグラムを算出する。
【００３１】
上記のように、親領域に属する子領域の各々について、勾配ヒストグラムを算出し、図７に示すように、勾配ヒストグラムを示す特徴ベクトルを各子領域について生成する。また、各子領域の特徴ベクトルを生成する処理が、各親領域について行われ、各親領域について、当該親領域に属する子領域の各々に対する特徴ベクトルが生成される。
【００３２】
次に、本実施の形態の原理について説明する。
【００３３】
従来より用いられているＨＯＧ特徴量は局所的な物体形状を大まかに表現することができるが、物体形状に含まれる高次特徴、例えば、隣接する輪郭の共起性など、を表すことが難しい。上記したような従来特徴量の欠点を解決するため、隣接する子領域間での特徴量（例えば、輪郭）の共起性を表わした高次の画像特徴を用いることにより、物体形状をより表現することができる。
【００３４】
従って、本実施の形態では、特徴相関ベクトル算出部２６によって、各親領域について、図８に示すように、当該親領域に属する全ての子領域について算出した特徴ベクトル（勾配方向ヒストグラム）を集めて、全ての特徴ベクトルの全ての要素の組み合わせ（即ち、勾配方向ヒストグラムの要素の組み合わせ）を各々作り、要素の各組み合わせについて、相関値を演算する。ここで、要素の組み合わせには、同じ特徴ベクトル内での同じ又は異なる要素の組み合わせや、異なる特徴ベクトル間での同じ又は異なる要素の組み合わせが含まれる。
【００３５】
また、相関値を演算する関数については多数の選択がある。例えば、最小値関数ｍｉｎ（ｘ，ｙ）、又は調和平均関数２ｘｙ／（ｘ＋ｙ）を用いて、相関値を演算する。特徴相関ベクトル算出部２６は、図９（Ａ）に示すように、算出された相関値を並べて、当該親領域における特徴相関ベクトルを生成する。また、特徴相関ベクトル算出部２６は、最後に、上記のように得られた特徴相関ベクトルを正規化する。
【００３６】
本実施の形態では、図９（Ｂ）に示すように、上記のように得られた、全ての親領域に対する、正規化された特徴相関ベクトルを並べて結合したものを、画像全体の特徴相関記述子とする。
【００３７】
学習モデル記憶部２８では、以下のような学習処理によって予め求められた学習モデルを記憶している。
【００３８】
まず、歩行者を撮像した部分を切り出しウィンドウにより抽出した複数の歩行者画像と、歩行者以外を撮像した部分を切り出しウィンドウにより抽出した複数の非歩行者画像とを予め用意し、複数の歩行者画像と複数の非歩行者画像との各々について、上述したように特徴相関ベクトルを算出して、画像全体の特徴相関記述子を各々求める。
【００３９】
そして、各画像について求められた特徴相関記述子を訓練データとし、各画像が歩行者画像及び非歩行者画像の何れであるかに応じて付与される教師ラベルを用いて、学習処理を行い、ＳＶＭモデルを学習モデルとして求め、学習モデル記憶部２８に記憶する。
【００４０】
識別部３０は、学習モデル記憶部２８に記憶された学習モデルと、特徴相関ベクトル算出部２６により算出された特徴相関ベクトルを並べた特徴相関記述子とに基づいて、従来既知のＳＶＭ識別器を用いて、識別対象のウィンドウ画像が歩行者を撮像した画像であるか否かを識別し、識別結果を、表示装置１６に表示させる。
【００４１】
次に、本実施の形態に係る対象物識別装置１０の作用について説明する。まず、歩行者を撮像することにより得られた複数の歩行者画像と、歩行者以外を撮像することにより得られた非歩行者画像とに基づいて、学習処理を行い、得られたＳＶＭモデルを、学習モデル記憶部２８に記憶する。
【００４２】
そして、対象物識別装置１０を搭載した車両の走行中に、撮像装置１２によって車両の前方の所定領域が撮像されると、コンピュータ１４は、撮像装置１２から撮像画像を取得し、撮像画像に対して、様々な大きさの切り出しウィンドウを走査しながら、切り出しウィンドウによって切り出されるウィンドウ画像の各々について、コンピュータ１４において、図１０に示す識別処理ルーチンが実行される。
【００４３】
まず、ステップ１００において、識別対象となるウィンドウ画像を設定し、ステップ１０２において、上記ステップ１００で識別対象として設定したウィンドウ画像を、均等に複数の親領域に分割する。そして、ステップ１０４において、上記ステップ１０２で分割した親領域の各々を、均等に複数の子領域に分割する。
【００４４】
次のステップ１０６では、上記ステップ１０４で分割した子領域の各々について、勾配ヒストグラムを表わす特徴ベクトルを算出する。そして、ステップ１０８では、各親領域について、上記ステップ１０６で算出された特徴ベクトルに基づいて、特徴相関ベクトルを算出する。
【００４５】
そして、ステップ１１０において、上記ステップ１０８で各親領域について算出された特徴相関ベクトルを並べて結合することにより、画像全体に対する特徴相関記述子を得る。次のステップ１１２では、上記ステップ１１０で得られた特徴相関記述子に基づいて、予め求められた学習モデル及びＳＶＭ識別器を用いて、識別対象のウィンドウ画像が、歩行者を表わす歩行者画像であるか否かを識別する。そして、ステップ１１４において、上記ステップ１１２における識別結果を表示装置１６に表示して、識別処理ルーチンを終了する。上記の識別処理ルーチンが、切り出されたウィンドウ画像の各々について実行される。
【００４６】
上記ステップ１０６は、全ての親領域の各子領域について、図１１に示す特徴ベクトル算出処理ルーチンが実行されることによって実現される。
【００４７】
まず、ステップ１２０において、処理対象の子領域内の各画素の輝度値に基づいて、各画素における勾配強度及び勾配方向を求める。そして、ステップ１２２において、各画素の勾配方向に従って、ヒストグラムに、当該画素について求められた勾配強度で投票することにより、勾配ヒストグラムを算出して、処理対象の子領域について、勾配ヒストグラムを表わす特徴ベクトルを生成して、特徴ベクトル算出処理ルーチンを終了する。
【００４８】
上記ステップ１０８は、各親領域について、図１２に示す特徴相関ベクトル算出処理ルーチンが実行されることによって実現される。
【００４９】
まず、ステップ１３０において、処理対象の親領域に属する全ての子領域について生成された全ての特徴ベクトルの要素の組み合わせから、未処理の要素Ｘ，Ｙの組み合わせ（Ｘ，Ｙ）を選択し、ステップ１３２において、上記ステップ１３０で選択された要素の組み合わせ（Ｘ，Ｙ）に基づいて、相関値を演算する。
【００５０】
そして、ステップ１３４において、処理対象の親領域に属する全ての子領域について生成された特徴ベクトルの要素の全ての組み合わせについて、上記ステップ１３２の処理が行われたか否かを判定し、未処理の要素の組み合わせがある場合には、上記ステップ１３０へ戻り、未処理の要素の組み合わせを選択する。一方、上記ステップ１３４で、特徴ベクトルの要素の全ての組み合わせについて処理が終了した場合には、ステップ１３６において、上記ステップ１３２で演算された相関値を並べた特徴相関ベクトルを生成すると共に、特徴相関ベクトルを正規化して、特徴相関ベクトル算出処理ルーチンを終了する。
【００５１】
次に、歩行者画像識別実験の結果について説明する。歩行者を撮像した撮像画像から抽出されるウィンドウ画像を識別対象として、ＳＶＭ識別器を利用して画像が歩行者を表わしているかどうかを識別した。上記の実施の形態で説明したように、最小値関数を用いて各々演算した相関値を表わす特徴相関ベクトルを算出して、ＳＶＭによる識別を行った。また、比較例として、従来の輝度勾配方向ヒストグラム（ＨＯＧ）を特徴ベクトルとして用いたＳＶＭによる識別を行った。
【００５２】
図１３に示すように、本実施の形態における特徴相関ベクトルを用いて識別した場合には、従来の輝度勾配方向ヒストグラム特徴量を用いて識別する場合に比べて、識別性能が向上していることがわかった。
【００５３】
以上説明したように、第１の実施の形態に係る対象物識別装置によれば、各子領域に対する特徴ベクトル間又特徴ベクトル内の要素の組み合わせから各々演算される相関値を表わす特徴相関ベクトルを用いることにより、局所的な高次特徴を抽出することができ、識別対象のウィンドウ画像が歩行者を表わす画像であるか否かを高精度に識別することができる。
【００５４】
また、画像の輝度勾配特徴を用いた特徴相関ベクトルは、従来の輝度勾配方向ヒストグラム特徴量を高次化した特徴量と考えられる。従来の輝度勾配方向ヒストグラム特徴量は親領域の全ての子領域の勾配方向ヒストグラムを単に並べたものであるのに対し、本実施の形態では、子領域の勾配方向ヒストグラムからさらに高次情報を捉えられる特徴相関ベクトルを用いることにより、識別性能を向上させることができる。
【００５５】
次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る対象物識別装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。
【００５６】
第２の実施の形態では、親領域について勾配ヒストグラムを表わす特徴ベクトルを算出している点と、画像全体に対する画像特徴として、１つの特徴相関ベクトルを用いて、画像識別を行っている点とが、第１の実施の形態と異なっている。
【００５７】
第２の実施の形態では、領域分割部２２によって、ウィンドウ画像抽出部２１により得られたウィンドウ画像を、複数の親領域に均等に分割する。
【００５８】
特徴ベクトル算出部２４は、分割された親領域の各々について、各画素の勾配強度及び勾配方向を算出する。特徴ベクトル算出部２４は、親領域について算出された各画素の勾配強度及び勾配方向に基づいて、当該親領域に対する勾配ヒストグラムを算出する。
【００５９】
特徴相関ベクトル算出部２６は、全ての親領域で算出した特徴ベクトル（勾配方向ヒストグラム）を集めて、特徴ベクトルの要素の全ての組み合わせを各々作り、要素の各組み合わせについて、相関値を演算する。特徴相関ベクトル算出部２６は、演算された相関値を並べて、特徴相関ベクトルを生成する。
【００６０】
学習モデル記憶部２８では、以下のような学習処理により予め求められた学習モデルを記憶している。
【００６１】
まず、歩行者を撮像した部分を切り出しウィンドウにより抽出した複数の歩行者画像と、歩行者以外を撮像した部分を切り出しウィンドウにより抽出した複数の非歩行者画像とを予め用意し、複数の歩行者画像と複数の非歩行者画像との各々について、上述したように特徴相関ベクトルを算出する。
【００６２】
そして、各画像について求められた特徴相関ベクトルを訓練データとし、各画像が歩行者画像及び非歩行者画像の何れであるかに応じて付与された教師ラベルを用いて、学習処理を行い、ＳＶＭモデルを学習モデルとして求め、学習モデル記憶部２８に記憶する。
【００６３】
識別部３０は、学習モデル記憶部２８に記憶された学習モデルと、特徴相関ベクトル算出部２６により算出された特徴相関ベクトルとに基づいて、従来既知のＳＶＭ識別器を用いて、識別対象のウィンドウ画像が歩行者を撮像した画像であるか否かを識別し、識別結果を、表示装置１６に表示させる。
【００６４】
次に、第２の実施の形態における識別処理ルーチンについて説明する。
【００６５】
まず、撮像装置１２からの撮像画像から抽出されるウィンドウ画像を、識別対象として設定し、識別対象のウィンドウ画像を、均等に複数の親領域に分割する。
【００６６】
次に、上記図１１に示す特徴ベクトル算出処理ルーチンにおいて、子領域を親領域に読み替えて、分割した親領域の各々について実行することにより、各親領域に対して勾配ヒストグラムを表わす特徴ベクトルを算出する。そして、各親領域について算出された特徴ベクトルに基づいて、全ての特徴ベクトルの要素の組み合わせについて相関値を演算することにより、特徴相関ベクトルを生成する。
【００６７】
そして、生成された特徴相関ベクトルに基づいて、予め求められた学習モデル及びＳＶＭ識別器を用いて、識別対象のウィンドウ画像が、歩行者を表わす歩行者画像であるか否かを識別し、識別結果を表示装置１６に表示して、識別処理ルーチンを終了する。
【００６８】
以上説明したように、第２の実施の形態に係る対象物識別装置によれば、各親領域に対する特徴ベクトル間又特徴ベクトル内の要素の組み合わせから各々演算される相関値を表わす特徴相関ベクトルを用いることにより、局所的な高次特徴を抽出することができ、識別対象のウィンドウ画像が歩行者を表わす画像であるか否かを高精度に識別することができる。
【００６９】
次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る対象物識別装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。
【００７０】
第３の実施の形態では、子領域の各々について、各画素の色成分からＲＧＢヒストグラムを生成して、特徴ベクトルとしている点が、第１の実施の形態と異なっている。
【００７１】
第３の実施の形態に係る対象物識別装置では、特徴ベクトル算出部２４によって、分割された子領域の各々について、各画素のＲＧＢの各濃度値を算出する。特徴ベクトル算出部２４は、子領域について算出された各画素のＲＧＢの各濃度値に基づいて、当該子領域に対するＲＧＢの各濃度値のヒストグラム（以下、ＲＧＢヒストグラムと称する。）を算出する。例えば、ＲＧＢの各々について、濃度値０〜２５５の範囲で８階調に分割して、ＲＧＢの各々に対する８階調のヒストグラムを算出する。なお、ヒストグラムの投票時には、各画素の持つＲＧＢの各濃度値に対応したＲＧＢの階調に、投票することによって、ＲＧＢヒストグラムを算出する。
【００７２】
上記のように、各親領域について、当該親領域に属する子領域の各々について、ＲＧＢヒストグラムを算出し、ＲＧＢヒストグラムを示す特徴ベクトルを各子領域について生成する。
【００７３】
なお、第３の実施の形態に係る対象物識別装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００７４】
次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る対象物識別装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。
【００７５】
第４の実施の形態では、子領域の各々について、各画素のテクスチャ情報からテクスチャヒストグラムを生成して、特徴ベクトルとしている点が、第１の実施の形態と異なっている。
【００７６】
第４の実施の形態に係る対象物識別装置では、特徴ベクトル算出部２４は、分割された子領域の各々について、各画素のテクスチャ情報（例えば、テクスチャ強度）を算出する。特徴ベクトル算出部２４は、子領域について算出された各画素のテクスチャ情報に基づいて、当該子領域に対するテクスチャ情報のヒストグラム（以下、テクスチャヒストグラムと称する。）を算出する。例えば、テクスチャ情報を分類して、テクスチャ情報の各分類のヒストグラムを算出する。なお、ヒストグラムの投票時には、各画素の持つテクスチャ情報に対応した分類に、投票することによって、テクスチャヒストグラムを算出する。
【００７７】
上記のように、各親領域について、当該親領域に属する子領域の各々について、テクスチャヒストグラムを算出し、テクスチャヒストグラムを示す特徴ベクトルを各子領域について生成する。
【００７８】
なお、第４の実施の形態に係る対象物識別装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００７９】
なお、上記の第１の実施の形態〜第４の実施の形態では、要素の組み合わせの相関値として、最小値や調和平均値を演算する場合を例に説明したが、これに限定されるものではなく、要素の組み合わせに他の関数を適用して、相関値を演算してもよい。
【００８０】
また、ＳＶＭ識別器を用いて、画像の識別処理を行う場合を例に説明したが、これに限定されるものではなく、従来既知の他の識別手法（例えば、最近傍識別、線形判別など）を用いて、画像の識別処理を行うようにしてもよい。
【００８１】
また、特徴ベクトルの要素の全ての組み合わせについて、相関値を演算して、特徴相関ベクトルを生成する場合を例に説明したが、これに限定されるものではなく、特徴ベクトルの要素の一部の組み合わせについて、相関値を演算して、特徴相関ベクトルを生成するようにしてもよい。例えば、識別処理で重要となる、特徴ベクトルの要素の組み合わせについてのみ、相関値を演算して、特徴相関ベクトルを生成するようにしてもよい。
【００８２】
また、撮像画像が、識別対象物としての歩行者を撮像した画像であるか否かを識別する対象物識別装置に、本発明を適用した場合を例に説明したが、これに限定されるものではなく、撮像画像から、検出対象物としての歩行者を表わす領域を検出する対象物検出装置に、本発明を適用してもよい。例えば、歩行者を表わす領域であると識別されるウィンドウ画像を、歩行者を表わす領域として検出し、出力すればよい。
【００８３】
また、撮像装置から撮像画像を取得し、ウィンドウ画像を抽出する場合を例に説明したが、これに限定されるものではなく、ハードディスク装置から画像データを読み込み、読み込んだ画像データから、ウィンドウ画像を抽出してもよい。
【００８４】
また、様々な大きさの切り出しウィンドウを用いて、ウィンドウ画像を抽出する場合を例に説明したが、これに限定されるものではなく、固定の大きさの切り出しウィンドウを走査して、ウィンドウ画像を抽出するようにしてもよい。この場合には、入力となる画像全体を、拡大又は縮小させて、拡大画像又は縮小画像の各々から、固定の大きさの切り出しウィンドウを用いて、ウィンドウ画像を抽出し、識別対象とすればよい。
【００８５】
また、分割した親領域や子領域について、隣接する領域間で重なりがないように分割した場合を例に説明したが、これに限定されるものではなく、隣接する領域間で重なりがある分割方式によって、親領域や子領域に分割するようにしてもよい。また、均等でない分割方式によって、親領域や子領域に分割するようにしてもよい。
【００８６】
また、特徴ベクトルが、画像特徴量のヒストグラムを表わす場合を例に説明したが、これに限定されるものではなく、例えば、子領域の各画素から、画像特徴量を抽出し、抽出された各画素の画像特徴量から得られる、異なる画像特徴量の各々に対する物理量を要素とする特徴ベクトルを生成するようにしてもよい。
【００８７】
また、識別対象物が人物である場合を例に説明したが、これに限定されるものではなく、人物以外の物体を識別対象物としてもよい。
【００８８】
なお、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムをＣＤＲＯＭ等の記憶媒体に格納して提供することも可能である。
【符号の説明】
【００８９】
１０   対象物識別装置
１２   撮像装置
１４   コンピュータ
１６   表示装置
２０   画像取得部
２１   ウィンドウ画像抽出部
２２   領域分割部
２４   特徴ベクトル算出部
２６   特徴相関ベクトル算出部
２８   学習モデル記憶部
３０   識別部
【図１】
2011053953.tif 000005
【図２】
2011053953.tif 000006
【図３】
2011053953.tif 000007
【図４】
2011053953.tif 000008
【図５】
2011053953.tif 000009
【図６】
2011053953.tif 000010
【図７】
2011053953.tif 000011
【図８】
2011053953.tif 000012
【図９】
2011053953.tif 000013
【図１０】
2011053953.tif 000014
【図１１】
2011053953.tif 000015
【図１２】
2011053953.tif 000016
【図１３】
2011053953.tif 000017