(57)【特許請求の範囲】
【請求項１】
画像から背景領域を検知することにより、当該画像内における背景領域以外の認識対象領域を検知する検知手段と、
前記画像から複数の部分領域を抽出する領域抽出手段と、
前記複数の部分領域の各々に対して複数の局所領域を設定する設定手段と、
前記検知手段による検知結果に基づいて、前記複数の局所領域の中から前記認識対象領域を含まない局所領域を除外して局所領域を選択し、当該選択した局所領域から局所特徴量を算出する算出手段と、
前記算出された局所特徴量に基づいてパターン認識を実施し、前記複数の部分領域の中から認識対象となる物体を含む部分領域を判定する認識手段と
を具備することを特徴とする情報処理装置。
【請求項２】
前記検知手段は、
前記画像と、前記物体を含まない画像である背景モデルとを比較することにより前記背景領域を検知する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検知手段は、
前記画像と、当該画像における各画素に対応して距離を示す距離画像とを比較することにより前記背景領域を検知する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記認識手段は、
前記算出された局所特徴量と所定のパラメータとに基づいてパターン認識を実施し、前記複数の部分領域の中から認識対象となる物体を含む部分領域を判定し、
前記所定のパラメータは、
学習用のサンプルに対する前記検知手段による前記検知結果に基づいて算出された局所特徴量を用いて学習されている
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
情報処理装置における認識方法であって、
検知手段が、画像から背景領域を検知することにより、当該画像内における背景領域以外の認識対象領域を検知する工程と、
領域抽出手段が、前記画像から複数の部分領域を抽出する工程と、
設定手段が、前記複数の部分領域の各々に対して複数の局所領域を設定する工程と、
算出手段が、前記検知手段による検知結果に基づいて、前記複数の局所領域の中から前記認識対象領域を含まない局所領域を除外して局所領域を選択し、当該選択した局所領域から局所特徴量を算出する工程と、
認識手段が、前記算出された局所特徴量に基づいてパターン認識を実施し、前記複数の部分領域の中から認識対象となる物体を含む部分領域を判定する工程と
を含むことを特徴とする認識方法。
【請求項６】
コンピュータを、
画像から背景領域を検知することにより、当該画像内における背景領域以外の認識対象領域を検知する検知手段、
前記画像から複数の部分領域を抽出する領域抽出手段、
前記複数の部分領域の各々に対して複数の局所領域を設定する設定手段、
前記検知手段による検知結果に基づいて、前記複数の局所領域の中から前記認識対象領域を含まない局所領域を除外して局所領域を選択し、当該選択した局所領域から局所特徴量を算出する算出手段、
前記算出された局所特徴量に基づいてパターン認識を実施し、前記複数の部分領域の中から認識対象となる物体を含む部分領域を判定する認識手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
情報処理装置、その認識方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやカムコーダにおいて、撮影中の画像から人の顔を検出して物体を追跡する機能が急速に普及している。このような顔検出・追跡機能は、撮影対象の物体に自動的にピントや露出を合せるのに非常に有用な技術である。画像から顔を検出する技術は、非特許文献１で提案されているような技術を用いて実用化が進んでいる。
【０００３】
一方、監視カメラにおいては、人物の顔は勿論のこと、顔が見えないような状況からでも人物を認識し、侵入検知や行動、混雑度の監視、等に利用したいという要望がある。このような技術に関連して、画像から人体を検出する技術が提案されている。例えば、非特許文献２には、画像から画素値の勾配方向のヒストグラムを抽出し、それを特徴量（ＨＯＧ特徴量）として画像中の部分領域が人物であるか否かを判定する技術について言及されている。すなわち、画素値の勾配の方向という特徴量によって人体の輪郭を表現し、認識に利用している。また、非特許文献３では、ＨＯＧ特徴量を弱判別器として非特許文献１で提案されたアダブースト学習を行ない、それに基づくカスケード型判別器を実行することで人体を高速に検出する方法が提案されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Viola and Jones, “Rapid Object Detection using Boosted Cascade of Simple Features”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR2001)
【非特許文献２】Dalal and Triggs, “Histograms of Oriented Gradients for Human Detection”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR2005）
【非特許文献３】Qiang Zhu et al, “Fast human detection using a cascade of Histograms of Oriented Gradients”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR2006)
【非特許文献４】Stauffer and Grimson, “Adaptive background mixture models for real-time tracking”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR1999)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記人体の検出を目的とした従来技術においては、背景に複雑なエッジが含まれる場合、認識精度が劣化してしまう。これは、人物の輪郭部分の特徴を捉える際に、それと同時に背景のエッジ特徴も混在して捉えてしまい、人物領域部分の特徴のみを分離して捉えられない点に原因がある。
【０００６】
また、従来例では、人物画像と非人物画像とのサンプルを用いて認識に有効な局所領域の特徴を学習して認識を行なっている。このとき、画像内の人物の位置や大きさ、姿勢の異なる数多くのサンプルを学習に用いて、サンプル毎に異なる輪郭位置を学習で吸収している。それ故に特定の人物画像では効果のない局所領域の特徴量も認識に利用している。
【０００７】
このように背景部分の複雑なエッジが局所領域に含まれる場合、認識精度が劣化してしまう。このような現象は、物体の輪郭部分の特徴を用いて認識を行なう場合に起こる共通の課題である。
【０００８】
そこで、本発明は、上記課題に鑑みてなされたものであり、背景が複雑な場合であっても、従来の構成よりも高精度に認識を行なえるようにした技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の一態様による情報処理装置は、
画像から背景領域を検知することにより、当該画像内における背景領域以外の認識対象領域を検知する検知手段と、
前記画像から複数の部分領域を抽出する領域抽出手段と、
前記複数の部分領域の各々に対して複数の局所領域を設定する設定手段と、
前記検知手段による検知結果に基づいて、前記複数の局所領域の中から前記認識対象領域を含まない局所領域を除外して局所領域を選択し、当該選択した局所領域から局所特徴量を算出する算出手段と、
前記算出された局所特徴量に基づいてパターン認識を実施し、前記複数の部分領域の中から認識対象となる物体を含む部分領域を判定する認識手段と
を具備する。
【発明の効果】
【００１０】
本発明によれば、背景が複雑な場合であっても、従来の構成よりも高精度に認識を行なえる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施の形態に係わる情報処理装置１０の構成の一例を示す図。
【図２】認識対象となる物体を含む画像の一例を示す図。
【図３】図１に示す情報処理装置１０の処理の流れの一例を示すフローチャート。
【図４】実施形態２に係わる情報処理装置１０の構成の一例を示す図。
【図５】実施形態２に係わる情報処理装置１０の処理の流れの一例を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。
【００１３】
図１は、本発明の一実施の形態に係わる情報処理装置１０の構成の一例を示す図である。なお、情報処理装置１０には、コンピュータが内蔵されている。コンピュータには、ＣＰＵ等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、ボタンやディスプレイ又はタッチパネル等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。
【００１４】
情報処理装置１０は、その機能的な構成として、画像取得部１１と、部分領域抽出部１２と、局所領域設定部１３と、局所領域選択部１４と、特徴量算出部１５と、パターン認識部１６と、認識結果出力部２０と、パラメータ記憶部１７とを具備して構成される。また、情報処理装置１０には、認識対象領域検知部１８及び認識対象領域記憶部１９も設けられる。
【００１５】
画像取得部１１は、撮像装置（例えば、カメラ）により撮像された画像を取得する。画像取得部１１の内部には、縮小画像生成部１１ａが設けられる。縮小画像生成部１１ａは、取得した画像を所定のサイズの大きさに縮小する。例えば、取得した画像に対して０．８倍、更にその０．８倍、・・・となるように、所定回数、縮小処理を実施する。これにより、異なる倍率の縮小画像が生成される。なお、異なる倍率の縮小画像を生成するのは、取得した画像から異なるサイズの認識対象（物体）を認識できるようにするためである。
【００１６】
認識対象領域検知部１８は、画像から認識対象（以下、物体と呼ぶ）の領域を検知する。すなわち、背景領域以外の領域であり、物体の写っている領域を検知する。背景領域以外の物体の領域は、例えば、物体を含まない画像を背景モデルとして予め作成しておき、当該背景モデルと画像取得部１１により取得された画像とを比較することにより取得すれば良い。具体的には、例えば、非特許文献４に開示された手法を用いて、認識対象領域を背景領域から分離し、認識対象領域を「１」、それ以外の背景領域を「０」とした２値画像を生成すれば良い。
【００１７】
認識対象領域記憶部１９は、認識対象領域検知部１８により検知された検知結果を記憶する。本実施形態においては、検知結果として、認識対象領域を「１」、それ以外の背景領域を「０」とした２値画像が認識対象領域検知部１８に記憶される。
【００１８】
部分領域抽出部１２は、複数の画像（取得した画像及び複数の縮小画像）内から部分領域を抽出する（切り出す）。具体的には、図２（ａ）に示すように、複数の画像各々からその切り出し位置を（上左端から下右端まで）ずらしながら所定サイズの部分領域を切り出す。この処理は、切り出した部分領域が所定数に達するまで行なわれる。すなわち、画像及び縮小画像における様々な位置で様々な倍率の物体を認識できるように、これら画像から網羅的に部分領域を抽出する。例えば、部分領域の縦横９０％がオーバーラップするように切り出し位置をずらしながら部分領域を切り出す。
【００１９】
局所領域設定部１３は、複数の部分領域内に対して複数の局所領域を設定する。局所領域の設定は、例えば、非特許文献２に提案されるように、部分領域内を予め複数の局所領域に分割することにより行なえば良い。
【００２０】
局所領域選択部１４は、認識対象領域記憶部１９に格納された認識対象領域の検知結果（２値画像）に基づいて、局所領域設定部１３により設定された複数の局所領域の中から特徴量の算出対象となる局所領域を選択する。本実施形態においては、非特許文献２で提案されている人体検出の方法を用いて局所領域の選択を行なう。非特許文献２では、部分領域内を予め複数の局所領域に分割してＨＯＧ特徴量を算出している。
【００２１】
ここで、この局所領域の選択について説明する。図２（ｂ）には、４つの局所領域（Ｒ１、Ｒ２、Ｒ３、Ｒ４）が設定されている部分領域の一例が示される。Ｐは、人物である。
【００２２】
上述した通り、背景領域が複雑な場合には、人物Ｐを認識する際の認識精度の劣化が招かれる。例えば、局所領域Ｒ１及びＲ４は、背景領域に設定されており、このような局所領域の設定が認識精度を劣化させる要因になる。
【００２３】
そこで、本実施形態においては、認識対象領域記憶部１９に記憶されている認識対象領域検知部１８による検知結果を参照し、その検知結果に基づいて局所領域の選択を行なう。認識対象領域記憶部１９には、例えば、人物Ｐの領域に対して「１」、それ以外の領域に対して「０」が設定された２値画像（検知結果）が記憶されている。そのため、局所領域選択部１４は、その値を参照して「１」の値を含む局所領域を選択する。図２（ｂ）の場合、Ｒ２及びＲ３が特徴抽出を行なう局所領域として選択される。
【００２４】
特徴量算出部１５は、局所領域選択部１４により選択された局所領域から局所特徴量（所定の物体を認識するための特徴量）を求める。本実施形態においては、局所領域毎にＨＯＧ（Histograms of Oriented Gradients）特徴量を算出する。局所特徴量は、ＨＯＧ特徴量の他、輝度、色、エッジ強度などの特徴量を用いても良いし、ＨＯＧ特徴量と組み合せても良い。
【００２５】
パラメータ記憶部１７には、各局所領域に対応する重み係数や、物体判定を行なうための閾値がパラメータとして記憶されている。より具体的には、パラメータ記憶部１７には、非特許文献２で提案されているように、ＳＶＭ（サポートベクターマシン）による学習により得られたパラメータが記憶されている。すなわち、パラメータ記憶部１７には、学習用のサンプル（教師サンプル）に対する認識対象領域の検知結果に基づいて算出された局所特徴量を用いて学習したパラメータが記憶される。
【００２６】
パターン認識部１６は、特徴量算出部１５により求められた局所特徴量と、パラメータ記憶部１７に記憶されたパラメータとを用いてパターン認識を実施し、部分領域抽出部１２により切り出された部分領域が認識対象の物体であるか否かを判定する。パターン認識部１６によるパターン認識は、特徴量算出部１５により求められた局所領域毎の局所特徴量とそれに対応する重み係数とを積和演算し、その演算結果とパラメータ記憶部１７に記憶されたパラメータ（閾値）とを比較することにより行なわれる。
【００２７】
認識結果出力部２０は、パターン認識部１６による認識結果を出力する。例えば、パターン認識部１６により所定の物体であると判定された部分領域を他の画像領域と区別できるようにディスプレイに表示させたり、また、プリンタから印刷させたりする。
【００２８】
次に、図３を用いて、図１に示す情報処理装置１０における処理（認識方法）の流れの一例について説明する。
【００２９】
情報処理装置１０は、画像取得部１１において、まず、撮像装置（カメラ等）から画像を取得する。画像取得部１１の内部には、メモリ等が設けられており、当該取得した画像は、このメモリに記憶される（Ｓ１０１）。ここで、画像取得部１１は、縮小画像生成部１１ａにおいて、当該画像から異なる倍率の縮小画像を生成する。この縮小画像は、画像取得部１１のメモリに記憶される。上述した通り、異なる倍率の縮小画像を生成するのは、Ｓ１０１で取得した画像から異なるサイズの物体を認識できるようにするためである。
【００３０】
情報処理装置１０は、認識対象領域検知部１８において、画像取得部１１により取得された画像から認識対象領域（背景領域以外の領域であり、認識対象（例えば、物体）の写っている領域）を検知する。この検知結果は、認識対象領域記憶部１９に記憶される（Ｓ１０３）。上述した通り、認識対象領域記憶部１９には、検知結果として、認識対象領域を「１」、それ以外の背景領域を「０」とした２値画像が記憶される。
【００３１】
次に、情報処理装置１０は、部分領域抽出部１２において、画像内から部分領域を切り出す（Ｓ１０４）。より具体的には、画像及び複数の縮小画像の上左端から下右端まで所定サイズの部分領域を所定数に達するまで位置をずらしながら抽出する。
【００３２】
ここで、情報処理装置１０は、局所領域設定部１３において、部分領域を複数の局所領域に分割するとともに（Ｓ１０５）、局所領域選択部１４において、当該複数の局所領域の中から特徴量の算出対象となる局所領域を選択する（Ｓ１０６）。上述した通り、局所領域の選択は、認識対象領域検知部１８による検知結果に基づいて行なわれる。局所領域の選択が済むと、情報処理装置１０は、特徴量算出部１５において、当該選択された局所領域の特徴量を算出する（Ｓ１０７）。
【００３３】
その後、情報処理装置１０は、パターン認識部１６において、当該算出された局所特徴量とパラメータ記憶部１７に記憶されたパラメータとに基づいて、部分領域抽出部１２により抽出された部分領域が認識対象の物体を含むか否かを判定する（Ｓ１０８）。このＳ１０４〜Ｓ１０８の処理は、画像の部分領域毎に繰り返し行なわれる。すなわち、部分領域全てに対してＳ１０４〜Ｓ１０８の処理が行なわれる（Ｓ１０９でＮＯ）。
【００３４】
部分領域全てに対して上述した処理が行なわれると（Ｓ１０９でＹＥＳ）、情報処理装置１０は、認識結果出力部２０において、パターン認識部１６による認識結果を出力する（Ｓ１１０）。このとき、画像内から人物として認識された部分領域が複数ある場合は、最も認識結果が高い（すなわち、パターン認識部１６の演算結果が大きい）部分領域を出力するようにすれば良い。
【００３５】
以上説明したように本実施形態によれば、背景モデルを用いて画像内から認識対象領域を検知し、その検知結果に基づいて複数の局所領域の中からいずれかの局所領域を選択し、当該選択した局所領域から算出した局所特徴量を用いてパターン認識を行なう。
【００３６】
そのため、認識対象となる物体の輪郭部分の特徴を捉える際に、背景のエッジ特徴の混在を抑えられるので、物体の特徴のみを分離して捉えられる。これにより、背景が複雑な場合であっても、その影響を抑制できるため、従来の構成よりも高精度に認識を行なえる。
【００３７】
（実施形態２）
次に、実施形態２について説明する。実施形態２においては、認識対象領域検知部１８による検知結果に基づいて背景領域の特徴（画素値）を所定値に置き換えて無効化する。これにより、実施形態１と同様の効果を得られるようにした場合について説明する。
【００３８】
図４は、実施形態２に係わる情報処理装置１０の構成の一例を示す図である。なお、実施形態１を説明した図１と同様の機能を果たす構成には、同一の符号を付し、その説明については省略する。
【００３９】
実施形態２においては、実施形態１を説明した図１に示す局所領域選択部１４の代わりに、背景特徴置換部２１が設けられる。
【００４０】
背景特徴置換部２１は、部分領域内における背景領域の特徴を無効化する。具体的には、認識対象領域記憶部１９に記憶された検知結果を参照し、当該検知結果が認識対象領域を含まない位置にある画素の画素値を所定値（本実施形態においては、「０」）に置き換えて無効化する。この処理により、背景が複雑な場合であっても、背景領域の画素値が所定値に置き換えられるため、背景の影響を受け難くなる。
【００４１】
なお、ここでは、背景の画素値を全て「０」に置換して背景の特徴を無効化する場合を例に挙げて説明したが、局所領域毎に無効化を行なうように構成しても良い。例えば、認識対象領域を含まない局所領域（図２（ｂ）に示すＲ１、Ｒ４）の特徴を無効化する。具体的には、背景特徴置換部２１において、認識対象領域を含まない局所領域の画素値を全て「０」に置き換える。
【００４２】
次に、図５を用いて、実施形態１に係わる情報処理装置１０における処理の流れの一例について説明する。なお、Ｓ２０１〜Ｓ２０４までの処理は、実施形態１を説明した図３に示すＳ１０１〜Ｓ１０４までと同一の処理であるため、ここでは、Ｓ２０５以降の処理について説明する。
【００４３】
画像内から部分領域が切り出されると、情報処理装置１０は、背景特徴置換部２１において、当該部分領域内の背景領域の特徴を無効化する（Ｓ２０５）。すなわち、認識対象領域検知部１８による検知結果に基づいて、背景領域の画素値を所定値に置換する。
【００４４】
ここで、情報処理装置１０は、局所領域設定部１３において、当該置換処理後の部分領域を複数の局所領域に分割するとともに（Ｓ２０６）、特徴量算出部１５において、当該選択された局所領域の特徴量を算出する（Ｓ２０７）。なお、特徴量の算出時には、Ｓ２０５の処理により背景領域の特徴が無効化されているので、背景が複雑な場合であっても、その影響を受け難くなる。
【００４５】
その後、情報処理装置１０は、パターン認識部１６において、当該算出された局所特徴量とパラメータ記憶部１７に記憶されたパラメータとに基づいて、部分領域抽出部１２により抽出された部分領域が認識対象の物体を含むか否かを判定する（Ｓ２０８）。このＳ２０４〜Ｓ２０８の処理は、画像の部分領域毎に繰り返し行なわれる。すなわち、部分領域全てに対してＳ２０４〜Ｓ２０８の処理が行なわれる（Ｓ２０９でＮＯ）。
【００４６】
以降の処理では、実施形態１と同様に、部分領域全てに対して上述した処理が行なわれると（Ｓ２０９でＹＥＳ）、情報処理装置１０は、認識結果出力部２０において、その結果を出力する（Ｓ２１０）。
【００４７】
以上説明したように実施形態２によれば、背景モデルを用いて画像内から認識対象領域を検知し、その検知結果に基づいて背景領域の特徴を無効化してパターン認識を行なう。この場合にも、実施形態１と同様に、背景が複雑な場合であっても、その影響を抑制できるため、従来の構成よりも高精度に認識を行なえる。
【００４８】
以上が本発明の代表的な実施形態の例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
【００４９】
例えば、上述した実施形態１及び２においては、非特許文献２で提案されている手法によりパラメータの学習を行ない、そのパラメータに基づいてパターン認識を行なう場合について説明したが、これに限られない。この他にも、例えば、非特許文献３で提案されている方法を適用し、アダブースト学習、カスケード型判別に基づいてパターン認識を行なうように構成しても良い。
【００５０】
また、上述した実施形態１及び２においては、画像取得部１１により取得された画像と背景モデル（物体を含まない画像）とを比較して認識対象領域を検知し、その検知結果に基づいてパターン認識を行なう場合について説明したが、これに限られない。この他にも、例えば、画像の各画素に対応して距離情報を持つ距離画像を取得し、当該距離画像内で比較的近距離の位置を示す画素（領域）を認識対象領域として検知し、その結果に基づいてパターン認識を行なうようにしても良い。
【００５１】
また、上述した実施形態１及び２においては、認識対象領域検知部１８による検知結果に基づいて局所特徴量を算出し、その算出結果に基づいてパターン認識を行なう場合について説明したが、これに限られない。例えば、認識対象となる物体の輪郭部分の特徴を抽出し、当該物体を認識するアプリケーション等に広く適用できる。
【００５２】
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005675233.tif 000002
【図２】
0005675233.tif 000003
【図３】
0005675233.tif 000004
【図４】
0005675233.tif 000005
【図５】
0005675233.tif 000006