(57)【要約】【課題】ハードウェアのリソースを少なくすると共に処理時間を短縮した領域検出装置を提供する。【解決手段】画像中の特定領域が当該画像のどの位置にあるかを自動検出する領域検出装置において、前記画像をデジタル化して得られたデジタル画像を所定の縮小率で縮小する画像縮小部(12)と、縮小されたデジタル画像を固定サイズのウインドウを用いて走査する画像走査部(13)と、前記ウインドウ内の画像に対してアダマール変換係数を計算することによって特徴量を求める特徴量計算部(15)と、求められた特徴量に基づいて前記ウインドウ内の画像が前記特定領域の候補かどうかを複数の弱分類器によって判定する判断部(16)と、判定手段(16)によって特定領域の候補であると判定された近傍にある特定領域候補から１つの特定領域を決定する領域結合部(18)とを備える。【選択図】図１
2007287024.tif 000002
【特許請求の範囲】
【請求項１】
画像中の特定領域が該画像のどの位置にあるかを検出する領域検出装置において、
前記画像をデジタル化して得られたデジタル画像を所定の縮小率で繰り返し縮小する画像縮小手段と、
前記縮小されたデジタル画像毎に所定のサイズのウインドウを用いて走査する画像走査手段と、
前記走査するウインドウ内の各画像に対して、アダマール変換係数を適用して特徴量を計算する特徴量計算手段と、
前記計算された特徴量に基づき、前記ウインドウ内の画像が前記特定領域の候補であるか否かを複数の弱分類器によって判定する判定手段と、
前記判定手段により前記特定領域の候補であると判定された画像の中から１つの特定領域を選択する特定領域決定手段と、
を備えたことを特徴とする領域検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識技術に関し、画像中から顔領域等の特定領域を検出する領域検出装置に関する。
【背景技術】
【０００２】
パターン認識技術を用いて撮像画像中から顔の位置、大きさを検出して人物を識別し、セキュリティ等に反映させるものが知られている。
【０００３】
画像中から顔領域を自動的に検出するには、撮像画像をデジタル化して記憶し、このデジタル画像を繰り返し縮小し、固定サイズのウインドウ用いて繰り返し走査して、ウインドウ内のいくつかの位置における特徴量を計算する。そして、この特徴量に基づいて顔領域の候補を選択する処理を実行するようにしている。
【０００４】
この場合、特徴量をどのようして求めるかが処理のポイントとなる。従来では、特徴量としては、ウインドウ内の幾つかの位置における、例えば、図１０に示すような簡単な矩形フィルタの出力を用いていた。
【非特許文献１】Paul Viola,“Robust Real-time Object Detection”,(Tech.Rep.No.CRL 2001/01,Cambridge Research Laboratory,2001)
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように、従来の顔検出方法では、計算時間を短くするために、特徴量として、簡単な構成の矩形フィルタの出力値を用いていた。そのために、顔の検出精度を上げようとすると、多数の特徴量を用いる必要があり、ハードウェアのリソースと処理時間が長くなるという課題があった。
【０００６】
本発明は上記事情に鑑み、特徴量の抽出にアダマール変換係数を用いることにより、少ない特徴量で高い検出精度を実現でき、また、構成が簡単で計算量の少ないアダマール変換係数から順番に弱分類器を作成することにより処理時間の増加を抑制して、ハードウェアのリソースを少なくすると共に処理時間を短縮した領域検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために本発明は、画像中の特定領域が該画像のどの位置にあるかを検出する領域検出装置において、前記画像をデジタル化して得られたデジタル画像を所定の縮小率で繰り返し縮小する画像縮小手段と、前記縮小されたデジタル画像毎に所定のサイズのウインドウを用いて走査する画像走査手段と、前記走査するウインドウ内の各画像に対して、アダマール変換係数を適用して特徴量を計算する特徴量計算手段と、前記計算された特徴量に基づき、前記ウインドウ内の画像が前記特定領域の候補であるか否かを複数の弱分類器によって判定する判定手段と、前記判定手段により前記特定領域の候補であると判定された画像の中から１つの特定領域を選択する特定領域決定手段とを備えたことを特徴としている。
【発明の効果】
【０００８】
本発明によれば、特徴量の抽出にアダマール変換係数を用いることにより、少ない特徴量で高い検出精度を実現できる。また、構成が簡単で計算量の少ないアダマール変換係数から順番に弱分類器を作成することにより処理時間の増加を抑制して、ハードウェアのリソースを少なくすると共に処理時間を短縮した領域検出装置を提供することが可能となる。
【発明を実施するための最良の形態】
【０００９】
図１は本発明に係る領域検出装置の一実施形態の構成を示すブロック図である。
【００１０】
この領域検出装置は、ビデオカメラ部１０からの画像データを取り込み画像データ中にある顔領域の位置を自動検出するものであり、デジタル画像記録部１１と、画像縮小部１２と、画像走査部３と、積分変換部１４と、特徴量計算部１５と、判断部１６と、顔領域候補記録部１７と、領域結合部１８とを備えている。
【００１１】
画像縮小部１２は、デジタル画像記録部１１に記録されている画像を適当な縮小率（例えば、１／１．２５）で縮小し、再度、デジタル画像記録部１１に記録すると共に画像走査部１３に出力する。
【００１２】
画像走査部１３は、画像中に所定の大きさのウインドウを設定する。例えば、２４×２４画素サイズのものが利用される。この場合、画像の原点を左下に取り、また、ウインドウを左下の頂点の座標で表す。
【００１３】
積分変換部１４は、ウインドウ内の画像を積分画像に変換するものであり、画像を構成する画素の値が原点とその画素を頂点とする矩形領域内の画素の輝度の総和を求めて積分画像を構成する。
【００１４】
特徴量計算部１５は、ウインドウ内の幾つかの位置における特徴量を２次元アダマール変換係数を用いて計算する。
【００１５】
判断部１６は、特徴量計算部１５で求められた特徴量に基づき、各ウインドウが顔領域であるかどうかを判断する。
【００１６】
顔領域候補記録部１７は、判断部１６で顔領域であると判断されたウインドウのデータを顔領域候補データとして記録する。
【００１７】
領域結合部１８は、１つの顔領域に対して複数の顔領域候補が検出された場合、複数の候補から１つの顔領域に絞る処理を実行して顔領域画像を出力する。
【００１８】
＜画像縮小部１２および画像走査部１３の処理＞
画像縮小部１２では、デジタル画像記録部１１に記録されている画像を４／５（縮小率＝１／１．２５）に縮小する。例えば、６４０×４８０の画素数の画像であれば、５１２×３８４の画素数を持つ画像に縮小して、処理対象となる画素数を減らしている。
【００１９】
このように縮小された画像に対して画像走査部１３では、画像中に所定の大きさ、例えば２４×２４の画素サイズのウインドウＷを設定して順次所定画素ずつずらして切り出す処理を実行する。この場合、原画（入力画像）の原点を左下に取り、また、ウインドウＷを左下の頂点の座標で表す。ウインドウＷの走査は、先ず、Ｗ（０，０）からスタートして、次に、Ｗ（ｄｘ，０），Ｗ（ｄｘ×２，０），…、画像の右端に達したとき、Ｗ（０，ｄｙ），Ｗ（ｄｘ，ｄｙ），…の順に走査する。ここで、ｄｘ，ｄｙは適当な正の整数、例えば、ｄｘ＝ｄｙ＝２（画素）である。
【００２０】
１枚の縮小画像の処理が全て終了すると、次に、５１２×３８４の画素数を持つ画像をさらに４／５縮小して同一の処理を繰り返すことになる。
【００２１】
＜積分変換部１４の処理＞
上述のように走査された画像に対し、積分変換部１４では、ウインドウＷ内の画像を画素の値が、原点とその画素を頂点とする矩形領域内の画素の輝度の総和とする積分画像へ変換する。図２は入力画像と積分画像との関係を示している。図中の入力画像におけるメッシュ部分（座標（ｘ０，ｙ０）で示す）の画素の輝度値の総和が積分画像上ではＳｘ，ｙで示される。例えば、ウインドウサイズをＷｘ，Ｗｙとすると、変換後のサイズは、Ｗｘ＋１，Ｗｙ＋１となり、積分画像の座標（ｘ，ｙ）の値Ｓｘ，ｙは（１）式で表される。ここで、Ｉｉ，ｊはウインドウ内の座標（ｉ，ｊ）の輝度値である。またＳ０，ｙ，Ｓｘ，０の値は零とする。
【数１】
2007287024.tif 000003
【００２２】
＜特徴量計算部１５の処理＞
特徴量計算部１５では、ウインドウＷ内の幾つかの位置における特徴量を計算する。特徴量は、“４×４”の２次元アダマール変換係数を用いている。図３にその係数（１５個）を示す。この場合、白地部分は＋１、黒地部分は−１を示す。例えば、ブロックサイズが“４”のアダマール変換係数Ａ０４は、図４（Ａ）に示すような行列となる。また、ブロックサイズが“８”のアダマール変換係数Ａ１１は、同図（Ｂ）に示すような行列となる。
【００２３】
特徴量は、アダマール変換係数とブロックサイズとブロックの位置とから規定される。例えば、ブロックサイズを８×８画素、ブロック位置を（ｘ０，ｙ０）、アダマール変換係数をＡ０４とすると、次の（２）式で表される。
【数２】
2007287024.tif 000004
【００２４】
この計算のとき、積分画像を用いると、各矩形領域の値は矩形領域の各頂点に対応する積分画像の値の加減演算のみで求めることができるので、計算量は矩形領域の大きさに対して一定となり、矩形領域の数に比例する。例えば、８×８の場合、６４回の計算が必要であるが、積分画像を使うことにより計算量を減らすことができる。
【００２５】
ブロックサイズは、例えば、４×４、８×８、１６×１６の３種類とする。計算する特徴量の総数をＮとする。ｎ（=1,2,…,N）番目の特徴量の重み係数Ｗｎ、アダマール変換係数をａｎ、ブロックサイズをｂｎ、ブロック座標を（ｘｎ，ｙｎ）とすると、予め図５に示すような表を作成しておき、この表に基づいて特徴量を計算する。図５において、特徴量には１からＮまでの番号が付され、行単位で１つの特徴量が示され、各列に特徴量を規定するのに必要な属性情報が示されている。例えば、番号１の特徴量は、重み係数（Ｗｎ）＝０．８０、アダマール変換係数（ａｎ）＝０、ブロックサイズ（ｂｎ）＝８、ブロック座標（ｘｎ，ｙｎ）＝（７，１３）であることを示している。重み係数（Ｗｎ）は予め学習によって求められた係数であり、学習の都度、変更される係数である。
【００２６】
なお、特徴量の選定は、予め顔画像と非顔画像とを多数用意しておき、それらの画像を用いてブースティング(boosting)により行う。このとき、選定するＮ個の特徴量をＭ個のグループ、例えば１６個のグループに分割する。ここで、０＜Ｎ１＜Ｎ２＜…＜ＮＭ−１＜ＮＭ＝Ｎである。
【００２７】
先ず、０からＮ１−１までの特徴量を領域数の少ないアダマール変換係数Ａ０１，Ａ０２で構成する。次のグループも同様に係数Ａ０１から領域数が多いアダマール変換係数を加えたもので構成する。最後のグループはＡ０１からＡ１４までの全ての係数を用いて構成する。
【００２８】
＜判断部１６の処理＞
判断部１６では、各ウインドウが顔領域であるかどうかを判断する。
【００２９】
この場合、特徴量と図６に示すような判別テーブルとから弱分類器を構成する。この判別テーブルは、行（横方向）が１つの特徴量に対応しており、特徴量の番号（行番号）１〜Ｎに対応させて特徴量の判別結果が格納されている。特徴量の値は、０から２５５までの整数に予め正規化され、かつ量子化された値である。また、判別結果は、顔のとき“１”、非顔のとき“０”を出力する。この弱分類器の出力ｇと重み係数Ｗｎとから次の（３）式によって顔らしさを表す評価値Ｒｉ（i=0,2,…,M）を求める。
【数３】
2007287024.tif 000005
【００３０】
但し、弱分類器の出力が“１”のとき、ｇ＝１、出力が“０”のときｇ＝−１である。
【００３１】
この判断部１６の処理手順を図７のフローチャートを参照して説明する。
【００３２】
同図に示すように、評価値Ｒ０が予め設定した閾値Ｔ０より小さい場合、すなわち、Ｒ０≦Ｔ０である（ステップＳ１０NO）ときは、顔でない（非顔））と判断する（ステップＳ１１）。一方、Ｒ０＞Ｔ０である（ステップＳ１１YES）ときは、次に、評価値Ｒ１を求めて閾値Ｔ１と比較し、Ｒ１≦Ｔ１である（ステップＳ１２NO）ときは、顔でない（非顔））と判断する（ステップＳ１１）。
【００３３】
評価値Ｒ２以降も同様に処理して、最終的に評価値ＲＭ求めてＲＭ≦ＴＭである（ステップＳ１０NO）ときは、顔でない（非顔））と判断する（ステップＳ１１）。一方、ＲＭ＞ＴＭであるときは、顔であると判定して処理を終了する（ステップＳ１４）。
【００３４】
こうして、“顔”と判定されたウインドウの中心座標とウインドウの縦、横のサイズと評価値ＲＭが顔領域候補記録部１７に記録される。
【００３５】
＜顔結合部１８の処理＞
図８、図９は顔結合部１８の処理手順を示している。ステップＳ２１では、初期設定が実行される。すなわち、顔領域候補データをＡｉ（i=0,1,…,N-1）、顔領域候補グループをＧｉ（i≧0）と設定する。また、顔領域候補データＡ０を含む顔領域候補グループをＧｍと設定する。
【００３６】
ステップＳ２２からステップＳ２５では、顔領域候補データがどの顔領域候補グループに属するかを決めるグループ化処理が実行される。先ず、ステップＳ２２において、最初の顔領域候補データＡ０と他の顔領域候補Ａｉ（i=0,1,…,N-1）との中心間距離が求められる。求められた中心間距離が所定の閾値以下であれば、この顔領域候補Ａｉを顔領域候補グループＧＭに入れる。次いで、顔領域候補Ａｉ□Ｇｊ（i=0,1,…,N-1、j=0,1,…,M）の中から最も小さい番号ｉを選んで（i=kとする）、顔領域候補Ａｋを含む顔領域候補グループをＧＭ＋１とする。
【００３７】
次いで、Ｍを１歩進させてＭ＝Ｍ＋１として全ての顔領域候補データのグループ分けを実行する。全ての顔領域候補データがグループのグループ分けが終了した場合には、次に、求められた顔領域候補グループＧｉに対して、グループに含まれる顔領域候補データの数がある閾値以下であれば、そのグループを消去する。残った顔領域候補グループに対して、顔領域のサイズと中心位置と評価値とを求める。
【００３８】
次に、顔領域候補グループにおいて、２つのグループの領域が近傍にある場合、評価値の大きい方の領域を残して小さい方を消去する。評価値の高いグループを最終的に顔領域として出力する。
【００３９】
このように、本実施形態によれば、特徴量の抽出にアダマール変換係数を用いることにより、少ない特徴量で高い検出精度を実現できる。また、構成が簡単で計算量の少ないアダマール変換係数から順番に弱分類器を作成することにより処理時間の増加を抑制して、ハードウェアのリソースを少なくすると共に処理時間を短縮することが可能となる。
【図面の簡単な説明】
【００４０】
【図１】本発明による領域検出装置の実施形態を示す構成図。
【図２】入力画像と積分画像との関係を示す説明図。
【図３】アダマール変換係数の概念を示す説明図。
【図４】アダマール変換係数の一例を示す説明図。
【図５】特徴量を規定する表の一例を示す説明図。
【図６】弱分類器を構成する判定テーブルの一例を示す説明図。
【図７】判断部の処理手順を示すフローチャート。
【図８】領域結合部の処理手順を示すフローチャート。
【図９】領域結合部の処理手順を示すフローチャート。
【図１０】従来から使用されている矩形フィルタの一例を示す説明図。
【符号の説明】
【００４１】
１０：ビデオカメラ部
１１：デジタル画像記録部
１２：画像縮小部
１３：画像走査部
１４：積分変換部
１５：特徴量計算部
１６：判断部
１７：顔領域候補記録部
１８：領域結合部
【図１】
2007287024.tif 000006
【図２】
2007287024.tif 000007
【図３】
2007287024.tif 000008
【図４】
2007287024.tif 000009
【図５】
2007287024.tif 000010
【図６】
2007287024.tif 000011
【図７】
2007287024.tif 000012
【図８】
2007287024.tif 000013
【図９】
2007287024.tif 000014
【図１０】
2007287024.tif 000015