(57)【要約】【課題】高解像度の入力画像により所望の照合画像を検出する際に、探索枠の分割数を最小にすることで画像検出処理の繰り返し回数を抑制し処理負荷を低減することが可能とすること。【解決手段】画像認識装置が探索する画像探索枠と、照合用画像のアスペクト比を正方形(1:1)にすることで、高解像度の入力画像を分割して画像認識する場合に分割回数を最小に抑えることが可能になり、画像認識処理の負荷を低減させる。【選択図】図１
2010267100.tif 000002
【特許請求の範囲】
【請求項１】
画像メモリに保持された画像情報から所望の照合用画像と一致する画像パターンを検出するとともに、一定の面積を保ち探索枠のアスペクト比を変更可能な画像検出手段と、
前記画像検出手段に対して前記アスペクト比と一致した解像度変換処理を提供する解像度変換手段と、
前記画像検出手段の照合用画像、並びに前記解像度変換手段の縮小率情報を元に、前記画像検出手段と前記解像度変換手段それぞれで使用するアスペクト比を算出するアスペクト比算出手段と、
前記画像検出手段、前記解像度変換手段、および前記アスペクト比算出手段を制御し、カメラ入力画像中の探索位置と探索範囲をオーバーラップさせながら座標情報を指定するプロッサと、
を備えた画像検出装置。
【請求項２】
前記プロセッサは、
照合用画像の画像サイズより、前記画像検出手段が所定の時間内に処理可能な画像領域分と同じ面積を維持しながら画像探索枠を正方形のアスペクト比となるように前記アスペクト比算出手段を制御する請求項１記載の画像検出装置。
【請求項３】
カメラ装置が撮影した画像データを画像メモリに取り込むカメラ入力装置を更に備えた請求項１または２記載の画像検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、入力画像から所定の画像を検出する技術に関する発明である。
【背景技術】
【０００２】
今日のデジタル信号処理技術を使ったカメラにおいて、カメラ画像から所定の画像パターンを検出する機能を搭載した装置が数多く存在する。具体的には、デジタル・スチール・カメラ、カムコーダー、携帯電話などのAV機器、そしてネットワークカメラ、監視カメラ、ドアホンといったセキュリティー機器において、人物の顔、文字、所望の模様・パターンを検出する機能が搭載された製品である。また、最近ではレコーダー、ゲーム機含めたあらゆるデジタル信号処理機器においても、同様の機能が搭載されている。
【０００３】
図１３に一般的な照合用画像に示された画像検出の概略を示す。入力画像１３０１中に検出を期待する画像１３０２（ここでは人物の顔画像を例）があり、検出したい照合用画像１３０４であるとする。ここで検出期待画像１３０２は照合用画像１３０４より2倍大きいとする。入力画像１３０１を50%縮小した画像１３０５を生成し、縦・横方向に照合画像１３０４を移動させながら画像比較を行い画像検出する。画像１３０２については50%縮小したことにより元の画像１３０２で照合用画像１３０４より2倍大きくても検出が可能である。また、入力画像１３０３も照合用画像１３０４のn倍であったとしても、同様に入力画像１３０３を1/n倍することで画像の検出ができる。当然ながら、等倍で処理する場合も実施でき、これらのように画像パターンを検出している。よって、縮小処理と1画素単位での探索処理でかなり処理負荷であることが分かる。
【０００４】
近年のカメラ製品はセンサーの高画素化、つまり撮影画像の高解像度化されており、先述の検出方法を実行すると処理の負荷が更に増加する。そこで、図１１に示す特許文献１は顔検出が特定の処理時間で完了することが見込める画像探索枠、図１３では入力画像１３０１、１３０３に該当する画像単位で、高解像度のカメラ入力画像を分割し、検出処理に有効な領域のみを画像検出する処理を行う。特許文献１では監視カメラが撮影する背景に動きが少ない画像においては、図１１の移動物体検出装置で動きのある領域（図１２の領域１２０１）を認識し、この領域１２０１を含む画像探索枠、図１２中の7,8,11,12の領域のみに検出処理を行う。
【０００５】
ここで、動きありの領域１２０１が画像探索枠の境界をまたいでいるため、単純に画像探索枠単位で4回の検出処理を行っても図１２のような顔は検出することができない。よって、特許文献１では図９に示すとおり、探索枠を照合用画像に合わせて移動を繰り返しながら顔検出処理を行い、探索枠の移動によってすべての検出対象領域９０１をすべて網羅できるまで繰り返す。更に詳しく説明すると、検出対象領域９０１において探索枠９０２を1回目の照合用画像と検出処理を行う。次に、探索枠の境界に照合用画像が差し掛かった場合、詳しく述べると1画素突き出したところから次の探索を開始する。図９では水平方向９０４移動した次の探索枠９０３を検出する。以降、水平方向は割愛するが、垂直方向も同様に次の探索枠９０５だとすると始めの探索枠９０２から垂直方向９０６に移動した位置から開始することになり、これらを繰り返すことで図１０のように複数の探索枠１００２で探索対象領域１００１を網羅することができる。よって、水平、垂直方向ともに顔検出回路の画像探索窓を“照合用画像のサイズ-1画素”で検出対象領域内を移動させることで境界領域にかかるパターンを検出可能としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２００８／１２９８７５号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１は検出対象領域内において画像探索窓を照合用画像の大きさより1画素小さい重なりを設けることで、境界面をまたがるパターンを検出することが可能であったが、画像探索窓のアスペクト比が常に固定であったために、検出対象領域と照合用画像のサイズによっては効率が良くない。つまり検出対象領域を効率よく画像探索窓で網羅できないことがあり、顔検出回路の冗長な繰り返しが発生し処理負荷が増えるという課題を有していた。
【０００８】
本発明は、前記従来の課題を解決するもので、特許文献１で可能となった画像探索窓をまたがるパターンを認識しつつ、更に画像探索窓を最適に設定することで検出対象領域内を効率的に探索し処理を低減することを可能とした画像検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明の画像認識装置１００は、照合用画像と画像検出装置は一定の面積を保ち探索枠のアスペクト比を変更可能な特徴を持つ画像検出装置１０１と、また画像検出装置１０１に対して同じアスペクト比と一致した解像度変換処理を提供する画像度変換装置１０２と、また画像検出装置１０１の照合用画像並びに解像度変換装置の縮小率情報よりこのアスペクト比を算出するアスペクト比算出装置１０３があり、これら装置を制御することで入力画像中の探索位置と探索範囲をオーバーラップさせながら座標情報を指定するプロセッサ１０４を有し、高解像度の入力画像に対して画像検出装置の探索枠単位で照合用画像の画像パターンを検出する際に、照合用画像及び解像度変換装置の縮小率に応じて探索枠のアスペクト比を変更しながら高解像度の入力画像に対してパターン画像の検出を行うことができる。
【００１０】
また、前述のアスペクト比算出装置１０３は、プロセッサ１０４より照合用画像の画像サイズより、画像検出装置１０１が所定の時間内に処理可能な画像領域分と同じ面積を維持しながら画像探索枠を正方形のアスペクト比となるようにした画像検索装置があり、更に入力画像の分割数を最小化できることがきる。
【００１１】
最終的には、前述の画像認識装置１００に、更に正方形のアスペクト比を加えた画像処理装置１０５とした本構成によって、従来高解像度画像に対する画像パターン検出の処理を削減することが可能になる。
【発明の効果】
【００１２】
本発明の画像認識装置によれば、画像検出装置の検索枠を正方形にすることにより入力画像に対する分割数を最小に抑えることができることにより従来からある探索枠単位での検出処理分割手法による画像検出の処理を最小化することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１、２における画像認識装置を含む画像撮影装置の構成図
【図２】入力画像、探索枠、照合用画像の説明図
【図３】実施の形態１の分割結果図
【図４】本発明の実施の形態２の入力画像、探索枠、照合用画像の詳細図
【図５】実施の形態２の分割結果図
【図６】数９のグラフ
【図７】数１０のグラフ
【図８】数１５のグラフ
【図９】従来例の入力画像、探索枠、照合用画像の詳細図
【図１０】従来例（特許文献１）の分割結果図
【図１１】従来例（特許文献１）の構成図
【図１２】従来例（特許文献１）の探索枠検出結果図
【図１３】公知の画像パターン検出に関する説明図
【発明を実施するための形態】
【００１４】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１における画像認識装置１００の全体構成図である。画像検出装置１０１は画像メモリ上にある入力画像から所望の照合用画像と同じ画像パターンを検出することを行うが、加えて本発明の特徴である一定の面積を保ちながら探索枠のアスペクト比を変更可能な特徴を持っている。次に、解像度変換装置１０２は従来と同様に入力画像の縮小処理を行うが、本発明の特徴として前述の画像検出装置１０１と同じアスペクト比変換を行う特徴がある。アスペクト比算出装置１０３は、まさしく前述のアスペクト比を計算する装置であって、アスペクト比を求めるに当たっては画像検出装置１０１の照合用画像、並びに解像度変換１０２の縮小率から算出を行う。プロセッサ１０４は画像検出装置１０１、解像度変換装置１０２、アスペクト比算出装置１０３を制御する装置であって、CPUとこのCPUで動作しているプログラム、またはハードウェア化された制御回路のいずれも実現は可能である。プロセッサ１０４は入力画像中の探索位置と探索範囲をオーバーラップさせながら座標情報を指定し、高解像度の入力画像に対して画像検出装置の探索枠単位で照合用画像の画像パターンを検出する。その際に、照合用画像及び解像度変換装置の縮小率に応じて探索枠のアスペクト比を変更しながら、高解像度の入力画像に対してパターン画像の検出を行う。
【００１６】
図２、図３、図４を用いて入力画像、探索枠、オーバーラップ、及び本発明の主題であるアスペクト比変換について説明する。図２に、入力画像２０１があり、ここでは入力画像２０１が検出対象領域とする。探索枠２０２は画像検出装置１０１が定められた時間に処理ができる画像の探索面積である。この定められた時間は、画像信号処理において画像の更新時間、例えば、毎秒15,30,60フレームより定められる。この探索枠２０２内を画像検出装置１０１は照合用画像２０３を1画素でスライドさせながら枠内の検出を実施し、一つの枠内の探索が終了したら探索枠を入力画像２０１内でスライドして再度照合用画像２０３の検出を行う。これらを繰り返して入力画像２０１全体を網羅する。
【００１７】
本発明はアスペクト比を変更可能な画像検出装置１０１と解像度変換装置１０２を搭載していることから、図３に示すとおり入力画像２０１に対して探索枠３０１を図のように設定することが可能になる。詳しく述べると、探索枠３０１で斜線の探索枠は白抜きの探索枠と違うアスペクト比、つまり形状が違っており、効率的に入力画像２０１を網羅していることが分かる。このアスペクト比変更は、単純な画像の座標軸情報から判断可能であり、プロセッサ１０４で容易に算出可能である。
【００１８】
（実施の形態２）
前述の実施の形態１では入力画像２０１と探索枠３０１のアスペクト比を座標位置に応じて変更する実施の形態を示した。さらに、実施の形態２として、正方形となるアスペクト比設定について説明する。
【００１９】
まず、図４は特許文献１でも説明した図７の本実施の形態２の例である。探索枠より1画素飛び出した照合用画像分まで探索枠を移動することは同じであるが、探索枠４０１が正方形になっていることが分かる。図５は同様に図１０を実施の形態２に置き換えた図である。それぞれの分割数、つまり画像検出処理が繰り返し実行される回数が、図５は２０回、図１０は２５回である。図５、図１０の探索枠は面積が同じでアスペクト比が図５は正方形、図１０は任意の比（例えば、VGA,QVGAといった場合では4:3）である。よって、探索枠の面積が同じであれば繰り返し回数のみで処理負荷が比較でき、本実施の形態２が従来の特許文献１より処理が軽いことが分かる。
【００２０】
まずは、正方形のアスペクト比が最適となることを、以下、図、数式を用いて説明する。まず図２に示すとおり、照合用画像のサイズを(a+1,b+1)とする。探索枠のオーバーラップは(a,b)と表せる。次に、入力画像サイズを(Ix, Iy)、探索枠サイズ(ωx,ωy)、探索枠分割数をm, nとする。Ix,Iy,wx,wy,m,nは当然自然数(0より大きい)である。
【００２１】
探索枠の面積Wは以下の通りである。
【００２２】
【数１】
2010267100.tif 000003
【００２３】
次に、Ix、Ixを式で表すと以下の通りである。
【００２４】
【数２】
2010267100.tif 000004
【００２５】
【数３】
2010267100.tif 000005
【００２６】
ここで、探索分割数m*nを最小化することが目的であるため、数１より
【００２７】
【数４】
2010267100.tif 000006
【００２８】
数２＊数３は、
【００２９】
【数５】
2010267100.tif 000007
【００３０】
ここで、
【００３１】
【数６】
2010267100.tif 000008
【００３２】
と置き換え、以下式を展開すると、
【００３３】
【数７】
2010267100.tif 000009
【００３４】
【数８】
2010267100.tif 000010
【００３５】
【数９】
2010267100.tif 000011
【００３６】
以上のように数９となり、ここで数１０のように置き換える（図７）。
【００３７】
【数１０】
2010267100.tif 000012
【００３８】
このグラフを図６に示すが、ｍ・ｎと、ηの大小の方向は同じであることが分かる。次に、数９の符号について考える（図８）。
【００３９】
【数１１】
2010267100.tif 000013
【００４０】
【数１２】
2010267100.tif 000014
【００４１】
【数１３】
2010267100.tif 000015
【００４２】
【数１４】
2010267100.tif 000016
【００４３】
【数１５】
2010267100.tif 000017
【００４４】
数１５となり、このグラフは図８となり、0が最小となる2次曲線であることが分かる。接する条件は、
【００４５】
【数１６】
2010267100.tif 000018
【００４６】
【数１７】
2010267100.tif 000019
【００４７】
数式１７より、
【００４８】
【数１８】
2010267100.tif 000020
【００４９】
【数１９】
2010267100.tif 000021
【００５０】
数１６からωx>0であるため、η>0であるから、
【００５１】
【数２０】
2010267100.tif 000022
【００５２】
数２０を数１６に代入すると、
【００５３】
【数２１】
2010267100.tif 000023
【００５４】
【数２２】
2010267100.tif 000024
【００５５】
よって、
【００５６】
【数２３】
2010267100.tif 000025
【００５７】
となり、探索枠（ωx,ωy）、照合用顔図(a+1,b+1)がともに正方形(アスペクト比1:1)であることが分かる。
【００５８】
より具体的な数字で本発明と、特許文献１について試算してみると表１のようになる。
【００５９】
【表１】
2010267100.tif 000026
【００６０】
照合用画像サイズが24x24画素、探索枠320x240(QVGA面積、本発明では277x277画素の探索枠となる)が、VGA(640x480画素)、SXGA(1280x960)ともに効果があることが分かる。図５、図１０は入力画像がSXGAの場合をそれぞれ図示した結果である。
【００６１】
図１に示すような請求項３記載に示すとおりカメラ、及びカメラ入力装置と組み合わせた画像撮影装置を構成することができ、カメラ入力画像に対しても上記処理は適用することができ、具体的にはデジタル・スチール・カメラといった小型なカメラ装置において本発明を搭載し、高解像度なカメラ入力画像についても画像認識を行うことができる。
【産業上の利用可能性】
【００６２】
本発明にかかる画像認識装置は、高解像度の入力画像に対して画像認識、検出の処理を低減する信号処理方式を有し、処理能力、つまり低消費電力が求められる民生のカメラ製品、デジタル・スチール・カメラ、カムコーダー、携帯電話等のAV機器として有用である。また高解像度対応することから監視カメラ等のセキュリティーカメラ機器への用途にも応用できる。
【符号の説明】
【００６３】
１００    本発明の画像検出装置
１０１    本発明のアスペクト比対応の画像検出装置
１０２    本発明のアスペクト比対応の解像度変換装置
１０３    本発明のアスペクト比算出装置
１０４    画像検出装置を制御するプロセッサ
１０５    本発明の画像撮影装置
２０１    入力画像
２０２    画像検出装置の探索枠
２０３    照合用画像
【図１】
2010267100.tif 000027
【図２】
2010267100.tif 000028
【図３】
2010267100.tif 000029
【図４】
2010267100.tif 000030
【図５】
2010267100.tif 000031
【図６】
2010267100.tif 000032
【図７】
2010267100.tif 000033
【図８】
2010267100.tif 000034
【図９】
2010267100.tif 000035
【図１０】
2010267100.tif 000036
【図１１】
2010267100.tif 000037
【図１２】
2010267100.tif 000038
【図１３】
2010267100.tif 000039