(57)【特許請求の範囲】
【請求項１】
画像をフレーム単位で入力する画像入力手段と、
前記画像入力手段で入力された入力画像を順次、縮小して複数の縮小画像を生成する画像縮小手段と、
前記入力画像及び前記複数の縮小画像を前記入力画像に対する縮小率に従って複数のグループに分類し、前記複数のグループのそれぞれに対して、縮小率が高いグループほどフレームレートが低くなるようにフレームレートを制御する制御手段と、
前記制御手段で制御されたフレームレートで、前記入力画像及び前記複数の縮小画像のそれぞれから特定の物体の検出を行う物体検出手段と、
を有する画像処理装置。
【請求項２】
画像処理装置が実行する物体検出方法であって、
画像をフレーム単位で入力する画像入力ステップと、
前記画像入力ステップで入力された入力画像を順次、縮小して複数の縮小画像を生成する画像縮小ステップと、
前記入力画像及び前記複数の縮小画像を前記入力画像に対する縮小率に従って複数のグループに分類し、前記複数のグループのそれぞれに対して、縮小率が高いグループほどフレームレートが低くなるようにフレームレートを制御する制御ステップと、
前記制御ステップで制御されたフレームレートで、前記入力画像及び前記複数の縮小画像のそれぞれから特定の物体の検出を行う物体検出ステップと、
を含む物体検出方法。
【請求項３】
コンピュータを、
画像をフレーム単位で入力する画像入力手段と、
前記画像入力手段で入力された入力画像を順次、縮小して複数の縮小画像を生成する画像縮小手段と、
前記入力画像及び前記複数の縮小画像を前記入力画像に対する縮小率に従って複数のグループに分類し、前記複数のグループのそれぞれに対して、縮小率が高いグループほどフレームレートが低くなるようにフレームレートを制御する制御手段と、
前記制御手段で制御されたフレームレートで、前記入力画像及び前記複数の縮小画像のそれぞれから特定の物体の検出を行う物体検出手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、物体検出方法及びプログラムに関する。
【背景技術】
【０００２】
画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、例えば人間の顔の判定に利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮等の多くの分野で使用することができる。このような画像中から顔を検出する技術としては、例えば、非特許文献１の"Ｄｅｔｅｃｔｉｎｇ  Ｆａｃｅｓ  ｉｎ  Ｉｍａｇｅｓ：  Ａ  Ｓｕｒｖｅｙ"と題するＹａｎｇらの報告に各種方式が挙げられている。この中では、いくつかの顕著な特徴（２つの目、口、鼻等）とその特徴間の固有の幾何学的位置関係とを利用する等して人間の顔を検出する方式が示されている。
例えば、非特許文献２に"Ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ−ｂａｓｅｄ  ｆａｃｅ  ｄｅｔｅｃｔｉｏｎ"と題するＲｏｗｌｅｙらの報告で提案されている方式は、ニューラル・ネットワークにより画像中の顔パターンを検出する方法である。以下、非特許文献２による顔検出の方法について簡単に説明する。
まず、装置は、顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、装置は、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンとにより予め学習されている。装置は、例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。そして、装置は、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、装置は、様々な大きさの顔の検出に対応するため、読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
【０００３】
上記顔検出を監視カメラに適用する場合には、フレーム間で画面から消える可能性がある被写体を優先して検出していくことが求められる。つまり、画面から消える可能性が高い被写体においては、あるフレームで検出できないと、画面から消える可能性が高いので、次のフレーム以降でも検出できないからである。
ここで、画面から消える可能性のある被写体とは、画面内での動きが大きい被写体である。つまり、フレーム間で画面内の動きの大きい被写体から検出していくことが必要である。
画面内の動きが大きいか、小さいかは被写体とカメラとの距離に依存する。例えば、図１において、被写体Ａと被写体Ｂとがいる。被写体Ａと被写体Ｂとが同じ量の移動をしたとしても、カメラから近いので、被写体Ａは動きが大きくなる。逆に、カメラから遠いので、被写体Ｂは動きが小さくなる。ここで、図１は、カメラと被写体との距離の関係を説明するための図である。
次に、カメラから近い被写体Ａは画像に大きく写る。逆にカメラから遠い被写体Ｂは画像に小さく写る。
このことから、監視カメラでは、小さく写っている被写体よりも、大きく写っている被写体に対する検出を優先的に行うことが必要とされている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＰＡＴＴＥＲＮ  ＡＮＡＬＹＳＩＳ  ＡＮＤ  ＭＡＣＨＩＮＥ  ＩＮＴＥＬＬＩＧＥＮＣＥ，  ＶＯＬ．２４  ，  ＮＯ．１，  ＪＡＮＵＡＲＹ  ２００２.
【非特許文献２】ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＰＡＴＴＥＲＮ  ＡＮＡＬＹＳＩＳ  ＡＮＤ  ＭＡＣＨＩＮＥ  ＩＮＴＥＬＬＩＧＥＮＣＥ，  ＶＯＬ．２０  ，  ＮＯ．１，  ＪＡＮＵＡＲＹ  １９９８.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、様々な解像度の画像に対して、顔検出処理が必要な為、計算量が多い。例えば、大きなサイズの画像から顔検出を行った場合、途中で計算の打ち切りが行われると、画面中に大きく写った顔を検出できない問題があった。一方、小さいサイズの画像から顔検出を行った場合、途中で計算を打ち切ると、画面中に小さく写った顔を検出できない問題があった。
【０００６】
本発明はこのような問題点に鑑みなされたもので、画像からの物体検出にかかる計算量を減らすことを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明の画像処理装置は、画像をフレーム単位で入力する画像入力手段と、前記画像入力手段で入力された入力画像を順次、縮小して複数の縮小画像を生成する画像縮小手段と、前記入力画像及び前記複数の縮小画像を前記入力画像に対する縮小率に従って複数のグループに分類し、前記複数のグループのそれぞれに対して、縮小率が高いグループほどフレームレートが低くなるようにフレームレートを制御する制御手段と、前記制御手段で制御されたフレームレートで、前記入力画像及び前記複数の縮小画像のそれぞれから特定の物体の検出を行う物体検出手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、画像からの物体検出にかかる計算量を減らすことができる。
【図面の簡単な説明】
【０００９】
【図１】カメラと被写体との距離の関係を説明するための図である。
【図２】画像処理装置の構成の一例を示す図である。
【図３】物体検出に係る処理の一例を示すフローチャートである。
【図４】画像から顔パターンの探索を行う処理を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
図２は、画像処理装置の構成の一例を示す図である。
撮像部１０１は、例えばデジタルスチルカメラ、カムコーダ、フィルムスキャナー等で構成され、画像データを撮像する。
画像入力部１０２は、撮像部１０１で撮影した画像データを所定時間間隔で取得し、フレーム単位で出力する。
画像縮小部１０３は、画像入力部１０２から出力された画像データを所定の倍率にしたがって縮小し、出力する。
フレームレート制御部１０４は、入力されたフレーム数をカウントして、縮小画像の顔検出を縮小率に応じた所望のフレームレートで行う為の制御を行う。
画像メモリ１２０は、画像入力部１０２及び画像縮小部１０３から出力された画像データを一時的に記憶する。
顔検出部１０５は、画像の中から顔の領域を抽出する。顔検出部１０５は、以下の領域切り出し部１１１、顔判別部１１２により構成される。
領域切り出し部１１１は、画像メモリ１２０に記憶されている画像データから所定の部分領域を照合対象のパターンとして抽出する。
顔判別部１１２は、領域切り出し部１１１から出力された照合パターンが顔パターンか非顔パターンかを判別する。
【００１１】
以下、画像処理装置１００の動作について説明する。
本実施形態では、画像処理装置１００が、入力画像及び縮小画像を０．８の縮小率で順次、縮小し、それに対して顔を検出していく例を示す。また、本実施形態では、画像処理装置１００が、フレームレートを切り替える入力画像に対する縮小率を０．７と０．４とする。ここで、縮小した画像の縮小率が入力画像に対して０．７以上は小さく写っている顔を検出する高解像度画像、０．７未満で０．４以上は次に小さく写っている顔を検出する中解像度画像、０．４未満は大きく写っている顔を検出する低解像度画像とする。次に、顔検出処理のフレームレートは、高解像度画像で４フレームに１回、中解像度画像で２フレームに１回、低解像度画像でフレーム毎とする。次に本実施形態の動作を図３に従って説明する。
【００１２】
図３は、物体検出に係る処理の一例を示すフローチャートである。
まず、画像入力部１０２は、撮像部１０１で撮影した画像データを取得する（ＳＴＥＰ００１）。ここで取得した画像データは、例えば８ビットの画素により構成される２次元配列データであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合、画像入力部１０２は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。更に、本実施形態ではＲＧＢデータを輝度データ（輝度画像データ）に変換し、輝度画像データを以後の処理に適用するものとする。画像入力部１０２は、画像データとしてＹＣｒＣｂのデータを入力する場合はＹ成分をそのまま輝度データとしてもよい。
画像入力部１０２は、取得した画像データを画像縮小部１０３と画像メモリ１２０とに出力する。
フレームレート制御部１０４は、入力フレーム数をカウントする。フレームレート制御部１０４は、カウント数に応じてＮフレーム目が４フレームに１回である否か判定する（ＳＴＥＰ００２）。
【００１３】
まず、フレームレート制御部１０４がＮフレーム目を４フレームに１回ではないと判定した場合について説明する。即ち、Ｎを４で割った余りが０以外の場合、顔検出部１０５は、高解像度画像の顔検出処理は行わない。この場合、画像縮小部１０３は、中解像度画像の顔検出処理で必要な倍率の縮小画像を生成する（ＳＴＥＰ１００）。中解像度画像の顔検出処理では、入力画像に対して０．７未満の縮小率の画像が必要になる。その為、ＳＴＥＰ１００では、画像縮小部１０３は、入力画像に対して、０．８の倍率を２回掛けた０．６４の倍率で縮小する。つまり、画像縮小部１０３は、画像入力部１０２から出力されてくる入力画像に対して０．６４の倍率で縮小を行い、画像メモリ１２０に出力する。
【００１４】
次に、フレームレート制御部１０４がＮフレーム目を４フレームに１回であると判定した場合について説明する。即ち、Ｎを４で割った余りが０の場合、顔検出部１０５は、画像メモリ１２０に保存されている入力画像で顔検出処理を行う（ＳＴＥＰ００３）。まず、領域切り出し部１１１は、画像メモリ１２０に保存されている入力画像を選択して読み出す。領域切り出し部１１１は、読み出した画像データから所定の大きさの部分領域を抽出して、顔判別部１１２に出力する。この様子を図４に示す。図４のＡの列は画像縮小部１０３で縮小されたそれぞれの縮小画像を示しており、ここでは、それぞれの縮小画像に対して所定の大きさの矩形領域を切り出すものとする。図４のＢの列はそれぞれの縮小画像から縦横順次に走査を繰り返していく途中の切り出しの様子を示すものである。
顔判別部１１２は、領域切り出し部１１１で抽出された照合パターンが顔パターンか非顔パターンかを判別する。顔判別部１１２における顔判別の方法は、例えば非特許文献２による方法を用いる。
次に、画像縮小部１０３は、画像入力部１０２から出力されてくる入力画像を０．８の倍率に縮小する（ＳＴＥＰ００４）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。
ここで、フレームレート制御部１０４は、縮小した画像の縮小率が入力画像に対して０．７より小さいか比較する（ＳＴＥＰ００５）。０．７以上の場合には再度、顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出の処理を行う（ＳＴＥＰ００３）。更に、画像縮小部１０３は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像を０．８の倍率に縮小する（ＳＴＥＰ００４）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。ここで再度、ＳＴＥＰ００５に進む。このようにして、画像を縮小していき、縮小率が入力画像に対して０．７より小さくなるまで繰り返して高解像度画像の顔検出が終了する。
【００１５】
次に、中解像度画像の顔検出の処理について説明する。
フレームレート制御部１０４は、Ｎフレーム目が２フレームに１回であるか判定する（ＳＴＥＰ００６）。
まず、フレームレート制御部１０４がＮフレーム目を２フレームに１回ではないと判定した場合について説明する。即ち、Ｎを２で割った余りが０以外の場合、顔検出部１０５は、中解像度画像の顔検出処理は行わない。この場合に、低解像度画像の顔検出処理で必要な倍率の縮小画像を生成する必要がある（ＳＴＥＰ１０１）。低解像度画像の顔検出処理では、入力画像に対して０．４未満の縮小率の画像が必要になる。ＳＴＥＰ００４若しくはＳＴＥＰ１００で、入力画像に対して０．６４の倍率で縮小されている。その為、ＳＴＥＰ１０１では、画像縮小部１０３が、ＳＴＥＰ００４若しくはＳＴＥＰ１００で縮小された画像に対して、０．８の倍率を３回掛けた０．５１２の倍率で縮小する。つまり、ＳＴＥＰ１０１で縮小する画像は、入力画像に対して０．３２７６８の倍率になる。以上から、画像縮小部１０３は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して０．５１２の倍率で縮小を行い、画像メモリ１２０に出力する。
【００１６】
次に、フレームレート制御部１０４がＮフレーム目を２フレームに１回であると判定した場合について説明する。即ち、Ｎを２で割った余りが０の場合、顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出処理を行う（ＳＴＥＰ００７）。次に、画像縮小部１０３は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像を０．８倍の倍率に縮小する（ＳＴＥＰ００８）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。
ここで、フレームレート制御部１０４は、縮小した画像の縮小率が入力画像に対して０．４より小さいか比較する（ＳＴＥＰ００９）。０．４以上の場合には再度、顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出の処理を行う（ＳＴＥＰ００７）。その後、画像縮小部１０３は、縮小画像の中で最も小さい画像を０．８の倍率に縮小する（ＳＴＥＰ００８）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。ここで再度、ＳＴＥＰ００９に進む。このようにして、画像を縮小していき、縮小率が入力画像に対して０．４より小さくなるまで繰り返して中解像度画像の顔検出が終了する。
【００１７】
次に、低解像度画像の顔検出のフローについて説明する。低解像度の画像の顔検出処理はフレーム毎、行われる。顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出処理を行う（ＳＴＥＰ０１０）。次に、フレームレート制御部１０４が、低解像度画像の縮小率により低解像度画像の顔検出が終了するか判定を行う。ただし、縮小率は、画像メモリ１２０に保存されている縮小画像の縮小率ではなく、フレームレート制御部１０４は、次のＳＴＥＰ０１２で縮小した場合の縮小率で比較を行う。つまり、フレームレート制御部１０４は、ＳＴＥＰ０１２で縮小した場合の縮小率が入力画像に対して０．２より小さいか比較する（ＳＴＥＰ０１１）。ここで、画像縮小部１０３が縮小する画像の縮小率が入力画像に対して０．２未満であると、ここで終了する。
画像縮小部１０３が縮小する画像の縮小率が入力画像に対して０．２以上の場合、画像縮小部１０３は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像を０．８倍の倍率に縮小する（ＳＴＥＰ０１２）。画像縮小部１０３は、縮小した画像データを画像メモリ１２０に出力する。その後、顔検出部１０５は、画像メモリ１２０に保存されている縮小画像の中で最も小さい画像に対して顔検出の処理を行う（ＳＴＥＰ０１０）。同じように、フレームレート制御部１０４は、次のＳＴＥＰ０１２で縮小する画像の縮小率が入力画像に対して０．２より小さいか比較する（ＳＴＥＰ０１１）。
このようにして、画像を縮小していき、縮小率が入力画像に対して０．２より小さくなるまで繰り返して低解像度画像の顔検出が終了する。
【００１８】
以上のように、画像処理装置１００は、大きく写っている被写体は所定のフレームレートより高い高フレームレートで検出を行い、小さく写っている被写体は所定のフレームレートより低い低フレームレートで検出処理を行う。このことにより、処理負荷が軽くなると共に、カメラから近い被写体はフレーム毎に認識することができる。
以上説明した実施形態では、入力画像及び縮小画像の縮小率を０．８で説明したが、これは一例であって他の縮小率でもよい。
また、本実施形態では、フレームレートを切り替える入力画像に対する縮小率を０．７と０．４とで説明した。つまり、画像処理装置１００は、縮小率が所定の縮小率以上（０．７以上）の画像に対しては低フレームレートで被写体（物体）の検出を行い、縮小率が所定の縮小率未満（０．４未満）の画像に対しては高フレームレートで被写体の検出を行うよう説明した。しかしながら、これは一例であって他の複数の縮小率でもよい。
また、本実施形態では、顔検出のフレームレートを高解像度画像は４フレームに１回、中解像度画像は２フレームに１回、低解像度画像はフレーム毎で説明したが、他のフレームレートでもよい。
また、本実施形態では、様々な大きさの顔を検出する為に、複数の解像度の画像から、画像中の顔パターンを検出することによりする方法で説明したが、顔検出部１０５を人体等の他のオブジェクトの検出に置き換えてもよい。
【００１９】
＜その他の実施形態＞
上述した機能又はフローチャートに係る工程は、ネットワーク又は各種記憶媒体を介して記憶装置等に記憶したソフトウェア（プログラム）をパソコン（コンピュータ）等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【００２０】
以上、上述した各実施形態によれば、画像からの物体検出にかかる計算量を減らすことができる。
【００２１】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００２２】
１０２  画像入力部、１０３  画像縮小部、１０５  顔検出部
【図１】
0005517555.tif 000002
【図２】
0005517555.tif 000003
【図３】
0005517555.tif 000004
【図４】
0005517555.tif 000005