(57)【特許請求の範囲】
【請求項１】
監視対象の複数の画像情報を外部から連続的に受け、前記画像情報中の移動物体を検出する移動物体検出手段と、
前記移動物体検出手段が前記移動物体を検出したとき、その移動物体を含む複数の前記画像情報を抽出する画像抽出手段と、
前記画像抽出手段が抽出した前記移動物体を含む複数の前記画像情報から、所定枚数の画像情報を適宜選択し出力する画像情報選択手段とを有し、
前記画像情報選択手段は、前記画像抽出手段が抽出した前記移動物体を含む複数の前記画像情報のうち、予め設定された選択率に基づき算出される枚数の画像情報を超えない範囲で、前記移動物体検出手段が検出した前記移動物体の顔方向の状態に基づき異なる枚数の画像情報を選択する
ことを特徴とする画像監視システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像処理装置であって、特にカメラ等からの画像情報を用いる画像監視システムに関するものである。
【０００２】
【従来の技術】
最近、例えばコンビニエンスストア等の店舗においては、店内に設置されたＩＴＶカメラ等からの監視映像に基づく監視システムが非常に普及している。この監視システムには色々な形態があり、例えば以下の３種類が代表的に挙げられる。
【０００３】
一つは、店内に設置されたＩＴＶカメラが撮影した監視映像を監視センタに伝送し、監視員がモニタできるようにする監視システムがある。
【０００４】
又、同様にＩＴＶカメラが撮影した監視映像を、タイムラプスＶＴＲに一定間隔ごとに録画する監視システムがある。このシステムでは、監視員が常にモニタしている必要はなく、後に必要に応じて録画された画像を参照することができる。
【０００５】
更に、同様にＩＴＶカメラが撮影した監視映像から画像の変化に基づいて人物を検出し、ＶＴＲへの録画やディスクへの保存を行なう監視システムがある。このシステムでは、監視の対象となるべき画像変化があったときのみ画像を保存するので、少ない記憶容量でより効率的な監視画像の収集を行うことができる。
【０００６】
【発明が解決しようとする課題】
しかしながら上記した各々の監視システムでは、以下のようにそれぞれ問題を有している。
【０００７】
つまり、第１の監視システムでは、監視員が常時この監視画像をモニタしていなければならならず、人件費がシステムのコストとして非常に負担となるという問題がある。
【０００８】
第２の監視システムでは、一定時間ごとに録画されるだけなので、人物のいない無意味な画像が多く記録されるため、記憶容量の不足や、必要画像の検索の困難性などが問題としてある。
【０００９】
又更に第３の監視システムでは、人物のいる画像のみが得られるが、それが必ずしも後からの監視画像の確認に適切な画像だけではないという問題がある。
【００１０】
本発明は、ＩＴＶカメラ等からの撮影画像から監視に必要な画像だけを抽出し格納することで、より効率的な監視処理を実現する画像監視システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、監視対象の複数の画像情報を外部から連続的に受け、前記画像情報中の移動物体を検出する移動物体検出手段と、前記移動物体検出手段が前記移動物体を検出したとき、その移動物体を含む複数の前記画像情報を抽出する画像抽出手段と、前記画像抽出手段が抽出した前記移動物体を含む複数の前記画像情報から、所定枚数の画像情報を適宜選択し出力する画像情報選択手段とを有し、前記画像情報選択手段は、前記画像抽出手段が抽出した前記移動物体を含む複数の前記画像情報のうち、予め設定された選択率に基づき算出される枚数の画像情報を超えない範囲で、前記移動物体検出手段が検出した前記移動物体の顔方向の状態に基づき異なる枚数の画像情報を選択することを特徴とする画像監視システムである。
【００１２】
本発明は上記した構成により、従来のように移動物体を検出するとそれらの全てを選択し出力するのではなく、移動物体を含む画像のうち一部を例えば均等に適宜選択して出力するものである。こうすることで、扱うべき画像情報が非常に洗練されるため、例えば記憶領域に格納する場合でも記憶容量を格段に節約でき、又この画像に基づいて監視対象を検索するとしても比較的短時間に検索を完了させることができる。
【００３７】
【発明の実施の形態】
この発明の各々の実施形態について、図面を参照して以下に詳細に説明する。
【００３８】
（第１実施形態）
まず初めに第１実施形態について、図面を用いて説明する。図１は、第１乃至第４実施形態の全体構成を示すブロックダイアグラムである。
【００３９】
図１において、この画像監視システムの全体は、画像入力部１、Ａ／Ｄ変換部２、画像バッファ（画像メモリ）３、画像処理部４（処理プロセッサ）からなる。
【００４０】
画像入力部１によって撮像された画像はＡ／Ｄ変換部２によってディジタル信号に変換され、画像メモリ３に格納される。処理プロセッサ４はその画像データを読み込んでディジタル画像処理を行なう。画像入力部１は例えば通常のＣＣＤカメラであってよい。
【００４１】
以下に、処理プロセッサ４での処理内容について詳細に説明する。図２は、第１実施形態の処理プロセッサ部の処理の流れを示すフローチャートである。
【００４２】
図２において、処理プロセッサ４で行なわれる処理の流れを示す。処理手順は、同一人物が存在するＮ枚の連続画像系列を切り出す処理（Ｓ５）と、選択画像枚数Ｐを決定する処理（Ｓ６）と、Ｎ枚の画像系列からＰ枚を選択する処理（Ｓ７）からなる。
【００４３】
図３は、シーン抽出の様子を示す説明図であり、上記したＮ枚の連続画像系列の切り出し処理（Ｓ５）は、画像メモリ３から読み出された画像と、基準となる背景画像とを比較し、それらの違いから侵入した人物候補領域を検出し、人物が検出されている連続画像系列をシーンとして抽出するものである。
【００４４】
人物領域検出は、例えば、連続する画像に対して差分処理を行ない、ノイズの影響を抑えるために平滑化処理を行なった後ある一定しきい値で２値化し、４連結または８連結の意味で空間的に連結する領域として統合・ラベリングを行ない、その領域の大きさ・形状から人物としての尤度の高いものを選択すればよい。このとき、２値化のしきい値は、あらかじめ与えた値であってもよいし、頻度分布の分散比を最大化する値とする手法［１］で決定してもよい。
【００４５】
別手法として、事後確率にもとづく手法［２］を用いてもよい。事象θ０を背景、事象θ１を人物として、ある画像内の画素の輝度を観測する前のθ０，θ１の事前確率をそれぞれｗ０，ｗ１（ただし、ｗ０＋ｗ１＝１）とし、事象θｋのもとでの画像輝度Ｉの条件付き確率をＰ（Ｉ｜θｋ）とすれば、ベイズの定理により、Ｉが観測された後の事後確率ｗ１′は
ｗ１′＝ｗ１* Ｐ（Ｉ｜θ１）／｛ｗ０* Ｐ（Ｉ｜θ０）＋ｗ１* Ｐ（Ｉ｜θ０）｝で求められる。このｗ１′があるしきい値よりも大きい画素を人物に属する画素とし、この領域がある一定のものを人物として検出すればよい。
【００４６】
次に、同一人物が検出されている連続画像系列を一つのシーンとして切り出すための手順の一例を説明する。最初の画像（第１フレーム）の決定は、例えば監視画面の一方の端に初めて人物候補領域が検出された時（人物侵入時）とする。また、最後の画像（最終フレーム）の決定は、例えば監視画面の一方の端に人物候補領域が検出された後に人物候補領域が検出されなくなった時（人物退出時）とする。この結果、切り出された画像枚数をＮとする。
【００４７】
同一人物が含まれる連続画像の切り出しは、上記に限定されるものではなく、例えば、画面内検知位置によってあらかじめ定めておいたゾーンごとに分割して切り出してもよい。また、その位置・大きさ・移動速度・色情報の類似度などにより画像間で人物の対応づけを行ないながら追跡処理を行なうことにより、人物の動きとみなされない場合は、その人物候補領域を候補より除くなどの処理を行ない、人物判定の信頼性を高めることも可能である。
【００４８】
また、人物は一人に限定されるものではなく、複数人物が含まれる場合でもこれらの追跡を行なうことにより各自が存在する連続画像をそれぞれ切り出すことが可能である（この場合、画像は重複して切り出される）。あるいは、複数人物が存在している連続画像を一まとまりとして切り出してもよい。
【００４９】
最後に、選択画像枚数Ｐの決定方法を説明する。
【００５０】
ここでは、選択画像枚数Ｐを、選択率αをもとにＰ＝［α* Ｎを越えない最大整数］とする。選択率αはあらかじめユーザが与えておいたものでもよいし、画像伝送部５：の混雑具合いにしたがって動的に変更してもよい。そして、Ｎ枚の中から均等に間引いてＰ枚を選択するものとする。
【００５１】
以上の第１実施形態として示した手順により、従来のように移動物体が示された画像の全て（Ｎ枚）を選択出力するのではなく、これを一定の手法で選択することにより代表となるＰ枚を選択するものである。こうすることにより、画像の保存をする際にも非常に記憶容量の節約を行うことができ、更に後に照合検索等を行う場合も効率的な処理を行うことができる。
【００５２】
（第２実施形態）
次に本発明の第２実施形態について図面を用いて説明する。本発明の実施形態の全体構成は、図１に示した第１実施形態と同じである。
【００５３】
以下に、処理プロセッサ４での処理内容について詳細に説明する。
【００５４】
図４は、第２実施形態の処理プロセッサ部の処理の流れを示すフローチャートであり、処理プロセッサ４で行なわれる処理を示す。図４において処理手順は、Ｎ枚の連続画像系列をバッファリングする処理（Ｓ８）と、その連続画像系列の各画像に対して顔認識を行なって選択優先度を計算する処理（Ｓ９）と、その選択優先度に基づいて画像を選択する処理（Ｓ１０）とからなる。
【００５５】
処理Ｓ８は、単純に一定時間ごとにＮ枚をバッファリングしてもよいし、第１実施形態と同様に動き検知を行ない、人物が存在するＮ枚の連続画像を切り出してもよい。パラメータＰの値は、あらかじめ固定値として与えておいてもよいし（ＰがＮ以上の時は、選択を行なわない）、第１実施形態のように選択率αをもとにＰ＝［α* Ｎを越えない最大整数］としても良い。次に、与えられた連続画像系列の各画像に対して顔認識を行なって選択優先度を計算する方法について図５を用いて具体的に説明する。図５は、画像選択部における処理の具体例を示す説明図である。
【００５６】
２−１．人物の顔方向評価値
例えば、人物の顔が正面向きで写っている画像は、より人物検証に適した画像であると考えられる。そこでユーザの求める顔方向（例えば正面顔）に近い画像に高い評価値を与え、優先的に選択する。
【００５７】
人物の顔方向は、例えば正準判別分析［３］により求めることができる。これは、正面顔、左向き顔、右向き顔などのクラスに分類された学習用顔画像を用意して、以下のような正準判別分析による識別を行なうことで実現できる。
【００５８】
（ａ）Ａ×Ｂドットの顔領域の画素値をＡ×Ｂ次元のベクトルと考え、クラス内分散Ｓｂ、クラス間分散Ｓｗを計算する。
【００５９】
（ｂ）ｉｎｖ（Ｓｗ）Ｓｂ  ｖ＝λｖなる固有値問題を解く（ｉｎｖ（Ｓｗ）はＳｗの逆行列）。
【００６０】
（ｃ）Ｖ＝固有ベクトルｖｉを列ベクトルとする射影行列を求める。
【００６１】
（ｄ）各クラス画像の平均ベクトルをＶに射影し、各クラスの平均射影ベクトルを計算する。
【００６２】
（ｅ）認識時に入力画像領域をＶに射影し、その結果を（ｄ）における平均射影ベクトルと比較し、最も距離の近いクラスが入力画像の属するクラスだとするこの識別処理を、Ｎ枚の画像選択処理で検出された人物候補領域に対して行なうことで、顔の検知と顔方向の識別を行なうことができる。
【００６３】
図６は、顔方向識別処理の概念を示す説明図であり、上記の説明を補うものである。
【００６４】
この手法の他に、目・鼻・口などの標準パターンを用意し、そのパターンと人物領域とのマッチングをとり、パターンの位置関係から顔の向きを認識してもよい。
【００６５】
このようにして得られた顔方向に対して、ユーザが与えた評価値
｛正面顔＝１００、左斜め顔＝７０、右斜め顔＝７０、
右顔＝４０、左顔＝４０、後ろ側＝１０、…｝
を適用することで、人物の顔方向評価値Ｅ１が決定できる。
【００６６】
２−２．人物の顔面積評価値
人物の顔が大きく写っている画像は、より人物検証に適した画像であると考えられる。そこで人物の顔面積が大きい画像に高い評価値を与え、優先的に選択する。顔領域の面積Ｓは、例えば連結した肌色領域の面積を求めることで得ることができる。よって、この値を人物の顔面積評価値とすればよい。
【００６７】
Ｅ２＝Ｓ
２−３．人物の顔コントラスト評価値
顔のコントラストが高い画像は、より人物検証に適した画像であると考えられる。そこでこのコントラストが高い画像に高い評価値を与え、優先的に選択する。顔コントラストは、顔領域の輝度の分散値μをもとに計算できる。分散が大きいほど輝度の違いが大きくコントラストが高いといえるので、これを評価値とすればよい。よって、
Ｅ３＝μ
とすることができる。
【００６８】
２−４．人物の肌色鮮明度評価値
肌色の鮮明度が高い画像は、より人物検証に適した画像であると考えられる。そこでこの鮮明度が高い画像に評価値を与え、優先的に選択する。肌色鮮明度は、ＲＧＢ画像をＨＳＶ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｖａｌｕｅ）空間に変換する式［３］にもとづいて、顔領域の平均彩度（Ｓａｔｕｒａｔｉｏｎ）をみることで評価することができる。
【００６９】
例えば彩度Ｓは、
Ｓ＝（Ｉ−ｉ）／Ｉ
ただしＩ＝ｍａｘ（Ｒ、Ｇ，Ｂ），ｉ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）
または
Ｓ＝｛（Ｂ−Ｒ）２＋（Ｒ−Ｇ）２＋（Ｇ−Ｂ）２｝／３
で求めることができる。よって肌色鮮明度評価値は、
Ｅ４＝Ｓ
とすることができる。
【００７０】
２−５．人物の顔表情評価値
顔の表情がニュートラル（目つぶりなどをしていない）な画像は、より人物検証に適した画像であると考えられる。そこでこの表情に優先度を与えて評価値を計算する。顔表情評価値は、例えば、普通の表情、目つぶり顔、口開き顔などのクラスに分類された学習用顔画像を用意して、前述した顔方向識別と同様の正準判別分析による識別を行ない、各クラスにユーザが与えた評価値
｛普通の表情＝１００、目つぶり顔＝７０、口開き顔＝６０、…｝
をもとにＥ５を決定すればよい。
【００７１】
また他の方法として、開いた目、閉じた目、開いた口、閉じた口などの標準パターンを用意し、そのパターンと顔領域とのマッチングをとり、パターンの組合せから表情を識別する方法で行なってもよい。
【００７２】
実施形態は、上記に限定されるものではなく、シーン中に複数の人物が存在する場合は、例えば各人物に対する評価値を加算するなどすればよい。また、上記は、別々の独立した評価値としたが、これらを組み合わせて一つの評価値としてもよい。例えば、複数の評価値Ｅ１，Ｅ２，…，Ｅｘ（ｘは５以下）に対して重み付け係数ｗ１，ｗ２，…，ｗｘをあらかじめ定義しておき、重み付け加算すればよい。
【００７３】
Ｅ６＝ｗ１* Ｅ１＋ｗ２* Ｅ２＋…＋ｗｘ* Ｅｘ
また、評価尺度自身に優先順を定義し、Ｅ１で優先度順位をつけて同位の場合はＥ２で優先度順位をつけ、Ｅ２でも同位の場合はＥ３で優先度順位をつけていくという処理を行なってもよい。
【００７４】
次に、その選択優先度に基づいて画像を選択する処理について説明する。ここでは、Ｎ枚の画像系列から、選択優先度の大きい順番にＰ枚の画像を選択する（ＰはＮ以下の整数で、適当にシステムより与えられるものとする）。選択された画像は、ネットワーク画像伝送したり、磁気ディスクやＶＴＲなどの適当な画像記憶装置に保存する目的に使用することができ、選択された適切な画像のみを伝送・保存すればよいので伝送容量と保存容量が少なくて済む。
【００７５】
処理形態については、ここではＮ枚からＰ枚を選択するとしているが、画像が１枚入力されるごとにその優先度Ｅｉを計算し、優先度があるしきい値以上の時に選択画像とするような逐次処理であってもよい。
【００７６】
以上第２実施形態に示す方法で移動画像を選別し出力することで、様々な顔画像の諸条件に応じて、より効率的な顔画像の監視処理を実現することが可能となる。
【００７７】
（第３実施形態）
次に本発明の第３実施形態について図面を用いて説明する。本発明の実施形態の全体構成は、図１で示した第１実施形態と同じである。
【００７８】
以下に、処理プロセッサ４での処理内容について詳細に説明する。
【００７９】
図７は、第３実施形態の処理プロセッサ部の処理の流れを示すフローチャートであり、処理プロセッサ４で行なわれる処理の流れを示す。処理手順は、Ｎ枚の連続画像系列をバッファリングする処理（Ｓ１１）と、その連続画像系列の各画像に対して人物の全身認識を行なって選択優先度を計算する処理（Ｓ１２）と、その選択優先度に基づいて画像を選択する処理（Ｓ１３）とからなる。処理（Ｓ１１）に関しては、第２実施形態と同様であってよい。
【００８０】
次に、与えられた連続画像系列の各画像に対して人物の全体認識を行なって選択優先度を計算する方法（処理Ｓ１２）について具体的に説明する。図８は、人物の計数、移動、全身性の認識処理を示す説明図であり、第３実施形態を説明するものである。
【００８１】
３−１．人物の人数評価値
人物数が多い画像は、監視領域の様子をよりよくとらえているとして、これらを適切な画像として選択することが考えられる。逆に、人物数が少ないシーンは、監視領域での不正行為が行なわれている可能性が高いとして、これらを適切な画像として選択することも考えられる。よって、画像中の人物数にもとづいて優先度の評価値を求めることができる。最初に第１実施形態と同様な方法で人物領域を抽出し、それらの領域数から画面中に含まれている人物数Ｎｈを求める。よって人数評価値は、
Ｅ７＝  Ｎｈ  （人数が多いものを優先する場合）
または
Ｅ７＝１／Ｎｈ（人数が少ないものを優先する場合）
とすることができる。
【００８２】
３−２．人物の全身性評価値
人物の全体像をとらえている画像は、身長の高さ・服の色柄などが分かるため後からの人物検証に役立つので、このような画像に高い評価値を与え、優先的に選択する。最初に、第１実施形態と同様な方法で各画像ごとの人物領域の面積を計算する、次に、第２実施形態と同様な方法で顔領域面積を計算する。すなわち、人物領域の面積をＳ０、顔領域の面積をＳ１とすると、
Ｅ８＝Ｓ０／Ｓ１
は全体像をどれだけとらえているかの評価値となる。例えば人物面積Ｓ０に対して顔面積Ｓ１が小さいということは、体部分までの全体像をよくとらえているということを意味し、その時Ｓ０／Ｓ１は大きな値をもつ。
【００８３】
実施形態は、上記に限定されるものではなく、シーン中に複数の人物が存在する場合は、例えば各人物に対する評価値を加算するなどすればよい。また、上記は、別々の独立した評価値としたが、これらを組み合わせて一つの評価値としてもよい。例えば、複数の評価値Ｅ７，Ｅ８に対して重み付け係数ｗ７，ｗ８をあらかじめ定義しておき、重み付け加算すればよい。
【００８４】
Ｅ９＝ｗ７* Ｅ７＋ｗ８* Ｅ８
また、評価尺度自身に優先順を定義し、Ｅ７で優先度順位をつけて同位の場合はＥ８で優先度順位をつけるという階層的な処理を行なってもよい。
【００８５】
次に、その選択優先度に基づいて画像を選択する処理（Ｓ１３）について説明する。ここでは、第２実施形態と同様に、Ｎ枚の画像系列から、選択優先度の大きい順番にＰ枚の画像を選択する（ＰはＮ以下の整数で、適当にシステムより与えられるものとする）。選択された画像は、ネットワーク画像伝送したり、磁気ディスクやＶＴＲなどの適当な画像記憶装置に保存する目的に使用することができ、選択された適切な画像のみを伝送・保存すればよいので伝送容量と保存容量が少なくて済む。
【００８６】
処理形態については、ここではＮ枚からＰ枚を選択するとしているが、画像が１枚入力されるごとにその優先度Ｅｉを計算し、優先度があるしきい値以上の時に選択画像とするような逐次処理であってもよい。
【００８７】
第３実施形態においても、人物の人数、人物の全身性等の条件を設けることで、より効率的な人物の監視処理を実現することができる。
【００８８】
（第４実施形態）
本発明の実施形態の全体構成は、図１に示す第１実施形態と同じである。
【００８９】
以下に、処理プロセッサ４での処理内容について詳細に説明する。図９は、第４実施形態の処理プロセッサ部の処理の流れを示すフローチャートであり、処理プロセッサ４で行なわれる処理の流れを示す。処理手順は、Ｎ枚の連続画像系列をバッファリングする処理（Ｓ１４）と、与えられたＮ枚の連続画像系列のある画像Ｉｉに対し、Ｉｉ自身と過去のｋ枚の画像の情報をもとに選択優先度を求める関数Ｅ（ｆｉ）＝ｆ（Ｉｉ−ｋ，Ｉｉ−ｋ＋１，…，Ｉｉ）を定義し（Ｉｉ−ｋは、「ｉ−ｋ番目の画像Ｉ」を表す）、この関数にもとづいて選択優先度を計算する処理（Ｓ１５）と、その選択優先度に基づいて画像を選択する処理（Ｓ１６）とからなる。処理（Ｓ１４）については、第２実施形態と同様でよい。
【００９０】
次に、関数にもとづいて、選択優先度を計算する処理（Ｓ１５）について説明する。図８は、人物の計数、移動、全身性の認識処理を示す説明図である。
【００９１】
４−１．人物の移動速度評価値
移動速度が小さいシーンは人物が安定して静止しており、より人物検証のしやすい適切な画像であると考えられる。よって、より移動速度が小さいシーンに高い評価値を与え、優先的に選択する。
【００９２】
画像Ｉｉ−１とＩｉに含まれる人物領域の情報に対して、位置・大きさ・色の類似性などをもとに人物領域の対応関係を求め（人物追跡）、それらの位置の変化から移動ベクトル（移動速度）Ｖが求まる。よって人物の移動速度評価値は
Ｅ１０＝１／（ｃ＋Ｖ）  （ｃは、Ｖ＝０の時にゼロ除算を避けるための定数）
とすることができる。
【００９３】
４−２．人物の非定常性評価値
人物が通常とは異なる動作を行なったシーンは、なんらかの特殊なイベントが発生している可能性が高く、検証において重要である。よってこれらの非定常性に対して高い評価値を与え、優先的に選択する。
【００９４】
あらかじめ、定常的な動作・非定常的な動作に対する人物領域の特徴量（例えば移動ベクトル、位置、大きさ、形状）の変化系列の標準パターンを学習しておく。入力画像系列Ｉｉ−ｋ，Ｉｉ−ｋ＋１，…，Ｉｉに対しても同様に人物領域の特徴量の変化系列を求め、これらをＤＰマッチングやＨＭＭモデルによるマッチングなどを行なって標準パターンとのマッチングを行なう。
【００９５】
このときの定常的な動作としては、例えばコンビニエンスストア内での画像監視システムであれば、一般の客が立ち入るはずのないレジカウンタ内への侵入等が考えられる。画像内のレジカウンタ領域を設定しておくことで、移動物体がこの画像領域に侵入することを特殊イベントと判断する場合などである。
【００９６】
ここで、入力画像系列に対して、定常動作の特徴量変化パターン群ではＡｍと最もマッチングスコアＳｃｏｒｅ（Ａｍ）が高く、非定常動作の特徴量変化パターン群ではＢｎと最もマッチングスコアＳｃｏｒｅ（Ｂｎ）が高かったとすれば、非定常性を表す評価値は
ＥＥ＝（非定常との類似度）−（定常との類似度）＝Score(Bn)−Score(Am)
で求めることができる。複数の特徴量系列に対する評価値ＥＥ１，ＥＥ２，…，ＥＥｘを用いる場合は、重み付け係数ｗｗ１，ｗｗ２，…，ｗｗｘにより重み付け加算すればよい。
【００９７】
Ｅ１１＝ｗｗ１* ＥＥ１＋ｗｗ２* ＥＥ２＋…＋ｗｗｘ* ＥＥｘ
上記は、別々の独立した評価値としたが、これらを組み合わせて一つの評価値としてもよい。例えば、複数の評価値Ｅ１０，Ｅ１１に対して重み付け係数ｗ１０，ｗ１１をあらかじめ定義しておき、重み付け加算すればよい。
【００９８】
Ｅ１２＝ｗ１０* Ｅ１０＋ｗ１１* Ｅ１１
また、評価尺度自身に優先順を定義し、Ｅ１０で優先度順位をつけて同位の場合はＥ１１で優先度順位をつけるという階層的な処理を行なってもよい。
【００９９】
次に、その選択優先度に基づいて画像を選択する処理（Ｓ１１）について説明する。ここでは、第２実施形態と同様に、Ｎ枚の画像系列から、選択優先度の大きい順番にＰ枚の画像を選択する（ＰはＮ以下の整数で、適当にシステムより与えられるものとする）。選択された画像は、ネットワーク画像伝送したり、磁気ディスクやＶＴＲなどの適当な画像記憶装置に保存する目的に使用することができ、選択された適切な画像のみを伝送・保存すればよいので伝送容量と保存容量が少なくて済む。
【０１００】
処理形態については、ここではＮ枚からＰ枚を選択するとしているが、画像が１枚入力されるごとにその優先度Ｅｉを計算し、優先度があるしきい値以上の時に選択画像とするような逐次処理であってもよい。
【０１０１】
第４実施形態においても、人物の移動速度や、所定領域内への侵入の検出等を参考にして画像を選別することで、より効率的な画像監視処理を実現することができる。
【０１０２】
（第５実施形態）
本発明の実施形態の全体構成は、図１に示された第１実施形態と同じである。
【０１０３】
以下に、処理プロセッサ４での処理内容について詳細に説明する。
【０１０４】
図１０は、第５実施形態の処理プロセッサ部の処理の流れを示すフローチャートであり、処理プロセッサ４で行なわれる処理の流れを示す。処理手順は、Ｎ枚の連続画像系列をバッファリングする処理（Ｓ１７）と、シーンに含まれる全画像Ｎ枚（Ｉ０からＩＮ）からＰ枚を選ぶ「組み合せ」ｎＣｐ通りに対して評価関数ｇ（  ）を定義し、この関数にもとづいて選択優先度を計算する処理（Ｓ１８）と、その選択優先度に基づいて画像を選択する処理（Ｓ１９）とからなる。処理（Ｓ１７）については、第２実施形態と同様でよい。
【０１０５】
次に、関数に基づいて選択優先度を計算する処理１４について図１１を参照して説明する。図１１は、Ｐ枚の組み合わせに基づく画像選択部における処理の具体例を示す説明図である。
【０１０６】
５−１．人物位置の多様性
ある人物が侵入してから退出するまでに移動した軌跡をできるだけ等間隔にサンプルする画像を選択すれば、それは人物の行動の全体をより適切に要約していると考えられる。よってこのような画像をＰ枚選択する。（画像枚数にもとづいた単純な等間隔サンプリングでは、立ち止まり状態ばかりが選択されてしまう場合がある）
画像Ｉｉにおける人物の座標（Ｘ（Ｉｉ），Ｙ（Ｉｉ））は、Ｎ枚の画像系列の選択部８：において人物候補領域として求まっている。またＩｉからＩｊへの移動ベクトルは、Ｉｉにおける座標とＩｊにおける座標の差として求められる。よって、Ｎ枚の画像からＰ枚を選び出した｛Ｉ′ｉ，…，Ｉ′Ｐ｝の画像の組（ｎＣｐ通り）に対して、移動ベクトルの平均Ｖａｖｅと移動ベクトルの分散Ｖｄｉｓｐを求め、Ｖａｖｅが最大、Ｖｄｉｓｐが最小となるようなＰ枚の組を選択すればよい。つまり、Ｖａｖｅが大きいということは画像間での移動が大きくなるよう適切に選択されていることを示しており、またＶｄｉｓｐが小さいということはより等間隔に近いサンプリングが行なえていることを示している。図１２は、人物位置の多様性に基づく選択の例を示す図である。
【０１０７】
５−２．人物顔の多様性
ある人物がより様々な方向を向いた画像を選択すれば、それは人物の特徴をより多くとらえており、検証に役立つと考えられる。よってこのような画像をＰ枚選択する。まず顔の方向とその尤度は、前述した正準判別分析による顔方向識別によって求められる。この時にシーンに含まれる顔方向クラスの種類数をＣとする。より多様な顔方向の画像を得るには、Ｎ枚からＰ枚選ぶ組み合せの中から、顔方向の分散の大きい組を選択すればよい。例えば、顔方向クラスに１，２，…，Ｃのクラス番号をつけ、Ｐ枚の画像のクラス番号値の分散が最大になるように選択する。（どのクラスもまんべんなく選択されると、クラス番号値の分散は大きくなる）またこのとき、各画像の顔尤度の高さを重み付けしてもよい。以上の処理により、より様々な方向を向いた顔画像を選択することができる。
【０１０８】
上記の第１実施形態から第５実施形態は、リアルタイムで行なってもよいし、いったん画像を蓄積しておいて、後でバッチ型で処理してもよい。
【０１０９】
以上第５実施形態においても、人物位置の多様性や人物顔の多様性を考慮した画像が選択出力されることにより、効率的な監視処理を実現できるものである。
【０１１０】
（第６実施形態）
最後に本発明の実施形態の全体構成を図１３に示す。
【０１１１】
図１３において、この画像監視システムは、画像入力部２０と、Ａ／Ｄ変換部２１と、画像バッファ（画像メモリ）２２と、画像処理部２３（処理プロセッサ）と、画像蓄積部２４とからなる。
【０１１２】
画像入力部２０によって撮像された画像はＡ／Ｄ変換部２１によってディジタル信号に変換され、画像メモリ２２に格納される。処理プロセッサ２３はその画像データを読み込んでディジタル画像処理を行なう。画像入力部２０は例えば通常のＣＣＤカメラであってよく、画像蓄積部２４は通常の磁気ディスクであってよい。
【０１１３】
以下に、処理プロセッサ２３での処理内容について詳細に説明する。
【０１１４】
図１４に、処理プロセッサ２３で行なわれる処理の流を示す。処理手順は、同一人物が存在するＮ枚の連続画像系列を切り出す処理（Ｓ２５）と、各画像に対して人物及び顔画像認識を行なってＮ枚の画像系列からＰ枚を選択する処理（Ｓ２６）と、Ｐ枚の画像を画像蓄積部に登録する処理（Ｓ２７）と、画像蓄積部から画像を検索表示する処理（Ｓ２８）とからなる。
【０１１５】
同一人物が存在するＮ枚の連続画像系列を切り出す処理（Ｓ２５）は、第１実施形態と同じである。また、各画像に対して人物及び顔画像認識を行なってＮ枚の画像系列からＰ枚を選択する処理（Ｓ２６）は、第２乃至第５実施形態と同様である。Ｐ枚の画像を画像蓄積部に登録する処理に関しては、その画像が撮影されたカメラＩＤ、時刻などの画像に関する付属情報とともにデータベース登録を行なう。データベースのデータ構造に関する定義はあらかじめ、例えば、リレーショナルテーブル形式により行なっておくものとする。ここでは、画像を検索表示する方法を具体的に説明する。図１５は、本発明に係る画像検索、照合の概念を示す説明図である。
【０１１６】
画像選択された画像をサムネイル表示（代表画像表示）することで、ユーザが容易に監視画像を検証することができる。さらに、ユーザが提示した顔写真（例えば指名手配犯）を、これらの画像と自動的に照合を行なって類似度の高い顔画像または画像系列を表示させることが可能である。また、ユーザが指定するのは画像ではなく画像系列であってもよい。
【０１１７】
人物の照合は、指定された人物の画像／画像系列とその他の人物の顔画像群をもとに、主成分分析や正準判別分析により、指定された人物と類似したパターンを検索する［４］［５］。また検索には、色情報の類似度を用いたり、第４実施形態で示したような特徴量系列の類似度を用いたりしてもよい。これらにより、監視画像系列から、例えばある人物を検索したり、ある挙動（例えばレジへの侵入）のみを取り出したりといったことが可能になる。
【０１１８】
以上第６実施形態によって、画像監視システムに画像蓄積部を設けたことにより、所定条件に応じて選択出力された画像を自動的に順次格納することが可能となる。更にこれらの格納画像について、一定条件に応じた代表画像をサムネイル表示させることにより、より直感的な監視状況の把握を可能とするものである。
【０１１９】
なお、参考文献を以下に列記する。
【０１２０】
［１］大津：“判別および最小二乗基準に基づく自動しきい値選定法”，信学論，Vol.J63-D, No.4, pp.349-356,1980.
［２］中井：“事後確率を用いた移動物体検出手法”，情処研報，94-CV-90, pp.1-8,1994.
［３］高木，下田：“画像解析ハンドブック”，東京大学出版会，1991.
［４］ W Zhao, R.Chellappa他：“Discriminant Analysis of Principal Components for Face Recognition”，International Conference on Automatic Face & Gesture Recognition, Nara, Japan, April 1998.
［５］B.Moghaddam, A.Pentland他：“Beyond Eigenfaces: Probabilistic Matching for Face Recognition”，International Conference on Automatic Face & Gesture Recognition, Nara, Japan, April 1998.
【０１２１】
【発明の効果】
以上詳述したようにこの発明によれば、監視画像の人物の移動・顔の向きなど認識することで、より監視画像として適切な画像のみを選択して伝送・蓄積することができ、伝送容量・蓄積容量の削減と効率化を図ることができる。
【０１２２】
又更に、監視画像の系列を適切な画像のみを選択してユーザに提示し、また例示画像系列による検索を行なうことにより、後から容易に監視画像を検索・検証が可能となる。
【図面の簡単な説明】
【図１】図１は、第１乃至第４実施形態の全体構成を示すブロックダイアグラム。
【図２】図２は、第１実施形態の処理プロセッサ部の処理の流れを示すフローチャート。
【図３】図３は、シーン抽出の様子を示す説明図。
【図４】図４は、第２実施形態の処理プロセッサ部の処理の流れを示すフローチャート。
【図５】図５は、画像選択部における処理の具体例を示す説明図。
【図６】図６は、顔方向識別処理の概念を示す説明図。
【図７】図７は、第３実施形態の処理プロセッサ部の処理の流れを示すフローチャート。
【図８】図８は、人物の計数、移動、全身性の認識処理を示す説明図。
【図９】図９は、第４実施形態の処理プロセッサ部の処理の流れを示すフローチャート。
【図１０】図１０は、第５実施形態の処理プロセッサ部の処理の流れを示すフローチャート。
【図１１】図１１は、Ｐ枚の組み合わせに基づく画像選択部における処理の具体例を示す説明図。
【図１２】図１２は、人物位置の多様性に基づく選択の例を示す図。
【図１３】図１３は、第６実施形態の全体構成を示すブロックダイアグラム。
【図１４】図１４は、第６実施形態の処理プロセッサ部の処理の流れを示すフローチャート。
【図１５】図１５は、本発明に係る画像検索、照合の概念を示す説明図。
【符号の説明】
１  …  画像入力部
２  …  Ａ／Ｄ変換部
３  …  画像メモリ
４  …  処理プロセッサ
２４  …  画像蓄積部
【図１】
0003727798.tif 000002
【図２】
0003727798.tif 000003
【図３】
0003727798.tif 000004
【図４】
0003727798.tif 000005
【図５】
0003727798.tif 000006
【図６】
0003727798.tif 000007
【図７】
0003727798.tif 000008
【図８】
0003727798.tif 000009
【図９】
0003727798.tif 000010
【図１０】
0003727798.tif 000011
【図１１】
0003727798.tif 000012
【図１２】
0003727798.tif 000013
【図１３】
0003727798.tif 000014
【図１４】
0003727798.tif 000015
【図１５】
0003727798.tif 000016