(57)【要約】【課題】  移動体の周期的な動作を利用して移動体の識別に関する精度を向上させる。【解決手段】  移動体を撮像した画像データを生成する撮像カメラ１と、複数の画像データと、移動体を含まない背景画像との差分を求めて移動体を含む複数の画像データを生成し、複数の画像データのうち周期的な動作を含む周期画像を取得する１歩行サイクル抽出部２３と、周期画像から隣接座標間のベクトルと実軸とのなす角度で表現される曲率関数を指数関数の指数部にもつ複素値関数の実部と虚部とからなるＰ表現ベクトルを算出する外形抽出部２４と、Ｐ表現ベクトルに対して、移動体の特徴部分を表現する複素値関数の実部と虚部のみを選択する処理を行って、前記Ｐ表現ベクトルの情報量を圧縮する特徴ベクトル抽出部２５と、情報量が圧縮されたＰ表現ベクトルに対して、隠れマルコフモデルを利用して移動体を識別するＨＭＭモデル生成部２６とを備える。【選択図】      図２
2005074075.tif 000002
【特許請求の範囲】
【請求項１】
歩行中の人物を撮像して、当該人物を含む画像データを所定時間ごとに生成する画像データ生成手段と、
前記画像データ生成手段により生成された各画像データと、予め用意しておいた背景画像との差分を求めて、当該人物の足領域画像を抽出する足領域抽出手段と、
前記足領域抽出手段により抽出された各足領域画像の輝度情報を参照して、所定輝度以上の画素数又は所定輝度以下の画素数を各足領域画像ごとに算出し、各足領域画像ごとに計数結果を生成する画素数計数手段と、
前記画素数計数手段により生成された各足領域画像ごとの計数結果から、画素数が極大値となる足領域画像と、画素数が極小値となる足領域画像とを求め、これら足領域画像の時間間隔を求めて、当該人物の歩行周期を計測する計測手段と
を備えることを特徴とする歩行周期計測装置。
【請求項２】
歩行中の人物を撮像して、当該人物を含む画像データを所定時間ごとに生成する画像データ生成手段と、
前記画像データ生成手段により生成された各画像データと、予め用意しておいた背景画像との差分を求めて、当該人物の膝下部分の足領域画像を抽出する足領域抽出手段と、
前記足領域抽出手段により抽出された各足領域画像から、所定輝度以上又は所定輝度以下となっている画素を検出し、さらにそれらの画素の中から当該人物の進行方向に対して先端と後端の画素を検出して、両画素間の水平方向の画素数を検出する画素数計数手段と、
前記画素数計数手段により生成された各足領域画像ごとの計数結果から、画素数が極大値となる足領域画像と、画素数が極小値となる足領域画像とを求め、これら足領域画像の時間間隔を求めて、当該人物の歩行周期を計測する計測手段と
を備えることを特徴とする歩行周期計測装置。
【請求項３】
移動体が周期的に発生する音を検出する集音手段と、
当該移動体を撮像する撮像手段と、
第１の画像データと予め用意しておいた背景画像との差分を求めて、移動体を含む複数の移動体抽出画像を生成する画像抽出手段と、
第２の画像データのうち、前記集音手段により検出した音の周期と同期した移動体抽出画像を取り出して、移動体を含む周期画像を取得する周期画像生成手段とを備え、
前記第１及び第２の画像データは、以下の何れかの組み合わせからなることを特徴とする周期画像取得装置。
（イ）第１画像データ；前記撮像手段により生成された画像
第２画像データ；前記画像抽出手段により抽出された移動体抽出画像  
（ロ）第１画像データ；前記周期画像生成手段により取得された周期画像
第２画像データ；前記撮像手段により生成された画像
【請求項４】
移動体を撮像して、移動体を含む画像データを生成する撮像手段と、
前記撮像手段により生成された画像データと、予め用意しておいた背景画像との差分を求めて、移動体画像を抽出する移動体抽出手段と、
前記移動体抽出手段により抽出された移動体画像から、移動体の輪郭を示す輪郭曲線を求める輪郭曲線取得手段と、
前記輪郭曲線取得手段により取得した輪郭曲線を、隣接座標間の長さが等しい複素平面座標点として表現する座標変換手段と、
前記隣接座標間のベクトルと実軸とのなす角度で表現される曲率関数を指数関数の指数部にもつ複素値関数の実部と虚部とからなるＰ表現ベクトルを算出するＰ表現ベクトル算出手段と、
前記Ｐ表現ベクトル算出手段により算出されたＰ表現ベクトルに対して、当該ベクトルに含まれる冗長な情報を削減する情報圧縮手段と
を備えることを特徴とする移動体輪郭の圧縮処理装置。
【請求項５】
移動体を撮像して、移動体を含む画像データを生成する撮像手段と、
前記撮像手段により生成された複数の画像データと、予め用意しておいた背景画像との差分を求めて、移動体を含む複数の画像データを生成する画像抽出手段と、
複数の画像データのうち、周期的な動作を含む周期画像を取得する周期画像生成手段と、
前記周期画像取得手段により取得した周期画像から、隣接座標間のベクトルと実軸とのなす角度で表現される曲率関数を指数関数の指数部にもつ複素値関数の実部と虚部とからなるＰ表現ベクトルを算出するＰ表現ベクトル算出手段と、
前記Ｐ表現ベクトル算出手段により算出されたＰ表現ベクトルに対して、当該ベクトルに含まれる冗長な情報を削減する情報圧縮手段と、
前記情報圧縮手段により情報量が圧縮されたＰ表現ベクトルに対して、隠れマルコフモデルを利用して移動体を識別する識別手段と
を備えることを特徴とする移動体識別システム。
【請求項６】
前記情報圧縮手段は、前記Ｐ表現ベクトルに対してＫＬ展開による主成分分析を行って情報量を圧縮することを特徴とする請求項４に記載の移動体輪郭の圧縮処理装置又は、請求項５に記載の移動体識別システム。
【請求項７】
移動体が周期的に発生する音を検出する集音手段を更に備え、
前記周期画像取得手段は、前記画像抽出手段により抽出又は、前記撮像手段より撮像された複数の画像データのうち、前記集音手段により検出した音の周期と同期した画像データを取り出して、移動体を含む周期画像を取得することを特徴とする請求項５に記載の移動体識別システム。
【請求項８】
前記撮像手段は、歩行中の人物を撮像するように設置される一方、前記周期画像取得手段は、前記画像抽出手段により抽出された画像データから、当該人物の足領域画像を抽出する足領域抽出手段と、
前記足領域抽出手段により抽出された各足領域画像の輝度情報を参照して、所定輝度以上の画素数又は所定輝度以下の画素数を各足領域画像ごとに算出し、各足領域画像ごとに計数結果を生成する画素数計数手段とを備え、
前記画素数計数手段により生成された各足領域画像ごとの計数結果から、画素数が極大値となった後に極小値となり再度極大値となる時間間隔、又は画素数が極小値となった後に極大値となり再度極小値となる時間間隔を求め、何れかの時間間隔内の画像データを取得することを特徴とする請求項５に記載の移動体識別システム。
【請求項９】
前記撮像手段は、歩行中の人物を撮像するように設置される一方、前記周期画像取得手段は、前記画像抽出手段により抽出された画像データから、当該人物の膝下部分の足領域画像を抽出する足領域抽出手段と、
前記足領域抽出手段により抽出された各足領域画像から、所定輝度以上又は所定輝度以下となっている画素を検出し、さらにそれらの画素の中から当該人物の進行方向に対して先端と後端の画素を検出して、両画素間の水平方向の画素数を検出する画素数計数手段と、
前記画素数計数手段により生成された各足領域画像ごとの計数結果から、画素数が極大値となる足領域画像と、画素数が極小値となる足領域画像とを求め、これら足領域画像の時間間隔を求めて、当該人物の歩行周期を計測する計測手段とを備え、
前記画素数計数手段により生成された各足領域画像ごとの計数結果から、画素数が極大値となった後に極小値となり再度極大値となる時間間隔、又は画素数が極小値となった後に極大値となり再度極小値となる時間間隔を求め、何れかの時間間隔内の画像データを取得することを特徴とする請求項５に記載の移動体識別システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像カメラを用いて撮像した画像データに対して画像処理を行うことにより、室内やビル内に設置する入退室を管理するシステムやセキュリティチェックシステム、室外に設置する防犯チェックシステム、及びユーザを識別してユーザに応じたサービスを行うエージェントシステムやロボットシステムに用いて好適な画像処理を行う装置に関する。
【背景技術】
【０００２】
従来より、建物の中や外に設置した撮像カメラや赤外線カメラによって画像生成をし、監視領域に侵入した人物や動物等の移動体を監視するシステムが、下記の特許文献１などにて知られている。
【０００３】
この特許文献１に記載された技術は、撮像した画像から移動体画像領域を抽出し、移動体位置を予測して、撮像カメラ等の撮像方向を移動体に向ける。そして、この特許文献１では、移動体画像領域を追跡し、当該移動体の高さ、幅、面積等の特徴を示す時系列データから、移動体の歩行リズムを抽出する。これにより、特許文献１では、歩行リズムによって監視対象となる移動体が人物か、動物かを判定して、当該移動体の位置及び速度を出力するとしている。
【０００４】
特に、特許文献１では、歩行リズムに基づいて人物又は動物かを識別していることを特徴とし、天候や距離、服装によらずに認識率が高い監視システムが構築できるものとしている。
【特許文献１】特開平７−５０８２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の技術では、歩行リズムによって監視対象が人物か、動物かを識別するようにしているが、移動体の身長や幅も含めて識別を行っているので、処理量が多くなるという問題点がある。また、従来の技術では、歩行リズムを求めるに際して人物の足領域として２つの画像ウインドウを設定し、各画像ウインドウに対して周波数変換しており、処理量が多くなるという問題点もあった。
【０００６】
また、従来において人物を区別する個人認識システムとしては、予め登録した人物か否かを判定するために、例えば指紋を用いる場合にはユーザに指を入力装置に触れさせたり、顔画像認識を用いる場合にはカメラに対する適切な位置に顔を位置させなければならず、ユーザに特別な動作を強いる必要があるのが現状である。
【０００７】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、移動体の周期的な動作を利用して移動体の識別に関する精度を向上させることができる歩行周期計測装置、周期画像取得装置、移動体輪郭の圧縮処理装置、移動体識別システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る歩行周期計測装置は、歩行中の人物を撮像して、当該人物を含む画像データを所定時間ごとに生成する画像データ生成手段と、前記画像データ生成手段により生成された各画像データと、予め用意しておいた背景画像との差分を求めて、当該人物の足領域画像を抽出する足領域抽出手段と、前記足領域抽出手段により抽出された各足領域画像の輝度情報を参照して、所定輝度以上の画素数又は所定輝度以下の画素数を各足領域画像ごとに算出し、各足領域画像ごとに計数結果を生成する画素数計数手段と、前記画素数計数手段により生成された各足領域画像ごとの計数結果から、画素数が極大値となる足領域画像と、画素数が極小値となる足領域画像とを求め、これら足領域画像の時間間隔を求めて、当該人物の歩行周期を計測する計測手段とを備えることにより、上述の課題を解決する。
【０００９】
また、本発明に係る他の歩行周期計測装置は、歩行中の人物を撮像して、当該人物を含む画像データを所定時間ごとに生成する画像データ生成手段と、前記画像データ生成手段により生成された各画像データと、予め用意しておいた背景画像との差分を求めて、当該人物の膝下部分の足領域画像を抽出する足領域抽出手段と、前記足領域抽出手段により抽出された各足領域画像から、所定輝度以上又は所定輝度以下となっている画素を検出し、さらにそれらの画素の中から当該人物の進行方向に対して先端と後端の画素を検出して、両画素間の水平方向の画素数を検出する画素数計数手段と、前記画素数計数手段により生成された各足領域画像ごとの計数結果から、画素数が極大値となる足領域画像と、画素数が極小値となる足領域画像とを求め、これら足領域画像の時間間隔を求めて、当該人物の歩行周期を計測する計測手段とを備えることにより、上述の課題を解決する。
【００１０】
本発明に係る周期画像取得装置は、移動体が周期的に発生する音を検出する集音手段と、当該移動体を撮像する撮像手段と、第１の画像データと予め用意しておいた背景画像との差分を求めて、移動体を含む複数の移動体抽出画像を生成する画像抽出手段と、第２の画像データのうち、前記集音手段により検出した音の周期と同期した移動体抽出画像を取り出して、移動体を含む周期画像を取得する周期画像生成手段とを備えることにより、上述の課題を解決する。この周期画像取得装置において、第１及び第２の画像データは、（イ）第１画像データ；前記撮像手段により生成された画像、第２画像データ；前記画像抽出手段により抽出された移動体抽出画像、（ロ）第１画像データ；前記周期画像生成手段により取得された周期画像、第２画像データ；前記撮像手段により生成された画像以下の何れかの組み合わせからなる。
【００１１】
本発明に係る移動体輪郭の圧縮処理装置は、移動体を撮像して、移動体を含む画像データを生成する撮像手段と、前記撮像手段により生成された画像データと、予め用意しておいた背景画像との差分を求めて、移動体画像を抽出する移動体抽出手段と、前記移動体抽出手段により抽出された移動体画像から、移動体の輪郭を示す輪郭曲線を求める輪郭曲線取得手段と、前記輪郭曲線取得手段により取得した輪郭曲線を、隣接座標間の長さが等しい複素平面座標点として表現する座標変換手段と、前記隣接座標間のベクトルと実軸とのなす角度で表現される曲率関数を指数関数の指数部にもつ複素値関数の実部と虚部とからなるＰ表現ベクトルを算出するＰ表現ベクトル算出手段と、前記Ｐ表現ベクトル算出手段により算出されたＰ表現ベクトルに対して、当該ベクトルに含まれる冗長な情報を削減する情報圧縮手段とを備えることにより、上述の課題を解決する。
【００１２】
本発明に係る移動体識別システムは、移動体を撮像して、移動体を含む画像データを生成する撮像手段と、前記撮像手段により生成された複数の画像データと、予め用意しておいた背景画像との差分を求めて、移動体を含む複数の画像データを生成する画像抽出手段と、複数の画像データのうち、周期的な動作を含む周期画像を取得する周期画像生成手段と、前記周期画像取得手段により取得した周期画像から、隣接座標間のベクトルと実軸とのなす角度で表現される曲率関数を指数関数の指数部にもつ複素値関数の実部と虚部とからなるＰ表現ベクトルを算出するＰ表現ベクトル算出手段と、前記Ｐ表現ベクトル算出手段により算出されたＰ表現ベクトルに対して、当該ベクトルに含まれる冗長な情報を削減する情報圧縮手段と、前記情報圧縮手段により情報量が圧縮されたＰ表現ベクトルに対して、隠れマルコフモデルを利用して移動体を識別する識別手段とを備えることにより、上述の課題を解決する。
【発明の効果】
【００１３】
本発明に係る歩行周期計測装置によれば、所定輝度以上の画素数又は所定輝度以下の画素数を各足領域画像ごとに算出して、各足領域画像ごとの計数結果から、画素数が極大値となる足領域画像と、画素数が極小値となる足領域画像とを求め、これら足領域画像の時間間隔を求めて、人物の歩行周期を計測するので、歩行周期という単位で画像処理をして人物を識別させることができ、人物を識別する処理の精度を向上させることができる。
【００１４】
本発明に係る周期画像取得装置によれば、複数の移動体抽出画像のうち、集音手段により検出した音の周期と同期した移動体抽出画像を取り出して、移動体を含む周期画像を取得するので、移動体の発生する音の周期という単位で画像処理をして人物を識別させることができ、人物を識別する処理の精度を向上させることができる。
【００１５】
本発明に係る移動体輪郭の圧縮処理装置によれば、輪郭曲線を、隣接座標間の長さが等しい複素平面座標点として表現してＰ表現ベクトルを算出し、Ｐ表現ベクトルに対して、当該ベクトルに含まれる冗長な情報を削減する処理を行って、Ｐ表現ベクトルの情報量を圧縮するので、人物の輪郭曲線を使用して人物を識別する処理を行う場合であっても精度を向上させつつ処理量を低減することができる。
【００１６】
本発明に係る移動体識別システムによれば、移動体の周期画像からＰ表現ベクトルを算出して圧縮し、隠れマルコフモデルを利用して移動体を識別するので、移動体を含む画像周期という単位で人物を識別させることができ、処理量を低減しつつ、人物を識別する処理の精度を向上させることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を参照して説明する。
【００１８】
本発明は、例えば図１に示すように構成された室内の入退室を管理する入退室管理セキュリティシステムに適用される。
【００１９】
［入退室管理セキュリティシステムの構成］
この入退室管理セキュリティシステムは、室内に撮像カメラ１、マイクロホン２及び信号処理ユニット３が設けられて構成されている。このような入退室管理セキュリティシステムでは、図示しない室内の入退室用ドアから侵入する人物を撮像カメラ１により撮像すると共にマイクロホン２により人物が発生する音を検出し、信号処理ユニット３によって移動体識別処理を実行する。これにより、入退室管理セキュリティシステムでは、信号処理ユニット３による移動体識別処理の結果を管理者等に各種情報として提示することにより、管理者等による管理を可能とする。
【００２０】
この入退室管理セキュリティシステムにおいて、撮像カメラ１は、室内の特定のエリアを撮像する位置、角度に設けられている。これにより、撮像カメラ１では、撮像範囲を歩行する人物を撮像して画像データを生成する。
【００２１】
この入退室管理セキュリティシステムは、その機能的な構成を図２に示すように、撮像カメラ１によって撮像した撮像信号を、Ａ／Ｄ変換部１１によって画像データに変換して信号処理ユニット３に含まれる信号処理部１２に送る。なお、Ａ／Ｄ変換部１１は撮像カメラ１内に設けられていても良く、信号処理ユニット３に設けられていても良い。
【００２２】
Ａ／Ｄ変換部１１は、撮像カメラ１からアナログ形式の時間的に連続した撮像信号が入力されると、ディジタル形式の時間的に連続した複数の画像データに変換する。このとき、Ａ／Ｄ変換部１１では、少なくとも輝度情報に対する離散化処理をすることにより、少なくとも各画素の濃淡を示す離散化画像である画像データを生成する。
【００２３】
信号処理部１２は、Ａ／Ｄ変換部１１からの画像データを入力すると、後述する移動体識別処理を行って、識別結果を出力する。この信号処理部１２は、例えば内部に移動体識別処理の処理手順を記述したプログラムを図示しないメモリに記憶しており、ＣＰＵ（Central Processing Unit）によってプログラムを実行することにより、図２に示す各機能ブロックを実現する。
【００２４】
具体的には、信号処理部１２は、予めハードディスク記憶装置にデータベースを記憶して構成される特徴ベクトルデータベース記憶部２１及びＨＭＭ（Hidden Markov Model）データベース記憶部２２を備え、更に、Ａ／Ｄ変換部１１から画像データが送られる１歩行サイクル抽出部２３、外形抽出部２４、特徴ベクトル抽出部２５、ＨＭＭモデル生成部２６、尤度計算部２７、識別結果を出力する最大尤度判断部２８を有して構成されている。
【００２５】
このような信号処理部１２では、人物オブジェクトを認識するための特徴量を取得するに際して、図３に示すように、背景差分法による人物抽出処理（ステップＳ１）、１歩行サイクルの抽出処理（ステップＳ２）、人物の外形輪郭の抽出処理（ステップＳ３）、Ｐ型記述子による人物の外形抽出処理（ステップＳ４）、ＫＬ展開（主成分分析）による情報圧縮処理（ステップＳ５）を行う。
【００２６】
１歩行サイクル抽出部２３は、Ａ／Ｄ変換部１１から所定期間ごとに生成した画像データが送られ、複数の画像データを時系列のフレーム画像として蓄積する。そして、１歩行サイクル抽出部２３は、複数の画像データを用いて、人物の１歩行サイクルを検出する。
【００２７】
また、１歩行サイクル抽出部２３では、予め人物オブジェクトを含まない撮像範囲を撮像し、撮像して得た画像データを背景画像データとして記憶しておく。この背景画像データは、Ａ／Ｄ変換部１１から送られる画像データと同じく、少なくとも濃淡を示す輝度情報が離散化された離散化画像である。
【００２８】
そして、１歩行サイクル抽出部２３では、１歩行サイクル分の画像データを取り出すに際して、各画像データと背景画像データとを比較することにより、各画像データと背景画像データとの差分を演算する。この処理は、ステップＳ１における背景差分法による人物抽出処理に相当する。
【００２９】
このとき、１歩行サイクル抽出部２３では、画像データから人物オブジェクトと背景とを切り分けて、人物オブジェクトと背景との境界部を抽出することにより人物オブジェクトの輪郭を示す外形輪郭情報を作成する。この外形輪郭情報は、人物オブジェクトと背景との境界部に相当する画素の連続した座標値を示すデータとなっている。この処理は、ステップＳ２における人物の外形輪郭の抽出処理に相当する。
【００３０】
ここで、人物の１歩行サイクルは、図４に示すように、通常、周期性を有している。すなわち、人物が歩く方向と垂直な横方向から人物を対象として生成された画像データは、先ず人物オブジェクトの前方で左足Ｌが着地した状態から（ａ）、右足Ｒが地面を蹴り（ｂ）、右足Ｒが地面に着地し（ｃ）、左足Ｌが地面を蹴り（ｄ）、左足Ｌが地面に着地する（ｅ）、という周期的な歩行サイクルの人物オブジェクトを含んでいる。したがって、１歩行サイクル抽出部２３では、時系列の画像データから、図４（ａ）〜（ｅ）に相当する各画像データを取り出す処理をする。
【００３１】
このとき、１歩行サイクル抽出部２３では、外形輪郭情報によって示される人物オブジェクトを含む各画像データの人物オブジェクトを認識し、当該人物オブジェクトの下方の画像領域を人物オブジェクトの足部分を含む領域として抽出して、複数の足領域画像を生成する。
【００３２】
具体的には、１歩行サイクル抽出部２３では、図５に示すように、Ａ／Ｄ変換部１１からの画像データのうち、人物オブジェクトを抽出する人物抽出領域を設定しておくと共に、足領域画像を生成するための足抽出領域を設定しておく。そして、１歩行サイクル抽出部２３では、足抽出領域に含まれる外形輪郭画像である足領域画像を取得すると、例えば右足Ｒに相当する外形輪郭情報と例えば左足Ｌに相当する外形輪郭画像とに囲まれる画素の輝度情報を検出する。
【００３３】
次に、１歩行サイクル抽出部２３では、検出した輝度情報を参照して、各画像データについて、所定輝度以上又は所定輝度以下のピクセル数を算出する。次に、１歩行サイクル抽出部２３では、算出したピクセル数が極大値となる画像データ及び算出したピクセル数が極小値となる画像データを求める。
【００３４】
これは、図５に１歩行サイクルの半分の周期を示すように、図５（ａ）に示すように人物オブジェクトの股下部分が開いた状態では図６の時刻ｔ１のように所定輝度以上となるピクセル数が極大値となり、図５（ｂ）に示すような両足がすれ違う状態では図６の時刻ｔ２のように所定輝度以上となるピクセル数が極大値となり、図５（ｃ）に示すような状態では図６の時刻ｔ３のように所定輝度以上となるピクセル数が極小値となることによる。
【００３５】
したがって、１歩行サイクル抽出部２３では、所定輝度以上となるピクセル数を各画像データについて計数することにより、半歩行サイクルに相当する複数の画像データ（周期画像）を取得し、更には１歩行サイクルに相当する画像データを取得することができる。また、１歩行サイクル抽出部２３では、図６に示すようにピクセル数が極大値及び極小値となる時刻を検出することにより、人物オブジェクトの歩行周期を計測することができる。
【００３６】
逆に、１歩行サイクル抽出部２３では、所定輝度以下となるピクセル数を各画像データについて計数した場合には、図５（ａ）に示すような状態ではピクセル数が極小値となり、図５（ｂ）に示すような状態ではピクセル数が極大値となり、図５（ｃ）に示すような状態ではピクセル数が極小値となる。
【００３７】
したがって、１歩行サイクル抽出部２３では、所定輝度以下となるピクセル数を各画像データについて計数することにより、半歩行サイクルに相当する複数の画像データ（周期画像）を取得し、更には１歩行サイクルに相当する複数の画像データを取得することができる。また、１歩行サイクル抽出部２３では、ピクセル数が極大値及び極小値となる時刻を検出することにより、人物オブジェクトの歩行周期を計測することができる。
【００３８】
このような処理は、ステップＳ３における１歩行サイクルの抽出処理に相当する。
【００３９】
なお、１歩行サイクル抽出部２３では、足領域画像を構成する画素のうち、所定輝度以上又は所定輝度以下となる画素数（ピクセル数）を計数する場合のみならず、両足の間隔が横方向において最大となる時間間隔又は最小となる時間間隔を計測して、１歩行サイクルを検出しても良い。具体的に説明すると、当該足抽出領域を膝下に設定し、この領域内で所定輝度以上又は所定輝度以下となっている画素のうち、当該人物の進行方向に対して、先端（つま先部分）と後端（踵部分）の画素を検出して、両画素間の距離、すなわち水平方向の画素数をフレーム毎（所定時間毎）に検出するようにする。
【００４０】
また、１歩行サイクル抽出部２３では、マイクロホン２からの音響信号をディジタル化し、人物オブジェクトから発せられる周期的な音響信号を検出して、１歩行サイクルに含まれる画像データ及び１歩行サイクルの周期を求めても良い。このとき、１歩行サイクル抽出部２３では、音響信号の周期を求めると共に、当該音響信号の周期と同期した時刻の画像データを取り出す処理をする。これにより、１歩行サイクル抽出部２３では、１歩行サイクルの画像データの抽出精度及び１歩行サイクルの周期の検出精度を向上させることができる。
【００４１】
外形抽出部２４は、図３におけるＰ型記述子による人物の外形抽出処理を行う。ここで、１歩行サイクル抽出部２３により行われた背景差分法による人物の外形輪郭情報は、撮像される人物によって大きさ等が異なるために情報量が異なる。これに対し、外形抽出部２４では、人物によって同一の情報量とする正規化処理を行う。
【００４２】
このとき、外形抽出部２４では、先ず、図７に示すように、外形輪郭情報として含まれる複数の外形輪郭曲線を隣接座標間の長さが等しいベクトルとし、各ベクトルの接続点を複素平面座標点として表現する。これにより、外形抽出部２４では、人物ごとに外形輪郭情報として含まれる座標点数が異なるが、人物ごとに同じ座標点数にして人物によって同一の情報量とする。ここで、外形抽出部２４は、隣接座標間のベクトル長さを「ｌ」とし、複数の外形輪郭曲線からなる外形輪郭情報を、長さがｌのｎ本のベクトルとして近似している。
【００４３】
次に外形抽出部２４では、図７に示すように外形輪郭曲線を複素平面座標上で近似した後、隣接するベクトルによってなす角度θをフーリエ変換し、パラメータをＰ表現ベクトルとして求める。
【００４４】
このとき、外形抽出部２４では、下記の式１に示すように、隣接座標間のベクトルと実軸とのなす角度θで表現される曲率関数ｉθ（ｊ）を指数関数の指数部にもつ複素値関数ωを定める。  
【数１】
2005074075.tif 000003
この式１に示す演算を各ベクトルについて行うことにより、外形抽出部２４は、ｎ個の複素数値ω（ｊ）を得る。そして外形抽出部２４では、複素数値ω（ｊ）の実部と虚部とを順次並べることにより、下記式２で示すＰ表現ベクトルｘを得る。  
【数２】
2005074075.tif 000004
このようなＰ表現ベクトルｘは、人物オブジェクトの外形輪郭曲線を表現したベクトルとなり、人物オブジェクトの概形特徴を保持したベクトルとなっている。そして、外形抽出部２４は、式２のように表現されるＰ表現ベクトルを特徴ベクトル抽出部２５に送る。
【００４５】
特徴ベクトル抽出部２５は、外形抽出部２４からのＰ表現ベクトルを圧縮して、特徴ベクトルを抽出することにより、人物オブジェクトの特徴を取得する。なお、この特徴ベクトル抽出部２５による処理は、図３のステップＳ５におけるＫＬ展開による情報圧縮処理を含むものである。このＫＬ展開は、式２で表現されるＰ表現ベクトルｘのうち特徴的な成分（次元）のみを取り出す演算をすることにより、Ｐ表現ベクトルｘの次元を削減する処理である。
【００４６】
この特徴ベクトル抽出部２５では、人物を識別するための学習用データとして、Ｉ人（Ｉ＝１，２，・・・）の人物対して、Ｊフレーム分のＰ表現ベクトルを用意して、図示しない記憶部に記憶しておく。また、この特徴ベクトルデータベース記憶部２１に記憶されている情報は、人物の１歩行サイクルごとのＰ表現ベクトルとなっており、人物を識別する度に学習処理されて更新される。
【００４７】
この学習用データとしてのＰ表現ベクトル（以下、学習用Ｐ表現ベクトルと呼ぶ。）は、人物が歩行するに際して画像データに含まれるあらゆる形状が含まれている。この学習用Ｐ表現ベクトルは、人物ｉのｊフレーム目のＰ表現ベクトルをｘｉ，ｊと表現し、学習用として採用した人物数とフレーム数Ｊとを乗算した個数のＰ表現ベクトルｘを並べた行列Ｘとして表現される。この行列Ｘは、下記の式３に示すように、
【数３】
2005074075.tif 000005
として表現される。ここで、Ｉ（人）×Ｊ（フレーム）個のＰ表現ベクトルｘの平均ベクトルｍは、下記の式４に示すように、
【数４】
2005074075.tif 000006
に示す演算を行うことにより求める。また、行列Ｘの共分散行列Σは、平均ベクトルｍを用いて、下記の式５に示すように、
【数５】
2005074075.tif 000007
として計算される。なお、上記式５において、Ｔは１歩行サイクルにおけるフレーム数を示す。そして、例えばｋ次元の固定空間は、共分散行列Σを用いて、下記の式６に示す固有方程式を解くことにより、ｋ個の大きい固有値（λ１≧λ２≧・・・≧λｋ）に対応する固有ベクトル（ｖ１，ｖ２，・・・，ｖｋ）として表現される。
【数６】
2005074075.tif 000008
これにより、特徴ベクトル抽出部２５は、ｋ個の固有ベクトル（ｖ１，ｖ２，・・・，ｖｋ）を用いて、特徴ベクトルｏを求める。ここで、特徴ベクトル抽出部２５は、外形抽出部２４から送られた２ｎ次元のＰ表現ベクトルｘに対し、下記の式７を用いて、
【数７】
2005074075.tif 000009
なる演算をして、ｋ次元の特徴ベクトルｏを求める。したがって、この特徴ベクトルｏは、式２に示したＰ表現ベクトルｘをｋ次元に圧縮した情報となり、式２に示す情報よりも情報量が圧縮された状態となっている。なお、ｋの値は、大きい値に設定すると圧縮する次元数が少なくなり冗長となり、小さい値に設定すると人物の特徴を表せなくなり、予め実験等により適切な範囲の値に設定しておくことが望ましい。
【００４８】
このような特徴ベクトルｏは、１歩行サイクル抽出部２３により抽出された各画像データの情報量と比較して、人物オブジェクトごとに異なる輪郭曲線の特徴を表した少ない情報量となっており、更に次元数を削減して更に少ない情報量となっている。したがって、特徴ベクトル抽出部２５では、ＫＬ展開を行うことにより、個人を特定する表現として適切な特徴ベクトルｏであって、次元圧縮により特徴的な情報でない冗長な情報を圧縮して情報量を削減した特徴ベクトルｏを抽出することが可能となる。
【００４９】
また、特徴ベクトル抽出部２５は、上述したように求めた１歩行サイクルに含まれる画像データごとの特徴ベクトルｏを特徴ベクトルデータベース記憶部２１に記憶させると共に、ＨＭＭモデル生成部２６に送る。このとき、特徴ベクトル抽出部２５は、時系列の画像データに相当する複数の特徴ベクトルｏを、入力特徴ベクトル系列Ｏ＝［ｏ１，ｏ２，・・・，ｏＴ］として出力する。
【００５０】
ＨＭＭモデル生成部２６は、入力特徴ベクトル系列Ｏが送られると、人物オブジェクトを識別するために、隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）を利用した処理を行う。このとき、ＨＭＭモデル生成部２６は、特徴ベクトルｏを用いて、Ｂａｕｍ−Ｗｅｌｃｈ等のアルゴリズムにより状態遷移確率及びシンボル出力確率を推定し、当該状態遷移確率及びシンボル出力確率をパラメータとしたＨＭＭモデルλｘを作成する。そして、ＨＭＭモデル生成部２６は、特徴ベクトルｏごとに作成したＨＭＭモデルλｘをＨＭＭデータベース記憶部２２に記憶させると共に、尤度計算部２７に送る。
【００５１】
ここで、この信号処理部１２においては、以前において作成しておいた人物を特定するための情報（例えば氏名）と、当該人物を特定するための情報と対応づけられたＨＭＭモデルとがＨＭＭデータベース記憶部２２に記憶されている。また、このＨＭＭデータベース記憶部２２に記憶されている情報は、人物の１歩行サイクルに含まれる複数のＨＭＭモデルが単位として記憶されており、人物を識別する度に学習処理されて更新される。
【００５２】
尤度計算部２７では、特徴ベクトル抽出部２５から送られた複数の特徴ベクトルｏごとに求めたＨＭＭモデルλｘと、ＨＭＭデータベース記憶部２２に記憶されたＨＭＭモデルとを比較して、特徴ベクトルｏごとに求めたＨＭＭモデルλｘとの尤度を計算して、最大尤度判断部２８に送る。
【００５３】
最大尤度判断部２８では、各ＨＭＭモデルλｘごとの尤度に基づいて、下記の式８に示すように、
【数８】
2005074075.tif 000010
なる演算をすることにより最大尤度を求め、当該最大尤度を示す識別結果ｘを生成して出力する。なお、最大尤度判断部２８では、最大尤度のみならず、当該最大尤度とＨＭＭデータベース記憶部２２に登録された人物を特定するための情報とを対応づけて出力しても良い。これにより、図示しない監視モニタ等に最大尤度及び人物を特定するための情報を表示して、室内に入退室する人物を監視者に監視させることができる。
【００５４】
［実施形態の効果］
このような処理を行う信号処理部１２を備えた入退室管理セキュリティシステムでは、室内に存在する移動体の１歩行サイクルを処理単位とし、特徴ベクトルデータベース記憶部２１に記憶されたデータベース及びＨＭＭデータベース記憶部２２に記憶されたデータベースを１歩行サイクル単位の情報からなるものとしておく。したがって、この入退室管理セキュリティシステムでは、移動体を含む画像データを生成して信号処理部１２に送ると、特徴ベクトルデータベース記憶部２１及びＨＭＭデータベース記憶部２２に記憶したデータベースと、１歩行サイクル分の画像データとを用いて移動体の識別処理を行うことができ、人物の識別精度を向上させることができる。
【００５５】
また、この入退室管理セキュリティシステムによれば、人物の歩行周期や取得した周期画像を単位として移動体の識別処理を行うので、識別精度を更に向上させることができる。また、この入退室管理セキュリティシステムによれば、マイクロホン２により検出した移動体の周期的な音に基づいて歩行周期や周期画像を用いて移動体の識別処理を行うので、更に確実に１歩行サイクルに含まれる画像データを使用して移動体の識別処理を行うことができ、人物の識別精度を向上させることができる。
【００５６】
更に、この入退室管理セキュリティシステムによれば、人物オブジェクトの特徴ベクトルを抽出するに際して、ＫＬ展開（主成分分析）を行って情報量を圧縮することができるので、識別処理に使用するデータの冗長性を排して処理負担を低減し、効率的な識別処理を実現することができる。
【００５７】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００５８】
【図１】本発明を適用した入退室管理セキュリティシステムの概略構成を示す図である。
【図２】本発明を適用した入退室管理セキュリティシステムにおける信号処理ユニットの具体的な構成を示すブロック図である。
【図３】本発明を適用した入退室管理セキュリティシステムにおいて、歩行している人物の特徴を取得するときの処理手順を示すフローチャートである。
【図４】人物の１歩行サイクルについて説明するための図である。
【図５】人物オブジェクトから足領域の画像を抽出する処理を説明するための図である。
【図６】人物オブジェクトの足領域における所定輝度以上又は所定輝度以下のピクセル数の変化を説明するための図である。
【図７】輪郭曲線を長さが同一のベクトルにて表現する処理を説明するための図である。
【符号の説明】
【００５９】
１  撮像カメラ
２  マイクロホン
３  信号処理ユニット
１１  Ａ／Ｄ変換部
１２  信号処理部
２１  特徴ベクトルデータベース記憶部
２２  ＨＭＭデータベース記憶部
２３  １歩行サイクル抽出部
２４  外形抽出部
２５  特徴ベクトル抽出部
２６  ＨＭＭモデル生成部
２７  尤度計算部
２８  最大尤度判断部
【図１】
2005074075.tif 000011
【図２】
2005074075.tif 000012
【図３】
2005074075.tif 000013
【図４】
2005074075.tif 000014
【図５】
2005074075.tif 000015
【図６】
2005074075.tif 000016
【図７】
2005074075.tif 000017