(57)【要約】      （修正有）【課題】映像カットから抽出した特徴量を識別空間上で評価することで特徴量を選択する。【解決手段】動きベクトル抽出部１２には、撮影装置から連続的に入力された映像のフレームから動体を抽出し、該動体の動きベクトルを算出する。特徴ベクトル生成部１５は、カット切り出し部１４にて任意の単位列に切り出した動きベクトルカット毎に特徴ベクトルを算出する。識別処理部１６は、算出された特徴ベクトルの識別空間の分布からの外れ具合を識別空間上の代表ベクトルを利用して判定する。評価値算出部１７は、識別空間上での代表ベクトルと特徴ベクトルとの距離から評価値を算出する。特徴量選択部１８は、前記評価値の大きい順にＮ個の特徴ベクトルを選択し、選択結果を識別処理部１６の判定に利用する代表ベクトルにフィードバックする。【選択図】図２
2010165195.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置の撮影した映像から撮影対象の非定常度を検出するために特徴量を選択する方法であって、
動きベクトル抽出手段が、前記撮影装置から連続的に入力された映像のフレームから動体を抽出し、該動体の動きベクトルを算出する動きベクトル抽出ステップと、
特徴ベクトル生成手段が、前記動きベクトルを任意の単位列に切り出した動きベクトルカット毎に特徴ベクトルを算出する特徴ベクトル生成ステップと、
評価値算出手段が、前記撮影対象の定常状態を示す識別空間上の代表点との関係から特徴ベクトルの評価値を算出する評価値算出ステップと、
特徴量選択手段が、前記評価値を基準にＮ個の特徴ベクトルを前記特徴量として選択する特徴量選択ステップと、
を有することを特徴とする特徴量選択方法。
【請求項２】
撮影装置の撮影した映像から撮影対象の非定常度を検出するために特徴量を選択する方法であって、
変化領域抽出手段が、前記撮影装置から連続的に入力された映像のフレーム毎に変化領域を抽出する変化領域抽出ステップと、
特徴ベクトル生成手段が、前記変化領域の画像を任意の単位列に切り出した映像カットから変化の特徴ベクトルを算出する特徴ベクトル生成ステップと、
評価値算出手段が、前記撮影対象の定常状態を示す識別空間上の代表点との関係から特徴ベクトルの評価値を算出する評価値算出ステップと、
特徴量選択手段が、前記評価値を基準にＮ個の特徴ベクトルを前記特徴量として選択する特徴量選択ステップと、
を有することを特徴とする特徴量選択方法。
【請求項３】
前記特徴ベクトル生成ステップにて算出された特徴ベクトルの識別空間の分布からの外れ具合を、識別手段が識別空間上での代表ベクトルから判定する識別処理ステップをさらに有し、
前記評価値算出ステップが、識別空間上での代表ベクトルと特徴ベクトルとの距離から前記評価値を算出し、
前記特徴量選択ステップにおいて、前記選択結果を前記識別処理ステップの判定に利用する代表ベクトルにフィードバックする
ことを特徴とする請求項１または２のいずれか１項に記載の特徴量選択装置。
【請求項４】
圧縮手段を用いて前記特徴ベクトル算出ステップで算出された特徴ベクトルの次元を圧縮する次元圧縮ステップをさらに有し、
前記識別処理ステップは、次元圧縮された圧縮特徴ベクトルの識別空間の分布からの外れ具合を識別空間上の代表ベクトルから判定し、
前記評価値算出ステップは、識別空間上での代表ベクトルと圧縮特徴ベクトルとの距離から前記評価値を算出し、
前記特徴量選択ステップは、前記評価値を基準にＮ個の圧縮特徴ベクトルを選択するステップと、該選択結果を前記識別処理ステップの判定に利用する代表ベクトルにフィードバックするステップと、前記選択結果の次元圧縮パラメータを前記圧縮手段の利用可能な記憶手段に記憶させるステップと、を有する
ことを特徴とする請求項３記載の特徴量選択方法。
【請求項５】
撮影装置の撮影した映像から撮影対象の非定常度を検出するために特徴量を選択する装置であって、
前記撮影装置から連続的に入力された映像のフレームから動体を抽出し、該動体の動きベクトルを算出する動きベクトル抽出手段と、
前記動きベクトルを任意の単位列に切り出した動きベクトルカット毎に特徴ベクトルを算出する特徴ベクトル生成手段と、
前記撮影対象の定常状態を示す識別空間上の代表点との関係から特徴ベクトルの評価値を算出する評価値算出手段と、
前記評価値を基準にＮ個の特徴ベクトルを前記特徴量として選択する特徴量選択手段と、
を備えることを特徴とする特徴量選択装置。
【請求項６】
撮影装置の撮影した映像から撮影対象の非定常度を検出するために特徴量を選択する装置であって、
前記撮影装置から連続的に入力された映像のフレーム毎に変化領域を抽出する変化領域抽出手段と、
前記変化領域の画像を任意の単位列に切り出した映像カットから、変化の特徴ベクトルを算出する特徴ベクトル生成手段と、
前記撮影対象の定常状態を示す識別空間上の代表点との関係から特徴ベクトルの評価値を算出する評価値算出手段と、
前記評価値を基準にＮ個の特徴ベクトルを前記特徴量として選択する特徴量選択手段と、
を備えることを特徴とする特徴量選択装置。
【請求項７】
前記特徴ベクトル生成手段が算出した特徴ベクトルの識別空間の分布からの外れ具合を、識別空間上の代表ベクトルから判定する識別処理手段をさらに備え、
前記評価値算出手段が、識別空間上での代表ベクトルと特徴ベクトルとの距離から前記評価値を算出するとともに、
前記特徴量選択手段が、前記選択結果を前記識別処理手段の判定に利用する代表ベクトルにフィードバックする
ことを特徴とする請求項５または６のいずれか１項に記載の特徴量選択装置。
【請求項８】
前記特徴ベクトル生成手段が算出した特徴ベクトルの次元を圧縮する圧縮手段と、
前記圧縮手段が特徴ベクトルを次元圧縮するときに利用する次元圧縮パラメータが記憶される記憶手段と、をさらに備え、
前記識別処理手段は、次元圧縮された圧縮特徴ベクトルの識別空間の分布からの外れ具合を識別空間上の代表ベクトルから判定し、
前記評価値算出手段は、識別空間上での代表ベクトルと圧縮特徴ベクトルとの距離から前記評価値を算出し、
前記特徴量選択手段は、前記評価値を基準にＮ個の圧縮特徴ベクトルを選択し、該選択結果を前記識別処理手段の判定に利用する代表ベクトルにフィードバックするとともに、
前記選択された圧縮特徴ベクトルの次元圧縮パラメータを、前記記憶手段に記憶させることを特徴とする請求項７記載の特徴量選択装置。
【請求項９】
請求項５〜８のいずれか１項に記載の特徴量選択装置としてコンピュータを機能させることを特徴とする特徴量選択プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置をもって撮影された映像から、画像処理により非定常映像などを検出するために特徴量を選択する技術に関する。
【背景技術】
【０００２】
現在、カメラなどの撮像装置を用いた監視システムが多く利用されているが、人による動画像からの異常検出は労力が多大であり、これをコンピュータで代替できれば労力の削減が期待できる。例えば、銀行などではＡＴＭ操作での挙動不審を検出することが可能となり、また老人介護の自動通報システムであれば介護者の負担を減らすこともできる。
【０００３】
そこで、撮影空間の異常、即ち非定常映像を検出するため特徴量を選択する技術が必要とされている。この特徴量選択方法としては特許文献１の技術が知られている。ここでは平均相互情報の大きい順に特徴量を選択して高速にパターン識別を行っている。また、非特許文献１に記載された主成分が大きい順に特徴量を選択する技術も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０４−０８４２７７
【非特許文献】
【０００５】
【非特許文献１】若林哲史，鶴岡信治，木村文隆，三宅康二，「手書き数字認識における特徴量選択に関する考察」，電子情報通信学会論文誌  Ｄ−ＩＩ  Ｖｏｌ．Ｊ７８−Ｄ−ＩＩ  Ｎｏ．１１  ｐｐ．１６２７−１６３８，１９９５年１１月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１および非特許文献１の特徴量選択方法では、いずれも得られた特徴量の情報量等を基準に選択し、識別を実際に行う空間上の基準で特徴量を選択していないことから、良好な精度が得られないおそれがある
本発明は、従来手法の問題点を鑑み、映像カットから抽出した特徴量を識別空間上で評価することで特徴量を選択することを解決課題としている。
【課題を解決するための手段】
【０００７】
そこで、本発明は、非定常映像の検出に有効な特徴量を識別すべく、撮影対象の定常度を示す識別空間上の代表点との関係から特徴ベクトルを評価し、該評価にしたがって特徴量を選択している。
【０００８】
具体的には、請求項１記載の発明は、撮影装置の撮影した映像から撮影対象の非定常度を検出するために特徴量を選択する方法であって、動きベクトル抽出手段が、前記撮影装置から連続的に入力された映像のフレームから動体を抽出し、該動体の動きベクトルを算出する動きベクトル抽出ステップと、特徴ベクトル生成手段が、前記動きベクトルを任意の単位列に切り出した動きベクトルカット毎に特徴ベクトルを算出する特徴ベクトル生成ステップと、評価値算出手段が、前記撮影対象の定常状態を示す識別空間上の代表点との関係から特徴ベクトルの評価値を算出する評価値算出ステップと、特徴量選択手段が、前記評価値を基準にＮ個の特徴ベクトルを前記特徴量として選択する特徴量選択ステップと、を有すること特徴としている。
【０００９】
請求項２記載の発明は、撮影装置の撮影した映像から撮影対象の非定常度を検出するために特徴量を選択する方法であって、変化領域抽出手段が、前記撮影装置から連続的に入力された映像のフレーム毎に変化領域を抽出する変化領域抽出ステップと、特徴ベクトル生成手段が、前記変化領域の画像を任意の単位列に切り出した映像カットから変化の特徴ベクトルを算出する特徴ベクトル生成ステップと、評価値算出手段が、前記撮影対象の定常状態を示す識別空間上の代表点との関係から特徴ベクトルの評価値を算出する評価値算出ステップと、特徴量選択手段が、前記評価値を基準にＮ個の特徴ベクトルを前記特徴量として選択する特徴量選択ステップと、を有することを特徴としている。
【００１０】
請求項３記載の発明は、前記特徴ベクトル生成ステップにて算出された特徴ベクトルの識別空間の分布からの外れ具合を、識別手段が識別空間上での代表ベクトルから判定する識別処理ステップをさらに有し、前記評価値算出ステップが、識別空間上での代表ベクトルと特徴ベクトルとの距離から前記評価値を算出し、
前記特徴量選択ステップにおいて、前記選択結果を前記識別処理ステップの判定に利用する代表ベクトルにフィードバックすることを特徴としている。
【００１１】
請求項４記載の発明は、圧縮手段を用いて前記特徴ベクトル算出ステップで算出された特徴ベクトルの次元を圧縮する次元圧縮ステップをさらに有し、前記識別処理ステップは、次元圧縮された圧縮特徴ベクトルの識別空間の分布からの外れ具合を識別空間上の代表ベクトルから判定し、前記評価値算出ステップは、識別空間上での代表ベクトルと圧縮特徴ベクトルとの距離から前記評価値を算出し、前記特徴量選択ステップは、前記評価値を基準にＮ個の圧縮特徴ベクトルを選択するステップと、該選択結果を前記識別処理ステップの判定に利用する代表ベクトルにフィードバックするステップと、前記選択結果の次元圧縮パラメータを前記圧縮手段の利用可能な記憶手段に記憶させるステップと、を有することを特徴としている。
【００１２】
請求項５記載の発明は、撮影装置の撮影した映像から撮影対象の非定常度を検出するために特徴量を選択する装置であって、前記撮影装置から連続的に入力された映像のフレームから動体を抽出し、該動体の動きベクトルを算出する動きベクトル抽出手段と、前記動きベクトルを任意の単位列に切り出した動きベクトルカット毎に特徴ベクトルを算出する特徴ベクトル生成手段と、前記撮影対象の定常状態を示す識別空間上の代表点との関係から特徴ベクトルの評価値を算出する評価値算出手段と、前記評価値を基準にＮ個の特徴ベクトルを前記特徴量として選択する特徴量選択手段と、を備えることを特徴としている。
【００１３】
請求項６記載の発明は、撮影装置の撮影した映像から撮影対象の非定常度を検出するために特徴量を選択する装置であって、前記撮影装置から連続的に入力された映像のフレーム毎に変化領域を抽出する変化領域抽出手段と、前記変化領域の画像を任意の単位列に切り出した映像カットから、変化の特徴ベクトルを算出する特徴ベクトル生成手段と、前記撮影対象の定常状態を示す識別空間上の代表点との関係から特徴ベクトルの評価値を算出する評価値算出手段と、前記評価値を基準にＮ個の特徴ベクトルを前記特徴量として選択する特徴量選択手段と、を備えることを特徴としている。
【００１４】
請求項７記載の発明は、前記特徴ベクトル生成手段が算出した特徴ベクトルの識別空間の分布からの外れ具合を、識別空間上の代表ベクトルから判定する識別処理手段をさらに備え、前記評価値算出手段が、識別空間上での代表ベクトルと特徴ベクトルとの距離から前記評価値を算出するとともに、前記特徴量選択手段が、前記選択結果を前記識別処理手段の判定に利用する代表ベクトルにフィードバックすることを特徴としている。
【００１５】
請求項８記載の発明は、前記特徴ベクトル生成手段が算出した特徴ベクトルの次元を圧縮する圧縮手段と、前記圧縮手段が特徴ベクトルを次元圧縮するときに利用する次元圧縮パラメータが記憶される記憶手段と、をさらに備え、前記識別処理手段は、次元圧縮された圧縮特徴ベクトルの識別空間の分布からの外れ具合を識別空間上の代表ベクトルから判定し、前記評価値算出手段は、識別空間上での代表ベクトルと圧縮特徴ベクトルとの距離から前記評価値を算出し、前記特徴量選択手段は、前記評価値を基準にＮ個の圧縮特徴ベクトルを選択し、該選択結果を前記識別処理手段の判定に利用する代表ベクトルにフィードバックするとともに、前記選択された圧縮特徴ベクトルの次元圧縮パラメータを、前記記憶手段に記憶させることを特徴としている。
【００１６】
請求項９記載の発明は、特徴量選択プログラムであって、請求項５〜８のいずれか１項に記載の特徴量選択装置としてコンピュータを機能させることを特徴としている。
【発明の効果】
【００１７】
請求項１〜９記載の発明によれば、映像カットから抽出した特徴量を識別空間上で評価することで高精度な識別が可能な特徴量を選択することができる。これにより、従来技術より少ない特徴量で効率的に非定常映像検出が実現できる。
【００１８】
特に、請求項３．７記載の発明によれば、選択処理を繰り返すことで有効な特徴量を容易に発見することができる。また、請求項４．８記載の発明によれば、選択結果の次元圧縮パラメータが、次回の圧縮処理に有効に活用される。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施形態に係る特徴量選択装置のハードウェア構成図。
【図２】同  主要機能ブロック図。
【図３】同  入出力データ図。
【図４】同  処理フロー図。
【図５】同  特徴ベクトルと識別空間上の代表ベクトルとの関係図。
【図６】本発明の第２実施形態に係る特徴量選択装置の主要機能ブロック図。
【図７】同  入出力データ図。
【図８】同  処理フロー図。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を説明する。ここでは撮影装置で撮影した映像データに含まれる映像カットから高精度に非定常カットを検出するために、特徴量選択装置にて映像カットから抽出した特徴量を識別空間で評価することで有効な特徴量を選択している。
【００２１】
前記撮影装置には、デジタルカメラやデジタルビデオカメラなどが使用されるものとする。撮影対象としては、例えば銀行のＡＴＭコーナやエレベータのかご内などの空間が挙げられる。
【００２２】
この場合には、ＡＴＭコーナの天井などの所定位置に固定されたデジタルビデオカメラなどで内部空間が連続的に撮影される。このとき前記特徴量選択装置は、前記撮影装置の撮影データから不審者の侵入などの非定常状態の映像カットを検出するための特徴量を選択する。
【００２３】
ここでは前記撮影装置で撮影されたフレーム画像が前記特徴量選択装置に時系列に入力される状況（静止画系列や映像ストリームなど）を想定して実施形態を説明する。この実施形態では前記特徴量選択装置のハードウェアに汎用コンピュータを使用した例を説明するが、本発明はこれに限定されることなく、例えば処理ロジックを実装したボード、チップなどを用いてもよい。
【００２４】
（１）第１実施形態
図１は、本発明の第１実施形態に係る特徴量選択装置１のハードウェア構成を示している。この特徴量選択装置１には撮影装置２で撮影されたフレーム画像がネットワーク経由で時系列に入力されている。
【００２５】
具体的には前記特徴量選択装置１は、キーボードやマウスなどの入力装置３と、固定データなどを記憶する読み取り専用メモリ（ＲＯＭ）４と、各部３〜９の制御や演算処理を行う処理部（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）５と、処理データなどを一時記憶する書換可能なメモリ（ＲＡＭ）６と、前記撮影装置２とネットワーク接続する通信インタフェース（Ｉ／Ｆ）７と、ハードディスクドライブ装置などの外部記憶装置８と、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体１０を読み込む記録媒体駆動装置９とを備え、処理データなどを表示するモニタなどの表示装置１１が接続されている。
【００２６】
この各部３〜９は、ソフトウェアと協働した結果、図２に示すように、動きベクトル抽出部１２，動きベクトル記憶部１３，カット切り出し部１４，特徴ベクトル生成部１５，識別処理部１６，評価値算出部１７，特徴量選択部１８として機能している。
【００２７】
この各機能ブロック１２〜１８の処理内容を説明すれば、前記動きベクトル抽出部１２には、図３に示すように、前記撮影装置から前記通信インタフェース７を通じて画像フレームが連続的に入力されている。この画像フレームから動きベクトルを算出し、算出した動きベクトルのデータを前記動きベクトル記憶部１３に時系列に記憶させている。
【００２８】
具体的には、前記動きベクトル記憶部１３は、前記メモリ（ＲＡＭ）６をもって実現され、ここに記憶された動きベクトル列のデータは、前記カット切り出し部１４に読み取られる。このとき前記カット切り出し部１４は、動きベクトル列のうち特定の時間単位に含まれる動きベクトルを動きベクトルカットとして切り出し、これを前記特徴ベクトル生成部１５に出力する。
【００２９】
前記特徴ベクトル生成部１５は、入力された動きベクトルカット毎に特徴ベクトルを算出し、算出結果を前記識別処理部１６に出力する。
【００３０】
前記識別処理部１６は、入力された前記各特徴ベクトルが識別空間の分布から外れているか否かを判定し、該判定に利用した識別空間上の代表ベクトルを前記評価値算出部１７に出力する。
【００３１】
前記評価値算出部１７は、前記識別処理部１６に入力された各特徴ベクトルから任意の特徴ベクトルを選び、それに対応する前記識別空間上の代表ベクトルとの関係から評価値を算出し、算出された評価値を特徴量選択部に出力する。
【００３２】
前記特徴量選択部１８は、前記評価値の大きい順にＮ個の特徴ベクトルを選択し、該選択結果を前記識別処理部１６に出力する。ここで出力された特徴ベクトル群は、そのシーンおいて有用なものとして次回以降の識別に利用される。なお、前記各機能ブロック１２〜１８の入出力データの詳細を表１にまとめておく。
【００３３】
【表１】
2010165195.tif 000003
【００３４】
以下、図４の処理フローに基づき前記各機能ブロック１２〜１８の実行する処理ステップ（Ｓ０１〜Ｓ０８）を説明する。ここで各処理ステップＳ０１〜Ｓ０８は、表１の入出力データに基づき処理されている。
【００３５】
Ｓ０１：前記動きベクトル抽出部１２は、前記撮影装置２で撮影された現時点の入力画像データからオプティカルフローを検出する。オプティカルフローは、画像上の各点における移動量と方向を表したもので、時間的に連続した画像間の対応点を探索することで求められる。具体的にはオプティカルフローの検出は、輝度勾配に基づく方法や、領域のマッチングに基づく方法が用いられるが、シーンに応じて安定的に検出できる方法を適宜選択すればよい。
【００３６】
そして、検出したオプティカルフローの検出始点の画素位置（ｕ，ｖ）と動き方向（Ｕ，Ｖ）を動きベクトルとして算出する。ここではオプティカルフローが検出され続けている時間ｔ（フレーム数）を併せて算出する。
【００３７】
算出された動きベクトルは、前記動きベクトル記憶部１３に順次格納していき、時系列の動きベクトル列を生成する。このとき動きベクトルとして加速度などの量を加えてもよい。
【００３８】
Ｓ０２：前記カット切り出し部１４は、前記動きベクトル記憶部１３から動きベクトル列を読み出し、該動きベクトル列から一定時間分（あるいは一定フレーム数分）のフレームを動きベクトルカットとして切り出す。この切り出したフレームを動きベクトルカットとして前記特徴ベクトル生成部１５に出力する。
【００３９】
このとき動きベクトルカットの切り出しは、一定数枚分のフレームが前記動きベクトル記憶部１３に蓄積される毎に行ってもよい。ここでは動きベクトルカットの切り出す量（時間あるいはフレーム数）を、あらかじめプログラムなどに定義されているものとする。なお、切り出された動きベクトルカットは、前記メモリ（ＲＡＭ）６に一時記憶してもよく、また前記外部記憶装置８に保存してもよい。
【００４０】
Ｓ０３：前記特徴ベクトル生成部１５は、Ｓ０２にて切り出された動きベクトルカットから、該動きベクトルカットに対応する特徴ベクトルを算出し、算出した特徴ベクトルを前記識別処理部１６に出力する。
【００４１】
ここで特徴ベクトルは、動きベクトル（ｕ，ｖ，Ｕ，Ｖ，ｔ）の一定のフレーム数ｎ分の特徴ベクトルであり、これをそのまま用いてもよい。あるいは前記特徴ベクトル群の時間方向で平均を求める演算などを施して算出してもよい。なお、算出した特徴ベクトルのデータは、前記メモリ（ＲＡＭ）６に一時記憶してもよく、また前記外部記憶装置８に保存してもよい。
【００４２】
Ｓ０４：前記識別処理部１６は識別処理を行う。ここでは外れ値検出パラメータを用い、算出された特徴ベクトルが、識別空間の分布から外れているかどうかを判定し、判定するために用いた識別空間上での代表ベクトルを前記評価値算出部１７に出力する。
【００４３】
前記識別手法にはサポートベクターマシン（例えば１クラスＳＶＭ）を用いて、外れ値検出を行う。１クラスＳＶＭを例に説明すれば、元の特徴空間における特徴ベクトルが高次特徴空間に写像されるときに、もとの特徴空間における外れ点が原点付近に写像されることを利用して、外れ点検出を行う。
【００４４】
すなわち、識別軸上に写像された特徴ベクトルの原点からの距離が外れ具合（非定常度）とみなされ、この非定常度が前記外れ検出パラメータの値を超えるものを外れ点とする。ここでは、その外れ点の検出に用いる、代表点（サポートベクター）を出力とする。
【００４５】
なお、外れ点を識別するための前記閾値は、プログラムに定義されているものとする。また、前記外れ値検出パラメータには、あらかじめ取得した任意の映像カットを用いて求めてもよく、また長時間の映像で環境条件が変化していくような場合には１日単位ではなく、ある程度の時間のまとまりごとにもとめてもよい。
【００４６】
Ｓ０５：終了条件を確認する。ここでは特徴量を選択するために有用なフレーム数分、即ち必要な動きベクトルカット分についてＳ０３．Ｓ０４の処理を終了しているか否かが判定される。
【００４７】
判定結果が処理完了の場合にはＳ０６の処理に進み、処理未完了の場合には、Ｓ０１に戻って有用なフレーム数分まで処理が繰り返される。この判断のボーダライン値は、プログラムに定義されているものとし、また仕様により適宜変更される。
【００４８】
Ｓ０６：前記評価値算出部１７は、各動きベクトルカットから算出された特徴ベクトルのうち、任意に選択された一つの特徴ベクトルから評価値を算出する。
【００４９】
ここでは特徴ベクトルと識別空間上の代表ベクトルとから、対応する１ペアの特徴ベクトルと代表ベクトルを選択し、マハラノビス距離を評価値として算出する。
【００５０】
図５に画像で、特徴ベクトルと識別空間上の代表ベクトルとの様子を示す。図５においては、図示のため、２ペアを選択し、一方を横軸座標、他方を縦軸座標とし、表示している。Ｓ０６は、図５中の白い点と灰色の点とのマハラノビス距離を求めることに相当する。
【００５１】
Ｓ０７：終了条件を確認する。ここではＳ０６の評価値が特徴ベクトル数分だけ算出されたか否かが判定される。
【００５２】
そして、すべての特徴ベクトルと代表ベクトルのペア分について評価値が算出されていないときにはＳ０６に戻って、特徴ベクトル数に達するまで繰り返される。評価値の算出が特徴ベクトル数に達したときにＳ０８の処理に進む。
【００５３】
Ｓ０８：前記特徴量選択部１８が、識別に有効な特徴量を選択する。ここではＳ０７にて算出された評価値に基づき、該評価値が大きい上位Ｎ個の特徴ベクトルが選択される。この上位Ｎ個の決定方法については、評価値をプログラムなどに設定した閾値を用い、閾値処理することにより決定してもよく、ユーザが任意に設定可能な仕様でもよい。
【００５４】
ここでは識別が実際に行われる識別空間上の距離を基準に特徴量が選択されることから、高精度な識別が可能な特徴量が選択される。したがって、従来技術よりも少ない特徴量で効率かつ効果的に非定常度映像が検出され、前記表示装置１１などに出力される。また、前記表示装置１１に映し出しながらＳ０１〜Ｓ０８の処理を実行してもよい。
【００５５】
このとき選択された上位Ｎ個の特徴ベクトルは、前記識別処理部１６にフィードバックされる。ここでフィードバックされる選択結果は、そのシーンにおいて有用な特徴ベクトルであるから、次回以降のＳ０６の識別処理に代表ベクトルとして利用される。これによりＳ０６〜Ｓ０８の処理を繰り返すことで、識別に有用な特徴量が発見される。
【００５６】
（２）第２実施形態
図６は、本発明の第２実施形態に係る特徴量選択装置を示している。この特徴量選択装置２０は、前記動きベクトル抽出部１２，動きベクトル記憶部１３が廃止されている一方、変化領域抽出部２１，変化領域記憶部２２，次元圧縮パラメータ記憶部２３，次元圧縮部２４が追加されている。この変化領域記憶部２２は、前記動きベクトル記憶部１３と同様にメモリ（ＲＡＭ）６をもって実現され、前記次元圧縮パラメータ記憶部２３は、前記ハードディスクドライブ装置上に構築されている。
【００５７】
具体的には、前記変化領域抽出部２１には、図７に示すように、前記撮影装置２から前記通信インタフェース７を通じて画像フレームが連続的に入力され、該画像フレームから変化領域画像を抽出し、抽出した変化領域画像のデータを前記変化領域記憶部２２に時系列に記憶させている。ここに記憶された変化領域画像列のデータは、前記カット切り出し部１４に順次読み取られる。
【００５８】
このとき前記カット切り出し部１４は、読み取った変化領域画像列から特定の時間単位に含まれる変化領域映像カットを切り出し、これを前記特徴ベクトル生成部１５に出力する。ここで前記特徴ベクトル生成部１５は、入力された変化領域映像カット毎に特徴ベクトルを算出し、算出結果を前記次元圧縮部２４に出力する。
【００５９】
前記次元圧縮部２４は、前記次元圧縮パラメータ記憶部２３から次元圧縮パラメータを取得し、該取得した次元圧縮パラメータを用いて各特徴ベクトルを次元圧縮する。ここで次元圧縮された特徴ベクトルは前記識別処理部１６に出力される。
【００６０】
前記識別処理部１６および前記評価値算出部１７は、基本的に第１実施形態と同様な処理を行う。すなわち、前記識別処理部１６は、次元圧縮された各圧縮特徴ベクトルが識別空間の分布から外れているか否かを判定し、判定に用いた識別空間上での代表ベクトルを前記評価値算出部１７に出力する。また、前記評価値算出部１７は、前記識別処理部１６に入力された各圧縮特徴ベクトルから任意の圧縮特徴ベクトルを選び、それに対応する前記識別空間上の代表ベクトルとの関係から評価値を算出し、算出された評価値を特徴量選択部１８に出力する。
【００６１】
前記特徴量選択部１８は、第１実施形態と同様に前記評価値の大きい順に選択されたＮ個の圧縮特徴ベクトルを前記識別処理部１６に出力するとともに、該圧縮特徴ベクトルの選択時に次元圧縮パラメータを前記次元圧縮パラメータ記憶部２３に記憶させる。ここに記憶された次元圧縮パラメータは、前記次元圧縮部２４の次回以降の次元圧縮処理に利用される。なお、前記各機能ブロック１４〜１８．２１〜２３の入出力データの詳細を表２にまとめておく。
【００６２】
【表２】
2010165195.tif 000004
【００６３】
以下、図８の処理フローに基づき前記各機能ブロック１４〜１８．２１〜２３の実行する処理ステップＳ１１〜Ｓ１９を説明する。この処理ステップＳ１１〜Ｓ１９は、表２の入出力データに基づき処理されている。
【００６４】
Ｓ１１：変化領域抽出部２１は、撮影装置２で撮影された現時点の入力画像データと、あらかじめ撮影装置２で撮影した過去数フレームの平均画像データとを対比して、入力画像において定常状態からの変化が表れた領域を抽出した変化領域画像を得る。この過去数フレームの平均画像データは、前記外部記憶装置８などに格納されているものとする。
【００６５】
具体的には、前記変化領域抽出部２１は、背景の時間的変化を考慮した変化領域抽出方法（あるいは変化検出方法）を適用し、前記撮影装置２で撮影された現時点の入力画像から変化領域画像を取得する。変化領域抽出方法には、過去数フレームの平均画像と現在のフレームとの画素値の差分で、一定の閾値を超えた領域を変化領域として抽出する方法を用いることができる。
【００６６】
このように時間的変化を考慮した変化領域抽出方法を用いることにより、例えば朝、昼、晩と日照の変化に応じて画素が変化したとしても、変化領域を頑健に抽出することができる。このとき変化領域画像の変化領域には画素値１、変化のない領域には画素値０が割り当てられる。
【００６７】
そして、前記変化領域抽出部１２は、このように取得した変化領域画像のデータを前記変化領域記憶部２２に順次格納し、変化領域画像列を生成する。
【００６８】
Ｓ１２：前記カット切り出し部１４は、前記変化領域記憶部２２に格納された前記変化領域の画像列を読み出し、該画像列から一定時間（または一定数）のフレームを切り出す。この切り出されたフレームを変化領域映像カットとして前記特徴ベクトル生成部１５に出力する。
【００６９】
ここで切り出す時間（またはフレーム数）は、プログラムに定義されているものとする。このような変化領域映像カットの切り出しは、一定数分のフレームが前記変化領域記憶部２２に蓄積される毎に行ってもよい。また、切り出された変化領域映像カットのデータは、前記メモリ（ＲＡＭ）６などに一時記憶してもよく、また前記外部記憶装置８に保存してもよい。
【００７０】
Ｓ１３：前記特徴ベクトル生成部１５は、Ｓ１２で切り出された前記変化領域映像カットから、該映像カットに対応する特徴ベクトルを算出し、算出した特徴ベクトルを前記次元圧縮部２４に出力する。
【００７１】
ここで特徴ベクトルは、前記変化領域画像の画像サイズを「ｘ×ｙ（縦ｘ画素、横ｙ画素）」とすると、切り出した一定のフレーム数ｎを乗じた「ｘ×ｙ×ｎ次元」の特徴ベクトルである。算出した特徴ベクトルのデータは、前記メモリ（ＲＡＭ）６などに一時記憶してもよく、また前記外部記憶部８に保存してもよい。
【００７２】
Ｓ１４：前記次元圧縮部２４は、前記次元圧縮パラメータ記憶部２３から読み込んだ次元圧縮パラメータを利用して、Ｓ１３で算出した特徴ベクトルの次元を圧縮し、次元数の少ない圧縮特徴ベクトルを得る。この次元の圧縮には、映像からの類似シーン検索で用いられる圧縮手法である主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）を使用する。
【００７３】
具体的には、あらかじめとっておいた映像カットに対応する特徴ベクトルＦ（ｋ）（ｋ＝１，．．．，Ｋ、Ｋはカットの数）の主成分分析を行う。ここで特徴ベクトルＦ（ｋ）を圧縮座標系に投影する際に、あらかじめ定めた寄与率を越える次数までの主軸に投影した係数を保持し、次元を圧縮する。このように前記特徴ベクトルの次元が圧縮されることで該ベクトルの情報量が低減される。
【００７４】
なお、長時間の映像で環境条件が変化していくような場合には、逐次ある程度の時間のまとまりごとに次元圧縮パラメータを得て、次元圧縮してもよい。また、最初の次元圧縮のときには、事前に前記平均画像などを用いて記憶しておいた次元圧縮パラメータを利用してもよい。
【００７５】
Ｓ１５〜Ｓ１８：ここでは圧縮特徴ベクトルにＳ０４〜Ｓ０７と同様な処理を施す。すなわち、外れ値検出パラメータを用い、圧縮特徴ベクトルが識別空間の分布から外れているかどうかを判定し、判定するのに用いた識別空間上での代表ベクトルを出力する（Ｓ１５）。つぎに、特徴量を選択するために有用なフレーム数分、即ち必要な変化領域映像カット分についてＳ１３〜Ｓ１５の処理を終了しているか否かが判定する（Ｓ１６）。
【００７６】
また、各圧縮特徴ベクトルのうち、任意に選択された一つの特徴ベクトルから評価値を算出し（Ｓ１７）、その後にＳ１７の評価値が該圧縮特徴ベクトル数分だけ算出されたか否かを判定する（Ｓ１８）。
【００７７】
Ｓ１９：前記特徴量選択部１８によって、Ｓ０８と同様に前記評価値の大きい上位Ｎ個の圧縮特徴ベクトルが選択される。ここで選択された特徴ベクトルの次元圧縮パラメータ、即ちＳ１４にて次元圧縮したときの係数は次元圧縮パラメータ記憶部２３に時系列に記憶され、そのシーンにおいて有用な次元圧縮パラメータとして、次回以降のＳ１４の次元圧縮処理に有効に利用される。なお、次回以降のＳ１４の圧縮処理はＮ個以上の特徴ベクトルについて行われる。
【００７８】
本実施形態においても、識別が実際に行われる識別空間上の距離を基準に圧縮特徴ベクトルが選択されるので、高精度な識別が可能な特徴量が選択される。これにより従来技術よりも少ない特徴量で効率かつ効果的に非定常度映像が検出され、前記表示装置１１などに出力される。なお、Ｓ１１〜Ｓ１９も前記表示装置１１に映し出しながら処理を実行させてもよい。
【００７９】
また、選択された上位Ｎ個の特徴ベクトルは、前記識別処理部１６にフィードバックされることから、次回以降のＳ１５の識別処理に代表ベクトルとして利用され、この処理を繰り返すことで識別に有用な特徴量が発見される。
【００８０】
本発明は、前記各実施形態に限定されるものではなく、装置構成などは各請求項に記載された範囲内で適宜修正される。例えば前記特徴量選択装置１に前記次元圧縮パラメータ記憶部２３．前記次元圧縮部２４を設けることもできる。この場合には、圧縮特徴ベクトルについて前記識別処理部１６．前記評価値算出部１７．特徴量選択部１８の処理が実行される。
【００８１】
また、本発明は、前記特徴量選択装置１．２０としてコンピュータを機能させる特徴量選択プログラムとしても提供することができる。この特徴量選択プログラムは、Ｓ０１〜Ｓ０８．Ｓ１１〜Ｓ１９の全ての処理ステップをコンピュータに実行させてもよく、あるいは該処理ステップの一部をコンピュータに実行させてもよい。
【００８２】
このプログラムは、Ｗｅｂサイトなどからのダウンロードによってコンピュータに提供することができる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ  Ｄｉｓｋ（登録商標）などの記録媒体１０に格納してコンピュータに提供してもよい。この記録媒体１０は、記録媒体駆動装置９を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体１０も本発明を構成する。
【符号の説明】
【００８３】
１．２０…特徴量選択装置
２…撮影装置
３…入力装置
４…読み取り専用メモリ（ＲＯＭ）
５…処理部（ＣＰＵ）
６…書換可能メモリ（ＲＡＭ）
７…通信インタフェース（Ｉ／Ｆ）
８…外部記憶装置
９…記録媒体駆動装置
１０…記録媒体
１１…表示装置
１２…動きベクトル抽出部（動きベクトル抽出手段）
１３…動きベクトル記憶部
１４…カット切り出し部
１５…特徴ベクトル生成部（特徴ベクトル生成手段）
１６…識別処理部（識別処理手段）
１７…評価値算出部（評価値算出手段）
１８…特徴量選択部（特徴量選択手段）
２１…変化領域抽出部（変化領域抽出手段）
２２…変化領域記憶部
２３…次元圧縮パラメータ記憶部（記憶手段）
２４…次元圧縮部（圧縮手段）
【図１】
2010165195.tif 000005
【図２】
2010165195.tif 000006
【図３】
2010165195.tif 000007
【図４】
2010165195.tif 000008
【図５】
2010165195.tif 000009
【図６】
2010165195.tif 000010
【図７】
2010165195.tif 000011
【図８】
2010165195.tif 000012