(57)【要約】【課題】  撮像装置をもって撮影した映像から、ユーザの意図する非定常映像を検出する。【解決手段】  映像検出装置１には、撮影された映像のフレーム画像が時系列に入力されている。変化領域抽出部１２は、撮像装置から順次入力されたフレーム毎に変化領域を抽出する。カット切り出し部１４は、特定の時間単位に含まれる変化領域画像を映像カットとして切り出す。特徴ベクトル算出部１５は、映像カットから特徴ベクトルを算出する。非定常カット検出部１９は、次元圧縮された特徴ベクトルと検出パラメータとを用いて非定常な映像カットの候補を検出する。非定常カット検出フィードバック部２３は、非定常な映像カットの候補中、定常とみなされた映像カットに対応する特徴ベクトルを用いて検出パラメータを更新する。非定常カット検出部１９は、更新された検出パラメータを用いて非定常な映像カットの候補を検出する。【選択図】  図２
2010087937.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置をもって空間を撮影した映像中、該撮影空間の非定常的な映像カットを検出する映像検出装置であって、
前記撮像装置から連続的に入力されたフレームに変化が現れた変化領域を抽出する抽出手段と、
前記変化領域の画像を任意列に切り出した映像カットから、変化の特徴ベクトルを求める特徴量算出手段と、
前記特徴ベクトルが前記撮影空間の定常状態を示す識別空間の分布から外れている値を求め、該値が閾値を超えているときに非定常的な映像カットの候補とする検出手段と、
前記候補中、ユーザが定常とみなした映像カットの前記特徴ベクトルを用いて前記閾値を順次更新して、前記検出手段の検出処理に反映させるフィードバック手段と、
を備えることを特徴とする映像検出装置。
【請求項２】
撮像装置をもって空間を撮影した映像中、該撮影空間の非定常的な映像カットを検出する映像検出装置であって、
前記撮像装置から連続的に入力されたフレームから動体を抽出し、該抽出された動体の動き方向の特徴量を動きベクトルとして求めるベクトル算出手段と、
前記動きベクトルを任意列に切り出した動きベクトルカットから、動体の動きの特徴ベクトルを求める特徴量算出手段と、
前記特徴ベクトルが前記撮影空間の定常状態を示す識別空間の分布から外れている値を求め、該値が閾値を超えているときに非定常的な映像カットの候補とする検出手段と、
前記候補中、ユーザが定常とみなした映像カットの前記特徴ベクトルを用いて前記閾値を順次更新して、前記検出手段の検出処理に反映させるフィードバック手段と、
を備えることを特徴とする映像検出装置。
【請求項３】
前記特徴ベクトルの次元を圧縮する圧縮手段をさらに備えているとともに、
前記検出手段において、次元圧縮された前記特徴ベクトルが前記識別空間の分布から外れている値を求める
ことを特徴とする請求項１または２のいずれか１項に記載の映像検出装置。
【請求項４】
前記検出手段の検出した非定常な映像カットの候補をユーザに提示する表示手段をさらに備え、
前記表示手段が、前記閾値の更新前に検出した非定常な映像カットの候補を併せて表示可能なこと
を特徴とする請求項１〜３のいずれか１項に記載の映像検出装置。
【請求項５】
撮像装置をもって空間を撮影した映像中、該撮影空間の非定常的な映像カットを検出する映像検出方法であって、
抽出手段が、前記撮像装置から連続的に入力されたフレームに変化が現れた変化領域を抽出する第１ステップと、
特徴量算出手段が、前記変化領域の画像を任意列に切り出した映像カットから変化の特徴ベクトルを求める第２ステップと、
検出手段が、前記撮影空間の定常状態を示す識別空間の分布から前記特徴ベクトルが外れている値を求め、該値が閾値を超えているときに非定常的な映像カットの候補とする第３ステップと、
フィードバック手段が、前記候補中、ユーザが定常とみなした映像カットの前記特徴ベクトルを用いて前記閾値を順次更新して、前記検出手段の検出処理に反映させる第４ステップと、
を有することを特徴とする映像検出方法。
【請求項６】
撮像装置をもって空間を撮影した映像中、該撮影空間の非定常的な映像カットを検出する映像検出方法であって、
ベクトル算出手段が、前記撮像装置から連続的に入力されたフレームから動体を抽出し、該抽出された動体の動き方向の特徴量を動きベクトルとして求める第１ステップと、
特徴量算出手段が、前記動きベクトルを任意列に切り出した動きベクトルカットから、動体の動きの特徴ベクトルを求める第２ステップと、
検出手段が、前記撮影空間の定常状態を示す識別空間の分布から前記特徴ベクトルが外れている値を求め、該値が閾値を超えているときに非定常的な映像カットの候補とする第３ステップと、
フィードバック手段が、前記候補中、ユーザが定常とみなした映像カットの前記特徴ベクトルを用いて前記閾値を順次更新して、前記検出手段の検出処理に反映させる第４ステップと、
を有することを特徴とする映像検出方法。
【請求項７】
前記特徴ベクトルの次元を圧縮するステップをさらに有し、
前記第３ステップにおいて、次元圧縮された前記特徴ベクトルが前記識別空間の分布から外れている値を求める
ことを特徴とする請求項５または６のいずれか１項に記載の映像検出方法。
【請求項８】
前記第３ステップにおいて検出した非定常な映像カットの候補をユーザに提示するステップをさらに有し、
該ステップにおいて、前記閾値の更新前に検出した非定常な映像カットの候補を併せて表示可能なこと
を特徴とする請求項５〜７のいずれか１項に記載の映像検出方法。
【請求項９】
請求項１〜４のいずれか１項に記載の映像検出装置を構成する各手段としてコンピュータを機能させることを特徴とする映像検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置（例えばカメラ、ビデオカメラなど）で撮影された映像中から、画像処理により非定常なカットを検出する技術に関する。
【背景技術】
【０００２】
現在、カメラによる監視システムが多く利用されているが、人による動画像からの異常検出は労力も多大であり、これをコンピュータで代替できるならば大変な労力削減につながる。例えば、銀行などではＡＴＭ操作での挙動不審を検出することなどが可能となる。また、老人介護においては、発作などに対する自動通報システムがあれば介護者の負担を減らすことができる。そのため、異常を通知するなどのカメラによるモニタリングシステムが必要とされている。
【０００３】
従来の非定常映像検出技術としては、非特許文献１に記載の異常動作をあらかじめ学習しておき非定常映像検出を行う方法、および非特許文献２に記載の学習なしで非定常映像検出を行う方法が知られている。
【０００４】
非特許文献１記載の検出方法では、異常動作をあらかじめ学習しておくことで、エレベーターにおける人物の暴れを検知している。また、非特許文献２記載の検出方法では、それまでの映像から抽出した人物の動き特徴と大きく異なる特徴を持った映像を異常動作として検出している。
【非特許文献１】林健太郎、関真規人、塩崎秀樹、文屋太陽、森光正、濱地浩秋、「エレベーター向け画像応用防犯センサ」、昇降機・遊戯施設等の最近の技術と進歩技術講演会講演論文集、２００５（平成１８年１月）  ｐｐ．２９−３２
【非特許文献２】南里卓也、大津展之、「複数人動画像からの異常動作検出」、電子情報通信学会技術研究報告ＰＲＭＵ２００４−７７、２００４−０９（平成１６年９月）、ｐｐ．９−１６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の非定常映像検出技術では、学習の有無に関わらず、非定常と判定する基準は手法に大きく依存するため、ユーザの意図するような非定常映像を検出することは難しい。
【０００６】
そこで、本発明は、このような問題に鑑み、非定常映像の候補に対するユーザの定常・非定常の判定結果を検出処理にフィードバックすることにより、ユーザの意図する非定常映像の検出を可能にすることを解決課題としている。
【課題を解決するための手段】
【０００７】
本発明は、前記課題を解決するために創作された技術的思想であって、背景が変化した箇所を基準に所定フレームの部分映像を取得し、該部分映像の特徴ベクトルを用いて、定常状態を示す空間から外れている距離が所定閾値以上であれば非定常映像の候補とし、ユーザに提示して定常・非定常を判別してもらう。そして、定常と指定された映像区間により所定閾値が更新されて、検出処理にフィードバックされる。
【０００８】
具体的には、請求項１記載の発明は、撮像装置をもって空間を撮影した映像中、該撮影空間の非定常的な映像カットを検出する映像検出装置であって、前記撮像装置から連続的に入力されたフレームに変化が現れた変化領域を抽出する抽出手段と、前記変化領域の画像を任意列に切り出した映像カットから、変化の特徴ベクトルを求める特徴量算出手段と、前記特徴ベクトルが前記撮影空間の定常状態を示す識別空間の分布から外れている値を求め、該値が閾値を超えているときに非定常的な映像カットの候補とする検出手段と、前記候補中、ユーザが定常とみなした映像カットの前記特徴ベクトルを用いて前記閾値を順次更新して、前記検出手段の検出処理に反映させるフィードバック手段とを備えることを特徴としている。
【０００９】
また、請求項２記載の発明は、撮像装置をもって空間を撮影した映像中、該撮影空間の非定常的な映像カットを検出する映像検出装置であって、前記撮像装置から連続的に入力されたフレームから動体を抽出し、該抽出された動体の動き方向の特徴量を動きベクトルとして求めるベクトル算出手段と、前記動きベクトルを任意列に切り出した動きベクトルカットから、動体の動きの特徴ベクトルを求める特徴量算出手段と、前記特徴ベクトルが前記撮影空間の定常状態を示す識別空間の分布から外れている値を求め、該値が閾値を超えているときに非定常的な映像カットの候補とする検出手段と、前記候補中、ユーザが定常とみなした映像カットの前記特徴ベクトルを用いて前記閾値を順次更新して、前記検出手段の検出処理に反映させるフィードバック手段とを備えることを特徴としている。
【００１０】
また、請求項３記載の発明は、前記特徴ベクトルの次元を圧縮する圧縮手段をさらに備えているとともに、前記検出手段において、次元圧縮された前記特徴ベクトルが前記識別空間の分布から外れている値を求めることを特徴としている。
【００１１】
また、請求項４記載の発明は、前記検出手段の検出した非定常な映像カットの候補をユーザに提示する表示手段をさらに備え、前記表示手段が、前記閾値の更新前に検出した非定常な映像カットの候補を併せて表示可能なことを特徴としている。
【００１２】
また、請求項５記載の発明は、撮像装置をもって空間を撮影した映像中、該撮影空間の非定常的な映像カットを検出する映像検出方法であって、抽出手段が、前記撮像装置から連続的に入力されたフレームに変化が現れた変化領域を抽出する第１ステップと、特徴量算出手段が、前記変化領域の画像を任意列に切り出した映像カットから変化の特徴ベクトルを求める第２ステップと、検出手段が、前記撮影空間の定常状態を示す識別空間の分布から前記特徴ベクトルが外れている値を求め、該値が閾値を超えているときに非定常的な映像カットの候補とする第３ステップと、フィードバック手段が、前記候補中、ユーザが定常とみなした映像カットの前記特徴ベクトルを用いて前記閾値を順次更新して、前記検出手段の検出処理に反映させる第４ステップとを有することを特徴としている。
【００１３】
また、請求項６記載の発明は、撮像装置をもって空間を撮影した映像中、該撮影空間の非定常的な映像カットを検出する映像検出方法であって、ベクトル算出手段が、前記撮像装置から連続的に入力されたフレームから動体を抽出し、該抽出された動体の動き方向の特徴量を動きベクトルとして求める第１ステップと、特徴量算出手段が、前記動きベクトルを任意列に切り出した動きベクトルカットから、動体の動きの特徴ベクトルを求める第２ステップと、検出手段が、前記撮影空間の定常状態を示す識別空間の分布から前記特徴ベクトルが外れている値を求め、該値が閾値を超えているときに非定常的な映像カットの候補とする第３ステップと、フィードバック手段が、前記候補中、ユーザが定常とみなした映像カットの前記特徴ベクトルを用いて前記閾値を順次更新して、前記検出手段の検出処理に反映させる第４ステップとを有することを特徴としている。
【００１４】
また、請求項７記載の発明は、前記特徴ベクトルの次元を圧縮するステップをさらに有し、前記第３ステップにおいて、次元圧縮された前記特徴ベクトルが前記識別空間の分布から外れている値を求めることを特徴としている。
【００１５】
また、請求項８記載の発明は、前記第３ステップにおいて検出した非定常な映像カットの候補をユーザに提示するステップをさらに有し、該ステップにおいて、前記閾値の更新前に検出した非定常な映像カットの候補を併せて表示可能なことを特徴としている。
【００１６】
また、請求項９記載の発明は、映像検出プログラムであり、請求項１〜４のいずれか１項に記載の映像検出装置を構成する各手段としてコンピュータを機能させることを特徴としている。
【発明の効果】
【００１７】
請求項１〜９記載の発明によれば、非定常映像の候補に対するユーザの判定結果が以後の検出処理に反映されることから、ユーザの意図する検出が可能になる。
【００１８】
特に、請求項４．８記載の発明によれば、現在の非定常映像の候補と過去の非定常映像の候補とを対比して確認することができる。
【発明を実施するための最良の形態】
【００１９】
本発明では、所定位置に固定されたカメラなどの撮像装置をもって、一定の空間を連続的に撮影した映像中、該空間の非定常な映像カットを検出している。撮影空間としては、例えば銀行のＡＴＭコーナーや、エレベーターのかご内などが挙げられる。この場合には、ＡＴＭコーナーの天井などに設置されたカメラで内部空間が連続的に撮影される。このとき、カメラで不審者の侵入などの非定常状態が撮影されると、そのシーンの映像カットが検出される。
【００２０】
ここでは、前記撮像装置で撮影された画像（フレーム画像）が映像検出装置に時系列的に入力される状況（静止画系列や映像ストリームなど）を想定して説明する。また、ここでは前記映像検出装置がコンピュータにより構成された例を説明するが、映像検出装置はこれに限定されるものではなく、例えば映像検出の処理ロジックを実装したＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）チップを備えた計算機などでもよい。
【００２１】
（１）第１実施形態
図１は、本発明の第１実施形態に係る映像検出装置１を示し、該映像検出装置１には、カメラ２で撮影された画像データがネットワークを介して時系列に入力されている。ここでは撮像装置としてのカメラ２にデジタルカメラあるいはデジタルビデオカメラが使用されているものとする。
【００２２】
前記映像検出装置１は、図１に示すように、キーボードやマウスなどの入力部３と、固定データなどを記憶する読み取り専用メモリ（ＲＯＭ）４と、各部の制御や計算処理などを行う処理部（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ等）５と、処理データなどを一時記憶する書き換え可能なメモリ（ＲＡＭ）６と、前記カメラ２などとのネットワーク接続に使用する通信インタフェース部（Ｉ／Ｆ）７と、ハードディスクドライブ装置などの外部記憶部８と、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体１０を読み込む記録媒体駆動部９とを備えている。また、該映像検出装置１には、処理データなどを表示するディスプレイなどの表示装置１１が接続されている。
【００２３】
前記各構成要素３〜９は、図２に示すように、変化領域抽出部１２、変化領域記憶部１３、カット切り出し部１４、特徴ベクトル算出部１５、次元圧縮パラメータ記憶部１６、次元圧縮部１７、外れ値検出パラメータ記憶部１８、非定常カット検出部１９、非定常カット記憶部２０、非定常カット表示部２１、定常カット取得部２２、非定常カット検出フィードバック部２３として機能している。前記各機能ブロック１２〜２３の機能は、前記処理部（ＣＰＵ）５が映像検出プログラムを読み込んで実現されている。このうち前記各記憶部１３．１６．１８．２０は、前記ハードディスクドライブ装置上にデータベースとして構築されている。
【００２４】
具体的には、前記変化領域抽出部１２には、図３に示すように、前記カメラ２で撮影された画像データ（フレーム）が時系列で順次入力されている。この画像データから変化の表れた変化領域を抽出し、抽出した変化領域画像のデータを前記変化領域記憶部１３に順次出力する。
【００２５】
前記変化領域記憶部１３は、入力された前記変化領域画像のデータを時系列に記憶して変化領域画像列とし、該画像列のデータを前記カット切り出し部１４に出力する。
【００２６】
前記カット切り出し部１４は、入力された前記変化領域画像列から一定数のフレームを切り出し、切り出されたフレームを変化領域映像カットとして前記特徴ベクトル算出部１５に出力する。
【００２７】
前記特徴ベクトル算出部１５は、入力された前記変化領域映像カットから特徴ベクトルを算出し、算出した該特徴ベクトルを前記次元圧縮部１７に出力する。
【００２８】
前記次元圧縮部１７は、前記次元圧縮パラメータ記憶部１６から入力された次元圧縮パラメータを用いて、前記特徴ベクトル算出部１５から入力された前記特徴ベクトルの次元を圧縮し、得られた次元圧縮ベクトルを前記非定常カット検出部１９に出力する。
【００２９】
前記非定常カット検出部１９は、前記外れ値検出パラメータ記憶部１８から入力された外れ値検出パラメータに所定の識別手法を適用して、前記次元圧縮部１７から入力された前記次元圧縮ベクトルが識別空間の分布から外れているかを判定する。そして、外れている前記次元圧縮ベクトルに対応する映像カットを非定常映像カットの候補（以下、非定常候補とする）として検出し、検出した該候補を前記非定常カット記憶部２０に出力する。
【００３０】
前記非定常カット記憶部２０は、前記非定常カット検出部１９から入力された前記非定常候補を順次記憶し、記憶した非定常候補群を前記非定常カット表示部２１に出力する。
【００３１】
前記非定常カット表示部２１は、前記非定常カット記憶部２０から入力された前記非定常候補群を前記定常カット取得部２２に出力するとともに、該非定常候補群を前記表示装置１１に表示させる。この表示された非定常候補群の各映像に対し、ユーザは各映像が定常映像であるか非定常映像であるかを判定し、該判定結果を前記入力部３をもって入力する。
【００３２】
前記定常カット取得部２２は、ユーザが非定常候補群の各映像に対して行った判定結果として、各映像に付与された定常・非定常のラベルを取得する。そして、前記非定常カット表示部２１で出力された前記非定常候補群中、定常のラベルが付与された映像カット群を抽出し、これを定常映像カット群として前記非定常カット検出フィードバック部２３に出力する。
【００３３】
前記非定常カット検出フィードバック部２３は、前記定常カット取得部２２から前記定常映像カット群を受信すると、該カット群に対応する次元圧縮ベクトルを用いて前記識別手法の学習を行う。これにより前記外れ値検出パラメータを更新して、該更新後のパラメータを前記外れ値検出パラメータ記憶部１８に出力する。
【００３４】
前記非定常カット検出部１９は、このように更新された外れ値検出パラメータを用いて以後の非定常候補の検出を行う。これにより、ユーザの判定結果が以後の検出処理に随時フィードバックされ、ユーザの意図により近い検出結果の出力が可能になる。なお、前記各機能ブロック１２〜２３の入出力データの詳細を表１に示しておく。
【００３５】
【表１】
2010087937.tif 000003
【００３６】
以下、前記各機能ブロック１２〜２３の実行する処理ステップを、図４のフローチャートに基づき説明する。図４中のＳ０１〜Ｓ１０は表１の入出力データに基づいて処理されている。
【００３７】
Ｓ０１：まず、変化領域抽出部１２は、カメラ２で撮影された現時点の入力画像データと、あらかじめカメラ２で前記撮影空間を撮影した過去数フレームの平均画像データとを対比して、入力画像において定常状態からの変化が表れた領域を抽出した変化領域画像を得る。この過去数フレームの平均画像データは、前記ハードディスクドライブ装置などに格納されているものとする。
【００３８】
具体的には、変化領域抽出部１２は、背景の時間的な変化を考慮した変化領域抽出方法（あるいは変化検出方法）を適用し、カメラ２で撮影された現時点の入力画像から変化領域画像を取得する。変化領域抽出方法には、過去数フレームの平均画像と現在のフレームとの画素値の差分で、一定の閾値を超えた領域を変化領域として抽出するなどの方法が考えられる。このように、時間的な変化を考慮した変化領域抽出方法を用いることにより、例えば、朝、昼、夜と日照の変化に応じて画素値が変化しても、変化領域を頑健に抽出することができる。このとき、変化領域画像の変化領域には画素値１、変化がない領域には画素値０が割り当てられている。
【００３９】
そして、前記変化領域抽出部１２は、このように取得した変化領域画像のデータを前記変化領域記憶部１３に順次格納していき、変化領域画像列を生成する。
【００４０】
Ｓ０２：カット切り出し部１４は、前記変化領域記憶部１３に格納された前記変化領域の画像列を読み出し、該画像列から一定数（または一定時間）のフレームを切り出す。そして、切り出した一定数のフレームを変化領域映像カットとして前記特徴ベクトル算出部１５に出力する。
【００４１】
ここで、切り出すフレーム数（または時間）は、前記映像検出プログラムにあらかじめ定義しておくものとする。なお、このような変化領域映像カットの切り出しは、一定数分のフレームが前記変化領域記憶部１３に蓄積される毎に行ってもよい。また、切り出された変化領域映像カットのデータは、前記メモリ（ＲＡＭ）６などに一時記憶してもよく、また前記外部記憶部８に保存してもよい。
【００４２】
Ｓ０３：特徴ベクトル算出部１５は、Ｓ０２で切り出された前記変化領域映像カットから、該映像カットに対応する特徴ベクトルを算出し、算出した該ベクトルを前記次元圧縮部１７に出力する。
【００４３】
ここで特徴ベクトルは、前記変化領域画像において画像サイズをｘ×ｙ（縦ｘ画素、横ｙ画素）とすると、切り出した一定のフレーム数ｎを掛けたｘ×ｙ×ｎ次元の特徴ベクトルである。なお、算出した特徴ベクトルのデータは、前記メモリ（ＲＡＭ）６などに一時記憶してもよく、また前記外部記憶部８に保存してもよい。
【００４４】
Ｓ０４：次元圧縮部１７は、Ｓ０３で算出した特徴ベクトルの次元を、次元圧縮パラメータを用いて圧縮し、次元数の少ない特徴ベクトルを得る。ここで、次元の圧縮には、映像からの類似シーン検索の分野で用いられている圧縮手法である主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）を用いる。
【００４５】
具体的には、あらかじめ取得しておいた映像カットに対応する特徴ベクトルＦ（ｋ）（ｋ＝１，．．．，Ｋ、Ｋはカットの数）の主成分分析を行う。ここで、特徴ベクトルＦ（ｋ）を圧縮座標系に投影する際に、予め定めた寄与率を超える次数までの主軸に前記特徴ベクトルＦ（ｋ）を投影し、そのときに得られる係数を次元圧縮パラメータとして取得して、これをあらかじめ前記次元圧縮パラメータ記憶部１６に記憶しておく。そして、前記次元圧縮部１７は、前記次元圧縮パラメータ記憶部１６から前記次元圧縮パラメータを読み出し、これを用いてＳ０３で算出した特徴ベクトルの次元を圧縮する。そして、圧縮した該ベクトルを次元圧縮ベクトルとし、前記非定常カット検出部１９に出力する。このように前記特徴ベクトルの次元を圧縮することにより、該ベクトルの情報量を低減することができる。
【００４６】
なお、長時間の映像で環境条件が変化していくような場合には、逐次ある程度の時間のまとまりごとに次元圧縮パラメータを得て、次元圧縮を行ってもよい。
【００４７】
Ｓ０５：非定常カット検出部１９は、あらかじめ前記外れ値検出パラメータ記憶部１８に記憶されている外れ値検出パラメータを用いて、Ｓ０４で算出した次元圧縮ベクトルが定常状態を示す識別空間の分布から外れているかどうかを判定し、該外れている次元圧縮ベクトルに対応する映像カットを非定常候補として検出する。
【００４８】
ここでは、識別手法としてサポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ：ＳＶＭ）を用いて外れ値検出を行う。例えば１クラスＳＶＭは、元の特徴空間における特徴ベクトルが高次特徴空間に写像されるときに、元の特徴空間における外れ点が高次特徴空間の原点付近に写像されることを利用して、外れ点検出を行う方法である。つまり、前記外れ値検出パラメータを用いることにより、識別軸上に写像された次元圧縮ベクトルの原点からの距離が外れ具合（非定常度）とみなされ、この非定常度があらかじめ定めた値（閾値）を超えるものを外れ点とする。そして、外れていると判定された次元圧縮ベクトルに対応する映像カットを非定常候補とし、これを前記非定常カット記憶部２０に順次格納して、非定常候補群を生成する。
【００４９】
なお、外れ点を識別する前記閾値は、前記映像検出プログラムに定義されているものとする。また、前記外れ値検出パラメータは、あらかじめ取得した任意の映像カットを用いて求めてもよいし、長時間の映像で環境条件が変化していくような場合には、ある程度の時間のまとまりごとに求めてもよい。
【００５０】
Ｓ０６：非定常カット表示部２１は、前記非定常カット記憶部２０から非定常候補群を読み出し、該候補群を前記定常カット取得部２２に出力する。また、図５に示すように、読み出した非定常候補群を非定常度が高い順にディスプレイなどの前記表示装置１１に表示する。これにより、ユーザは現在の非定常映像カットの候補と過去の非定常映像カットの候補とを対比しながら見ることができる。なお、このとき図５中の領域Ｒに映像毎の非定常度を併せて表示してもよい。
【００５１】
また、図６に示すように、非定常映像カットの候補や非定常度とともに、定常・非定常の選択インタフェース（領域Ｓ）を表示してもよい。これにより、ユーザは表示された各映像が定常であるかどうかをクリックで選択することができる。なお、ここでは選択インタフェースとしてラジオボタンが表示されているが、該インタフェースはこれに限定されるものではなく、仕様に合わせて適宜変更してもよい。
【００５２】
Ｓ０７：Ｓ０６で表示した非定常候補群の各映像に対して、マウスなどの前記入力部３からユーザによる定常・非定常の判定が入力されたかを確認する。入力があるときはＳ０８へ、ないときはＳ１０に進む。
【００５３】
Ｓ０８：定常カット取得部２２は、Ｓ０６で表示した非定常候補群の各映像に対するユーザの判定結果として、各映像に付与された定常・非定常のラベルを取得する。このうち、定常のラベルに対応する映像カットを、前記非定常カット表示部２１から受信した前記非定常候補群から抽出し、これを定常映像カット群として前記非定常カット検出フィードバック部２３に出力する。なお、抽出した定常映像カット群のデータは、前記メモリ（ＲＡＭ）６などに一時記憶してもよく、また前記外部記憶部８に保存してもよい。
【００５４】
Ｓ０９：非定常カット検出フィードバック部２３は、Ｓ０８で抽出された定常映像カット群に対応する次元圧縮ベクトルを用いて、前記ＳＶＭの学習を行う。これにより、前記外れ値検出パラメータは、Ｓ０６でユーザの行った定常・非定常の判定が反映された値に更新される。そして、前記非定常カット検出フィードバック部２３は、このように更新された外れ値検出パラメータを前記外れ値検出パラメータ記憶部１８に格納する。
【００５５】
この更新後の外れ値検出パラメータは、次回以降の非定常候補の検出に用いられる。即ち、Ｓ０５の処理にて、前記非定常カット検出部１９は順次更新された外れ値検出パラメータを用いて非定常候補を検出する。したがって、以後の検出処理では、ユーザの意図が反映した非定常候補が検出され、Ｓ０６において非定常度の高い映像カットが前記表示装置１１に表示される。
【００５６】
Ｓ１０：次に、終了条件を満たしたかの判定を行う。ここでは、全てのフレームの処理が終了した場合に、検出処理を終了する。全てのフレームの処理が終了していない場合にはＳ０１へ戻り、終了条件を満たすまでＳ０１〜Ｓ０９を繰り返す。
【００５７】
以上のように、本実施形態に係る映像検出装置１によれば、非定常映像カットの候補に対するユーザの判断が以後の非定常映像カットの検出処理にフィードバックされることから、ユーザの意図する非定常映像カットの検出が可能になる。
【００５８】
また、非定常映像カットの候補に対する定常・非定常の判定、および外れ値検出パラメータの更新を繰り返すことにより、ユーザそれぞれにカスタマイズされた非定常映像カットの検出が高精度に実現できる。この意味で誤検出が防止され、ユーザの作業負担が軽減される。
【００５９】
（２）第２実施形態
図７は、本発明の第２実施形態に係る映像検出装置２６を示し、該検出装置２６では、前記次元圧縮パラメータ記憶部１６、前記次元圧縮部１７が廃止されているとともに、前記変化領域抽出部１２、前記変化領域記憶部１３に代わって動きベクトル算出部２４、動きベクトル記憶部２５が設けられている。
【００６０】
即ち、該検出装置２６では、入力画像から変化領域を抽出する代わりに動きベクトルを算出し、この動きベクトルを利用して非定常映像カットの候補を検出している。前記動きベクトル記憶部２５は、前記変化領域記憶部１３と同様に前記ハードディスクドライブ装置上にデータベースとして構築されている。
【００６１】
具体的には、動きベクトル算出部２４は、図８に示すように、カメラ２から順次入力される画像データから動きベクトルを算出し、該ベクトルを前記動きベクトル記憶部２５に順次出力する。
【００６２】
前記動きベクトル記憶部２５は、入力された前記動きベクトルを時系列に記憶して動きベクトル列とし、該ベクトル列を前記カット切り出し部１４に出力する。
【００６３】
前記カット切り出し部１４は、入力された前記動きベクトル列から一定数のフレームを切り出し、切り出されたフレームを動きベクトルカットとして前記特徴ベクトル算出部１５に出力する。
【００６４】
前記特徴ベクトル算出部１５は、入力された前記動きベクトルカットから特徴ベクトルを算出し、算出した該特徴ベクトルを前記非定常カット検出部１９に出力する。
【００６５】
そして、第１実施形態と同様に、算出された特徴ベクトルを用いて非定常候補を検出し、検出した非定常候補に対するユーザの判定結果を用いて外れ値検出パラメータを更新して、更新した該パラメータを以後の検出処理にフィードバックさせている。
【００６６】
なお、本実施形態における前記各機能ブロック１４．１５．１８〜２５の入出力データの詳細を表２に示しておく。
【００６７】
【表２】
2010087937.tif 000004
【００６８】
以下、本実施形態における前記各機能ブロック１４．１５．１８〜２５の実行する処理ステップを、図９のフローチャートに基づき説明する。図９中のＳ２１〜Ｓ２９は表２の入出力データに基づいて処理されている。
【００６９】
Ｓ２１：まず、動きベクトル算出部２４は、カメラ２で撮影された現時点の入力画像データからオプティカルフローを検出する。オプティカルフローは、画像上の各点における移動量と方向を表したもので、時間的に連続した画像間の対応点を探索することで求められる。オプティカルフローの検出では、輝度勾配に基づく方法や、領域のマッチングに基づく方法が考えられるが、シーンによって安定的にフローが出る方法を選択すればよい。
【００７０】
そして、検出したオプティカルフローの検出始点の画素位置（ｕ，ｖ）と動き方向（Ｕ，Ｖ）を動きベクトルとして算出し、該動きベクトルのデータを前記動きベクトル記憶部２５に順次格納して、動きベクトル列を生成する。
【００７１】
Ｓ２２：カット切り出し部１４は、前記動きベクトル記憶部２５に蓄積された前記動きベクトル列を読み出し、該ベクトル列から一定数分（または一定時間分）のフレームを切り出す。そして、切り出した一定数のフレームを動きベクトルカットとして前記特徴ベクトル算出部１５に出力する。
【００７２】
なお、動きベクトルカットの切り出しは、一定数分のフレームが前記動きベクトル記憶部２５に蓄積される毎に行ってもよい。また、切り出された動きベクトルカットは、前記メモリ（ＲＡＭ）６などに一時記憶してもよく、また前記外部記憶部８に保存してもよい。
【００７３】
Ｓ２３：特徴ベクトル算出部１５は、前記カット切り出し部１４で切り出された前記動きベクトルカットから、該動きベクトルカットに対応する特徴ベクトルを算出し、算出した該ベクトルを前記非定常カット検出部１９に出力する。ここで特徴ベクトルは、一定のフレーム数ｎ分の動きベクトル（ｕ，ｖ，Ｕ，Ｖ）に対応する特徴ベクトルである。
【００７４】
算出した特徴ベクトルは、前記メモリ（ＲＡＭ）６などに一時記憶してもよく、また前記外部記憶部８に保存してもよい。また、第１実施形態と同様に、前記次元圧縮パラメータ記憶部１６および前記次元圧縮部１７を設けて前記算出した特徴ベクトルの次元圧縮を行い、該圧縮された特徴ベクトルを前記非定常カット検出部１９に出力するようにしてもよい。
【００７５】
Ｓ２４〜Ｓ２９：Ｓ０５〜Ｓ１０と同様に、Ｓ２３で算出された特徴ベクトルと外れ値検出パラメータとを用いて非定常候補を検出し、これを前記非定常カット記憶部２０に順次格納する（Ｓ２４）。そして、格納された非定常候補群を前記表示装置１１に表示し（Ｓ２５）、表示した非定常候補群の各映像に対するユーザの判断に基づいて定常映像カット群を取得する（Ｓ２７）。そして、取得した定常映像カット群に対応する特徴ベクトルを用いて前記ＳＶＭの学習を行うことにより、外れ値検出パラメータを更新し、更新後の該パラメータを前記外れ値検出パラメータ記憶部１８に格納する（Ｓ２８）。そして、Ｓ２４の処理にて、前記非定常カット検出部１９は順次更新された外れ値検出パラメータを用いて非定常候補を検出する。
【００７６】
以上のように、本実施形態に係る映像検出装置２６によれば、入力画像から算出した動きベクトルを用いて非定常映像カットの候補を検出しているものの、検出した非定常映像カットの候補に対するユーザの判断が以後の検出処理にフィードバックされることから、第１実施形態と同等の効果を奏することができる。
【００７７】
なお、本発明は、上記実施形態に限定されるものではなく、例えばコンピュータを前記映像検出装置１．２６の各機能ブロック１２〜２５として機能させる映像検出プログラムとしても提供することができる。このプログラムは、第１．２実施形態の全ての処理ステップをコンピュータに実行させるものでもよく、あるいは一部の処理ステップを実行させるものであってもよい。
【００７８】
このプログラムは、Ｗｅｂサイトなどからのダウンロードによってコンピュータに提供される。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ  Ｄｉｓｋ（登録商標）などの記録媒体１０に格納してコンピュータに提供してもよい。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１実施形態に係る映像検出装置の構成図。
【図２】同  主要機能ブロック図。
【図３】同  入出力データ図。
【図４】同  処理フロー図。
【図５】同  非定常映像カット群の表示例。
【図６】同  非定常映像カット群の表示の他例。
【図７】本発明の第２実施形態に係る映像検出装置の主要機能ブロック図。
【図８】同  入出力データ図。
【図９】同  処理フロー図。
【符号の説明】
【００８０】
１．２６…映像検出装置
２…カメラ（撮像装置）
３…入力部
４…読み取り専用メモリ（ＲＯＭ）
５…処理部（ＣＰＵ）
６…書き換え可能メモリ（ＲＡＭ）
７…通信インタフェース部
８…外部記憶部
９…記録媒体駆動部
１０…記録媒体
１１…表示装置
１２…変化領域抽出部（抽出手段）
１３…変化領域記憶部
１４…カット切り出し部
１５…特徴ベクトル算出部（特徴量算出手段）
１６…次元圧縮パラメータ記憶部
１７…次元圧縮部（圧縮手段）
１８…外れ値検出パラメータ記憶部
１９…非定常カット検出部（検出手段）
２０…非定常カット記憶部
２１…非定常カット表示部（表示手段）
２２…定常カット取得部
２３…非定常カット検出フィードバック部（フィードバック手段）
２４…動きベクトル算出部（ベクトル算出手段）
２５…動きベクトル記憶部
Ｒ…非定常度の表示領域
Ｓ…選択インタフェースの表示領域
【図１】
2010087937.tif 000005
【図２】
2010087937.tif 000006
【図３】
2010087937.tif 000007
【図４】
2010087937.tif 000008
【図５】
2010087937.tif 000009
【図６】
2010087937.tif 000010
【図７】
2010087937.tif 000011
【図８】
2010087937.tif 000012
【図９】
2010087937.tif 000013