(57)【要約】【課題】連続して入力された映像に対して逐次学習を行い、かつ、リアルタイムに非定常映像検出を提供する。【解決手段】時系列に連続したフレームから構成された映像を入力する部１０１と、入力された映像からカットを取得し、さらに、フレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する部１０２と、その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その入力特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める部１０３、その変換パラメータに基づいて、生成された特徴ベクトルを識別空間に写像し非定常性を判定する部１０４と、を用いて、判定した結果として非定常なカットを検出する。【選択図】図１
2007299250.tif 000002
【特許請求の範囲】
【請求項１】
連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出装置であって、
映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力手段と、
その入力された映像から特定の時間単位に含まれるフレームをカットと見做して取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成手段と、
その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習手段と、
該学習手段が学習した変換パラメータを記憶する辞書手段と、
その辞書手段に記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定手段と、
その判定された結果を出力する非定常性出力手段と、
を含むことを特徴とする逐次学習式非定常映像検出装置。
【請求項２】
前記特徴ベクトル生成手段が、
取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成手段と、
その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成手段と、
を含み、
前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、
を制御する制御手段を含む、
ことを特徴とする請求項１に記載の逐次学習式非定常映像検出装置。
【請求項３】
前記制御手段は、
カットを特定する情報と、
学習すべき時空間特徴ベクトルの枚数と、
を外部から入力する外部インタフェース手段、
を含むことを特徴とする請求項２に記載の逐次学習式非定常映像検出装置。
【請求項４】
前記時空間特徴ベクトル生成手段が、
前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮手段によって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、
その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮手段によってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、
ことを特徴とする請求項２または３に記載の逐次学習式非定常映像検出装置。
【請求項５】
連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出方法であって、
映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力ステップと、
その入力された映像から特定の時間単位に含まれるフレームを取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成ステップと、
その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習ステップと、
該学習ステップで学習した変換パラメータを辞書手段に記憶させる辞書ステップと、
その辞書ステップで記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定ステップと、
その判定された結果を出力する非定常性出力ステップと、
を含むことを特徴とする逐次学習式非定常映像検出方法。
【請求項６】
前記特徴ベクトル生成ステップが、
取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成ステップと、
その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成ステップと、
を含み、
前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、
を制御する制御ステップを含む、
ことを特徴とする請求項５に記載の逐次学習式非定常映像検出方法。
【請求項７】
前記制御ステップは、
カットを特定する情報と、
学習すべき時空間特徴ベクトルの枚数と、
が外部から入力されるステップ、
を含むことを特徴とする請求項６に記載の逐次学習式非定常映像検出方法。
【請求項８】
前記時空間特徴ベクトル生成ステップが、
前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮ステップによって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、
その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮ステップによってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、
ことを特徴とする請求項６または７に記載の逐次学習式非定常映像検出方法。
【請求項９】
請求項５乃至８のいずれかに記載の逐次学習式非定常映像検出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする逐次学習式非定常映像検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像監視システムにおける非定常映像検出に関するものである。
【背景技術】
【０００２】
現在、画像に基づいて放置物などの異常を検出する移動監視ロボットシステムが知られてきている。この移動監視ロボットは、固定カメラによる画像監視システムと異なり、小数のカメラで広い領域を監視できる（例えば、非特許文献１参照）。
【０００３】
しかし、移動監視ロボットシステムでは、取得した画像間に位置ずれが生じるため、異常検出（即ち、非定常映像検出）手法を採用した装置を搭載する必要がある。
【０００４】
非定常映像検出手法は、映像から定常または非定常を識別する技術（以下、非定常映像検出技術と称する）であって、辞書を固定的に備え、予め学習を行うものであった。
【０００５】
なお、非定常検出技術に関連する技術として、１クラスＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ（サポートベクターマシン））（例えば、非特許文献２参照）、映像からの類似シーン検索の分野で用いられている圧縮手法（例えば、非特許文献３参照）、が知られている。
【非特許文献１】横井、「画像に基づく監視ロボットのための異常検出手法」、信学技報ＰＲＭＵ２００４−１４４、２００４（平成１６年）、ｐｐ．６１−６５。
【非特許文献２】麻生英樹，津田宏治，村田昇、「パターン認識と学習の統計学」、岩波書店、平成１５年４月、ｐｐ．１２６−１２７。
【非特許文献３】野田，目加田，井手，村瀬、「特徴次元圧縮による長時間映像中における同一区間映像の高速検出法」、ＦＩＴ２００４、２００４（平成１６年）、Ｎｏ．Ｉ−０３９。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述のような非定常映像検出技術において、短時間の映像を検出対象とする場合に、辞書が固定でも問題がない。しかし、長時間の映像を対象とする場合で、さらに、環境条件が変化していくような映像から非定常映像検出を行う場合、固定の識別軸では時間の経過と共に識別精度が低下する恐れがあった。
【０００７】
このような識別精度の低下を防止するためには、入力映像を学習データに加え再学習を行う必要がある。しかし、リアルタイムで非定常映像検出を動作させるためには次のような問題があった。
【０００８】
蓄積映像に対してオフライン処理を行う場合には、一定の入力フレーム（即ち、動画像中のフレーム画像）ごとに再学習を行って辞書を更新できる。しかし、リアルタイム処理の場合には高速処理を要求されるため、辞書更新中でも次々入力されるデータに対して識別結果を出力する仕組みが必要である。
【０００９】
蓄積映像に対してオフライン処理を行う場合には、映像カット（映像を構成するフレームの集まり；以後、単にカットという）に定常と非定常のラベル付けをあらかじめ行っておくことができる。しかし、リアルタイム処理の場合には高速処理を要求されるため、辞書更新のために人手によってラベル付けを行うことは現実的でなく、教師なし学習が適している。この教師なし学習を非定常検出に適応する場合、辞書更新前後の連続した入力に対し識別判定パラメータが急激に変わることは望ましくない。そこで、入力データ集合に重なりをもたせて学習する仕組みが必要である。
【００１０】
本発明は、前記課題に基づいてなされたものであって、辞書更新中でも次々入力されるデータに対して識別結果を出力する仕組み、入力データ集合に重なりをもたせて学習する仕組みを備えた逐次学習式非定常映像検出装置，逐次学習式非定常映像検出方法及びその方法を実装したプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、前記課題の解決を図るために、請求項１記載の発明は、連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出装置であって、映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力手段と、その入力された映像から特定の時間単位に含まれるフレームをカットと見做して取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成手段と、その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習手段と、該学習手段が学習した変換パラメータを記憶する辞書手段と、その辞書手段に記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定手段と、その判定された結果を出力する非定常性出力手段と、を含むことを特徴とする。
【００１２】
請求項２記載の発明は、請求項１記載の発明において、前記特徴ベクトル生成手段が、取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成手段と、その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成手段と、を含み、前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、を制御する制御手段を含む、ことを特徴とする。
【００１３】
請求項３記載の発明は、請求項２記載の発明において、前記制御手段は、カットを特定する情報と、学習すべき時空間特徴ベクトルの枚数と、を外部から入力する外部インタフェース手段、を含むことを特徴とする。
【００１４】
請求項４記載の発明は、請求項２または３に記載の発明において、前記時空間特徴ベクトル生成手段が、前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮手段によって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮手段によってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、ことを特徴とする。
【００１５】
請求項５記載の発明は、連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出方法であって、映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力ステップと、その入力された映像から特定の時間単位に含まれるフレームを取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成ステップと、その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習ステップと、該学習ステップで学習した変換パラメータを辞書手段に記憶させる辞書ステップと、その辞書ステップで記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定ステップと、その判定された結果を出力する非定常性出力ステップとを含むことを特徴とする。
【００１６】
請求項６記載の発明は、請求項５に記載の発明において、前記特徴ベクトル生成ステップが、取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成ステップと、その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成ステップと、を含み、前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、を制御する制御ステップを含む、ことを特徴とする。
【００１７】
請求項７記載の発明は、請求項６に記載の発明において、前記制御ステップは、カットを特定する情報と、学習すべき時空間特徴ベクトルの枚数と、が外部から入力されるステップ、を含むことを特徴とする。
【００１８】
請求項８記載の発明は、請求項６または７に記載の発明において、前記時空間特徴ベクトル生成ステップが、前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮ステップによって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮ステップによってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、ことを特徴とする。
【００１９】
請求項９記載の発明は、プログラムであって、請求項５乃至８のいずれかに記載の逐次学習式非定常映像検出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする。
【００２０】
前記請求項１，５の発明によれば、連続して入力された映像（逐次入力された映像）に対する特徴量を抽出できる。その抽出された特徴量を統計的に学習し、全体の分布から外れている特徴量に対応するカットを検出できる。
【００２１】
前記請求項２，６の発明によれば、フレーム特徴ベクトルと時空間特徴ベクトルを取得できる。
【００２２】
前記請求項３，７の発明によれば、カットを特定する情報を取得できる。学習すべき時空間特徴ベクトルの枚数を取得できる。
【００２３】
前記請求項４，８の発明によれば、次元圧縮された時空間特徴ベクトルを取得できる。
【００２４】
前記請求項９の発明によれば、請求項５乃至８のいずれかに記載の逐次学習式非定常映像検出方法をコンピュータプログラムとして取得できる。
【発明の効果】
【００２５】
以上示したように請求項１，５の発明によれば、連続して入力された映像からリアルタイムに非定常なカットを検出できる。
【００２６】
請求項２，６の発明によれば、時空間特徴ベクトルに基づいて統計的な学習を行うことができる。
【００２７】
請求項３，７の発明によれば、カットを特定できる。限定された数の時空間特徴ベクトルに関して学習できる。
【００２８】
請求項４，８の発明によれば、次元圧縮された時空間特徴ベクトルを学習に使用できるため、処理速度を向上できる。
【００２９】
請求項９の発明によれば、逐次学習式非定常映像検出方法を実装したコンピュータプログラムを実行できる。
【００３０】
これらを以って監視装置分野に貢献できる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施形態を図面等に基づいて詳細に説明する。
【００３２】
本実施形態では、映像における一定量の最新のカットを学習することによって、非定常映像識別のための辞書を逐次更新する。なお、辞書とは、非定常の度合い（即ち、非定常度）を算出する演算式のパラメータ（即ち、変換式の係数、または、変換パラメータ）が格納されるものである。例えば、識別対象の特徴ベクトルをｘとし、その特徴ベクトルｘに関する非定常度を算出する変換式を二次多項式Ｑ（ｘ）＝ａｘ2＋ｂｘ＋ｃとすると、辞書は、ａ，ｂ，ｃの値を格納したものである。
【００３３】
また、画像から特徴ベクトルを生成する特徴ベクトル生成部と学習部は順次に辞書を使用する。即ち、学習部は辞書を更新し、非定常性判定部では書き換えられた最新の辞書を使って識別を行う。
【００３４】
さらに、常に最新の画像の入力時刻から起算して一定時間過去の時刻までの固定長のフレーム（画像）を切り出したものを１つのカットとみなし、カット間における変化が少ないカット（例えば、時間的に少しずつ重なるようなカット）を切り出して多数のカットを生成し、一定量の最新のカットを学習する。即ち、時間的に少しずつ重なるようにカットを切り出して、カットに重なりをもたせることで連続した入力に対して急激に識別パラメータが変化することがないようにできる。
【００３５】
なお、本実施形態において、学習部における学習とは、入力された特徴ベクトルの統計的な分布に基き識別に最適な識別空間にサンプルを写像するための変換パラメータを求めることを指し、その変換パラメータを記憶したデータベースを辞書と呼ぶことにする。
【００３６】
［第１実施形態］
第１実施形態における逐次学習式非定常映像検出装置の構成を図１に基づいて説明する。なお、第１実施形態は、以降の実施形態の基本形態となるものである。
【００３７】
第１実施形態における逐次学習式非定常映像検出装置は、映像入力部１０１，特徴ベクトル生成部１０２，学習部１０３，非定常性判定部１０４，非定常性出力部１０５から構成される。
【００３８】
映像入力部１０１には、多数の連続したフレーム（以下、連続フレームと称する）を含む映像（例えば、長時間の監視映像など）が入力される。
【００３９】
特徴ベクトル生成部１０２は、映像入力部１０１によって逐次に入力された連続フレームから、特定の時間範囲（例えば、最新のフレームが入力された時刻から特定の時間分遡った時刻まで）に含まれるフレーム（即ち、カット）を抜き出し、そのカットに対して特徴（即ち、特徴ベクトル）抽出処理を行う。なお、カットの抜き出しは、最新のフレームが入力された度に行っても良い。
【００４０】
学習部１０３は、特徴ベクトル生成部１０２において生成された特徴ベクトルに基づいて、識別空間を生成する。
【００４１】
非定常性判定部１０４は、特徴ベクトル生成部１０２で生成された特徴ベクトルを統計的に学習し、学習部１０３で生成された識別空間全体の分布から外れている特徴量に対応するカットを検出する（例えば、識別軸を用いて識別して検出する）。
【００４２】
非定常性出力部１０５は、非定常性判定部１０４において判定された識別結果を出力する。
【００４３】
［第２実施形態］
第２実施形態における逐次学習式非定常映像検出装置の構成を図２に基づいて説明する。
【００４４】
第２実施形態における逐次学習式非定常映像検出装置は、映像入力部２０１，制御部２０２，特徴ベクトル生成部２０３，学習部２０４，非定常性判定部２０５，非定常性出力部２０６から構成される。
【００４５】
映像入力部２０１は、連続フレームを含む映像情報蓄積する映像蓄積部２０１１を備え、その映像蓄積部２０１１から所望の連続フレームを含む映像情報を取得する。なお、映像蓄積部２０１１は、一般的なデータベースシステムや外部記憶装置（例えば、ハードディスク）を含んで実現されていても良い。
【００４６】
特徴ベクトル生成部２０３は、フレームから特徴を生成するフレーム特徴生成部２０３１と時空間情報から特徴ベクトルを生成する部（以後、時空間特徴ベクトル生成部と称する）２０３２を備え、映像入力部２０１から入力された連続フレームに対して特徴抽出処理を行なう。
【００４７】
フレーム特徴生成部２０３１における特徴抽出（特徴生成）方法を以下に説明する。
【００４８】
まず、各フレームに対してフレームごとの特徴抽出を行う。例えば、抽出される特徴は、例えば、動領域やオプティカルフローなどが挙げられる。なお、以下の説明では、動領域の場合を例として説明する。
【００４９】
フレーム特徴生成部２０３１で、背景更新を行いながら背景差分により動領域を抽出し、動領域に「１」、背景領域に「０」を割り当てた二値画像を生成する。例えば、元の入力映像の各フレームのサイズをｘ×ｙ（縦ｘ画素、横ｙ画素）とすると、二値画像のサイズもｘ×ｙである。このフレームのサイズを要素数ｘ×ｙのベクトル（即ち、フレーム特徴ベクトル）と見做してフレーム特徴生成部２０３１から出力する。
【００５０】
フレーム特徴生成部２０３１におけるフレーム特徴ベクトル生成処理を以下に説明する。
【００５１】
まず、１つのカットを構成する複数枚のフレームに対し、そのフレーム毎に変化検出処理を行う。なお、変化検出処理は、変化検出単位（例えば、１枚のフレームに含まれる特定の小領域または画素）毎に行なうものとする。変化検出単位（例えば、特定の小領域毎、画素毎）の選択、変化検出単位に小領域を選択した場合における特定の小領域の大きさを予め設定するものとする。その特定の小領域の大きさは、すべてのフレーム、すべてのカットに共通のものとする。
【００５２】
そして、変化検出処理の結果、各フレームの各画素に対応し、その画素の時間的な変化の有無を数値と見做した画像（即ち、フレーム特徴ベクトル）が生成される。
【００５３】
例えば、各フレームに背景差分を施し、変化画像を生成する。なお、変化画像とは、即ち、差分の絶対値が一定の閾値を超えた点を「１」、越えない点を「０」と見做した二値画像、差分の絶対値を正規化した多値画像である。
【００５４】
時空間特徴ベクトル生成部２０３２は、要素数ｘ×ｙの１次元ベクトルを、特定の時刻から連続して固定長（例えば、ｎフレームから構成されたカット）分並べたものをｘ×ｙ×ｎ次元の時空間特徴ベクトルとして出力する。
【００５５】
非定常性判定部２０５は、ｎフレームに相当する映像を一つのカットと見做し、各カットに対して非定常性の判定を行う。
【００５６】
学習部２０４は、上述の時空間特徴ベクトルをＮ枚学習して識別空間を構成する。なお、学習に関して統計的学習手法を用いる場合に、Ｎの値は制御部２０２で決定し、Ｎはｘ×ｙ×ｎに対して充分大きい値であることが望ましい。
【００５７】
制御部２０２は、上述の学習に関するタイミングを制御する。制御部２０２は、Ｎが一定数以上を超えて（即ち、一定数以上の時空間特徴ベクトルが生成されて）から学習を開始することと、特徴ベクトル生成部２０３とは独立して適当な時間間隔で学習を行うことを可能にする。
【００５８】
非定常性出力部２０６は、上記図１中の非定常性出力部１０５と同じ動作を行うため、説明を省略する。
【００５９】
［第３実施形態］
第３実施形態における逐次学習式非定常映像検出装置の構成を図３に基づいて説明する。
【００６０】
制御部３０２は、ユーザからの入力をとりこむ外部インタフェース（例えば、キーボード装置，ポインティング装置，ディスプレイ装置など）３０２１を備えた制御部である。即ち、カットを特定する情報（例えば、時間範囲），学習を行なう時間の範囲（例えば、学習する時空間特徴ベクトルの枚数Ｎ）などをアプリケーションに応じてユーザが指定することができる。
【００６１】
例えば、屋外を監視する映像において、その野外環境が１日の昼と夜とで著しく変化する場合、時間範囲を指定し、昼用の学習データと夜用に別の学習データを備えることによって、安定した識別を行っていた。また、オフィスを監視する映像において、人の出入りの様子が昼休みの時間帯のみ通常と異なる場合にも、その時間帯のデータを別に学習することによって、安定した識別を行っていた。なお、その時間帯のデータに対する学習データは、１時間ごと、または、半日ごとに更新してもよい。
【００６２】
即ち、時系列において重ならないように切り出したカット間における変化が少ない場合、それらのカットに対して映像逐次学習を行っても良いことになる。
【００６３】
以上のように、時間帯ごとの変化が既知の場合に、外部インタフェース３０２１から制御部３０２へ学習タイミング（例えば、時刻など）を入力できる。
【００６４】
また、学習タイミングを入力する場合、ユーザが蓄積された映像を見て判断できるように、映像入力部３０１１は映像蓄積部（図示省略）を備え、制御部３０２は映像入力部３０１１へ特定の時刻の映像の呼び出して、その特定の時刻の映像を受け取ることができる。
【００６５】
また、制御部３０２は、特徴ベクトル生成部３０３から抽出される時空間特徴ベクトルの時間方向の長さ（即ち、１つのカットと見做す時間の長さ）を指定する手段（例えば、キーボード装置）を備えているものとする。
【００６６】
非定常性判定部３０５は、カット間における変化が少ないカット（例えば、時間的にずらしながら、固定長フレームから構成されるカットを生成し、そのずらされて生成されたカット）に対して非定常性の判定を行う。実際に、映像中の１カットにおけるフレーム数は不特定である。そのため、１カットを自動的に認識することは困難であるから、ずらされる固定長のフレーム分のカットに対して非定常性の判定を行う。
【００６７】
なお、特徴ベクトル生成部３０３は上記特徴ベクトル生成部２０３、非定常性判定部３０５は上記非定常性判定部２０５、非定常性出力部３０６は上記非定常性出力部２０６、学習部３０４は上記学習部２０４とそれぞれ同じであるため、詳細な説明は省略する。
【００６８】
上記学習部３０４（２０４）の動作を図４に基づいて説明する。
【００６９】
学習部３０４は、特徴ベクトル生成部３０３で生成された特徴ベクトルを学習して識別空間を生成する。
【００７０】
この識別空間の生成には、教師なし学習手法（例えば、１クラスＳＶＭ（（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ（サポートベクターマシン））（非特許文献２参照））を用いる。１クラスＳＶＭは、図４のように、もとの特徴空間における特徴ベクトルＶ１が高次元特徴空間に写像ｍされるときに、もとの特徴空間におけるはずれ点が原点付近Ｈに写像されることを利用して、はずれ点検出を行なう方法である。即ち、識別軸上に写像された特徴ベクトルＶ２の原点からの距離が非定常度と見做される。
【００７１】
［第４実施形態］
上記逐次学習式非定常映像検出装置に備えられた特徴ベクトル生成部の他の例について、図５に基づいて説明する。
【００７２】
以下に、特徴ベクトル生成部６０１の動作について説明する。図５中の特徴ベクトル生成部６０１は、フレーム特徴生成部５０１１，特徴ベクトル圧縮部５０１２，時空間特徴ベクトル生成部５０１３から構成される。
【００７３】
フレーム特徴生成部５０１１は、生成されたフレーム特徴ベクトル（図５Ｂ中では、画像サイズはＸ×Ｙ、フレーム数はＴ１の特徴ベクトル）Ｖ１１を生成するものである。
【００７４】
時空間特徴ベクトル生成部５０１３は、特徴ベクトル圧縮部５０１２を用いて、フレーム特徴ベクトルＶ１１を以下のように次元圧縮し、次元圧縮された時空間特徴ベクトルを出力する。
【００７５】
なお、特徴ベクトルに対する次元圧縮は、映像からの類似シーン検索の分野で用いられている圧縮手法（非特許文献３参照）と同様に、主成分分析を用いた段階的な圧縮を行う。
【００７６】
例えば、すべてのカットに対応する時空間特徴ベクトルＦ（ｋ）（ｋ＝１，．．．，Ｋ、Ｋはカットの数）の主成分分析を行なう。さらに、予め定めた寄与率を超える次数までの主軸に投影した係数を用いてＦ（ｋ）の次元数を削減する（即ち、統計的処理を施す）ことによって圧縮を行う。なお、時空間特徴ベクトルとは、元となる映像の複数フレームの情報を含む特徴ベクトルである。
【００７７】
第４実施形態における次元圧縮では、まず、次数Ｘ×Ｙ（ＸにＹを乗じた次数）の特徴ベクトル（即ち、図５Ｂ中の特徴ベクトルＶ１１）に対して主成分分析（ＰＣＡ（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ））した結果の主成分の上位ｐ１個を用いて、ｐ１個の数値の並び（即ち、ｐ１次の特徴ベクトル）に圧縮する（ステップ１；即ち、図５Ｂ中の符号ＰＣＡ１）。
【００７８】
次に、ｐ１次の特徴ベクトルをＴ１個並べて、ｐ１×Ｔ１次の特徴ベクトル（即ち、図５Ｂ中の特徴ベクトルＶ１２）を形成する（ステップ２）。
【００７９】
上述のように、１フレーム目からＴ１フレーム目の情報を有するｐ１×Ｔ１次の１つの特徴ベクトルを生成する。同様に、２フレーム目から（Ｔ１＋１）フレーム目の情報を有するｐ１×Ｔ１次の特徴ベクトルが生成する。
【００８０】
以上のステップ１から２をもう一段階繰り返す（ステップ３）。
【００８１】
次に、次数ｐ１×Ｔ１の特徴ベクトルを主成分分析した結果の上位ｐ２個を用いて、ｐ２個の数値の並び（即ち、ｐ２次の特徴ベクトル）に圧縮する（ステップ４；即ち、図５Ｂ中の符号ＰＣＡ２）。
【００８２】
次に、ｐ２次の特徴ベクトルをＴ２個並べてｐ２×Ｔ２次の特徴ベクトル（即ち、図５Ｂ中の特徴ベクトルＶ１３）を形成する（ステップ５）。即ち、ｐ３はｐ２×Ｔ２となる。
【００８３】
そして、最終的に、次元圧縮された時空間特徴ベクトルＶ１４を出力する（ステップ６）。
【００８４】
本実施の逐次学習式非定常映像検出装置に関する逐次学習式非定常映像検出方法を図６乃至図８に基づいて説明する。なお、特徴ベクトルリスト管理部６０２と辞書部６０３は、特徴ベクトル生成部と非定常性判定部、学習部からアクセスできるように接続されている（あるいは、共有されている）ものとする。また、辞書部６０３が管理する辞書は、学習部によって、新しいリストが学習される度に辞書部６０３を介し更新されていくものとする。
【００８５】
図６に基づいて特徴ベクトル生成部と非定常性判定部に関する処理手順を説明する。
【００８６】
まず、特徴ベクトル生成部がｔ番目のカットを読み込む（Ｓ６０１）。例えば、映像入力部を介して映像蓄積部からカットを読み込む。
【００８７】
次に、映像の終了判定を行う（Ｓ６０２）。映像が終了である場合は、処理を終了する。映像が終了でない（即ち、処理すべきカットが残っている）場合は、ステップＳ６０３へ進む。
【００８８】
ステップＳ６０３では、特徴ベクトル生成部が、読み込まれたｔ番目のカットから時空間特徴ベクトル（以下、単に特徴ベクトルという）Ｆ(t)を作成する。例えば、図７において、入力映像８０１の新しいフレーム（例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）ファイル）Ｊ１が加わる度に、特徴ベクトルＦ(t)の列８０２に特徴ベクトル（例えば、特徴ベクトルが含まれるファイル；即ち、特徴ベクトルファイル）Ｖｆ１が増加していく。なお、特徴ベクトルは、例えば、データ管理手段（コンピュータに実装されたデータベースなど）によって管理されているものとする。
【００８９】
次に、特徴ベクトル生成部が、新しい特徴ベクトルを生成する度に、最新のリストを追加して特徴ベクトルリスト管理部６０２によって管理される特徴ベクトルリストＬを更新する（Ｓ６０４）。
【００９０】
次に、特徴ベクトルリスト管理部６０２から特徴ベクトルリストＬ(t)を読み込む（Ｓ６０５）。
【００９１】
次に、特徴ベクトルリストＬ(t)に基づいて辞書部６０３の辞書Ｄ(t-1)から辞書Ｄ(t)を作成する（Ｓ６０６）。
【００９２】
ステップＳ６０４からＳ６０６に関して、例えば、図７に基づいて説明すると次の通りである。図７中の特徴ベクトルリスト管理部８０３において、現在の特徴ベクトルリストＬ(t-1)に含まれる最も古い特徴ベクトル（例えば、図７中の符号Ｖｏｌｄ）を捨て、ｔ番目のカットから生成された最新の特徴ベクトル（例えば、図７中の符号Ｖｎｅｗ）を加えた特徴ベクトルリストＬ(t)を生成する（即ち、ＦＩＦＯ（Ｆｉｒｓｔ  ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）形態あるいはキュー形態で処理を施して特徴ベクトルリストＬ(t)を生成する）。そして、生成された特徴ベクトルリストＬ(t)に基づいて、辞書部８０４の辞書Ｄを更新する（即ち、辞書Ｄに学習させる）。
【００９３】
次に、非定常性判定部が、辞書部６０３によって管理される辞書Ｄ(t-1)を読み込む（Ｓ６０７）。
【００９４】
次に、非定常性判定部が、特徴ベクトルＦ(t)に対して辞書部６０３の辞書Ｄ(t-1)を用いて非定常判定処理を行う（Ｓ６０８）。
【００９５】
そして、映像シーケンスが終了したか否かを判定する（Ｓ６０９）。映像シーケンスが終了した場合は、終了処理Ｓ６１０を実行する。映像シーケンスが終了していない場合は、ステップＳ６０１に戻る。
【００９６】
次に、特徴ベクトルリストの更新（Ｓ６０４）と辞書の更新（Ｓ６０６）に関して、図８に基づいて、さらに詳しく説明する。
【００９７】
なお、特徴ベクトルリストの更新タイミングと辞書の更新タイミングは、入力映像のフレームが加わる度に行っても良いし、ある程度の時間のまとまりごとに行なってもよい。図８中では、時間のまとまりを半日と設定し説明する。その時間のまとまりを任意の長さ（例えば、数時間，数日など）に設定できることは述べるまでもない。また、特徴ベクトルリストの更新タイミングと辞書の更新タイミングは、制御部か、特徴ベクトル生成部と学習部内で時刻を監視して行っても良い。
【００９８】
図８において、例えば、午前に入力映像９０１の新しいフレームと、特徴ベクトルＦ(t)の列９０２に特徴ベクトルが１つ増えると、特徴ベクトルリスト管理部９０３は、現在の午前の特徴ベクトルリストＬam(t-1)から最も古い特徴ベクトルを捨て、最新の特徴ベクトルを加えた特徴ベクトルリストＬam(t)を生成する。
【００９９】
午後に入力映像９０１の新しいフレームと、特徴ベクトルＦ(t)の列９０２に特徴ベクトルが１つ増えると、特徴ベクトルリスト管理部９０３は、現在の午後の特徴ベクトルリストＬpm(t-1)の最も古い特徴ベクトルを捨て、最新の特徴ベクトルを加えた特徴ベクトルリストＬpm(t)を生成する。
【０１００】
これらの特徴ベクトルリストについて、それぞれの辞書部８０４の辞書Ｄam(t)、辞書Ｄpm(t)が作成される。即ち、特徴ベクトルリストＬam(t)に基づいて識別空間を生成し、その識別空間を辞書部８０４の辞書Ｄに保管することによって、辞書Ｄam(t-1)から辞書Ｄam(t)を作成したものと見做す。
【０１０１】
特徴ベクトルリストＬpm(t)に基づいて識別空間を生成し、その識別空間を辞書部８０４の辞書Ｄに保管することによって、辞書Ｄpm(t-1)から辞書Ｄpm(t)を作成したものと見做す。
【０１０２】
以上の逐次学習式非定常映像検出装置に関する方法をコンピュータプログラムとして記述し、コンピュータに実行させることによって、逐次学習式非定常映像検出装置を実現できる。
【０１０３】
また、以上の逐次学習式非定常映像検出装置に関する方法を記述したコンピュータプログラムを、逐次学習式非定常映像検出装置に関する方法に必要とされる入出力データを格納したメモリや外部記憶装置等にアクセスするように実装してもよい。
【０１０４】
以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。
【０１０５】
例えば、本実施形態において、特徴ベクトル，特徴ベクトルリスト，辞書は、高速に処理される必要があるため、高速かつ大容量なバッファ装置に記憶されても良い。
【図面の簡単な説明】
【０１０６】
【図１】第１実施形態における逐次学習式非定常映像検出装置の構成図。
【図２】第２実施形態における逐次学習式非定常映像検出装置の構成図。
【図３】第３実施形態における逐次学習式非定常映像検出装置の構成図。
【図４】第４実施形態における像逐次学習装置に備えられた学習部の動作概念図。
【図５】本実施形態における逐次学習式非定常映像検出装置に備えられた特徴ベクトル生成部の構成図及び動作概念図。
【図６】本実施形態における逐次学習式非定常映像検出装置に関する逐次学習式非定常映像検出方法を示すフローチャート。
【図７】本実施形態における特徴ベクトルリスト管理部及び辞書部の動作概念図。
【図８】本実施形態における特徴ベクトルリスト管理部及び辞書部の動作の一例を示す図。
【符号の説明】
【０１０７】
１０１，２０１，３０１１…映像入力部
１０２，２０３，３０２，６０１…特徴ベクトル生成部
１０３，２０４，３０４…学習部
１０４，２０５，３０５…非定常性判定部
１０５，２０６，３０６…非定常性出力部
２０１１…映像蓄積部
２０３１，５０１１…フレーム特徴生成部
２０３２，５０１３…時空間特徴ベクトル生成部
３０２１…外部インタフェース
５０１２…特徴ベクトル圧縮部
６０２，８０３，９０３…特徴ベクトルリスト管理部
６０３，８０４，９０４…辞書部
８０１，９０１…入力映像
８０２，９０２…特徴ベクトル
ＰＣＡ１，ＰＣＡ２…次元圧縮処理
Ｖ１…特徴ベクトル
Ｖ１’…射影された特徴ベクトル
Ｖ２…高次元特徴空間に写像されたベクトル
ｍ…写像
Ｈ…原点付近
Ｖ１１…フレーム特徴ベクトル
Ｖ１２，Ｖ１３，Ｖ１４…時空間特徴ベクトル
Ｔ１，Ｔ２…フレーム数
ｐ１，ｐ２，ｐ３…圧縮された特徴ベクトルの次数
Ｖｆ１…特徴ベクトルファイル
Ｖｎｅｗ…生成された最新の特徴ベクトル
Ｖｏｌｄ…特徴ベクトルリストに含まれる最も古い特徴ベクトル
Ｊ１…ＪＰＥＧファイル
Ｌ(t-1)，Ｌam(t-1)，Ｌpm(t-1)…更新前の特徴ベクトルリスト
Ｌ(t)，Ｌam(t)，Ｌpm(t)…更新後の特徴ベクトルリスト
Ｄ(t-1)，Ｄam(t-1)，Ｄpm(t-1)…更新前の辞書
Ｄ(t)，Ｄam(t)，Ｄpm(t)…更新後の辞書
Ｆam(t)，Ｆpm(t)，Ｆam(t-1)，Ｆpm(t-1)…特徴ベクトル
【図１】
2007299250.tif 000003
【図２】
2007299250.tif 000004
【図３】
2007299250.tif 000005
【図４】
2007299250.tif 000006
【図５】
2007299250.tif 000007
【図６】
2007299250.tif 000008
【図７】
2007299250.tif 000009
【図８】
2007299250.tif 000010