【手続補正書】
【提出日】平成16年12月16日(2004.12.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像データからフレーム画像データを取り出して該フレーム画像データを複数のブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与するラベル付与手段と、
前記ラベル付与手段で付与されたラベルを所定のブロック順序に並べることによりラベル列を生成するラベル列生成手段と、
前記ラベル生成手段で生成されたラベル列を前記フレーム画像データに対応付けて蓄積するラベル列蓄積手段と、
前記生成されたラベル列と蓄積された過去のフレーム画像データ群のラベル列との類似度を算出する類似度算出手段と、
算出された類似度群から動画像中のシーンチェンジのフレームを検出するシーンチェンジ検出手段と、
検出された前記シーンチェンジのフレームの情報を前記フレーム画像データに対応付けて記憶するシーンチェンジ記憶手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記検出されたシーンチェンジのフレームの情報は、検出されたシーンチェンジのフレームの動画先頭からのフレーム数あるいは経過時間をシーンチェンジの情報として記憶することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ラベルは、多次元特徴量空間を複数のセルに分割して得られたセルの夫々に与えられる固有のラベルであり、前記ラベル付与手段は、前記ブロックの夫々について特徴量を算出し、算出された特徴量が属するセルに付与されているラベルを当該ブロックに付与することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記動画像はカラー画像であり、前記特徴量は色元素数の多次元特徴量空間での位置に対応し、前記ラベルは該多次元特徴量空間を複数のセルに分割して得られたセルの夫々に与えられる固有のラベルであることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記複数のブロックは画像を縦横複数のブロックに分けて得られたものであり、前記ラベル列生成手段で用いられるブロック順序は、該複数のブロックを水平もしくは垂直方向に走査する順序であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記シーンチェンジ検出手段は、前記類似度演算手段により演算された類似度が所定値以下になった場合にシーンチェンジと判定する判定手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記類似度演算手段は、各ラベル値のペアについてペナルティー値を保持するペナルティーテーブルを有し、シーンチェンジのフレーム候補のフレーム画像データのラベル列と以前のフレーム画像データ群のラベル列とから得られる各ラベル値のペアについて、該ペナルティーテーブルを参照してペナルティー値を取得し、取得されたペナルティー値に基づいて類似度を算出することを特徴とする請求項１または６に記載の画像処理装置。
【請求項８】
前記ラベルは、多次元特徴量空間を複数のセルに分割して得られたセルの夫々に与えられる固有のラベルであり、前記ペナルティー値は、２つのラベルが表すセル間の距離に基づいて設定される値であることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記類似度演算手段は、シーンチェンジフレーム候補のフレーム画像データのラベル列とそれ以前のフレーム画像データのラベル列との類似度を演算する場合に、更にラベルの過不足に対するペナルティー値を付与することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記ラベル列が２次元のラベル行列を表し、
前記類似度算出手段は、
シーンチェンジのフレーム候補のフレーム画像データのラベル行列より抽出される行単位のラベル列と、それ以前のフレーム画像データのラベル行列より抽出される行単位のラベル列とをＤＰマッチングによって対応づけて、該抽出された画像データの行並びを得る第１マッチング手段と、
シーンチェンジのフレーム候補のフレーム画像データのラベル行列の行並びと、前記第１マッチング手段で得られた行並びとの類似度をＤＰマッチングによって求める第２マッチング手段とを備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記第２マッチング手段によって得られた類似度が所定値以下になり、更にそれ以前のフレーム画像に対して上記と同様の処理を行なった結果、前記第２マッチング手段によって得られた類似度が所定値以下になる場合に、シーンチェンジのフレーム候補のフレーム画像データをシーンチェンジのフレーム画像データと決定するフレーム決定手段を更に備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１マッチング手段は、各ラベルのペアについてペナルティー値を保持するペナルティーテーブルを有し、前記シーンチェンジのフレーム候補のフレーム画像データのラベル列と前記それ以前のフレーム画像データのラベル列との距離をＤＰマッチング手法を用いて算出するに際して、該ペナルティーテーブルを参照することを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記第２マッチング手段は、行並びにおける各行番号のペアについてペナルティー値を保持する行間ペナルティーテーブルを有し、前記シーンチェンジのフレーム候補のフレーム画像データの行並びと前記それ以前のフレーム画像の行並びの類似度をＤＰマッチング手法を用いて算出するに際して、該行間ペナルティーテーブルを参照することを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記シーンチェンジのフレーム候補のフレーム画像データの行方向の各ラベル列の類似度に基づいて、各行のペアに関するペナルティー値を決定し、これを前記行間ペナルティーテーブルとして保持するペナルティー保持手段を更に備えることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記第１マッチング手段は、前記元画像データのラベル列と前記記憶手段に記憶されたラベル列との類似度を演算する場合に、更にラベル比較の系列伸縮に伴うペナルティー及び制約を付与することを特徴とする請求項１０に記載の画像処理装置。
【請求項１６】
前記ラベル比較の系列伸縮に伴うペナルティー及び制約はＤＰマッチングの理論に基づいて取得されることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
動画像データからフレーム画像データを取り出して該フレーム画像データを複数のブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与し、
前記付与されたラベルを所定のブロック順序に並べることによりラベル列を生成し、
前記生成されたラベル列と過去のフレーム画像データ群のラベル列との類似度を算出し、
算出された類似度群から動画像中のシーンチェンジのフレームを検出することを特徴とするシーンチェンジ検出方法。
【請求項１８】
前記検出されたシーンチェンジのフレームの情報は、検出されたシーンチェンジのフレームの動画先頭からのフレーム数あるいは経過時間をシーンチェンジの情報とすることを特徴とする請求項１７に記載のシーンチェンジ検出方法。
【請求項１９】
前記ラベルは、多次元特徴量空間を複数のセルに分割して得られたセルの夫々に与えられる固有のラベルであり、前記ラベルの付与では、前記ブロックの夫々について特徴量を算出し、算出された特徴量が属するセルに付与されているラベルを当該ブロックに付与することを特徴とする請求項１７に記載のシーンチェンジ検出方法。
【請求項２０】
前記複数のブロックは画像を縦横複数のブロックに分けて得られたものであり、前記ラベル列の生成で用いられるブロック順序は、該複数のブロックを水平もしくは垂直方向に走査する順序であることを特徴とする請求項１７に記載のシーンチェンジ検出方法。
【請求項２１】
前記類似度の演算では、各ラベル値のペアについてペナルティー値を保持するペナルティーテーブルを有し、シーンチェンジのフレーム候補のフレーム画像データのラベル列と以前のフレーム画像データ群のラベル列とから得られる各ラベル値のペアについて、該ペナルティーテーブルを参照してペナルティー値を取得し、取得されたペナルティー値に基づいて類似度を算出することを特徴とする請求項１７に記載のシーンチェンジ検出方法。
【請求項２２】
前記ラベルは、多次元特徴量空間を複数のセルに分割して得られたセルの夫々に与えられる固有のラベルであり、前記ペナルティー値は、２つのラベルが表すセル間の距離に基づいて設定される値であることを特徴とする請求項２１に記載のシーンチェンジ検出方法。
【請求項２３】
前記類似度の演算では、シーンチェンジフレーム候補のフレーム画像データのラベル列とそれ以前のフレーム画像データのラベル列との類似度を演算する場合に、更にラベルの過不足に対するペナルティー値を付与することを特徴とする請求項２１に記載のシーンチェンジ検出方法。
【請求項２４】
前記ラベル列が２次元のラベル行列を表し、
前記類似度の算出は、
シーンチェンジのフレーム候補のフレーム画像データのラベル行列より抽出される行単位のラベル列と、それ以前のフレーム画像データのラベル行列より抽出される行単位のラベル列とをＤＰマッチングによって対応づけて、該抽出された画像データの行並びを得る第１マッチングと、
シーンチェンジのフレーム候補のフレーム画像データのラベル行列の行並びと、前記得られた行並びとの類似度をＤＰマッチングによって求める第２マッチングとを含むことを特徴とする請求項１７に記載のシーンチェンジ検出方法。
【請求項２５】
前記第２マッチングによって得られた類似度が所定値以下になり、更にそれ以前のフレーム画像に対して上記と同様の処理を行なった結果、前記弟２マッチングによって得られた類似度が所定値以下になる場合に、シーンチェンジのフレーム候補のフレーム画像データをシーンチェンジのフレーム画像データと決定することを特徴とする請求項２４に記載のシーンチェンジ検出方法。
【請求項２６】
前記第１マッチングは、各ラベルのペアについてペナルティー値を保持するペナルティーテーブルを有し、前記シーンチェンジのフレーム候補のフレーム画像データのラベル列と前記それ以前のフレーム画像データのラベル列との距離をＤＰマッチング手法を用いて算出するに際して、該ペナルティーテーブルを参照することを特徴とする請求項２４に記載のシーンチェンジ検出方法。
【請求項２７】
前記第２マッチングは、行並びにおける各行番号のペアについてペナルティー値を保持する行間ペナルティーテーブルを有し、前記シーンチェンジのフレーム候補のフレーム画像データの行並びと前記それ以前のフレーム画像の行並びの類似度をＤＰマッチング手法を用いて算出するに際して、該行間ペナルティーテーブルを参照することを特徴とする請求項２４に記載のシーンチェンジ検出方法。
【請求項２８】
前記シーンチェンジのフレーム候補のフレーム画像データの行方向の各ラベル列の類似度に基づいて、各行のペアに関するペナルティー値を決定し、これを前記行間ペナルティーテーブルとして保持することを特徴とする請求項２７に記載のシーンチェンジ検出方法。
【請求項２９】
コンピュータにシーンチェンジ検出を実行させるための制御プログラムを格納する記憶媒体であって、
前記制御プログラムが、
動画像データからフレーム画像データを取り出して該フレーム画像データを複数のブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与するステップと、
前記付与されたラベルを所定のブロック順序に並べることによりラベル列を生成するステップと、
前記生成されたラベル列と過去のフレーム画像データ群のラベル列との類似度を算出するステップと、
算出された類似度群から動画像中のシーンチェンジのフレームを検出するステップを含むことを特徴とする記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
【課題を解決するための手段】
上記の目的を達成するための本発明の画像処理装置は、動画像データからフレーム画像データを取り出して該フレーム画像データを複数のブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与するラベル付与手段と、前記ラベル付与手段で付与されたラベルを所定のブロック順序に並べることによりラベル列を生成するラベル列生成手段と、前記ラベル生成手段で生成されたラベル列を前記フレーム画像データに対応付けて蓄積するラベル列蓄積手段と、前記生成されたラベル列と蓄積された過去のフレーム画像データ群のラベル列との類似度を算出する類似度算出手段と、算出された類似度群から動画像中のシーンチェンジのフレームを検出するシーンチェンジ検出手段と、検出された前記シーンチェンジのフレームの情報を前記フレーム画像データに対応付けて記憶するシーンチェンジ記憶手段とを備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
１０６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等で構成され、例えば、以下に説明する動画像管理データベースを記憶する。１０７は表示器である。１０８はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。１０９はインターフェース、１１０は動画像入力のための周辺機器である。また、１１１は上記の各構成を接続するパスである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
そして、ステップＳ１０８において、上記処理で得られたＬＩＮＥ［ｉ］と所定の閾値（Ｔｈｒｅｓｈ）とを比較する。そして、ＬＩＮＥ［ｉ］がＴｈｒｅｓｈ以上であればステップＳ１０９へ進み、いずれの行とも類似していないことを表す「！」をＬＩＮＥ［ｉ］に格納する。