(57)【要約】【課題】  動画のビデオショット変化の検出方法及び装置を提供する。【解決手段】  （ａ）動画を構成するビデオフレームのグループ化により形成される第１ないし第Ｋ上位フレームグループ（ここで、Ｋは、１より大きい正の整数）、前記第１ないし第Ｋ上位フレームグループのうちの第Ｌ上位フレームグループ（ここで、Ｌは、１＜Ｌ≦Ｋ  である正の整数）の前記ビデオフレームのグループ化により形成される第１ないし第Ｍ中位フレームグループ（ここで、Ｍは、１より大きい正の整数）、そして前記第１ないし第Ｍ中位フレームグループのうちの第Ｎ中位フレームグループ（ここで、Ｎは、１＜Ｎ≦Ｍ  である正の整数）の第Ｎ下位フレームグループについて、ビデオショットの変化の有無を調べる段階と、（ｂ）前記（ａ）段階の結果に基づいて、ビデオショット変化リストを生成する段階とを具備することを特徴とする動画のビデオショット変化の検出方法である。【選択図】      図１
2005253089.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）動画を構成するビデオフレームのグループ化により形成される第１ないし第Ｋ上位フレームグループ（ここで、Ｋは、１より大きい正の整数）、
前記第１ないし第Ｋ上位フレームグループのうちの第Ｌ上位フレームグループ（ここで、Ｌは、１＜Ｌ≦Ｋ  である正の整数）の前記ビデオフレームのグループ化により形成される第１ないし第Ｍ中位フレームグループ（ここで、Ｍは、１より大きい正の整数）、そして
前記第１ないし第Ｍ中位フレームグループのうちの第Ｎ中位フレームグループ（ここで、Ｎは、１＜Ｎ≦Ｍ  である正の整数）の第Ｎ下位フレームグループについて、
ビデオショットの変化の有無を調べる段階と、
（ｂ）前記（ａ）段階の結果に基づいて、ビデオショット変化リストを生成する段階とを具備することを特徴とする動画のビデオショット変化の検出方法。
【請求項２】
前記（ａ）段階は、
（ａ１）前記ビデオショットの変化を調べるために、前記第Ｌ上位フレームグループを指定する段階と、
（ａ２）前記第Ｌ上位フレームグループについて、前記ビデオショットの変化の可能性があるか否かを調べる段階と、
（ａ３）前記第Ｌ上位フレームグループについて、前記ビデオショットの変化の可能性があるか否かを判断する段階と、
（ａ４）前記ビデオショットの変化の可能性がある場合に、前記第Ｌ上位フレームグループを前記第１ないし第Ｍ中位フレームグループに分割する第１基準フレームが、前記第Ｌ上位フレームグループ内に少なくとも一つ存在するか否かを判断する段階と、
（ａ５）前記第Ｌ上位フレームグループ内に前記第１基準フレームが存在する場合、前記ビデオショットの変化を調べるために、前記第Ｎ中位フレームグループを指定する段階と、
（ａ６）前記第Ｎ中位フレームグループについて、前記ビデオショットの変化の可能性の有無を調べる段階と、
（ａ７）前記第Ｎ中位フレームグループについて、前記ビデオショットの変化の可能性があるか否かを判断する段階と、
（ａ８）前記ビデオショットの変化の可能性がある場合に、前記第Ｎ下位フレームグループについて、ビデオショットの急激な変化に該当するカット変化の有無を調べる段階と
を具備することを特徴とする請求項１に記載の動画のビデオショット変化の検出方法。
【請求項３】
前記（ａ）段階は、
前記第１基準フレームが、順方向予測フレームである
ことを特徴とする請求項２に記載の動画のビデオショット変化の検出方法。
【請求項４】
前記（ａ）段階は、
（ａ９）前記第１ないし第Ｋ上位フレームグループのグループ化により形成される第１ないし第Ｇ最上位フレームグループ（ここで、Ｇは、１より大きい正の整数）の中で、第Ｈ最上位フレームグループ（ここで、Ｈは、１＜Ｈ≦Ｇ  である正の整数）を指定する段階と、
（ａ１０）前記第Ｈ最上位フレームグループについて、前記ビデオショットの変化の可能性があるか否かを調べる段階と、
（ａ１１）前記第Ｈ最上位フレームグループについて、前記ビデオショットの変化の可能性があるか否かを判断する段階とをさらに備え、
前記第Ｈ最上位フレームグループについて前記ビデオショットの変化の可能性がある場合に、前記（ａ１）段階の処理に戻ることを特徴とする請求項３に記載の動画のビデオショット変化の検出方法。
【請求項５】
前記（ａ）段階は、
（ａ１２）前記（ａ１１）段階において前記第Ｈ最上位フレームグループに前記ビデオショットの変化の可能性がないと判断された場合、前記第Ｈ最上位フレームグループが前記動画の前記第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに該当するか否かを判断する段階と、
（ａ１３）前記第Ｈ最上位フレームグループが前記第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループでない場合に、第Ｈ＋１最上位フレームグループ（ここで、Ｈ＋１は、１＜Ｈ＋１≦Ｇ  である正の整数）を指定すると共に、前記（ａ１０）段階の処理に戻る段階とをさらに備え、
前記第Ｈ最上位フレームグループが前記第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループである場合は、前記（ｂ）段階の処理に戻る
ことを特徴とする請求項４に記載の動画のビデオショット変化の検出方法。
【請求項６】
前記（ａ）段階は、
（ａ１４）前記（ａ３）段階において前記第Ｌ上位フレームグループについて前記ビデオショットの変化の可能性がないと判断された場合、前記第Ｌ上位フレームグループが前記動画の前記第１ないし第Ｋ上位フレームグループの最後の上位フレームグループに該当するか否かを判断する段階と、
（ａ１５）前記第Ｌ上位フレームグループが前記第１ないし第Ｋ上位フレームグループの最後の上位フレームグループでない場合に、第Ｌ＋１上位フレームグループ（ここで、Ｌ＋１は、１＜Ｌ＋１≦Ｋである同じ正の整数）を指定すると共に、前記（ａ２）段階の処理に戻る段階とをさらに備え、
前記第Ｌ上位フレームグループが前記第１ないし第Ｋ上位フレームグループの最後の上位フレームグループである場合は、前記（ａ１２）段階の処理に戻る
ことを特徴とする請求項５に記載の動画のビデオショット変化の検出方法。
【請求項７】
前記（ａ）段階は、
（ａ１６）前記（ａ４）段階において前記第１基準フレームが前記第Ｌ上位フレームグループ内に存在しない場合に、前記第Ｌ上位フレームグループの両端部にそれぞれ位置する第２基準フレームのうちの２番目の第２基準フレームを、前記カット変化フレームと決定すると共に、前記（ａ１４）段階の処理を行う
ことを特徴とする請求項６に記載の動画のビデオショット変化の検出方法。
【請求項８】
前記（ａ）段階は、
（ａ１７）前記（ａ７）段階において前記第Ｎ中位フレームグループについて前記ビデオショットの変化の可能性がない場合に、前記第Ｎ中位フレームグループが、前記動画の前記第１ないし第Ｍ中位フレームグループの最後の中位フレームグループに該当するか否かを判断する段階と、
（ａ１８）前記第Ｎ中位フレームグループが前記第１ないし第Ｍ中位フレームグループの最後の中位フレームグループでない場合に、第Ｎ＋１中位フレームグループ（ここで、Ｎ＋１は、１＜Ｎ＋１≦Ｍ  である正の整数）を指定すると共に、前記（ａ６）段階の処理に戻る段階とをさらに備える
ことを特徴とする請求項７に記載の動画のビデオショット変化の検出方法。
【請求項９】
前記（ａ）段階は、
（ａ１９）前記（ａ１７）段階において前記第Ｎ中位フレームグループが前記第１ないし第Ｍ中位フレームグループの最後の中位フレームグループである場合に、前記第Ｌ上位フレームグループ内の前記第１ないし第Ｍ中位フレームグループについて、前記カット変化があるか否かを判断する段階と、
（ａ２０）前記第１ないし第Ｍ中位フレームグループの何れにも前記カット変化がない場合に、前記第Ｌ上位フレームグループにビデオショットの緩やかな変化に該当するグラジュアル変化が存在するか否かを確認すると共に、前記（ａ１４）段階の処理に戻る段階とをさらに備え、
前記第Ｌ上位フレームグループの前記第１ないし第Ｍ中位フレームグループに前記カット変化が存在する場合に、前記（ａ１４）段階の処理に戻る
ことを特徴とする請求項８に記載の動画のビデオショット変化の検出方法。
【請求項１０】
前記（ａ２）段階は、
（ａ１００）前記第Ｌ上位フレームグループの両端部にそれぞれ位置する第２基準フレームのカラーヒストグラムの第１差分特性値を計算する段階と、
（ａ１０２）前記第１差分特性値と第１閾値とを比較する段階と、
（ａ１０４）前記第１差分特性値が前記第１閾値よりも大きい場合に、前記第２基準フレームについての正規化された第１相関関係係数値を計算する段階と、
（ａ１０６）前記第１相関関係係数値と第２閾値とを比較する段階と、
（ａ１０８）前記第１相関関係係数値が前記第２閾値値より小さい場合に、前記第Ｌ上位フレームグループに前記ビデオショットの変化の可能性があると決定する段階と、
（ａ１１０）前記（ａ１０２）段階において前記第１差分特性値が前記第１閾値以下である場合、前記（ａ１０６）段階において前記第１相関関係係数値が前記第２閾値以上である場合に、前記第Ｌ上位フレームグループについて前記ビデオショットの変化の可能性がないと決定する段階とを備える
ことを特徴とする請求項３に記載の動画のビデオショット変化の検出方法。
【請求項１１】
前記（ａ２）段階は、
前記第２基準フレームがイントラフレームである
ことを特徴とする請求項１０に記載の動画のビデオショット変化の検出方法。
【請求項１２】
前記（ａ１０）段階は、
（ａ２００）前記第Ｈ最上位フレームグループの両端部にそれぞれ位置する第３基準フレームのカラーヒストグラムの第２差分特性値を計算する段階と、
（ａ２０２）前記第２差分特性値と既定の第３閾値とを比較する段階と、
（ａ２０４）前記第２差分特性値が前記第３閾値よりも大きい場合に、前記第３基準フレームについての正規化された第２相関関係係数値を計算する段階と、
（ａ２０６）前記第２相関関係係数値と既定の第４閾値とを比較する段階と、
（ａ２０８）前記第２相関関係係数値が前記第４閾値より小さい場合に、前記第Ｈ最上位フレームグループに前記ビデオショットの変化の可能性があると決定する段階と、
（ａ２１０）前記（ａ２０２）段階において前記第２差分特性値が前記第３閾値以下である場合、前記（ａ２０６）段階において前記第２相関関係係数値が前記第４閾値以上である場合に、前記第Ｈ最上位フレームグループについて前記ビデオショットの変化の可能性がないと決定する段階とを備える
ことを特徴とする請求項４に記載の動画のビデオショット変化の検出方法。
【請求項１３】
前記（ａ６）段階は、
（ａ３００）前記第Ｎ中位フレームグループの両端部にそれぞれ位置する所定フレームのカラーヒストグラムの第３差分特性値を計算する段階と、
（ａ３０２）前記第３差分特性値と既定の第５閾値とを比較する段階と、
（ａ３０４）前記第３差分特性値が前記第５閾値より大きい場合に、前記所定フレームについての正規化された第３相関関係係数値を計算する段階と、
（ａ３０６）前記第３相関関係係数値が、第６閾値と第７閾値とで規定される範囲内に属するか否かを判断する段階と、
（ａ３０８）前記第３相関関係係数値が、第６閾値と第７閾値とで規定される範囲内に属する場合、前記第Ｎ中位フレームグループについて運動情報に基づいて前記ビデオショットの変化の可能性の有無を調べる段階と、
（ａ３１０）前記第３相関関係係数値が、第６閾値と第７閾値とで規定される範囲内に属さない場合に、前記第３相関関係係数値が前記第６閾値未満であるか否かを判断する段階と、
（ａ３１２）前記第３相関関係係数値が前記第６閾値未満である場合に、前記第Ｎ中位フレームグループについて正規化された相関関係に基づいて、前記ビデオショットの変化の可能性があると決定する段階と、
（ａ３１４）前記（ａ３０２）段階で、前記第３差分特性値が前記第５閾値より小さい場合、前記（ａ３１０）段階で、前記第３相関関係係数値が前記第７閾値値より大きい場合に、前記第Ｎ中位フレームグループについて前記ショット変化可能性がないと決定する段階とを備える
ことを特徴とする請求項３に記載の動画のビデオショット変化の検出方法。
【請求項１４】
前記（ａ３０８）段階は、
（ａ４００）前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの２番目の所定フレームが、前記第１基準フレームに相当するか否かを判断する段階と、
（ａ４０２）前記２番目の所定フレームが前記第１基準フレームのうちの一つである場合に、前記第１基準フレームのうちの一方についてのイントラモードの発生頻度に対する順方向予測モードの発生頻度の比率である第１発生頻度比率を計算する段階と、
（ａ４０４）前記第１発生頻度比率と第８閾値とを比較する段階と、
（ａ４０６）前記第１発生頻度比率が、前記第８閾値以下である場合に、前記第Ｎ中位フレームグループについて前記ビデオショットの変化の可能性がないと決定する段階と、
（ａ４０８）前記２番目の所定フレームが前記第１基準フレームのうちの何れか一方に相当しない場合、前記第１発生頻度比率が前記第８閾値値よりも大きい場合に、前記第Ｎ中位フレームグループについて前記運動情報に基づいて、前記ショットの変化の可能性があると決定する段階とを備える
ことを特徴とする請求項１３に記載の動画のビデオショット変化の検出方法。
【請求項１５】
前記（ａ８）段階は、
（ａ５００）前記第Ｎ下位フレームグループ内に双方向予測フレームが存在するか否か判断する段階と、
（ａ５０２）前記双方向予測フレームが存在する場合に、前記第Ｎ中位フレームグループが、前記運動情報に基づいて前記ビデオショットの変化の可能性があると決定された中位フレームグループに相当するか否かを判断する段階と、
（ａ５０４）前記第Ｎ中位フレームグループが、前記運動情報に基づいて前記ビデオショットの変化の可能性があると決定された中位フレームグループに相当する場合、
前記運動情報に基づいて、前記双方向予測フレームにビデオショットの変化の可能性があるか否かを決定する段階と、
（ａ５０６）前記第Ｎ中位フレームグループが、前記運動情報に基づいて前記ビデオショットの変化の可能性があると決定された中位フレームグループに相当しない場合、
正規化された相関関係に基づいて、前記双方向予測フレームに前記ビデオショットの変化の可能性があるか否かを決定する段階と、
（ａ５０８）前記双方向予測フレームが存在しない場合に、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの前記２番目の所定フレームを、前記カット変化フレームと決定する段階とを備える
ことを特徴とする請求項１４に記載の動画のビデオショット変化の検出方法。
【請求項１６】
前記（ａ５０４）段階は、
（ａ６００）前記双方向予測フレームにおいて最初の双方向予測フレームを指定する段階と、
（ａ６０２）前記最初の双方向予測フレームについて、双方向予測モードの発生頻度の、順方向予測モードの発生頻度と逆方向予測モードの発生頻度の合算値に対する比率である第２発生頻度比率と、
順方向予測モードの発生頻度に対する逆方向予測モードの発生頻度の比率である第３発生頻度比率とを計算する段階と、
（ａ６０４）前記第２発生頻度比率と第９閾値とを比較すると共に、前記第３発生頻度比率と第１０閾値とを比較する段階と、
（ａ６０６）前記第２発生頻度比率が前記第９閾値より大きく、かつ前記第３発生頻度比率が前記第１０閾値値未満である場合に、前記最初の双方向予測フレームについて前記カット変化フレームと決定する段階と、
（ａ６０８）前記第２発生頻度比率が前記第９閾値以下であり、かつ前記第３発生頻度比率が前記第１０閾値以上である場合に、前記最初の双方向予測フレームが、前記双方向予測フレームのうちの最後の双方向予測フレームであるか否かを判断する段階と、
（ａ６１０）前記最初の双方向予測フレームが、前記双方向予測フレームのうちの最後の双方向予測フレームである場合に、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの前記２番目の所定フレームについて前記カット変化フレームと決定する段階と、
（ａ６１２）前記最初の双方向予測フレームが、前記双方向予測フレームのうちの最後の双方向予測フレームでない場合に、前記最初の双方向予測フレームの次に位置する他の双方向予測フレームを指定し、前記（ａ６０２）段階の処理に戻る段階とを備える
ことを特徴とする請求項１５に記載の動画のビデオショット変化の検出方法。
【請求項１７】
前記（ａ５０６）段階は、
（ａ７００）前記双方向予測フレームの中で最初の双方向予測フレームを指定する段階と、
（ａ７０２）前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの最初の所定フレームと前記指定された最初の双方向予測フレームについての正規化された第４相関関係係数値を計算する段階と、
（ａ７０４）前記第４相関関係係数値と既定の第１１閾値とを比較する段階と、
（ａ７０６）前記第４相関関係係数値が前記第１１閾値未満である場合に、前記最初の双方向予測フレームを前記カット変化フレームと決定する段階と、
（ａ７０８）前記第４相関関係係数値が前記第１１閾値以上である場合に、前記最初の双方向予測フレームが前記双方向予測フレームのうちの最後の双方向予測フレームであるか否かを判断する段階と、
（ａ７１０）前記最初の双方向予測フレームが前記双方向予測フレームのうちの最後の双方向予測フレームである場合に、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの前記２番目の所定フレームを前記カット変化フレームと決定する段階と、
（ａ７１２）前記最初の双方向予測フレームが前記双方向予測フレームのうちの最後の双方向予測フレームでない場合、前記最初の双方向予測フレームの次に位置する双方向予測フレームを指定し、前記（ａ７０２）段階の処理に戻る段階とを備える
ことを特徴とする請求項１５に記載の動画のビデオショット変化の検出方法。
【請求項１８】
前記（ａ）段階は、
（ａ２１）前記（ａ１２）段階で、前記第Ｈ最上位フレームグループが前記第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに該当する場合に、前記第１ないし第Ｋ上位フレームグループの中で前記ビデオショットの変化の可能性がある上位フレームグループの第１リストと、カット変化フレームの第２リストを検出する段階と、
（ａ２２）前記第１リスト及び第２リストを利用して、前記動画のビデオショットの緩やかな変化に該当するグラジュアル変化が存在するか否かを調べる段階とをさらに備え、
前記（ｂ）段階では、前記第１リスト及び第２リストと、前記（ｃ）段階の結果とを利用して、ビデオショットのショット変化リストを生成する
ことを特徴とする請求項８に記載の動画のビデオショット変化の検出方法。
【請求項１９】
前記（ａ）段階は、
前記第１ないし第Ｋ上位フレームグループは、イントラフレーム、順方向予測フレーム、及び双方向予測フレームを含むピクチャーグループである
ことを特徴とする請求項１に記載の動画のビデオショット変化の検出方法。
【請求項２０】
動画を構成するビデオフレームのグループ化により形成される第１ないし第Ｋ上位フレームグループ（ここで、Ｋは、１より大きい正の整数）、
前記第１ないし第Ｋ上位フレームグループのうちの第Ｌ上位フレームグループ（ここで、Ｌは、１＜Ｌ≦Ｋ  である正の整数）のビデオフレームのグループ化により形成される第１ないし第Ｍ中位フレームグループ（ここで、Ｍは、１より大きい正の整数）、そして
前記第１ないし第Ｍ中位フレームグループのうちの第Ｎ中位フレームグループ（ここで、Ｎは、１＜Ｎ≦Ｍ  である正の整数）の第Ｎ下位フレームグループについて、
ビデオショットの変化の有無を調べるショット変化調査部と、
前記ショット変化調査部の調査結果に基づいて、ビデオショット変化リストを生成するショット変化リスト生成部とを備える
ことを特徴とする動画のビデオショット変化検出装置。
【請求項２１】
前記ショット変化調査部は、
前記第Ｌ上位フレームグループを指定する上位フレームグループ指定部と、
前記第Ｌ上位フレームグループについて、前記ビデオショットの変化の可能性の有無を調べる第１ショット変化可能性有無調査部と、
前記第Ｌ上位フレームグループを前記第１ないし第Ｍ中位フレームグループに分割する第１基準フレームが、前記第Ｌ上位フレームグループ内に少なくとも一つ存在するか否かを感知する基準フレーム感知部と、
前記第Ｎ中位フレームグループを指定する中位フレームグループ指定部と、
前記第Ｎ中位フレームグループについて、前記ビデオショットの変化の可能性の有無を調べる第２ショット変化可能性有無調査部と、
前記第Ｎ下位フレームグループについて、前記ビデオショットの急激な変化に該当するカット変化の有無を調べるカット変化調査部とを備える
ことを特徴とする請求項２０に記載の動画のビデオショット変化検出装置。
【請求項２２】
前記ショット変化調査部は、
前記第１基準フレームが順方向予測フレームである
ことを特徴とする請求項２１に記載の動画のビデオショット変化検出装置。
【請求項２３】
前記ショット変化調査部は、
前記第１ないし第Ｋ上位フレームグループのグループ化により形成される第１ないし第Ｇ最上位フレームグループ（ここで、Ｇは、１より大きい正の整数）の中で、第Ｈ最上位フレームグループ（ここで、Ｈは、１＜Ｈ≦Ｇ  である正の整数）を指定する最上位フレームグループ指定部と、
前記第Ｈ最上位フレームグループについて、前記ビデオショットの変化の可能性があるか否かを調べる第３ショット変化可能性有無調査部と、
前記第Ｈ最上位フレームグループが、前記動画の前記第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに相当するか否かを感知する末端最上位フレームグループ感知部とをさらに備える
ことを特徴とする請求項２２に記載の動画のビデオショット変化検出装置。
【請求項２４】
前記ショット変化調査部は、
前記第Ｌ上位フレームグループが、前記動画の前記第１ないし第Ｋ上位フレームグループの最後の上位フレームグループに相当するか否かを感知する末端上位フレームグループ感知部をさらに備える
ことを特徴とする請求項２３に記載の動画のビデオショット変化検出装置。
【請求項２５】
前記ショット変化調査部は、
前記基準フレーム感知部の感知された結果に基づいて、
前記第Ｌ上位フレームグループ内の両端部にそれぞれ位置する第２基準フレームのうち２番目の第２基準フレームを、ビデオショットの急激な変化に該当するカット変化フレームと決定する第１カットフレーム決定部をさらに備える
ことを特徴とする請求項２４に記載の動画のビデオショット変化検出装置。
【請求項２６】
前記ショット変化調査部は、
前記第Ｎ中位フレームグループが、前記動画の前記第１ないし第Ｍ中位フレームグループの最後の中位フレームグループに相当するか否かを感知する末端中位フレームグループ感知部をさらに備える
ことを特徴とする請求項２５に記載の動画のビデオショット変化検出装置。
【請求項２７】
前記ショット変化調査部は、
前記第Ｌ上位フレームグループ内の前記第１ないし第Ｍ中位フレームグループに、ビデオショットの急激な変化に該当する前記カット変化が存在するか否かを感知するカット変化感知部と、
前記第１ないし第Ｍ中位フレームグループのうちの何れにもカット変化が存在しないと判断された場合に、前記第Ｌ上位フレームグループについてビデオショットの緩やかな変化に該当するグラジュアル変化が存在するか否かを調べるグラジュアル変化調査部とをさらに備える
ことを特徴とする請求項２６に記載の動画のビデオショット変化検出装置。
【請求項２８】
前記第１ショット変化可能性有無調査部は、
前記第Ｌ上位フレームグループ内の両端部にそれぞれ位置する第２基準フレームについてのカラーヒストグラムの第１差分特性値を計算する第１差分特性値計算部と、
前記計算された第１差分特性値と既定の第１閾値とを比較する第１比較部と、
前記第２基準フレームについての正規化された第１相関関係係数値を計算する第１相関関係係数値計算部と、
前記計算された第１相関関係係数値と既定の第２閾値とを比較する第２比較部と、
前記第Ｌ上位フレームグループについて、前記ショット変化可能性有無を決定する第１ショット変化可能性有無決定部とを備える
ことを特徴とする請求項２２に記載の動画のビデオショット変化検出装置。
【請求項２９】
前記第１ショット変化可能性有無調査部は、
前記第２基準フレームがイントラフレームである
ことを特徴とする請求項２８に記載の動画のビデオショット変化検出装置。
【請求項３０】
前記第３ショット変化可能性有無調査部は、
前記第Ｈ最上位フレームグループの両側端部にそれぞれ位置する第３基準フレームについてのカラーヒストグラムの第２差分特性値を計算する第２差分特性値計算部と、
前記計算された第２差分特性値と既定の第３閾値とを比較する第３比較部と、
前記第３基準フレームについての正規化された第２相関関係係数値を計算する第２相関関係係数値計算部と、
前記計算された第２相関関係係数値と既定の第４閾値とを比較する第４比較部と、
前記第Ｈ最上位フレームグループについて前記ビデオショットの変化の可能性の有無を決定する第２ショット変化可能性有無決定部とを備える
ことを特徴とする請求項２３に記載の動画のビデオショット変化検出装置。
【請求項３１】
前記第２ショット変化可能性有無調査部は、
前記第Ｎ中位フレームグループの両端部にそれぞれ位置する所定フレームについてのカラーヒストグラムの第３差分特性値を計算する第３差分特性値計算部と、
前記計算された第３差分特性値と既定の第５閾値とを比較する第５比較部と、
前記所定フレームについての正規化された第３相関関係係数値を計算する第３相関関係係数値計算部と、
前記計算された第３相関関係係数値が既定の第６閾値及び第７閾値を基準にどこに属するかを比較する第６比較部と、
前記第Ｎ中位フレームグループについて、運動情報に基づいて前記ショット変化可能性有無を調べる第４ショット変化可能性有無調査部と、
前記第Ｎ中位フレームグループについて、正規化された相関関係に基づいて前記ショット変化可能性有無を決定する第３ショット変化可能性有無決定部とを具備することを特徴とする請求項２２に記載の動画のビデオショット変化検出装置。
【請求項３２】
前記第４ショット変化可能性有無調査部は、
前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうち、２番目の所定フレームが前記第１基準フレームのうちの何れに相当するのかを感知する第１感知部と、
前記第１基準フレームのうちの一方についてのイントラモードの発生頻度に対する順方向予測モードの発生頻度の比率である第１発生頻度比率を計算する第１発生頻度比率計算部と、
前記計算された第１発生頻度比率と既定の第８閾値とを比較する第７比較部と、
前記第Ｎ中位フレームグループについて、前記ショット変化可能性有無を決定する第４ショット変化可能性有無決定部と、を具備することを特徴とする請求項３１に記載の動画のビデオショット変化検出装置。
【請求項３３】
前記カット変化調査部は、
前記第Ｎ下位フレームグループ内に双方向予測フレームが存在するか否かを感知する第２感知部と、
前記第Ｎ中位フレームグループが、前記運動情報に基づいて前記ビデオショットの変化の可能性があると決定された中位フレームグループであるかどうかを感知する第３感知部と、
前記双方向予測フレームを、前記運動情報または前記正規化された相関係数に基づいてカット変化フレームを決定するか、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの前記２番目の所定フレームを前記カット変化フレームとして決定する第２カットフレーム決定部とを備える
ことを特徴とする請求項３２に記載の動画のビデオショット変化検出装置。
【請求項３４】
前記第２カットフレーム決定部は、
前記双方向予測フレームのうちの最初の双方向予測フレームを指定する第１双方向予測フレーム指定部と、
前記最初の双方向予測フレームについて、双方向予測モードの発生頻度の、順方向予測モードの発生頻度と逆方向予測モードの発生頻度の合算値に対する比率である第２発生頻度比率を計算する第２発生頻度比率計算部と、
順方向予測モードの発生頻度に対する逆方向予測モードの発生頻度の比率である第３発生頻度比率を計算する第３発生頻度比率計算部と、
前記第２発生頻度比率と第９閾値とを比較すると共に、前記第３発生頻度比率と第１０閾値とを比較する第８比較部と、
前記第２発生頻度比率が前記第９閾値より大きく、かつ前記第３発生頻度比率が前記第１０閾値未満である場合に、前記最初の双方向予測フレームについて前記カット変化フレームと決定し、前記最初の双方向予測フレームが前記双方向予測フレームのうち最後の双方向予測フレームであれば、前記第Ｎ中位フレームグループの両側端部にそれぞれ位置する前記所定フレームのうち、前記２番目の所定フレームについて前記カット変化フレームと決定する第１決定部と、
前記第２発生頻度比率が前記第９閾値以下であり、かつ前記第３発生頻度比率が前記第１０閾値以上である場合に、前記最初の双方向予測フレームが前記双方向予測フレームのうち最後の双方向予測フレームであるか否かを感知する第１末端フレーム感知部とを備える
ことを特徴とする請求項３３に記載の動画のビデオショット変化検出装置。
【請求項３５】
前記第２カットフレーム決定部は、
前記双方向予測フレームのうち最初の双方向予測フレームを指定する第２双方向予測フレーム指定部と、
前記第Ｎ中位フレームグループの両側端部にそれぞれ位置する前記所定フレームのうち最初の所定フレームと、前記指定された最初の双方向予測フレームとについての正規化された第４相関関係係数値を計算する第４相関関係係数値計算部と、
前記第４相関関係係数値と第１１閾値とを比較する第９比較部と、
前記第４相関関係係数値が前記第１１閾値未満である場合に、前記最初の双方向予測フレームを前記カット変化フレームと決定し、
前記最初の双方向予測フレームが前記双方向予測フレームのうち最後の双方向予測フレームである場合に、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの前記２番目の所定フレームを前記カット変化フレームと決定する第２決定部と、
前記第４相関関係係数値が前記第１１閾値以上である場合に、前記最初の双方向予測フレームが、前記双方向予測フレームのうちの最後の双方向予測フレームであるかどうかを感知する第２末端フレーム感知部とを備える
ことを特徴とする請求項３３に記載の動画のビデオショット変化検出装置。
【請求項３６】
動画のビデオショット変化検出装置は、
第１ないし第Ｋ上位フレームグループの中で前記ビデオショットの変化の可能性がある上位フレームグループの第１リストと、前記カット変化フレームの第２リストを検出する第１及び第２リスト検出部と、
前記第１リスト及び第２リストを利用して、前記動画のビデオショットの緩やかな変化に該当するグラジュアル変化が存在するか否かを調べるグラジュアル変化調査部と、を具備し、
前記リスト検出部で検出された前記第１リスト及び第２リストと、前記グラジュアル変化調査部で調べられた結果とを利用して、ビデオショット変化リストを生成する
ことを特徴とする請求項２６に記載の動画のビデオショット変化検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画のデータについてのビデオショット変化を検出するためのものであり、より詳細には、与えられた動画の内容を高速分割するために、ビデオ構成フレームを複数層の階層的ストリーム単位で区分してビデオショット変化を速く検出するための動画のビデオショット変化の検出方法及び装置に関する。
【背景技術】
【０００２】
ビデオショットとは、ビデオ撮影時に単一のカメラ運動で区分される一定のビデオフレーム区間を意味するものであり、ビデオを内容単位で分割しようとする時に利用される基本処理単位である。ビデオショット変化検出技術は、ビデオインデクシングのための重要要素技術であり、ビデオ内容に基づいて内容目次を作るか、またはビデオ内容を要約して便利に内容単位でビデオを編集する機能を具現する時、基本情報としてビデオショット間の境界情報を提供する。
【０００３】
このようなビデオショット間の境界情報を提供するためのビデオショット変化検出技術は、処理される動画データの圧縮如何によって圧縮領域検出技術と非圧縮領域検出技術とに大別できる。発達時期で見れば、初期には非圧縮領域技術が主に開発され、最近になって圧縮領域検出技術が活発に開発されつつある。その理由としては、デジタルマルチメディア技術の急速な発展と共に放送チャンネルの増加及び個人用デジタル撮影装置の普及で多くのビデオコンテンツが一度に大量で生成されるので、これを効率的に保管及び伝送するために圧縮フォーマットで保存するためである。したがって、このような現在の環境で、ビデオコンテンツの効果的な保管及び伝送のためには圧縮領域での処理が要求される。
【０００４】
通常的なビデオショット変化検出過程は、毎フレームに隣接フレーム間の差分特性値を検出特性値として計算し、この差分特性値を任意の閾値と比較して、現在フレームでのビデオショット変化の発生如何を判断する。この時、圧縮領域処理技術は、圧縮ストリームデータを部分デコーディングして得られる画像情報（例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）係数値、ｍｏｔｉｏｎ  ｖｅｃｔｏｒｓなど）及びその他の圧縮実行情報（例えば、ｍａｃｒｏ  ｂｌｏｃｋ  ｍｏｄｅ、ｂｉｔｒａｔｅ  ａｌｌｏｃａｔｉｏｎ）を抽出し、これよりショット変化如何についての検出特性値を計算するので、非圧縮過程を行わずに速くショット変化検知を行える。
【０００５】
ところが、このような圧縮領域上の既存検出技術または非圧縮領域上の既存検出技術は次のような問題点を持っている。
【０００６】
第１に、全体ビデオフレームシーケンスのうちビデオショット変化が発生するフレームの比率は実際１％にも到底達していないが、多くの計算量を必要とするショット変化検出プロセスを毎フレームあるいは一定距離間隔のフレームごとに反復的に行うことによって過度な計算が発生し、それにより高速処理速度具現に限界が発生してしまう。これを克服するための方案として、ビデオショット変化の種類（例えば、カット（ｃｕｔ）変化及びグラジュアル（ｇｒａｄｕａｌ）変化）によってピクチャーグループ（ＧＯＰ：Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）単位で離れたフレーム間の検出特性値を計算し、これを閾値と比較してＧＯＰ区間についてビデオショット変化検出を行うかどうかを決定する。カット変化は、一つのビデオショットから隣接した他のショットへ任意のフレーム位置で突然に転換される急激なショット変化を意味し、グラジュアル変化は、隣接した他のショットといろいろなフレームにかけてオーバーラップされつつ漸進的に転換される漸進的なショット変化を意味する。ＧＯＰは、ビデオ圧縮時、一つのイントラフレームから次のイントラフレームまでのフレーム集合で構成されたものであり、任意に接近可能な最小の独立的な画像単位となる。既存の圧縮領域技術の場合、ビデオショット変化検出のための候補と判定されたＧＯＰ単位のフレーム区間については、特定モードのショット変化検知プロセスを毎フレームに反復的に行う。この過程で、不要に毎フレームに検出プロセスを反復する短所を示しており、また、ビデオショット変化の種類によってＧＯＰ単位のショット変化検知の候補可能性を調べるために、相異なるフレーム距離の検知特性値を使用するｋとにより検出プロセスを複雑にする問題点を露出させている。
【０００７】
第２に、通常の圧縮領域検出方式で最も広く使われるカラーヒストグラム差分の場合には、カラー分布の類似した隣接したビデオショット間でショット変化を検出できないという短所がある。また、代表的な照明変化としてフラッシュライトが多く発生するニュースビデオやミュージックビデオの場合には、フラッシュライトが発生するフレーム付近でショット変化を誤って検出する問題点を示す。このような照明変化によるショット変化誤検知の問題点を解決するために、既存技術では、別途の画像特性値を利用してフラッシュライトを検出するための別途のモジュールを必要とするか、照明変化成分を補償するための別途の複雑なプロセスの実行を必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする技術的課題は、動画の圧縮ストリームデータを階層的単位で選別処理するための動画のビデオショット変化の検出方法を提供するところにある。
【０００９】
本発明が解決しようとする他の技術的課題は、動画の圧縮ストリームデータを階層的単位で選別処理するための動画のビデオショット変化検出装置を提供するところにある。
【課題を解決するための手段】
【００１０】
本発明に係る動画のビデオショット変化の検出方法は、（ａ）動画を構成するビデオフレームのグループ化により形成される第１ないし第Ｋ上位フレームグループ（ここで、Ｋは、１より大きい正の整数）、前記第１ないし第Ｋ上位フレームグループのうちの第Ｌ上位フレームグループ（ここで、Ｌは、１＜Ｌ≦Ｋ  である正の整数）の前記ビデオフレームのグループ化により形成される第１ないし第Ｍ中位フレームグループ（ここで、Ｍは、１より大きい正の整数）、そして前記第１ないし第Ｍ中位フレームグループのうちの第Ｎ中位フレームグループ（ここで、Ｎは、１＜Ｎ≦Ｍ  である正の整数）の第Ｎ下位フレームグループについて、ビデオショットの変化の有無を調べる段階と、（ｂ）前記（ａ）段階の結果に基づいて、ビデオショット変化リストを生成する段階とを具備する。
【００１１】
前記（ａ）段階は、（ａ１）前記ビデオショットの変化を調べるために、前記第Ｌ上位フレームグループを指定する段階と、（ａ２）前記第Ｌ上位フレームグループについて、前記ビデオショットの変化の可能性の有無を調べる段階と、（ａ３）前記第Ｌ上位フレームグループについて、前記ビデオショットの変化の可能性があるか否かを判断する段階と、（ａ４）前記ビデオショットの変化の可能性がある場合に、前記第Ｌ上位フレームグループを前記第１ないし第Ｍ中位フレームグループに分割する第１基準フレームが、前記第Ｌ上位フレームグループ内に少なくとも一つ存在するか否かを判断する段階と、（ａ５）前記第Ｌ上位フレームグループ内に前記第１基準フレームが存在する場合、前記ビデオショットの変化を調べるために、前記第Ｎ中位フレームグループを指定する段階と、（ａ６）前記第Ｎ中位フレームグループについて、前記ビデオショットの変化の可能性の有無を調べる段階と、（ａ７）前記第Ｎ中位フレームグループについて、前記ビデオショットの変化の可能性があるか否かを判断する段階と、（ａ８）前記ビデオショットの変化の可能性がある場合に、前記第Ｎ下位フレームグループについて、ビデオショットの急激な変化に該当するカット変化の有無を調べる段階とを具備することが好ましい。
【００１２】
前記（ａ）段階は、前記第１基準フレームが、順方向予測フレームであることが好ましい。
【００１３】
前記（ａ）段階は、（ａ９）前記第１ないし第Ｋ上位フレームグループのグループ化により形成される第１ないし第Ｇ最上位フレームグループ（ここで、Ｇは、１より大きい正の整数）の中で、第Ｈ最上位フレームグループ（ここで、Ｈは、１＜Ｈ≦Ｇ  である正の整数）を指定する段階と、（ａ１０）前記第Ｈ最上位フレームグループについて、前記ビデオショットの変化の可能性があるか否かを調べる段階と、（ａ１１）前記第Ｈ最上位フレームグループについて、前記ビデオショットの変化の可能性があるか否かを判断する段階とをさらに備え、前記第Ｈ最上位フレームグループについて前記ビデオショットの変化の可能性がある場合に、前記（ａ１）段階の処理に戻ることが好ましい。
【００１４】
前記（ａ）段階は、（ａ１２）前記（ａ１１）段階において前記第Ｈ最上位フレームグループに前記ビデオショットの変化の可能性がないと判断された場合、前記第Ｈ最上位フレームグループが前記動画の前記第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに該当するか否かを判断する段階と、（ａ１３）前記第Ｈ最上位フレームグループが前記第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループでない場合に、第Ｈ＋１最上位フレームグループ（ここで、Ｈ＋１は、１＜Ｈ＋１≦Ｇ  である正の整数）を指定すると共に、前記（ａ１０）段階の処理に戻る段階とをさらに備え、前記第Ｈ最上位フレームグループが前記第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループである場合は、前記（ｂ）段階の処理に戻ることが好ましい。
【００１５】
前記（ａ）段階は、（ａ１４）前記（ａ３）段階において前記第Ｌ上位フレームグループについて前記ビデオショットの変化の可能性がないと判断された場合、前記第Ｌ上位フレームグループが前記動画の前記第１ないし第Ｋ上位フレームグループの最後の上位フレームグループに該当するか否かを判断する段階と、（ａ１５）前記第Ｌ上位フレームグループが前記第１ないし第Ｋ上位フレームグループの最後の上位フレームグループでない場合に、第Ｌ＋１上位フレームグループ（ここで、Ｌ＋１は、１＜Ｌ＋１≦Ｋである同じ正の整数）を指定すると共に、前記（ａ２）段階の処理に戻る段階とをさらに備え、前記第Ｌ上位フレームグループが前記第１ないし第Ｋ上位フレームグループの最後の上位フレームグループである場合は、前記（ａ１２）段階の処理に戻ることが好ましい。
【００１６】
前記（ａ）段階は、（ａ１６）前記（ａ４）段階において前記第１基準フレームが前記第Ｌ上位フレームグループ内に存在しない場合に、前記第Ｌ上位フレームグループの両端部にそれぞれ位置する第２基準フレームのうちの２番目の第２基準フレームを、前記カット変化フレームと決定すると共に、前記（ａ１４）段階の処理を行うことが好ましい。
【００１７】
前記（ａ）段階は、（ａ１７）前記（ａ７）段階において前記第Ｎ中位フレームグループについて前記ビデオショットの変化の可能性がない場合に、前記第Ｎ中位フレームグループが、前記動画の前記第１ないし第Ｍ中位フレームグループの最後の中位フレームグループに該当するか否かを判断する段階と、（ａ１８）前記第Ｎ中位フレームグループが前記第１ないし第Ｍ中位フレームグループの最後の中位フレームグループでない場合に、第Ｎ＋１中位フレームグループ（ここで、Ｎ＋１は、１＜Ｎ＋１≦Ｍ  である正の整数）を指定すると共に、前記（ａ６）段階の処理に戻る段階とをさらに備えることが好ましい。
【００１８】
前記（ａ）段階は、（ａ１９）前記（ａ１７）段階において前記第Ｎ中位フレームグループが前記第１ないし第Ｍ中位フレームグループの最後の中位フレームグループである場合に、前記第Ｌ上位フレームグループ内の前記第１ないし第Ｍ中位フレームグループについて、前記カット変化があるか否かを判断する段階と、（ａ２０）前記第１ないし第Ｍ中位フレームグループの何れにも前記カット変化がない場合に、前記第Ｌ上位フレームグループにビデオショットの緩やかな変化に該当するグラジュアル変化が存在するか否かを確認すると共に、前記（ａ１４）段階の処理に戻る段階とをさらに備え、前記第Ｌ上位フレームグループの前記第１ないし第Ｍ中位フレームグループに前記カット変化が存在する場合に、前記（ａ１４）段階の処理に戻ることが好ましい。
【００１９】
前記（ａ２）段階は、（ａ１００）前記第Ｌ上位フレームグループの両端部にそれぞれ位置する第２基準フレームのカラーヒストグラムの第１差分特性値を計算する段階と、（ａ１０２）前記第１差分特性値と第１閾値とを比較する段階と、（ａ１０４）前記第１差分特性値が前記第１閾値よりも大きい場合に、前記第２基準フレームについての正規化された第１相関関係係数値を計算する段階と、（ａ１０６）前記第１相関関係係数値と第２閾値とを比較する段階と、（ａ１０８）前記第１相関関係係数値が前記第２閾値値より小さい場合に、前記第Ｌ上位フレームグループに前記ビデオショットの変化の可能性があると決定する段階と、（ａ１１０）前記（ａ１０２）段階において前記第１差分特性値が前記第１閾値以下である場合、前記（ａ１０６）段階において前記第１相関関係係数値が前記第２閾値以上である場合に、前記第Ｌ上位フレームグループについて前記ビデオショットの変化の可能性がないと決定する段階とを備えることが好ましい。
【００２０】
前記（ａ２）段階は、前記第２基準フレームがイントラフレームであることが好ましい。
【００２１】
前記（ａ１０）段階は、（ａ２００）前記第Ｈ最上位フレームグループの両端部にそれぞれ位置する第３基準フレームのカラーヒストグラムの第２差分特性値を計算する段階と、（ａ２０２）前記第２差分特性値と既定の第３閾値とを比較する段階と、（ａ２０４）前記第２差分特性値が前記第３閾値よりも大きい場合に、前記第３基準フレームについての正規化された第２相関関係係数値を計算する段階と、（ａ２０６）前記第２相関関係係数値と既定の第４閾値とを比較する段階と、（ａ２０８）前記第２相関関係係数値が前記第４閾値より小さい場合に、前記第Ｈ最上位フレームグループに前記ビデオショットの変化の可能性があると決定する段階と、（ａ２１０）前記（ａ２０２）段階において前記第２差分特性値が前記第３閾値以下である場合、前記（ａ２０６）段階において前記第２相関関係係数値が前記第４閾値より以上である場合に、前記第Ｈ最上位フレームグループについて前記ビデオショットの変化の可能性がないと決定する段階とを備えることが好ましい。
【００２２】
前記（ａ６）段階は、（ａ３００）前記第Ｎ中位フレームグループの両端部にそれぞれ位置する所定フレームのカラーヒストグラムの第３差分特性値を計算する段階と、（ａ３０２）前記第３差分特性値と既定の第５閾値とを比較する段階と、（ａ３０４）前記第３差分特性値が前記第５閾値より大きい場合に、前記所定フレームについての正規化された第３相関関係係数値を計算する段階と、（ａ３０６）前記第３相関関係係数値が、第６閾値と第７閾値とで規定される範囲内に属するか否かを判断する段階と、（ａ３０８）前記第３相関関係係数値が、第６閾値と第７閾値とで規定される範囲内に属する場合、前記第Ｎ中位フレームグループについて運動情報に基づいて前記ビデオショットの変化の可能性の有無を調べる段階と、（ａ３１０）前記第３相関関係係数値が、第６閾値と第７閾値とで規定される範囲内に属さない場合に、前記第３相関関係係数値が前記第６閾値未満であるか否かを判断する段階と、（ａ３１２）前記第３相関関係係数値が前記第６閾値未満である場合に、前記第Ｎ中位フレームグループについて正規化された相関関係に基づいて、前記ビデオショットの変化の可能性があると決定する段階と、（ａ３１４）前記（ａ３０２）段階で、前記第３差分特性値が前記第５閾値より小さい場合、前記（ａ３１０）段階で、前記第３相関関係係数値が前記第７閾値値より大きい場合に、前記第Ｎ中位フレームグループについて前記ショット変化可能性がないと決定する段階とを備えることが好ましい。
【００２３】
前記（ａ３０８）段階は、（ａ４００）前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの２番目の所定フレームが、前記第１基準フレームに相当するか否かを判断する段階と、（ａ４０２）前記２番目の所定フレームが前記第１基準フレームのうちの一つである場合に、前記第１基準フレームのうちの一方についてのイントラモードの発生頻度に対する順方向予測モードの発生頻度の比率である第１発生頻度比率を計算する段階と、（ａ４０４）前記第１発生頻度比率と第８閾値とを比較する段階と、（ａ４０６）前記第１発生頻度比率が、前記第８閾値以下である場合に、前記第Ｎ中位フレームグループについて前記ビデオショットの変化の可能性がないと決定する段階と、（ａ４０８）前記２番目の所定フレームが前記第１基準フレームのうちの何れか一方に相当しない場合、前記第１発生頻度比率が前記第８閾値値よりも大きい場合に、前記第Ｎ中位フレームグループについて前記運動情報に基づいて、前記ショットの変化の可能性があると決定する段階とを備えることが好ましい。
【００２４】
前記（ａ８）段階は、（ａ５００）前記第Ｎ下位フレームグループ内に双方向予測フレームが存在するか否か判断する段階と、（ａ５０２）前記双方向予測フレームが存在する場合に、前記第Ｎ中位フレームグループが、前記運動情報に基づいて前記ビデオショットの変化の可能性があると決定された中位フレームグループに相当するか否かを判断する段階と、（ａ５０４）前記第Ｎ中位フレームグループが、前記運動情報に基づいて前記ビデオショットの変化の可能性があると決定された中位フレームグループに相当する場合、前記運動情報に基づいて、前記双方向予測フレームにビデオショットの変化の可能性があるか否かを決定する段階と、（ａ５０６）前記第Ｎ中位フレームグループが、前記運動情報に基づいて前記ビデオショットの変化の可能性があると決定された中位フレームグループに相当しない場合、正規化された相関関係に基づいて、前記双方向予測フレームに前記ビデオショットの変化の可能性があるか否かを決定する段階と、（ａ５０８）前記双方向予測フレームが存在しない場合に、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの前記２番目の所定フレームを、前記カット変化フレームと決定する段階とを備えることが好ましい。
【００２５】
前記（ａ５０４）段階は、（ａ６００）前記双方向予測フレームにおいて最初の双方向予測フレームを指定する段階と、（ａ６０２）前記最初の双方向予測フレームについて、双方向予測モードの発生頻度の、順方向予測モードの発生頻度と逆方向予測モードの発生頻度の合算値に対する比率である第２発生頻度比率と、順方向予測モードの発生頻度に対する逆方向予測モードの発生頻度の比率である第３発生頻度比率とを計算する段階と、（ａ６０４）前記第２発生頻度比率と第９閾値とを比較すると共に、前記第３発生頻度比率と第１０閾値とを比較する段階と、（ａ６０６）前記第２発生頻度比率が前記第９閾値より大きく、かつ前記第３発生頻度比率が前記第１０閾値値未満である場合に、前記最初の双方向予測フレームについて前記カット変化フレームと決定する段階と、（ａ６０８）前記第２発生頻度比率が前記第９閾値以下であり、かつ前記第３発生頻度比率が前記第１０閾値以上である場合に、前記最初の双方向予測フレームが、前記双方向予測フレームのうちの最後の双方向予測フレームであるか否かを判断する段階と、（ａ６１０）前記最初の双方向予測フレームが、前記双方向予測フレームのうちの最後の双方向予測フレームである場合に、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの前記２番目の所定フレームについて前記カット変化フレームと決定する段階と、（ａ６１２）前記最初の双方向予測フレームが、前記双方向予測フレームのうちの最後の双方向予測フレームでない場合に、前記最初の双方向予測フレームの次に位置する他の双方向予測フレームを指定し、前記（ａ６０２）段階の処理に戻る段階とを備えることが好ましい。
【００２６】
前記（ａ５０６）段階は、（ａ７００）前記双方向予測フレームの中で最初の双方向予測フレームを指定する段階と、（ａ７０２）前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの最初の所定フレームと前記指定された最初の双方向予測フレームについての正規化された第４相関関係係数値を計算する段階と、（ａ７０４）前記第４相関関係係数値と既定の第１１閾値とを比較する段階と、（ａ７０６）前記第４相関関係係数値が前記第１１閾値未満である場合に、前記最初の双方向予測フレームを前記カット変化フレームと決定する段階と、（ａ７０８）前記第４相関関係係数値が前記第１１閾値以上である場合に、前記最初の双方向予測フレームが前記双方向予測フレームのうちの最後の双方向予測フレームであるか否かを判断する段階と、（ａ７１０）前記最初の双方向予測フレームが前記双方向予測フレームのうちの最後の双方向予測フレームである場合に、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの前記２番目の所定フレームを前記カット変化フレームと決定する段階と、（ａ７１２）前記最初の双方向予測フレームが前記双方向予測フレームのうちの最後の双方向予測フレームでない場合、前記最初の双方向予測フレームの次に位置する双方向予測フレームを指定し、前記（ａ７０２）段階の処理に戻る段階とを備えることが好ましい。
【００２７】
前記（ａ）段階は、（ａ２１）前記（ａ１２）段階で、前記第Ｈ最上位フレームグループが前記第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに該当する場合に、前記第１ないし第Ｋ上位フレームグループの中で前記ビデオショットの変化の可能性がある上位フレームグループの第１リストと、カット変化フレームの第２リストを検出する段階と、（ａ２２）前記第１リスト及び第２リストを利用して、前記動画のビデオショットの緩やかな変化に該当するグラジュアル変化が存在するか否かを調べる段階とをさらに備え、前記（ｂ）段階では、前記第１リスト及び第２リストと、前記（ｃ）段階の結果とを利用して、ビデオショットのショット変化リストを生成することが好ましい。
【００２８】
前記（ａ）段階は、前記第１ないし第Ｋ上位フレームグループは、イントラフレーム、順方向予測フレーム、及び双方向予測フレームを含むピクチャーグループであることが好ましい。
【００２９】
動画を構成するビデオフレームのグループ化により形成される第１ないし第Ｋ上位フレームグループ（ここで、Ｋは、１より大きい正の整数）、前記第１ないし第Ｋ上位フレームグループのうちの第Ｌ上位フレームグループ（ここで、Ｌは、１＜Ｌ≦Ｋ  である正の整数）のビデオフレームのグループ化により形成される第１ないし第Ｍ中位フレームグループ（ここで、Ｍは、１より大きい正の整数）、そして前記第１ないし第Ｍ中位フレームグループのうちの第Ｎ中位フレームグループ（ここで、Ｎは、１＜Ｎ≦Ｍ  である正の整数）の第Ｎ下位フレームグループについて、
ビデオショットの変化の有無を調べるショット変化調査部と、前記ショット変化調査部の調査結果に基づいて、ビデオショット変化リストを生成するショット変化リスト生成部とを備えることが好ましい。
【００３０】
前記ショット変化調査部は、前記第Ｌ上位フレームグループを指定する上位フレームグループ指定部と、前記第Ｌ上位フレームグループについて、前記ビデオショットの変化の可能性の有無を調べる第１ショット変化可能性有無調査部と、前記第Ｌ上位フレームグループを前記第１ないし第Ｍ中位フレームグループに分割する第１基準フレームが、前記第Ｌ上位フレームグループ内に少なくとも一つ存在するか否かを感知する基準フレーム感知部と、前記第Ｎ中位フレームグループを指定する中位フレームグループ指定部と、前記第Ｎ中位フレームグループについて、前記ビデオショットの変化の可能性の有無を調べる第２ショット変化可能性有無調査部と、前記第Ｎ下位フレームグループについて、前記ビデオショットの急激な変化に該当するカット変化の有無を調べるカット変化調査部とを備えることが好ましい。
【００３１】
前記ショット変化調査部は、前記第１基準フレームが順方向予測フレームであることが好ましい。
【００３２】
前記ショット変化調査部は、前記第１ないし第Ｋ上位フレームグループのグループ化により形成される第１ないし第Ｇ最上位フレームグループ（ここで、Ｇは、１より大きい正の整数）の中で、第Ｈ最上位フレームグループ（ここで、Ｈは、１＜Ｈ≦Ｇ  である正の整数）を指定する最上位フレームグループ指定部と、前記第Ｈ最上位フレームグループについて、前記ビデオショットの変化の可能性があるか否かを調べる第３ショット変化可能性有無調査部と、前記第Ｈ最上位フレームグループが、前記動画の前記第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに相当するか否かを感知する末端最上位フレームグループ感知部とをさらに備えることが好ましい。
【００３３】
前記ショット変化調査部は、前記第Ｌ上位フレームグループが、前記動画の前記第１ないし第Ｋ上位フレームグループの最後の上位フレームグループに相当するか否かを感知する末端上位フレームグループ感知部をさらに備えることが好ましい。
【００３４】
前記ショット変化調査部は、前記基準フレーム感知部の感知された結果に基づいて、前記第Ｌ上位フレームグループ内の両端部にそれぞれ位置する第２基準フレームのうち２番目の第２基準フレームを、ビデオショットの急激な変化に該当するカット変化フレームと決定する第１カットフレーム決定部をさらに備えることが好ましい。
【００３５】
前記ショット変化調査部は、前記第Ｎ中位フレームグループが、前記動画の前記第１ないし第Ｍ中位フレームグループの最後の中位フレームグループに相当するか否かを感知する末端中位フレームグループ感知部をさらに備えることが好ましい。
【００３６】
前記ショット変化調査部は、前記第Ｌ上位フレームグループ内の前記第１ないし第Ｍ中位フレームグループに、ビデオショットの急激な変化に該当する前記カット変化が存在するか否かを感知するカット変化感知部と、前記第１ないし第Ｍ中位フレームグループのうちの何れにもカット変化が存在しないと判断された場合に、前記第Ｌ上位フレームグループについてビデオショットの緩やかな変化に該当するグラジュアル変化が存在するか否かを調べるグラジュアル変化調査部とをさらに備えることが好ましい。
【００３７】
前記第１ショット変化可能性有無調査部は、前記第Ｌ上位フレームグループ内の両端部にそれぞれ位置する第２基準フレームについてのカラーヒストグラムの第１差分特性値を計算する第１差分特性値計算部と、前記計算された第１差分特性値と既定の第１閾値とを比較する第１比較部と、前記第２基準フレームについての正規化された第１相関関係係数値を計算する第１相関関係係数値計算部と、前記計算された第１相関関係係数値と既定の第２閾値とを比較する第２比較部と、前記第Ｌ上位フレームグループについて、前記ショット変化可能性有無を決定する第１ショット変化可能性有無決定部とを備えることが好ましい。
【００３８】
前記第１ショット変化可能性有無調査部は、前記第２基準フレームがイントラフレームであることが好ましい。
【００３９】
前記第３ショット変化可能性有無調査部は、前記第Ｈ最上位フレームグループの両側端部にそれぞれ位置する第３基準フレームについてのカラーヒストグラムの第２差分特性値を計算する第２差分特性値計算部と、前記計算された第２差分特性値と既定の第３閾値とを比較する第３比較部と、前記第３基準フレームについての正規化された第２相関関係係数値を計算する第２相関関係係数値計算部と、前記計算された第２相関関係係数値と既定の第４閾値とを比較する第４比較部と、前記第Ｈ最上位フレームグループについて前記ビデオショットの変化の可能性の有無を決定する第２ショット変化可能性有無決定部とを備えることが好ましい。
【００４０】
前記第２ショット変化可能性有無調査部は、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する所定フレームについてのカラーヒストグラムの第３差分特性値を計算する第３差分特性値計算部と、前記計算された第３差分特性値と既定の第５閾値とを比較する第５比較部と、前記所定フレームについての正規化された第３相関関係係数値を計算する第３相関関係係数値計算部と、前記計算された第３相関関係係数値が既定の第６閾値及び第７閾値を基準にどこに属するかを比較する第６比較部と、前記第Ｎ中位フレームグループについて、運動情報に基づいて前記ショット変化可能性有無を調べる第４ショット変化可能性有無調査部と、前記第Ｎ中位フレームグループについて、正規化された相関関係に基づいて前記ショット変化可能性有無を決定する第３ショット変化可能性有無決定部とを具備することが好ましい。
【００４１】
前記第４ショット変化可能性有無調査部は、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうち、２番目の所定フレームが前記第１基準フレームのうちの何れに相当するのかを感知する第１感知部と、前記第１基準フレームのうちの一方についてのイントラモードの発生頻度に対する順方向予測モードの発生頻度の比率である第１発生頻度比率を計算する第１発生頻度比率計算部と、前記計算された第１発生頻度比率と既定の第８閾値とを比較する第７比較部と、前記第Ｎ中位フレームグループについて、前記ショット変化可能性有無を決定する第４ショット変化可能性有無決定部と、を具備することが好ましい。
【００４２】
前記カット変化調査部は、前記第Ｎ下位フレームグループ内に双方向予測フレームが存在するか否かを感知する第２感知部と、前記第Ｎ中位フレームグループが、前記運動情報に基づいて前記ビデオショットの変化の可能性があると決定された中位フレームグループであるかどうかを感知する第３感知部と、前記双方向予測フレームを、前記運動情報または前記正規化された相関係数に基づいてカット変化フレームを決定するか、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの前記２番目の所定フレームを前記カット変化フレームとして決定する第２カットフレーム決定部とを備えることが好ましい。
【００４３】
前記第２カットフレーム決定部は、前記双方向予測フレームのうちの最初の双方向予測フレームを指定する第１双方向予測フレーム指定部と、前記最初の双方向予測フレームについて、双方向予測モードの発生頻度の、順方向予測モードの発生頻度と逆方向予測モードの発生頻度の合算値に対する比率である第２発生頻度比率を計算する第２発生頻度比率計算部と、順方向予測モードの発生頻度に対する逆方向予測モードの発生頻度の比率である第３発生頻度比率を計算する第３発生頻度比率計算部と、前記第２発生頻度比率と第９閾値とを比較すると共に、前記第３発生頻度比率と第１０閾値とを比較する第８比較部と、前記第２発生頻度比率が前記第９閾値より大きく、かつ前記第３発生頻度比率が前記第１０閾値未満である場合に、前記最初の双方向予測フレームについて前記カット変化フレームと決定し、前記最初の双方向予測フレームが前記双方向予測フレームのうち最後の双方向予測フレームであれば、前記第Ｎ中位フレームグループの両側端部にそれぞれ位置する前記所定フレームのうち、前記２番目の所定フレームについて前記カット変化フレームと決定する第１決定部と、前記第２発生頻度比率が前記第９閾値以下であり、かつ前記第３発生頻度比率が前記第１０閾値以上である場合に、前記最初の双方向予測フレームが前記双方向予測フレームのうち最後の双方向予測フレームであるか否かを感知する第１末端フレーム感知部とを備えることが好ましい。
【００４４】
前記第２カットフレーム決定部は、前記双方向予測フレームのうち最初の双方向予測フレームを指定する第２双方向予測フレーム指定部と、前記第Ｎ中位フレームグループの両側端部にそれぞれ位置する前記所定フレームのうち最初の所定フレームと、前記指定された最初の双方向予測フレームとについての正規化された第４相関関係係数値を計算する第４相関関係係数値計算部と、前記第４相関関係係数値と第１１閾値とを比較する第９比較部と、前記第４相関関係係数値が前記第１１閾値未満である場合に、前記最初の双方向予測フレームを前記カット変化フレームと決定し、前記最初の双方向予測フレームが前記双方向予測フレームのうち最後の双方向予測フレームである場合に、前記第Ｎ中位フレームグループの両端部にそれぞれ位置する前記所定フレームのうちの前記２番目の所定フレームを前記カット変化フレームと決定する第２決定部と、前記第４相関関係係数値が前記第１１閾値以上である場合に、前記最初の双方向予測フレームが、前記双方向予測フレームのうちの最後の双方向予測フレームであるかどうかを感知する第２末端フレーム感知部とを備えることが好ましい。
【００４５】
動画のビデオショット変化検出装置は、第１ないし第Ｋ上位フレームグループの中で前記ビデオショットの変化の可能性がある上位フレームグループの第１リストと、前記カット変化フレームの第２リストを検出する第１及び第２リスト検出部と、前記第１リスト及び第２リストを利用して、前記動画のビデオショットの緩やかな変化に該当するグラジュアル変化が存在するか否かを調べるグラジュアル変化調査部と、を具備し、前記リスト検出部で検出された前記第１リスト及び第２リストと、前記グラジュアル変化調査部で調べられた結果とを利用して、ビデオショット変化リストを生成することが好ましい。
【発明の効果】
【００４６】
本発明による動画のビデオショット変化の検出方法及び装置は、動画の圧縮ストリームデータを階層的単位で選別処理することによって、ビデオショットの変化検出をさらに高速で行える。
【００４７】
また、カラー分布の差分特性値だけでなく正規化相関関係係数値を並行して検出特性値として使用することによって、照明変化によるショット変化の検出エラーを防止でき、類似カラー分布によるショット変化に対しても効果的に検出できる。
【００４８】
また、一つの検出システムで、各ストリーム単位について正確に検知候補如何を判断できるために、検知速度及び検知正確度をさらに向上させうる。
【発明を実施するための最良の形態】
【００４９】
以下、本発明による動画のビデオショット変化の検出方法を添付された図面を参照して次のように説明する。
【００５０】
図１は、本発明による動画のビデオショット変化の検出方法を説明するための一実施例のフローチャートであり、ビデオショット変化の発生如何を調べて、ショット変化リストを生成する段階（第１０及び第１２段階）よりなる。
【００５１】
まず、動画を構成するビデオフレームをグループ化した第１ないし第Ｋ（ここで、Ｋは、１より大きい正の整数）上位フレームグループ、第１ないし第Ｋ上位フレームグループのうち、第Ｌ（ここで、Ｌは、１より大きくてＫより小さいかまたは同じ正の整数）上位フレームグループ内のビデオフレームをグループ化した第１ないし第Ｍ（ここで、Ｍは、１より大きい正の整数）中位フレームグループ、及び第１ないし第Ｍ中位フレームグループのうち、第Ｎ（ここで、Ｎは、１より大きくてＭより小さな正の整数）中位フレームグループ内の第Ｎ下位フレームグループについてビデオショット変化の発生如何を調べる（第１０段階）。第１ないし第Ｋ上位フレームグループは、イントラフレーム、順方向予測フレーム及び双方向予測フレームを持つＧＯＰであることを特徴とする。ＧＯＰは、一つのイントラフレームから次のイントラフレームまでのフレーム集合で構成されたものであり、任意に接近可能な最小の独立的な画像単位となる。
【００５２】
この時、第１ないし第Ｋ上位フレームグループよりさらに上位に該当する最上位フレームグループについてのビデオショット変化の発生如何を調べることも望ましい。
【００５３】
図２は、ビデオフレームをグループ化した一例であり、最上位フレームグループが２つの上位フレームグループを合わせて一つのフレームグループを形成しており、それぞれの上位フレームグループは中位フレームグループに分割され、それぞれの中位フレームグループには下位フレームグループがある。図２で図示されたように、第１最上位フレームグループは両側端部にイントラフレームを含んでおり、第１及び第２上位フレームグループも両側端部にそれぞれイントラフレームを含んでいる。ここで、第１最上位フレームグループにグループ化された上位フレームグループが２つであることを例として挙げたが、これは例示的なものであり、３個の上位フレームグループをグループ化して第１最上位フレームグループと設定することもある。第１上位フレームグループは第１ないし第５中位フレームグループを含んでいる。それぞれの中位フレームグループは、イントラフレームまたは順方向予測フレームの間に２つの双方向予測フレームを含んでいるが、これは例示的なものであり、任意の数の双方向予測フレームが存在できる。ここで、双方向予測フレームが下位フレームグループの単位フレームとなったことを表している。ここで、例示した双方向予測フレームの位置は、圧縮前または圧縮後に正常なビデオプレイ順序を反映して描写されたものであり、実際圧縮ストリームデータ上の位置とは少し異なる。これは、本発明の階層的ストリーム区間処理技法をさらに容易に説明するためである。
【００５４】
図３は、図１に図示された本発明による第１０段階を説明するための一実施例１０Ａのフローチャートであり、複数層のフレームグループについて階層的なショット変化検知プロセスを行うことによって、フレーム単位の正確なカット変化如何及びグラジュアル変化如何を調べる段階（第３０〜第６８段階）よりなる。
【００５５】
まず、第１ないし第Ｋ上位フレームグループを所定数個合わせてグループ化した第１ないし第Ｇ（ここで、Ｇは、１より大きい正の整数）最上位フレームグループのうち、第Ｈ（ここで、Ｈは、１より大きくてＧより小さいかまたは同じ正の整数）最上位フレームグループを指定する（第３０段階）。動画が第１ないし第Ｇ最上位フレームグループよりなるとした時、第１ないし第Ｇ最上位フレームグループを順次指定する。
【００５６】
第３０段階後に、第Ｈ最上位フレームグループについてショット変化可能性有無を調べる（第３２段階）。ここで、ショット変化可能性とは、フレームグループ内にショット変化が起きたフレームが含まれうる可能性を意味する。ショット変化の種類には、カット変化とグラジュアル変化とがある。カット変化は、隣接したビデオショット間の急激な変化を意味し、グラジュアル変化は隣接したビデオショット間の緩やかな変化を意味する。カット変化またはグラジュアル変化のうちいずれか一つでも発生する可能性があればショット変化可能性がある。
【００５７】
図４は、図３に図示された本発明による第３２段階を説明するための一実施例のフローチャートであり、第３基準フレームについての計算された第２差分特性値及び第２相関関係係数値を利用してショット変化可能性有無を調べる段階（第１００〜第１１０段階）よりなる。
【００５８】
まず、第Ｈ最上位フレームグループの両側端部にそれぞれ位置する第３基準フレームについてのカラーヒストグラムの第２差分特性値を計算する（第１００段階）。第３基準フレームはイントラフレームであることを特徴とする。例えば、図２に図示されたように、第１最上位フレームグループの両側端部に位置する第１イントラフレームＩ１及び第３イントラフレームＩ３についてのカラーヒストグラムの第２差分特性値を計算する。第２差分特性値を計算するための数式１は次の通りである。
【００５９】
【数１】
2005253089.tif 000003
【００６０】
ここで、下添字ｉ、ｊは、最上位フレームグループの両側端部のフレームを、Ｆは、指定されたフレームのカラーヒストグラムを、ｋは、カラーヒストグラムのビン（ｂｉｎ）を、ｎは、カラーヒストグラムの総ビン数を、Ａは、指定されたフレームの画像サイズを表す。数式１は、２つの画像間のカラー分布類似度を判定する差分特性値として使われる。この差分特性値が０に近いほど２つの画像間の類似度が大きくて２つの画像により定義されるストリーム単位はショット変化の発生可能性が益々小さくなり、０より大きくなるほどショット変化の発生可能性が益々大きくなる。
【００６１】
第１００段階後に、計算された第２差分特性値と既定の第３閾値とを比較する（第１０２段階）。もし、数式１から計算された第２差分特性値が第３閾値より大きくなければ、後述する第１１０段階に進む。
【００６２】
しかし、計算された第２差分特性値が第３閾値より大きいならば、第３基準フレームについての正規化された第２相関関係係数値を計算する（第１０４段階）。照明変化による誤検知防止を主目的として使われる正規化された第２相関関係係数値を計算するために数式２が使われる。
【００６３】
【数２】
2005253089.tif 000004
【００６４】
下添字ｉ、ｊは、最上位フレームグループの両側端部のフレームを、ｐは、ピクセル位置を、ｍは、画像フレームピクセル総数を、Ｄi（ｐ）及びＤj（ｐ）は、ｉ及びｊ番目フレームのｐピクセルでの輝度値を、Ｂｉ及びＢｊはそれぞれｉ及びｊ番目フレームの輝度平均値を、Ｅi及びＥjは、ｉ及びｊ番目フレームの輝度標準偏差をそれぞれ表す。
【００６５】
数式２により計算される相関関係係数値は−１から１の間に分布し、１に近いほど２つの画像間の正規化された相関関係が大きくなって、２つの画像により定義されるストリーム単位でショット変化が発生する可能性が益々小さくなり、−１に近づくほどショット変化が発生する可能性が益々大きくなる。このような相関関係係数値は、カラー分布に基づいた差分特性値に比べて照明変化に非常に強い特性を示している。
【００６６】
第１０４段階後に、計算された第２相関関係係数値と既定の第４閾値とを比較する（第１０６段階）。数式２で求められた第２相関関係係数値が第４閾値と比較される。もし、比較された結果から第２相関関係係数値が第４閾値より小さくなければ、後述する第１１０段階に進む。
【００６７】
しかし、計算された第２相関関係係数値が第４閾値より小さいならば、第Ｈ最上位フレームグループについてショット変化可能性があると決定する（第１０８段階）。
【００６８】
一方、第１０２段階で比較された結果により、第２差分特性値が第３閾値より大きくないか、第１０６段階で比較された結果により第２相関関係係数値が第４閾値より小さくなければ、第Ｈ最上位フレームグループについてショット変化可能性がないと決定する（第１１０段階）。ショット変化可能性がないということは、第Ｈ最上位フレームグループでカット変化またはグラジュアル変化が起きるフレームまたはフレーム区間がないということを意味する。
【００６９】
第３２段階後に、第Ｈ最上位フレームグループについてショット変化可能性があるかどうかを判断する（第３４段階）。第３２段階で調べられた結果から、第Ｈ最上位フレームグループについてショット変化可能性があるかどうかを判断する。もし、第Ｈ最上位フレームグループについてショット変化可能性があれば、第４０段階に進む。
【００７０】
しかし、第Ｈ最上位フレームグループについてショット変化可能性がなければ、第Ｈ最上位フレームグループが第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに該当するかどうかを判断する（第３６段階）。第Ｈ最上位フレームグループが最後の最上位フレームグループであるということは、ビデオショット変化を調べる最上位フレームグループがそれ以上ないということを意味する。
【００７１】
もし、第Ｈ最上位フレームグループが第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに該当しなければ、第Ｈ＋１（ここで、Ｈ＋１は、１より大きくてＧより小さいかまたは同じ正の整数）最上位フレームグループを指定して第３２段階に進む（第３８段階）。第Ｈ＋１最上位フレームグループが指定されれば、第３２段階で、第Ｈ＋１最上位フレームグループについてのショット変化可能性有無を調べる。
【００７２】
しかし、第Ｈ最上位フレームグループが第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに該当すれば、後述する第１２段階に進む。第Ｈ最上位フレームグループが最後の最上位フレームグループに該当すれば、調べる最上位フレームグループがそれ以上存在していないために第１２段階に進む。
【００７３】
第３４段階で、第Ｈ最上位フレームグループについてショット変化可能性があれば、第Ｌ上位フレームグループを指定する（第４０段階）。第Ｌ上位フレームグループは前述したように、ＧＯＰであることを特徴とする。第Ｈ最上位フレームグループに含まれた第１ないし第Ｋ上位フレームグループのうち、フレーム位置上最初のの上位フレームグループから指定される。
【００７４】
第４０段階後に、第Ｌ上位フレームグループについてビデオショットのショット変化可能性有無を調べる（第４２段階）。
【００７５】
図５は、図３に図示された本発明による第４２段階を説明するための一実施例のフローチャートであり、第２基準フレームについての計算された第１差分特性値及び第１相関関係係数値を利用してショット変化可能性有無を調べる段階（第１３０〜第１４０段階）よりなる。
【００７６】
まず、第Ｌ上位フレームグループ内の両側端部にそれぞれ位置する第２基準フレームについてのカラーヒストグラムの第１差分特性値を計算する（第１３０段階）。第２基準フレームも前述した第３基準フレームと同様にイントラフレームであることを特徴とする。例えば、図２に図示されたように、第１上位フレームグループの第２基準フレームは、それぞれ最初のイントラフレームＩ１及び２番目イントラフレームＩ２である。第１差分特性値は前述した数式１により求められうる。
【００７７】
第１３０段階後に、計算された第１差分特性値と既定の第１閾値とを比較する（第１３２段階）。もし、比較された結果から第１差分特性値が第１閾値より大きくなければ、後述する第１４０段階に進む。
【００７８】
しかし、計算された第１差分特性値が第１閾値より大きいならば、第２基準フレームについての正規化された第１相関関係係数値を計算する（第１３４段階）。第１相関関係係数値は前述した数式２により計算される。
【００７９】
第１３４段階後に、計算された第１相関関係係数値と既定の第２閾値とを比較する（第１３６段階）。もし、比較された結果から第１相関関係係数値が第２閾値より小さくなければ、後述する第１４０段階に進む。
【００８０】
しかし、計算された第１相関関係係数値が第２閾値より小さいならば、第Ｌ上位フレームグループについてショット変化可能性があると決定する（第１３８段階）。
【００８１】
一方、第１３２段階で比較された結果により第１差分特性値が第１閾値より大きくないか、第１３６段階で比較された結果により第１相関関係係数値が第２閾値より小さくなければ、第Ｌ上位フレームグループについてショット変化可能性がないと決定する（第１４０段階）。
【００８２】
第４２段階後に、第Ｌ上位フレームグループについてショット変化可能性があるかどうかを判断する（第４４段階）。第４０段階で調べられた結果から、第Ｌ上位フレームグループについてショット変化可能性があるかどうかを判断する。もし、第Ｌ上位フレームグループについてショット変化可能性があれば、後述する第５０段階に進む。
【００８３】
しかし、第Ｌ上位フレームグループについてショット変化可能性がなければ、第Ｌ上位フレームグループが第１ないし第Ｋ上位フレームグループの最後の上位フレームグループに該当するかどうかを判断する（第４６段階）。第Ｌ上位フレームグループが最後の上位フレームグループであるということは、ビデオショット変化を調べる上位フレームグループがそれ以上ないということを意味する。
【００８４】
もし、第Ｌ上位フレームグループが第１ないし第Ｋ上位フレームグループの最後の上位フレームグループに該当しなければ、第Ｌ＋１（ここで、Ｌ＋１は、１より大きくてＫより小さいかまたは同じ正の整数）上位フレームグループを指定して第４２段階に進む（第４８段階）。
【００８５】
しかし、第Ｌ上位フレームグループが第１ないし第Ｋ上位フレームグループの最後の上位フレームグループに該当すれば、第３６段階に進む。第３６段階に進むことは、第Ｈ最上位フレームグループ内ではそれ以上調べる上位フレームグループがないので他の最上位フレームグループを調べるためである。
【００８６】
第４４段階で、第Ｌ上位フレームグループについてショット変化可能性があれば、第Ｌ上位フレームグループを第１ないし第Ｍ中位フレームグループに分割する一つ以上の第１基準フレームが第Ｌ上位フレームグループ内にあるかどうかを判断する（第５０段階）。第１基準フレームは順方向予測フレームであることを特徴とする。図２に図示されたように、順方向予測フレームに該当する第１基準フレームＰ１、Ｐ２、Ｐ３及びＰ４が第１上位フレームグループ内に含まれていることを確認できる。結局、このような第１基準フレームＰ１、Ｐ２、Ｐ３、Ｐ４により第１ないし第５中位フレームが形成される。
【００８７】
もし、第Ｌ上位フレームグループ内に一つ以上の第１基準フレームがあれば、第５４段階に進む。
【００８８】
しかし、第１基準フレームが第Ｌ上位フレームグループ内になければ、第Ｌ上位フレームグループ内の両側端部にそれぞれ位置する第２基準フレームのうち、２番目の第２基準フレームをビデオショットの急激な変化に該当するカット変化フレームと決定し、第４６段階に進む（５２段階）。第４４段階でショット変化可能性があると判断された第Ｌ上位フレームグループに順方向予測フレームがなければ、ショット変化のうち一つであるカット変化があると決定する。
【００８９】
？  第５０段階で、第Ｌ上位フレームグループ内に第１基準フレームがあれば、ビデオショット変化を調べるための第Ｎ中位フレームグループを指定する（第５４段階）。第Ｌ上位フレームグループ内に第１基準フレームがあれば、第Ｌ上位フレームグループを分割する中位フレームグループが存在する。この時、第Ｌ上位フレームグループ内のフレームのうち優先する位置にある中位フレームグループから順次指定する。
【００９０】
第５４段階後に、第Ｎ中位フレームグループについてショット変化可能性有無を調べる（第５６段階）。
【００９１】
図６は、図３に図示された本発明による第５６段階を説明するための一実施例のフローチャートであり、所定フレームについての計算された第３差分特性値及び第３相関関係係数値を利用してショット変化可能性有無を調べる段階（第１５０〜第１６４段階）よりなる。
【００９２】
まず、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームについてのカラーヒストグラムの第３差分特性値を計算する（第１５０段階）。所定フレームの種類はイントラフレームでもあり、順方向予測フレームでもある。図２に図示されたように、第１上位フレームグループ内の第２中位フレームグループの両側端部に位置する所定フレームＰ１及びＰ２の第３差分特性値を計算する。第３次差分特性値は前述した数式１により計算される。
【００９３】
第１５０段階後に、計算された第３差分特性値と既定の第５閾値とを比較する（第１５２段階）。もし、比較された結果から、計算された第３差分特性値が第５閾値より大きくなければ、後述する第１６４段階に進む。
【００９４】
しかし、計算された第３差分特性値が第５閾値より大きいならば、所定フレームについての正規化された第３相関関係係数値を計算する（第１５４段階）。第３次相関関係係数値は前述した数式２により計算される。
【００９５】
第１５４段階後に、計算された第３相関関係係数値が既定の第６閾値と第７閾値との間に属するかどうかを判断する（第１５６段階）。
【００９６】
もし、計算された第３相関関係係数値が第６閾値と第７閾値との間に属すれば、第Ｎ中位フレームグループについて運動情報に起因したショット変化可能性有無を調べる（第１５８段階）。運動補償技法によるビデオ圧縮を行うために該当フレームの各ブロックごとにモーションベクトル推定を行う。この時、該当フレームでのショット変化の発生如何によってモーションベクトル推定作業を行うかどうかを決定し、予測モードを行うならば順方向予測モード、逆方向予測モードまたは双方向予測モードのうちいかなるモードで運動ベクトル推定を行うかが決定される。したがって、前述した運動情報に起因したショット変化可能性であるということは、運動補償により圧縮されたフレームのストリームデータ上で各ブロックの運動ベクトル推定如何と推定モード間の発生比率を調べることによって、間接的にショット変化の発生如何を判断できるということを意味する。すなわち、運動予測フレーム上のマクロブロック中で運動予測モード（例えば、順方向予測モード、逆方向予測モード及び双方向予測モード）よりイントラモードが多く存在すればするほどショット変化が検知される可能性が高くなるということを意味する。
【００９７】
図７は、図６に図示された本発明による第１５８段階を説明するための一実施例のフローチャートであり、第Ｎ中位フレームグループ内の第１基準フレームについて計算された第１発生頻度比率から第Ｎ中位フレームグループについてのショット変化可能性有無を調べる段階（第１７０〜第１７８段階）よりなる。
【００９８】
まず、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームのうち、２番目の所定フレームが第１基準フレームのうちいずれかを判断する（第１７０段階）。前述したように、所定フレームの種類はイントラフレームでもあり、順方向予測フレームでもある。所定フレームのうち位置上２番目の所定フレームが第１基準フレームに該当する順方向予測フレームであるかどうかを判断する。もし、２番目の所定フレームが第１基準フレームでなければ、第１７８段階に進む。
【００９９】
しかし、２番目の所定フレームが第１基準フレームであれば、いずれか一つの第１基準フレームについて、イントラモードの発生頻度対備順方向予測モードの発生頻度の比率に該当する第１発生頻度比率を計算する（第１７２段階）。イントラモード発生頻度とは、第１基準フレーム、すなわち、順方向予測フレームについてのイントラモードのマクロブロック数がいかほど存在するかを表す値である。順方向予測モード発生頻度とは、第１基準フレーム、すなわち、順方向予測フレームについての順方向予測モードのマクロブロック数がいかほど存在するかを表す値である。すなわち、第１発生頻度比率は次の数式３の通りである。
【０１００】
【数３】
2005253089.tif 000005
【０１０１】
ここで、Ｒ１は、第１発生頻度比率であり、Ｓ１は、イントラモードの発生頻度であり、Ｔ１は、順方向予測モードの発生頻度である。
【０１０２】
第１７２段階後に、計算された第１発生頻度比率と既定の第８閾値とを比較する（第１７４段階）。もし、第１発生頻度比率が第８閾値より大きいならば、第１７８段階に進む。
【０１０３】
しかし、計算された第１発生頻度比率が第８閾値より大きくなければ、第Ｎ中位フレームグループについてショット変化可能性がないと決定する（第１７６段階）。
【０１０４】
第１７０段階で、２番目の所定フレームが第１基準フレームでないか、第１７４段階で第１発生頻度比率が第８閾値より大きいと判断されれば、第Ｎ中位フレームグループについて運動情報に起因してショット変化可能性があると決定する（第１７８段階）。
【０１０５】
図６の第１５６段階で、第３相関関係係数値が第６閾値と第７閾値との間に属していないと判断されれば、計算された第３相関関係係数値が第６閾値より小さいかどうかを判断する（第１６０段階）。
【０１０６】
もし、計算された第３相関関係係数値が第６閾値より小さいならば、第Ｎ中位フレームグループについて正規化された相関関係に起因してショット変化可能性があると決定する（第１６２段階）。
【０１０７】
しかし、第１５２段階で、第３差分特性値が第５閾値より大きくないと判断されたり、第１６０段階で、第３相関関係係数値が前記第７閾値より大きいと判断されれば、第Ｎ中位フレームグループについてショット変化可能性がないと決定する（第１６４段階）。
【０１０８】
第５６段階後に、第Ｎ中位フレームグループについてショット変化可能性があるかどうかを判断する（第５８段階）。第５６段階で調べた結果から、第Ｎ中位フレームグループについてショット変化可能性があるかどうかを判断する。
【０１０９】
もし、第Ｎ中位フレームグループについてショット変化可能性がなければ、第Ｎ中位フレームグループが第１ないし第Ｍ中位フレームグループの最後の中位フレームグループに該当するかどうかを判断する（第６２段階）。
【０１１０】
第６２段階で、第Ｎ中位フレームグループが第１ないし第Ｍ中位フレームグループの最後の中位フレームグループに該当しなければ、第Ｎ＋１（ここで、Ｎ＋１は、１より大きくてＭより小さいかまたは同じ正の整数）中位フレームグループを指定して第５６段階に進む（第６４段階）。第５６段階では、第Ｎ＋１中位フレームグループに対するショット変化可能性有無を調べる。
【０１１１】
第６２段階で、第Ｎ中位フレームグループが第１ないし第Ｍ中位フレームグループの最後の中位フレームグループに該当すれば、第Ｌ上位フレームグループ内のショット変化検出過程をいずれも終えたことであるので、第１ないし第Ｍ中位フレームグループについて検知されたビデオショットの急激な変化に該当するカット変化があるかどうかを判断する（第６６段階）。すなわち、第Ｌ上位フレームグループ内に急激なショット変化があるかどうかを判断する。
【０１１２】
もし、第１ないし第Ｍ中位フレームグループのうちいかなるグループもカット変化がないと判断されれば、第Ｌ上位フレームグループについてビデオショットの緩やかな変化に該当するグラジュアル変化如何を調べて、第４６段階に進む（第６８段階）。
【０１１３】
しかし、第Ｌ上位フレームグループ内の第１ないし第Ｍ中位フレームグループについてビデオショットの急激な変化に該当するカット変化があれば、第４６段階に進む。
【０１１４】
一方、第５８段階で、第Ｎ中位フレームグループについてショット変化可能性があれば、第Ｎ下位フレームグループについてビデオショットの急激な変化に該当するカット変化如何を調べる（第６０段階）。
【０１１５】
図８は、図３に図示された本発明による第６０段階を説明するための一実施例のフローチャートであり、第Ｎ下位フレームグループ内に双方向予測フレームが存在するかどうかによって第Ｎ下位フレームグループについてのカット変化如何を調べる段階（第１８０〜第１８８段階）よりなる。
【０１１６】
まず、第Ｎ下位フレームグループ内に双方向予測フレームがあるかどうかを判断する（第１８０段階）。もし、第Ｎ下位フレームグループ内に双方向予測フレームがなければ、第１８８段階に進む。
【０１１７】
しかし、第Ｎ下位フレームグループ内に双方向予測フレームがあれば、第Ｎ中位フレームグループが運動情報に起因してショット変化可能性があると決定された中位フレームグループであるかどうかを判断する（第１８２段階）。
【０１１８】
もし、第Ｎ中位フレームグループが、運動情報に起因してショット変化可能性があると決定された中位フレームグループならば、運動情報に基づいて双方向予測フレームのカット変化の発生如何を最終決定する（第１８４段階）。
【０１１９】
図９は、図８に図示された本発明による第１８４段階を説明するための一実施例のフローチャートであり、計算された第２及び第３発生頻度比率を利用して、双方向予測フレームについてカット変化発生如何を決定する段階（第２００〜第２１２段階）よりなる。
【０１２０】
まず、双方向予測フレームのうち最初の双方向予測フレームを指定する（第２００段階）。最初の双方向予測フレームとは、第Ｎ下位フレームグループ内の双方向予測フレームのうち順序上最初に位置するフレームを意味する。
【０１２１】
第２００段階後に、最初の双方向予測フレームについて、順方向予測モードと逆方向予測モードとの合算された発生頻度対備双方向予測モードの発生頻度の比率に該当する第２発生頻度比率、及び順方向予測モードの発生頻度対備逆方向予測モードの発生頻度の比率に該当する第３発生頻度比率を計算する（第２０２段階）。逆方向予測モードの発生頻度とは、双方向予測フレームについての逆方向予測モードのマクロブロック数がいかほど存在するかを表す値である。順方向予測モードと逆方向予測モードとの合算された発生頻度とは、双方向予測フレームについての順方向予測モードのマクロブロック数及び双方向予測フレームについての逆方向予測モードのマクロブロック数との合算された値を表す。双方向予測モード発生頻度とは、双方向予測フレームについての双方向予測モードのマクロブロック数がいかほど存在するかを表す値である。すなわち、第２発生頻度比率は次の数式４の通りである。
【０１２２】
【数４】
2005253089.tif 000006
【０１２３】
ここで、Ｒ２は、第２発生頻度比率であり、Ｔ１は、順方向予測モードの発生頻度であり、Ｔ２は、逆方向予測モードの発生頻度であり、Ｕ１は、双方向予測モードの発生頻度である。
【０１２４】
一方、第３発生頻度比率は次の数式５の通りである。
【０１２５】
【数５】
2005253089.tif 000007
【０１２６】
ここで、Ｒ３は、第３発生頻度比率であり、Ｔ１は、順方向予測モードの発生頻度であり、Ｔ２は、逆方向予測モードの発生頻度である。
【０１２７】
第２０２段階後に、計算された第２発生頻度比率と既定の第９閾値とを比較して、計算された第３発生頻度比率と既定の第１０閾値とを比較する（第２０４段階）。
【０１２８】
もし、計算された第２発生頻度比率が第９閾値より大きくて、計算された第３発生頻度比率が第１０閾値より小さいならば、最初の双方向予測フレームについてカット変化フレームと決定する（第２０６段階）。
【０１２９】
しかし、計算された第２発生頻度比率が第９閾値より大きくないか、計算された第３発生頻度比率が第１０閾値より小さくなければ、最初の双方向予測フレームが双方向予測フレームのうち最後の双方向予測フレームであるかどうかを判断する（第２０８段階）。第Ｎ下位フレームグループ内にある双方向予測フレームのうち、第２００段階で指定された双方向予測フレームが順序上最後の双方向予測フレームであるかどうかを判断する。
【０１３０】
もし、最初の双方向予測フレームが、双方向予測フレームのうち最後の双方向予測フレームであれば、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームのうち２番目の所定フレームについてカット変化フレームと決定する（第２１０段階）。
【０１３１】
しかし、最初の双方向予測フレームが双方向予測フレームのうち最後の双方向予測フレームでなければ、最初の双方向予測フレームの次に位置する他の双方向予測フレームを指定して第２０２段階に進む（第２１２段階）。第２０２段階では、指定された他の双方向予測フレームについての第２及び第３発生頻度比率を計算する。
【０１３２】
一方、第１８２段階で、第Ｎ中位フレームグループが運動情報に起因してショット変化可能性があると決定された中位フレームグループに該当しなければ、正規化された相関関係に基づいて双方向予測フレームのカット変化発生如何を最終決定する（第１８６段階）。
【０１３３】
図１０は、図８に図示された本発明による第１８６段階を説明するための一実施例のフローチャートであり、計算された第４相関関係係数値を利用して双方向予測フレームについてカット変化発生如何を決定する段階（第２２０〜第２３２段階）よりなる。
【０１３４】
まず、双方向予測フレームのうち最初の双方向予測フレームを指定する（第２２０段階）。
【０１３５】
第２２０段階後に、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームのうち、最初の所定フレームと指定された最初の双方向予測フレームについての正規化された第４相関関係係数値を計算する（第２２２段階）。第４相関関係係数値は前述した数式２を利用して計算する。
【０１３６】
第２２２段階後に、計算された第４相関関係係数値と既定の第１１閾値とを比較する（第２２４段階）。
【０１３７】
もし、計算された第４相関関係係数値が第１１閾値より小さいならば、最初の双方向予測フレームについてカット変化フレームと決定する（第２２６段階）。
【０１３８】
しかし、計算された第４相関関係係数値が第１１閾値より小さくなければ、最初の双方向予測フレームが、双方向予測フレームのうち最後の双方向予測フレームであるかどうかを判断する（第２２８段階）。
【０１３９】
もし、最初の双方向予測フレームが、双方向予測フレームのうち最後の双方向予測フレームであれば、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームのうち２番目の所定フレームについてカット変化フレームと決定する（第２３０段階）。
【０１４０】
しかし、最初の双方向予測フレームが双方向予測フレームのうち最後の双方向予測フレームでなければ、最初の双方向予測フレームの次に位置する双方向予測フレームを指定して第２２２段階に進む（第２３２段階）。
【０１４１】
一方、第１８８段階で、第Ｎ下位フレームグループ内に双方向予測フレームがなければ、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームのうち２番目の所定フレームについてカット変化フレームと決定する（第１８８段階）。
【０１４２】
図１１は、図１に図示された本発明による第１０段階を説明するためのさらに他の一実施例１０Ｂのフローチャートであり、ビデオ全体区間について先ずカット変化如何を調べ、検出された第１及び第２リストからビデオの制限された区間についてのみグラジュアル変化如何を調べる段階（第３００〜第３３８段階）よりなる。
【０１４３】
図１１に図示された第３００ないし第３３４段階は、前述した図２の第３０ないし第６４段階とそれぞれ対応する段階であるため、以下で第３００ないし第３３４段階についての詳細な説明は省略する。
【０１４４】
第３０６段階で、第Ｈ最上位フレームグループが第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに該当すれば、第１ないし第Ｋ上位フレームグループのうちショット変化可能性がある上位フレームグループの第１リスト、及びビデオショットの急激な変化に該当するカット変化フレームの第２リストを検出する（第３３６段階）。例えば、上位フレームグループがＧＯＰであれば、ショット変化可能性があるＧＯＰを調べ、調べたＧＯＰのリストを第１リストとして検出する。また、前述したそれぞれの段階で調べられたカット変化フレームのリストを第２リストとして検出する。
【０１４５】
第３３６段階後に、第１リスト及び第２リストを利用して、動画のビデオショットの緩やかな変化に該当するグラジュアル変化如何を調べる（第３３８段階）。第１リストからショット変化可能性がある上位フレームグループに関する情報を得ることができる。第２リストから得られたカット変化フレームを全く含んでいない第１リスト上のショット変化可能性がある上位フレームグループを中心に、ビデオショット変化のうちグラジュアル変化如何を調べることができる。グラジュアル変化如何についての調査は、既存のプラトー（ｐｌａｔｅａｕ）検出に基づいたショット変化検出技法を使用する。グラジュアル変化如何についての調査は一般的な事項であって、以下説明を省略する。
【０１４６】
第１０段階後に、調べられたビデオ内のショット変化検知結果に基づいてショット変化が検知されたフレームの位置情報を集合したショット変化リストを生成する（第１２段階）。図３の第３０ないし第６８段階または図１１の第３００ないし第３３８段階から得られたショット変化フレーム位置情報からショット変化リストを生成する。
【０１４７】
検出されたショット変化リストはビデオインデクシングのための重要要素技術であり、ビデオ内容についての目次を作るか、ビデオ内容を要約して内容単位でビデオを編集する機能を行える。
【０１４８】
以下、本発明による動画のビデオショット変化検出装置を添付された図面を参照して次のように説明する。
【０１４９】
図１２は、本発明による動画のビデオショット変化検出装置を説明するための一実施例のブロック図であり、ショット変化調査部４００及びショット変化リスト生成部４２０で構成される。
【０１５０】
ショット変化調査部４００は、動画を構成するビデオフレームをグループ化した第１ないし第Ｋ（ここで、Ｋは、１より大きい正の整数）上位フレームグループ、第１ないし第Ｋ上位フレームグループのうち、第Ｌ（ここで、Ｌは、１より大きくてＫより小さいかまたは同じ正の整数）上位フレームグループ内のビデオフレームをグループ化した第１ないし第Ｍ（ここで、Ｍは、１より大きい正の整数）中位フレームグループ、及び第１ないし第Ｍ中位フレームグループのうち、第Ｎ（ここで、Ｎは、１より大きくてＭより小さいかまたは同じ正の整数）中位フレームグループ内の第Ｎ下位フレームグループについて、記ビデオショットの変化を調べる。ショット変化調査部４００は、入力端子ＩＮ１を通じて入力されたビデオシーケンスについてのビデオショットの変化を調べ、調べた結果をショット変化リスト生成部４２０に出力する。
【０１５１】
図１３は、図１２に図示された本発明によるショット変化調査部４００を説明するための一実施例４００Ａのブロック図であり、最上位フレームグループ指定部５００、第３ショット変化可能性有無調査部５０２、末端最上位フレームグループ感知部５０４、上位フレームグループ指定部５０６、第１ショット変化可能性有無調査部５０８、末端上位フレームグループ感知部５１０、基準フレーム感知部５１２、第１カットフレーム決定部５１４、中位フレームグループ指定部５１６、第２ショット変化可能性有無調査部５１８、カット変化調査部５２０、末端中位フレームグループ感知部５２２、カット変化感知部５２４及びグラジュアル変化調査部５２６で構成される。
【０１５２】
最上位フレームグループ指定部５００は、第１ないし第Ｋ上位フレームグループを所定数個合わせてグループ化した第１ないし第Ｇ（ここで、Ｇは、１より大きい正の整数）最上位フレームグループのうち、第Ｈ（ここで、Ｈは、１より大きくてＧより小さいかまたは同じ正の整数）最上位フレームグループを指定する。最上位フレームグループ指定部５００は、入力端子ＩＮ２を通じて入力されたビデオシーケンスについて、上位フレームグループを所定数個合わせてグループ化最上位フレームグループのうち第Ｈ最上位フレームグループを指定し、指定した結果を第３ショット変化可能性有無調査部５０２に出力する。
【０１５３】
第３ショット変化可能性有無調査部５０２は、最上位フレームグループ指定部５００で指定された第Ｈ最上位フレームグループについてショット変化可能性有無を調べ、調べた結果を末端最上位フレームグループ感知部５０４及び上位フレームグループ指定部５０６に出力する。
【０１５４】
図１４は、図１３に図示された本発明による第３ショット変化可能性有無調査部５０２を説明するための一実施例のブロック図であり、第２差分特性値計算部６００、第３比較部６０２、第２相関関係係数値計算部６０４、第４比較部６０６及び第２ショット変化可能性有無決定部６０８で構成される。
【０１５５】
第２差分特性値計算部６００は、入力端子ＩＮ３から指定された第Ｈ最上位フレームグループを入力されれば、前述した数式１を利用して第３基準フレームについてのカラーヒストグラムの第２差分特性値を計算し、計算した結果を第３比較部６０２に出力する。
【０１５６】
第３比較部６０２は、計算された第２差分特性値と既定の第３閾値とを比較し、比較した結果を第２相関関係係数値計算部６０４及び第２ショット変化可能性有無決定部６０８に出力する。
【０１５７】
第２相関関係係数値計算部６０４は、第３比較部６０２の比較された結果に応答して、第３基準フレームについての正規化された第２相関関係係数値を計算し、計算された結果を第４比較部６０６に出力する。
【０１５８】
第４比較部６０６は、計算された第２相関関係係数値計算部６０４で計算された第２相関関係係数値と既定の第４閾値とを比較し、比較された結果を第２ショット変化可能性有無決定部６０８に出力する。
【０１５９】
第２ショット変化可能性有無決定部６０８は、第３比較部６０２及び第４比較部６０６の比較された結果にそれぞれ応答して、第Ｈ最上位フレームグループについてショット変化可能性有無を決定する。第２ショット変化可能性有無決定部６０８は、第３比較部６０２の比較された結果に応答して、第Ｈ最上位フレームグループについてショット変化可能性がないと決定し、決定した結果を出力端子ＯＵＴ３を通じて出力する。また、第２ショット変化可能性有無決定部６０８は、第２相関関係係数値が第４閾値より小さいという比較結果が第４比較部６０６から入力されて、第Ｈ最上位フレームグループについてショット変化可能性があると決定し、決定した結果を出力端子ＯＵＴ３を通じて出力する。また、第２ショット変化可能性有無決定部６０８は、第２相関関係係数値が第４閾値より小さくないという比較結果が第４比較部６０６から入力されて、第Ｈ最上位フレームグループについてショット変化可能性がないと決定し、決定した結果を出力端子ＯＵＴ３を通じて出力する。
【０１６０】
図１３の末端最上位フレームグループ感知部５０４は、第Ｈ最上位フレームグループが第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに該当するかどうかを感知する。末端最上位フレームグループ感知部５０４は、第３ショット変化可能性有無調査部５０２の調べられた結果、または後述する末端上位フレームグループ感知部５１０の感知された結果に応答して、第Ｈ最上位フレームグループが第１ないし第Ｇ最上位フレームグループの最後の最上位フレームグループに該当するかどうかを感知し、感知した結果を出力端子ＯＵＴ２を通じて最上位フレームグループ指定部５００に出力する。
【０１６１】
上位フレームグループ指定部５０６は、第３ショット変化可能性有無調査部５０２から調べられた結果に応答して第Ｌ上位フレームグループを指定し、指定した結果を第１ショット変化可能性有無調査部５０８に出力する。
【０１６２】
第１ショット変化可能性有無調査部５０８は、上位フレームグループ指定部５０６で指定された第Ｌ上位フレームグループについてビデオショット変化可能性有無を調べ、調べた結果を末端上位フレームグループ感知部５１０及び基準フレーム感知部５１２に出力する。
【０１６３】
図１５は、図１３に図示された本発明による第１ショット変化可能性有無調査部５０８を説明するための一実施例のブロック図であり、第１差分特性値計算部６２０、第１比較部６２２、第１相関関係係数値計算部６２４、第２比較部６２６及び第１ショット変化可能性有無決定部６２８で構成される。
【０１６４】
第１差分特性値計算部６２０は、第Ｌ上位フレームグループ内の両側端部にそれぞれ位置する第２基準フレームについてのカラーヒストグラムの第１差分特性値を計算する。入力端子ＩＮ４から指定された第Ｌ上位フレームグループを入力されれば、第１差分特性値計算部６２０は、前述した数式１を利用して第２基準フレームについてのカラーヒストグラムの第１差分特性値を計算し、計算した結果を第１比較部６２２に出力する。
【０１６５】
第１比較部６２２は、計算された第１差分特性値と既定の第１閾値とを比較し、比較した結果を第１相関関係係数値計算部６２４及び第１ショット変化可能性有無決定部６２８に出力する。
【０１６６】
第１相関関係係数値計算部６２４は、第１比較部６２２の比較された結果に応答して、第２基準フレームについての正規化された第１相関関係係数値を数式２を利用して計算し、計算した結果を第２比較部６２６に出力する。
【０１６７】
第２比較部６２６は、第１相関関係係数値計算部６２４で計算された第１相関関係係数値と既定の第２閾値とを比較し、比較した結果を第１ショット変化可能性有無決定部６２８に出力する。
【０１６８】
第１ショット変化可能性有無決定部６２８は、第Ｌ上位フレームグループについてショット変化可能性有無を決定する。第１ショット変化可能性有無決定部６２８は、第１比較部６２２の比較された結果に応答して、第Ｌ上位フレームグループについてショット変化可能性がないと決定し、決定した結果を出力端子ＯＵＴ４を通じて出力する。また、第１ショット変化可能性有無決定部６２８は、第１相関関係係数値が第２閾値より小さいという比較結果が第２比較部６２６から入力されて、第Ｌ上位フレームグループについてショット変化可能性があると決定し、決定した結果を出力端子ＯＵＴ４を通じて出力する。また、第１ショット変化可能性有無決定部６２８は、第１相関関係係数値が第２閾値より小さくないという比較結果が第２比較部６２６から入力されて、第Ｌ上位フレームグループについてショット変化可能性がないと決定し、決定した結果を出力端子ＯＵＴ４を通じて出力する。
【０１６９】
図１３の末端上位フレームグループ感知部５１０は、第Ｌ上位フレームグループが第１ないし第Ｋ上位フレームグループの最後の上位フレームグループに該当するかどうかを感知する。末端上位フレームグループ感知部５１０は、第１ショット変化可能性有無調査部５０８の調べられた結果、後述する第１カットフレーム決定部５１４の決定された結果、カット変化感知部５２４の感知された結果またはグラジュアル変化調査部５２６の調べられた結果に応答して、第Ｌ上位フレームグループが第１ないし第Ｋ最上位フレームグループの最後の上位フレームグループに該当するかどうかを感知し、感知した結果を末端最上位フレームグループ感知部５０４及び上位フレームグループ指定部５０６に出力する。
【０１７０】
基準フレーム感知部５１２は、第１ショット変化可能性有無調査部５０８の調べられた結果に応答して、第Ｌ上位フレームグループを第１ないし第Ｍ中位フレームグループに分割する一つ以上の第１基準フレームが第Ｌ上位フレームグループ内にあるかどうかを感知し、感知した結果を第１カットフレーム決定部５１４及び中位フレームグループ指定部５１６に出力する。この時、第１基準フレームが順方向予測フレームであることを特徴とする。
【０１７１】
第１カットフレーム決定部５１４は、基準フレーム感知部５１２の感知された結果に応答して、第Ｌ上位フレームグループ内の両側端部にそれぞれ位置する第２基準フレームのうち、２番目の第２基準フレームをビデオショットの急激な変化に該当するカット変化フレームと決定し、決定した結果を末端上位フレームグループ感知部５１０に出力する。この時、第２基準フレームがイントラフレームであることを特徴とする。
【０１７２】
中位フレームグループ指定部５１６は、基準フレーム感知部５１２の感知された結果または後述する末端中位フレームグループ感知部５２２の感知された結果に応答して、第Ｎ中位フレームグループを指定し、指定した結果を第２ショット変化可能性有無調査部５１８に出力する。
【０１７３】
第２ショット変化可能性有無調査部５１８は、中位フレームグループ指定部５１６の指定された結果に応答して第Ｎ中位フレームグループについてショット変化可能性有無を調べ、調べた結果を末端中位フレームグループ感知部５２２及びカット変化調査部５２０に出力する。
【０１７４】
図１６は、図１３に図示された本発明による第２ショット変化可能性有無調査部５１８を説明するための一実施例のブロック図であり、第３差分特性値計算部６４０、第５比較部６４２、第３相関関係係数値計算部６４４、第６比較部６４６、第４ショット変化可能性有無調査部６４８及び第３ショット変化可能性有無決定部６５０で構成される。
【０１７５】
第３差分特性値計算部６４０は、入力端子ＩＮ５を通じて入力される第Ｎ中位フレームグループに応答して、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームについてのカラーヒストグラムの第３差分特性値を数式１を利用して計算し、計算した結果を第５比較部６４２に出力する。
【０１７６】
第５比較部６４２は、第３差分特性値計算部６４０で計算された第３差分特性値と既定の第５閾値とを比較し、比較した結果を第３相関関係係数値計算部６４４及び第３ショット変化可能性有無決定部６５０に出力する。
【０１７７】
第３相関関係係数値計算部６４４は、第５比較部６４２の比較された結果に応答して、所定フレームについての正規化された第３相関関係係数値を数式２を利用して計算し、計算した結果を第６比較部６４６に出力する。
【０１７８】
第６比較部６４６は、第３相関関係係数値計算部６４４で計算された第３相関関係係数値が既定の第６閾値及び第７閾値を基準にどこに属するかを比較し、比較した結果を第４ショット変化可能性有無調査部６４８及び第３ショット変化可能性有無決定部６５０に出力する。
【０１７９】
第４ショット変化可能性有無調査部６４８は、第６比較部６４６の比較された結果に応答して、第Ｎ中位フレームグループについて運動情報に起因したショット変化可能性有無を調べ、調べた結果を出力端子ＯＵＴ５を通じて出力する。
【０１８０】
図１７は、図１６に図示された本発明による第４ショット変化可能性有無調査部を説明するための一実施例のブロック図であり、第１感知部７００、第１発生頻度比率計算部７０２、第７比較部７０４及び第４ショット変化可能性有無決定部７０６で構成される。
【０１８１】
第１感知部７００は、入力端子ＩＮ６を通じて入力された第６比較部６４６の比較された結果に応答して、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームのうち２番目の所定フレームが第１基準フレームのうちいずれかを感知し、感知した結果を第１発生頻度比率計算部７０２及び第４ショット変化可能性有無決定部７０６に出力する。
【０１８２】
第１発生頻度比率計算部７０２は、第１感知部７００の感知された結果に応答して、いずれか一つの第１基準フレームについてイントラモードの発生頻度対備順方向予測モードの発生頻度の比率に該当する第１発生頻度比率を計算し、計算した結果を第７比較部７０４に出力する。
【０１８３】
第７比較部７０４は、第１発生頻度比率計算部７０２で計算された第１発生頻度比率と既定の第８閾値とを比較し、比較した結果を第４ショット変化可能性有無決定部７０６に出力する。
【０１８４】
第４ショット変化可能性有無決定部７０６は、第Ｎ中位フレームグループについてショット変化可能性有無を決定する。第４ショット変化可能性有無決定部７０６は、第１感知部７００の感知された結果に応答して、第Ｎ中位フレームグループについて運動情報に起因したショット変化可能性があると決定し、決定した結果を出力端子ＯＵＴ７を通じて出力する。また、第４ショット変化可能性有無決定部７０６は、第１発生頻度比率が第８閾値より大きいという比較結果が第７比較部７０４から入力されて、第Ｎ中位フレームグループについて運動情報に起因したショット変化可能性があると決定し、決定した結果を出力端子ＯＵＴ７を通じて出力する。また、第４ショット変化可能性有無決定部７０６は、第１発生頻度比率が第８閾値より大きくないという比較結果が第７比較部７０４から入力されて、第Ｎ中位フレームグループについてショット変化可能性がないと決定し、決定した結果を出力端子ＯＵＴ７を通じて出力する。
【０１８５】
図１６の第３ショット変化可能性有無決定部６５０は、第Ｎ中位フレームグループについて正規化された相関関係に起因してショット変化可能性有無を決定する。第３ショット変化可能性有無決定部６５０は、第５比較部６４２の比較された結果に応答して、第Ｎ中位フレームグループについてショット変化可能性がないと決定し、決定した結果を出力端子ＯＵＴ６を通じて出力する。また、第３ショット変化可能性有無決定部６５０は、第３相関関係係数値が第６閾値より小さいという比較結果が第６比較部６４６から入力されて、第Ｎ中位フレームグループについて正規化された相関関係に起因したショット変化可能性があると決定し、決定した結果を出力端子ＯＵＴ６を通じて出力する。また、第３ショット変化可能性有無決定部６５０は、第３相関関係係数値が第７閾値より大きいという比較結果が第６比較部６４６から入力されて、第Ｎ中位フレームグループについてショット変化可能性がないと決定し、決定した結果を出力端子ＯＵＴ６を通じて出力する。
【０１８６】
図１３のカット変化調査部５２０は、第２ショット変化可能性有無調査部５１８から入力された調べられた結果に応答して、第Ｎ下位フレームグループについてビデオショットの急激な変化に該当するカット変化如何を調べ、調べた結果を末端中位フレームグループ感知部５２２に出力する。
【０１８７】
図１８は、図１３に図示された本発明によるカット変化調査部５２０を説明するための一実施例のブロック図であり、第２感知部８００、第３感知部８０２及び第２カットフレーム決定部８０４で構成される。
【０１８８】
第２感知部８００は、入力端子ＩＮ７を通じて入力された第２ショット変化可能性有無調査部５１８の調べられた結果に応答して、第Ｎ下位フレームグループ内に双方向予測フレームがあるかどうかを感知し、感知した結果を第３感知部８０２及び第２カットフレーム決定部８０４に出力する。
【０１８９】
第３感知部８０２は、第２感知部８００の感知された結果に応答して、第Ｎ中位フレームグループが運動情報に起因してショット変化可能性があると決定された中位フレームグループであるかどうかを感知し、感知した結果を第２カットフレーム決定部８０４に出力する。
【０１９０】
第２カットフレーム決定部８０４は、双方向予測フレームについて運動情報または正規化された相関係数に基づいてカット変化フレームであるかどうかを最終決定するか、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームのうち２番目の所定フレームについてカット変化フレームと決定する。第２カットフレーム決定部８０４は第２感知部８００の感知された結果に応答して、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームのうち２番目の所定フレームについてカット変化フレームと決定し、決定した結果を出力端子ＯＵＴ８を通じて出力する。また、第２カットフレーム決定部８０４は、第３感知部８０２の感知された結果に応答して、双方向予測フレームを、それぞれ運動情報または正規化された相関係数に基づいてカット変化フレームであるかどうかを最終決定し、決定した結果を出力端子ＯＵＴ８を通じて出力する。
【０１９１】
図１９は、図１８に図示された本発明による第２カットフレーム決定部８０４を説明するための一実施例８０４Ａのブロック図であり、第１双方向予測フレーム指定部９００、第２及び第３発生頻度比率計算部９０２、第８比較部９０４、第１決定部９０６及び第１末端フレーム感知部９０８で構成される。
【０１９２】
第１双方向予測フレーム指定部９００は、入力端子ＩＮ８を通じて入力された第３感知部８０２の感知された結果に応答して、第Ｎ下位フレームグループ内の双方向予測フレームのうち最初の双方向予測フレームを指定し、指定した結果を第２及び第３発生頻度比率計算部９０２に出力する。
【０１９３】
第２及び第３発生頻度比率計算部９０２は、第１双方向予測フレーム指定部９００から入力された最初の双方向予測フレームについて、順方向予測モードと逆方向予測モードとの合算された発生頻度対備双方向予測モードの発生頻度の比率に該当する第２発生頻度比率を計算し、計算した結果を第８比較部９０４に出力する。また、第２及び第３発生頻度比率計算部９０２は、第１双方向予測フレーム指定部９００から入力された最初の双方向予測フレームについて、順方向予測モードの発生頻度対備逆方向予測モードの発生頻度の比率に該当する第３発生頻度比率を計算し、計算した結果を第８比較部９０４に出力する。
【０１９４】
第８比較部９０４は、第２及び第３発生頻度比率計算部９０２で計算された第２発生頻度比率と既定の第９閾値とを比較し、第３発生頻度比率と既定の第１０閾値とを比較し、比較した結果を第１決定部９０６及び第１末端フレーム感知部９０８に出力する。
【０１９５】
第１決定部９０６は、計算された第２発生頻度比率が第９閾値より大きくて、第３発生頻度比率が第１０閾値より小さいという比較結果を第８比較部９０４から入力されれば、最初の双方向予測フレームについてカット変化フレームと決定し、決定した結果を出力端子ＯＵＴ９を通じて出力する。また、第１決定部９０６は、後述する第１末端フレーム感知部９０８から感知された結果を入力されれば、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームのうち２番目の所定フレームについてカット変化フレームと決定し、決定した結果を出力端子ＯＵＴ９を通じて出力する。
【０１９６】
第１末端フレーム感知部９０８は、計算された第２発生頻度比率が第９閾値より大きくないか、または計算された第３発生頻度比率が第１０閾値より小さくなければ、最初の双方向予測フレームが双方向予測フレームのうち最後の双方向予測フレームであるかどうかを感知し、感知した結果を第１決定部９０６及び第１双方向予測フレーム指定部９００に出力する。
【０１９７】
図２０は、図１８に図示された本発明による第２カットフレーム決定部８０４を説明するためのさらに他の一実施例８０４Ｂのブロック図であり、第２双方向予測フレーム指定部９２０、第４相関関係係数値計算部９２２、第９比較部９２４、第２決定部９２６及び第２末端フレーム感知部９２８で構成される。
【０１９８】
第２双方向予測フレーム指定部９２０は、入力端子ＩＮ９を通じて入力された第３感知部８０２の感知された結果に応答して、双方向予測フレームのうち最初の双方向予測フレームを指定し、指定した結果を第４相関関係係数値計算部９２２に出力する。
【０１９９】
第４相関関係係数値計算部９２２は、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームのうち最初の所定フレームと、第２双方向予測フレーム指定部９２０で指定された最初の双方向予測フレームとについての正規化された第４相関関係係数値を計算し、計算した結果を第９比較部９２４に出力する。
【０２００】
第９比較部９２４は、第４相関関係係数値計算部９２２で計算された第４相関関係係数値と既定の第１１閾値とを比較し、比較した結果を第２決定部９２６及び第２末端フレーム感知部９２８に出力する。
【０２０１】
第２決定部９２６は、計算された第４相関関係係数値が第１１閾値より小さいという比較結果を第９比較部９２４から入力されれば、最初の双方向予測フレームについてカット変化フレームと決定し、決定した結果を出力端子ＯＵＴ１０を通じて出力する。また、第２決定部９２６は、後述する第２末端フレーム感知部９２８から感知された結果を入力されれば、第Ｎ中位フレームグループの両側端部にそれぞれ位置する所定フレームのうち２番目の所定フレームについてカット変化フレームと決定し、決定した結果を出力端子ＯＵＴ１０を通じて出力する。
【０２０２】
第２末端フレーム感知部９２８は、計算された第４相関関係係数値が第１１閾値より小さくなければ、最初の双方向予測フレームが双方向予測フレームのうち最後の双方向予測フレームであるかどうかを感知し、感知した結果を第２決定部９２６及び第２双方向予測フレーム指定部９２０に出力する。
【０２０３】
一方、図１３の末端中位フレームグループ感知部５２２は、第２ショット変化可能性有無調査部５１８またはカット変化調査部５２０の調べられた結果に応答して、第Ｎ中位フレームグループが第１ないし第Ｍ中位フレームグループの最後の中位フレームグループに該当するかどうかを感知し、感知した結果をカット変化感知部５２４及び中位フレームグループ指定部５１６に出力する。
【０２０４】
カット変化感知部５２４は、末端中位フレームグループ感知部５２２の感知された結果に応答して、第Ｌ上位フレームグループ内の第１ないし第Ｍ中位フレームグループについてビデオショットの急激な変化に該当するカット変化があるかどうかを感知し、感知した結果をグラジュアル変化調査部５２６及び末端上位フレームグループ感知部５１０に出力する。
【０２０５】
グラジュアル変化調査部５２６は、カット変化感知部５２４の感知された結果に応答して、第Ｌ上位フレームグループ内の第１ないし第Ｍ中位フレームグループのうちいなかるグループもカット変化がないと判断されれば、第Ｌ上位フレームグループについてビデオショットの緩やかな変化に該当するグラジュアル変化如何を調べ、調べた結果を末端上位フレームグループ感知部５１０に出力する。
【０２０６】
図２１は、図１２に図示された本発明によるショット変化調査部４００を説明するためのさらに他の一実施例４００Ｂのブロック図であり、最上位フレームグループ指定部１０００、第３ショット変化可能性有無調査部１００２、末端最上位フレームグループ感知部１００４、上位フレームグループ指定部１００６、第１ショット変化可能性有無調査部１００８、末端上位フレームグループ感知部１０１０、基準フレーム感知部１０１２、第１カットフレーム決定部１０１４、中位フレームグループ指定部１０１６、第２ショット変化可能性有無調査部１０１８、カット変化調査部１０２０、末端中位フレームグループ感知部１０２２、カット変化感知部１０２４、第１及び第２リスト検出部１０２６及びグラジュアル変化調査部１０２８で構成される。
【０２０７】
図２１に図示された第１及び第２リスト検出部１０２６を除外した残りの構成要素は、前述した図１２の構成要素と同じ機能を担当するので、重複的な説明は省略して第１及び第２リスト検出部１０２６についてのみ説明する。
【０２０８】
第１及び第２リスト検出部１０２６は、末端最上位フレームグループ感知部１００４で感知された結果に応答して、第１ないし第Ｋ上位フレームグループのうちショット変化可能性がある上位フレームグループの第１リスト及びビデオショットの急激な変化に該当するカット変化フレームの第２リストを検出し、検出した結果をグラジュアル変化調査部１０２８に出力する。
【０２０９】
図１２のショット変化リスト生成部４２０は、図１３に図示された末端最上位フレームグループ感知部５０４の感知された結果、または図２１に図示されたグラジュアル変化調査部１０２８の調べられた結果に応答して、ビデオショットのショット変化リストを生成し、生成された結果を出力端子ＯＵＴ１を通じて出力する。
【０２１０】
このような本願発明である動画のビデオショット変化の検出方法及び装置は、理解を助けるために図面に図示された実施例を参考として説明されたが、これは例示的なものに過ぎず、当業者ならば、これより多様な変形及び均等な他の実施例が可能であるという点を理解できる。したがって、本発明の真の技術的保護範囲は特許請求の範囲に限って定められねばならない。
【図面の簡単な説明】
【０２１１】
【図１】本発明による動画のビデオショット変化の検出方法を説明するための一実施例のフローチャートである。
【図２】ビデオフレームをグループ化した一例を示す図面である。
【図３】図１に図示された本発明による第１０段階を説明するための一実施例のフローチャートである。
【図４】図３に図示された本発明による第３２段階を説明するための一実施例のフローチャートである。
【図５】図３に図示された本発明による第４２段階を説明するための一実施例のフローチャートである。
【図６】図３に図示された本発明による第５６段階を説明するための一実施例のフローチャートである。
【図７】図６に図示された本発明による第１５８段階を説明するための一実施例のフローチャートである。
【図８】図３に図示された本発明による第６０段階を説明するための一実施例のフローチャートである。
【図９】図８に図示された本発明による第１８４段階を説明するための一実施例のフローチャートである。
【図１０】図８に図示された本発明による第１８６段階を説明するための一実施例のフローチャートである。
【図１１】図１に図示された本発明による第１０段階を説明するためのさらに他の一実施例のフローチャートである。
【図１２】本発明による動画のビデオショット変化検出装置を説明するための一実施例のブロック図である。
【図１３】図１２に図示された本発明によるショット変化調査部を説明するための一実施例のブロック図である。
【図１４】図１３に図示された本発明による第３ショット変化可能性有無調査部を説明するための一実施例のブロック図である。
【図１５】図１３に図示された本発明による第１ショット変化可能性有無調査部を説明するための一実施例のブロック図である。
【図１６】図１３に図示された本発明による第２ショット変化可能性有無調査部を説明するための一実施例のブロック図である。
【図１７】図１６に図示された本発明による第４ショット変化可能性有無調査部を説明するための一実施例のブロック図である。
【図１８】図１３に図示された本発明によるカット変化調査部を説明するための一実施例のブロック図である。
【図１９】図１８に図示された本発明による第２カットフレーム決定部を説明するための一実施例のブロック図である。
【図２０】図１８に図示された本発明による第２カットフレーム決定部を説明するためのさらに他の一実施例のブロック図である。
【図２１】図１２に図示された本発明によるショット変化調査部を説明するためのさらに他の一実施例のブロック図である。
【符号の説明】
【０２１２】
４００      ショット変化調査部
４２０      ショット変化リスト生成部
５００      最上位フレームグループ指定部
５０２      第３ショット変化可能性有無調査部
５０４      末端最上位フレームグループ感知部
５０６      上位フレームグループ指定部
５０８      第１ショット変化可能性有無調査部
５１０      末端上位フレームグループ感知部
５１２      基準フレーム感知部
５１４      第１カットフレーム決定部
５１６      中位フレームグループ指定部
５１８      第２ショット変化可能性有無調査部
５２０      カット変化調査部
５２２      末端中位フレームグループ感知部
５２４      カット変化感知部
５２６      グラジュアル変化調査部
【図１】
2005253089.tif 000008
【図２】
2005253089.tif 000009
【図３】
2005253089.tif 000010
【図４】
2005253089.tif 000011
【図５】
2005253089.tif 000012
【図６】
2005253089.tif 000013
【図７】
2005253089.tif 000014
【図８】
2005253089.tif 000015
【図９】
2005253089.tif 000016
【図１０】
2005253089.tif 000017
【図１１】
2005253089.tif 000018
【図１２】
2005253089.tif 000019
【図１３】
2005253089.tif 000020
【図１４】
2005253089.tif 000021
【図１５】
2005253089.tif 000022
【図１６】
2005253089.tif 000023
【図１７】
2005253089.tif 000024
【図１８】
2005253089.tif 000025
【図１９】
2005253089.tif 000026
【図２０】
2005253089.tif 000027
【図２１】
2005253089.tif 000028