(57)【要約】  ２つの画像データから、その一部を解析対象領域のデータとして抽出し（Ｓ７０２、Ｓ７０４）、解析対象領域の画像特性値の差に基づいて２つの画像間の画像差を検出する画像差検出ステップ（Ｓ７０７）を有し、２つの画像データの解析対象領域が互いに同じサイズを有する。画像差が検出されなかった場合に、領域抽出ステップが、画像データのうちの、それまで解析対象領域に含まれていなかった部分のデータの一部又は全部を抽出して追加する（Ｓ７０４）ことにより、解析対象領域を拡大することとしも良い（Ｓ７０７）。画像および映像のシーンチェンジを高速に行うことができる。
2008143167.tif 000002
【特許請求の範囲】
【請求項１】
２つの画像データの差を検出する方法であって、
２つの画像データから、その一部を解析対象領域のデータとして抽出する領域抽出ステップと、
前記２つの画像データの、前記領域抽出ステップによって抽出した解析対象領域の画像特性値の差に基づいて前記２つの画像間の画像差を検出する画像差検出ステップを有し、
前記２つの画像データの解析対象領域が互いに同じサイズを有する
ことを特徴とする画像差検出方法。
【請求項２】
２つの画像データの差を検出する方法であって、
２つの画像データから、その一部を解析対象領域のデータとして抽出する領域抽出ステップと、
前記２つの画像データの、前記領域抽出ステップによって抽出した解析対象領域の画像特性値の差に基づいて前記２つの画像間の画像差を検出する画像差検出ステップを有し、
前記画像差検出ステップによって画像差が検出されなかった場合に、前記領域抽出ステップが、前記画像データのうちの、それまで解析対象領域に含まれていなかった部分のデータの一部又は全部を抽出して追加することにより、解析対象領域を拡大し、
前記画像差検出ステップが、拡大された解析対象領域について再度画像差の検出を行う
ことを特徴とする画像差検出方法。
【請求項３】
映像のシーンチェンジを検出する方法であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出ステップと、
前記２つのフレームの、前記領域抽出ステップによって抽出した部分領域の映像特性値の差に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップがそれまで解析対象とされなかった領域から新たに領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出ステップが、拡大された解析対象領域についての映像の差に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出方法。
【請求項４】
映像のシーンチェンジを検出する方法であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出ステップと、
前記領域抽出ステップによって抽出された部分領域の映像データについて、映像特性値を算出する映像特性分析ステップと、
前記映像特性分析ステップによって算出された映像特性値を累積して累積映像特性値を求める累積ステップと、
前記２つのフレームについて求められた累積映像特性値に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップが、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出ステップが、拡大された解析対象領域についての累積映像特性値に基づいて再度シーンチェンジ検出を行い、
前記累積ステップが、前回のシーンチェンジ検出の際に求められた累積映像特性値と、新たに抽出された領域について算出された映像特性値とを加算することにより前記累積映像特性値を求める
ことを特徴とするシーンチェンジ検出方法。
【請求項５】
映像のシーンチェンジを検出する方法であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出ステップと、
前記領域抽出ステップによって抽出された部分領域の映像データについて、映像特性値を算出する映像特性分析ステップと、
前記映像特性分析ステップによって算出された部分領域における前記２つのフレームの映像特性値の差異値を算出するステップと、
算出された差異値を累積して累積差異値を求めるステップと、
求められた累積差異値より前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップとを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップが、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出ステップが、拡大された解析対象領域についての前記累積差異値に基づいて再度シーンチェンジ検出を行い、
前記累積差異値を求めるステップは、前回のシーンチェンジ検出の際に求められた累積差異値と、新たに抽出された領域について算出された差異値とを加算することにより新たな累積差異値を求める
ことを特徴とするシーンチェンジ検出方法。
【請求項６】
符号化された映像のシーンチェンジを検出する方法であって、
２つの符号化されたフレームの映像データから解析対象とする部分領域を抽出する領域抽出ステップと、
前記領域抽出ステップによって抽出された部分領域の符号化データを復号化する復号化ステップと、
前記復号化ステップによって得られた復号化データから映像特性値を算出する映像特性分析ステップと、
前記２つのフレームの前記映像特性値の差に基づいて、前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップは、それまで解析対象とされなかった領域から新たな領域の符号化データを復号化し、それまでに解析が行われた領域についての復号化データに加えることによって解析対象領域を拡大し、前記シーンチェンジ検ステップは、拡大された解析対象領域についての映像特性値に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出方法。
【請求項７】
符号化された映像のシーンチェンジを検出する方法であって、
２つの符号化されたフレームの映像データから解析対象とする部分領域を抽出する領域抽出ステップと、
前記領域抽出ステップによって抽出された部分領域の符号化データを復号化する復号化ステップと、
前記復号化ステップによって得られた復号化データから映像特性値を算出する映像特性分析ステップと、
映像特性分析ステップによって算出された映像特性値を累積して累積映像特性値を求める累積ステップと、
前記２つのフレームの前記累積映像特性値に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップは、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出ステップは、拡大された解析対象領域についての前記累積映像値に基づいて再度シーンチェンジ検出を行い、
前記累積ステップは、前回のシーンチェンジ検出の際に求められた累積差異値と、新たに抽出された領域について算出された差異値とを加算することにより新たな累積差異値を求める
ことを特徴とするシーンチェンジ検出方法。
【請求項８】
求められた累積映像特性値を保持する保持ステップをさらに有することを特徴とする請求項４又は７に記載のシーンチェンジ検出方法。
【請求項９】
求められた累積差異値を保持するステップをさらに有することを特徴とする請求項５に記載のシーンチェンジ検出方法。
【請求項１０】
前記映像特性分析ステップで算出する映像の特性値がヒストグラムであることを特徴とする請求項３乃至９のいずれかに記載のシーンチェンジ検出方法。
【請求項１１】
解析対象となっている領域の面積又は位置によって前記シーンチェンジ検出ステップにおけるシーンチェンジの判定の閾値を変化させるステップをさらに有することを特徴とする請求項３乃至１０のいずれかに記載のシーンチェンジ検出方法。
【請求項１２】
複数の画像を入力するステップと、
入力した画像の画像データから解析対象とする部分領域を抽出する領域抽出ステップと、
２つの画像データについて、それぞれ抽出した部分領域の画像の差を検出する画像差分検出ステップを有し、
前記画像差分検出ステップによって画像の差が設定されている閾値を超えなかった場合に、前記領域抽出ステップは、解析対象となっていない領域から新たに領域を抽出して追加することにより、解析対象領域を拡大し、前記画像差分検出ステップは、拡大された解析対象領域について再度画像の差の検出を行う
ことを特徴とする画像差分検出方法。
【請求項１３】
映像のシーンチェンジを検出する方法であって、
映像を保存する映像記録ステップと、
前記映像記録ステップによって保存された映像データの、１フレーム単位又はその部分領域の記録位置を管理するステップと、
２つのフレームの映像データから、その一部を解析対象領域のデータとして抽出する領域抽出ステップと、
前記２つのフレームの、前記領域抽出ステップによって抽出した解析対象領域のデータの映像特性値の差に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップが、前記映像データのうちの、それまで解析対象領域に含まれていなかった部分の一部又は全部のデータを抽出して追加することにより、解析対象領域を拡大し、
前記シーンチェンジ検出ステップが、拡大された解析対象領域についての映像の差に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出方法。
【請求項１４】
２つの画像データの差を検出する装置であって、
２つの画像データから、その一部を解析対象領域のデータとして抽出する領域抽出手段と、
前記２つの画像データの、前記領域抽出手段によって抽出した解析対象領域の画像特性値の差に基づいて前記２つの画像間の画像差を検出する画像差検出手段を有し、
前記２つの画像データの解析対象領域が互いに同じサイズを有する
ことを特徴とする画像差検出装置。
【請求項１５】
２つの画像データの差を検出する装置であって、
２つの画像データから、その一部を解析対象領域のデータとして抽出する領域抽出手段と、
前記２つの画像データの、前記領域抽出手段によって抽出した解析対象領域の画像特性値の差に基づいて前記２つの画像間の画像差を検出する画像差検出手段を有し、
前記画像差検出手段によって画像差が検出されなかった場合に、前記領域抽出手段が、前記画像データのうちの、それまで解析対象領域に含まれていなかった部分のデータの一部又は全部を抽出して追加することにより、解析対象領域を拡大し、
前記画像差検出手段が、拡大された解析対象領域について再度画像差の検出を行う
ことを特徴とする画像差検出装置。
【請求項１６】
映像のシーンチェンジを検出する装置であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出手段と、
前記２つのフレームの、前記領域抽出手段によって抽出した部分領域の映像特性値の差に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段を有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段がそれまで解析対象とされなかった領域から新たに領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出手段が、拡大された解析対象領域についての映像の差に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出装置。
【請求項１７】
映像のシーンチェンジを検出する装置であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された部分領域の映像データについて、映像特性値を算出する映像特性分析手段と、
前記映像特性分析手段によって算出された映像特性値を累積して累積映像特性値を求める累積手段と、
前記２つのフレームについて求められた累積映像特性値に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段を有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段が、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出手段が、拡大された解析対象領域についての累積映像特性値に基づいて再度シーンチェンジ検出を行い、
前記累積手段が、前回のシーンチェンジ検出の際に求められた累積映像特性値と、新たに抽出された領域について算出された映像特性値とを加算することにより前記累積映像特性値を求める
ことを特徴とするシーンチェンジ検出装置。
【請求項１８】
映像のシーンチェンジを検出する装置であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された部分領域の映像データについて、映像特性値を算出する映像特性分析手段と、
前記映像特性分析手段によって算出された部分領域における前記２つのフレームの映像特性値の差異値を算出する手段と、
算出された差異値を累積して累積差異値を求める手段と、
求められた累積差異値より前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段とを有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段が、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出手段が、拡大された解析対象領域についての前記累積差異値に基づいて再度シーンチェンジ検出を行い、
前記累積差異値を求める手段は、前回のシーンチェンジ検出の際に求められた累積差異値と、新たに抽出された領域について算出された差異値とを加算することにより新たな累積差異値を求める
ことを特徴とするシーンチェンジ検出装置。
【請求項１９】
符号化された映像のシーンチェンジを検出する装置であって、
２つの符号化されたフレームの映像データから解析対象とする部分領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された部分領域の符号化データを復号化する復号化手段と、
前記復号化手段によって得られた復号化データから映像特性値を算出する映像特性分析手段と、
前記２つのフレームの前記映像特性値の差に基づいて、前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段を有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段は、それまで解析対象とされなかった領域から新たな領域の符号化データを復号化し、それまでに解析が行われた領域についての復号化データに加えることによって解析対象領域を拡大し、前記シーンチェンジ検手段は、拡大された解析対象領域についての映像特性値に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出装置。
【請求項２０】
符号化された映像のシーンチェンジを検出する装置であって、
２つの符号化されたフレームの映像データから解析対象とする部分領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された部分領域の符号化データを復号化する復号化手段と、
前記復号化手段によって得られた復号化データから映像特性値を算出する映像特性分析手段と、
映像特性分析手段によって算出された映像特性値を累積して累積映像特性値を求める累積手段と、
前記２つのフレームの前記累積映像特性値に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段を有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段は、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出手段は、拡大された解析対象領域についての前記累積映像値に基づいて再度シーンチェンジ検出を行い、
前記累積手段は、前回のシーンチェンジ検出の際に求められた累積差異値と、新たに抽出された領域について算出された差異値とを加算することにより新たな累積差異値を求める
ことを特徴とするシーンチェンジ検出装置。
【請求項２１】
求められた累積映像特性値を保持する手段をさらに有することを特徴とする請求項１７乃至２０に記載のシーンチェンジ検出装置。
【請求項２２】
求められた累積差異値を保持する手段をさらに有することを特徴とする請求項１８に記載のシーンチェンジ検出装置。
【請求項２３】
前記映像特性分析手段で算出する映像の特性値がヒストグラムであることを特徴とする請求項１６乃至２２のいずれかに記載のシーンチェンジ検出装置。
【請求項２４】
解析対象となっている領域の面積又は位置によって前記シーンチェンジ検出手段におけるシーンチェンジの判定の閾値を変化させる手段をさらに有することを特徴とする請求項１６乃至２３のいずれかに記載のシーンチェンジ検出装置。
【請求項２５】
複数の画像を入力する手段と、
入力した画像の画像データから解析対象とする部分領域を抽出する領域抽出手段と、
２つの画像データについて、それぞれ抽出した部分領域の画像の差を検出する画像差分検出手段を有し、
前記画像差分検出手段によって画像の差が設定されている閾値を超えなかった場合に、前記領域抽出手段は、解析対象となっていない領域から新たに領域を抽出して追加することにより、解析対象領域を拡大し、前記画像差分検出手段は、拡大された解析対象領域について再度画像の差の検出を行う
ことを特徴とする画像差分検出装置。
【請求項２６】
映像のシーンチェンジを検出する装置であって、
映像を保存する映像記録手段と、
前記映像記録手段によって保存された映像データの、１フレーム単位又はその部分領域の記録位置を管理する手段と、
２つのフレームの映像データから、その一部を解析対象領域のデータとして抽出する領域抽出手段と、
前記２つのフレームの、前記領域抽出手段によって抽出した解析対象領域のデータの映像特性値の差に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段を有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段が、前記映像データのうちの、それまで解析対象領域に含まれていなかった部分の一部又は全部のデータを抽出して追加することにより、解析対象領域を拡大し、
前記シーンチェンジ検出手段が、拡大された解析対象領域についての映像の差に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像差、又は映像のシーンチェンジを検出することができるシーンチェンジ検出方法および装置に関するものである。
【背景技術】
【０００２】
従来、画像又は映像記録された装置において、任意の２画像の有意差や、映像シーンの変化点を検出するためには、手入力操作により画像および映像を選出し、互いの相違を人間の目で確認しなければならず、多くの時間と労力が必要であった。【０００３】
このような問題を解消するために、映像の場面転換シーン（以後「シーンチェンジ」と言う）を見つけるための方法が提案されてきた（例えば、特許文献１、２及び３参照）。特許文献１には、符号化を行うエンコーダの前段のプリ映像信号処理装置において、時間的に前後する２つの映像のヒストグラムの各レベル毎の差の絶対値の合計を算出し、算出された合計が所定の閾値を超えた場合にシーンチェンジであると判定する方法が示されている。また、特許文献２には、ＨＤＤなどのストレージメディアに蓄積された映像データを読み出してシーンチェンジを判定する方法が示されている。また、特許文献３には、シーンチェンジを検出する画像データをブロック単位に分割して、ブロック単位でシーンチェンジを検出する方法が示されている。
【特許文献１】特開２００４−２８２３１８号公報（第７頁、図２）
【特許文献２】特開２００２−０６４８２３号公報（第５頁、図１）
【特許文献３】特開平５−２８４３６９号公報（第４頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示される方法は、エンコーダの前段に設けられたプリ映像信号処理装置によってシーンチェンジを検出する方法であるので、ビデオデコーダからエンコーダまでの構成が一体になっているエンコーダチップセットであってシーンチェンジ抽出結果を外部に出力しないものを備えた映像記録装置には適用することができなかった。また、エンコーダチップセットがシーンチェンジ抽出結果を出力する場合においても、使用するエンコーダチップセットの種類が変わる毎にシーンチェンジ抽出結果が変わってしまうので、エンコーダチップセットの種類が変わる毎に映像記録装置における調整が必要になるという問題があった。【０００５】
また、特許文献２に示される方法は、圧縮されＨＤＤ上に記録された映像ストリームからシーンチェンジを検出する方法であるので、記録処理が完了した後に、オフラインで多大な時間のかかる処理を行う必要があり、実用的ではなかった。
また、特許文献３に示される方法は、シーンチェンジの領域を複数のブロックに分割することによって処理単位の負荷を低減することは可能であるが、シーンチェンジを検出するために全ブロックに対して処理を実行しなければならず、シーンチェンジの処理時間を短くすることはできなかった。【０００６】
そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、迅速に画像差或いは映像のシーンチェンジ検出を行うことができる方法および装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の画像差検出方法は、
２つの画像データの差を検出する方法であって、
２つの画像データから、その一部を解析対象領域のデータとして抽出する領域抽出ステップと、
前記２つの画像データの、前記領域抽出ステップによって抽出した解析対象領域の画像特性値の差に基づいて前記２つの画像間の画像差を検出する画像差検出ステップを有し、
前記２つの画像データの解析対象領域が互いに同じサイズを有する
ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、迅速に画像の差や、映像のシーンチェンジを検出することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１のシーンチェンジ検出装置の構成を示すブロック図である。
【図２】実施の形態１のシーンチェンジ抽出装置における領域分割の一例を示す図である。
【図３】図２に示される領域分割に対応した処理手順を示すフローチャートである。
【図４】実施の形態１の動作を示すフローチャートである。
【図５】（ａ）〜（ｄ）は、実施の形態２で用いられる、検出対象領域の数を変数とする重み関数の例を示す図である。
【図６】（ａ）〜（ｄ）は、実施の形態２で用いられる、検出対象領域ごとに設定された重み関数の例を示す図である。
【図７】実施の形態３のシーンチェンジ抽出装置の構成を示すブロック図である。
【図８】実施の形態３における分割された領域と、対応した領域におけるヒストグラムの説明図である。
【図９】実施の形態３の動作を示すフローチャートである。
【図１０】実施の形態４のシーンチェンジ抽出装置の構成を示すブロック図である。
【図１１】実施の形態４の動作を示すフローチャートである。
【図１２】実施の形態５のシーンチェンジ抽出装置の構成を示すブロック図である。
【図１３】実施の形態５の動作を示すフローチャートである。
【図１４】実施の形態６のシーンチェンジ抽出装置の構成を示すブロック図である。
【図１５】実施の形態６の動作を示すフローチャートである。
【図１６】本発明の実施の形態７のシーンチェンジ検出装置の構成を示すブロック図である。
【図１７】実施の形態７のシーンチェンジ抽出装置における領域分割の一例を示す図である。
【図１８】実施の形態７の動作を示すフローチャートである。
【図１９】実施の形態７における解析対象領域の選択方法について示す図である。
【図２０】実施の形態７における解析対象領域の選択方法について示す図である。
【図２１】実施の形態７において、各画像のシーンチェンジ処理を並行して行なう場合のメインタスクを示すフローチャートである。
【図２２】実施の形態７において、各画像のシーンチェンジ処理を並行して行なう場合の画像Ａに対する処理ＦＡを示すフローチャートである。
【図２３】実施の形態７において、各画像のシーンチェンジ処理を並行して行なう場合の画像Ｂに対する処理ＦＢを示すフローチャートである。
【図２４】本発明の実施の形態８のシーンチェンジ抽出装置の構成を示すブロック図である。
【図２５】（ａ）及び（ｂ）は、実施の形態８の連続する映像データに対して部分領域でシーンチェンジ検出を行なう際に、用いられるデータを示す図である。
【図２６】実施の形態８において、追加画像領域を決定するための処理を示すフローチャートである。
【図２７】本発明の実施の形態９のシーンチェンジ抽出装置の構成を示すブロック図である。
【図２８】実施の形態９の動作を示すフローチャートである。
【図２９】実施の形態９のシーンチェンジ抽出装置の変形例を示すブロック図である。
【符号の説明】
【００１０】
１  シーンチェンジ検出装置、  ２  シーンチェンジ制御部、  ３  映像入力部、  ４  スイッチ、  ５ａ、５ｂ  フレームメモリ、  ６ａ、６ｂ  領域抽出部、  ７  領域制御部、  ８ａ、８ｂ  ヒストグラム生成部、  ９  差分抽出部、  １０  シーンチェンジ判定部、  １１  ヒストグラムバッファ、  １２  部分領域ヒストグラム生成部、  １３  累積差異値バッファ、  １４  符号化ストリーム入力部、  １５  デコーダ、  １６  復号映像バッファ、  １７  閾値設定部、  １０３  映像入力部、  １０６ａ、１０６ｂ  領域抽出部、  １０７ａ、１０７ｂ  領域選択部、  １０８ａ、１０８ｂ  読出し制御部、  １１１ａ、１１１ｂ  ストリームバッファ、  １１２ａ、１１２ｂ  デコーダ、  １１３  ＨＤＤ、  １１８  閾値設定部、  １１９  画像選択部。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
図１は、本発明の実施の形態１のシーンチェンジ検出装置１の構成を示すブロック図である。本実施の形態で示すシーンチェンジ検出装置１は図１に示すように、図示しないハードディスクや光ディスク、もしくは映像信号線などの映像データの供給源から映像入力部３を通じて映像データＰが入力される。
シーンチェンジ検出装置１は、スイッチ４と、第１及び第２のフレームメモリ５ａ、５ｂと、第１及び第２の領域抽出部６ａ、６ｂと、第１及び第２のヒストグラム生成部８ａ、８ｂと、差分抽出部９と、シーンチェンジ判定部１０と、シーンチェンジ制御部２と、領域制御部７とを有する。【００１２】
シーンチェンジ制御部２は、シーンチェンジ検出動作の開始、終了や、シーンチェンジ判定部１０の判定結果（シーンチェンジ抽出結果）ＮＳＥを検出し、図示しないがメモリに保存を行ったり、映像入力部３からの映像データＰをフレームメモリ５ａもしくはフレームメモリ５ｂに切り替えるスイッチ４を制御したりする。
フレームメモリ５ａ、５ｂの各々は、映像データの少なくとも１画面、即ち１フレーム分のデータ領域を有し、１フレーム分の映像データを一時的に蓄積する。
スイッチ４は、シーンチェンジを検出する対象となる２つの映像信号の入力を、１フレーム単位で、それぞれフレームメモリ５ａもしくはフレームメモリ５ｂへ切り替えを行う。以下、スイッチ４によって分けられフレームメモリ５ａ側に保存された映像データをＰＡ、一方フレームメモリ５ｂに保存された映像データをＰＢで表す。【００１３】
領域抽出部６ａ、６ｂは、それぞれフレームメモリ５ａ、５ｂに蓄積された１フレーム分の映像データの一部を解析対象領域の映像データＰｅａ、Ｐｅｂとして抽出する。以下、ある「領域の映像データの抽出」を単に「領域の抽出」と言うことがある。
領域制御部７は、シーンチェンジ制御部２の指示により、映像データの１フレーム全領域のうち、領域抽出部６ａ、６ｂに抽出させる領域を設定する。
本実施の形態では、後述のように領域抽出部６ａ、６ｂで抽出された領域の画像データについて、ヒストグラム生成部８ａ、８ｂでヒストグラムが生成され、差分抽出部９で両ヒストグラムの差分が抽出されるので、領域制御部７により設定される領域は、解析対象領域であり、またシーンチェンジ検出対象領域である。【００１４】
ヒストグラム生成部８ａ、８ｂは、領域抽出部６ａ、６ｂが抽出したシーンチェンジ検出対象領域の部分映像データに対して、ヒストグラムを生成する。
ヒストグラムの生成に当たっては、映像データの１又は２以上の成分のヒストグラムを生成すれば良く、例えば輝度信号のヒストグラムでも良く、色差信号のヒストグラムでも良く、色信号（Ｒ，Ｇ，Ｂ信号）のヒストグラムでも良い。
領域抽出部６ａ、６ｂおよびヒストグラム生成部８ａ、８ｂは、映像データＰＡ側および映像データＰＢ側のそれぞれに独立して設けられ、同様の処理を行う。【００１５】
差分抽出部９は、ヒストグラム生成部８ａが生成したヒストグラムＨＡとヒストグラム生成部８ｂが生成したヒストグラムＨＢの差（差異値）ｄを下記の式（１）で算出する。【００１６】
【数１】
2008143167.tif 000003
【００１７】
ここで、ＨＡおよびＨＢは映像データＰＡ、ＰＢのうちの、解析対象領域のデータＰｅａ、Ｐｅｂのヒストグラムであり、Ｓｅが映像データＰｅａ、Ｐｅｂの面積（画素数で表された面積）を示す。ここでは映像データＰｅａ、Ｐｅｂは面積が互いに同じであるとする。
また、
ＨＡ＝｛ＨｉｓｔＡ（１），ＨｉｓｔＡ（２），  …  ＨｉｓｔＡ（ｋ），  …  ＨｉｓｔＡ（Ｋ）｝      …（２）
であり、またＨｉｓｔＡ（ｋ）は映像成分１からＫのうちのｋ番目の要素（階級ｋ）の度数（要素値）を示す。ここで、ｋは１からＫ（＝２５５）までの値を取るものとする。また、
【数２】
2008143167.tif 000004
は、（  ）内の要素成分ごとの差分の絶対値の和、つまり、
｜ＨｉｓｔＡｉ（１）−ＨｉｓｔＢｉ（１）｜＋  …  ＋｜ＨｉｓｔＡｉ（ｋ）−ＨｉｓｔＢｉ（ｋ）｜＋  …  ＋｜ＨｉｓｔＡｉ（Ｋ）−ＨｉｓｔＢｉ（Ｋ）｜
を表す。【００１８】
シーンチェンジ判定部１０は、差分抽出部９が算出した差異値ｄと、閾値設定部１７から供給されるシーンチェンジ判定用閾値（以降、「シーンチェンジ閾値」と言う）ｄｔｈとの比較を行い、差異値ｄがシーンチェンジ閾値ｄｔｈを超えていれば、つまり以下の数式（３）で示す条件を満足すれば、シーンチェンジが発生したと判定する。
ｄ≧ｄｔｈ      …（３）【００１９】
次に、シーンチェンジ検出装置１の動作について説明する。シーンチェンジ検出動作開始の指示が、シーンチェンジ制御部２に設定されると、映像入力部３から映像データの供給が開始される。スイッチ４は、シーンチェンジ制御部２からのフレームメモリ入力制御信号ＣＦＩに従い、入力フレームのシーンチェンジ対象とするフレーム番号が奇数であれば入力映像データＰをフレームメモリ５ａに、偶数であれば映像データＰをフレームメモリ５ｂに供給する。なお、シーンチェンジ検出を行なうに際し、相前後するフレーム（奇数番目のフレームと偶数番目のフレーム）間の差異を求める代わりに、互いに数フレーム離れたフレーム間の差異を求めることもできる。例えば、所定数のフレームごとに１フレームを抽出し、相前後して抽出されたフレーム間の差異に基づきシーンチェンジを検出することとしても良い。この場合、順次抽出されるフレームの映像データを交互にフレームメモリ５ａ、５ｂに供給して記憶させる。例えば、（動作開始後）奇数番目に抽出された一つのフレームを一つのフレームメモリ例えば５ａに供給し、偶数番目に抽出された別のフレームを他方のフレームメモリ５ｂに供給する。また、２つのフレーム間でシーンチェンジを検出する場合、シーンチェンジ検出対象とする２つのフレームが時間的に近接したものでなくても良く、時間的に離れたものであっても良い。この場合、一つのフレームを基準フレームとして固定し、これと比較される他方のフレームを順次入れ替えことによって、基準フレームに対するシーンチェンジ検出を行なう構成であっても良い。【００２０】
フレームメモリ５ａ、５ｂはスイッチ４によって振り分けられた１フレーム分の映像データが入力され、次の比較の対象となる映像データが入力されるまで保持される。また、シーンチェンジ制御部２は、領域抽出指示ＣＰＥを領域制御部７に送る。領域抽出指示ＣＰＥを受けた領域制御部７は、領域抽出部６ａ、６ｂで抽出すべき領域を決定する。【００２１】
ここでは、図２で示すように映像データ中の１フレーム分の画像を８つの帯状の領域（ゾーン乃至スライス）に分割し、シーンチェンジの有無の判定の試行回数ｎに応じて（何回目の試行であるかに応じて）抽出対象領域、従って、シーンチェンジ検出対象領域を比例的に増加させるものとする。この点については、後にさらに詳しく説明する。この場合、領域制御部７は、８つの領域 (ゾーン)から、一又は２以上の領域(ゾーン)を選択してシーンチェンジ検出対象領域を決定し、領域抽出部６ａおよび６ｂにシーンチェンジ検出対象領域の抽出指示（領域制御信号）ＣＰＡ＿ａおよびＣＰＡ＿ｂを与える。【００２２】
領域制御部７から指示を受けた領域抽出部６ａ、６ｂは、フレームメモリ５ａ、５ｂに保持されている１フレーム分の映像データから、領域制御部７によって設定された部分領域、例えば図２の奇数番目のフレームの領域Ｚ１及び偶数番目のフレームの領域Ｚ１の部分映像データ（シーンチェンジ検出対象領域の部分映像データ）を抽出する。【００２３】
領域抽出部６ａ、６ｂは、映像データＰＡ側およびＰＢ側それぞれに対応して設けられており、部分領域の映像データＰｅａ、Ｐｅｂを出力する。ヒストグラム生成部８ａおよび８ｂは、抽出された奇数番目のフレームの領域Ｚ１及び偶数番目のフレームの領域Ｚ１の映像データに対して、それぞれヒストグラムｈＡおよびｈＢを生成する。【００２４】
本実施の形態では、映像データＰＡは幾つかの領域に分割されており、分割された領域が試行回数ｎとともに増加する。図２及び図３の例では、ｎ＝１では領域Ｚ１のみをシーンチェンジ検出対象領域とし、ｎ＝２では領域Ｚ１と領域Ｚ２をシーンチェンジ検出対象領域とし、ｎ＝３では領域Ｚ１と領域Ｚ２と領域Ｚ３をシーンチェンジ検出対象領域とし、以降同様に試行回数ｎによりシーンチェンジ検出対象領域を決定し、最終的にｎ＝Ｎ（＝８）において映像データの全領域と一致するものとする。
ここでは、この試行回数ｎを変数とし、上記の数式（２）を以下のように表現する。【００２５】
【数３】
2008143167.tif 000005
【００２６】
つまり、画像全領域ＰＡにおけるヒストグラム（ヒストグラムの階級ｋの度数）ＨｉｓｔＡ（ｋ）は、領域単位のヒストグラムｈｉｓｔＡｉ（ｋ）のＮ領域の総和として表現することができる。さらに領域Ｚｎにおける部分領域のヒストグラムｈＡｎを、
ｈＡｎ＝｛ｈｉｓｔＡｎ（１），  …  ｈｉｓｔＡｎ（ｋ），  …  ｈｉｓｔＡｎ（Ｋ）｝
…（５）
とすると、領域Ｚｎまでの累積ヒストグラムＭＡｎは下記に数式（６）で表現される。【００２７】
【数４】
2008143167.tif 000006
【００２８】
さらに領域Ｚｎまでの累積ヒストグラムＭＡｎを用いることによって、領域Ｚｎまでの差異値ｄｎは下記に数式（７）で表現することができる。【００２９】
【数５】
2008143167.tif 000007
【００３０】
数式（７）において、ｓｊはｎ回目の試行においてシーンチェンジ検出の対象とされる領域Ｚ１〜Ｚｎのうち、ｊ番目（ｊ＝１〜ｎ）に抽出される領域に含まれる画素数を示し、
【数６】
2008143167.tif 000008
である。さらに、ｎ＝Ｎ、つまり全領域が対象であれば【００３１】
【数７】
2008143167.tif 000009
となる。【００３２】
次に図２及び図３を用いて２つの画像の分割領域（部分領域）に対して段階的にシーンチェンジ検出を行う方法について説明する。シーンチェンジ検出が開始されると、まず分割領域の一つ、例えば領域Ｚ１でシーンチェンジ検出を行う。即ち奇数番目のフレームの画像ＰＡの領域Ｚ１（図２（ａ））と、偶数番目のフレームの画像ＰＢの領域Ｚ１（図２（ｂ））についてシーンチェンジ判定を行う（Ｓ１０２）。【００３３】
次にステップＳ１０３でシーンチェンジの結果判定を行い、シーンチェンジがあればシーンチェンジ情報記録Ｓ１０８に移り、シーンチェンジ検出処理を終了する（Ｓ１１０）。
シーンチェンジがなければ、領域Ｚ２を追加し、領域Ｚ１および領域Ｚ２の組合せ（図２（ｃ）及び（ｄ））でシーンチェンジの判定を行う（Ｓ１０４）。
そしてステップＳ１０５でシーンチェンジの結果判定を行い、シーンチェンジがあればシーンチェンジ情報記録Ｓ１０８に移り、シーンチェンジ検出処理を終了する（Ｓ１１０）。【００３４】
一方、シーンチェンジがなければさらに領域（例えば領域Ｚ３）を追加して、追加した領域を加えた領域（領域Ｚ１，Ｚ２，Ｚ３の組合せ）でシーンチェンジ判定を行う。以降同様にシーンチェンジが発生していなければ領域を追加し、追加した領域を加えた領域群でシーンチェンジの判定を行う処理を繰り返す。
そして最終的に全ての領域（図２（ｅ）及び（ｆ））でシーンチェンジの判定を行う（Ｓ１０６）。【００３５】
ステップＳ１０７にてシーンチェンジがあればシーンチェンジ情報記録Ｓ１０８に移りシーンチェンジ抽出処理を終了し、一方、シーンチェンジがない場合には、シーンチェンジがないことを最終的なシーンチェンジ判定結果として記録して（Ｓ１０９）、シーンチェンジ抽出処理を終了する（Ｓ１１０）。【００３６】
このように画面の一部をなす領域でシーンチェンジ判定を行い、シーンチェンジが検出されればシーンチェンジ処理を終了し、シーンチェンジが検出できなければ、さらに領域を拡大してシーンチェンジ抽出処理を継続して行う。これによって、画像ＰＡおよび画像ＰＢの全ての領域について処理をすることが必要ではないので、シーンチェンジ抽出処理を早く完了することができる。【００３７】
このような、分割領域を一つずつ増やしていくことにより、解析対象領域（特性検出対象領域）を拡大するための制御は、領域制御部７によって行われる。【００３８】
以下、上記の処理を図４を参照してさらに詳しく説明する。
シーンチェンジ抽出処理が開始されると（Ｓ２０１）、シーンチェンジ制御部２から領域抽出指示ＣＰＥを受けた領域制御部７は次に検出対象として追加する領域があるか否かの判定を行う（Ｓ２０２）。【００３９】
検出対象として追加する領域があれば、シーンチェンジ検出対象領域を決定し、領域抽出部６ａ、６ｂに、画像ＰＡおよび画像ＰＢの対象領域の抽出を行うように指示する（Ｓ２０３）。【００４０】
抽出領域の指示を受けた領域抽出部６ａ、６ｂは、フレームメモリ５ａ、５ｂにある画像ＰＡおよび画像ＰＢからシーンチェンジ検出対象領域を抽出する（Ｓ２０４ａ、Ｓ２０４ｂ）。抽出した対象領域に対応するシーンチェンジ検出対象領域の部分映像データはヒストグラム生成部８ａ、８ｂに送られ、それぞれの領域に対してヒストグラムの生成を行う（Ｓ２０５ａ、Ｓ２０５ｂ）。さらに差分抽出部９で、ヒストグラムの差分値である差異値を計算し（Ｓ２０７）、シーンチェンジ閾値ｄｔｈより差異値が大きい場合であればシーンチェンジが発生した（シーンチェンジが検出された）と判定し、そうでなければシーンチェンジが発生していないと判定する（シーンチェンジが検出されなかった）と判定する（Ｓ２０８）。
シーンチェンジが発生した（検出された）場合、処理を終了する。【００４１】
一方、シーンチェンジが発生していないと判定された場合（シーンチェンジが検出されなかった）場合、再度ステップＳ２０２でシーンチェンジ対象とする領域を追加し、追加した領域を加えた領域で上記処理を再度行う。以降シーンチェンジが発生するか、分割領域（ゾーン）の追加によるシーンチェンジ検出領域の拡大ができなくなるまで（ステップＳ２０２における「なし」の判定）処理を継続する。【００４２】
上記のように構成することによって、映像における２つ画像間のシーンチェンジを検出することが出来る。【００４３】
さらに、比較する２つの画像の全ての領域を常にシーンチェンジ検出のための対象領域としないので、シーンチェンジ抽出処理に必要とする時間を少なくすることができる。また、処理を行うシーンチェンジ検出装置自身の負荷を抑えることが可能である。【００４４】
また、分割領域の中で、早期にシーンチェンジ抽出領域となる領域、例えば領域Ｚ１や領域Ｚ２において、シーンチェンジと判定するに十分な差があった場合、全ての領域を解析する必要が無いので、高速にシーンチェンジ抽出を完了することができる。【００４５】
また、本実施の形態ではシーンチェンジ検出の対象領域の最大値を画像の全領域に固定しているが、可変にしてもよい。つまり、シーンチェンジ検出の対象領域の最大値（最大限度）をシーンチェンジ検出毎に変化させるように構成することによって、シーンチェンジの検出の感度や、速度を制御することができる。それによって、例えば、映画や音楽番組で画像の下部領域（下端に近い領域）に良く表示される字幕にシーンチェンジ検出が反応しないようにすることでき、シーンチェンジの検出精度を向上することができる。【００４６】
また、本シーンチェンジ装置が他のシステムに組み込まれた場合など、システム全体の負荷が高い場合に、検出領域の最大値を減らす、もしくは、途中の領域を検出対象と含まないようにすることによって、シーンチェンジ検出動作の完了を速めることができ、結果としてシステムの負荷を減らすことに貢献できる。【００４７】
また、本シーンチェンジ装置では画像の差を検出するためにヒストグラムを用いているが、ヒストグラム以外の方法、例えば動きベクトルを用いた方法や比較する画像の特定位置の画素値を直接比較することによってシーンチェンジを検出しても良い。即ち、ヒストグラム以外の特性値の差に基づいて、シーンチェンジを検出することとしても良い。ヒストグラム以外の特性値に基づいてシーンチェンジ検出を行う場合には、例えば、図１のヒストグラム生成部８ａ、８ｂの代わりに、映像特性値を求める手段を設け、差分抽出部９では、映像特性値の差を求め、図４のステップＳ２０５ａ、２０５ｂでヒストグラムを生成する代わりに、映像特性値を求め、ステップＳ２０７では、ヒストグラム差異値の代わりに、映像特性値の差を求めることとすれば良い。【００４８】
また、本実施の形態では一つの映像データ内の異なったフレームデータ間の画像の差、つまりシーンチェンジについて説明したが、全く異なった映像データの任意の画像の差に対しても適用できる。さらには、映像だけでなく、複数の静止画に対しても適用できる。
これらの場合、スイッチ４としては、奇数フレーム、偶数フレームによる振り分けではなく、比較の対象となる２つのフレームの一方をフレームメモリ５ａに、他方をフレームメモリ５ｂに供給する。【００４９】
実施の形態２．
本発明の実施の形態２は、実施の形態１で説明した図１と構成が同じであるが、シーチェンジ検出の対象領域に含まれる分割領域（ゾーン）の数ｎに応じて変更される重みが加わった差異値ｄｎが求められることが特徴である。この場合、差異値ｄｎを求める演算は例えば下記の数式（９）で表される。【００５０】
【数８】
2008143167.tif 000010
【００５１】
数式（９）で、ＭＡｎおよびＭＢｎは、試行回数ｎまでの（ｎ回目の試行までの）画像ＰＡおよびＰＢの累積ヒストグラム、ｆ（ｓｎ）は試行回数ｎおよびシーンチェンジ対象領域の画素数ｓよって変化する重み関数である。【００５２】
図５（ａ）〜（ｄ）に重み関数の例を示す。図５（ａ）〜（ｄ）において、試行回数ｎが横軸に、縦軸に重みｆ（ｓｎ）が示されている。
図５（ａ）に示される重み関数は領域の変化に対して、重みの変化がなく、かつ１という定数値のため、実施の形態１で示したものと同じ結果になる。
図５（ｂ）に示される重み関数は、重みが対象領域に比例する例であり、対象領域が大きくなったときに、よりシーンチェンジが検出しやすくなる傾向になる。反対に、対象領域が小さい場合には、シーンチェンジの検出感度を下げることができる。これは、画像全体でシーンチェンジが発生していないと判定されるべき画像ＰＡおよびＰＢの状態にも関わらず、画像の一部、例えば、実施の形態１における領域Ｚ１でシーンチェンジ判定をした場合に、誤ってシーンチェンジありと誤判定することを抑制する効果がある。
図５（ｃ）に示される重み関数は、重みが対象領域の少ないときほど重みが大きくなる例であり、対象領域が少ない段階でより早く検出が可能である。このように重み関数を設定することにより、対象領域が少ない状態でもシーンチェンジ検出が可能になるため、より高速にシーンチェンジ検出を完了することができる。
図５（ｄ）に示される重み関数では、特定の領域について検出の感度を高める例であり、この例ではほぼ半分の領域が対象領域になったときに感度が高くなるように構成している。実施の形態１と同じように領域の選択が画像の上側から段階的に増加させるような場合であれば、中心付近について感度を上げることが可能となる。【００５３】
上記構成をとることによって、領域を分割して、段階的にシーンチェンジ検出を実行する場合において、対象領域が画面の一部でしかないことによって起因する誤判定を抑制することができる。つまりシーンチェンジ検出精度を改善することができる。
また重み関数の特性を変えることによって、特定の領域を重視した判定を行うことができる。【００５４】
また、ｎ回目の試行の差異値（領域Ｚｎまでのヒストグラムを用いたときの差異値）ｄｎを求めるに当たり、下記の式（１０）に示すように、領域ごとのヒストグラムの階級ごとの度数（要素値）の差（ｈｉｓｔＡｉ（ｋ）−ｈｉｓｔＢｉ（ｋ））に、領域ごとの重み関数ｆ（ｉ）を乗じたものを積算して、その総和を求めることにより、差異値ｄｎを求めることとしても良く、こうすれば、より領域Ｚｉ（符号ｉで表わされる位置の領域（ゾーン））への依存度を高めることができる。【００５５】
【数９】
2008143167.tif 000011
【００５６】
重み関数ｆ（ｉ）の例を図６（ａ）〜（ｄ）に示す。
この場合ｉは、図２に示すように、領域の番号であり、例えば図２に示すように、領域が８つあり、符号Ｚｉ（ｉ＝１、２、…８）で表される場合、領域の番号ｉは、その位置に応じて、例えば上から順に１、２、…とされる。【００５７】
さらに、重み関数を動的に変更することによって、シーンチェンジの検出精度を動的に制御することが可能である。例えば、画像のジャンルや内容によって、関数の特性を変更し、スポーツであれば、図５（ｂ）に示される重み関数にし、画像全体で判定する方向に、ドラマになれば、図５（ｄ）に示される重み関数にし、画像の中心付近で判定するように変更することによって、画像の性質に合わせたシーンチェンジ検出を行うことができる。本実施の形態では、画像領域やサイズによって重み関数が変化する例を示したが、映像成分（ヒストグラムの階級）ｋに応じた重み関数を使用しても良い。【００５８】
また本実施の形態では重み関数の特性を変える例を示したが、閾値をシーンチェンジの試行回数やシーンチェンジ検出の対象領域に応じて変化させるようにしてもよい。
この場合、領域制御部７の出力に応じて、閾値設定部１７が出力する閾値ｄｔｈを決定（設定乃至変更）し、このようにして決定された閾値ｄｔｈをシーンチェンジ判定部１０に供給し、シーンチェンジ判定部１０では、閾値設定部１７から供給された閾値を用いてシーンチェンジ判定を行う。【００５９】
実施の形態３．
図７は、本発明の実施の形態３のシーンチェンジ検出装置１の構成を示すブロック図を示す。本実施の形態は実施の形態１と比較して、図７において第１及び第２のヒストグラムバッファ１１ａ、１１ｂが付加されている点が構成上の違いとなる。ヒストグラムバッファ１１ａ、１１ｂには、映像データＰＡおよびＰＢのシーンチェンジ検出を開始してから、試行回数ｎまでシーンチェンジ検出が行われた領域Ｚ１〜Ｚｎのヒストグラムの累積値【００６０】
【数１０】
2008143167.tif 000012
【００６１】
が格納されている。数式（１１）において、ｈＡｉは図８で示す領域Ｚｉにおける部分的なヒストグラムである。また、画像ＰＡをＮ分割（８分割）した場合において、全体のヒストグラムＨＡは
【数１１】
2008143167.tif 000013
と表現することができる。【００６２】
領域抽出部６ａ、６ｂからヒストグラム生成部に送られる画像の領域は、実施の形態１では、試行回数がｎの場合、シーンチェンジ対象領域となった領域全体
【数１２】
2008143167.tif 000014
【００６３】
の画像データをヒストグラム生成部８ａ、８ｂに送っていたが、実施の形態３では、新たにシーンチェンジ対象領域となった領域のみ（の画像データ）をヒストグラム生成部８ａ、８ｂに送る。ヒストグラム生成部８ａはＰＡｎで示される部分領域についてのみヒストグラムｈＡｎを生成する。ヒストグラムバッファ１１ａ、１１ｂには、一つ前の領域Ｚ（ｎ−１）までのヒストグラムの和（前回の試行（（ｎ−１）回目の試行）までの累積ヒストグラム）
【数１３】
2008143167.tif 000015
が格納されているので、下記の数式（１４）により領域Ｚｎまでの累積ヒストグラム（今回の試行（ｎ回目の試行）までの累積ヒストグラム）を求めることができる。
ＭＡｎ＝ＭＡ（ｎ−１）＋ｈＡｎ      …（１４）【００６４】
上記のように、シーンチェンジ検出対象領域（Ｚｎ）単位でヒストグラムｈＡｎを求め、すでにヒストグラムバッファ１１ａ、１１ｂに記憶されている、（ｎ−１）回目の試行までの累積ヒストグラムＭＡ（ｎ−１）から、ｎ回目の試行までの累積ヒストグラムＭＡｎを求めることができる。【００６５】
次に図９のフローチャートを参照して説明する。シーンチェンジ抽出処理が開始されると（Ｓ３０１）、シーンチェンジ制御部２から領域抽出指示ＣＰＥを受けた領域制御部７は次に検出対象として追加する領域があるか否かの判定を行う（Ｓ３０２）。
抽出領域の指示を受けた領域抽出部６ａ、６ｂは、フレームメモリ５ａ、５ｂにある画像ＰＡおよびＰＢから新たにシーンチェンジ検出対象領域となった領域（追加対象領域）ＰＡｎおよびＰＢｎを決定し（Ｓ３０３）、その領域ＰＡｎおよび領域ＰＢｎを抽出する（Ｓ３０４ａ、Ｓ３０４ｂ）。抽出した対象部分領域の映像データ、即ちシーンチェンジ検出対象領域の部分映像データはヒストグラム生成部８ａ、８ｂに送られ、部分領域ＰＡｎおよびＰＢｎに対してヒストグラムｈＡｎおよびｈＢｎの生成が行われ（Ｓ３０５ａ、Ｓ３０５ｂ）、さらに、ヒストグラムバッファ１１ａ、１１ｂに記録されている、（ｎ−１）回目の試行までの累積ヒストグラムＭＡ（ｎ−１）およびＭＢ（ｎ−１）との和をとることでｎ回目の試行までのＭＡｎおよびＭＢｎを求めることができる。さらに、領域Ｚｎまでの差異値ｄｎを下記の数式（１５）で表される計算により求める（Ｓ３０７）。【００６６】
【数１４】
2008143167.tif 000016
【００６７】
数式（１５）において、ＭＡ（ｎ−１）、ＭＢ（ｎ−１）は、（ｎ−１）回目の試行までの累積ヒストグラムであり、前回の累積ヒストグラム算出のステップＳ３０６ａ、Ｓ３０６ｂの処理で求められ、ヒストグラムバッファ１１ａ、１１ｂに記憶されている。【００６８】
さらに、ステップＳ３０８にて、
ｄｎ≧ｄｔｈ      …（３）
を満たせばシーンチェンジが発生したと判断し、終了し（Ｓ３０９）、シーンチェンジが発生しなければステップＳ３０２に戻る。
上記の動作をシーンチェンジが発生したと判定されるか、ステップＳ３０２で追加領域がないと判断されるまで続ける。【００６９】
上記のように構成することによって、２つの画像のシーンチェンジを検出することが出来る。【００７０】
さらに、２つの画像の全ての領域を常にシーンチェンジ検出のための対象領域としないので、シーンチェンジ抽出処理に必要とする時間を少なくすることができる。また、処理を行うシーンチェンジ検出装置自身の負荷を抑えることが可能である。【００７１】
また、分割した領域の中で、早期にシーンチェンジ抽出領域となるような領域、例えば領域Ｚ１や領域Ｚ２において、シーンチェンジと判定するに十分な差があった場合、シーンチェンジ検出処理を中断する（終了させる）ことができ、全ての領域をシーンチェンジ対象領域として処理を行わずにすみ、結果として高速にシーンチェンジ検出処理を完了することができる。【００７２】
また、逆に特定の領域についてシーンチェンジ検出処理を行った結果として、残りの領域についてシーンチェンジ検出を行ったとしても、シーンチェンジと判定されないような差異値でしかなかった場合においてもシーンチェンジ検出処理を中断する（終了させる）ことができ、上記と同様に高速にシーンチェンジ検出処理を完了することができる。【００７３】
さらに、領域を分割して、分割した領域の単位で部分的なヒストグラムを求めているので、ヒストグラムを生成するための画像のサーチエリア（解析対象領域）が少なくて済む。【００７４】
また、新たに対象となった領域を含めた領域のヒストグラムを求める場合において、新たに領域となった領域以外については既に求めたヒストグラムを再利用し、新たに対象となった領域についてのヒストグラムを加えるので、既にヒストグラムを求めた領域について再度ヒストグラムを求めるための演算処理を実行しなくて済み、処理の時間的節約、処理に必要とするメモリの節約、図示しないがＣＰＵリソースの節約を行うことができる。【００７５】
また、本実施の形態では、シーンチェンジ有無の判定を、それまでに求められたヒストグラム（前回の試行までの累積ヒストグラム）に新たな領域のヒストグラム（今回の試行で新たに加えられた領域のヒストグラム）を加えた後に判定しているが、新たな領域のヒストグラムがどのような値をとってもシーンチェンジに至らないことが（前回の試行までの累積ヒストグラム）の値によって判定できるのであれば、ヒストグラムの加算処理のみ行い、シーンチェンジの判定処理は行わなくてもよい。それによって処理を高速に行うことができる。【００７６】
実施の形態３においても、実施の形態１について述べたのと同様に、ヒストグラム以外の画像の特性値の差に基づいて、シーンチェンジを検出することとしても良い。ヒストグラム以外の特性値に基づいてシーンチェンジ検出を行う場合には、例えば、図７のヒストグラム生成部８ａ、８ｂの代わりに、映像特性値を求める手段を設け、ヒストグラムバッファ１１ａ、１１ｂの代わりに累積映像特性値を保持するバッファを設け、差分抽出部９では、累積映像特性値の差を求め、図９のステップＳ３０５ａ、３０５ｂでヒストグラムを生成する代わりに、映像特性値を求め、ステップＳ３０６ａ、Ｓ３０６ｂで累積ヒストグラムの代わりに累積映像特性値を求め、ステップＳ３０７では、累積ヒストグラム差異値の代わりに、累積映像特性値の差を求めることすれば良い。【００７７】
実施の形態４．
図１０に実施の形態４の構成を示す。本発明の実施の形態４は、実施の形態３に対して、図７のヒストグラム生成部８ａ、８ｂとヒストグラムバッファ１１ａ、１１ｂが無く、部分領域ヒストグラム生成部１２ａ、１２ｂと累積差異値バッファ１３が付加されていることが特徴である。実施の形態３と同様に新たに抽出された領域ＰＡｎおよび領域ＰＢｎに対応するシーンチェンジ検出対象領域の部分映像データは、部分領域ヒストグラム生成部１２ａ、１２ｂに取り込まれ、それぞれの領域における部分領域ヒストグラムｈＡｎおよびｈＢｎを生成する。さらに差分抽出部９では領域Ｚｎにおける部分領域差異値ｅｎを部分領域ヒストグラムｈＡｎおよびｈＢｎから求める。累積差異値バッファ１３には（ｎ−１）回目の試行までの累積差異値ｅ（ｎ−１）が保持されており、差分抽出部９において新たな部分領域差異値ｅｎから累積差異値ｅ（ｎ）を求める。算出した累積差異値ｅ（ｎ）は、累積差異値バッファ１３に保存され、次の領域Ｚ（ｎ＋１）におけるシーンチェンジ判定用に利用される。差分抽出部９において算出された累積差異値ｅ（ｎ）を利用してシーンチェンジ判定部１０によって、シーンチェンジの有無が判定される。【００７８】
次に図１１で示すフローチャートによって、本実施の形態の動作を説明する。シーンチェンジ抽出処理が開始されると（Ｓ４０１）、シーンチェンジ制御部２から領域抽出指示ＣＰＥを受けた領域制御部７は次に検出対象として追加する領域があるか否かの判定を行う（Ｓ４０２）。抽出領域の指示を受けた領域抽出部６ａ、６ｂは、フレームメモリ５ａ、５ｂにある画像ＰＡおよび画像ＰＡから新たにシーンチェンジ検出対象領域となった領域ＰＡｎおよびＰＢｎを決定し（Ｓ４０３）、その領域ＰＡｎおよびＰＢｎを抽出する（Ｓ４０４ａ、Ｓ４０４ｂ）。抽出したシーンチェンジ対象部分領域に対応するシーンチェンジ検出対象領域の部分映像データは部分領域ヒストグラム生成部１２ａ、１２ｂに送られ部分領域ＰＡｎおよびＰＢｎに対するヒストグラムｈＡｎおよびｈＢｎの生成が行われる（Ｓ４０５ａ、Ｓ４０５ｂ）。次に抽出した部分領域ＰＡｎおよびＰＢｎに対するヒストグラムｈＡｎおよびｈＢｎを用いて部分領域差異値ｅｎを以下のように求める（Ｓ４０６）。【００７９】
【数１５】
2008143167.tif 000017
【００８０】
ここで求めた部分領域差異値ｅｎと、累積差異値バッファ１３に保持されている、（ｎ−１）回目の試行までの累積差異値ｅ（ｎ−１）から
【数１６】
2008143167.tif 000018
によって累積差異値ｅ（ｎ）を求める。【００８１】
さて、ここでは分割された各領域のサイズは等しい、つまりｓ＝ｓｉと仮定し、このとき、
【数１７】
2008143167.tif 000019
【００８２】
なお、符号ｓｉは、符号ｉで表される位置の分割領域（ゾーン）の面積（画素数）を表す。位置の順に領域が抽出（追加）されていく場合には、ｊ番目に抽出されるゾーンと符号ｉで表される位置のゾーンとは同じとなり、ｉ＝ｊとなる。
一方、領域Ｚ１〜Ｚｎについて求めた差異値ｄｎについても同様に分割された領域のサイズが互いに等しくｓ＝ｓｉとすると、数式（７）は
【数１８】
2008143167.tif 000020
【００８３】
のように表現される。ここで、数式（１８）および数式（１９）についてヒストグラムの要素（階級）ｋについて着目すると、数式（１８）は
【数１９】
2008143167.tif 000021
【００８４】
数式（１９）は
【数２０】
2008143167.tif 000022
のように表現できる。つまり、数式（１８）および数式（２０）は領域毎に差異値を求めているのに対し、数式（１９）および数式（２１）は領域全体平均的な差異値を求めていることがわかる。【００８５】
つまり、部分領域差異値ｅｎおよびその和である累積差異値ｅ（ｎ）を用いると、領域単位の映像の差を検出することが出来ることを示している。【００８６】
上記構成によれば、分割された領域単位で差異値を算出するので、領域を次第に拡大してシーンチェンジを判定する場合においても、既に差異値を求めた領域については、再度差異値を求める必要が無いので、高速にシーンチェンジを判定することができる。【００８７】
また、領域を分割することによってシーンチェンジ判定する場合に、保持する値が差異値というスカラー値であるため、ヒストグラムのようなベクトル値を記録する場合に比べ、メモリが少なくて済む。また、使用メモリが少ないことによる演算速度の向上も可能である。【００８８】
実施の形態４においても、実施の形態１について述べたのと同様に、ヒストグラム以外の画像の特性値の差に基づいて、シーンチェンジを検出することとしても良い。ヒストグラム以外の特性値に基づいてシーンチェンジ検出を行う場合には、例えば、図１０の部分領域ヒストグラム生成部１２ａ、１２ｂの代わりに、部分領域映像特性値を求める手段を設け、差分抽出部９では、映像特性値の累積差異値を求め、累積差異値バッファ１３で、映像特性値の累積差異値を保持し、図１１のステップＳ４０５ａ、Ｓ４０５ｂでヒストグラムを生成する代わりに、映像特性値を求め、ステップＳ４０６で分割領域のヒストグラムの差異値を求める代わりに分割領域の映像特性値の差異値を求め、ステップＳ４０７で、累積ヒストグラム差異値の代わりに、累積映像特性値の差を求めることすれば良い。【００８９】
実施の形態５．
本発明の実施の形態５は、実施の形態１で説明した図１と基本的構成が同じであるが、映像信号の入力が符号化されている映像ストリームであること、符号化ストリームの画像領域を分割してデコードを行うこと、さらにヒストグラム生成は分割された画像領域のうち、デコードが完了した１つもしくは複数の分割領域に対応した復号映像データに対して実行されることを特徴とする。【００９０】
図１２は、実施の形態５の構成を示す。図１２は、図１と全体的構成が同じであるが、図１のフレームメモリ５ａ、５ｂが設けられておらず、代わりにデコーダ１５ａ、１５ｂ、復号映像バッファ１６ａ、１６ｂが設けられている。【００９１】
図１２において、シーンチェンジ制御部２は符号化ストリーム入力部１４から入ってくる符号化ストリームをスイッチ４によってフレーム単位で符号化ストリームを領域抽出部６ａもしくは領域抽出部６ｂに振り分ける。領域制御部７は、シーンチェンジ制御部２からの領域抽出指示ＣＰＥによって、領域抽出部６ａに対してシーンチェンジ検出対象領域の抽出指示を行う。領域抽出部６ａは、符号化ストリームから、シーンチェンジ検出対象領域の部分映像データである符号化データを抽出する。抽出された符号化データＰｃｏｍＡｎおよびＰｃｏｍＢｎは、デコーダ１５ａ、１５ｂに送られ、部分領域単位で復号される。復号された画像データＰｄｅｃＡｎおよびＰｄｅｃＢｎは復号データバッファ１６ａ、１６ｂに送られ、符号化される前の映像の位置に復号された画像データが配置される。例えば元映像がＭＰＥＧ−２のようなスライスを単位とするような符号化を行う映像圧縮方式であれば図２に示すようにスライス単位で復号化が行われていく。復号映像バッファ１６ａ、１６ｂには、シーンチェンジの試行回数に応じてスライス単位で復号された画像データが配置されることになる。ヒストグラム生成部８ａ、８ｂは、復号映像データバッファ１６ａ、１６ｂから既に復号化が完了した１つもしくは複数の部分領域の画像データである復号画像データＰｄｅｃＡおよびＰｄｅｃＢを読み出し、ヒストグラムを生成する。生成したヒストグラムＨＡｎおよびＨＢｎは、差分抽出部９に送られ、差分抽出部９で算出された差異値ｄを判定部１０において、閾値設定部１７により設定されるシーンチェンジ閾値ｄｔｈと比較することによってシーンチェンジを検出する。【００９２】
次に図１３で示すフローチャートによって、本実施の形態の動作を説明する。シーンチェンジ抽出処理が開始されると（Ｓ５０１）、シーンチェンジ制御部２から領域抽出指示ＣＰＥを受けた領域制御部７は次に検出対象として追加する領域があるか否かの判定を行う（Ｓ５０２）。抽出領域の指示を受けた領域抽出部６ａ、６ｂは、フレーム単位の符号化ストリームから新たにシーンチェンジ検出対象領域となった領域ＰＡｎおよび領域ＰＢｎを決定し（Ｓ５０３）、その領域に対応する符号化データＰｃｏｍＡｎおよびＰｃｏｍＢｎを読み出す（Ｓ５０４ａ、Ｓ５０４ｂ）。デコーダ１５ａ、１５ｂは符号化データＰｃｏｍＡｎおよびＰｃｏｍＢｎの復号化を行い（Ｓ５０５ａ、Ｓ５０５ｂ）、復号化された画像を生成し、復号映像バッファ１６ａ、１６ｂに記憶させる（Ｓ５０６ａ、Ｓ５０６ｂ）。【００９３】
ヒストグラム生成部８ａ、８ｂは、復号映像バッファ１６ａ、１６ｂに保持されている復号化された画像データＰｄｅｃＡおよびＰｄｅｃＢからヒストグラムをそれぞれ生成し（Ｓ５０７ａ、Ｓ５０７ｂ）、差分抽出部９においてヒストグラムの差異値を計算し（Ｓ５０８）、さらにシーンチェンジ判定部１０で閾値ｄｔｈと差異値を比較することでシーンチェンジを判定する（Ｓ５０９）。シーンチェンジと判定された場合は、シーンチェンジ検出が終了し（Ｓ５１０）、一方シーンチェンジが検出されない場合は、追加領域を設定し（Ｓ５０２）、シーンチェンジ検出の対象領域を拡大してシーンチェンジを継続して実行する。
ステップＳ５０２においてシーンチェンジ検出の対象領域に追加する領域が存在しない場合、処理は終了となる（Ｓ５１０）。【００９４】
上記構成をとることによって、処理時間を必要とする復号化処理をシーンチェンジ対象としない領域について行わないので、処理負荷を軽減できる。【００９５】
また、シーンチェンジの判定を行う閾値を実施の形態２のようにシーンチェンジ対象領域に応じて動的に変更することによって、画像領域全体に対してシーンチェンジ判定を行う必要がないため、符号化ストリームに対するシーンチェンジ判定を行う場合に問題となる復号化処理を大幅に削減することができる。【００９６】
実施の形態５においても、実施の形態１について述べたのと同様に、ヒストグラム以外の画像の特性値の差に基づいて、シーンチェンジを検出することとしても良い。ヒストグラム以外の特性値に基づいてシーンチェンジ検出を行う場合には、例えば、図１２のヒストグラム生成部８ａ、８ｂの代わりに、映像特性値を求める手段を設け、差分抽出部９では、映像特性値の差異値を求め、図１３のステップＳ５０７ａ、Ｓ５０７ｂでヒストグラムを生成する代わりに、映像特性値を求め、ステップＳ５０８でヒストグラムの差異値を求める代わりに映像特性値の差異値を求めることすれば良い。【００９７】
実施の形態６．
本発明の実施の形態６は、実施の形態５に対して、ヒストグラム生成を分割した領域単位で実施し、分割された領域単位のヒストグラムをヒストグラムバッファで保持することが特徴である。これにより一度ヒストグラムが生成された分割領域について繰り返しヒストグラム生成を行わなくてよい。【００９８】
図１４において、シーンチェンジ制御部２は符号化ストリーム入力部１４から入ってくる符号化ストリームをスイッチ４によってフレーム単位で符号化ストリームを領域抽出部６ａもしくは領域抽出部６ｂに振り分ける。領域制御部７は、シーンチェンジ制御部２からの領域抽出指示ＣＰＥによって、領域抽出部６ａに対してシーンチェンジ検出対象領域の抽出指示を行う。領域抽出部６ａは、符号化ストリームから、シーンチェンジ検出対象領域の部分映像データである符号化データを抽出する。抽出された符号化データＰｃｏｍＡｎおよびＰｃｏｍＢｎは、デコーダ１５ａ、１５ｂに送られ、部分領域単位で復号される。復号された画像データＰｄｅｃＡｎおよびＰｄｅｃＢｎは復号データバッファ１６ａ、１６ｂに送られ、符号化される前の映像の位置に復号された画像データが配置される。例えば元映像がＭＰＥＧ−２のようなスライスを単位とするような符号化を行う映像圧縮方式であれば図２に示すようにスライス単位で復号化が行われていく。復号映像バッファ１６ａ、１６ｂには、今回復号対象となったスライス単位の復号された画像データが保持される。ヒストグラム生成部８ａ、８ｂは、復号映像データバッファ１６ａ、１６ｂから分割領域に対応する復号化された画像データである復号画像データＰｄｅｃＡｎおよびＰｄｅｃＢｎを読み出し、読み出した部分領域単位でヒストグラムを生成する。生成したヒストグラムＨＡｎおよびＨＢｎは、以前に生成されたヒストグラムＨＡ（ｎ−１）およびＨＢ（ｎ−１）に加算され、既に対象となった領域に対応したヒストグラムＨＡおよびＨＢを生成する。差分抽出部９はヒストグラムＨＡおよびＨＢから差異値を算出し、シーンチェンジ判定部１０で、シーンチェンジ閾値ｄｔｈと比較することによってシーンチェンジを検出する。【００９９】
次に図１５で示すフローチャートによって、本実施の形態の動作を説明する。シーンチェンジ抽出処理が開始されると（Ｓ６０１）、シーンチェンジ制御部２から領域抽出指示ＣＰＥを受けた領域制御部７は次に検出対象として追加する領域があるか否かの判定を行う（Ｓ６０２）。抽出領域の指示を受けた領域抽出部６ａ、６ｂは、フレーム単位の符号化ストリームから新たにシーンチェンジ検出対象領域となった領域ＰＡｎおよび領域ＰＢｎを決定し（Ｓ６０３）、その領域に対応する符号化データＰｃｏｍＡｎおよびＰｃｏｍＢｎを読み出す（Ｓ６０４ａ、Ｓ６０４ｂ）。デコーダ１５ａ、１５ｂは符号化データＰｃｏｍＡｎおよびＰｃｏｍＢｎの復号化を行い（Ｓ６０５ａ、Ｓ６０５ｂ）、復号映像バッファ１６ａ、１６ｂに復号化された画像データＰｄｅｃＡｎおよびＰｄｅｃＢｎを生成する（Ｓ６０６ａ、Ｓ６０６ｂ）。ヒストグラム生成部８ａ、８ｂは、復号映像バッファ１６ａ、１６ｂに保持されている復号化された部分領域の画像データＰｄｅｃＡｎおよびＰｄｅｃＢｎから部分領域に対応するヒストグラムをそれぞれ生成するとともに（Ｓ６０６ａ、Ｓ６０６ｂ）、前回の試行までにヒストグラム生成部８ａ、８ｂで求めヒストグラムバッファ１１ａ、１１ｂに保持しておいた前回の試行までの累積ヒストグラムＨＡ（ｎ−１）およびＨＢ（ｎ−１）から、今回の試行で対象となっている領域までの累積ヒストグラムＨＡおよびＨＢを求める（Ｓ６０８ａ、Ｓ６０８ｂ）。差分抽出部９はヒストグラムＨＡおよびＨＢの差異値を計算し（Ｓ６０９）、さらにシーンチェンジ判定部１０で閾値ｄｔｈと差異値を比較することでシーンチェンジを判定する（Ｓ６１０）。シーンチェンジと判定された場合は、シーンチェンジ検出が終了し（Ｓ６１１）、一方シーンチェンジが検出されない場合は、追加領域を設定し（Ｓ６０２）、シーンチェンジ検出の対象領域を拡大してシーンチェンジを継続して実行する。Ｓ６０２においてシーンチェンジ検出の対象領域に追加する領域が存在しない場合、処理は終了となる（Ｓ６１１）。【０１００】
上記構成をとることによって、処理時間を必要とする復号化処理をシーンチェンジ対象としない領域について行わないので、処理負荷を軽減できる。【０１０１】
また、復号化を分割した領域単位で実施するために、ＭＰＥＧストリームのデコードに必要なバッファ、およびデコード済みの復号済みデータを保持するバッファが少なくて済む。特に復号済みの映像データは、データサイズが大きいために、復号済みデータのバッファが不要になることによってシステム全体のコスト低減に効果がある。またデータ量が削減されることによりメモリへのアクセス数やメモリアクセスのためのバンド幅に対する要求が低くなるという効果もある。【０１０２】
実施の形態６においても、実施の形態１について述べたのと同様に、ヒストグラム以外の画像の特性値の差に基づいて、シーンチェンジを検出することとしても良い。ヒストグラム以外の特性値に基づいてシーンチェンジ検出を行う場合には、例えば、図１４のヒストグラム生成部８ａ、８ｂの代わりに、映像特性値を求める手段を設け、ヒストグラムバッファ１１ａ、１１ｂの代わりに累積映像特性値を保持するバッファを設け、差分抽出部９では、映像特性値の差異値を求め、図１５のステップＳ６０７ａ、Ｓ６０７ｂでヒストグラムを生成する代わりに、映像特性値を求め、ステップＳ６０８ａ、６０８ｂで累積ヒストグラムを算出する代わりに累積映像特性値を求め、ステップＳ６０９で、累積ヒストグラム差異値の代わりに、累積映像特性値の差を求めることすれば良い。【０１０３】
実施の形態２は、実施の形態１の変形として説明されたが、実施の形態２で説明した、解析対象となっている領域の面積又は位置によってシーンチェンジ検出ステップにおけるシーンチェンジの判定の閾値を変化させると言う特徴を、実施の形態３乃至６に組み込むこともできる。【０１０４】
実施の形態２乃至６も、実施の形態１について述べたのとの同様に、シーンチェンジ以外の、２つの画像の差の検出に用い得る。【０１０５】
実施の形態７．
図１６は、本発明の実施の形態７のシーンチェンジ検出装置１の構成を示すブロック図である。なお、本実施の形態では、シーンチェンジ検出装置という名称ではあるものの、内容は所望の２つの静止画の画像の差を検出する静止画の画像差検出について説明を行う。その理由は、映像のシーンチェンジを検出する場合においても、映像から任意の２つのフレーム画像を選択し、相互の画像差を検出しているのであり、画像比較を行うという点においては、静止画同士の比較と差異がなく、検出処理を連続的に行うか、一度ずつ個別に行なうかの違いによって、映像のシーンチェンジ検出か、静止画の画像差検出かの違いが存在するにすぎないからである。よって、以降は比較対象が映像であっても、静止画であっても、映像／画像の変化点検出をシーンチェンジ、又はシーンチェンジ検出と呼ぶことにする。また、本実施の形態７では、映像のシーンチェンジ検出の基本というべき任意の２つの静止画の映像差を検出するシーンチェンジ検出装置について説明を行う。【０１０６】
本実施の形態で示すシーンチェンジ検出装置１は図１６に示すように、図示しないハードディスクや光ディスクなどから画像選択部１１９を通じての任意の画像データＰＡ又はＰＢが入力される。
シーンチェンジ検出装置１は、第１及び第２の領域選択部１０７ａ、１０７ｂと、第１及び第２のフレームメモリ５ａ、５ｂと、第１及び第２の読出し制御部１０８ａ、１０８ｂと、第１及び第２のヒストグラム生成部８ａ、８ｂと、差分抽出部９と、閾値設定部１１８と、シーンチェンジ判定部１０と、シーンチェンジ制御部２と、領域制御部７とを有する。【０１０７】
シーンチェンジ制御部２は、シーンチェンジ検出動作の開始、終了や、シーンチェンジ判定部１０の判定結果（シーンチェンジ抽出結果およびシーンチェンジ判定可否結果（シーンチェンジ判定が可能か否かを判定結果）ＮＳＥを検出し、図示しない内部のメモリに保存を行う。【０１０８】
領域選択部１０７ａ、１０７ｂは、画像選択部１１９経由で画像Ａ又は画像Ｂを表す画像データＰＡ、ＰＢのうちの一部をなす部分領域のデータＰｓａ又はＰｓｂを抽出し、フレームメモリ５ａ、５ｂに書き込む。
読出し制御部１０８ａ、１０８ｂは、それぞれフレームメモリ５ａ、５ｂに書き込まれた映像データの一部又は全部を解析対象領域の映像データＰｅａ、Ｐｅｂとして抽出する。
このように、領域選択部１０７ａ、１０７ｂでフレームメモリ５ａ、５ｂに書き込まれたデータのうち、一部又は全部が読み出し制御部１０８ａ、１０８ｂで選択されて、解析対象領域の映像データとして抽出される。
以下、ある「領域の画像データの抽出」を単に「領域の抽出」と言うことがある。
領域制御部７は、シーンチェンジ制御部２の指示により、画像データの１フレーム全領域のうち、領域選択部１０７ａ、１０７ｂに抽出させる領域を設定する。
フレームメモリ５ａ、５ｂの各々は、静止画の少なくとも１画面、即ち１フレーム分のデータ領域を有し、最小１画素から最大１フレームまでの任意サイズの画像データを一時的に蓄積する。【０１０９】
本実施の形態では、後述のように領域選択部１０７ａ、１０７ｂで抽出された部分領域の画像データをフレームメモリ５ａ、５ｂに書き込み、書き込まれた画像データのうち、読み出し制御部１０８ａ、１０８ｂで読み出されたデータに対して、ヒストグラム生成部８ａ、８ｂでヒストグラムを生成し、差分抽出部９で両ヒストグラムの差分が抽出される。領域制御部７により設定される領域は、解析対象領域であり、またシーンチェンジ検出対象領域である。以下この「解析対象領域」、「シーンチェンジ検出対象領域」を単に「対象領域」或いは「比較領域」と言うことがある。また、上記のように、領域選択部１０７ａ、１０７ｂでフレームメモリ５ａ、５ｂに書き込まれたデータのうち、一部又は全部が読み出し制御部１０８ａ、１０８ｂで選択されて、解析対象領域の映像データとして抽出されており、領域選択部１０７ａ、１０７ｂと読出し制御部１０８ａ、１０８ｂとで領域抽出手段１０６ａ、１０６ｂが構成されている。【０１１０】
ヒストグラム生成部８ａ、８ｂは、領域選択部１０７ａ、１０７ｂ及び読出し制御部１０８ａ、１０８ｂにより抽出されたシーンチェンジ検出対象領域の画像データに対して、ヒストグラムを生成する。
ヒストグラムの生成に当たっては、画像データの１又は２以上の成分のヒストグラムを生成すれば良く、例えば輝度信号のヒストグラムでも良く、色差信号のヒストグラムでも良く、色信号（Ｒ，Ｇ，Ｂ信号）のヒストグラムでも良い。
領域選択部１０７ａ、１０７ｂ、読出し制御部１０８ａ、１０８ｂ、およびヒストグラム生成部８ａ、８ｂは、画像Ａ側および画像Ｂ側のそれぞれに独立して設けられ、同様の処理を行う。ただし、フレームメモリ５ａ及び５ｂに書き込まれる領域は必ずしも互いに同じものとは限らない。【０１１１】
差分抽出部９は、ヒストグラム生成部８ａが生成したヒストグラムＨＡとヒストグラム生成部８ｂが生成したヒストグラムＨＢの差（差異値）ｄを上記の実施の形態１の説明で記載した式（１）で算出する。【０１１２】
本実施の形態では、画像の全領域（各フレームの全体）は、幾つかのゾーン（分割領域）に分割されており、分割されたゾーンのうち解析対象となったゾーン数ｎとともに解析対象領域の面積、従って解析対象領域の画像データＰｅａの量が増加する。図の例では、ｎ＝１ではゾーンＺ１のみをシーンチェンジ検出対象領域とし、ｎ＝２ではゾーンＺ１とゾーンＺ２をシーンチェンジ検出対象領域とし、ｎ＝３ではゾーンＺ１とゾーンＺ２とゾーンＺ３をシーンチェンジ検出対象領域とし、以降同様に試行回数ｎによりシーンチェンジ検出対象領域を決定し、最終的にｎ＝Ｎ（＝８）において画像データの全領域と一致するものとする。ここでは、この試行回数ｎを変数とし、上記の式（２）を以下の式（２２）のように表現する。【０１１３】
【数２１】
2008143167.tif 000023
【０１１４】
つまり、画像ＰＡの解析対象領域におけるヒストグラム（ヒストグラムの階級ｋの度数）ＨｉｓｔＡ（ｋ）は、ゾーン単位のヒストグラムｈｉｓｔＡｉ（ｋ）のｎゾーンの総和として表現することができる。【０１１５】
シーンチェンジ判定部１０は、差分抽出部９が算出した差異値ｄと、閾値設定部１１８から供給されるシーンチェンジ判定用閾値（以降、「シーンチェンジ閾値」と言う）ｄｔｈとの比較を行い、差異値ｄがシーンチェンジ閾値ｄｔｈを超えていれば、つまり以下の式（２３）で示す条件を満足すれば、対象画像の間でシーンチェンジが発生したと判定する。
ｄ≧ｄｔｈ      …（２３）【０１１６】
また、閾値設定部１１８は、シーンチェンジ発生の有無の閾値ｄｔｈを設定するほか、対象領域のサイズによって、シーンチェンジ判定が可能か否かを判定（シーンチェンジ判定）するための閾値を持つ。例えば、対象領域が全画像領域の一部であるにも拘わらず、対象領域の画像比較で算出された差異値ｄが十分に大きく、残りの非対象領域が全く同一の画像であったとしてもシーンチェンジが発生したと判定するに十分大きな値（シーンチェンジ判定上限値）ｄｍａｘや、また逆に、対象領域が全画像領域の一部であるにも拘わらず、対象領域の画像比較で算出された差異値ｄが十分に小さく、残りの非対象領域が全く違った画像であったとしてもシーンチェンジが発生しないと判定するに十分小さな値（シーンチェンジ判定下限値）ｄｍｉｎである。【０１１７】
シーンチェンジ判定部は、判定上限値ｄｍａｘや判定下限値ｄｍｉｎを用いることによって、シーンチェンジ判定対象領域が画像全体でなく、一部であったとしても、画像Ａと画像Ｂの全領域のシーンチェンジの発生を検出することができる。なお、上記判定上限値ｄｍａｘおよび判定下限値ｄｍｉｎは、対象領域のサイズによって変更する必要があるため、閾値設定部１１８は領域制御部７から送信される領域情報ＩＰＥによって、判定上限値ｄｍａｘおよび判定下限値ｄｍｉｎの設定を変更する。【０１１８】
次に、シーンチェンジ検出装置１の動作について説明する。シーンチェンジ検出動作開始の指示が、シーンチェンジ制御部２に設定されると、領域制御部７は、別途説明する領域決定方法に従って決定される抽出領域情報を含んだ領域制御信号ＣＰＡ＿ａおよびＣＰＡ＿ｂによって領域選択部１０７ａ、１０７ｂ及び読出し制御部１０８ａ、１０８ｂに抽出領域を指示する。領域選択部１０７ａ、１０７ｂは、画像差を検出する対象である画像Ａおよび画像Ｂから、領域制御部７によって指示された領域の画像データＰｓａ及びＰｓｂをそれぞれフレームメモリ５ａ、５ｂに読み込み、フレームメモリに読み込まれた画像の全てのデータ又は一部が領域制御部７によって制御される読出し制御部１０８ａ、１０８ｂによって選択された領域に対してヒストグラム生成部８ａ及び８ｂはヒストグラムを生成する。生成されたｎ番目のゾーンまでのヒストグラムＨＡｎおよびＨＢｎを使って、差分抽出部９は画像Ａおよび画像Ｂのそれぞれ抽出された領域における画像の差異値ｄを算出する。さらにシーンチェンジ判定部１０は、閾値設定部１１８によって設定されたシーンチェンジ閾値ｄｔｈと、差異値ｄを比較して、式（２２）で示す条件を満たせばシーンチェンジが発生したと判定することができる。【０１１９】
ここでは、領域の分割の方法として、図１７で示すように画像データ中の１フレーム分の画像の全領域を８つの帯状のゾーン（スライス）Ｚ１〜Ｚ８に分割し、あるゾーンまでの画像データがフレームメモリ５ａ、５ｂに、読み込まれているものとする。図１７では、画像ＡはゾーンＺ６まで読み込まれ、画像ＢはゾーンＺ４まで読み込まれていることを示している。このとき読み出し制御部１０８ａ、１０ｂは、画像Ａおよび画像Ｂの双方に関し、フレームメモリ５ａ、５ｂに書き込まれている領域であるゾーンＺ１からゾーンＺ４までを解析対象領域として読み出し、ヒストグラムグラム生成部８ａ、８ｂは、読み出し制御部１０８ａ、１０８ｂで読み出されたゾーンＺ１からＺ４までのデータについてヒストグラムを生成する。【０１２０】
差分抽出部９は、部分領域のヒストグラム（ゾーンＺ１からゾーンＺｎ（ｎは１乃至８のいずれか）までのヒストグラムグラム）ＨＡｎおよびＨＢｎに対して差異値ｄを求め、シーンチェンジ判定部１０は、シーンチェンジ判定上限値ｄｍａｘおよびシーンチェンジ判定下限値ｄｍｉｎと比較し、差異値ｄがシーンチェンジ判定上限値ｄｍａｘを超えていればシーンチェンジが発生したと判定し、一方でシーンチェンジ判定下限値ｄｍｉｎを下回っていればシーンチェンジは発生しないと判定し、画像Ａと画像Ｂのシーンチェンジ検出を完了する。【０１２１】
また、差異値ｄがシーンチェンジ判定下限値ｄｍｉｎとシーンチェンジ判定上限値ｄｍａｘの間であれば、シーンチェンジ発生の有無が判定できないので、シーンチェンジ制御部２は領域制御部７に対して領域拡大を指示する制御信号を送り、この場合であれば画像Ｂに対してゾーンを追加して対象領域を拡大する制御信号ＣＰＡ＿ｂが領域制御部７から領域選択部１０７ｂに送られる。領域選択部１０７ｂは、画像ＢからゾーンＺ５をフレームメモリ５ｂに読み出す。読み出し制御部１０８ｂは、追加されたゾーンＺ５のデータを読み出し、ヒストグラム生成部８ｂは追加されたゾーンＺ５を加えたゾーンＺ１からゾーンＺ５までの領域に対してヒストグラムＨＢｎを生成する。一方で読み出し制御部１０８ａもゾーンＺ５のデータを読み出し、ヒストグラム生成部８ａも、画像Ｂの領域サイズに合わせてゾーンＺ１からゾーンＺ５までの領域に対してヒストグラムＨＡｎを生成する。【０１２２】
差分抽出部９は、それぞれ拡大されたゾーンＺ１からゾーンＺ５までの領域についてのヒストグラムＨＡｎおよびＨＡｎから差異値ｄを求める。ここで、閾値設定部１１８は、領域制御部７から領域情報ＩＰＥを得ており、この領域情報ＩＰＥを元にシーンチェンジ判定上限値ｄｍａｘとシーンチェンジ判定下限値ｄｍｉｎを再設定する。シーンチェンジ判定部１０は、閾値設定部１１８によって設定されたシーンチェンジ判定上限値ｄｍａｘおよびシーンチェンジ判定下限値ｄｍｉｎと差異値ｄを比較して、上記と同様に差異値ｄがシーンチェンジ判定上限値ｄｍａｘを超えていれば（下記の式（２４Ｂ）が満たされれば）シーンチェンジが発生したと判定し、一方でシーンチェンジ判定下限値ｄｍｉｎを下回っていれば（下記の式（２４Ａ）が満たされれば）シーンチェンジは発生しないと判定を行う。
ｄ＜ｄｍｉｎ      …（２４Ａ）
ｄｍａｘ＜ｄ      …（２４Ｂ）【０１２３】
次に、図１９で示すようにフレームメモリ５ａ、５ｂに読み込まれた画像Ａと画像Ｂの領域が違う場合について、図１８を参照して処理手順を説明する。本説明では画像Ａについては、ゾーンＺ１からゾーンＺ６までがフレームメモリ５ａに読み込まれており、一方画像Ｂについては、ゾーンＺ１からゾーンＺ４までがフレームメモリに読み込まれているものとする。図１８において、シーンチェンジ処理が開始すると（Ｓ７０１）、最初に読み出し制御部１０８ａ、１０ｂが画像Ａと画像Ｂについてフレームメモリ５ａ、５ｂに読み込まれている領域のサイズの比較を行い、図１９中の画像Ａと画像Ｂにおいて共通の領域である破線で示す領域（ゾーンＺ１からゾーンＺ４までの領域）についてシーンチェンジの判定対象とする領域に設定する（Ｓ７０２）。この領域について画像Ａおよび画像Ｂからデータの抽出を行い（Ｓ７０４）、フレームメモリ５ａ、５ｂに展開し（Ｓ７０５）、ヒストグラム生成部８ａ、８ｂが双方のヒストグラムを作成し（Ｓ７０６）、差異値ｄの算出を行う（Ｓ７０７）。ステップＳ７０８では上記と同様に差異値ｄがシーンチェンジ判定上限値ｄｍａｘを超えていればシーンチェンジが発生したと判定し、一方でシーンチェンジ判定下限値ｄｍｉｎを下回っていればシーンチェンジは発生していないと判定する。この処理によってシーンチェンジ発生が発生した、又はシーンチェンジが発生しなかったと判断できない場合、つまり
ｄｍｉｎ＜ｄ＜ｄｍａｘ
であれば、ステップＳ７０２に戻り、画像サイズの設定を行う。【０１２４】
ステップＳ７０２では、前回の領域に対してシーンチェンジ判定を行うことができなかったので、画像ＢのゾーンＺ５を追加することを決定し、追加ゾーンＺ５を画像Ｂから抽出し（Ｓ７０４）、フレームメモリに書き込む（Ｓ７０５）。そして、ゾーンＺ１からゾーンＺ５までの部分領域について画像Ａと画像Ｂのヒストグラムを求め（Ｓ７０６）、差異値ｄを算出し（Ｓ７０７）、再度シーンチェンジ判定条件（式（２４Ａ）及び式（２４Ｂ）と照合し、この条件を満たさなければ、解析対象領域がいまだ１フレーム全体に達していないことを確認した上で（Ｓ７１０で「いいえ」）、ステップＳ７０２に戻る。ステップＳ７０８で、上記のシーンチェンジ判定条件が満たされる場合、即ちシーンチェンジ判定ができた場合には、処理を終了する（Ｓ７０９）。また、ステップＳ７１０で、解析対象領域が１フレーム全体に達している場合にも処理を終了する（Ｓ７０９）。【０１２５】
次に図２０を参照して、フレームメモリ５ａ、５ｂに読み込まれている画像Ａと画像Ｂの領域が同一の場合について説明する。この場合、ステップＳ７０１〜Ｓ７０５の処理の後、ゾーンＺ１からゾーンＺ６までの部分領域についてそれぞれヒストグラムを作成し（Ｓ７０６）、差異値の抽出を行う（Ｓ７０７）。その状態においてシーンチェンジ判定を行い（Ｓ７０８）、シーンチェンジの判定ができなかったものとする。次に、画像Ａと画像Ｂの領域サイズの設定処理Ｓ７０２において、画像Ａと画像Ｂが同一サイズなので画像Ａと画像ＢともにゾーンＺ７を解析対象に加え、画像Ａおよび画像ＢからそれぞれゾーンＺ７を抽出し（Ｓ７０４）、フレームメモリ５に読み込む。そこでヒストグラム生成部８ａ、８ｂはゾーンＺ１からゾーンＺ７までの部分領域に対するヒストグラムを算出し、さらにそれぞれのヒストグラムの差異値を求め（Ｓ７０７）、シーンチェンジおよびシーンチェンジ判定条件による検証を行う。ここでシーンチェンジ判定条件を満たせば、シーンチェンジ処理を終了し（Ｓ７０９）、そうでなければ、解析対象領域がいまだ１フレーム全体に達していないことを確認した上で（Ｓ７１０で「いいえ」）、ステップＳ７０２に戻り、さらに解析対象領域を拡大することによってシーンチェンジ検出のための処理を続行する。このような解析対象領域の拡大は、有効な画像がなくなるまで（ステップＳ７１０で解析対象領域が１フレーム全体に達したと判断されるまで）実行され、１フレームの画像の全領域（全てのゾーン）に対してのヒストグラムおよび差異値を求めた段階でシーンチェンジ判定条件を満たさなければ、今回検出対象とした画像の間に、明らかな有意差が発生していなかったと判定する。【０１２６】
次に、画像Ａと画像Ｂのそれぞれの画像ごとにシーンチェンジ検出のための、画像Ａに対する処理と画像Ｂに対する処理を並列的に実行する手順の例を図２１乃至図２３に示す。
図２１に示されるメインタスクはシーンチェンジ検出が開始（Ｓ８０１）すると、図２２に示される、画像Ａに対する処理ＦＡの開始（Ｓ８０２）と、図２３に示される画像Ｂに対する処理ＦＢの開始（Ｓ８０３）の指示を行い、ステップＳ８０４にて処理ＦＡ又は処理ＦＢの終了待ち状態に入る。【０１２７】
図２２に示される処理ＦＡと、図２３に示される処理ＦＢは、それぞれ画像Ａ、画像Ｂに対する処理を別々のタスクとして表示しているに過ぎず、処理内容は同一であるために、以下では処理ＦＡについてのみ説明する。【０１２８】
図２２に示されるように、起動された処理ＦＡ（Ｓ８１０）は、まず領域制御部７による領域制御信号ＣＰＡ＿ａの設定又は処理ＦＡの終了指示Ｍ８１１を待つ（Ｓ８１１）。領域制御部７から領域制御信号ＣＰＡ＿ａを受け取った領域選択部１０７ａは、画像Ａからあるゾーンの抽出を行い（Ｓ８１２）、フレームメモリ５ａに書き込む（Ｓ８１３）。次に読み出し制御部１０８ａがフレームメモリ５ａからデータを読み出し、ヒストグラム生成部８ａはヒストグラムを生成し（Ｓ８１４）、処理ＦＢにて同様に算出されているヒストグラムとの差異値を求める（Ｓ８１５）。【０１２９】
次に、式（２４Ａ）及び式（２４Ｂ）で示すように差異値ｄと、シーンチェンジ判定上限値ｄｍａｘおよびシーンチェンジ判定下限値ｄｍｉｎとの比較を行い、差異値ｄがシーンチェンジ判定上限値ｄｍａｘを超えていればシーンチェンジが発生したと判定し、一方でシーンチェンジ判定下限値ｄｍｉｎを下回っていればシーンチェンジは発生していないとの判定を行う（Ｓ８１６）。【０１３０】
シーンチェンジ判定が不可能と判断すれば、解析対象領域がいまだ１フレーム全体に達していないことを確認した上で（Ｓ８１９で「いいえ」）、領域制御部７からの領域制御信号ＣＰＡ＿ａ又は処理ＦＡ終了指示を待つ状態（Ｓ８１１）に移行する。シーンチェンジ判定が可能であり、シーンチェンジが発生している、又はシーンチェンジが発生していないと判断できれば処理ＦＡの終了通知（Ｍ８１７）を行い（Ｓ８１７）処理の終了となる（Ｓ８１８）。また、ステップＳ８１９で、解析対象領域が１フレーム全体に達している場合にも処理を終了する（Ｓ８１７）。【０１３１】
メインタスクでは処理ＦＡ又は処理ＦＢの終了通知待ちをしており、ステップＳ８１７による処理ＦＡの終了通知を受け取ると、処理ＦＢに対して終了を指示する（Ｓ８０５）。処理ＦＢは、領域制御待ち（Ｓ８２１）において、領域制御部７からの領域制御ＣＰＡ＿ｂ、又はメインタスクからの終了指示を待っており、メインタスクからの終了指示が発行されると（Ｓ８０５）、領域制御待ち（Ｓ８２１）から開放され、処理ＦＢの終了となる（Ｓ８２８）。
逆に処理ＦＢがシーンチェンジ判定を先に完了した場合も同様である。【０１３２】
本実施の形態では、任意の２つの静止画の間の画像差を検出する装置ならびに方法について説明を行ったが、映像に含まれるシーンの変化点の検出に対しても適応できる。理由については前述したように、映像は、静止画像を連続的につなぎ合わせたものであり、またシーンチェンジについても、映像中の任意の２つの静止画の画像差の比較を行うことによって検出することができるからである。【０１３３】
上記のように構成することによって、２つの画像の差を検出することができる。
また、２つの画像の差を検出するにあたり、画像全体のデータを処理することなく、部分領域で画像全体の差を検出することができる。【０１３４】
さらに、比較する２つの画像の全領域（全てのゾーン）を常にフレームメモリ５ａ、５ｂ等に読み出す必要がないために、画像データが蓄積されている、画像選択部１１９の入力側にあるハードディスクや、光ディスク等へのアクセス回数、アクセス時間、転送時間を削減することができる。【０１３５】
さらに、比較する２つの画像の全領域（全てのゾーン）を常にシーンチェンジ検出のための対象領域としないので、シーンチェンジ抽出処理に必要とする時間を少なくすることができる。また、処理を行うシーンチェンジ検出装置自身の負荷を抑えることが可能である。【０１３６】
また、分割ゾーンの中で、早期にシーンチェンジ抽出領域となるゾーン、例えばゾーンＺ１やゾーンＺ２において、シーンチェンジと判定するに十分な差があった場合、全てのゾーンを解析する必要が無いので、高速にシーンチェンジ抽出を完了することができる。【０１３７】
また、ある部分領域でシーンチェンジの判定ができなかった場合においても、対象領域を逐次拡大することによって、シーンチェンジの判定が可能となり、最小の部分領域でシーンチェンジの判定を行うことができる。【０１３８】
また、シーンチェンジ解析対象となる部分領域は、逐次拡大されていくために、２つの画像間の画像差を比較する上で、最小の画像領域を読み出すだけでよく、結果、処理時間の高速化を図ることができる。【０１３９】
また、本実施の形態ではシーンチェンジ検出の対象領域の最大値を画像の全領域に固定しているが、可変にしてもよい。つまり、シーンチェンジ検出の対象領域の最大値（最大限度）をシーンチェンジ検出毎に変化させるように構成することとしても良い。こうすることによって、シーンチェンジの検出の感度や、速度を制御することができる。例えば画面の下部領域（下端に近い領域）を解析対象領域に含めないことによって、例えば、映画や音楽番組で画像の下部領域に良く表示される字幕にシーンチェンジ検出が反応しないようにすることでき、シーンチェンジの検出精度を向上することができる。【０１４０】
また、本シーンチェンジ装置が他のシステムに組み込まれた場合など、システム全体の負荷が高い場合に、検出領域の最大値を減らす、又は、途中の領域を検出対象と含まないようにすることによって、シーンチェンジ検出動作の完了を速めることができ、結果としてシステムの負荷を減らすことに貢献できる。【０１４１】
実施の形態７の画像差検出装置では、画像の差を検出するためにヒストグラムを用いているが、ヒストグラム以外の方法、例えば動きベクトルを用いた方法や比較する画像の特定位置の画素値を直接比較することによって画像差を検出しても良い。即ち、ヒストグラム以外の画像特性値の差に基づいて、画像差を検出することとしても良い。ヒストグラム以外の画像特性値に基づいて画像差検出を行う場合には、例えば、図１６のヒストグラム生成部８ａ、８ｂの代わりに、画像特性値を求める手段を設け、差分抽出部９では、画像特性値の差を求め、図１８のステップＳ７０６、図２２のステップＳ８１４、及び図２３のステップＳ８２４でヒストグラムを生成する代わりに、画像特性値を求めることとすれば良い。【０１４２】
実施の形態８．
図２４は、本発明の実施の形態８のシーンチェンジ検出装置１の構成を示すブロック図である。実施の形態７では、静止画を対象としていたが、本実施の形態８では映像を解析の対象とする。図２４で、図１６と同じ符号は、同一または同様の部材を示す。【０１４３】
図２４に示されるシーンチェンジ検出装置１は、図１６の装置に加え、映像が記録されているハードディスクドライブ（ＨＤＤ）１１３、映像の任意のフレームからシーンチェンジ判定の対象とする１フレームを抽出する映像入力部１０３と、入力される映像データＰが奇数番目のフレームのものか、偶数番目のフレームのものかによって、映像入力部１０３からの映像データＰをフレームメモリ５ａ又はフレームメモリ５ｂに切り替えるスイッチ４が付加されている。【０１４４】
スイッチ４は、シーンチェンジを検出する対象となる２つの映像信号の入力を、１フレーム単位で、それぞれフレームメモリ５ａ又はフレームメモリ５ｂへ切り替えを行う。シーンチェンジ制御部２は、映像入力部１０３からの映像データＰをフレームメモリ５ａ又はフレームメモリ５ｂに切り替える画像選択制御信号ＣＦＩによって、スイッチ４を領域選択部１０７ａ側に倒す（スイッチ４を、映像入力部１０３の出力Ｐを領域選択部１０７ａに供給する状態にする）、又は領域選択部１０７ｂ側に倒す（スイッチ４を、映像入力部１０３の出力Ｐを領域選択部１０７ｂに供給する状態にする）制御を行う。【０１４５】
次に、図２４に示されるシーンチェンジ検出装置１の動作について説明する。シーンチェンジ検出動作開始の指示が、シーンチェンジ制御部２に設定されると、映像入力部１０３から映像データの供給が開始される。スイッチ４は、シーンチェンジ制御部２からのフレームメモリ入力制御信号ＣＦＩに従い、入力フレームのシーンチェンジ対象とするフレーム番号が奇数であれば入力映像データＰを領域選択部１０７ａに、偶数であれば映像データＰを領域選択部１０７ｂに供給する。なお、シーンチェンジ検出を行なうに際し、相前後するフレーム（奇数番目のフレームと偶数番目のフレーム）間の差異を求める代わりに、互いに数フレーム離れたフレーム間の差異を求めることもできる。例えば、所定数のフレームごとに１フレームを抽出し、相前後して抽出されたフレーム間の差異に基づきシーンチェンジを検出することとしても良い。この場合、順次抽出されるフレームの映像データを交互にフレームメモリ５ａ、５ｂに供給して記憶させる。例えば、（動作開始後）奇数番目に抽出された一つのフレームを一つのフレームメモリ例えば５ａに供給し、偶数番目に抽出された別のフレームを他方のフレームメモリ５ｂに供給する。また、２つのフレーム間でシーンチェンジを検出する場合、シーンチェンジ検出対象とする２つのフレームが時間的に近接したものでなくても良く、時間的に離れたものであっても良い。この場合、一つのフレームを基準フレームとして固定し、これと比較される他方のフレームを順次入れ替えことによって、基準フレームに対するシーンチェンジ検出を行なう構成であっても良い。【０１４６】
シーンチェンジ制御部２は、次にシーンチェンジ検出を行うために比較対象となる領域を抽出することを指示する命令（領域抽出指示ＣＰＥ）を領域制御部７に発行する。領域制御部７はシーンチェンジ解析対象とする領域に対して抽出を行うことを指示する領域制御信号ＣＰＡ＿ａ又はＣＰＡ＿ｂを領域選択部１０７ａ又は１０７ｂ及び読み出し制御部１０８ａ又は１０８ｂに送る。領域選択部１０７ａ、１０７ｂ及び読み出し制御部１０８ａ、１０８ｂは、映像入力部１０３からスイッチ４を経由して入力された画像データＰＡ、ＰＢから当該シーンチェンジ抽出対象となる領域を抽出し、フレームメモリ５ａ、５ｂに書き込む。以降の処理は実施の形態７と同様である。【０１４７】
次に、図２５（ａ）及び（ｂ）を参照して映像データに対して、部分領域でシーンチェンジ抽出を行う仕組みについて説明する。ここでは、説明の簡略化のために奇数フレームと偶数フレームを交互に、また連続したフレーム番号間で比較するものとしている。また、各フレームの分割したゾーンの各々はフレーム全体の１０％であり、従ってゾーンを一つ追加することによる増分割合は１０％であるとしている。図２５（ａ）では、フレームメモリ５ａ、５ｂに記録された各フレームにおける解析対象領域について「前側のフレームとの比較に使用された領域」を左下がりの斜線を施して示し、「後側のフレームとの比較のために拡大された領域」を右下がりの斜線を施して示し、一方で解析対象とならない領域については、斜線を施していない。図２５（ｂ）には、第１乃至第６フレームについて、前後のフレームとの比較の際に解析対象となる領域の、フレーム全体に占める割合を示す。【０１４８】
連続した映像の比較では、まず第１フレームと第２フレームの比較を行う。第１フレームと第２フレームの比較においては、第１フレームと第２フレームの各分割領域（ゾーン）が同時にフレームメモリ５ａ、５ｂに読み込まれ、読み込まれる毎にヒストグラムを生成し、差異値を導出し、シーンチェンジ判定を行う。第１フレームと第２フレームの解析対象領域は、１０％、２０％、３０％、・・・７０％、８０％と、１回ごとに１０％増えていき、図２５（ａ）及び（ｂ）に示すように、８０％の領域を使った比較においてシーンチェンジの判定が完了している。【０１４９】
続いて、第２フレームと第３フレームとの比較を行う。第２フレームと第３フレームの比較においては、第２フレームの画像データは既に８０％が読み込まれているために、第３フレームのみ１０％増分でフレームメモリ５ａに読み込みを行っていき、第２フレームと第３フレームが共通してフレームメモリ５ａ、５ｂに読み込まれている領域について、ヒストグラムと差異値を算出し、シーンチェンジ判定を行っていけばよい。第２フレームと第３フレーム間のシーンチェンジ検出においては、図２５（ａ）及び（ｂ）に示すように、３０％の領域でシーンチェンジ判定が完了したとする。【０１５０】
次に第３フレームと第４フレームの比較を行う。第３フレームは既に３０％をフレームメモリ５ａに読み出しており、よって３０％までは第４フレームを１０％ずつフレームメモリ５ｂに読み出し、上記と同様にヒストグラムと差異値の算出と、シーンチェンジ判定を行っていけばよい。しかし、３０％の領域でシーンチェンジ判定が完了しない場合、過去側（先行側）である第３フレームについても領域を拡大する必要がある。ここでは、第３フレームは後側（後続側）の第４フレームとの比較のために、図２５（ａ）及び（ｂ）に示されるように、６０％まで領域が拡大される。【０１５１】
ここで注意を要するのは、映像のように時間的な並びを有するデータに対して、上記方法のように必要に応じて（時間経過後も）解析対象領域を拡大する場合、各フレームのデータを、当該フレームを用いたシーンチェンジ検出の処理が終わるまでの間、保持しておくメモリ領域が必要なことである。本実施の形態では、蓄積媒体としてＨＤＤ１１３からデータを読み出すこととしており、第３フレームと第４フレームの比較の例に示すように、後側とのフレーム比較においても、先行する第３フレームの解析対象領域を拡大することができる。映像の各フレームの保持方法については、本実施例で示すようなＨＤＤといった永続的な蓄積媒体だけではなく、数フレームから数十フレームを保持可能な揮発性メモリであってもよい。【０１５２】
以下、第４フレームと第５フレームの比較、第５フレームと第６フレームとの比較も同様に行なわれる。第５フレームと第６フレームとの比較においては、図示のように、７０％まで領域が拡大される。【０１５３】
次に映像ストリーム内の先行する画像Ａと後続する画像Ｂについて、画像領域を分割してシーンチェンジ検出を行うシーンチェンジ判定シーケンスについて、図２６を参照して説明する。【０１５４】
シーンチェンジ解析処理が開始すると（Ｓ９０１）、画像Ａおよび画像Ｂについてフレームメモリ５ａ、５ｂにあるシーンチェンジ解析対象となり得る領域のサイズを比較する（Ｓ９０２）。先行する画像Ａが、以前にさらに先行する画像とシーンチェンジ検出処理を行っていたとすると、既にフレームメモリ５ａにはいくらかの部分領域データが存在し、一方画像Ｂについては、初めてシーンチェンジ処理を実行するのであれば、解析対象となり得る領域のデータは全く存在していない。よって、画像Ｂに比べて画像Ａの領域が大きいためにステップＳ９０３に移る。ステップＳ９０３では、解析対象となり得る領域が少ない画像Ｂについて、あらかじめ設定した領域の追加を行い、追加した領域をフレームメモリ５ｂに書き込む（Ｓ９０４）。この領域の追加は例えば図１７、図１９、及び図２０に示すのと同様にゾーン単位で行なわれる。【０１５５】
ステップＳ９０５では、フレームメモリ５ｂに存在する画像Ｂのデータに対してヒストグラムを生成するが、もし画像Ａのヒストグラムが存在しなければ合わせて画像Ａのヒストグラムも生成する。次に、画像Ａと画像Ｂのヒストグラムの差異値ｄを求め（Ｓ９０６）、その差異値ｄに対して、画像Ａと画像Ｂ全体のシーンチェンジを判定できるかいなかの判定（式（２４Ａ）、式（２４Ｂ））を行い（Ｓ９０７）、シーンチェンジ判定が可能であれば、即ちシーンチェンジ判定ができた場合には、処理を終了し（Ｓ９０９）、シーンチェンジ判定ができないのであれば、解析対象領域がいまだ１フレーム全体に達していないことを確認した上で（Ｓ９１０で「いいえ」）、ステップＳ９０２に戻る。【０１５６】
本処理において、後続する画像Ｂの部分領域（処理対象領域）を拡大してシーンチェンジ判定を繰り返し行ってもシーンチェンジ判定ができなかったとすると、画像Ｂの解析対象領域のサイズが次第に大きくなり、ついには、画像Ａと画像Ｂの解析対象の領域サイズが同じになる。その後は、画像Ａと画像Ｂの双方の領域を拡大し（Ｓ９２０）、それぞれ拡大した領域のデータをフレームメモリ５ａ、５ｂに書き込み（Ｓ９２１）、それぞれヒストグラム生成部８ａ、８ｂでヒストグラムを生成する（Ｓ９２２）。そして差分抽出部９で双方のヒストグラムの差異値を算出し（Ｓ９０６）、シーンチェンジ判定部１０で、再度シーンチェンジ判定を行う（Ｓ９０７）。【０１５７】
上記のように構成することによって、映像中のシーンチェンジ検出を行なうことができる。
また、部分的な領域に対してシーンチェンジ判定を行うことにより、画像全体のシーンチェンジ判定が可能となる。【０１５８】
さらに、部分領域でシーンチェンジの判定を行うので、画像全体で比較することに比べ、高速にシーンチェンジ検出を行うことができる。【０１５９】
シーンチェンジ判定は、対象領域を逐次拡大して行うために、２つの画像間の差に応じた最小の領域サイズおよび処理時間でシーンチェンジ検出を行うことができる。【０１６０】
実施の形態９．
図２７に、本発明の実施の形態９のシーンチェンジ検出装置１の構成を示すブロック図である。本実施の形態９は、圧縮符号化された映像データを処理する。そのため、圧縮符号化された映像ストリームに対してフレーム単位で伸張を行うデコーダ１１２ａ、１１２ｂが付加されている。図２７で、図２４と同じ符号は、同一または同様の部材を示す。【０１６１】
図２７に示されるシーンチェンジ検出装置１においては、圧縮符号化されている映像ストリームがハードディスクドライブ（ＨＤＤ）１１３に保存されている。スイッチ４は、映像ストリームのフレームが奇数番目か、偶数番目かによって、圧縮符号化されている１フレーム単位の映像データＰをストリームバッファ１１１ａ、１１１ｂに送り込む。ストリームバッファ１１１ａ、１１１ｂは映像データＰを一時的に保存する。領域選択部１０７ａ、１０７ｂは、ストリームバッファ１１１ａ、１１１ｂに一時的に保存されている１フレーム単位の映像符号化データから、領域制御部７から送られてくる領域制御信号ＣＰＡ＿ａ、ＣＰＡ＿ｂで指定される１フレーム又は１フレームの部分領域に対応するデータをデコーダ１１２ａ、１１２ｂに送り込む。【０１６２】
ストリームバッファ１１１ａ、１１１ｂに保存されている映像ストリームデータの１フレーム単位及び／又は分割領域単位のデータアドレス情報（記録位置）は領域制御部７が管理する。領域制御部７から領域選択部１０７ａ、１０７ｂに送られる領域制御信号ＣＰＡ＿ａ、ＣＰＡ＿ｂには、抽出する部分領域の記録位置を示す情報として、ストリームバッファ１１１ａ、１１１ｂにおけるアドレス情報が含まれる。【０１６３】
デコーダ１１２ａ、１１２ｂは、領域選択部１０７ａ、１０７ｂから送り込まれた部分又は部分領域に対応する圧縮符号化されたデータを伸張（以下、デコード）し、フレームメモリ５ａ、５ｂに書き込む。デコーダ１１２ａ、１１２ｂは、１フレーム単位で伸張（以下、デコード）するだけでなく、１フレームデータ内の部分データ又は部分領域に対応するデータに対してのみデコードすることもできる。【０１６４】
次に、図２７に示されるシーンチェンジ検出装置１の動作について説明する。シーンチェンジ検出動作開始の指示が、シーンチェンジ制御部２に設定されると、映像入力部１０３から圧縮符号化された映像ストリームＥの供給が開始される。スイッチ４は、シーンチェンジ制御部２からのフレームメモリ入力制御信号ＣＦＩに従い、入力フレームのシーンチェンジ対象とするフレーム番号が奇数であれば入力映像ストリームＥＡとしてストリームバッファ１１１ａに、偶数であれば映像ストリームＥＢとしてストリームバッファ１１１ｂに供給する。【０１６５】
シーンチェンジ制御部２は、次にシーンチェンジ検出を行うために比較対象（解析対象）となる領域を抽出することを指示する命令（領域抽出指示ＣＰＥ）を領域制御部７に発行する。領域制御部７はシーンチェンジ解析対象とする領域に対して抽出を行うことを指示する領域制御信号ＣＰＡ＿ａ又はＣＰＡ＿ｂを領域選択部１０７ａ又は１０７ｂに送る。領域選択部１０７ａ、１０７ｂは、ストリームバッファ１１１ａ、１１１ｂに記録された１フレーム単位の圧縮符号化データから、当該シーンチェンジ抽出対象となる領域に相当する圧縮符号化データｅＡ、ｅＢを抽出し、デコーダ１１２ａ、１１２ｂに送る。デコーダ１１２ａ、１１２ｂは領域選択部１０７ａ、１０７ｂから送られた部分領域又は最大１フレーム分に相当する圧縮符号化データをデコードし、フレームメモリ５ａ、５ｂに書き込む。以降の処理は実施の形態７と同様である。【０１６６】
次に、図２８を参照して圧縮符号化映像に対して、部分領域でシーンチェンジ抽出を行う仕組みについて説明する。【０１６７】
シーンチェンジ解析処理が開始すると（Ｓ１１０１）、ＨＤＤ１１３に記録されている圧縮符号化映像ストリームから、１フレームに相当する映像データをストリームバッファ１１１ａ、１１１ｂに読み込む（Ｓ１１０２）。次に、領域制御部７は、シーンチェンジの進捗状況に応じてシーンチェンジ解析対象とする部分領域を決定する（Ｓ１１０３）。部分領域の決定は実施の形態８について図２６を参照して説明した方法で行い得る。【０１６８】
次に、ステップＳ１１０３で決定した部分領域に応じた圧縮符号化映像データをストリームバッファ１１１ａ、１１１ｂから抽出する（Ｓ１１０４）。デコーダ１１２ａ、１１２ｂは抽出された前記データについてデコードを行い（Ｓ１１０５）、フレームメモリに展開する（Ｓ１１０６）。それぞれヒストグラム生成部８ａ、８ｂでヒストグラムを生成し（Ｓ１１０７）、差分抽出部９で画像Ａおよび画像Ｂの双方のヒストグラムの差異値ｄを求める（Ｓ１１０８）。次いで、シーンチェンジ判定部１０で差異値ｄに対して式（２４Ａ）及び式（２４Ｂ）に基づき、シーンチェンジ判定を行い（Ｓ１１０９）、シーンチェンジ判定が可能であれば（、即ちシーンチェンジ判定ができた場合には）処理を終了し（Ｓ１１１１）、シーンチェンジ判定が不可能であれば、解析対象領域がいまだ１フレーム全体に達していないことを確認した上で（Ｓ１１１０で「いいえ」）、ステップＳ１１０３に戻り、再度、解析対象領域を決定する。このときには後述するように、画像Ａ及び画像Ｂのうちの、解析対象領域が小さい方の画像について領域を拡大して再度ステップＳ１１０４からステップＳ１１０９の処理を実行するか、画像Ａおよび画像Ｂの双方の領域を拡大して同様にステップＳ１１０４からステップＳ１１０９の処理を行う。上記処理を繰り返し、ステップＳ１１０９において式（２４Ａ）及び式（２４Ｂ）の条件を満たすか、又は解析対象領域が１フレーム全体に達している場合には（Ｓ１１１０で「はい」）、処理を終了する。【０１６９】
なお、本実施の形態では、ストリームバッファ１１１ａ、１１１ｂに映像が一時的に保存され、ストリームバッファ１１１ａ、１１１ｂ内に存在するデータのアドレスを管理する領域制御部７によって、１フレーム又は１フレーム内の部分領域のデータを領域選択部１０７ａ、１０７ｂが抽出する構成をとっており、領域制御部７がストリームバッファ１１１ａ、１１１ｂに保存された映像データの１フレーム又はその部分領域の記録位置を管理する手段を構成しているが、図２９で示すように、映像が永続的に記録されているＨＤＤ１１３と、ＨＤＤ１１３に記録されている映像の１フレームおよびその部分領域のアドレス位置を管理するＨＤＤ管理部１１４で構成されても良い。この場合、領域制御部７では解析対象とする映像の１フレーム、又は１フレーム内の部分領域を決定し、その情報である映像データ領域情報ＩＡＲをＨＤＤ管理部１１４に送り、ＨＤＤ管理部１１４は、ＨＤＤ１１３に記録されている映像から、指定されたフレームの指定された領域に対応するデータ位置を判定し、領域選択部１０７ａ、１０７ｂによって抽出を行う構成をとる。【０１７０】
この場合、ＨＤＤ管理部１１４が、映像記録手段としてのＨＤＤ１１３に保存された映像データの１フレーム単位、又はその部分領域の記録位置を管理する手段を構成する。【０１７１】
なお、永続的な記録媒体としてＨＤＤの例を示したが、ＨＤＤに限定されるものでなく、光、磁気等のディスクメディア、テープメディア、フラッシュメモリ等他の記録媒体であっても良い。
また、画像データの保存する期間は永続的でなくても、各フレームの画像をそのフレームの画像を使ったシーンチェンジ検出が終わるまでの期間保持することができれば良い。【０１７２】
上記のように構成することによって、映像中のシーンチェンジ検出を行なうことができる。
また、映像が圧縮符号化されたストリームに対しても、部分的な領域に対してシーンチェンジ判定を行うことにより、画像全体のシーンチェンジ判定が可能となる。【０１７３】
さらに、部分領域でシーンチェンジの判定を行うので、画像全体で比較することに比べ、高速にシーンチェンジ検出を行うことができる。【０１７４】
さらに、処理負荷の高いデコード処理が部分領域のデータに対してのみ実行を行えば良いので、処理負荷が軽く、結果として高速に処理が完了する。【０１７５】
さらに、シーンチェンジ判定は、対象領域を逐次拡大して行うために、２つの画像間の差に応じた最小の領域サイズおよび処理時間でシーンチェンジ検出を行うことができる。【０１７６】
さらに、ＨＤＤ等の不揮発性記録媒体を用いることによって、シーンチェンジ抽出用のストリームバッファを用いる必要がない。【０１７７】
実施の形態８や実施の形態９のシーンチェンジ装置では映像の差を検出するためにヒストグラムを用いているが、ヒストグラム以外の方法、例えば動きベクトルを用いた方法や比較する画像の特定位置の画素値を直接比較することによってシーンチェンジを検出しても良い。即ち、ヒストグラム以外の映像特性値の差に基づいて、シーンチェンジを検出することとしても良い。ヒストグラム以外の映像特性値に基づいてシーンチェンジ検出を行う場合には、例えば、図２４、図２７、及び図２９のヒストグラム生成部８ａ、８ｂの代わりに、映像特性値を求める手段を設け、差分抽出部９では、映像特性値の差を求め、図２６のステップＳ９０５、Ｓ９２２、図２８のステップＳ１１０７でヒストグラムを生成する代わりに、映像特性値を求め、ステップＳ９０６、Ｓ１１０８で映像特性値の差分を抽出することとすれば良い。
【図１】
2008143167.tif 000024
【図２】
2008143167.tif 000025
【図３】
2008143167.tif 000026
【図４】
2008143167.tif 000027
【図５】
2008143167.tif 000028
【図６】
2008143167.tif 000029
【図７】
2008143167.tif 000030
【図８】
2008143167.tif 000031
【図９】
2008143167.tif 000032
【図１０】
2008143167.tif 000033
【図１１】
2008143167.tif 000034
【図１２】
2008143167.tif 000035
【図１３】
2008143167.tif 000036
【図１４】
2008143167.tif 000037
【図１５】
2008143167.tif 000038
【図１６】
2008143167.tif 000039
【図１７】
2008143167.tif 000040
【図１８】
2008143167.tif 000041
【図１９】
2008143167.tif 000042
【図２０】
2008143167.tif 000043
【図２１】
2008143167.tif 000044
【図２２】
2008143167.tif 000045
【図２３】
2008143167.tif 000046
【図２４】
2008143167.tif 000047
【図２５】
2008143167.tif 000048
【図２６】
2008143167.tif 000049
【図２７】
2008143167.tif 000050
【図２８】
2008143167.tif 000051
【図２９】
2008143167.tif 000052
【手続補正書】
【提出日】平成21年9月7日(2009.9.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像のシーンチェンジを検出する方法であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出ステップと、
前記２つのフレームの、前記領域抽出ステップによって抽出した部分領域の映像特性値の差に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップがそれまで解析対象とされなかった領域から新たに領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出ステップが、拡大された解析対象領域についての映像の差に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出方法。
【請求項２】
映像のシーンチェンジを検出する方法であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出ステップと、
前記領域抽出ステップによって抽出された部分領域の映像データについて、映像特性値を算出する映像特性分析ステップと、
前記映像特性分析ステップによって算出された映像特性値を累積して累積映像特性値を求める累積ステップと、
前記２つのフレームについて求められた累積映像特性値に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップが、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出ステップが、拡大された解析対象領域についての累積映像特性値に基づいて再度シーンチェンジ検出を行い、
前記累積ステップが、前回のシーンチェンジ検出の際に求められた累積映像特性値と、新たに抽出された領域について算出された映像特性値とを加算することにより前記累積映像特性値を求める
ことを特徴とするシーンチェンジ検出方法。
【請求項３】
映像のシーンチェンジを検出する方法であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出ステップと、
前記領域抽出ステップによって抽出された部分領域の映像データについて、映像特性値を算出する映像特性分析ステップと、
前記映像特性分析ステップによって算出された部分領域における前記２つのフレームの映像特性値の差異値を算出するステップと、
算出された差異値を累積して累積差異値を求めるステップと、
求められた累積差異値より前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップとを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップが、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出ステップが、拡大された解析対象領域についての前記累積差異値に基づいて再度シーンチェンジ検出を行い、
前記累積差異値を求めるステップは、前回のシーンチェンジ検出の際に求められた累積差異値と、新たに抽出された領域について算出された差異値とを加算することにより新たな累積差異値を求める
ことを特徴とするシーンチェンジ検出方法。
【請求項４】
符号化された映像のシーンチェンジを検出する方法であって、
２つの符号化されたフレームの映像データから解析対象とする部分領域を抽出する領域抽出ステップと、
前記領域抽出ステップによって抽出された部分領域の符号化データを復号化する復号化ステップと、
前記復号化ステップによって得られた復号化データから映像特性値を算出する映像特性分析ステップと、
前記２つのフレームの前記映像特性値の差に基づいて、前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップは、それまで解析対象とされなかった領域から新たな領域の符号化データを復号化し、それまでに解析が行われた領域についての復号化データに加えることによって解析対象領域を拡大し、前記シーンチェンジ検ステップは、拡大された解析対象領域についての映像特性値に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出方法。
【請求項５】
符号化された映像のシーンチェンジを検出する方法であって、
２つの符号化されたフレームの映像データから解析対象とする部分領域を抽出する領域抽出ステップと、
前記領域抽出ステップによって抽出された部分領域の符号化データを復号化する復号化ステップと、
前記復号化ステップによって得られた復号化データから映像特性値を算出する映像特性分析ステップと、
映像特性分析ステップによって算出された映像特性値を累積して累積映像特性値を求める累積ステップと、
前記２つのフレームの前記累積映像特性値に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップは、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出ステップは、拡大された解析対象領域についての前記累積映像値に基づいて再度シーンチェンジ検出を行い、
前記累積ステップは、前回のシーンチェンジ検出の際に求められた累積差異値と、新たに抽出された領域について算出された差異値とを加算することにより新たな累積差異値を求める
ことを特徴とするシーンチェンジ検出方法。
【請求項６】
求められた累積映像特性値を保持する保持ステップをさらに有することを特徴とする請求項２又は５に記載のシーンチェンジ検出方法。
【請求項７】
求められた累積差異値を保持するステップをさらに有することを特徴とする請求項３に記載のシーンチェンジ検出方法。
【請求項８】
前記映像特性分析ステップで算出する映像の特性値がヒストグラムであることを特徴とする請求項１乃至７のいずれかに記載のシーンチェンジ検出方法。
【請求項９】
解析対象となっている領域の面積又は位置によって前記シーンチェンジ検出ステップにおけるシーンチェンジの判定の閾値を変化させるステップをさらに有することを特徴とする請求項１乃至８のいずれかに記載のシーンチェンジ検出方法。
【請求項１０】
映像のシーンチェンジを検出する方法であって、
映像を保存する映像記録ステップと、
前記映像記録ステップによって保存された映像データの、１フレーム単位又はその部分領域の記録位置を管理するステップと、
２つのフレームの映像データから、その一部を解析対象領域のデータとして抽出する領域抽出ステップと、
前記２つのフレームの、前記領域抽出ステップによって抽出した解析対象領域のデータの映像特性値の差に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップが、前記映像データのうちの、それまで解析対象領域に含まれていなかった部分の一部又は全部のデータを抽出して追加することにより、解析対象領域を拡大し、
前記シーンチェンジ検出ステップが、拡大された解析対象領域についての映像の差に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出方法。
【請求項１１】
映像のシーンチェンジを検出する装置であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出手段と、
前記２つのフレームの、前記領域抽出手段によって抽出した部分領域の映像特性値の差に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段を有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段がそれまで解析対象とされなかった領域から新たに領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出手段が、拡大された解析対象領域についての映像の差に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出装置。
【請求項１２】
映像のシーンチェンジを検出する装置であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された部分領域の映像データについて、映像特性値を算出する映像特性分析手段と、
前記映像特性分析手段によって算出された映像特性値を累積して累積映像特性値を求める累積手段と、
前記２つのフレームについて求められた累積映像特性値に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段を有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段が、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出手段が、拡大された解析対象領域についての累積映像特性値に基づいて再度シーンチェンジ検出を行い、
前記累積手段が、前回のシーンチェンジ検出の際に求められた累積映像特性値と、新たに抽出された領域について算出された映像特性値とを加算することにより前記累積映像特性値を求める
ことを特徴とするシーンチェンジ検出装置。
【請求項１３】
映像のシーンチェンジを検出する装置であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された部分領域の映像データについて、映像特性値を算出する映像特性分析手段と、
前記映像特性分析手段によって算出された部分領域における前記２つのフレームの映像特性値の差異値を算出する手段と、
算出された差異値を累積して累積差異値を求める手段と、
求められた累積差異値より前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段とを有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段が、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出手段が、拡大された解析対象領域についての前記累積差異値に基づいて再度シーンチェンジ検出を行い、
前記累積差異値を求める手段は、前回のシーンチェンジ検出の際に求められた累積差異値と、新たに抽出された領域について算出された差異値とを加算することにより新たな累積差異値を求める
ことを特徴とするシーンチェンジ検出装置。
【請求項１４】
符号化された映像のシーンチェンジを検出する装置であって、
２つの符号化されたフレームの映像データから解析対象とする部分領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された部分領域の符号化データを復号化する復号化手段と、
前記復号化手段によって得られた復号化データから映像特性値を算出する映像特性分析手段と、
前記２つのフレームの前記映像特性値の差に基づいて、前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段を有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段は、それまで解析対象とされなかった領域から新たな領域の符号化データを復号化し、それまでに解析が行われた領域についての復号化データに加えることによって解析対象領域を拡大し、前記シーンチェンジ検手段は、拡大された解析対象領域についての映像特性値に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出装置。
【請求項１５】
符号化された映像のシーンチェンジを検出する装置であって、
２つの符号化されたフレームの映像データから解析対象とする部分領域を抽出する領域抽出手段と、
前記領域抽出手段によって抽出された部分領域の符号化データを復号化する復号化手段と、
前記復号化手段によって得られた復号化データから映像特性値を算出する映像特性分析手段と、
映像特性分析手段によって算出された映像特性値を累積して累積映像特性値を求める累積手段と、
前記２つのフレームの前記累積映像特性値に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段を有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段は、それまで解析対象とされなかった領域から新たな領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出手段は、拡大された解析対象領域についての前記累積映像値に基づいて再度シーンチェンジ検出を行い、
前記累積手段は、前回のシーンチェンジ検出の際に求められた累積差異値と、新たに抽出された領域について算出された差異値とを加算することにより新たな累積差異値を求める
ことを特徴とするシーンチェンジ検出装置。
【請求項１６】
求められた累積映像特性値を保持する手段をさらに有することを特徴とする請求項１２乃至１５のいずれかに記載のシーンチェンジ検出装置。
【請求項１７】
求められた累積差異値を保持する手段をさらに有することを特徴とする請求項１３に記載のシーンチェンジ検出装置。
【請求項１８】
前記映像特性分析手段で算出する映像の特性値がヒストグラムであることを特徴とする請求項１１乃至１７のいずれかに記載のシーンチェンジ検出装置。
【請求項１９】
解析対象となっている領域の面積又は位置によって前記シーンチェンジ検出手段におけるシーンチェンジの判定の閾値を変化させる手段をさらに有することを特徴とする請求項１１乃至１８のいずれかに記載のシーンチェンジ検出装置。
【請求項２０】
映像のシーンチェンジを検出する装置であって、
映像を保存する映像記録手段と、
前記映像記録手段によって保存された映像データの、１フレーム単位又はその部分領域の記録位置を管理する手段と、
２つのフレームの映像データから、その一部を解析対象領域のデータとして抽出する領域抽出手段と、
前記２つのフレームの、前記領域抽出手段によって抽出した解析対象領域のデータの映像特性値の差に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出手段を有し、
前記シーンチェンジ検出手段によってシーンチェンジの発生が検出されなかった場合に、前記領域抽出手段が、前記映像データのうちの、それまで解析対象領域に含まれていなかった部分の一部又は全部のデータを抽出して追加することにより、解析対象領域を拡大し、
前記シーンチェンジ検出手段が、拡大された解析対象領域についての映像の差に基づいて再度シーンチェンジ検出を行う
ことを特徴とするシーンチェンジ検出装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、映像のシーンチェンジを検出することができるシーンチェンジ検出方法および装置に関するものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明のシーンチェンジ検出方法は、
映像のシーンチェンジを検出する方法であって、
２つのフレームの映像データから解析対象とする部分領域を抽出する領域抽出ステップと、
前記２つのフレームの、前記領域抽出ステップによって抽出した部分領域の映像特性値の差に基づいて前記２つのフレーム間のシーンチェンジを検出するシーンチェンジ検出ステップを有し、
前記シーンチェンジ検出ステップによってシーンチェンジの発生が検出されなかった場合に、前記領域抽出ステップがそれまで解析対象とされなかった領域から新たに領域を抽出して追加することにより、解析対象領域を拡大し、前記シーンチェンジ検出ステップが、拡大された解析対象領域についての映像の差に基づいて再度シーンチェンジ検出を行う
ことを特徴とする。
【国際調査報告】
2008143167.tif 000053
2008143167.tif 000054
2008143167.tif 000055
2008143167.tif 000056