(57)【要約】【課題】動画像からカメラの切り替え点であるカット点を検出する場合に、カット点の検出精度を向上させることが可能なカット点検出装置及びカット点検出プログラムを提供する。【解決手段】ブロックサイズ算出部１２が、過去のフレーム間非類似度に基づいてブロックサイズを算出する。これにより、ブロックサイズは、フレーム間が非類似であるときには大きくなるように設定され、フレーム間が類似するときには小さくなるように設定される。そして、フレーム間非類似度算出部１４が、そのフロックサイズを用いて現フレームをブロックに分割し、現フレームのブロックとの関係で前フレームにおいて最も類似度が高い領域を探索し、その領域についてブロック間非類似度が閾値以上となる合計数からフレーム間非類似度を算出する。そして、閾値処理部１６は、フレーム間非類似度と閾値とを比較してカット点を判定する。【選択図】図１
2008033749.tif 000002
【特許請求の範囲】
【請求項１】
動画像の連続したフレーム間の非類似度を算出し、このフレーム間非類似度によりカット点を検出する装置において、
連続した過去のフレーム間の非類似度に基づいてブロックサイズを算出するブロックサイズ算出部と、
該ブロックサイズ算出部により算出されたブロックサイズで現フレームをブロックに分割し、該ブロックと類似度が最も高い前フレーム内の領域を探索し、該ブロックと最も類似度が高い前フレーム内の領域との間の非類似度（ブロック間非類似度）を算出し、該ブロック間非類似度に基づいてフレーム間非類似度を算出するフレーム間非類似度算出部と、
該フレーム間非類似度算出部により算出されたフレーム間非類似度に基づいてカット点を判定する判定部とを備えたことを特徴とするカット点検出装置。
【請求項２】
請求項１に記載のカット点検出装置において、
前記ブロックサイズ算出部が、連続した過去のフレーム間の非類似度から算出した平均値、または、現フレームに近いほど重みを大きくして算出した平均値に基づいてブロックサイズを算出することを特徴とするカット点検出装置。
【請求項３】
請求項１または２に記載のカット点検出装置において、
前記フレーム間非類似度算出部が、分割したブロックと類似度が最も高い前フレーム内の領域の探索を、画素値の絶対差分和、差分二乗和またはヒストグラム差分和による計算式を用いて行い、前記計算式によりブロック間非類似度を算出することを特徴とするカット点検出装置。
【請求項４】
請求項１から３までのいずれか一項に記載のカット点検出装置において、
前記フレーム間非類似度算出部が、ブロック間非類似度が閾値以上となるブロックの合計数を算出し、前記分割したブロックの数で合計数を正規化し、該正規化した値をフレーム間非類似度とすることを特徴とするカット点検出装置。
【請求項５】
動画像の連続したフレーム間の非類似度を算出し、このフレーム間非類似度に基づいてカット点を検出する装置によるプログラムであって、前記装置を構成するコンピュータに、
連続した過去のフレーム間の非類似度に基づいてブロックサイズを算出する処理と、
該ブロックサイズで現フレームをブロックに分割する処理と、
該ブロックと類似度が最も高い前フレーム内の領域を探索し、該ブロックと最も類似度が高い前フレーム内の領域のブロックとの間の非類似度（ブロック間非類似度）を算出する処理と、
該ブロック間非類似度に基づいてフレーム間非類似度を算出する処理と、
該フレーム間非類似度に基づいてカット点を判定する処理とを実行させるカット点検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像からカメラの切り替え点であるカット点を検出する装置及びプログラムに関する。
【背景技術】
【０００２】
一般に、１台のカメラを用いて連続して撮影した動画像の区間をショットといい、その切り替え点をカット点という。ショットは動画像の基本単位であることから、動画像の要約や検索等を行うには、まず一連の動画像をショットに分割する作業が必要不可欠である。つまり、動画像を扱う場合は、一連の動画像をショットに分割するために、動画像からカメラの切り替え点であるカット点を検出することが必要になる。
【０００３】
従来、動画像からカット点を検出する場合、連続したフレーム間の非類似度を算出し、その非類似度と閾値とを比較し、非類似度が閾値以上であるときに、そのフレームがカット点であると判定する装置が知られている。
【０００４】
このようなカット点検出装置として、フレーム間の画素について輝度値の差分絶対値を算出し、それらの和または二乗和が閾値以上であるときに、そのフレームがカット点であると判定するものがある。しかしながら、このカット点検出装置は、画素の輝度値の差分絶対値を特徴量としてカット点を判定することから、カメラや被写体の動きが激しい場合にその値が大きくなってしまい、カット点を誤検出してしまうという問題があった。
【０００５】
このような問題に対応するため、カット点であるか否かを判定するためのフレーム間の比較を、色ヒストグラムの差分値により行う装置、エッジ成分の量で行う装置、またはこれらを組み合わせて行う装置が開示されている（例えば、特許文献１〜４を参照）。しかしながら、これらのカット点検出装置は、カット点になるフレームと、カメラや被写体が激しく動いたことによるフレームとを正確に区別することができないことから、前述のカット点を誤って検出してしまうという問題に十分に対応することができなかった。
【０００６】
ところで、カメラや被写体の動きを考慮した手法として、ブロックマッチング法がある。ブロックマッチング法は、フレームをブロックに分割し、各ブロックについて、現フレームのブロックと前フレームのブロックとの間の類似度を算出し、その類似度が最大となる前フレームの位置を探索し、そのときのブロック間非類似度が閾値以上となるブロックの数を算出し、その数をフレーム間の非類似度とするものである。このようなブロックマッチング法を用いたカット点検出装置もある。
【０００７】
また、ブロックマッチング法に類似した手法を用いたカット点検出装置として、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等のブロックベースの圧縮動画像において、圧縮時の動きベクトル情報を用いることによりカット点を検出するものが開示されている（例えば、特許文献５〜１１を参照）。当然ながら、これらのカット点検出装置は、ブロックベースの圧縮動画像以外には使用することができない。
【０００８】
【特許文献１】特開平６−２３７４１４号公報
【特許文献２】特開平７−５９１０８号公報
【特許文献３】特開平７−２３６１５３号公報
【特許文献４】特開２０００−３６９６６号公報
【特許文献５】特開平７−２８４０１７号公報
【特許文献６】特開平９−３２２１１９号公報
【特許文献７】特開平９−３２２１７２号公報
【特許文献８】特開平１１−８８５４号公報
【特許文献９】特開２００１−３６９６６号公報
【特許文献１０】特開２００２−２８１５０５号公報
【特許文献１１】特開２００４−１８０２９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前述したブロックマッチング法を用いたカット点検出装置において、ブロックマッチングを行う基準であるブロックサイズは、一般に、計算量及び精度のバランスを考慮した固定値が用いられる。ここで、ブロックのサイズを小さく設定した場合は、フレーム間の微小な変化に対応することができるが、カメラや被写体の動きが激しい動画像に対してカット点を誤って検出してしまうという問題があった。また、ブロックサイズを大きく設定した場合は、動きにロバストな検出が可能になるが、ブロック内の情報が平均化されてしまうことによってフレーム間の差分が小さくなっていまい、背景領域が多くを占める動画像に対してカット点を検出することができないという問題があった。
【００１０】
この場合、カメラや被写体の動きが激しい動画像に対してはブロックサイズを大きく設定し、背景領域が多くを占める動画像に対してはブロックサイズを小さく設定することが望ましい。
【００１１】
また、前述したブロックマッチング法に類似した手法を用いたカット点検出装置においても、ブロックサイズは固定値が用いられる。ブロックサイズ及び動きベクトルは、圧縮を最適に行うために選択されるからである。動きベクトルの算出方法やその精度等はエンコーダによって大きく異なるから、カット点を検出するためにそのまま用いたとしても、必ずしも良好な結果を得ることができるとは限らない。
【００１２】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、動画像からカメラの切り替え点であるカット点を検出する場合に、カット点の検出精度を向上させることが可能なカット点検出装置及びカット点検出プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明は、ブロックマッチング法を用いた動画像のフレーム間非類似度を算出する際のブロックサイズを、過去のフレームにおける動き量（過去のフレーム間非類似度）に基づいて設定することを特徴とする。具体的には、過去のフレームにおける動き量が大きい場合（フレーム間非類似度が大きい場合）は、ブロックサイズが大きくなるように設定し、過去のフレームにおける動き量が小さい場合（フレーム間非類似度が小さい場合）は、ブロックサイズが小さくなるように設定する。
【００１４】
これにより、例えばカメラや被写体の動きが激しい動画像の場合は、動き量が大きくなる（フレーム間非類似度は大きくなる）からブロックサイズは大きく設定される。したがって、動きにロバストな検出が可能となり、カット点を誤って検出することがない。また、背景領域が多くを占める動画像の場合は、動き量が小さくなる（フレーム間非類似度は小さくなる）からブロックサイズは小さく設定される。したがって、ブロック内の情報が平均化されることに伴うフレーム間の差分が極端に小さくならず、小さな変化に対応できるようになるから、カット点を見落とすことなく正確に検出することができる。
【００１５】
すなわち、本発明によるカット点検出装置は、動画像の連続したフレーム間の非類似度を算出し、このフレーム間非類似度によりカット点を検出する装置において、連続した過去のフレーム間の非類似度に基づいてブロックサイズを算出するブロックサイズ算出部と、該ブロックサイズ算出部により算出されたブロックサイズで現フレームをブロックに分割し、該ブロックと類似度が最も高い前フレーム内の領域を探索し、該ブロックと最も類似度が高い前フレーム内の領域との間の非類似度（ブロック間非類似度）を算出し、該ブロック間非類似度に基づいてフレーム間非類似度を算出するフレーム間非類似度算出部と、該フレーム間非類似度算出部により算出されたフレーム間非類似度に基づいてカット点を判定する判定部とを備えたことを特徴とする。
【００１６】
ここで、前記ブロックサイズ算出部が、連続した過去のフレーム間の非類似度から算出した平均値、または、現フレームに近いほど重みを大きくして算出した平均値に基づいてブロックサイズを算出することが好適である。
【００１７】
また、前記フレーム間非類似度算出部が、分割したブロックと類似度が最も高い前フレーム内の領域の探索を、画素値の絶対差分和、差分二乗和またはヒストグラム差分和による計算式を用いて行い、前記計算式によりブロック間非類似度を算出することが好適である。
【００１８】
また、前記フレーム間非類似度算出部が、ブロック間非類似度が閾値以上となるブロックの合計数を算出し、前記分割したブロックの数で合計数を正規化し、該正規化した値をフレーム間非類似度とすることが好適である。
【００１９】
本発明をカット点検出装置として説明したが、本発明はこのカット点検出装置を構成するコンピュータによって実行されるプログラムとしても実質的に実現し得るものであり、本発明には、カット点検出プログラムも含まれる。すなわち、本発明によるカット点検出プログラムは、動画像における連続したフレーム間の非類似度を算出し、このフレーム間非類似度によりカット点を検出する装置によるプログラムであって、前記装置を構成するコンピュータに、連続した過去のフレーム間の非類似度に基づいてブロックサイズを算出する処理と、該ブロックサイズで現フレームをブロックに分割する処理と、該ブロックと類似度が最も高い前フレーム内の領域を探索し、該ブロックと最も類似度が高い前フレーム内の領域のブロックとの間の非類似度（ブロック間非類似度）を算出する処理と、該ブロック間非類似度に基づいてフレーム間非類似度を算出する処理と、該フレーム間非類似度に基づいてカット点を判定する処理とを実行させることを特徴とする。
【発明の効果】
【００２０】
以上のように、本発明によれば、動画像からカメラの切り替え点であるカット点を検出する場合に、カメラや被写体の動きが激しい動画像であったとしても、カット点を誤って検出することがない。また、背景領域が多くを占める動画像であっても、カット点を見落とすことなく正確に検出することができる。したがって、カット点の検出精度を向上させることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
図１は、カット点検出装置の構成を示すブロック図である。図２は、図１に示すカット点検出装置の全体の処理手順を示すフローチャート図である。このカット点検出装置１は、画像信号入力部１１、ブロックサイズ算出部１２、フレーム間非類似度記憶部１３、フレーム間非類似度算出部１４、前フレーム記憶部１５、及び閾値処理部（判定部）１６を備えている。
【００２２】
画像信号入力部１１は、動画像を入力し、動画像から時系列に１枚のフレームを抽出し、現フレームとしてブロックサイズ算出部１２に出力する（ステップＳ２０１）。
【００２３】
ブロックサイズ算出部１２は、画像信号入力部１１から現フレームを入力し、フレーム間非類似度記憶部１３から過去のフレーム間非類似度を読み出して入力し、現フレームに対し、フレーム間非類似度算出部１４においてフレーム間非類似度を算出する際に使用されるブロックサイズを算出し、算出したブロックサイズ及び入力した現フレームをフレーム間非類似度算出部１４に出力する（ステップＳ２０２）。
【００２４】
フレーム間非類似度記憶部１３には、フレーム間非類似度算出部１４により算出された過去のフレーム間非類似度が格納されている。具体的には、フレーム番号ｔ−１のフレームとフレーム番号ｔ−２のフレームとの間の非類似度が最新の情報として格納された場合は、以下のように、フレーム番号ｔ−１から遡って過去のフレーム番号ｔ−Ｎ−１までのＮ個のフレーム間非類似度が格納されている。
Ｄ（ｔ−１，ｔ−２）
：フレーム番号ｔ−１のフレームとフレーム番号ｔ−２のフレームとの間の非類似度
Ｄ（ｔ−２，ｔ−３）
：フレーム番号ｔ−２のフレームとフレーム番号ｔ−３のフレームとの間の非類似度
Ｄ（ｔ−３，ｔ−４）
：フレーム番号ｔ−３のフレームとフレーム番号ｔ−４のフレームとの間の非類似度
・
・
Ｄ（ｔ−Ｎ，ｔ−Ｎ−１）
：フレーム番号ｔ−Ｎのフレームとフレーム番号ｔ−Ｎ−１のフレームとの間の非類似度
【００２５】
前述したブロックサイズ算出部１２の動作の詳細について説明する。ブロックサイズ算出部１２は、画像信号入力部１１から現フレーム（フレーム番号ｔのフレーム）を入力したタイミングにおいて、フレーム間非類似度記憶部１３からフレーム番号ｔ−１から遡って過去のフレーム番号ｔ−Ｎ−１までのＮ個のフレーム間非類似度を読み出す。そして、ブロックサイズ算出部１２は、読み出したＮ個のフレーム間非類似度を用いて、（１）式によりフレーム間非類似度の平均値Ａｖｇ（ｔ）を算出する。
【数１】
2008033749.tif 000003
ここで、Ｄ（ａ，ｂ）は、フレーム番号ａのフレームとフレーム番号ｂのフレームとの間のフレーム間非類似度を示し、Ｎは、どの程度の過去のフレームまでを考慮するかを表す量を示す。
【００２６】
そして、ブロックサイズ算出部１２は、フレーム間非類似度の平均値Ａｖｇ（ｔ）に比例したブロックサイズを設定する。すなわち、フレーム間非類似度の平均値Ａｖｇ（ｔ）が大きい場合は、カメラや被写体の動き量が多い動画像であると判断と判断、または背景領域が多くを占める動画像ではないと判断し、ブロックサイズを大きく設定する。また、フレーム間非類似度の平均値Ａｖｇ（ｔ）が小さい場合は、カメラや被写体の動き量が多い動画像でないと判断、または背景領域が多くを占める動画像であると判断し、ブロックサイズを小さく設定する。
【００２７】
尚、どの程度の過去のフレームまでを考慮してフレーム間非類似度の平均値を算出するかを示すＮは、予め設定された固定値にしてもよいし、画像信号入力部１１が入力する動画像のジャンル等に応じた可変値にしてもよい。例えば、被写体の動きの激しいスポーツの動画像の場合、ブロックサイズ算出部１２は、Ｎを小さな値に可変設定する。これにより、被写体の動きに敏感に反応したカット点検出装置１を実現することができる。
【００２８】
また、ブロックサイズ算出部１２は、（１）式によりフレーム間非類似度の平均値Ａｖｇ（ｔ）を算出するようにしたが、単純に平均値を算出するのではなく、（２）式に示すように、時間的に現フレームに近いほど重みを大きくして平均値を算出するようにしてもよい。
【数２】
2008033749.tif 000004
ここで、（Ｎ−ｋ＋１）は、時間的に現フレームに近いほど大きくなる重みを示す。
【００２９】
図１及び図２に戻って、フレーム間非類似度算出部１４は、ブロックサイズ算出部１２から現フレーム及びブロックサイズを入力し、前フレーム記憶部１５から前フレームを読み出して入力し、入力したブロックサイズを用いて、現フレーム（フレーム番号ｔのフレーム）と前フレーム（フレーム番号ｔ−１のフレーム）との間の非類似度を算出する（ステップＳ２０３）。そして、そのフレーム間非類似度Ｄ（ｔ，ｔ−１）をフレーム間非類似度記憶部１３に記憶すると共に閾値処理部１６に出力し、現フレームを前フレームとして前フレーム記憶部１５に格納する。
【００３０】
前述したフレーム間非類似度算出部１４の動作の詳細について説明する。フレーム間非類似度算出部１４は、入力したブロックサイズを用いて現フレームを分割する。図３は、分割数が縦横４×４＝１６のブロックサイズの場合を示す図である。図３右図のように、現フレームを１６のブロックに分割する。
【００３１】
そして、フレーム間非類似度算出部１４は、分割した現フレームの各ブロックについて、前フレームにおいて類似度が最も大きい（非類似度が最も小さい）領域を（３）式により探索する（図３を参照）。具体的には、（３）式の値が最も小さい（類似している）前フレームの領域（ブロック）を特定する。
【数３】
2008033749.tif 000005
ここで、（３）式は、画素値の絶対差分和の計算式であり、ブロック間非類似度を示す。ｆｔ（ｘ，ｙ）は、フレーム番号ｔのフレームの座標（ｘ，ｙ）の画素を示す。（ｘｂ，ｙｂ）は、ｂ番目のブロックの基準座標を示す（図３右図を参照）。また、Ｗｂ，Ｈｂは、ブロックの大きさを示す。
【００３２】
尚、（３）式の代わりに、画素値の差分二乗和の計算式である（４）式を用いて探索してもよいし、画素値のヒストグラム差分和の計算式である（５）式を用いて探索してもよい。
【数４】
2008033749.tif 000006
【数５】
2008033749.tif 000007
ここで、Ｈ（ｆ，ｘ，ｙ，ｃ）は、フレーム番号ｆのフレームの座標（ｘ，ｙ）を基準とするブロック内において輝度レベルｃを有する画素の総数を示す。
【００３３】
フレーム間非類似度算出部１４は、前フレームにおいて最も類似度が高い領域を探索して、現フレームのブロックに最も類似している前フレームの領域（ブロック）を特定した後、その場合のブロック間非類似度（（３）式の値）と閾値とを比較する。そして、現フレームのブロック毎にこのような比較処理を行い、ブロック間非類似度が閾値以上であるブロックの合計数を求め、それを現フレーム内に含まれるブロック数で正規化し、正規化した値を、現フレームと前フレームとの間のフレーム間非類似度Ｄ（ｔ，ｔ−１）に設定する。
【００３４】
フレーム間非類似度Ｄ（ｔ，ｔ−１）の計算式を以下に示す。
【数６】
2008033749.tif 000008
ここで、Ｂは現フレームのブロックの総数を示し、Ｓはブロック間の非類似度が最小となる領域を探索する際の探索範囲を示し、ｔｈｒは閾値を示し、Ｄｉｆｆはブロック間非類似度を算出する関数を示す。
【００３５】
そして、フレーム間非類似度算出部１４は、現フレームと前フレームとの間のフレーム間非類似度をフレーム間非類似度記憶部１３に格納すると共に閾値処理部１６に出力し、現フレームを前フレームとして前フレーム記憶部１５に格納する。前フレーム記憶部１５には、前フレームが格納される。
【００３６】
図４は、図１に示したフレーム間非類似度算出部１４による処理手順を示すフローチャート図である。これは、図２に示したステップ２０３の処理の詳細に相当する。図４を参照して、フレーム間非類似度算出部１４は、Ｄｉｆｆに０を初期設定し（ステップＳ４０１）、ブロックサイズ算出部１２から入力したブロックサイズを用いて現フレームをブロックに分割する（ステップＳ４０２）。そして、１つのブロックを選択し（ステップＳ４０３）、前フレーム記憶部１５から前フレームを読み出し、前フレームについて、ブロック間の類似度が最も高い（非類似度が最も低い）領域を探索する（ステップＳ４０４）。
【００３７】
そして、探索の結果、ブロック間非類似度が閾値以上の場合に、Ｄｉｆｆをカウントアップする（ステップＳ４０５，４０６）。閾値よりも小さい場合はカウントアップしない。現フレームの全てのブロックについてステップ４０３から４０６までの処理が完了すると（ステップＳ４０７）、フレーム間非類似度算出部１４は、Ｄｉｆｆを総ブロック数で除算し、その除算結果をフレーム間非類似度として設定する（ステップＳ４０８）。
【００３８】
図１及び図２に戻って、閾値処理部１６は、フレーム間非類似度算出部１４からフレーム間非類似度Ｄ（ｔ，ｔ−１）を入力し、フレーム間非類似度Ｄ（ｔ，ｔ−１）と閾値と比較し（ステップＳ２０４）、フレーム間非類似度Ｄ（ｔ，ｔ−１）が閾値以上である場合に、そのフレームがカット点であると判定する（ステップＳ２０５）。図２において、前述したステップ２０１から２０５までの処理を全てのフレームに対して行う（ステップＳ２０６）。
【００３９】
以上のように、図１に示したカット点検出装置１によれば、ブロックサイズ算出部１２が、過去のフレーム間非類似度に基づいてブロックサイズを算出するようにした。この場合、ブロックサイズは、フレーム間が非類似であるときには大きくなるように設定され、フレーム間が類似するときには小さくなるように設定される。そして、フレーム間非類似度算出部１４が、ブロックサイズ算出部１２により算出されたフロックサイズを用いて現フレームをブロックに分割し、現フレームのブロックとの関係で前フレームにおいて最も類似度が高い領域を探索し、そのブロック間非類似度が閾値以上となる合計数からフレーム間非類似度を算出するようにした。
【００４０】
これにより、例えばカメラや被写体の動きが激しい動画像の場合は、フレーム間非類似度が大きくなるからブロックサイズは大きく設定される。したがって、動きにロバストな検出が可能となり、カット点を誤って検出することがない。また、背景領域が多くを占める動画像の場合は、フレーム間非類似度が小さくなるからブロックサイズは小さく設定される。したがって、ブロック内の情報が平均化されることに伴うフレーム間の差分が極端に小さくならず、小さな変化に対応できるようになるから、カット点を見落とすことなく正確に検出することができる。つまり、カット点の検出精度を向上させることが可能となる。
【００４１】
図５は、図１に示したカット点検出装置１を用いた実験結果を示し、フレーム間非類似度によりカット点を検出する例を示す図である。横軸は時間を、縦軸はフレーム間非類似度を、矢印は動画像におけるカット点のフレーム位置を示す。図５から、カット点におけるフレーム間非類似度と、カット点以外におけるフレーム間非類似度とは、その値に大きな差があるため区別することができることがわかる。この結果から、閾値処理部１６は、カット点を精度高く判定することができる。
【００４２】
また、図１に示したカット点検出装置１によれば、フレーム間非類似度算出部１４が、（５）式に示したヒストグラム差分和の計算式を用いて、現フレームのブロックとの関係で前フレームにおいて最も類似度が高い領域を探索した場合には、カメラや被写体の動きに堅牢なカット点検出を実現することができる。（５）式に示したヒストグラム差分和の計算式は、領域内に含まれる画素値のヒストグラムを求め、それらの差分和を利用するものであるから、領域内の画素の度数分布のみが考慮されて、画素間の位置関係が無視される。つまり、（５）式を用いた場合には、カメラや被写体の動きに対して反応の鈍い結果となるからである。
【００４３】
以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図１に示したカット点検出装置１では、フレーム間非類似度算出部１４が、現フレームのブロックとの関係で前フレームにおいて最も非類似度が高い領域を探索するために、絶対差分和による（３）式、差分二乗和による（４）式、またはヒストグラム差分和による（５）式を用いるようにしたが、エッジ成分の差分による計算式を用いるようにしてもよい。また、これらの計算式を組み合わせて用いるようにしてもよい。また、フレーム間非類似度算出部１４が、ブロックサイズ算出部１２により算出されたブロックサイズに応じて、計算式を選択するようにしてもよい。例えば、ブロックサイズが所定の値よりも小さい場合に、絶対差分和による（３）式を選択する。これにより、微小な変化にも対応することができるようになる。また、ブロックサイズが所定の値よりも大きい場合に、ヒストグラム差分和による（５）式を選択する。これにより、カメラや被写体の動きに過敏に反応しないようにすることができる。
【００４４】
また、図１に示したカット点検出装置１では、閾値処理部１６が、フレーム間非類似度と閾値とを比較してカット点を判定するようにしたが、フレーム間非類似度の変化量と閾値とを比較して判定するようにしてもよい。アップで映された被写体が動く動画像の場合は、フレーム間非類似度が滑らかに変化する特性がある。この場合、フレーム間非類似度の変化量を用いることにより、カット点の誤検出を軽減することができる。
【００４５】
図６は、図１に示したカット点検出装置１において、閾値処理部１６がフレーム間非類似度の変化量と閾値とを比較してカット点を判定する場合の実験結果を示し、フレーム間非類似度の変化量によりカット点を検出する例を示す図である。横軸は時間を、縦軸はフレーム間非類似度の変化量を、矢印は動画像におけるカット点のフレーム位置を示す。また、図６に示す時間区間の動画像は、図５に示した時間区間の動画像と同一である。図６から、図５に比べて、カット点におけるフレーム間非類似度の変化量と、カット点以外のフレームにおけるフレーム間非類似度の変化量とは、より以上に大きな差があることがわかる。つまり、カット点の情報とカット点以外の情報とが一層明確に分離されていることがわかる。この結果から、閾値処理部１６は、カット点を一層精度高く判定することができる。
【００４６】
図７は、ブロックサイズを固定にした場合のカット点検出結果と、図１に示したカット点検出装置１によりブロックサイズを可変にした場合のカット点検出結果とを比較する図である。カット点検出装置１の場合は、被写体に激しい動きがある動画像の時間区間において、ブロックサイズを可変にしたカット点検出装置１の場合の方がフレーム間非類似度が低い値になっていることがわかる。つまり、ブロックサイズを可変にしたカット点検出装置１の場合の方がカット点の情報とカット点以外の情報とが一層明確に分離されていることがわかる。この結果から、ブロックサイズを可変にする方が、カット点を精度高く判定することができる。
【００４７】
尚、カット点検出装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。カット点検出装置１に備えた画像信号入力部１１、ブロックサイズ算出部１２、フレーム間非類似度算出部１４、及び閾値処理部１６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施の形態によるカット点検出装置の構成を示すブロック図である。
【図２】図１のカット点検出装置による全体の処理手順を示すフローチャート図である。
【図３】ブロックマッチング法を説明する図である。
【図４】フレーム間非類似度算出部の処理手順を示すフローチャート図である。
【図５】フレーム間非類似度によりカット点を検出する例を示す図である。
【図６】フレーム間非類似度の変化量によりカット点を検出する例を示す図である。
【図７】ブロックサイズを固定にした場合のカット点検出結果と、本発明の実施の形態によりブロックサイズを可変にした場合のカット点検出結果とを比較する図である。
【符号の説明】
【００４９】
１  カット点検出装置
１１  画像信号入力部
１２  ブロックサイズ算出部
１３  フレーム間非類似度記憶部
１４  フレーム間非類似度算出部
１５  前フレーム記憶部
１６  閾値処理部
【図１】
2008033749.tif 000009
【図２】
2008033749.tif 000010
【図３】
2008033749.tif 000011
【図４】
2008033749.tif 000012
【図５】
2008033749.tif 000013
【図６】
2008033749.tif 000014
【図７】
2008033749.tif 000015