(57)【特許請求の範囲】
【請求項１】
瞬時カットの判定対象であるフレームおよびその前後にあるフレームの輝度情報を取得する手段と、
前後のフレームから判定対象フレームを合成する際の最適なスケーリングパラメータを得る手段と、
得られた最適スケーリングパラメータを前後のフレームに適用して得られる合成フレームと判定対象フレームとの輝度差分から全画素の輝度の二乗誤差の和を得る手段と、
前記輝度差分を特徴量として判定対象フレームが瞬時カットであるかどうかを判定する手段とを具備し、
前記最適なスケーリングパラメータを得る手段は、前記輝度情報を取得する手段が取得した前フレームの画素の輝度の二乗和、前フレームと後フレームの対応する画素の輝度の積の和、前フレームと判定対象フレームの対応する画素の輝度の積の和、後フレームの画素の輝度の二乗和、および後フレームと判定対象フレームの対応する画素の輝度の積の和を用いて高速に最適スケーリングパラメータを求めることを特徴とするショット境界検出装置。
【請求項２】
請求項１に記載の瞬時カット検出装置において、
前記前後のフレームは、判定対象フレームをｆとする時、ｆ＋α、ｆ−α（αは、正の整数）であることを特徴とするショット境界検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はショット境界検出装置に関し、特に瞬間的なノイズが入った画像などを含む一般的な動画像から精度よく瞬時カットを検出できるショット境界検出装置（または、瞬時カット検出装置）に関する。
【背景技術】
【０００２】
従来の動画像カット点検出装置の一例として、下記の非特許文献１に開示されているものがある。同文献では、隣接するフレームのすべての対のうち、互いに著しく異なる画像特徴を持つ対を探し出す。２枚のフレーム間の相違具合を調べるには、２枚のフレームを引数として、その相違度を数値で返す評価関数を用いる。同文献で紹介されている代表的な評価関数の中で最も評価精度が良いものは分割χ二乗検定法である。
【０００３】
下記の非特許文献２には、隣り合うフレーム間の非類似度だけでなく、より広い間隔をおいた２枚のフレーム間を比較して得られる非類似度を用いることで、瞬間的なノイズや被写体の動きに対してもロバストな手法が紹介されている。
【非特許文献１】「カラービデオ映像における自動索引付け法と物体探索法」、情報処理学会論文誌  Vol.33  No.４、(1992年４月)、長坂晃朗、田中譲著、社団法人情報処理学会発行
【非特許文献２】「映像ショット切換え検出法とその映像アクセスインタフェースへの応用」、電子情報通信学会論文誌  Vol.J79-D２  No.４、(1996年４月)、谷口行信、外村佳伸、浜田洋著、社団法人電子情報通信学会発行
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般的な動画像においては、画像が暗かったり、被写体の動きが激しい等の理由により、ショット境界の前後のショットの画像特徴が非常にバリエーションに富む。このため、過剰な瞬時カット検出を抑えつつ、正しい瞬時カットを検出することが困難であった。
【０００５】
本発明の目的は、前記した従来技術の課題を解消し、一般的な動画像であっても、瞬時カットと呼ばれるショット境界を精度よく抽出できるショット境界検出装置を提供することにある。
【課題を解決するための手段】
【０００６】
前記した目的を達成するために、本発明は、瞬時カットの判定対象であるフレームおよびその前後にあるフレームの輝度情報を取得する手段と、前後のフレームから判定対象フレームを合成する際の最適なスケーリングパラメータを得る手段と、得られた最適スケーリングパラメータを前後のフレームに適用して得られる合成フレームと判定対象フレームとの輝度差分から全画素の輝度の二乗誤差の和を得る手段と、前記輝度差分を特徴量として判定対象フレームが瞬時カットであるかどうかを判定する手段とを具備し、前記最適なスケーリングパラメータを得る手段は、前記輝度情報を取得する手段が取得した前フレームの画素の輝度の二乗和、前フレームと後フレームの対応する画素の輝度の積の和、前フレームと判定対象フレームの対応する画素の輝度の積の和、後フレームの画素の輝度の二乗和、および後フレームと判定対象フレームの対応する画素の輝度の積の和を用いて高速に最適スケーリングパラメータを求めるようにした点に第１の特徴がある。
【０００７】
また、本発明は、前記前後のフレームは、判定対象フレームをｆとする時、ｆ＋α、ｆ−α（αは、正の整数）である点に第２の特徴がある。
【発明の効果】
【０００９】
本発明によれば、フレーム間の相違を検出する際の精度が良いことで知られている「分割χ二乗検定法」を、より広い間隔をおいた２枚のフレーム間を比較して得られる非類似度を用いた場合に比べても、瞬時カット検出の精度が高い特徴量を用いた判定を行なうので、過剰検出を増やすことなく、瞬時カットにおけるショット境界の検出精度を向上することができる。
【００１０】
また、本発明によれば、最適スケーリングパラメータを求める際、高速に最適スケーリングパラメータを求めることができる。
【発明を実施するための最良の形態】
【００１１】
以下に、図面を参照して、本発明の実施形態を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図である。
【００１２】
輝度情報取得手段１は、ＭＰＥＧ等で符号化された符号化画像ストリームａから、判定対象であるフレームｆおよびその前後にあるフレーム（ｆ−α、ｆ＋α）（α＝１，２，３，・・・，１６）の各画素の輝度情報を取得する。これらのフレームの画素の輝度情報、すなわちフレームｆ−α、ｆ−α＋１、・・・、ｆ−１、ｆ、ｆ＋１、・・・、ｆ＋α−１、ｆ＋αの画素の輝度情報は、蓄積手段２に一時的に記憶される。なお、フレームの周辺部分の画像は除去するのが好ましい。
【００１３】
次に、最適スケーリングパラメータ演算手段３は、下記の演算により最適スケーリングパラメータを求める。図２は、この演算の概要を示すフローチャートである。
【００１４】
最適スケーリングパラメータ演算手段３は、まずα＝１と置き（ステップＳ１）、前記蓄積手段２から、フレームｆ−α、ｆ＋αの（Ｒ，Ｇ，Ｂ）色の画素（Ｘｉ，Ｙｉ）の輝度（ＸｉＲ，ＸｉＧ，ＸｉＢ）、（ＹｉＲ，ＹｉＧ，ＹｉＢ）を読み出す（ステップＳ２）。なお、Ｒ，Ｇ，Ｂは、それぞれ、赤、緑、青色を示す。
【００１５】
次に、フレームｆ−αへのスケーリングパラメータを（ＡＲ，ＡＧ，ＡＢ）とし、フレームｆ＋αへのスケーリングパラメータを（ＢＲ，ＢＧ，ＢＢ）とし、合成フレームをフレームｆとする。
【００１６】
前記のように、フレームｆ−αの画素位置Ｘｉ（ｉ＝１，２，３，・・・，ｎ）でのＲ，Ｇ，Ｂ色のそれぞれの輝度を（ＸｉＲ，ＸｉＧ，ＸｉＢ）とし、フレームｆ＋αの画素位置Ｙｉ（ｉ＝１，２，３，・・・，ｎ）でのＲ，Ｇ，Ｂ色のそれぞれの輝度を（ＹｉＲ，ＹｉＧ，ＹｉＢ）とする。また、合成フレームｆの画素位置Ｚｉ（ｉ＝１，２，３，・・・，ｎ）でのＲ，Ｇ，Ｂ色のそれぞれの輝度を、（ＺｉＲ，ＺｉＧ，ＺｉＢ）とする。
【００１７】
そうすると、フレームｆ−αとフレームｆ＋αから、フレームｆを合成する時の残差εは、以下のようになる。なお、以下では、Ｒ色について説明するが、Ｇ色、Ｂ色についても同様である。
ＡＲＸ１Ｒ＋ＢＲＹ１Ｒ−Ｚ１Ｒ＝ε１Ｒ
ＡＲＸ２Ｒ＋ＢＲＹ２Ｒ−Ｚ２Ｒ＝ε２Ｒ
・
・
・
ＡＲＸｎＲ＋ＢＲＹｎＲ−ＺｎＲ＝εｎＲ
最適スケーリングパラメータは、ＦＲ（ＡＲ，ＢＲ）＝Σ（εｉＲ）２とすると、ＦＲ（ＡＲ，ＢＲ）を最小化するＡＲとＢＲを求めればよい。
スケーリングパラメータＡＲに着目すると、次のようになる。
【００１８】
【数１】
0004510749.tif 000002
【００１９】
同様に、スケーリングパラメータＢＲに着目すると、次のようになる。
【００２０】
【数２】
0004510749.tif 000003
【００２１】
前記（１）、（２）式の連立方程式を解けば、最適スケーリングパラメータＡＲとＢＲが求まる（ステップＳ３）。
【００２２】
前記と同様の演算をすれば、Ｇ色、Ｂ色それぞれの最適スケーリングパラメータＡＧとＢＧおよびＡＢとＢＢを求めることができる（ステップＳＳ４，Ｓ５）。
【００２３】
そして、ステップＳ６では、ステップＳ３〜Ｓ５で求めた最適スケーリングパラメータＡＲとＢＲ、ＡＧとＢＧ、およびＡＢとＢＢを用いて、フレームｆのα＝１の時の特徴量をＦＲ（ＡＲ，ＢＲ）、ＦＧ（ＡＧ，ＢＧ）、およびＦＢ（ＡＢ，ＢＢ）とする。ここに、ＦＲ（ＡＲ，ＢＲ）、ＦＧ（ＡＧ，ＢＧ）、およびＦＢ（ＡＢ，ＢＢ）は、Ｒ，Ｇ，Ｂの画素毎の二乗誤差を累積した値である。換言すれば、これらは、得られた最適スケーリングパラメータを前後のフレームに適用して得られる合成フレームと判定対象フレームとの輝度差分から得られた全画素の輝度の二乗誤差の和の値である。
【００２４】
ステップＳ７では、α＝１７になったか否かの判断がなされ、この判断が否定の時にはステップＳ８に進んで、αに１が加算される。そして、ステップＳ２に戻って前記と同様の処理が行われる。以上の処理が繰り返し行われ、ステップＳ７の判断が肯定になった時には、α＝１〜１６の時の最適スケーリングパラメータＡＲとＢＲ、ＡＧとＢＧおよびＡＢとＢＢを用いて、フレームｆのα＝１〜１６の時の特徴量ＦＲ（ＡＲ，ＢＲ）、ＦＧ（ＡＧ，ＢＧ）、およびＦＢ（ＡＢ，ＢＢ）が得られたことになる。なお、フレームｆに関する特徴量ＦＲ（ＡＲ，ＢＲ）、ＦＧ（ＡＧ，ＢＧ）、およびＦＢ（ＡＢ，ＢＢ）はα＝１〜１６であるので、４８次元となる。
【００２５】
ステップＳ９では、フレームｆに関するα＝１〜１６の特徴量ＦＲ（ＡＲ，ＢＲ）、ＦＧ（ＡＧ，ＢＧ）、およびＦＢ（ＡＢ，ＢＢ）を用いて、瞬時カットまたはショット境界検出の処理が行われる。上記の処理によれば、最適スケーリングパラメータを高速で求めることができる。なお、前記ステップＳ１〜Ｓ９の処理手順は一例であり、例えばステップＳ１でα＝１６と置いて処理を開始し、ステップＳ７でα＝０になった時にステップＳ９に進むようにする等の種々の変更をすることは可能である。
【００２６】
これらの特徴量を使って瞬時カットを判別するためには、周知のサポートベクタマシン（ＳＶＭ）等の識別機を用いればよい。図４、図５、図６は、瞬時カットがフレーム番号１５６７と１５６８との間で発生した時の、α＝１，２，３の時の特徴量ＦＲ（ＡＲ，ＢＲ）、ＦＧ（ＡＧ，ＢＧ）、およびＦＢ（ＡＢ，ＢＢ）の一例を示すグラフであり、横軸にフレーム番号、縦軸に特徴量が取られている。この図４、図５、図６のグラフから、前記特徴量は瞬時カットが生じているカットの所で際立った値の変化を示していることが分かる。これらの変化は周知のサポートベクタマシン（ＳＶＭ）等の識別機で容易に検出することができ、瞬時カットを容易に見つけることができる。本発明の特徴量は、瞬時カットのフレームでこのように際立った変化を見せるので、従来の分割χ二乗検定法よりも高精度な検出が可能になる。
【００２７】
本発明者が、「ＴＲＥＣＶＩＤ２００４」のショット境界検出タスクに対して、本発明の特徴量（最適スケーリングパラメータを前後のフレームに適用して得られる合成フレームを判定対象フレームとの輝度差分から全画素の輝度の二乗誤差）を使用しない場合（特開平１１−２５２５０９号公報の従来手法）と、使用した場合（本発明手法）で瞬時カットを検出した場合の再現率と適合率は図３のようになった。このことから、本発明の処理を導入すると、ショット境界の検出精度が向上することが確かめられた。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】本実施形態の要部の動作を示すフローチャートである。
【図３】従来手法と本発明手法とのショット境界の検出精度を比較する図である。
【図４】α＝１の時の特徴量を示すグラフの一例である。
【図５】α＝２の時の特徴量を示すグラフの一例である。
【図６】α＝３の時の特徴量を示すグラフの一例である。
【符号の説明】
【００２９】
１・・・輝度情報取得手段、３・・・最適スケーリングパラメータ演算手段、４・・・特徴量演算手段、５・・・瞬時カット判別手段。
【図１】
0004510749.tif 000004
【図２】
0004510749.tif 000005
【図３】
0004510749.tif 000006
【図４】
0004510749.tif 000007
【図５】
0004510749.tif 000008
【図６】
0004510749.tif 000009