(57)【要約】【課題】ビデオにおいてシーン変更を有効に検出する。【解決手段】シーン変更を検出するためのビデオ検出器７００が、そのビデオを受け入れるための入力と、２つの隣接するビデオフレーム間で差分距離を算出する差分距離計算器７２０と、差分距離計算器７２０の出力がガウス分布の標準偏差の閾値レベルを超えた測定値を含んでいるか否かを検出するはずれ値検出器７３０を有する。識別器７５０は、はずれ値検出器７３０の出力に基づいてシーン変更を有するものとしてそのビデオを示す。【選択図】  図７
2014087070.tif 000002
【特許請求の範囲】
【請求項１】
多くの異なるシーンを含むこともあるビデオにおけるシーン変更を検出するためのビデオ検出器であって、そのビデオはそれぞれが個々の画素からなる複数のフレームを含んでおり、前記ビデオ検出器が、
該ビデオを受け入れるための入力と、
２つの隣接するフレーム間で差分距離を算出する差分距離計算器と、
該差分距離計算器の出力がガウス分布の標準偏差の閾値レベルを超えた測定値を有するか否かを検出するはずれ値検出器と、
該はずれ値検出器の出力に基づいてシーン変更を有するものとして前記ビデオを示すように構成された識別器を含んでいるビデオ検出器。
【請求項２】
更に、一対のはずれ値が少なくとも一つの同サイズのスライディングウィンドウ内の同じエレメントからのデータに基づいていることを確認するように構成されたはずれ値検知器確認器を含むことを特徴とする前記請求項３に記載のビデオ検出器。
【請求項３】
更に、２つの隣接するフレームのうちの第１のフレームのブロックを該２つの隣接するフレームの第２のフレームの一組のブロックと比較するように構成されたブロックミスマッチ計算器を含むことを特徴とする前記請求項１に記載のビデオ検出器。
【請求項４】
多くの異なるシーンを含むこともあるビデオにおけるシーン変更を検出するための方法であって、
ビデオ入力時に少なくとも２つのビデオフレームを受け入れることと、
２つの隣接するビデオフレーム間の差分距離を算出することと、
該差分距離計算器の出力がガウス分布の標準偏差の閾値レベルを超えた測定値を有するか否かを検出することと、
該はずれ値検出器の出力に基づいてシーン変更を有するものとして前記ビデオを示すことを含んでいる方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、はビデオ分析に関し、より特には、シーンカットがストリーム中に起こる時を検出することに関する。
【背景技術】
【０００２】
ビデオシーケンスは、一組のビデオフレームからなっており、フレーム間にある時間的距離を有する。所定の「シーン」の一部として、その中にあるビデオフレームは時間的なコーヘレンスを有する。シーンカットは、ビデオ編集効果や、カメラアングルの変更や、芸術的な効果などの数多くのファクタやシーン変更それ自体に基づいてビデオシーケンスの様々な点において導入される。
【０００３】
図１は、最初のシーンから第２のシーンへのシーン変更が突然であるビデオにおける２つのシーンを含む一連のビデオフレームを示している。突然のシーン変更においては、シーン変更のいずれの側のフレームも全く異なっている。たとえば、ビデオの最初のシーンが外側から建物に近づく人であり、その後、ビデオは内側から建物に入る人の視点にシーンを変更する。このとき、最初のシーンの最後のフレームと第２のシーンの最初のフレームは、根本的に異なる。他のシーン変更は、数多くのフレームに亘って徐々に生じる。これらの徐々に起こるシーン変更は、フェードやワイプやディゾルブなどを含むこともある。本発明の実施の形態は、前者のタイプのシーン変更に関連する。
【０００４】
シーン変更を検出するためのいくつかのアプローチが存在するが、それらは大きく２つのカテゴリのうちの一つに分類されることができる。圧縮されたビデオストリームを分析するものと圧縮されていないビデオストリームを分析するものである。後者のタイプは、非圧縮画素領域における分析とも呼ばれており、本発明に関連するカテゴリーである。
【０００５】
非圧縮ビデオストリームにおけるシーン変更を検出する一つのポピュラーな方法は、輝度ヒストグラムを用いることである。この方法においては、２つの連続するビデオフレーム間のヒストグラムの差が計算される。そして、この差が閾値に対して比較されて、シーンカットがこの２つのフレーム間で起きたか否かを判断する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−５９７２０号公報
【非特許文献】
【０００７】
【非特許文献１】Ｗｉｋｉｐｅｄｉａによる「Ｌｕｍａ（ｖｉｄｅｏ）」の説明、インターネット＜ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｌｕｍａ＿（ｖｉｄｅｏ）＞［ｏｎｌｉｎｅ］［２０１３年１０月２５日サーチ］
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そのようなアプローチの潜在的な欠陥は、閾値をどのように選択するかである。時には、ビデオシーケンスを通してすべてのフレームに適用されるグローバルな閾値がよりよい結果を生み出すが、他の時には、ローカルな閾値がよりよいこともある。このヒストグラムアプローチに関する他の可能な制約は、異なる構造を有するが同様の画素値を有する２つの画像を検出することが難しいことである。
【０００９】
本発明の実施の形態は先行技術のこれらの及び他の制約を解消する。
【課題を解決するための手段】
【００１０】
本発明のある側面は、多くの異なるシーンを含むこともあるビデオにおけるシーン変更を検出するためのビデオ検出器を含んでいるが、そのビデオはそれぞれが個々の画素からなる複数のフレームを含んでいる。本発明の第１の基本理念は、そのようなビデオ検出器が、
該ビデオを受け入れるための入力と、
２つの隣接するフレーム間で差分距離を算出する差分距離計算器と、
該差分距離計算器の出力がガウス分布の標準偏差の閾値レベルを超えた測定値を有するか否かを検出するはずれ値検出器と、
該はずれ値検出器の出力に基づいてシーン変更を有するものとしてそのビデオを示すように構成された識別器を含んでいることである。
【００１１】
本発明の第２の基本理念は、上記第１の基本理念のシーン変更を検出するためのビデオ検出器において、差分距離計算器が２つの隣接するビデオフレーム間の平均自乗誤差の平方根を算出することである。
【００１２】
本発明の第３の基本理念は、上記第２の基本理念のシーン変更を検出するためのビデオ検出器において、２つの隣接するビデオフレームがＹＵＶフォーマットで表されており、そして、差分距離計算器が２つの隣接するビデオフレームの輝度成分の平均自乗誤差の平方根を算出することである。
【００１３】
本発明の第４の基本理念は、上記第３の基本理念のシーン変更を検出するためのビデオ検出器において、更に、一対のはずれ値が少なくとも一つの同サイズのスライディングウィンドウ内の同じエレメントからのデータに基づいていることを確認するように構成されたはずれ値検出検定器を含むことである。
【００１４】
本発明の第５の基本理念は、上記第１の基本理念のシーン変更を検出するためのビデオ検出器において、更に、２つの隣接するフレームのうちの第１のフレームのブロックを該２つの隣接するフレームの第２のフレームの一組のブロックと比較するように構成されたブロックミスマッチ計算器を含むことである。
【００１５】
本発明の第６の基本理念は、上記第６の基本理念のシーン変更を検出するためのビデオ検出器において、２つの隣接するフレームのうちの第１のフレームのブロックが比較される前記２つの隣接するフレームの第２のフレームの一組のブロックが変更可能であることである。
【００１６】
本発明の他の側面は、多くの異なるシーンを含むこともあるビデオにおけるシーン変更を検出するための方法を含んでいる。本発明の第７の基本理念は、そのような方法であり、
ビデオ入力時に少なくとも２つのビデオフレームを受け入れることと、
２つの隣接するビデオフレーム間の差分距離を算出することと、
該差分距離計算器の出力がガウス分布の標準偏差の閾値レベルを超えた測定値を有するか否かを検出することと、
該はずれ値検出器の出力に基づいてシーン変更を有するものとして前記ビデオを示すことを含んでいる。
【００１７】
本発明の第８の基本理念は、上記第７の基本理念のシーン変更を検出する方法において、２つの隣接するビデオフレーム間の差分距離を算出することが２つの隣接するビデオフレーム間の平均自乗誤差の平方根を算出することを含むことである。
【００１８】
本発明の第９の基本理念は、上記第７の基本理念のシーン変更を検出する方法において、２つの隣接するビデオフレームがＹＵＶフォーマットで表され、そして、２つの隣接するビデオフレームの差分距離を算出することが該２つの隣接するビデオフレームの輝度成分の平均自乗誤差の平方根を算出することを含むことである。
【００１９】
本発明の第１０の基本理念は、上記第７の基本理念のシーン変更を検出する方法において、一対のはずれ値が少なくとも一つの同サイズのスライディングウィンドウ内の同じエレメントからのデータに基づいていることを確認することを含むことである。
【００２０】
本発明の第１１の基本理念は、上記第７の基本理念のシーン変更を検出する方法において、更に、２つの隣接するフレームのうちの第１のフレームのブロックを該２つの隣接するフレームの第２のフレームの一組のブロックと比較することを含んでいることである。
【００２１】
本発明の第１２の基本理念は、上記第１１の基本理念のシーン変更を検出する方法において、２つの隣接するフレームのうちの第１のフレームのブロックが比較される前記２つの隣接するフレームの第２のフレームの一組のブロックが変更可能であることである。
【図面の簡単な説明】
【００２２】
【図１】図１は、第１のシーンから第２のシーンへのシーン変更が急であるビデオにおいて２つのシーンを含む一連のビデオフレームを示している。
【図２】図２は、本発明の実施の形態によって用いられる、シーンカットのないフレームとフレームの区間における、隣接フレーム間の差分距離の挙動あを示している。
【図３】図３は、本発明の実施の形態によって用いられる、一つのシーンカットを有するフレームとフレーム間における、隣接フレーム間の差分距離の挙動を示しているあ示している。
【図４Ａ】図４Ａは、本発明の実施の形態による、ビデオにおいてシーンカットを検出する方法の一例を示すフローチャートである。
【図４Ｂ】図４Ｂは、本発明の実施の形態による、ビデオにおいてシーンカットを検出する方法の一例を示すフローチャートである。
【図４Ｃ】図４Ｃは、本発明の実施の形態による、ビデオにおいてシーンカットを検出する方法の一例を示すフローチャートである。
【図５】図５は、本発明の実施の形態による、誤り検出器のためのブロックマッチング法に使用されるウィンドウサイズの一例である。
【図６】図６は、本発明の実施の形態による、ビデオにおけるシーンカットのための誤り検出をする方法の一例を示すフローチャートである。
【図７】図７は、本発明の実施の形態による、ビデオのシーンカットを特定するように構成されたビデオ検出器の構成要素を示すブロック図である。
【発明を実施するための形態】
【００２３】
本発明の実施の形態は、統計モデルを用いてビデオにおけるシーン変更を検出している。差分距離は連続する２つのビデオフレーム間で計算され、その後、距離データが統計的に分析されはずれ値を検索する。はずれ値が存在する場合、おそらく、その距離を算出するために用いられるフレームが異なるシーンからのものであるとする。この方法のバリエーションが偽陽性の可能性を減らすために用いられている。
【００２４】
一つの差分距離は、平均自乗誤差の平方根（ＲＭＳＥ）である。本実施の形態において、ＲＭＳＥは、ビデオをストリーミング化するときにたびたび見られる、輝度値／クロミナンス値を増強するフォーマットであるＹＵＶフォーマットで表示された連接する２つのレームの輝度成分に対して計算される。
【００２５】
ＲＭＳＥ式は以下のように表示される。
【００２６】
ＲＭＳＥ＝平均自乗誤差（ＭＳＥ）の平方根であり、ここで、
【００２７】
ＭＳＥ＝Σ（Ｎx−（ｎ−１）x＊（Ｎｘ−（Ｎ−１）x）／画像内の画素数であり、
【００２８】
ここで、
【００２９】
Ｎxは、フレームＮの輝度成分の画素ｘであり、
【００３０】
（ｎ−１）xは、フレームＮ−１の輝度成分の画素ｘであり、
【００３１】
ｘは、０から（ｆｒａｍｅ＿ｌｕｍａ＿ｗｉｄｔｈ＊ｆｒａｍｅ＿ｌｕｍａ＿ｈｅｉｇｈｔ）に迄及ぶ。
【００３２】
スライディングウィンドウに亘る、ＲＭＳＥ値によって示される統計的な挙動は、平均値を中心にしてその周りにほとんどの値があり、その平均値から一つの標準偏差内にかなり多くの値が存在するガウス分布に近似する。
【００３３】
図２は、この挙動を表示する。図２は、急なシーンカットのない試験ビデオシーケンスに関し、サンプル数に対してプロットされたＲＭＳＥ値のプロットである。ガウス特性を示す分布のサンプルの９５％が平均値からの２つの標準偏差内に収まるという公知の特性を用いて、ＲＭＳＥ分布の平均値から２つの標準偏差の外側にあるものが潜在的なはずれ値と考えられうることが想定される。図３は、急なシーンカットを有する試験ビデオシーケンスに関してのＲＭＳＥ値のプロットを示している。図３には、多くのサンプルが平均値を中心にしてその周囲にあるが、平均値から約８倍離れた約４０のＲＭＳＥ値を有する一つのはずれ値が存在することが明らかである。このかけ離れたＲＭＳＥ値は、手動による点検で確認された、そのフレームでのシーンカットに対応している。
【００３４】
したがって、本発明の実施の形態は、特定のウィンドウサイズのためのＲＭＳＥサンプルのようなある差分距離におけるはずれ値を検出する。このような統計方法の一つがヒューバー（Ｈｕｂｅｒ）法であり、ここに引用によって組み入れる、「Ｒｏｂｕｓｔ  Ｓｔａｔｉｓｔｉｃｓ：ａ  ｍｅｔｈｏｄ  ｏｆ  ｃｏｐｉｎｇ  ｗｉｔｈ  ｏｕｔｌｉｅｒｓ」と題する２００１年４月刊のＡＭＣ  Ｔｅｃｈｎｉｃａｌ  Ｂｒｉｅｆ  Ｎｏ．６に詳細に説明されている。
【００３５】
しかしながら、ときには、ビデオシーケンスの連続する２つのフレーム間においてカメラパン又はカメラズーム、字幕表示、フレーム脱落のような効果はＲＭＳＥ値にスパイクを生み出すこともある。誤り検出する場合を除いて、これらのＲＭＳＥスパイクははずれ値として分類され、したがって、誤ってシーンカットとされる。このような誤った帰属の可能性を最小限にするために、本発明の実施の形態は、以下のようなブロックマッチング法を含む。
【００３６】
図４Ａ乃至図４Ｃは、実施の形態の方法の一例を示している。フロー１００は、オペレーション１１０においてビデオシーケンスの第１のフレームで始まる。判定オペレーション１１４は、現状のフレームが少なくともビデオシーケンスの第２のフレームであるかをチェックする。第１のフレームが少なくとも第２のフレームではないので、判定オペレーション１１４は、まずＮＯ方向に立ち去り、そして、フロー１００はオペレーション１６８（図４Ｃ）に向かい、そこでビデオシーケンスの次のフレームが獲得される。ビデオシーケンスの終わりにまだ達していないので、判定オペレーション１７０は、ＮＯ方向に立ち去り、そして、フロー１００はオペレーション１１４（図４Ａ）に戻る。
【００３７】
そして、フローはオペレーション１１６に進行し、そこで、判定オペレーションが以下のようにスライディングウィンドウの終わりに達したかを決定する。スライディングウィンドウのサイズは利用者が特定される。スライディングウィンドウの終了に達していなかったとすると、オペレーション１１６はＮＯ方向に立ち去り、そして、フロー１００が引き続きプロセス１６０（図４Ｃ）にいって、そこで、フレームＮとＮ−１の間でＲＭＳＥ差分距離が計算される。  
【００３８】
そして、オペレーション１６２で、以下に図５と図６に関連して詳述する、フレームＮとＮ−１の間のブロックミスマッチパーセンテージを計算する。
【００３９】
次いで、フロー１００はオペレーション１６４に進み、それぞれオペレーション１６０と１６２で算出された、ＲＭＳＥとブロックミスマッチパーセンテージを結合し、そして、スライディングウィンドウサイズが１だけ増やされる。
【００４０】
フロー１００は、その後、オペレーション１６８でビデオシーケンスの次のフレームを選択する。判定オペレーション１７０でビデオシーケンスの最後のフレームに達していないと判断したら、フロー１００はプロセス１１４を再び繰り返す。
【００４１】
再びオペレーション１１６（図４Ａ）に関して、代わってスライディングウィンドウの終わりに達した場合には、フロー１００はＹＥＳ方向に判定オペレーション１１６を立ち去る。そして、オペレーション１２０で上記のヒューバー法のような統計的方法を用いてはずれ値が決定される。そのようなはずれ値が存在する場合、判定オペレーション１２２はＹＥＳ方向に立ち去り、オペレーション１２４でヒューバー法を再び用いて、はずれ値がブロックミスマッチパーセンテージで決定される。
【００４２】
そのようなはずれ値がブロックミスマッチパーセンテージに存在する場合、フロー１００はオペレーション１３０に継続してシーケンスに取りかかり偽陽性シーン検出をチェックする。
【００４３】
そのような擬陽性をチェックするために、まず、判定オペレーション１４０（図４Ｂ）は、ループインデックスがスライディングウィンドウのサイズより小さいかをチェックする。この分岐を通して最初の間は必ずループインデックスがスライディングウィンドウサイズより小さいので、判定オペレーション１４０はＹＥＳ方向に立ち去る。そして、判定オペレーション１４２はＲＭＳＥのはずれ値とブロックミスマッチパーセンテージのはずれ値の双方がスライディングウィンドウ内で同じエレメントを指していることを確認する。もしそうあれば、判定オペレーション１４２はＹＥＳ方向に立ち去り、シーンカットがフレーム番号Ｎ−スラディングウィンドウサイズ−ループインデックス）に存在すると決定される。オペレーション１４６でループインデックスはその後インクリメントされ、そして、この分岐はループインデックスがスライディングウィンドウのサイズと同じになるまでオペレーション１４０に引き続き戻る。
【００４４】
ループインデックスがスライディングウィンドウのサイズと同じになると、フロー１００は引き続きオペレーション１５０に移行する。シーンカットがオペレーション１４４で検出された場合、オペレーション１５０はＹＥＳ方向に立ち去り、ＲＭＳＥとブロックミスマッチのためのデータがスライディングウィンドウ内のシーンカット検出点からスライディングウィンドウの始めに移動され、そして、フロー１００が引き続きオペレーション１６０に移る（図４Ｃ）。そうではなくて、オペレーション１４４においてシーンカットが検出されていない場合には、判定オペレーション１５０はＮＯ方向に立ち去り、そして、ＲＭＳＥとブロックミスマッチの双方のためのスライディングウィンドウ統計がスライディングウィンドウサイズの１／２からスライディングウィンドウの始めに移動され、そして、フロー１００は引き続きオペレーション１６０に移行する（図４Ｃ）。
【００４５】
オペレーション１６２（図４Ｃ）において言及されたブロックマッチング法は、図５と図６に関連して以下に説明される。これらの図において、
Ｐ０はフレーム（Ｎ−１）における現状のブロックと同じ場所に配置されたブロックであり、Ｐ０：Ｐ４８は現状のブロックがマッチされる、フレーム（Ｎ−１）内のブロックであり、そして、ウィンドウＸとウィンドウＹはマッチングウィンドウの利用者変更可能なサイズである。
【００４６】
ブロックマッチ法の概略が図６のフロー２００に関連してここに説明される。初期化オペレーション２２０の後、たとえば、オペレーション２２２において、フレームＮとＮ−１が１６ｘ１６個の２次元ブロックに分割される。図示されてはいないが、また、フレームＮにおいては、各ブロックｘ毎に、ブロックｘの輝度成分の平均が平均ｘとして算出される。
【００４７】
そして、判定オペレーション２３０においてブロックカウンタが最後のブロックに達成していない限り、フレーム（Ｎ−１）のウィンドウＸ＊ウィンドウＹのブロックｙ毎に、ブロックｙの平均輝度値成分が平均ｙとして算出されオペレーション２４０において平均ｘと比較される。判定オペレーション２５０において、どの平均ｙの５ユニットのような平均ｘが誤差許容範囲外にある場合、ブロックミスマッチカウントがオペレーション２６０においてインクリメントされる。そして、オペレーション２７０において、ブロックカウンタもインクリメントされる。
【００４８】
最後に、各ブロックｙがそのようにすべてのブロックｘに対して評価された後で、ブロックミスマッチパーセンテージがオペレーション２８０において（ブロックミスマッチカウント／ブロック総数）＊１００として算出される。
【００４９】
ブロックマッチング法の改良点は、オペレーション１２２において１６ｘ１６とは異なるブロックサイズを用いることを含んでいる。また、平均が各ブロック毎に計算されないように重複する隣接ブロックの平均値が保存されることもある。
【００５０】
多くの異なるシーンを含むことがあるビデオにおいてシーン変更を検出するシーン変更検出器は、図７に示されているように各エレメントを含むことがある。図７において、シーン変更検出器７００はビデオを受け入れるための入力を含んでいる。差分距離計算器７２０は、図４Ａ乃至図４Ｃに関連して上記のように２つの隣接するビデオフレーム間の輝度成分の差分距離を計算するために使用される。ある種の実施の形態においては、差分距離計算器が２つの隣接するビデオフレーム間の平均自乗誤差の平方根を算出してもよい。
【００５１】
シーン変更検出器７００は、また、差分距離計算器７２０の出力がガウス分布の標準偏差の閾値を越えたある測定値を含んでいるか否かを検知するはずれ値検知器７３０を含んでいる。そして、識別器７５０は、はずれ値検知器の出力に基づいてシーン変更のあるものとしてそのビデオを示すことができ、そして、更に、そのシーン変更の位置を示すこともできる。
【００５２】
シーン変更検出器７００は、また、一対のはずれ値が、少なくとも一つの同サイズのスライディングウィンドウ内の同じエレメントからのデータに基づいていることを確認するように構成されたはずれ値検知器確認器７３２を含むでもよい。このことは、実際にはシーンの変更がないときに誤ってシーン変更とする機会を少なくする。
【００５３】
シーン変更検出器７００は、また、隣接する２つのフレームのうちの第１のフレームのブロックを隣接する２つのフレームのうちの第２のフレームの一組のブロックと比較するように構成されたブロックミスマッチ計算器を含んでもよく、そして、ある種の実施の形態においては、ブロックミスマッチ計算器は、各種のサイズのブロックを操作するように構成されている。図７の機能ブロック図に示された機能のいずれもプロセッサ７６０によって実現されるようにしてもよく、関連するメモリ７７０内に保存されるようにしてもよい。
【符号の説明】
【００５４】
７００…シーン変更検出器
７１０…スライディングウィンドウ発生器
７２０…差分距離計算器
７３０…はずれ値検知器
７３２…はずれ値検知器確認器
７５０…識別器
７６０…プロセッサ
７７０…メモリ
【図１】
2014087070.tif 000003
【図２】
2014087070.tif 000004
【図３】
2014087070.tif 000005
【図４Ａ】
2014087070.tif 000006
【図４Ｂ】
2014087070.tif 000007
【図４Ｃ】
2014087070.tif 000008
【図５】
2014087070.tif 000009
【図６】
2014087070.tif 000010
【図７】
2014087070.tif 000011
【外国語明細書】
2014087070.tif 000012
2014087070.tif 000013
2014087070.tif 000014
2014087070.tif 000015
2014087070.tif 000016
2014087070.tif 000017
2014087070.tif 000018
2014087070.tif 000019
2014087070.tif 000020
2014087070.tif 000021
2014087070.tif 000022
2014087070.tif 000023
2014087070.tif 000024
2014087070.tif 000025
2014087070.tif 000026
2014087070.tif 000027
2014087070.tif 000028
2014087070.tif 000029
2014087070.tif 000030