(57)【要約】  本発明は、一連のビデオフレームを有するビデオから、キーになるフレームを抽出する方法を提案している。当該方法は、前記一連のビデオフレームから各フレームのエラーレートを演算するステップと、各フレームの前記エラーレートを、事前に決めた閾値と比較するステップと、前記事前に決めた閾値よりも低いエラーレートをもつ、候補になるフレームを認識するステップと、前記キーフレームを抽出するために、前記候補のフレームから幾つかのフレームを選択するステップとを有する。多数のエラーを含むフレームを除外することにより、キーフレームの抽出の精度が改善される。
2009543410.tif 000002
【特許請求の範囲】
【請求項１】
一連のビデオフレームから、各フレームのエラーレートを演算するステップと、
各フレームの前記エラーレートを事前に決めた閾値と比較するステップと、
前記事前に決めた閾値よりも低いエラーレートをもつ、候補のフレームを識別するステップと、
キーフレームを抽出するために、前記候補のフレームから幾つかのフレームを選択するステップとを有する、一連のビデオフレームを有するビデオからキーフレームを抽出する方法。
【請求項２】
前記選択するステップの前に、これまでのエラー訂正の結果、依然としてアーチファクトを含む候補のフレームを除外するステップを更に含む、請求項1に記載の方法。
【請求項３】
前記一連のビデオフレームがイントラフレームであり、前記これまでのエラー訂正が空間補間エラー隠蔽に相当し、前記アーチファクトがマクロブロックのテクスチャ内に位置する、請求項２に記載の方法。
【請求項４】
前記一連のビデオフレームがイントラフレームであり、前記これまでのエラー訂正が空間補間エラー隠蔽に相当し、前記アーチファクトがマクロブロックのエッジ部に位置する、請求項２に記載の方法。
【請求項５】
前記選択するステップの前に、事前に決めたエリアに位置するエラーをもつ、候補のフレームを除外するステップを更に含む、請求項１に記載の方法。
【請求項６】
前記事前に決めたエリアがテキスト情報を含むエリアに相当する、請求項５に記載の方法。
【請求項７】
前記エラーレートが、1フレーム中のマクロブロックの総数に対する、前記1フレーム内で幾つかのエラーをもつマクロブロックの数の比であり、前記事前に決めた閾値が概略30%に等しい、請求項１に記載の方法。
【請求項８】
一連のビデオフレームから、各フレームのエラーレートを演算するための演算ユニットと、
各フレームの前記エラーレートを、事前に決めた閾値と比較するための比較ユニットと、
前記事前に決めた閾値よりも低いエラーレートをもつ、候補のフレームを識別するための識別ユニットと、
キーフレームを抽出するために、前記候補のフレームから幾つかのフレームを選択するための選択ユニットとを有する、一連のビデオフレームを有するビデオからキーフレームを抽出するシステム。
【請求項９】
これまでのエラー訂正の結果、依然としてアーチファクトを含む候補のフレームを除外するための第1の除外ユニットを更に有する、請求項８に記載のシステム。
【請求項１０】
前記一連のビデオフレームがイントラフレームであり、前記これまでのエラー訂正が空間補間エラー隠蔽に相当し、前記アーチファクトがマクロブロックのテクスチャ内に位置する、請求項９に記載のシステム。
【請求項１１】
前記一連のビデオフレームがイントラフレームであり、前記これまでのエラー訂正が空間補間エラー隠蔽に相当し、前記アーチファクトがマクロブロックのエッジ部に位置する、請求項９に記載のシステム。
【請求項１２】
事前に決めたエリアに位置するエラーをもつフレームを除外するための、第2の除外ユニットを更に有する、請求項８に記載のシステム。
【請求項１３】
前記事前に決めたエリアがテキスト情報を含むエリアに相当する、請求項１２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオからキーになるフレームを抽出する方法及びシステムに関する。本発明は、ビデオデータ処理の分野で使われる。
【背景技術】
【０００２】
情報時代に向けて、デジタルビデオは急速に重要なソースになりつつある。ビデオデータの数が増大するので、コンテンツを失う事無く、短時間にビデオデータを効率良く閲覧するための技術が必要とされている。ビデオは、各々が画像風景のビデオスナップショットを含む、一連のビデオフレームを含んでいる。キーフレームは、一般に、ビデオの可視コンテンツを表しているビデオフレームの順序だってはいないサブセットであると規定されている。キーフレームはビデオの要約、編集、注釈、及び指標付けで役に立つ。これらの作業の幾つかが、コンテンツに基づくビデオ表示、コーディング、及び説明の柔軟性をユーザに供するMPEG-4及びMPEG-7の両方を含む、新たなマルチメデイア標準の中で明示された。
【０００３】
キーフレーム抽出の一つのアプローチは、ビデオ中のショットの構成に基づいている。ショットは、連続して捕捉（撮影）された一連のビデオフレームとして規定される。例えば、業務用に作られたビデオは、一連の注意深く選択されたショットで構成されている。
【０００４】
米国特許公開公報US 2005/0228849 A1で開示されているように、短いビデオクリップから又は注意深く構成されてはいないアマチュアのビデオからキーフレームを抽出するための別のアプローチも適している。このアプローチは、各ビデオフレームに対して一連の分析を実施することにより、ビデオの一連のビデオフレームから候補になるキーフレームのセットを選択することを含む。ビデオ中の意味のあるコンテンツに対応するタイプを検知するよう、各々の分析が選択される。候補になった（複数の）キーフレームが、その後、一連のクラスタ内に形成され、ビデオ中の意味のあるコンテンツを描画しているという条件での相対的な重要度に応じ、一つのキーフレームが各クラスタから、次に選択される。
【０００５】
残念ながら、どの通信システムにもある一つの先天的な問題は、チャネル（伝送路）のノイズに起因して情報が伝送間に変化する、又は失われてしまうことである。これゆえ、放送又はストレージに関するアプリケーションでは、ランダムエラーは画像データに否定的な影響を与えることだろう。フレーム内に幾つかのエラーが有るとき、又は当該エラーが訂正されたときでさえ、もしも簡易なキーフレームの抽出方法が用いられたならば、訂正されたフレームはキーフレームの抽出精度に否定的な影響を与えよう。これらのフレームが壊れているとき又は正しく訂正されなかったときに、これらのフレームを考慮することは適切ではない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
より効率の良い態様で、ビデオからキーフレームを抽出する方法を供することが、本発明の目的である。
【課題を解決するための手段】
【０００７】
この目的のために、前記一連のビデオフレームから各フレームのエラーレートを演算するステップと、前記各フレームのエラーレートを、事前に決めた閾値と比較するステップと、前記事前に決めた閾値よりも低いエラーレートをもつ、候補になるフレームを識別するステップと、前記キーフレームを抽出するために、前記候補のフレームから幾つかのフレームを選択するステップとを有する、一連のビデオフレームを有するビデオからキーフレームを抽出する方法が提案されている。
【０００８】
本発明による方法の特徴にて規定された機能をもつユニットを有するシステムもまた、提案されている。
【０００９】
多数のエラーをもつフレームを除外することにより、キーフレーム抽出の精度が改善される。これゆえ、本発明は、よりロバストなキーフレームの抽出方法を供する。
【発明を実施するための最良の形態】
【００１０】
図1は、ビデオからキーフレームを抽出する本発明による第1の方法のフローチャートを示している。
【００１１】
本発明は、一連のビデオフレームを有するビデオからキーフレームを抽出する方法を供する。前記方法は、前記一連のビデオフレームから各フレームのエラーレートを演算するステップ101を有する。エラーが最初に検知され、その後、検知されたエラーは合計されて、あるエラー数に達する。エラー検知の方法は既知である。例えば、構文に基づいたエラー検知器（SBED）がエラーを検知するのに使われることがある。固定長のコードワード（FLC）中にあるエラーは、もし、この値がコードワード表に従って規定されていないか、又は禁じられている場合に検知されることができる。可変長のコードワード（VLC）中にあるエラーもまた、コードワード表内に含まれていない場合、又は64 DCT（離散コサイン変換）より多くの係数が1個のブロック内に現れた場合に検知されることができる。検知されたエラーはエラーマップを形成し、前記エラーレートがこのエラーマップに従って演算される。
【００１２】
この方法は、前記各フレームのエラーレートを事前に決めた閾値と比較するステップ102も有する。例えば、本発明のテストによれば、前記閾値は30%である。
【００１３】
ステップ101で説明されたエラーレートは、例えば、各フレーム内でエラーをもつマクロブロック（MB）の数と、そのフレームのMBの合計数との間の比である。代替的にはエラーレートは、各フレームのエラーの数であってもよい。従って、ステップ102で言及された閾値は、前者の状況では比であり、後者の状況では数である。
【００１４】
本方法は、前記事前に決めた閾値よりも低いエラーレートをもつ、候補になるフレームを識別するステップ103も有する。
【００１５】
非常に多くのエラーをもつフレームは除外されねばならない。例えば、前記事前に決めた閾値よりも低いエラーレートをもつ、候補になるフレームは、エラーマップ内で「0」のフラグを付けられ、これらのフレームは、キーフレームを選択するプロセスで（候補のフレームとして）考慮されよう。
【００１６】
最後に、本方法は、前記キーフレームを抽出するために、前記候補フレームから幾つかのフレームを選択するステップ104を有する。例えば、このステップは、「0」のフラグを付けられたフレームからキーフレームを選択することのみを行う。幾つかのフレームからキーフレームを選択する方法が知られており、例えば前に述べたように、米国特許公開公報US 2005/0228849 A1は、ビデオ内の重要なコンテンツを描画しているキーフレームをもたらす、ビデオから理にかなったキーフレームの抽出をする方法を開示している。
【００１７】
図２は、ビデオからキーフレームを抽出する本発明による第2の方法のフローチャートを示している。
【００１８】
図2は図1に基づいており、図2では追加のステップ201が加えられた。
【００１９】
本方法は、選択ステップ104の前に、これまでのエラー訂正の結果、依然としてアーチファクトを含む候補のフレームを除外するステップ201を更に有する。
【００２０】
事前に決められた閾値よりも低いエラーレートをもつフレームに対して、エラーが適宜訂正されていない場合は、これらフレームの幾つかも更に除外される。
【００２１】
フレームは、三つのタイプにエンコードされることができる。即ちこれらは、イントラフレーム（I-フレーム）、順方向予測フレーム（P-フレーム）及び双方向予測フレーム（B-フレーム）である。I-フレームは、如何なる過去又は未来のフレームも参照せずに、単一の画像としてエンコードされる。P-フレームは、過去の基準フレームに関連してエンコードされる。B-フレームは、過去の基準フレーム、未来の基準フレーム、又はその両方のフレームに関連してエンコードされる。
【００２２】
I-フレームに対しては、種々異なるマクロブロック（MB）に従って種々異なる訂正方法が適用される。訂正の後、幾つかのフレームは依然としてアーチファクトを含んでいるかも知れない。当該アーチファクトは、JPEG及びMPEGなどの量子化エラー、ハードウエア又はソフトウエアの限界又は誤動作による画像の歪である。I-フレーム内のMBのテクスチャに対し空間補間誤り隠蔽法が適用される場合、訂正品質はキーフレームの抽出用には良くない。この種のMB（アーチファクト）を含むフレームは除外されるべきである。
【００２３】
I-フレーム内のMBのエッジに対し、エッジに基づく空間補間誤り隠蔽法が適用される場合、訂正品質はキーフレームの抽出用には良くない。この種のMB（アーチファクト）のあるフレームは除外されるべきである。
【００２４】
P-フレーム及びB-フレームの場合には、殆どの事例で暫定誤り隠蔽法が使われる。エラーは、より良く訂正される。訂正されたピクセルの数が、キーフレームの抽出の際に考慮される。
【００２５】
除外されたフレームは、「1」のフラグを付けられる。
【００２６】
図３は、ビデオからキーフレームを抽出する本発明による第3の方法のフローチャートを示す。
【００２７】
図3のフローチャートも図1に基づいており、追加のステップ301が加えられている。
【００２８】
この方法も、選択ステップ104の前に、事前に決めたエリアに位置するエラーをもつフレームを除外するステップ301を有する。
【００２９】
図４は、事前に決めたエリアの有るビデオの例を例示している。
【００３０】
図4の「PA」で表される事前に決めたエリアはテキスト情報を有し、「CA」はコンテンツエリアを表す。
【００３１】
幾つかのテキストを含むエリアに幾つかのエラーをもつことは、キーフレームの抽出の精度に否定的な影響を与える。
【００３２】
開始点（Xo,Yo）/（「W」で表されている）幅/（「H」で表されている）高さ、にて規定されているサブタイトルエリアなどの事前に決めたエリア（PA）でエラーが発生すると、この種のエラーを含むフレームが除外される。
【００３３】
除外されたフレームは、「1」のフラグが付けられる。
【００３４】
図５は、ビデオからキーフレームを抽出する本発明によるシステムの概観図を描いている。
【００３５】
本発明は、一連のビデオフレームを有するビデオからキーフレームを抽出するためのシステム500を供する。当該システムは前記一連のビデオフレームの各フレームのエラーレートを演算するための演算ユニット501を有する。当該演算ユニット501は、例えばデコードされた（図5で「VF」にて表されている）一連のビデオフレームをデータ処理し、構文に基づいたエラー検知器（SBED）などの検知器によって検知されたエラーの加算を行い、エラーレートを演算する、データプロセッサである。
【００３６】
当該システム500は、前記各フレームのエラーレートを事前に決めた閾値と比較するための比較ユニット502も有する。当該比較ユニット502はデータプロセッサであり、前記事前に決めた閾値を記憶するためのメモリも有する。
【００３７】
当該システム500は、前記事前に決めた閾値よりも低いエラーレートをもつ、候補になるフレームを識別するための識別ユニット503も有する。当該識別ユニット503はデータプロセッサである。当該識別ユニット503は、例えば前記事前に決めた閾値よりも低いエラーレートをもつ、候補になるフレームをマークし、これらのフレームに「0」のフラグを付ける。
【００３８】
当該システム500は、前記キーフレームを抽出するために、前記候補のフレームから幾つかのフレームを選択するための選択ユニット504も有する。（図5で「KF」と表されている）キーフレームが、例えば「0」のフラグが付けられたフレームから選択される。当該選択ユニット504はデータプロセッサである。
【００３９】
当該システム500は、これまでのエラー訂正の結果から選ばれ、依然としてアーチファクトを含む候補のフレームを除外するための第1の除外ユニット505も有する。当該除外ユニット505は、例えば、これらのフレームに「1」のフラグを付ける。
【００４０】
当該システム500は、事前に決めたエリアに位置するエラーをもつフレームを除外するための第2の除外ユニット506も有する。当該除外ユニット506は、例えば、これらのフレームに「1」のフラグを付ける。
【００４１】
当該システム500は、デコーダと一体化されることが可能で、改善されたキーフレームの抽出を支援する。実際には、当該システムはデコーダとは独立していることも可能で、即ち、エラーマップはストレージ内に維持されることもある。キーフレームの抽出の間、当該エラーマップはキーフレーム選択動作の精度を改善するためにアクセスされる。
【００４２】
本発明は図面と上の記述とで詳細に例示され説明されてきたが、斯様な例示及び説明は、説明に役立つもの、又は典型と考えられ、拘束するものではない。本発明は開示された実施例に限定されるものではない。
【００４３】
図面の学習、開示されたものの学習、及び添付の請求項の学習から、開示された実施例に対する他のバリエーションが理解され、当業者により、請求された発明を実行して他のバリエーションが実現されることが可能である。請求項において、単語「有する」又は「有している」は、他の素子又はステップを排除するものではなく、不定冠詞「a」又は「an]は、複数を排除するものではない。単一のデータプロセッサ又は他のユニットは、請求項で列挙された幾つかの項目の複数の機能を充たすことができる。特定の手段が、互いに異なる従属請求項で復唱されている単なる事実は、これらの手段の組み合わせは有利に使われることが出来ないとは示してない。請求項中の如何なる引用記号も、本発明の範囲を限定するものとして解釈されるべきではない。
【図面の簡単な説明】
【００４４】
【図１】ビデオからキーフレームを抽出する本発明による第1の方法のフローチャートを示す。
【図２】ビデオからキーフレームを抽出する本発明による第2の方法のフローチャートを示す。
【図３】ビデオからキーフレームを抽出する本発明による第3の方法のフローチャートを示す。
【図４】事前に決めたエリアの有るビデオの例を例示する。
【図５】ビデオからキーフレームを抽出する本発明によるシステムの概観図を描いている。
【図１】
2009543410.tif 000003
【図２】
2009543410.tif 000004
【図３】
2009543410.tif 000005
【図４】
2009543410.tif 000006
【図５】
2009543410.tif 000007
【国際調査報告】
2009543410.tif 000008
2009543410.tif 000009
2009543410.tif 000010
2009543410.tif 000011
2009543410.tif 000012