(57)【要約】      （修正有）【課題】ビデオフレームのシーケンスのショット間の段階的な遷移よりワイプの存在を判断する装置を提供する。【解決手段】各ビデオフレームについて現在のフレーム及び先行するフレーム内における画素の色情報及び空間位置情報を使用して、先行するフレームからの差分を計算し、差分を１つ又は複数の射影軸或いは他の基底上に射影し、射影上の複数の点のそれぞれにおいて突発的ショット遷移が発生した尤度の尺度を、現在のフレームを含む複数のフレームのそれぞれの点の射影値に基づいて計算し、１つ又は複数の射影における上記尤度の尺度の時系列において特性幾何パターンを検出することにより、ビデオフレームのシーケンスのショット間にワイプ遷移が存在するか否かを判断する。【選択図】図３
2010183575.tif 000002
【特許請求の範囲】
【請求項１】
ビデオフレームのシーケンスを処理して該シーケンスのショット間にワイプ遷移が存在するか否かを判断する方法であって、
（ａ）前記シーケンス内の複数のフレームのそれぞれについて、該フレームと先行するフレームとの間の差分を表す差分値を、該フレーム内の少なくとも幾つかの画素位置において生成し、該差分値を基底上に射影して前記フレームについての複数の射影値を生成し、該射影値のそれぞれが、前記基底上の各位置に関連付けられると共に前記複数の画素における各差分値から導出される合成値を含むようにするステップと、
（ｂ）複数の異なるフレームの各基底について、前記複数の射影値をそれぞれ処理することによって、該射影値を導出した差分値を有する複数の画素において突発的ショット遷移が発生した尤度を表す突発的ショット遷移尺度を、前記基底上の各位置においてそれぞれ計算するステップと、
（ｃ）前記複数のフレームの各基底における前記突発的ショット遷移尺度が該複数のフレームの時系列に対応する順に整列された２次元配列内において、所定の幾何パターンが存在するか否かを判断することによって、ワイプ遷移が存在するか否かを判断するステップと
を含む、ビデオフレームのシーケンスを処理して該シーケンスのショット間にワイプ遷移が存在するか否かを判断する方法。
【請求項２】
前記ステップ（ａ）において、前記複数のフレームのそれぞれにおける前記差分値は、前記フレーム内の少なくとも幾つかの画素の画素値と、先行するフレーム内の同じ空間位置における画素の画素値との間の差分を計算することによって生成される、請求項１に記載の方法。
【請求項３】
前記ステップ（ａ）において、前記複数のフレームのそれぞれにおける前記差分値は、前記フレーム内の少なくとも幾つかの画素の画素値と、先行するフレーム内の同じ空間位置における画素の画素値とを変換し、前記フレーム内の前記変換された値と前記先行するフレーム内の前記変換された値との間の差分を計算することによって生成される、請求項１に記載の方法。
【請求項４】
前記ステップ（ａ）において、前記画素値はウェーブレット変換を使用して変換される、請求項３に記載の方法。
【請求項５】
前記ステップ（ａ）は、前記フレームのそれぞれについて複数回実行され、そのたびに異なるカラーチャネルからの画素値が使用され、それによって、前記フレームの前記基底上の各位置において複数の射影値が生成され、該複数の射影値は、それぞれ異なるカラーチャネルからの画素値を使用して生成されており、
前記ステップ（ｂ）において、或るフレームの前記基底上の各位置における前記突発的ショット遷移尺度は、該位置における前記複数の射影値を使用して計算される、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記ステップ（ｂ）において、或るフレームの前記基底上の各位置における前記突発的ショット遷移尺度は、該位置における前記射影値を閾値と比較することによって計算される、請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記ステップ（ｂ）において、或るフレームの前記基底上の各位置における前記突発的ショット遷移尺度は、該位置における前記射影値を、閾値、並びに、過去のフレーム及び未来のフレームにおける時間窓内のフレームの前記基底上の同じ位置における前記射影値と比較することによって計算される、請求項６に記載の方法。
【請求項８】
前記ステップ（ｃ）において、
前記２次元配列における前記突発的ショット遷移尺度は、点を変換空間内の正弦波に変換する変換を使用して変換され、
前記変換空間が処理されて該変換空間内のピークが検出される、請求項１〜７のいずれか１項に記載の方法。
【請求項９】
ビデオフレームのシーケンスを処理して該シーケンスのショット間にワイプ遷移が存在するか否かを判断する装置であって、
前記シーケンス内の複数のフレームのそれぞれについて、該フレームと先行するフレームとの間の差分を表す差分値を、該フレーム内の少なくとも幾つかの画素位置において生成するように動作可能な、差分値計算器と、
前記差分値を基底上に射影して前記フレームについての複数の射影値を生成し、該射影値のそれぞれが、前記基底上の各位置に関連付けられると共に前記複数の画素における各差分値から導出される合成値を含むように動作可能な、射影計算器と、
複数の異なるフレームの各基底について、前記複数の射影値をそれぞれ処理することによって、該射影値を導出した差分値を有する複数の画素において突発的ショット遷移が発生した尤度を表す突発的ショット遷移尺度を、前記基底上の各位置においてそれぞれ計算するように動作可能な、突発的ショット遷移検出器と、
前記複数のフレームの各基底における前記突発的ショット遷移尺度が該複数のフレームの時系列に対応する順に整列された２次元配列内において、所定の幾何パターンが存在するか否かを判断することによって、ワイプ遷移が存在するか否かを判断するように動作可能な、幾何パターン検出器と
を備える、ビデオフレームのシーケンスを処理して該シーケンスのショット間にワイプ遷移が存在するか否かを判断する装置。
【請求項１０】
前記差分値計算器は、前記フレーム内の少なくとも幾つかの画素の画素値と、先行するフレーム内の同じ空間位置における画素の画素値とを変換し、前記フレーム内の前記変換された値と前記先行するフレーム内の前記変換された値との間の差分を計算することによって、前記複数のフレームのそれぞれにおける前記差分値を生成するように動作可能である、請求項９に記載の装置。
【請求項１１】
前記差分値計算器は、差分値を生成する処理を前記フレームのそれぞれについて複数回実行するように動作可能であり、そのたびに異なるカラーチャネルからの画素値が使用され、それによって、前記フレームの前記基底上の各位置において複数の射影値が生成され、該複数の射影値は、それぞれ異なるカラーチャネルからの画素値を使用して生成されており、
前記突発的ショット遷移検出器は、或るフレームの前記基底上の各位置における前記突発的ショット遷移尺度を、該位置における前記複数の射影値を使用して計算するように動作可能である、請求項９又は１０に記載の装置。
【請求項１２】
前記突発的ショット遷移検出器は、或るフレームの前記基底上の各位置における前記突発的ショット遷移尺度を、該位置における前記射影値を閾値と比較することによって計算するように動作可能である、請求項９〜１１のいずれか１項に記載の装置。
【請求項１３】
前記突発的ショット遷移検出器は、或るフレームの前記基底上の各位置における前記突発的ショット遷移尺度を、該位置における前記射影値を閾値と比較すると共に、過去のフレーム及び未来のフレームにおける時間窓内のフレームの前記基底上の同じ位置における前記射影値とも比較することによって計算するように動作可能である、請求項１２に記載の装置。
【請求項１４】
前記幾何パターン検出器は、
前記２次元配列における前記突発的ショット遷移尺度を、点を変換空間内の正弦波に変換する変換を使用して変換するように動作可能なデータ変換器と、
前記変換空間を処理して該変換空間内のピークを検出するように動作可能なピーク検出器と
を備える、請求項９〜１３のいずれか１項に記載の装置。
【請求項１５】
プログラマブル処理装置を、請求項１〜８のうちの少なくとも１項に記載の方法を実行するように動作可能となるようにプログラミングするための、コンピュータプログラム命令を搬送する、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルビデオフレームシーケンスのショット間の段階的な遷移であるワイプ遷移の検出に関し、特にディジタルビデオの複数のショットへのセグメント化に適用される。
【背景技術】
【０００２】
近年、消費者がアクセスして自身のビデオライブラリ内に保持するディジタルビデオデータの量が急激に増大している。これらのビデオは、市販のＤＶＤ及びＶＣＤ、個人的なカムコーダによる記録、ＨＤＤシステム及びＤＶＲシステムへのエアチェック、パーソナルコンピュータ或いは移動電話或いはＰＤＡ或いはポータブルプレイヤ上でのビデオダウンロード等の形態をとることができる。このディジタルビデオライブラリの発展は継続し、Ｂｌｕ−Ｒａｙ及びＨＤ−ＤＶＤのような新しい大容量技術がますます利用可能になることによって加速すると予測される。しかしながら、このようにビデオ資料が多量にあることが、ユーザにとって問題にもなっている。ユーザは、自身のビデオコレクションを管理することがますます困難になっていると感じている。このことに対処するために、新しい自動ビデオ管理技術が開発されている。この新しい自動ビデオ管理技術は、ユーザが自身のビデオコンテンツ、及び、ビデオのカテゴリ化、要約、検索等のような機能に効率よくアクセスすることを可能にする。
【０００３】
このような機能を実現することは、個々のビデオを分析して理解することに依拠する。ここで、ビデオの分析における第１のステップは、ほぼ常にその構造的セグメント化（structural segmentation）である。これは、ビデオを、そのビデオを構成する複数のショットにセグメント化することを意味する。このステップは、その性能がその後のあらゆるビデオ分析ステップの結果の質に影響を及ぼすことになるため、大変重要である。
【０００４】
一般に、ショットは、カメラの「録画開始」操作と「録画停止」操作との間に取り込まれるビデオセグメントであると定義される。そして、ビデオは多数のショットから成るシーケンスとして集約される。たとえば、１時間のＴＶ番組は一般に約１０００個のショットを含む。完全なビデオを形成するために編集工程においてショットを集約するさまざまな方法が存在する。最も単純なメカニズムは、単純にショットを追加することである。それによって、１つのショットの最後のフレームに、次のショットの最初のフレームが直接続くことになる。これによって、一般に「カット」と呼ばれる突発的ショット遷移（abrupt shot transition）が生じる。幾つかのフレームにわたって継続する段階的なショット遷移（gradual shot transition）を使用して複数のショットを結合するようなより複雑なメカニズムも存在する。段階的ショット遷移の一般的な例は、ワイプである。それによって、新たなショットが、画像を横切って動く線の経路に沿って、或いは何らかの幾何パターンに従って、古いショットと段階的に置き換わる。最も一般的なタイプのワイプは、水平ワイプと垂直ワイプである。左から右への水平ワイプの一例を図１に見ることができる。
【０００５】
一般に、突発的遷移は段階的遷移よりもはるかに一般的であり、ビデオに見られるすべての遷移の９９％超を占める。したがって、突発的ショット遷移の正確な検出は非常に重要であり、本願の同時継続出願である欧州特許出願公開第１，６４０，９１４号及び欧州特許出願公開第１，６４０，９１３号において検討されている。その一方で、段階的遷移は意味的に高い重要性を有するため、そのような遷移の検出もまた非常に重要である。たとえば、ワイプは１つのストーリー内の時間の経過或いはシーンの変化を示すのに一般的に使用される。したがって、さまざまな研究者がワイプ遷移を検出する方法を提案してきた。
【０００６】
Wu, M.、Wolf, W.、Liu, B著「An Algorithm for Wipe Detection」（Proceedings of 5th IEEE International Conference on Image Processing (ICIP98), vol. 1, pp. 893-897, 1998）には、以下のようにしてビデオ内のワイプ遷移を検出する方法が提示されている。最初に、連続するフレーム間の画素ごとの輝度差分が計算される。次いで、フレームにおける差分の全体平均が閾値を超えることを条件として、そのフレームにおける画素ごとの差分が軸、たとえば水平軸又は垂直軸又は対角軸に射影される。次いで、射影された差分の標準偏差が計算される。次いで、フレームにおけるその標準偏差指標が閾値を超えることを条件として、そのフレームが標準偏差指標の時系列における適切な幅の平坦域の一部であれば、そのフレームはワイプの一部であるとして検出される。この方法の欠点は、物体の高速運動或いは照明変化のような単純なビデオ事象によって射影差分が大きくなり、単純な標準偏差指標が損なわれ、誤検出或いは看過が引き起こされることである。もう１つの欠点は、平坦域の適切な幅、すなわち遷移の長さを予め定めることが困難であることである。ワイプは１秒のわずか数分の１から数秒にわたって継続する可能性がある。そのため、推測される遷移の長さに基づいて検出を行うことが困難となる。
【０００７】
Ngo, C. W.、Pong, T. C.、Chin, R. T.著「Detection of Gradual Transitions through Temporal Slice Analysis」（Proceedings of 18th IEEE International Conference on Computer Vision and Pattern Recognition (CVPR99), vol. 1, pp. 36-41, 1999）には、ビデオ内のワイプ遷移を検出する別の方法が提示されている。この方法は、空間−時間スライスを分析することに依拠する。空間−時間スライスは、フレームシーケンスにわたって各フレームの小さな中央水平部分又は垂直部分又は対角部分を取ることによって形成される２Ｄ画像である。たとえば、水平空間−時間スライスは、フレームの時系列における各フレームの中央の１行、又は中央の数行の加重平均を取ることによって形成される。別の言い方をすれば、ビデオをｘ軸、ｙ軸（フレーム空間軸）及びｚ軸（時間軸）を有する３Ｄボリュームとみなすと、水平スライスは実際にはｚ軸に沿ったビデオのスライスである。垂直スライス及び対角スライスも同様に形成される。Ngo他によって提案されている方法では、３つのスライス、すなわち、水平スライス、垂直スライス、及び対角スライスがワイプの検出に使用される。次いで、エッジ特徴及びテクスチャ特徴がスライスから抽出され、マルコフエネルギーモデル（Markov energy model）を使用して空間−時間スライスの文脈依存性が記述され、ワイプが検出される。この方法は、Ngo, C. W.、Pong, T. C.、Chin, R. T.著「A Robust Wipe Detection Algorithm」（Proceedings of 4th Asian Conference on Computer Vision (ACCV2000), pp. 246-251, 2000）においてさらに拡張されている。この拡張された方法によれば、ワイプはNgo他のオリジナルの方法と同様に検出されるが、追加ステップとして、ワイプの検出に続いて、空間−時間スライスにおける検出されたワイプ遷移の両側の隣接するブロックのカラーヒストグラムの比較が行われる。ヒストグラム差分が所定の閾値を下回る場合、検出されたワイプは誤検出であるとみなされる。そうでない場合、ハフ変換が使用されてワイプ境界が正確に位置特定される。Ngo他によって提案されている両方法の主要な欠点は、空間−時間スライスを通してのビデオの表現が非常に限られたものであることである。実際、遷移はビデオ内の各フレームの非常に小さい部分のみを調べることによって検出される。１つ又は複数のスライスによってカバーされる空間ロケーションにおいて偶然に類似してしまっている２つのショット間のワイプを、これらのスライスにおいて見分けることは困難である。その一方で、物体或いはカメラの移動等の単純なビデオ事象は、それがビデオフレーム全体に及ぼす効果が小さい場合であっても、その空間−時間スライスに大きな影響を及ぼすことがあり、結果として誤検出をもたらす可能性がある。拡張された方法におけるヒストグラム比較後処理ステップは、これを或る程度緩和することができるが、追加の計算負荷を伴う。
【０００８】
Drew, M. S.、Li, Z. -N.、Zhong, X.著「Video Dissolve and Wipe Detection via Spatio-Temporal Images of Chromatic Histogram Differences」（Proceedings of 7th IEEE International Conference in Image Processing (ICIP2000), vol. 3, pp. 929-932, 2000）には、ビデオ内のワイプ遷移を検出する別の方法が提示されている。この方法によれば、ビデオ内の各フレームの各列（又は各行又は各対角線）について、２次元色度ヒストグラムが形成される。次いで、連続するフレームの対応するヒストグラム間において、ヒストグラムインターセクションが行われる。これに続いて、ヒストグラムインターセクション値の空間−時間パターンからワイプが検出される。この方法に伴う欠点は、この方法はワイプ検出に関してフレームの全内容を考慮するが、フレーム領域、すなわち列、又は行、又は対角線のヒストグラムは、その領域の限られた表現しか提供しないことである。したがって、この方法によれば、ワイプに関与する２つのショットの列は、広範囲にわたって類似している色内容を有する場合には、それらの色内容の空間的配置が全体的に異なっている場合であっても、非常に類似しているとみなされることになる。
【０００９】
米国特許第５，９９０，９８０号「Detection of Transitions in Video Sequences」（特許文献１）には、ワイプ遷移を検出する別の方法が提示されている。この方法では、ビデオシーケンス内において指定のタイミング窓サイズだけ隔てられた複数のフレーム対について、フレーム相違尺度（ＦＤＭ：Frame Dissimilarity Measure）値が生成される。各ＦＤＭ値は、２つのフレーム間の正味の相違尺度Ｄnetと、２つのフレームの間にある複数のフレーム対についてのＤnet値の総和として計算される累積相違尺度Ｄcumとの比として計算される。Ｄnet及びＤcumは、たとえばフレームヒストグラム差分或いは画素ごとのフレーム差分として計算することができる。その結果、ＦＤＭデータ内において、特定の第１の閾値を超えるピークが遷移を示し、ピークの両側において、特定の第２の閾値を下回るＦＤＭ値が遷移の境界を示す。
【００１０】
また、ビデオ圧縮特性からワイプを検出するさまざまな方法が提案されている。米国特許第６，４７３，４５９号「Scene Change Detection」には、動きベクトルから計算される動き特性値と、ブロック内の周波数領域上での係数から導出される予測符号化映像特性値とに基づいてワイプを検出する方法が開示されている。
【００１１】
米国特許第７，０５０，１１５号明細書には、イントラ符号化マクロブロックの数と、その空間−時間特性とに基づいてワイプを検出する別の方法が開示されている。この方法と上記の米国特許第６，４７３，４５９号の方法とに共通する欠点は、特定の様式で圧縮されているビデオにしか適用できないことである。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】米国特許第５，９９０，９８０号明細書
【発明の概要】
【００１３】
従来技術における制限に鑑みて、本発明は、ビデオフレームのシーケンスを処理してシーケンスのショット間にワイプ遷移が存在するか否かを判断する方法を提供する。この方法は、
（ａ）シーケンス内の複数のフレームのそれぞれについて、フレーム内の少なくとも幾つかの画素の画素値と、シーケンス内の先行するフレーム内の同じ空間位置における画素の画素値とを使用することによって、これらの画素におけるフレーム間の差分を表す差分値を生成し、これらの差分値を基底（base）上に射影してフレームについての複数の射影値を生成し、射影値のそれぞれが、基底上にそれぞれの位置を有すると共に複数の画素の差分値から導出される値を含むようにするステップと、
（ｂ）異なる複数のフレームについて生成された複数の射影値を処理することによって、射影値を導出した差分値を有する複数の画素において突発的ショット遷移が発生した尤度を表す突発的ショット遷移尺度（abrupt shot transition measure）を、各フレームのそれぞれの基底上の各位置においてそれぞれ計算するステップと、
（ｃ）複数のフレームの各基底における突発的ショット遷移尺度が複数のフレームの時系列に対応する順に整列された２次元配列内において、所定の幾何パターンが存在するか否かを判断することによって、ワイプ遷移が存在するか否かを判断するステップと
を含む。
【００１４】
また、本発明は、ビデオフレームのシーケンスを処理してシーケンスのショット間にワイプ遷移が存在するか否かを判断する装置を提供する。この装置は、
シーケンス内の複数のフレームのそれぞれを処理して、フレーム内の少なくとも幾つかの画素と、先行するフレーム内の少なくとも幾つかの画素との間の差分を表す差分値を生成する手段と、
各フレームについての差分値をフレームの基底上に射影することによって、フレームについての複数の射影値を生成し、射影値のそれぞれが、基底上にそれぞれの位置を有すると共に複数の画素の差分値から導出される値を含むようにする手段と、
複数のフレームの各基底上の複数の射影値を処理することによって、その位置における射影値を導出するのに使用された画素において突発的ショット遷移が発生した尤度を表す突発的ショット遷移尺度を、基底上の各位置においてそれぞれ計算する手段と、
複数のフレームの各基底における突発的ショット遷移尺度が複数のフレームの時系列に対応する順に整列された２次元配列内において、所定の幾何パターンが存在するか否かを判断する手段と
を備える。
【００１５】
また、本発明は、たとえば、プログラマブル処理装置を、上記の処理動作を実行するように動作可能となるようにプログラミングするための、コンピュータプログラム命令を記憶する記憶媒体として、又はコンピュータプログラム命令を搬送する信号として具現化される、コンピュータプログラム製品を提供する。
【００１６】
これより、本発明の実施形態を添付の図面を参照して一例としてのみ説明する。
【図面の簡単な説明】
【００１７】
【図１】（ａ）から（ｄ）は、左から右への水平ワイプ遷移の一例を示す図である。
【図２】本発明の第１の実施形態の構成要素を概略的に示す図であり、コンピュータプログラム命令によってプログラミングされると、その中に処理装置の構成要素が構成されるものとして考えることができる概念的な機能処理ユニットも併せて示す。
【図３】図２の処理装置によって、ワイプ遷移を検出する処理の第１の部分において実行される処理動作を示す図である。
【図４】一例のビデオフレーム対について、図３において実行されるフレーム差分処理プロセス及び射影プロセスの結果を示す図である。
【図５】図２の処理装置によって、ワイプ遷移を検出する処理の第２の部分において実行される処理動作を示す図である。
【図６】図５のステップＳ５１０において異なるフレームについて計算された突発的ショット遷移尺度が、導出元のビデオフレームの時系列に対応する順に整列された２次元配列を示す図である。
【図７】図５のステップＳ５１０において異なるフレームについて計算された突発的ショット遷移尺度が、導出元のビデオフレームの時系列に対応する順に整列された２次元配列を示す図である。
【図８】図５のステップＳ５２０及びＳ５３０において実行される処理の結果として、図６の２次元配列において検出される線を示す図である。
【図９】本発明の第２の実施形態の構成要素を概略的に示す図であり、コンピュータプログラム命令によってプログラミングされると、その中に処理装置の構成要素が構成されるものとして考えることができる、概念的な機能処理ユニットも併せて示す。
【図１０】図９の処理装置によって、ワイプ遷移を検出する処理の第１の部分において実行される処理動作を示す図である。
【発明を実施するための形態】
【００１８】
第１の実施形態
図２を参照すると、本発明の第１の実施形態は、従来のように、１つ又は複数のプロセッサ、メモリ、グラフィックスカード等を含むパーソナルコンピュータ（ＰＣ）のようなプログラマブル処理装置２と、従来のパーソナルコンピュータモニタのような表示装置４と、キーボード、マウス等のようなユーザ入力装置６とを備えている。
【００１９】
処理装置２は、プログラム命令に従って動作するようにプログラミングされている。プログラム命令は、たとえば、（光ＣＤ−ＲＯＭ、半導体ＲＯＭ、磁気記録媒体等の）データ記憶媒体１２上に記憶されたデータとして入力されるか、且つ／又は、（たとえば遠隔データベースから、インターネットのような通信ネットワーク（図示せず）或いは大気を介して伝送されて処理装置２へ入力される、たとえば電気信号或いは光信号等の）信号１４として入力されるか、且つ／又は、キーボード等のユーザ入力装置６を介してユーザによって入力される。
【００２０】
後に詳述するように、プログラム命令は処理装置２をプログラミングするための命令を含み、シーケンス内のショット間においてワイプ遷移が発生するか否かを判断するために、ビデオフレームのシーケンスを定義するデータを処理するように処理装置２を設定する。より具体的には、処理装置２は、各ビデオフレームｆiについて、以下の処理を行う。
−  先行するフレームからの差分を、現在のフレーム及び先行するフレームにおける画素の色情報及び空間位置情報を使用して計算する。
−  差分を１つ又は複数の射影軸或いは他の基底上に射影する。
−  射影上の複数の点のそれぞれにおいて突発的ショット遷移が発生した尤度の尺度を、現在のフレームを含む複数のフレームのそれぞれの点の射影値に基づいて計算する。
−  １つ又は複数の射影における上記尤度の尺度の時系列において特性幾何パターンを検出することによって、ワイプを検出する。
【００２１】
この処理の結果として、この実施形態は、ビデオ内のワイプ遷移を正確に検出するロバストな技法を提供する。この技法は以下の特徴を有する。
−  各ビデオフレーム内のすべての画素の色情報を使用する。
−  各ビデオフレーム内のすべての画素の空間位置情報を使用する。
−  遷移の長さに関して何ら仮定を行わない。
−  圧縮されたビデオについては、ＤＣ及びサブＤＣを含む種々のフレーム解像度において高い検出性能を有する。
−  ビデオの圧縮に関して何ら仮定を行わない。
【００２２】
処理装置２は、プログラム命令によってプログラミングされると、処理動作を実行する幾つかの機能ユニットとして構成されているものとして考えることができる。このような機能ユニット及びそれらの相互接続の例を図２に示す。しかしながら、図２に示すユニット及び相互接続は概念的なものであり、理解を助けるための例示のみを目的として示されている。それらは必ずしも、処理装置２のプロセッサ、メモリ等が実際に構成されるユニット及び接続を表すものではない。
【００２３】
図２に示す機能ユニットを参照すると、中央コントローラ２０は、ユーザ入力装置６からの入力を処理すると共に、他の機能ユニットに対して制御及び処理を提供する。メモリ３０は、中央コントローラ２０及び他の機能ユニットによって使用されるために設けられている。
【００２４】
入力データインタフェース４０は、（圧縮形式又は非圧縮形式の）ディジタルビデオデータのフレームを含む入力データを受信し、この入力データを処理装置２の画像データ記憶装置５０内へ記憶することを制御する。入力データは、たとえば記憶媒体４２上に記憶されたデータとして、或いは処理装置２に送信される信号４４として、処理装置２に入力することができる。
【００２５】
差分計算器６０は、入力ビデオシーケンス内のフレーム間の差分を表す差分値を計算する。この実施形態では、差分計算器６０は、フレーム内の少なくとも幾つかの画素の画素値と、先行するフレームにおける同じ空間位置にある画素の画素値とを比較して、画素値間の絶対差分を求めることによって、各フレームについての差分値を計算する。
【００２６】
射影計算器７０は、各ビデオフレームについて、差分計算器６０によって計算された差分値を、複数の異なる基底上に射影する。この実施形態では、射影計算器７０は、差分値を水平線上に射影する水平射影計算器７２と、差分値を垂直線上に射影する垂直射影計算器７４と、差分値を対角線上に射影する対角射影計算器７６とを備えている。下記で説明するように、これらの異なる複数の基底のそれぞれは、異なるタイプのワイプ遷移がビデオシーケンスのショット間に存在するか否かを判断するために使用される。また、射影計算器７２，７４，７６のそれぞれは、必要に応じて射影差分値を正規化する。
【００２７】
突発的ショット遷移検出器８０は、射影計算器７０によって生成された各基底への射影値を処理して、基底上の各位置における突発的ショット遷移尺度をそれぞれ計算する。各位置において計算される突発的ショット遷移尺度は、基底上のその位置に対応する複数の画素、すなわち、その位置における射影値を導出した差分値を有する複数の画素において突発的ショット遷移が発生した尤度の尺度を定義する。
【００２８】
幾何パターン検出器９０は、各タイプの基底（すなわち、本実施形態では、水平線基底、垂直線基底、及び対角線基底）について、突発的ショット遷移検出器８０によって計算された突発的ショット遷移尺度値を処理することによって、各タイプの基底における突発的ショット遷移尺度値内にワイプ遷移を表す幾何パターンが存在するか否かを判断する。より詳細には、幾何パターン検出器９０は、各タイプの基底について、そのタイプの基底において複数のビデオフレームから生成された突発的ショット遷移尺度がフレームの時系列に対応する順に整列された２次元配列を定義するデータを処理する。幾何パターン検出器９０は、このような各タイプの基底における２次元配列を処理して、ワイプ遷移を表す幾何パターンが２次元配列内に存在するか否かを判断するように構成されている。幾何パターン検出器９０は、複数の異なるタイプの基底における２次元配列をこのように処理することによって、種々のタイプのワイプ遷移を表す幾何パターンを検出する。これによって、ビデオシーケンスのショット間におけるこれらの遷移の１つ又は複数の存在が検出される。
【００２９】
ワイプ範囲検出器１００は、幾何パターン検出器９０によって特定された各幾何パターンを定義するデータを処理することによって、ワイプ遷移の時間的境界を求める。
【００３０】
中央コントローラ２０の制御下にある表示コントローラ１１０は、処理装置２によって実行されたワイプ遷移検出の結果を表示する表示装置４を制御する。
【００３１】
これより、図２の装置によって実行される、入力ビデオフレームを処理してショット間にワイプ遷移が存在するか否かを判断する処理動作を、図３〜図８を参照して説明する。
【００３２】
図３を参照すると、処理は以下のビデオフレームシーケンスに対して実行される。
【００３３】
【数１】
2010183575.tif 000003
【００３４】
ここで、ｉはフレームインデックスであり、Ｔはビデオ内の総フレーム数であり、ｃはカラーチャネルインデックスであり、Ｃ1．．．ＣKはカラーチャネルであり、Ｋはカラーチャネルの数であって、たとえば｛Ｃ1，Ｃ2，Ｃ3｝＝｛Ｒ，Ｇ，Ｂ｝又は｛Ｃ1，Ｃ2，Ｃ3｝＝｛Ｙ，Ｃb，Ｃr｝であり、ｘ及びｙは空間座標であり、Ｍは水平フレーム寸法であり、Ｎは垂直フレーム寸法である。したがって、各フレームの各画素についてＫ個の画素値（Ｃ1．．．ＣK）が存在する。
【００３５】
ステップＳ３１０において、差分計算器６０は、各フレームと先行するフレームとの間の絶対差分ｄを以下のように計算する。
【００３６】
【数２】
2010183575.tif 000004
【００３７】
次いで、これらの絶対差分を射影計算器７０によって１つ又は複数の適切な軸上に射影する。たとえば、ステップＳ３２０において、水平軸上への射影ｐcH,i（ｘ）を、水平射影計算器７２によって以下のように計算する。
【００３８】
【数３】
2010183575.tif 000005
【００３９】
また、ステップＳ３３０において、垂直軸上への射影ｐcV,i（ｙ）を、垂直射影計算器７４によって以下のように計算する。
【００４０】
【数４】
2010183575.tif 000006
【００４１】
したがって、各射影値ｐは、フレーム内の所定の方向における複数の画素のそれぞれの差分値ｄから導出される合計値である。
【００４２】
それぞれの場合において、射影軸の各点上に射影される画素数は同じである。すなわち、水平射影においては垂直フレーム寸法Ｎに等しく、垂直射影においては水平フレーム寸法Ｍに等しい。そのため、射影の正規化は必要ない。
【００４３】
ステップＳ３４０において、対角射影計算器７６は、差分値ｄを対角軸上に射影する。この実施形態では、対角軸はフレームの左上隅からフレームの右下隅まで延在するが、別の対角軸を代わりに使用することもできる。このような対角射影は、対角射影軸が水平又は垂直になるまでフレームを
【００４４】
【数５】
2010183575.tif 000007
【００４５】
に従って或る角度φだけ回転させ、続いて回転された射影軸上に適切に水平射影又は垂直射影したものとして最も良好に視覚化することができる。一般に、対角射影ｐcD,i（ｚ）では、射影軸の各点上に射影される画素数は同じにはならない。したがって、本発明の本実施形態では、ステップＳ３５０において対角射影計算器７６によって正規化手順を実行することによってこの不均衡に対処し、ｐcD,i（ｚ）における射影値を正規化して正規化ｐ’cD,i（ｚ）を生成する。
【００４６】
水平線、垂直線、対角線上への射影はほとんどのワイプパターンの検出に十分であり得るが、本発明の代替的な実施形態では、複数の線分の基底、ボックスの基底等のような他の基底上への射影を採用し、続いて正規化ステップを適宜行ってもよい。
【００４７】
例示の目的で、図４にフレーム差分処理プロセス及び射影プロセスの一例を示す。より具体的には、図４(ａ)及び図４(ｂ)は、左から右への水平ワイプを受けている２つのフレームｆi-1及びｆiにおける輝度チャネルＹを示しており、一般性を失うことなく、６４×６４画素の解像度にサブサンプリングされている。図４(ｃ)は、２つのフレームにおける上記式（２）による画素ごとの絶対差分ｄYiを示している。また、図４(ｄ)は、図４(ｃ)における差分の式（３）による水平射影ｐYH,iを示し、図４(ｅ)は、図４(ｃ)における差分の式（４）による垂直射影ｐYV,iを示し、図４(ｆ)は、図４(ｃ)における差分のフレームの左上隅から右下隅まで延在する線上への正規化対角射影Ｐ’YD,iを示している。
【００４８】
次に、処理装置２は、各計算された射影又は正規化射影を、図５に示す処理動作に従って処理する。より具体的には、図５は水平射影ｐcH,i（ｘ）の処理を示しているが、この処理は他の射影についても実質的に同じである。
【００４９】
ステップＳ５１０において、突発的ショット遷移検出器８０によって実行される局所突発的ショット遷移検出プロセスによって射影を処理する。突発的ショット遷移検出器８０は、射影軸上の各点において新たなショットが観測可能であるか否かを判断する。すなわち、対応する空間領域において現在のフレームと先行するフレームとの間でショット変化が発生したか否かを判断する。射影を処理してショット変化が発生したか否かを判定することができる多くの方法が存在する。本実施形態によれば、突発的ショット遷移検出器８０は、有利には、射影上の所与の点における突発的ショット遷移が発生した尤度の尺度を、その所与の点における射影の値だけでなく、過去のフレーム及び未来のフレームのその所与の点における射影の値にも基づいて計算する。すなわち、複数の過去のフレーム及び未来のフレームにおいて観測することができる対応する空間領域の変化量に基づいて計算する。ステップＳ５１０において、点ｘにおいて、すなわちフレーム列ｘにおいて突発的ショット遷移が発生した尤度の尺度ｌH,i（ｘ）を、ｐH,iを中心とするサイズ２ｗ＋１の時間窓内のｐH値、すなわち［ｐcH,i-W（ｘ），ｐcH,i+W（ｘ）］内の値を考慮することによって計算する。最初に、チャネル横断射影尺度（cross-channel projection measure）ｓH,i（ｘ）を以下のように計算する。
【００５０】
【数６】
2010183575.tif 000008
【００５１】
次いで、ｌH,i（ｘ）を以下のように計算する。
【００５２】
【数７】
2010183575.tif 000009
【００５３】
ここで、ψ及びξは閾値であり、一般的にξ≧１である。したがって、式（７）は尤度の尺度ｌを、突発的ショット遷移が検出される場合には１の値をとり、それ以外の場合には０の値をとる２値尺度（binary measure）として特徴付ける。そして、フレームｆiの列ｘにおいてショット変化が検出されるためには、チャネル横断射影値ｓcH,i（ｘ）は、閾値ψよりも大きく、かつ、時間窓内の他のすべての値よりもξ倍大きいことが要求される。時間窓内の射影値を考慮して各フレームの各領域における決定に至るため、尺度ｌのノイズに対するロバスト性が向上し、それによって、突発的ショット変化検出プロセスは、より信頼性の高いものとなる。
【００５４】
図６は、時間パラメータｉ及び空間パラメータｘを有する２Ｄ関数ｌH,i（ｘ）のプロットを示す。突発的ショット遷移尺度値ｌHは、一方の次元においては水平射影軸上の位置に従って、他方の次元においてはフレームの時間的順序によって、２Ｄアレイ内に配置されている。これは、フレームの水平射影をフレームの時間的順序に整列させることによって、水平射影上の対応する位置がフレーム順序の方向に整列するようにしたものと考えることができる。
【００５５】
図６において、白色の値はｌH,i（ｘ）＝１を示し、黒色の値はｌH,i（ｘ）＝０を示す。このプロットは、実際のビデオのセグメントから導出されたものである。セグメントはｑ個のフレームを含み、この事例ではｑ＝２５０である。セグメントは左から右への水平ワイプを含み、このワイプは点ＬＳ１から点ＬＥ１まで延在する線を生じさせる。この幾何パターンは、水平射影から計算される２Ｄ関数ｌHにおける左から右への水平ワイプの特性である。図７に示すように、他のタイプのワイプは異なる特性幾何パターンを生成する。たとえば、図７(ａ)に示すように、右から左への水平ワイプはｌHにおいて点ＬＳ２とＬＥ２との間の線を生成する。図７(ｂ)に示すように、左から右へと右から左へとを組み合わせた水平ワイプは、ｌHにおいて点ＬＳ３とＬＭ３との間、及び点ＬＭ３とＬＥ３との間の２つの接続された線分を生成する。このようにして、ｌHにおける特性幾何パターンを検出することによってワイプを検出することができる。
【００５６】
図５のステップＳ５２０において、幾何パターン検出器９０は、ｌH,i（ｘ）における特性幾何パターンの検出を行う。これを行うには、たとえば従来のエッジ検出の教示を適用するなどの多くの方法が存在する。しかしながら、本実施形態は、有利には、ｌH,i（ｘ）のハフ変換に基づく方法を採用する。より具体的には、ハフ変換のために、線を以下のように記述することができる。
【００５７】
【数８】
2010183575.tif 000010
【００５８】
ここで、（ｒ，θ）は、当該線への法線における原点からの長さ及び角度を表す。ｌH,i（ｘ）＝１である各点（ｘ，ｉ）によって定義されるすべての（ｒ，θ）点をプロットすることによって、カルテシアン空間の点はハフ空間Ｇ（ｒ，θ）における正弦波となる。そして、カルテシアン空間における同一線上の点は、ハフ空間においては或る点（ｒ，θ）で交差する正弦波を生じる。したがって、ハフ空間におけるピークは、カルテシアン空間における同一線上の複数の点を示し、上述したようにワイプ遷移を示す線を示す。ハフ空間における或る点のピークは、その点の値に閾値を適用することに基づいて検出することができる。本発明の本実施形態では、所与の点におけるピークは、その点に割り当てられている値と、隣接する点に割り当てられている値とに基づいて検出される。ステップＳ５２０において、
【００５９】
【数９】
2010183575.tif 000011
【００６０】
である場合に、ハフ空間Ｇにおける或る点（ｒ，θ）のピークが検出される。ここで、α及びβは閾値であり、ｔは局所近傍のサイズ２ｔ＋１を指定する。
【００６１】
式（９）を満たす幾何パターンパラメータの集合Ｓが求められると、ワイプ範囲検出器１００は、ステップＳ５３０において、式（８）から、ｘに異なる値を与えてそれをｉについて解くことによって、ワイプ遷移の時間的境界を求める処理を行う。例示の目的で、図８は、図６のプロットにおいて式（８）及び（９）による処理の後に検出される線を示す。複数の重なり合う線がプロットされる図８における事例の様に、単一のワイプについて、１つではなく多くの非常に類似した線を検出することがある。その場合、ワイプ範囲検出器１００は、これらすべての候補ワイプを同一のワイプとして、たとえばハフ空間におけるそれらのピーク近接性に基づいて特定し、１つの候補ワイプ、たとえばハフ空間において最高のピークを有するワイプを本物のワイプを表すものとして選択する。
【００６２】
上記プロセスを、ワイプを特性化する線又は複数の線分を検出するために使用することができる。本発明の代替的な一実施形態では、ハフ変換の代わりに一般化ハフ変換を採用してもよい。一般化ハフ変換では、線だけでなくパラメータ化することができる他の一般的な形状も検出することが可能である。本発明のさらに別の実施形態では、ラドン変換のようなワイプの特性幾何パターンを検出する他の変換を使用してもよい。ここでは一般化ハフ変換及びラドン変換は検討しないが、van Ginkel, M.、Hendriks, C. L.、van Vliet, L. J.著「A short introduction to the Radon and Hough transforms and how they relate to each other」（Number QI-2004-01 in the Quantitative Imaging Group Technical Report Series, Delft University of Technology）に専門的に記載されている。
【００６３】
他のタイプのワイプは、他の射影から生じるｌにおいて異なる特性幾何パターンを生成する。たとえば、上から下への垂直ワイプは、図７(ｃ)に示すようにｌVにおける点ＬＳ４とＬＥ４との間の線を生成する。通常、すべてのタイプの射影が各ワイプパターンの検出に使用されるわけではない。たとえば、通常は、水平ワイプの検出にはｌHで十分であり、垂直ワイプの検出にはｌVで十分であり、対角ワイプの検出にはｌDが最も適している。前述したように、図５には水平射影ｐcH,i（ｘ）の処理を示しているが、他の射影又は正規化射影の処理も基本的には同じである。ほとんどのワイプパターンの検出には水平線、垂直線、及び対角線への射影で十分であるが、本発明の代替的な実施形態では、複数の線分、ボックス等の他の基底への射影を採用してもよく、それらの処理も実質的には同じである。
【００６４】
第２の実施形態
これより、本発明の第２の実施形態を説明する。
【００６５】
図９は、第２の実施形態の構成要素を示している。これらの構成要素は、画素値変換器５５が設けられていることを除いて、図２に示されている第１の実施形態の構成要素と同じである。
【００６６】
第１の実施形態では、２つのフレーム内における対応する画素間の絶対差分が計算され、ワイプの検出のために水平軸、垂直軸、又は対角軸のような射影基底上に射影される。本発明の第２の実施形態では、図３に示す処理動作の代わりに、図１０に示す処理動作が行われる。この処理動作では、最初に、各フレーム内における射影軸の同じ点上に射影される１Ｄ連続画素が、画素値変換器５５により適切な変換を用いて変換される。次に、２つのフレーム内における対応する変換値間の絶対差分が計算される。続いて、これらの差分が、ワイプの検出のために水平軸、垂直軸、又は対角軸のような適切な射影軸上に射影される。たとえば、図３の第１の実施形態の処理動作では、２つのフレームの対応する列内の対応する画素間の絶対差分が水平射影軸の同じ点上に射影される。図１０の第２の実施形態では、各フレーム内の各列が変換を受け、２つのフレームの対応する列内の対応する変換値間の絶対差分が計算され、これらの差分が水平軸上に射影される。したがって、図１０による本発明の第２の実施形態では、差分の水平軸上への射影については、上記変換は各フレームの各列に適用され、差分の垂直軸上への射影については、上記変換は各フレームの各行に適用され、差分の別の基底上への射影については、上記変換は射影基底の同じ点に対応する１Ｄ連続画素に適用される。
【００６７】
画素値変換器５５によって、画素の各列、又は各行、又はより一般的には各１Ｄ連続画素に適用される変換は、たとえば、ハール変換（Haar transform）或いはドベシィ変換（Daubechies transform）のようなウェーブレット変換とすることができる。図１０のステップＳ９１０において、本実施形態では、値ｆci（ｘ，０），ｆci（ｘ，１），．．．，ｆci（ｘ，Ｎ−１）を有する各１Ｄ画素列ｘについて、その列のハール変換を以下のように計算する。ハイパス係数とも呼ばれる差（ｆci（ｘ，０）−ｆci（ｘ，１））／２，（ｆci（ｘ，２）−ｆci（ｘ，３））／２，．．．，（ｆci（ｘ，Ｎ−２）−ｆci（ｘ，Ｎ−１））／２を、ローパス係数とも呼ばれる和（ｆci（ｘ，０）＋ｆci（ｘ，１））／２，（ｆci（ｘ，２）＋ｆci（ｘ，３））／２，．．．，（ｆci（ｘ，Ｎ−２）＋ｆci（ｘ，Ｎ−１））／２と共に計算する。ローパス係数は、元の１Ｄ列がサブサンプリングされたものを形成する。このローパス係数から、ハイパス係数及びローパス係数を再び計算する。このプロセスを、最後のローパス係数が計算されるまで繰り返す。その結果、Ｎ個の値から成る１Ｄ列のハール変換は、最後のローパス係数と、計算されたＮ−１個のすべてのハイパス係数とから成る集合となる。ハール変換の代替的な実施態様では、和及び差は、２の代わりに√２で除算される。ｆci（ｘ，ｙ）内のすべての列を、変換された列で置き換えることによって、変換されたフレームｆcCOL,i（ｘ，ｙ）が与えられる。
【００６８】
次いで、ステップＳ９４０において、式（２）に従って差分ｄcCOL,i（ｘ，ｙ）を計算する。次いで、ステップＳ９７０において、式（３）に従って水平射影を計算する。
【００６９】
ステップＳ９２０はステップＳ９１０と同様に進行するが、列の代わりに行に沿ってハール変換を計算する。同様に、ステップＳ９３０において、対角１Ｄ連続画素に沿ってハール変換を計算する。ステップＳ９５０及びＳ９６０はステップＳ９４０と同様に進行し、ステップＳ９８０及びＳ９９０はステップＳ９７０と同様に進行する。正規化ステップＳ９９５は、第１の実施形態において説明したように進行する。ワイプの検出のための射影又は正規化射影の処理も、図５を参照して第１の実施形態において説明したように進行する。
【００７０】
ほとんどのワイプパターンの検出には水平線、垂直線、及び対角線上への射影で十分であるが、代替的な実施形態は、複数の線分、ボックス等の他の基底上への射影を採用してもよく、それらの処理も実質的に同じである。
【００７１】
図１０のように変換されたフレームからフレーム差分を計算する利点は、後続の局所突発的ショット遷移検出プロセスの信頼性がより高くなることである。欠点は、図１０の実施形態に伴う計算複雑度が図３の実施形態と比較して増大することである。
【００７２】
変更形態及び変形形態
上述の実施形態では、ワイプ遷移の検出のためにビデオ内のすべてのフレームを処理する。本発明の代替的な実施形態では、種々の時間ステップサイズを使用することができる。その結果、処理が１フレームおき又は２フレームおき等になり、ビデオの処理が加速される。
【００７３】
また、上述の実施形態では、射影上の点ｐiについて、突発的ショット遷移が発生した尤度の尺度ｌiを、ｐiを中心とするサイズ２ｗ＋１の時間窓内のＰ個の値を考慮することによって計算する。本発明の代替的な実施形態では、上記窓を任意のサイズと想定することができ、ｐiを中心とする必要はない。したがって、１つの代替的な実施形態では、時間窓はｐiから開始することができる。一方、異なる代替的な一実施形態では、時間窓はｐiで終端することができる。たとえば、ｐiから開始するサイズｗ＋１の時間窓では、式（７）は以下のように変更される。
【００７４】
【数１０】
2010183575.tif 000012
【００７５】
さらに、式（６）と（７）又はその代替の式（１０）の方法は、尺度ｌの計算の一例に過ぎない。本発明の代替的な一実施形態では、チャネル横断射影尺度ｓを計算する必要はない。代わりに、各チャネルについてｌを計算し、次いでチャネル横断ｌを計算することができる。したがって、式（６）と（７）は以下の式に置き換えることができる。
【００７６】
【数１１】
2010183575.tif 000013
【数１２】
2010183575.tif 000014
【００７７】
ここで、Ｋはカラーチャネル数である。また、式（６）と（７）、並びに、式（１１）と（１２）は、２値尺度ｌを生成する。本発明の代替的な実施形態では、ｌは、０又は１以外の値をとることもできる。たとえば、これは式（１２）を式（１３）で置き換えることによって達成することができる。
【００７８】
【数１３】
2010183575.tif 000015
【００７９】
これによって、ｌは［０，Ｋ］内の値をとる。ここで、Ｋはカラーチャネル数である。次いで、後続の特性幾何パターン検出プロセスがこの非２値関数ｌに適用される。たとえば、ハフ変換及びラドン変換は共に非２値関数を処理することが可能である。
【００８０】
さらに、上述の実施形態では、ビデオフレームのすべての色チャネルをワイプ遷移の検出に使用する。本発明の代替的な実施形態では、チャネルのサブセットのみ、たとえば輝度チャネルＹのみを使用することができる。或いは、ｌの計算において、各チャネルに異なる重要性又は重みを与えることができる。たとえば、式（６）及び（７）の方法に従ってｌを計算している場合には、ｓの計算中に各チャネルに異なる重要性又は重みを与えることができる。或いは、式（１１）及び（１２）の方法に従ってｌを計算している場合には、式（１２）におけるｌの計算中に、各チャネルに異なる重要性又は重みを与えることができる。
【００８１】
また、上述の実施形態では、各ビデオフレーム内のすべての画素をワイプ遷移の検出に使用する。本発明の代替的な実施形態では、各フレームの中央部分のような各フレームの一部のみを使用することができる。このような処理は、たとえば、ビデオがワイドスクリーンビデオであり、各フレームの上下にある黒帯がフレームの一部として符号化されている場合に利点を提供することができる。
【００８２】
さらに、ハフ変換又は他の特性幾何パターン検出プロセスを適用するのに先だって、図６に示す２Ｄ関数ｌを空間的に処理することができることは当業者には明らかである。たとえば、スプリアスノイズ除去アルゴリズムを使用して、ゼロでないがゼロ値に囲まれている値をゼロに設定することができる。このようなプロセスは、後続の処理の安定性を向上させることができる。
【００８３】
本明細書において説明される方法は、さまざまな空間解像度のビデオに適用することができる。本発明の好ましい一実施形態では、高解像度フレームは、ビデオの処理を加速させると共に、ノイズ、圧縮、動き等から生じる不安定性を緩和するために、処理に先だっていくらかのサブサンプリングを受けることになる。特に、本明細書において説明される方法は、水平方向及び垂直方向の画素数が一般的な数十画素の圧縮ビデオのＤＣ解像度において良好に機能する。この追加の利点は、処理される圧縮ビデオを完全に復号する必要がないことである。Ｉフレームは、ＤＣレベルにおいて容易に復号することができる。一方、他のタイプのフレームについては、ＤＣ動き補償を使用することができる。
【００８４】
上述の実施形態では、処理は、コンピュータプログラム命令によって定義される処理ルーチンを使用して、プログラマブルコンピュータ処理装置によって実行される。しかしながら、処理の幾つか又はすべてを、ハードウェアを代わりに使用して実行することもできる。
【００８５】
無論、他の変更形態及び変形形態が可能である。
【図１】
2010183575.tif 000016
【図２】
2010183575.tif 000017
【図３】
2010183575.tif 000018
【図４】
2010183575.tif 000019
【図５】
2010183575.tif 000020
【図６】
2010183575.tif 000021
【図７】
2010183575.tif 000022
【図８】
2010183575.tif 000023
【図９】
2010183575.tif 000024
【図１０】
2010183575.tif 000025
【外国語明細書】
2010183575.tif 000026
2010183575.tif 000027
2010183575.tif 000028
2010183575.tif 000029
2010183575.tif 000030
2010183575.tif 000031
2010183575.tif 000032
2010183575.tif 000033
2010183575.tif 000034
2010183575.tif 000035
2010183575.tif 000036
2010183575.tif 000037
2010183575.tif 000038
2010183575.tif 000039
2010183575.tif 000040
2010183575.tif 000041
2010183575.tif 000042
2010183575.tif 000043
2010183575.tif 000044
2010183575.tif 000045
2010183575.tif 000046
2010183575.tif 000047
2010183575.tif 000048
2010183575.tif 000049
2010183575.tif 000050
2010183575.tif 000051
2010183575.tif 000052
2010183575.tif 000053
2010183575.tif 000054
2010183575.tif 000055
2010183575.tif 000056
2010183575.tif 000057
2010183575.tif 000058
2010183575.tif 000059
2010183575.tif 000060
2010183575.tif 000061
2010183575.tif 000062
2010183575.tif 000063
2010183575.tif 000064
2010183575.tif 000065
2010183575.tif 000066
2010183575.tif 000067
2010183575.tif 000068
2010183575.tif 000069
2010183575.tif 000070