(57)【要約】【課題】本発明におけるビデオフレームを適応的に再生する方法は、ビデオの画像複雑度に応じた速度でビデオフレームを適応的に再生するものである。【解決手段】まず始めに、ビデオフレーム内のピクセルの空間周波数、ならびにビデオフレーム間の対応するピクセルの時間的速度を測定する。空間周波数に時間的速度をかけることにより、ビデオフレームの画像複雑度の測度を得る。次に、画像複雑度に応じた速度でビデオフレームを適応的に再生する。【選択図】図１
2007527141.tif 000002
【特許請求の範囲】
【請求項１】
ビデオフレームを適応的に再生する方法であって、
前記ビデオフレーム内のピクセルの空間周波数を測定することと、
前記ビデオフレーム間の対応するピクセルの時間的速度を測定することと、
前記ビデオフレームの画像複雑度の測度を得るために、前記空間周波数に前記時間的速度をかけることと、
前記画像複雑度に応じた速度で前記ビデオフレームを再生することと
を含むビデオフレームを適応的に再生する方法。
【請求項２】
前記ビデオは、圧縮される請求項１に記載の方法。
【請求項３】
前記空間周波数は、前記フレーム内の前記ピクセルの離散コサイン変換係数から測定され、前記時間的速度は、前記フレーム間の対応するピクセルの動きベクトルから測定される請求項２に記載の方法。
【請求項４】
前記離散コサイン変換の基底関数は、
【数１】
2007527141.tif 000013
であり、ここで、ｋｘは、前記フレームのｘ方向の周波数ｆｘであり、ｋｙは、前記フレームのｙ方向の周波数ｆｙであり、
【数２】
2007527141.tif 000014
で表され、ここで、ＤＣＴマクロブロックの場合に、Ｎは８である請求項３に記載の方法。
【請求項５】
各基底関数は、一方を空間周波数ｆ１（→）＝（ｋｘ／２，ｋｙ／２）、他方を空間周波数ｆ２（→）＝（ｋｘ／２，ｋｙ／２）として２つの２Ｄ正弦波を重畳したものである請求項４に記載の方法。
【請求項６】
特定の動きベクトルがｖ（→）＝（ｖｘ，ｖｙ）である請求項５に記載の方法。
【請求項７】
前記離散コサイン変換係数および前記動きベクトルから得られる前記画像複雑度は、
【数３】
2007527141.tif 000015
である請求項６に記載の方法。
【請求項８】
テクスチャの少ない動きベクトルを捨てることと、
該動きベクトルをメジアンフィルタリングすることと、
擬似動きベクトルを減らすために、グローバルな動きモデルを前記動きベクトルに当てはめることと
をさらに含む請求項３に記載の方法。
【請求項９】
前記圧縮ビデオは、ＩフレームおよびＰフレームを含み、
動き補償を適用することによって前記Ｐフレームの離散コサイン変換係数を求めることと、
前記Ｐフレームの前記動きベクトルを補間することによって前記Ｉフレームの動きベクトルを求めることと
をさらに含む請求項３に記載の方法。
【請求項１０】
ビデオセグメントの複雑度を求めるために、フレームセットの前記画像複雑度を平均すること
をさらに含む請求項１に記載の方法。
【請求項１１】
エイリアシングを低減するために、前記ビデオを再生している間にモーションブラーを適用すること
をさらに含む請求項１に記載の方法。
【請求項１２】
再生速度が前記画像複雑度に反比例する請求項１に記載の方法。
【請求項１３】
前記ビデオを再生中に空間フィルタリングするために、コアリングを適用すること
をさらに含む請求項１に記載の方法。
【請求項１４】
前記ビデオは、未圧縮である請求項１に記載の方法。
【請求項１５】
前記ビデオの時間歪が再生中に最小化される請求項１に記載の方法。
【請求項１６】
前記最小化は、前記画像複雑度の量子化を用いる請求項１５に記載の方法。
【請求項１７】
前記最小化は、前記画像複雑度の平滑化およびフィルタリングを用いる請求項１５に記載の方法。
【請求項１８】
前記最小化は、前記画像複雑度の区分的な線形近似を行い、前記画像複雑度が実質的に線形になるようにする請求項１５に記載の方法。
【請求項１９】
前記最小化は、一定の画像複雑度を前記ビデオの一定の時間セグメントに割り当てる請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはビデオの処理に関し、特に画像複雑度に基づく圧縮ビデオの適応的再生に関する。
【背景技術】
【０００２】
従来技術では、ビデオの要約化とビデオの適応的再生は、１つの同じものとして認識される場合が多い。したがって、本発明を区別するために、以下の定義を行う。
【０００３】
ビデオの要約化
ビデオの要約化は、ビデオコンテントの趣旨または要点を縮小したコンパクトな形で作成するプロセスである。一般に、ビデオの要約は、元のビデオからフレームサブセットを選択して、元のビデオよりも短いビデオである要約ビデオを作成することによって作成される。要約は、選択された静止フレームおよび／または選択された短い連続シーケンスを含んで、元のビデオの最重要点を伝えることができる。要約は、選択されたフレームの順番で、ストーリーボードとして、あるいはモザイクとして提示することができる。ビデオを文章または口頭で要約化することも可能である。
【０００４】
一般に、ビデオの要約化は、ユーザ入力とビデオコンテントに基づく。コンテントの解析は、テクスチャ、動き、色、コントラスト、輝度等といった低レベルの特徴と、ジャンル、劇的度、ユーモア、アクションレベル、美しさ、叙情性等といった高レベルの意味的特徴とに基づいて行うことができる。
【０００５】
適応的再生
適応的再生は、時間を歪めてビデオを提示するプロセスである。最も一般的な意味において、ビデオの再生速度は、フレームレートを変化させることによって、またはフレームを選択的に落として再生速度を上げることによって、あるいはフレームを追加して再生速度を下げることによって、選択的に加速または減速される。ビデオの適応的再生が元のビデオより短く、かつ再生がビデオコンテントの最重要点を伝える場合、これは、要約の一種と考えることができる。しかし、ビデオの適応的再生が元のビデオより長い場合がある。例えば、ビデオが複雑なシーンまたは多くの動きを含む場合、鑑賞者は、ビデオの低速再生によりビデオの細部をより良く認識することができる。この種の適応的再生は、ビデオの増幅または増強であって、要約ではない。
【０００６】
要約の主目的は、ビデオの最重要点をより短い時間で出力することであるため、このプロセスは、基本的にはコンテントの解析に基づく。
【０００７】
対照的に、適応的再生の主目的は、人間の視覚系に対するビデオの認識を向上させることであり、この向上は、ビデオの画像複雑度に基づく。したがって、適応の焦点は、コンテントよりもビデオの心理物理的特性に基礎を置き、このプロセスは、コンテントの解析方法というよりも提示技法に近い。
【０００８】
ビデオの自動要約化方法は、よく知られている。S. Pfeiffer等著「デジタル動画の自動要約化（Abstracting Digital Movies Automatically）」（J. Visual Comm. Image Representation, vol. 7, no. 4, pp. 345-353, December 1996）、およびHanjalic等著「監視なしのクラスタ有効性解析に基づくビデオの自動要約化の統合方式（An Integrated Scheme for Automated Video Abstraction Based on Unsupervised Cluster-Validity Analysis）」（IEEE Trans. On Circuits and Systems for Video Technology, Vol. 9, No. 8, December 1999）を参照願いたい。
【０００９】
最も良く知られたビデオの要約化方法は、色に基づく要約化に焦点を置く。Pfeiffer等は、他の特徴と組み合わせて動きも用いて、ビデオの要約を作成する。しかし、Pfeiffer等の手法は、組み合わせた特徴間の考え得る関連を見過ごす重み付けした組み合わせを用いるに過ぎない。色記述子は、信頼性が高いが、ビデオコンテントの動き特性を含まない。しかし、動き記述子は、色記述子よりも雑音に敏感である傾向がある。ビデオの動きアクティビティレベルは、ビデオにより取得したシーンの変化量の測度とすることができる。したがって、動きアクティビティは、ビデオの「要約可能性」の測度と考えることができる。例として、高速カーチェイスは、ニュースキャスターのシーンと比べてより多くの「変化」を確実に含むことになるため、高速カーチェイスのシーンの視覚的要約は、ニュースキャスターのシーンよりも多くの資源を必要とする。
【００１０】
ある意味で、要約化は、冗長性の削減として考えることができる。これは、同様のビデオフレームをクラスタリングし、クラスタから代表的なフレームを選択することによって行うことができる。Yeung等著「ビデオショットの効率的なマッチングおよびクラスタリング（Efficient matching and clustering of video shots）」（ICIP '95, pp. 338-341, 1995）、Zhong等著「ビデオの閲覧および注釈付けのためのクラスタリング方法（Clustering methods for video browsing and annotation）」（SPIE Storage and Retrieval for Image and Video Databases IV, pp. 239-246, 1996）、およびFerman等著「ビデオの時間的分割および視覚的要約化のための効率的なフィルタリングおよびクラスタリング方法（Efficient filtering and clustering methods for temporal video segmentation and visual summarization）」（J. Vis. Commun. & Image Rep., 9:336-351, 1998）を参照願いたい。
【００１１】
別の手法では、ビデオコンテントの変化が経時的に測定され、次に、変化が顕著になるといつでも代表的なフレームが選択される。DeMenthon等著「曲線の単純化によるビデオの要約化（Video Summarization by Curve Simplification）」（ACM Multimedia 98, pp. 211-218, September 1998）、およびDivakaran等著「動きアクティビティに基づくビデオショットからのキーフレームの抽出（Motion Activity based extraction of key frames from video shots）」（Proc. IEEE Int'l Conf. on Image Processing, September 2002）を参照願いたい。
【００１２】
さらに別の手法では、ビデオの異なる部分に重要度の測度を割り当てる。その後、重要度の低い部分をフィルタリングすることができる。Ma等著「ビデオの要約化のためのユーザの注意モデル（A User Attention Model for Video Summarization）」（ACM Multimedia '02, pp. 533-542, December 2002）を参照願いたい。
【００１３】
適応的なビデオの要約化方法が、Divakaran等著「動きアクティビティ記述子を用いたビデオの要約化（Video summarization using descriptors of motion activity）」（Journal of Electronic Imaging, Vol. 10, No. 4, October 2001）およびPeker等著「動きアクティビティを用いたビデオの一定ペースのスキミングおよび時間的サブサンプリング（Constant pace skimming and temporal sub-sampling of video using motion activity）」（Proc. IEEE Int'l Conf. on Image Processing, October 2001）、Peker他により２０００年１１月１７日付で出願された米国特許出願第０９／７１５，６３９号、およびDivakaran他により２０００年８月９日付で出願された米国特許出願第０９／６５４，３６４号（参照により本明細書中に援用される）に記載されている。この方法では、一定「ペース」を有する要約を作成するために、動きアクティビティ記述子が用いられている。動きアクティビティ記述子は、ＭＰＥＧ圧縮ビデオにおける動きベクトルの大きさの平均値である。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
従来技術のビデオ処理方法は、主に、コンテントを考慮した理解可能な要約を提供することに焦点を置いてきた。しかし、ビデオを画像複雑度に応じた異なる速度で適応的に再生するには、異なる方法が必要である。これらの方法は、空間的および時間的複雑度に応じて人間の目がアクションの流れを追うことのできる速さを考慮すべきである。
【課題を解決するための手段】
【００１５】
心理物理的実験は、人間の視覚系が、一定の時空間ウィンドウ内の視覚刺激のみに敏感であることを示している。この時空間における動く画像の位置は、画像領域の空間周波数成分とその速度によって求められる。
【００１６】
本発明は、人間の知覚限界に合ったビデオの再生速度を求めるために用いることができるビデオの時空間複雑度（ＳＴＣ）の測度を提供する。あるいは、この測度は、ビデオの許容可能な再生速度に必要な時空間フィルタリングを求めることを可能にする。
【００１７】
時空間複雑度は、ビデオから直接測定されるため、コンテントを任意の点から順方向再生することができる。本発明による適応的な再生方法は、人間の視覚系の視覚特性に基づくため、本方法は、ビデオの要約に必要となるであろうコンテントの特性および意味に依存しない。
【００１８】
したがって、本発明による方法は、コンテントに関係なく広範囲のビデオに適用することができる。また、本方法は、知覚されるコンテントおよび時間の継続性が経時的に保存され、重要な事象を見落とす危険性を最小化する時間的に低い要約化に用いることができる。
【００１９】
ビデオの画像複雑度の測度を備えるため、ビデオを２つの代替的な方法で再生することができる。１つの方法では、ビデオを再生することのできる最適な速度を求めて認識を最大化する。第２の方法では、高周波空間成分のフィルタリングおよび時空間平滑化によって、空間的複雑度に部分的に応じた画像複雑度を低くすることができる。画像複雑度を低くすることは、要約の場合のようにビデオの特定の部分を削除することではなく、人間の視覚系を通じてコンテントを伝えるのに必要な時間を、そのコンテントが何であるかに関係なく短くすることを意味する。
【００２０】
本発明による画像複雑度の測度は、いかなる意味の推定も示唆しない。再生速度は、高レベルの認知段階ではなくコンテントの低レベルの物理的特性に適合される。この態様において、適応的再生は、意味的なコンテントの解析というよりも提示方法に近い。したがって、本発明による適応的再生は、既知の要約化方法と相補的である。
【００２１】
本発明の好適な実施形態は、離散コサイン変換係数により空間的に、また動きベクトルにより時間的に圧縮されたビデオに対して作用するが、本発明は、未圧縮ビデオに対しても作用することができることが理解されるべきである。
【発明を実施するための最良の形態】
【００２２】
本発明は、そのコンテントが何であるかに関係なく、コンテントの許容可能な理解のために調節された速度でビデオを適応的に再生する。本発明の再生速度は、主に、シーンの複雑度と人間の視覚系の処理能力の関数である。これらの要素は、人間の視覚系のフレーム処理時間に大きく影響する。
【００２３】
人間の視覚系は、可視性ウィンドウと呼ばれる特定の時空間ウィンドウ（以下の図６を参照）の刺激のみに敏感であることが知られている。Watson等著「可視性ウィンドウ：時間サンプリングした視覚的動きディスプレイの忠実度の心理物理的理論（Window of Visibility: a psychophysical theory of fidelity in time-sampled visual motion displays）」（J. Opt. Soc. Am. A, Vol. 3, No. 3, pp. 300-307, March 1986）を参照願いたい。Watson等は、時間サンプリングしたビデオが連続したビデオと同様に認識されるには、その２つのビデオが変換領域の可視性ウィンドウにおいて同じに見えなければならないと記している。
【００２４】
本発明者等は、人間は、ある空間解像度および時間周波数限界を越えると、見て理解することができないことも認識している。したがって本発明では、空間帯域幅と視覚刺激の速度すなわちビデオフレームを提示するレートとの関係のバランスをとって、ビデオを再生する際に知覚される視覚品質を一定に維持する。
【００２５】
図１は、この概念を、速度ｖで左右に線形移動する１Ｄインパルス信号１０１で、ｘ＝ｖ．ｔとなるように示す。ｘ軸およびｔ軸をそれぞれ２０２および２０１として表記した図２を参照願いたい。これは、ｘ−ｔ空間の直線２０３に対応する。図３に示すように、この信号のフーリエ変換もまた、原点を通る傾きが−１／ｖの直線３０１であり、ここで、ｗ３０２は、時間周波数であり、ｆ３０３は、空間周波数である。時間的に、１Ｄ信号を平行移動させると、そのスペクトルは、原点を通る直線となる。
【００２６】
図４は、帯域幅（−Ｕ，Ｕ）４０１を有する帯域制限信号を示す。図５に示すように、時空間（フーリエ）変換は、（Ｕ，−ｖ．Ｕ）から（−Ｕ，−ｖ．Ｕ）まで延びる直線５０１である。
【００２７】
移動信号を時間サンプリングすると、元の信号のフーリエ変換の複製が変換領域の時間周波数軸ｗ上に生成される。これらの複製は、それぞれｗｓだけ離間しており、ここでｗｓは、時間サンプル周波数である。
【００２８】
心理物理的な理論によれば、フーリエ領域について図６に示すように、時間サンプリングした帯域幅制限信号６０１は、サンプリングした複製６０２が可視性ウィンドウ６１０（Watson等）の外にある限り、連続したものと同じように知覚される。複製６０２は、ｗｓ≧ｗｌ≧＋ｖＵである限り可視性ウィンドウの外にあり、ここで、ｌは、時間周波数軸上の可視性ウィンドウのエッジである。
【００２９】
別の考慮事項は、サンプリングによる時間的なエイリアシング効果である。エイリアシングを防止するには、サンプリング周波数ｗｓは、少なくとも２．ｖ．Ｕでなければならない。エイリアシングと可視性ウィンドウの制約の比較を、サンプリングした信号の時間スペクトル７０１および８０１を有する図７および図８に示す。コンピュータグラフィックスにおいて、エイリアシングは、空間平滑化またはモーションブラーを用いて周波数処理される。したがって、視覚刺激の時間帯域幅は、時間サンプル周波数に対する制限要因となる。
【００３０】
１Ｄ正弦波９０１とこれを偏位したもの９０２について図９に示すように、１Ｄ信号を平行移動させるための時間帯域幅はｖ．Ｕである。２Ｄの場合、移動正弦波の時間周波数は、周波数ベクトルと速度ベクトルのドット積によって与えられる。
【００３１】
【数１】
2007527141.tif 000003
【００３２】
ここで、ｖ＝ｄ／ｔｄであり、ｄは相対的な偏位距離である。
【００３３】
図１０は、波面１００２に垂直な周波数ベクトルｆ１００１を有する２Ｄ正弦波を示す。ベクトルｖ１００３は、速度の平行移動を示す。図１０において、正弦波は、ｃｏｓ（２π（１／Ｎ）ｘ＋２π（４／Ｎ）ｙ）であり、ここで、原点は左上の角にあり、正のｙ軸を下方向に示す。２Ｄの正弦波の各１Ｄ断面は、１Ｄの正弦波である。ｘ軸に沿った正弦波の周波数は、ｆｘ＝１／２であり、ｙ軸に沿った周波数は、ｆｙ＝２である。本発明ではこの正弦波を、最高周波数の方向を指す（すなわち勾配に沿った）周波数ベクトルｆ（→）＝（０．５，２）で表す。ここで、（→）は、その前の記号の上に→を付したものを意味し、ベクトルを表している。
【００３４】
この正弦波の平行移動を記述する動きベクトルがｖ（→）＝（ｖｘ，ｖｙ）として与えられる場合、動きベクトルｖ（→）の空間方向における１Ｄ断面の空間周波数は、次のように表される。
【００３５】
【数２】
2007527141.tif 000004
【００３６】
したがって、空間周波数ｆ（→）および速度ｖ（→）を有する平行移動する２Ｄ信号の時間周波数は、次式によって与えられる。
【００３７】
【数３】
2007527141.tif 000005
【００３８】
このスカラー積を、本発明による時空間または画像複雑度の測度として定義する。
【００３９】
圧縮ビデオの時空間複雑度
圧縮ビデオにおいて動作する方法は、処理時間、ならびにバッファおよび記憶要件が大幅に節約できるため有利である。多くの用途では、圧縮ビデオに対して動作するプロセスが唯一の実行可能な解決策である。圧縮ビデオにおいて本発明による画像複雑度を測定するために、離散コサイン変換（ＤＣＴ）係数のマクロブロックおよび動きベクトルを用いた。
【００４０】
上述のように、本発明の画像複雑度は、ｆ（→）・ｖ（→）によって与えられる。ＤＣＴ変換の基底関数は、次の形である。
【００４１】
【数４】
2007527141.tif 000006
【００４２】
これは、周波数がｋｘ／２およびｋｙ／２である２つの１Ｄ正弦波の倍数であり、ｘ方向の周波数ｆｘおよびｙ方向の周波数ｆｙは、次のように表される。
【００４３】
【数５】
2007527141.tif 000007
【００４４】
ここで、次の恒等式を用いる。
【００４５】
【数６】
2007527141.tif 000008
【００４６】
そうすると、ＤＣＴ基底を次のように書くことができる。
【００４７】
【数７】
2007527141.tif 000009
【００４８】
したがって、各ＤＣＴ基底は、２つの２Ｄ正弦波の一方を空間周波数ｆ１（→）＝（ｋｘ／２，ｋｙ／２）、他方をｆ２（→）＝（ｋｘ／２，ｋｙ／２）で重畳したものである。すると、（ｋｘ，ｋｙ）のＤＣＴ係数および動きベクトルｖ（→）＝（ｖｘ，ｖｙ）から得られる時間周波数または時空間複雑度は、次のようになる。
【００４９】
【数８】
2007527141.tif 000010
【００５０】
これは、１ブロック当たりのサイクル数の単位で表される。これは、（ｋｘ，ｋｙ）がこれらの単位を有するからである。周波数を１フレーム当たりのサイクル数に変換するために、マクロブロックのサイズ（例えば８）で割ることによって、（ｋｘ，ｋｙ）を１ピクセル当たりのサイクル数に変換する。さらに、プロセス中に絶対値｜ｗ１｜および｜ｗ２｜を用いる。これは、周波数の符号が１次元では無関係であるためである。ＤＣＴを正弦波の和に拡張するために用いられる１／２の係数もまた無関係である。これは、全ての項が同じ係数を有するためである。したがって、各ＤＣＴ係数が貢献する時空間複雑度の項の最終的な形は、次のようになる。
【００５１】
【数９】
2007527141.tif 000011
【００５２】
各ＤＣＴ係数は、後述のように、そのエネルギーに等しい値を、時空間複雑度ヒストグラムにおけるｗ１およびｗ２に対応するヒストグラムビンに付与する。
【００５３】
動きベクトルおよびＤＣＴ推定
ＭＰＥＧビデオでは、圧縮された動きベクトルを求めて圧縮効率を最大化する。動きベクトルでは実際の動きを予測することができないため、動きベクトルは信頼できない。特にエンコーダが最適化されない場合に擬似ベクトルが一般的である。擬似動きベクトルを減らすために、本発明では、テクスチャの少ないブロックを捨てる。これは、動きベクトルを求めるために用いられるブロックマッチングが、これらのブロックでは信頼性が低いためである。
【００５４】
本発明では、画像複雑度の測度について既に求めている各ブロックの空間帯域幅を閾値処理することによって捨てる。なお、テクスチャの少ないまたは空間帯域幅の低いブロックは、画像複雑度が低いことが予期される。したがって、有意なブロックを失うリスクは最小限である。次に、メジアンフィルタリングを施して擬似動きベクトルをさらに減らす。補間を用いて、動きベクトルがないフレーム内符号化マクロブロックの動きベクトル情報を埋める。
【００５５】
グローバルな動きモデルをブロックに当てはめて、擬似動きベクトルをさらに減らすことができる。しかしこれは、前景オブジェクトの動きにも影響を及ぼす。しかし、その用途で可能であれば、特に反復的な加重最小二乗法によりグローバルな動きを当てはめることにより、動きベクトルフィールドの信頼性を高めることができる。モデルの当てはめはまた、フレーム内符号化マクロブロックの問題をなくす。人間の視覚系に従って移動オブジェクトを追跡する状況において、主に静的な背景とは異なる方法で移動オブジェクトを扱うことは理にかなっている。
【００５６】
ＭＰＥＧ圧縮ビデオのＩフレームの場合、ＤＣＴ係数はあるが動きベクトルはない。同様に、Ｐフレームの場合、動きベクトルはあるが、ＤＣＴ係数は動き残差にしかない。ＰフレームブロックのＤＣＴ係数は、動き補償を適用するか、または復号化せずに推定することによって求めることができる。代替的な解決策は、Ｉフレームから次のＰフレームまたは他のフレームまでの動きベクトルを、Ｉフレーム中の規則的でないグリッド上のブロックの動きとして考慮する。次に、動きベクトルフィールドを補間するか、またはパラメータモデルを当てはめて、Ｉフレームのブロックの動きベクトルを得ることができる。これは、より簡単で高速な手法である。しかし、前景オブジェクトの動きは、パラメータモデルを不規則な動きフィールドに当てはめた場合、失われる可能性がある。
【００５７】
ビデオセグメントの時空間複雑度
本発明では、ビデオの一部分の画像複雑度について、ヒストグラムに基づく測度と単数の測度との両方を定義する。各マクロブロックについて、各ＤＣＴ係数の時空間複雑度の貢献（ｗ１およびｗ２）を求め、複雑度分布のヒストグラムを作成する。本発明では、フレームの複雑度ヒストグラムを、マクロブロックの複雑度ヒストグラムを平均することによって求める。いくつかのフレームの平均を行って、ビデオセグメントの複雑度を求めることができる。
【００５８】
時空間複雑度のヒストグラムにより、所与の時間周波数を上回るエネルギーを測定することができる。この測度を用いて、各ビデオフレームまたはセグメントの要約化係数すなわち再生速度を調節し、知覚される品質をビデオの全フレームにわたって一定にするようにする。
【００５９】
ヒストグラムが複雑過ぎる用途によっては、よりコンパクトな測度を用いることもできる。例えば、平均または一定の百分位数を、ビデオセグメントの時空間複雑度の単数の代表的な測度として用いることができる。時空間複雑度のヒストグラムは、パワースペクトルと類似しており、単数は帯域幅測度と似ている。
【００６０】
実際に、画像複雑度の測度は、ビデオセグメントの時間帯域幅の近似値である。理想的には、時間帯域幅は、３Ｄの高速フーリエ変換（ＦＦＴ）またはＤＣＴによって求めることができる。しかし、ほとんどのビデオの場合に、これは計算の複雑度およびバッファ要件のために非実用的である。動きベクトルを用いる際に区分的な線形動きを仮定することにより、圧縮ビデオの時間帯域幅を簡単に推定することができる。
【００６１】
時空間複雑度の測度の形態である推定された時間帯域幅は、時間サンプリングレートを与えられた場合に可能な最高の周波数よりも高い可能性がある。これは、動きベクトルの固有誤差、ブロックベースの動きベクトルフィールドが低解像度であること、ブロックの動き残差、いくつかのフレームにわたる線形動きを仮定すること等といったいくつかの要因によるものである。
【００６２】
例えば、図１１に強調されるように、長距離監視ビデオの高速で動く車１１０１またはトラック１１０２等の小さなオブジェクトについて、ピクセルの移動、動きベクトル１１０３は、オブジェクトのサイズよりも大きい可能性がある。実際に、そのような領域の時空間複雑度は、マクロブロックによっては１．６もの高さである可能性があり、時間的なエイリアシング限界は、０．５である。しかし、時空間複雑度は、それでもなお近い近似値であり、２つの重要な画像複雑度成分、すなわちビデオフレームの空間の細部と動きアクティビティレベルを組み合わせるため、視覚的なシーン複雑度の直観的なインジケータである。
【００６３】
適応的再生
適正な条件下において、人間の視覚系は、最高約６０サイクル／度の空間解像度を認知することができる。しかし、この数字は、刺激の輝度、コントラストおよび中心位置により変化する。Watson等は、空間解像度の限界を６〜１７サイクル／度と報告しており、これは、制御されたまたはスタジオセット以外の通常シーンのビデオに見られる可能性が高い不完全な照明およびコントラストを反映する。同一条件で報告された時間周波数限界は、約３０Ｈｚであり、これは、２４および２５または３０ｆｐｓである動画およびテレビのフレームレートと同等である。推奨される水平方向の視角は、標準解像度のＴＶの場合に約１０°、ＨＤＴＶの場合に３０°である。
【００６４】
図１２に示すように、これは、８の視距離ｄおよび３のスクリーン高さｈにそれぞれ相当し、解像度を計算するために角度単位と距離単位を変換する目的でθ＝２ｔａｎ−１（ｈ／２ｄ）となる。
【００６５】
水平方向のスクリーン解像度は、それぞれ７２０（３６０サイクル）および１９２０（９６０サイクル）であるので、空間解像度は、約３０サイクル／度となる。ＶＣＤフォーマットは、例えば３５２×２４０のＮＴＳＣ  ＭＰＥＧ−１の水平方向解像度および垂直方向解像度を有し、これは、例えば７２０×４８０のＮＴＳＣ  ＭＰＥＧ−２のＤＶＤの約半分であり、ＶＨＳ画質に近いものとして認められている。本発明では、３０サイクル／度を高画質の空間解像度限界（ＤＶＤ）とし、１５サイクル／度を許容可能な画質の解像度（ＶＨＳ）とし、７サイクル／度を最低限の許容可能な解像度とする。
【００６６】
本発明では、ビデオの元のフレームレートを視覚的な時間周波数限界ｗ１とする。これは、このレートが推定される実数値に十分近く、人間の視覚系を考慮して求められるからである。また、これは、元のコンテントの最高時間周波数を定める。この条件下で、可視性ウィンドウ制約により許容される最高時間周波数は、元のフレームレートのナイキスト周波数と等しい。例えば、（８，ｎ）または（ｍ，８）の係数の一方において大きなエネルギーを有するＤＣＴブロックは、その方向に１ピクセル／フレームの動きしか持つことができない。概して、ｗ１≦１／２およびｗ２≦１／２であり、よって次式が成り立つ。
【００６７】
【数１０】
2007527141.tif 000012
【００６８】
ここで、（ｋｘ，ｋｙ），１≦ｋｘ，ｋｙ≦８は、ＤＣＴ係数の数である。
【００６９】
これは、ブロックの動きが与えられた場合に、利用可能な空間帯域幅として解釈することができる。結果として、再生速度を上げると、動きベクトルはスケールアップされ、これに比例して、割り当てられた空間帯域幅が減少する。ビデオセグメントの時空間複雑度が与えられると、時間的なエイリアシングが知覚されずにビデオの再生に用いることができる最大加速係数は次のようになる。
ｆ≦１／２ｗ
ここでｗは時空間複雑度である。
【００７０】
上述のように、元の時空間複雑度の値は、図１１に示すようにエイリアシング限界を超える場合がある。それでもオブジェクト全体が見えるが、ビデオは、細部を区別できるようにするには、より低速で再生される必要がある。実生活において、これは、高速で移動するオブジェクトを追う目に相当し、有効速度を下げ、所与の速度において許容される空間解像度を高める。
【００７１】
ビデオが時空間複雑度によって指示されるよりも速い速度で再生される場合、時空間フィルタリングまたはモーションブラーを適用してエイリアシングを防ぐ。この非可逆事例では、時空間複雑度のヒストグラムにより、所与の再生速度についてフィルタリングしなければならないエネルギー量を求めることができる。次に、ビデオの様々な部分を加速して、ビデオ全体を通じて同一レベルの損失を得ることができる。より単純な単数の時空間複雑度の測度を用いる場合、ビデオセグメントは、その時空間複雑度の値に反比例して加速される。
【００７２】
時空間平滑化は、空間次元および時間次元を含む３Ｄ空間におけるフィルタリング操作である。時間フィルタリングは、ＭＰＥＧデコーダにおいてバッファしたフレームの加重平均によって実現される。時間フィルタリングは、ビデオ信号の可視性ウィンドウ（本発明の場合には時間的なエイリアシング限界と同等である）の外にある部分を除去する。ビデオセグメントの時間帯域幅は、空間帯域幅と動きの積であるため、空間フィルタリングならびに時間平滑化によって時間帯域幅を低減することができる。
【００７３】
コアリング等の技法により、圧縮ビデオを効率的に空間フィルタリングすることができる。コアリングは、画像から雑音を除去する既知の技法である。この技法は、雑音によって劣化した画像を周波数領域の表現に変換する。その後、非線形コアリング関数により画像変換係数を下げる。コアリングした係数を逆変換した後、雑音を低減した画像が得られる。しかし、低い複雑度を必要とする用途では、アーチファクトをいくらか含んでいてもフィルタリングされていないビデオを用いることができる。
【００７４】
使用できる別の用途に応じた修正としては、ビデオシーケンスの時空間複雑度曲線の平滑化および／または量子化がある。ある種の場合に、再生速度の連続的な変化は、実行可能でないまたは望ましくない場合がある。これらの用途において、再生速度は、所与の最短時間について、例えばショット毎に求めることができる。さらに、許容される再生速度は、市販のビデオおよびＤＶＤプレーヤで可能であるような所定の値のセットに限定されている可能性がある。
【００７５】
したがって、再生中に、画像複雑度の量子化を用いることによって、画像複雑度を平滑化およびフィルタリングすることによって、画像複雑度を区分的に線形近似して画像複雑度が実質的に線形になるようにすることによって、あるいは一定の画像複雑度をビデオの一定の時間セグメント、例えばショットに割り当てることによって、ビデオの時間歪を最小化することができる。
【００７６】
図１３および図１４は、従来技術の動きアクティビティの測度と、本発明による時空間複雑度の測度との差をさらに示す。図１３は、ＭＰＥＧ７テストセットのバスケットボールのビデオセグメントについて、フレームに応じた動きアクティビティおよび時空間複雑度（ＳＴＣ）をプロットする。２つの測度は、選手のクローズアップである最後の部分（フレーム５５０近辺）を除いて同様である。ここで、時空間複雑度の測度は、選手全員の広角ショットに比べると画像が大きく細部が少ないため、実質的に低い。図１４は、人のいないゴルフフェアウェイのショット、それに続く木のショット、および次のグリーンに向かって歩く選手をプロットする。
【００７７】
好適な実施形態を圧縮ビデオに関して説明したが、本発明は、未圧縮ビデオにも以下のように適用できることが理解されるべきである。
【００７８】
本発明を圧縮領域から引き出した例とともに説明するが、本発明は、未圧縮ビデオでも機能できることが理解されるべきである。
【００７９】
本発明の基本的な概念は、ビデオの時空間複雑度の測度を用いて、ビデオの適応的再生を制御することである。時空間複雑度は、帯域幅（空間）に速度（時間）をかけることによって近似することができる。特に、空間領域の帯域幅が２Ｄの実像において、純正弦波の平行移動を用いて測定される。
【００８０】
本発明の最上位概念は、空間帯域幅および時間帯域幅またはスペクトルを測定する。ビデオを加速または減速すると、これに比例して時間周波数成分は、スケールアップまたはスケールダウンする。これは、ビデオが時間または空間でサンプリングされていない場合（例えばＮＴＳＣのアナログビデオ）にも当てはまる。空間帯域幅はいくつかの方法で、例えば、所与のビデオセグメントの３ＤのＦＦＴ、またはビデオがアナログである場合にアナログフーリエ変換を行うことによって測定することができる。時間帯域幅は、空間周波数成分とその速度のドット積を取得することによって推定することができる。
【００８１】
これは、それ自体が直感的で実験的な測度であり、空間的複雑度すなわちテクスチャレベルを動きの複雑度すなわち動きアクティビティレベルと組み合わせる。なお、ビデオは、圧縮されていても圧縮されていなくてもよく、デジアルであってもアナログであってもよい。このドット積は、所与のビデオセグメントの時空間複雑度である。ビデオの画像複雑度は、空間帯域幅と時間帯域幅の両方を含むが、時間帯域幅は、デジタルビデオの適応的再生における決定要因である。上記の近似を用いるために、ビデオ画像を構成する空間周波数成分、すなわち２Ｄの純正弦波の個々の動きを特定する。遠距離ショットでパンしているカメラのようにビデオ画像のシーン全体が一様に動いている、すなわち平行移動の動きの場合、全ての空間周波数成分は、同じ速度ｖで移動する。その場合、２ＤのＦＦＴを用いて画像をそれらの成分に分解することができる。
【００８２】
動きから得られる時間周波数成分は、ドット積の推定を用いることによって、空間成分毎に求めることができる。しかし、ほとんどのビデオのシーンの動きは、通常、単純なパンよりも遥かに複雑である。したがって、本発明は、圧縮領域におけるマクロブロックの動きベクトルを用いる。
【００８３】
マクロブロック毎に、ブロック動きベクトルで表現される１回の平行移動の動きを定める。したがって、特定のマクロブロックを構成する各空間周波数成分は、そのブロックに関連するブロック動きベクトルによって与えられる速度で移動する。
【００８４】
本発明では、そのブロック中の各空間周波数成分の動きから得られる時間周波数成分を、ドット積を用いて推定する。本発明ではさらに、通常はＦＦＴにより得られる空間周波数成分を、圧縮ビデオにおいて得られるＤＣＴ係数を用いて得る。
【００８５】
しかし、局所化領域手法における速度＊空間周波数の近似後に、本発明では、画像中の各ピクセルにおいて、またはより一般的には各ピクセルの周囲のウィンドウについて、動きおよび空間の分解を求めることができる。
【００８６】
各点における時間帯域幅（動き）は、オプティカルフロー解析により求めることができる。空間帯域幅の場合は、各ピクセルの周囲のウィンドウを用いて、短時間ＦＦＴ等を計算することができる。次に、ウィンドウを用いて、各ピクセルまたはピクセル近傍における時空間複雑度を求めることができる。
【００８７】
本明細書で説明する圧縮ビデオの例は、ウィンドウがマクロブロックである特殊な場合であり、動きは、ブロック動きベクトルによって説明される。
【００８８】
あるピクセルにおけるテクスチャの量は、そのピクセルにおける強度の勾配に深く関係している。オプティカルフローは、勾配からも求めることができる。
【００８９】
本発明を好適な実施形態の例として説明してきたが、本発明の精神および範囲内で様々な他の適応および修正を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入る変形および修正をすべて網羅することである。
【図面の簡単な説明】
【００９０】
【図１】線形移動する１Ｄインパルスの図である。
【図２】図１のインパルスのタイミング図である。
【図３】図１の信号のフーリエ変換である。
【図４】帯域幅制限信号の図である。
【図５】図４の信号のフーリエ変換である。
【図６】図５の信号の可視性ウィンドウの図である。
【図７】エイリアシングと可視性ウィンドウの制約を比較する図である。
【図８】エイリアシングと可視性ウィンドウの制約を比較する図である。
【図９】１Ｄ正弦信号を平行移動させるための時間帯域幅とその時間周波数の偏位の図である。
【図１０】波面に垂直な周波数ベクトルを有する２Ｄ正弦波の図である。
【図１１】移動オブジェクトの移動ベクトルの図である。
【図１２】角度および距離の視野単位の関係を比較する図である。
【図１３】バスケットボールビデオの動きアクティビティと画像複雑度を比較する図である。
【図１４】ゴルフビデオの動きアクティビティと画像複雑度を比較する図である。
【図１】
2007527141.tif 000016
【図２】
2007527141.tif 000017
【図３】
2007527141.tif 000018
【図４】
2007527141.tif 000019
【図５】
2007527141.tif 000020
【図６】
2007527141.tif 000021
【図７】
2007527141.tif 000022
【図８】
2007527141.tif 000023
【図９】
2007527141.tif 000024
【図１０】
2007527141.tif 000025
【図１１】
2007527141.tif 000026
【図１２】
2007527141.tif 000027
【図１３】
2007527141.tif 000028
【図１４】
2007527141.tif 000029
【国際調査報告】
2007527141.tif 000030
2007527141.tif 000031
2007527141.tif 000032
2007527141.tif 000033
2007527141.tif 000034