(57)【要約】【課題】本発明は、計算効率がよい、高画質の時空間アップスケーリングを提供することを目的とする。【解決手段】時空間アップスケーリングの実施方法は、入力フレームのシーケンスを含む入力映像を受信するステップと、入力映像を分析して入力フレームのシーケンスに関する動きベクトルを検出するステップと、動きベクトルに関する対応する動き補償誤差を決定するステップとを含む。上記方法は、さらに、検出された動きベクトルおよび対応する動き補償誤差に基づき、入力フレームのシーケンスに対する時間アップスケーリング、および入力フレームのシーケンスに対する空間アップスケーリングのそれぞれにどの程度計算リソースが割り当てられるかを決定するステップを含む。加えて、上記決定された程度に基づいて、上記入力フレームのシーケンスを時空間アップスケーリングするステップを含む。【選択図】図１
2010136367.tif 000002
【特許請求の範囲】
【請求項１】
入力フレームのシーケンスを含む入力映像を受信するステップと、
上記入力フレームのシーケンスに関する動きベクトルを検出するために上記入力映像を分析するステップと、上記動きベクトルに関して、対応する動き補償誤差を決定するステップと、
上記検出された動きベクトルおよび対応する動き補償誤差に基づき、上記入力フレームのシーケンスに対する空間アップスケーリング、および、上記入力フレームのシーケンスに対する時間アップスケーリングのそれぞれにどの程度、時空間アップスケーリングを行うための計算リソースを割り当てるかを決定するステップと、
上記決定された程度に基づいて、上記入力フレームのシーケンスを時空間アップスケーリングするステップと、を含む時空間アップスケーリングを実施する方法。
【請求項２】
上記動きベクトルが速度閾値よりも速い動きを示し、上記対応する動き補償誤差が誤差閾値よりも小さい動き補償誤差を示すとき、上記計算リソースは、時間アップスケーリングにより多く割り当てられる、請求項１に記載の方法。
【請求項３】
上記動きベクトルが速度閾値よりも遅い動きを示し、上記対応する動き補償誤差が誤差閾値よりも小さい動き補償誤差を示すとき、上記計算リソースは、空間アップスケーリングにより多く割り当てられる、請求項１または２に記載の方法。
【請求項４】
上記対応する動き補償誤差が、誤差閾値よりも大きい動き補償誤差を示すとき、上記計算リソースは、空間アップスケーリングにより多く割り当てられる、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
上記程度は、上記入力フレームのシーケンスに関してフレーム毎に決定される、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
上記程度は、上記入力フレームのシーケンスにおける所与のフレーム内にて、領域毎に決定される、請求項１〜４のいずれか一項に記載の方法。
【請求項７】
上記動きベクトルは、ブロックマッチング、位相相関法、および、勾配法のうちの少なくとも１つを用いて検出される、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
上記時空間アップスケーリングするステップにおいて、
上記計算リソースは、時間アップスケーリングに動き補償フレーム補間を適用し、空間アップスケーリングに双三次スケーリングおよび双一次スケーリングのうちの少なくとも１つを適用することによって、時間アップスケーリングに対してより多く割り当てられる、請求項２に記載の方法。
【請求項９】
上記時空間アップスケーリングするステップにおいて、
上記計算リソースは、空間アップスケーリングに複数フレーム超解像を適用し、時間アップスケーリングにフレーム反復を適用することによって、空間アップスケーリングに対してより多く割り当てられる、請求項３に記載の方法。
【請求項１０】
上記時空間アップスケーリングするステップにおいて、
上記計算リソースは、空間アップスケーリングに単一フレーム空間アップスケーリングを適用し、時間スケーリングにフレーム反復を適用することによって、空間アップスケーリングに対してより多く割り当てられる、請求項４に記載の方法。
【請求項１１】
上記決定するステップは、上記検出された動きベクトル、および、対応する動き補償誤差に基づき、複数の異なる既定の時空間アップスケーリングモードの中から、上記時空間アップスケーリングするステップのための時空間アップスケーリングモードを選択するステップを含む、請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
上記複数の異なる既定の時空間アップスケーリングモードの各々が、空間アップスケーリング方法と時間アップスケーリング方法との異なる組み合せを含む、請求項１１に記載の方法。
【請求項１３】
上記複数の異なる既定の時空間アップスケーリングモードのうちの少なくとも１つの時空間アップスケーリングモードが、空間アップスケーリングおよび時間アップスケーリングのうちの少なくとも１つに動き検出を利用しており、
上記複数の異なる既定の時空間アップスケーリングモードのうちの他の時空間アップスケーリングモードが、動き検出を利用していない、請求項１１または１２に記載の方法。
【請求項１４】
上記少なくとも１つの既定の時空間アップスケーリングモードか上記他の既定の時空間アップスケーリングモードかの選択は、上記対応する動き補償誤差が既定の誤差閾値を超えているかどうかに基づいている、請求項１３に記載の方法。
【請求項１５】
上記動きベクトルに関する上記対応する動き補償誤差は、平均平方誤差、および、平均絶対差法を用いて算出される、請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
上記分析するステップは、上記動きベクトルを用いて動き速度の尺度を算出することを含んでおり、
上記異なる既定の時空間アップスケーリングモードの選択は、上記対応する動き速度の尺度が既定の速度閾値を超えているかどうかに基づいている、請求項１１〜１５のいずれか一項に記載の方法。
【請求項１７】
上記動き速度の尺度は、上記入力フレームのシーケンス内の所与のフレームまたは領域における動きベクトルが有する平均の動き、最大の動き、および最大の動きベクトルの勾配のうちの少なくとも１つに基づいている、請求項１６に記載の方法。
【請求項１８】
コンピュータ読み取り可能な記憶媒体に保存されたコードを含むコンピュータプログラムであって、
コンピュータによって実行されるとき、
入力フレームのシーケンスを含む入力映像を受信するステップと、
上記入力映像を分析して上記入力フレームのシーケンスに関する動きベクトルを検出するステップと、
上記動きベクトルに関する対応する動き補償誤差を決定するステップと、
上記検出された動きベクトルおよび対応する動き補償誤差に基づき、上記入力フレームのシーケンスに対する空間アップスケーリング、および、上記入力フレームのシーケンスに対する時間アップスケーリングのそれぞれに対して、時空間アップスケーリングを行うための計算リソースをどの程度割り当てるかを決定するステップと、
上記決定された程度に基づき、上記入力フレームのシーケンスを時空間アップスケーリングするステップと、を上記コンピュータに実行させるプログラム。
【請求項１９】
入力フレームのシーケンスを含む入力映像データを受信するステップと、
上記入力フレームのシーケンスに対して空間アップスケーリングと時間アップスケーリングとの組み合せを実施するステップと、
上記入力フレームのシーケンスの少なくとも１つの特性に応じて、上記組み合せを動的に変更するステップと、を有する時空間アップスケーリングの実施方法。
【請求項２０】
上記少なくとも１つの特性が、上記入力フレームのシーケンスにおいて示される動きを含んでいる、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、空間および時間スケーリング、より具体的には、映像データの時空間アップスケーリングに関する。
【背景技術】
【０００２】
空間スケーリングにより、画像の大きさを変更することができ（空間解像度）、時間スケーリング（フレームレート変換、または、フレーム補間とも称される）により、映像のフレームレートを変更することができる（時間解像度）。これらの技術は個別に用いられることが多いが、複合時空間スケーリングも可能である。用途は、ディスプレイのフレームレートおよび空間解像度の特性と適合させるためのビデオフォーマット変換および入力映像のスケーリングを含んでいる。
【０００３】
空間および時間スケーリング方法について記載している文献は多数存在する。電子ディスプレイの場合、入力画像の大きさとディスプレイの大きさとを適合させるために空間スケーリングが一般的に用いられる。時間スケーリング（フレームレート変換またはＦＲＣとも称される）は、解像度を向上させ、より滑らかな（振動の少ない）動きを実現する。
【０００４】
空間および時間スケーリングは、通常は個別の処理として実施されるが、複合時空間スケーリング技術も可能であり、当該技術は、スケーラブル映像符号化および映像ストリーミングにおいて用いられることもある。
【０００５】
特定の空間解像度およびフレームレートにて映像ソースを鑑みると、スケーラブル映像符号化の目標は、映像が元の解像度よりも低い（または同じ）空間および時間解像度である範囲にて、映像を復号化し得る単一の圧縮ファイル（またはビットストリーム）を生成することにある。例えば、“Advanced Video Coding for Generic Audiovisual Services”, ITU-T Rec. H.264 and ISO/IEC 14496-10 (MPEG-4 AVC), ITU-T and ISO/IEC JTC 1, Version 8 including the Scalable Video Coding (SVC) extension, July 2007を参照されたい。
【０００６】
スケーラブル映像符号化は、単一のソース（例えば１つの圧縮ビットストリーム）が多くの装置に送信されるときに有効である。このシナリオでは、制限付き計算リソースを備えた復号器が、低画質ではあるが、映像出力を生成するために元のビットストリームのサブセットを復号化することができる。同様に、小型のディスプレイに連結された復号器は、全ビットストリームを復号化する必要がなく、ディスプレイの大きさに適合する低解像度の出力を生成するのに必要とされるビットストリームの一部を抽出および復号化することができる。
【０００７】
映像ストリーミングアプリケーションは、多くの場合、帯域幅が制限されている環境において動作する。この場合、ネットワークは、時に、データを破棄することによって、パケット損失を制御し、結果生じる画質の低下を最小限にしようとする。したがって、ネットワークの混雑時には、あるフレームが減少するか、または、詳細を記述するパケットが破棄される可能性がある。映像のストリーミングを行う、このタイプのネットワークに基づくスロットリング（throttling）によって、映像のビットレートを処理可能なものにまで低減するために、ネットワークが、空間、時間、または時空間ダウンスケーリングを行うことができる。スケーラブル映像符号化方法を用いて映像を符号化する場合、この方法は最適である。
【０００８】
米国特許第６１０８０４７号明細書には、時間および空間スケーリングのための方法および装置が記載されている。時間スケーリングは、動き補償フレーム補間を用いて実施され、一方、空間スケーリングは、インターレースおよびプログレッシブ映像を処理できるように、水平および垂直に適用される。時間および空間スケーリングの両方が行われるが、それらは、独立した連続工程として実施される。
【０００９】
米国特許第５８５２５６５号明細書および米国特許第６９８８８６３号明細書には、映像コンテンツを時空間レイヤに分割する映像の符号化方法が記載されている。時間および空間解像度が低い基層が符号化され、続いて、ＭＰＥＧ−２基準に基づく空間および時間調整層が符号化される。極めて速いシーン変更の間、ビットはベースレイヤにのみ割り当てられる。
【００１０】
米国特許第５８２１９８６号明細書には、映像符号化へのスケーラブルアプローチが記載されており、その中で、ビットストリームは、ネットワークが混雑状態になった場合、より高い解像度の情報を破棄できるように階層的に符号化されている。加えて、このようなアプローチによって、計算を用いて高解像度の映像データを復号化できない場合、復号器が、相対的に低い解像度にて復号化を行うことができる。
【００１１】
スケーラブル映像符号化は、Ｈ．２６４／ＡＶＣ映像符号化基準の一部として標準化されている（例えば、”Advanced  Video  Coding…”、米国特許出願公開第２００８／０１３０７５７号明細書および米国特許第７３６９６１０号明細書を参照）。このような技術により、埋め込み型ビットストリームの形成が可能となり、当該ビットストリームによって、フレームレート、空間解像度、および質（ビット深度）に関して、復号器がスケーリングを実施することができる。
【００１２】
Kuhmunch, et al., "A Video-Scaling Algorithm Based on Human Perception for Spatio-Temporal Stimuli" in Proceedings of SPIE, Multimedia Computing and Networking, pp. 13--24, San Jose, CA, January 2001、および、 Akyol, et al., "Content-aware scalability-type selection for rate adaptation of scalable video" in EURASIP Journal on Applied Signal Processing, Volume 2007, Issue 1  (January 2007) pp. 214 - 214では、利用可能なビットレートと、映像のコンテンツと、高解像度の映像ソースからスケアリング可能なビットストリームを形成するときに使用されるタイプの時空間スケーリングとの間の関係が検討されている。特に、それらの文献では、（同じビットレート全体と比較するとき）異なるタイプのシーンコンテンツに関して、視聴者が空間または時間ダウンスケーリングのいずれを好むかについて研究されている。
【００１３】
Kuhmunch, et al.,では、シーンに殆ど動きがない場合にフレームを落とす（時間ダウンスケール）ために動きエネルギーの測定を行っている。しかし、速い動きのシーンでは、高フレームレートを維持するため、より積極的に空間ダウンスケーリングが行われる。
【００１４】
Akyol, et al.,では、ブロック歪み、平坦度、ぼやけ、および時間振動に基づくコスト関数が提案されている。このコスト関数は、目標のビットレートを達成するために、当該ビットレートにおいてヒトの視覚体系が知覚する画質を最大限にする試みと同時に、空間、時間および画質のダウンスケーリングの適した組み合せを決定するのに用いられる。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】米国特許第６１０８０４７号明細書
【特許文献２】米国特許第５８５２５６５号明細書
【特許文献３】米国特許第６９８８８６３号明細書
【特許文献４】米国特許第５８２１９８６号明細書
【特許文献５】米国特許出願公開第２００８／０１３０７５７号明細書
【特許文献６】米国特許第７３６９６１０号明細書
【非特許文献】
【００１６】
【非特許文献１】“Advanced Video Coding for Generic Audiovisual Services”, ITU-T Rec. H.264 and ISO/IEC 14496-10 (MPEG-4 AVC), ITU-T and ISO/IEC JTC 1, Version 8 including the Scalable Video Coding (SVC) extension, July 2007
【非特許文献２】Kuhmunch, et al., "A Video-Scaling Algorithm Based on Human Perception for Spatio-Temporal Stimuli" in Proceedings of SPIE, Multimedia Computing and Networking, pp. 13--24, San Jose, CA, January 2001
【非特許文献３】Akyol, et al., "Content-aware scalability-type selection for rate adaptation of scalable video" in EURASIP Journal on Applied Signal Processing, Volume 2007, Issue 1  (January 2007) pp. 214 - 214
【発明の概要】
【発明が解決しようとする課題】
【００１７】
上記に概説したように、時空間スケーリングは、スケーラブル映像符号化およびネットワークを介した映像ストリーミングに関して周知である。これら両方の場合では、その主な目的は、結果的に生じる画質の低下を最小限に留めるように映像をダウンスケールすることである。しかし、依然として、計算効率が良く、高画質に映像解像度を高める技術が強く求められている。
【００１８】
まず、出願人は、同一出願人による出願ＧＢ０７１１３９０．５（発明の名称：Method of and Apparatus for Frame Rate Conversion、出願日：２００７年６月１３日）を参照している。当該出願は、動き補償およびフレーム反復を用いた、より高いフレームレートへのフレームレート変換を実施するための方法を目的とする。
【００１９】
本発明は、計算効率がよく、高画質の時空間アップスケーリングを提供することをさらに目的とする。
【課題を解決するための手段】
【００２０】
計算リソースが限定されていることから、多くの場合、高画質の時空間スケーリングを達成するのは困難である。本発明は、映像の時空間アップスケーリングへの効果的なアプローチを記載しており、計算リソースがより最適に割り当てられ、ヒトの視覚体系の時空間に関する感度に応じるものである。
【００２１】
速い動きのシーンでは、目は、速く動く対象の詳細を捉えるために激しく働く。したがって、空間スケーリングにはあまり重点を置かず、時間スケーリングを実施するために相対的に多くの計算能力を割り当てることが好適であり得る。これは、ヒトの目には見えない詳細を向上させることに処理能力を浪費せずに、低いフレームレートにて視聴可能な「振動（juddery）」運動を除去するのに役立つ可能性がある。
【００２２】
逆に、遅い動きのシーンでは、空間スケーリング工程に、相対的に大きなリソースを充てることが好適であると考えられる。これによって、より鮮明で、より詳細な画像が可能となる。さらに、ヒトの視覚体系は、遅い動きの正確な描写を行うために、あまり高いフレームレートを必要としない。サンプルホールドタイプのディスプレイ（例えばＬＣＤ）に関して、ディスプレイは常にオンの状態であるため、遅い動きの正確な描写のために高いフレームレートは必要とされない。しかし、各フィールド／フレーム（例えばＣＲＴまたはフィルムプロジェクタ）を点滅させるディスプレイは、それらがあまりに遅く点滅すると、知覚されるちらつきを生成する可能性がある。したがって、フィルムプロジェクタは、１秒毎に２４回の新しいフレームを示すのみであるが、実際には、ちらつきを低減するために、これらフレームの各々を２または３回点滅させる。その結果、単一のフレーム反復は、動きが殆どない、または、全くないシーンに関しては、十分な時間スケーリング方法であると考えられる。
【００２３】
本発明によると、実施される時空間スケーリングのタイプは、好適にはシーン特性、具体的には動きの速度、および、フレーム間の動きベクトルの信頼性に依存する。概して、本発明は、下記を目的として実行される。
・時間スケーリングを行う際に、動きの速度が速くなればなるほど、動き補償補間へのバイアスが大きくなる。
・空間スケーリングを行う際に、動きの速度が遅くなればなるほど、（好適には、複数フレーム超解像技術を用いた）高画質方法へのバイアスが大きくなる。
・動きベクトルの信頼性が低いと考えられるとき、空間スケーリングおよび時間スケーリングの両方について複数フレーム動き補償方法を使わない。
【００２４】
本発明の形態によると、時空間アップスケーリングの実施方法が提供される。この方法は、入力フレームのシーケンスを有する入力映像を受信するステップと、入力映像を分析して入力フレームのシーケンスに関する動きベクトルを検出するステップと、動きベクトルに関して対応する動き補償誤差を決定するステップとを含む。上記方法は、検出された動きベクトルおよび対応する動き補償誤差に基づき、入力フレームのシーケンスに対する時間アップスケーリング、および入力フレームのシーケンスに対する空間アップスケーリングのそれぞれにどの程度計算リソースが割り当てられるかということを決定するステップを含む。加えて、上記方法は、決定された程度に基づき、入力フレームのシーケンスを時空間アップスケーリングするステップを含む。
【００２５】
特定の形態によると、動きベクトル、および、対応する動き補償誤差が、相対的に速い動き、および、小さい動き補償誤差を示すとき、計算リソースは、時間アップスケーリングに向けてバイアスをかけられる。
【００２６】
他の形態によると、動きベクトル、および、対応する動き補償誤差が、相対的に遅い動き、および、小さい動き補償誤差を示すとき、計算リソースは、空間アップスケーリングに向けてバイアスをかけられる。
【００２７】
さらなる他の形態によると、対応する動き補償誤差が、相対的に大きい動き補償誤差を示すとき、計算リソースは、空間アップスケーリングに向けてバイアスをかけられる。
【００２８】
さらなる他の形態によると、上記程度は、入力フレームのシーケンスに関してフレーム毎に決定される。
【００２９】
さらなる他の形態では、上記程度は、入力フレームのシーケンスにおける既定フレーム内部にて領域毎に決定される。
【００３０】
さらなる他の形態によると、ブロックマッチング、位相相関法、および、勾配法のうちの少なくとも１つを用いて、動きベクトルが検出される。
【００３１】
さらなる他の形態では、時空間アップスケーリングステップにおいて、時間アップスケーリングに動き補償フレーム補間を、そして、空間アップスケーリングに双三次または双一次スケーリングのうちの少なくとも１つを適用することによって、計算リソースは、時間アップスケーリングに向けてバイアスをかけられる。
【００３２】
他の形態によると、時空間アップスケーリングステップにおいて、空間アップスケーリングに複数フレーム超解像を適用し、時間アップスケーリングにフレーム反復を適用することによって、計算リソースは、空間アップスケーリングに向けてバイアスをかけられる。
【００３３】
他の形態によると、時空間アップスケーリングステップにおいて、空間アップスケーリングに単一フレームの空間アップスケーリングを、そして、時間スケーリングにフレーム反復を適用することによって、計算リソースは、空間アップスケーリングに向けてバイアスをかけられる。
【００３４】
さらなる他の形態に関して、決定ステップは、検出された動きベクトル、および、対応する動き補償誤差に基づき、複数の異なる既定の時空間アップスケーリングモードの中から、時空間アップスケーリングステップのための時空間アップスケーリングモードを選択するステップを含む。
【００３５】
他の形態によると、複数の異なる既定の時空間アップスケーリングモードの各々が、空間アップスケーリングおよび時間アップスケーリング方法を様々に組み合わせることを含む。
【００３６】
他の形態に関して、複数の異なる既定の時空間アップスケーリングモードのうちの少なくとも１つが、空間アップスケーリングおよび時間アップスケーリングのうちの少なくとも１つに関して動き検出を利用する。そして、複数の異なる既定の時空間アップスケーリングモードの他のものは、動き検出を利用しない。
【００３７】
他の形態によると、少なくとも１つの既定の時空間アップスケーリングモードか他の既定の時空間アップスケーリングモードかの選択は、対応する動き補償誤差が既定の誤差閾値を超えているかどうかに基づく。
【００３８】
さらなる他の形態によると、動きベクトルに関する対応の動き補償誤差は、平均平方誤差および平均絶対差法のうちの少なくとも１つを用いて算出される。
【００３９】
さらなる他の形態によると、分析ステップは、動きベクトルを用いて動きの速度の尺度を計算することを含み、異なる既定の時空間アップスケーリングモードの選択は、対応の動き速度の尺度が既定の速度閾値を超えているかどうかに基づく。
【００４０】
他の形態によると、動き速度の尺度は、入力フレームのシーケンス内の既定のフレームまたは領域における動きベクトルが有する平均の動き、最大の動きおよび最大の動きベクトルの勾配のうちの少なくとも１つに基づく。
【００４１】
本発明の他の形態によると、コンピュータ読み取り可能な媒体に保存されるコードを含むコンピュータプログラムは、コンピュータによって実行されるとき、下記のステップをコンピュータに実行させるように構成されている。すなわち、入力フレームのシーケンスを含む入力映像を受信するステップと、入力映像を分析して入力フレームのシーケンスに関する動きベクトルを検出するステップと、動きベクトルに関する対応する動き補償誤差を決定するステップである。さらに、検出された動きベクトルおよび対応する動き補償誤差に基づき、入力フレームのシーケンスに対する空間アップスケーリング、および、入力フレームのシーケンスに対する時間アップスケーリングのそれぞれのために、計算リソースをどの程度割り当てるかが決定される。そして、入力フレームのシーケンスに対する時空間アップスケーリングは、決定された程度に基づいて実施される。
【００４２】
本発明の他の形態によると、時空間アップスケーリングの実施方法は、入力フレームのシーケンスを含む入力映像データの受信、入力フレームのシーケンスに対する空間アップスケーリングおよび時間アップスケーリングの組み合せの実施、および、入力フレームのシーケンスの少なくとも１つの特性に応じた、上記組み合せの動的変更を含むように構成されている。
【００４３】
そしてさらに、他の形態によると、少なくとも１つの特性は、入力フレームのシーケンスにおいて示された動きを含んでいる。
【００４４】
前記および関連する目的を達成するため、本発明は、下記に記載された特徴、および、請求項において特に明示された特徴を備える。下記説明および添付の図面は、本発明の或る実施形態の詳細について例示したものである。しかし、これらの実施形態は、本発明の原理が使用される可能性がある、いくつかの方法を示すのみである。本発明の他の目的、利点および新規な点は、図面と組み合わせて考えたとき、本発明の詳細な説明から明らかとなる。
【発明の効果】
【００４５】
計算効率がよく、高画質の時空間アップスケーリングを提供できる。
【図面の簡単な説明】
【００４６】
【図１】元のシーケンス（入力映像）におけるフレーム間で実施される動き検出を伴う時空間アップスケーリングを示す図である。
【図２】本発明の実施形態に係る時空間スケーリング工程の略図である。入力フレームは、シーンの動き特性に応じて、３つの異なる方法にて時間スケーリングおよび空間スケーリングを受ける。
【図３】本発明の実施形態に係る３つの時空間スケーリングモードを図示したものである。この３つのモードは、動き速度および動き補償誤差（または、動きベクトル不信頼度）に応じる。
【図４】本発明の実施形態に係る適切な時空間スケーリングモードの算出を詳述した図である。具体的に、動き補償誤差尺度（metric）および動き速度尺度の算出方法を示す。
【図５】本発明の実施形態に係る、フレームにおける各ブロックのための動きベクトルの勾配の計算方法を示す図である。ブロック毎に１つの動きがあることに留意されたい。
【図６】マイクロプロセッサのコンピュータを用いて実施される時空間映像スケーラーの代表例を示す図である。また、ＣＰＵサイクルおよびメモリなどのリソースが時空間スケーリングモードに基づき、割り当てを行う方法が図示されている。
【発明を実施するための形態】
【００４７】
［第一形態］
本発明は、計算効率がよく、高画質の時空間スケーリングを可能にする方法を提供する。既定の時空間スケーリング倍率に関して、目的は、入手可能な計算リソースを超えることなく、知覚される画質を最大化する時空間スケーリング方法を選択することにある。
【００４８】
時空間アップスケーリングは、映像の空間および時間解像度を向上させる。デジタル画像に関して、これは、各フレームにおけるサンプル（画素）数を増大させるとともに、秒毎のフレーム数を増大させる。図１は、時空間アップスケーリング工程の基本構造を示す。空間解像度を増大させることによって、より鮮明で詳細な画像が提供される。そして、時間解像度を増大させることによって、動きがより滑らかに表示される。
【００４９】
動き検出は、時間スケーリングを行うときに用いられることが多い。既存のフレームの間に新しいフレームを生成するために、時間における中間点にてシーン内の対象の位置を検出する必要がある。動き情報は、空間スケーリングにも使用される。すなわち、複数フレーム超解像法によって、隣接するフレーム領域と、現在のフレーム領域とが一列に並べられるので、複数の（並べられた）フレームからの情報を組み合わせることによって、アップスケールされたフレームにさらなる詳細を与えることができる。
【００５０】
動き検出は、多くの方法にて実施することができる。最も一般的な方法は、ブロックマッチング、位相相関法、および、勾配法であり、これらは当業者には周知である。これらおよび他の動き検出方法は、Watson, "The Engineer's Guide to Motion Compensation" (Snell and Wilcox Handbook, 1994)、および、Dufaux and Moscheni, "Motion Estimation Techniques for Digital TV: A Review and a New Contribution" (Proceedings of the IEEE, 1995)に記載されている。したがって、簡潔にするため、このような動き検出に係るさらなる詳細は省略した。
【００５１】
例示の実施形態では、本発明は、ブロックマッチング、位相相関法、および／または、勾配法を用いる。しかし、当然のことながら、本発明の範囲を逸脱することなく、他の方法を用いて動き検出を実施することができる。動き検出工程は、シーンにおける動きの方向および速度を表す動きベクトルの集合を生み出す（図１参照）。密集したベクトル（すなわち、ピクセル毎に一つのベクトル）も可能であるが、一般的に、ブロック（または領域）毎に一つの動きベクトルが存在する。各動きベクトルは、当該ベクトルに関する動き補償誤差を有する。この誤差が多くなればなるほど、対応する動きベクトルの信頼性が低くなる。
【００５２】
空間または時間スケーリングに効果的に動きベクトルを使用するためには、それらベクトルの信頼性が高くなければならない。さもなくば、誤差を含む動きベクトルによって、スケールされた画像に新たなアーチファクトが導入される可能性がある。各動きベクトルに関して、元のフレームにおける２つの関連したマッチング領域を比較することによって、その動き補償誤差を算出することができる。動き補償誤差は、各領域またはブロックに関して算出され、通常、平均絶対差または平均平方誤差のいずれかとして表される。しかし、当然のことながら、本発明の範囲を逸脱することなく、周知の他の尺度を用いてもよい。このような動き補償誤差は、動きベクトルの信頼性を検出するために使用される。すなわち、動きベクトルに関する動き補償誤差が高くなればなるほど、動きベクトルの信頼性が低くなる。
【００５３】
動きベクトルの信頼性および動きの速度の両方を考慮することによって、本発明の実施形態に係る時空間映像アップスケーリング方法は、下記３つの既定の時空間スケーリングモードのうちの何れを用いるべきかということを決定する。
・モードＥ（高い動き誤差）：
動きベクトルの信頼性が低いと考えられる場合（すなわち、動きベクトルが大きな動き補償誤差を有する場合）、それらの動きベクトルをスケーリングに使用すべきでない。この場合、単一フレーム（２Ｄ）法を空間スケーリングに用いるべきであり、フレーム反復を時間スケーリングに用いるべきである。したがって、殆どの計算リソースが空間スケーリングに割り当てられるべきである。
・モードＦ（速い動き）：
動きベクトルが信頼性を有すると考えられ（すなわち、動きベクトルが小さい動き補償誤差を有し）、動きの速度が速い場合、殆どの計算リソースが時間スケーリングに割り当てられるべきである。動き補償フレーム補間などのフレームレート変換方法が効果的である可能性が高い。このシナリオでは、双三次または双一次スケーリングなどの効果的な空間スケーリング方法を用いるべきである。しかし、当然のことながら、本発明の範囲を逸脱することなく、他の方法を利用してもよい。フレーム補間方法は、当業者には周知であり、いくつかの一般的な技術は、Watson, "The Engineer's Guide to Motion Compensation" (Snell and Wilcox Handbook, 1994) に記載されている。双三次および双一次スケーリングは、当業者に周知の一般的なスケーリング方法である。したがって、簡潔にするため、このようなスケーリング方法に関する詳述を省略した。
・モードＳ（遅い動き）：
動きベクトルが信頼性を有すると考えられ（すなわち、動きベクトルが小さい動き補償誤差を有し）、動きの速度が遅い場合、殆どの計算リソースが空間スケーリングに割り当てられるべきである。空間スケーリングに関する複数フレーム超解像方法が効果的である可能性が高い。このシナリオでは、例えば単純なフレーム反復などの、計算効率がよい時間スケーリング方法を用いるべきである。超解像は、当業者には周知であり、共通の技術に関しては、Farsiu et al, "Advances and Challenges in Super-Resolution" (International Journal of Imaging Systems and Technology, 2004)に記載されている。したがって、簡潔にするため、このようなスケーリング方法に関する詳述を省略した。
【００５４】
図２は、上述のように、本発明に係る決定工程を概略したフローチャートであり、図３は、グラフ形式の上記３つの時空間スケーリングモードを示す。図２からわかるように、例えば上記方法は、入力フレームのシーケンスを備えた受信入力映像に適用されてもよい。
【００５５】
上記方法によって、各フレームに関して１つのスケーリングモードが得られる。しかし、この方法は、フレーム領域毎に１つのモードを決定するという状況に一般化される。このとき、ひとつの領域は、画素ブロックなどの画素グループ、または、シーン内の対象を含んでいる。この場合、動きの速度および動き補償誤差は、各領域に関して個別に決定されるべきである。スケーリングモードが、領域ごとに選択される場合、全フレームに関して１つのモードを選択する場合（この場合、妥協が必要かもしれない）よりも、各領域に関して１つのモードを選択する方が、最適なモードを選択することができる。例えば、シーンが静止した背景、および、前景に速く動く対象物を有する場合、背景に関してモードＳ（遅い動き）が選択され、前景に関してモードＦ（速い動き）が選択される。
【００５６】
このように、上記方法は、入力フレームのシーケンスに対して空間アップスケーリングおよび時間アップスケーリングを組み合わせて実行してもよい。この組み合せは、例えば入力フレームのシーケンスに表示される動きなどの、入力フレームのシーケンスの少なくとも１つの特性に応じて、動的に変更されてもよい。
【００５７】
図４は、動き補償誤差およびフレームのための動きの速度を決定する工程を示す。動き補償誤差の尺度、ＭＥｒｒｏｒは、各フレーム（またはフレーム領域）についての平均動き補償誤差と同様に、各フレーム（またはフレーム領域）について算出される。動き補償誤差の測定方法は様々なものがあり、最も一般的な方法は、平均平方誤差、および、平均絶対差である。これらの方法の両方が、現在のフレームにおけるブロックと隣接するフレームにおけるマッチングブロックとの間の差を算出することを含む。このとき、マッチングブロックの位置は、対応する動きベクトルに基づく。
【００５８】
動き速度の尺度、ＭＳｐｅｅｄは、フレーム（または領域）に関して検出された動きベクトルを用いて算出され、次の３つの動きの項についての加重和を含んでいる。
・平均の動き、ｍｅａｎ（｜ＭＶ｜）は、フレーム（または領域）における全ての動きベクトルの平均であり、スケーリング倍率α１によって加重される。
・最大の動き、ｍａｘ（｜ＭＶ｜）は、シーン内の最大の動きベクトルの大きさであり、存在する最速の動きを示す。この項は、スケーリング倍率α２によって加重される。
・最大の動きベクトルの勾配、ｍａｘ（｜▽ＭＶ｜）は、シーン内での隣接する対象物の最大相対速度の尺度となるものである。この勾配は、スケーリング倍率α３によって加重される。図５は、各ブロックについての算出方法を示す。
【００５９】
動き補償誤差の尺度（ＭＥｒｒｏｒ）および動き速度の尺度（ＭＳｐｅｅｄ）は、算出されると、図３に示したように、適切なスケーリングモードを決定するために使用される。
【００６０】
第一に、ＭＥｒｒｏｒは、既定の誤差閾値Ｔｅと比較される。上記尺度がこの閾値よりも大きい場合、動きベクトルは信頼性が低いと考えられ、スケーリングモードＥが選択される。しかし、ＭＥｒｒｏｒがＴｅ以下である場合、動きベクトルは信頼性が高いと考えられ、動きの速度に応じて、残り２つのモードのうちの一つが選択される。
【００６１】
その後、動き速度の尺度、ＭＳｐｅｅｄは、既定の速度閾値Ｔｓと比較される。動き速度の尺度、ＭＳｐｅｅｄがこの閾値よりも高い場合、運動が速いと考えられ、スケーリングモードＦが選択される。しかし、ＭＳｐｅｅｄがＴｓ以下である場合、スケーリングモードＳが選択される。
【００６２】
閾値ＴｅおよびＴｓを規定するときに考慮される複数の他の有益な因子がある。すなわち、閾値Ｔｓは、時間スケーリング倍率と空間スケーリング倍率との間の比率に応じて増加すべきである。例えば、映像が大量の空間スケーリングを受ける必要があるが、少量の時間スケーリングのみを必要とする場合、空間スケーリングに向けて計算リソースにバイアスをかけるべきである。
【００６３】
視距離は、使用する適切な閾値を決定するときに因子として用いてもよい。しかし、時間スケーリングおよび空間スケーリングの両方の必要性が増すとともに、視距離を短くすることによって、動き補償アーチファクトの可視性が増大するため、視距離に基づく単純な経験則を成立させることは難しい。概して、実施するスケーリングのタイプに基づき視距離の効果を考慮するとき、ヒトの視覚体系の特徴を考慮することは有益である。
【００６４】
最後に、現在のフレームのためのスケーリングモードを決定するとき、前に選択されたスケーリングモードを考慮することも有益であり得る。これによって、スケーリングモード間の不要な急変を低減できる可能性がある。
【００６５】
本願に記載された本発明の方法は、図６に示されたように、入力映像に関して映像アップスケーリングを実施するためのコンピュータまたはマイクロプロセッサ制御装置内で実施されてもよい。デジタル画像処理および映像アップスケーリングに係る当業者であれば、本願の記載に基づき、コンピュータまたはマイクロプロセッサ制御装置をプログラミングし、何れかの種類の従来のプログラム言語を用いて本願に記載のステップを実施する方法がわかる。したがって、装置および具体的なプログラミングについての詳細は、簡潔にするために省略する。本願に記載された方法を実施するための特定のプログラムは、コンピュータ読み取り可能な媒体、好適には装置、または、装置がアクセス可能な外付けの記憶媒体に保存される。コンピュータ制御された記憶媒体は、光ディスクまたは磁気記憶媒体（例えば、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＷ、磁気ハードディスクドライブ）などの不揮発性メモリに含まれてもよい。代替的に、このようなプログラムは、ＲＯＭ、ＥＥＰＲＯＭなどに保存されてもよい。さらに、このようなプログラムは、ＲＡＭなどの揮発性メモリに保存されてもよい。コンピュータまたはマイクロプロセッサによってプログラムが読み取りおよび実行され、その結果、本願に記載の方法が実施される。
【００６６】
さらに、本発明に基づいて映像アップスケーリングを実施するコンピュータまたはマイクロプロセッサ制御装置は、いずれかの所定の時間に利用可能な特定量の計算リソースを有する。本願に記載された本発明に係る方法を実施することによって、計算リソースが装置内に、より最適に割り当てられる。
【００６７】
本発明は、特定の好適な実施形態に関して図示および記載されているが、当業者であれば、本明細書を読んで理解すれば、同等のもの、および、変形を容易に想定し得る。本発明は、そのような同等のもの、および、変形の全てを含んでおり、下記請求項の範囲内にのみ限定される。
【産業上の利用可能性】
【００６８】
本発明は、計算効率がよく、高画質の映像データ時空間アップスケーリングを提供するために使用できる。
【図１】
2010136367.tif 000003
【図２】
2010136367.tif 000004
【図３】
2010136367.tif 000005
【図４】
2010136367.tif 000006
【図５】
2010136367.tif 000007
【図６】
2010136367.tif 000008
【外国語明細書】
2010136367000001.pdf