(57)【要約】  再帰的階層処理を使用して外挿画像を生成するための装置および方法。既存のフィルムまたはビデオコンテンツから外挿画像を生成するための方法および装置であって、外挿画像が、視聴者の没入感を向上させるために、既存のフィルムまたはビデオコンテンツの境界を越えて表示することができる、方法および装置が提供される。本原理は、階層的処理に備え、階層的処理では、より高いレベルの各々において、より高い解像度の画像が生成され、より高いレベルの画像は、現在のレベルの画像から得られた予測および重み付けに基づいて生成され、現在のレベルは、重複データに基づいて、予測のために改良される。
2018506106.tif 000002
【特許請求の範囲】
【請求項１】
画像（７１０）の境界を越えて拡張する外挿画像（７２０）を生成するための方法であって、
前記画像の一部分（８１４）にアクセスすること（１１２０）と、
前記画像の前記一部分に基づいて第１の外挿画像（８２０）を生成すること（１０３０）であって、予測の推定角度を決定するためにイントラ予測を使用すること、および、前記第１の外挿画像において予測ブロックを前記推定角度で伝播することを含む、生成すること（１０３０）と、
前記第１の外挿画像のブロック（８２２）から決定された予測および重み付けに基づいて第２の外挿画像（８４０）を生成することであって、前記第２の外挿画像が前記第１の外挿画像より高い解像度を有する、生成することと
を含む、方法。
【請求項２】
第１の外挿画像（８２０）を生成することが、前記画像の前記境界に隣接して表示される予定の拡張部分のサイズに適合させるために、前記画像（８１０）の前記一部分をサイズ変更することと、前記サイズ変更した部分を垂直軸の周りで回転することと、前記サイズ変更した部分にぼかしを施すこととを含む、請求項１に記載の方法。
【請求項３】
前記第２の外挿画像（８４０）を生成することが、前記第２の外挿画像に含まれる予定の重複ブロックの予測および重み付けに基づいて実行され、ブロックマッチングアルゴリズムを使用して前記画像の少なくとも１つのマッチするブロック（８２２）を決定することを含む、請求項１に記載の方法。
【請求項４】
前記第２の外挿画像（８４０）に含まれる予定の前記ブロックの前記重みを決定するために局所線形埋め込みが使用される、請求項３に記載の方法。
【請求項５】
前記第２の外挿画像（８４０）を生成することが、前記第２の外挿画像の以前に決定されたブロックを使用して、前記第２の外挿画像に含まれる前記重複ブロックをブレンドすることを含む、請求項３に記載の方法。
【請求項６】
前記第２の外挿画像（８４０）から決定された予測に基づいて、第３の外挿画像を生成することをさらに含み、前記第３の外挿画像が、前記第２の外挿画像より高い解像度を有し、以前の外挿画像より高い解像度の外挿画像を生成する前記ステップが、Ｎ回繰り返される、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記画像の上縁（１４０）、左縁（１２０）および右縁（１３０）のそれぞれに対する外挿画像を生成することをさらに含む、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
画像の境界を越えて拡張する外挿画像を生成するための装置（１１１０）であって、
画像（８２０）にアクセスするように構成された入力（１１１０）と、
前記画像の一部分（８１４）にアクセスすること、前記画像の前記一部分に基づいて第１の外挿画像（８２０）を生成することであって、予測の推定角度を決定するためにイントラ予測を使用すること、および、前記第１の外挿画像において予測ブロックを前記推定角度で伝播することを含む、生成すること、ならびに、前記第１の外挿画像のブロックから決定された予測および重み付けに基づいて第２の外挿画像（８４０）を生成することであって、前記第２の外挿画像が前記第１の外挿画像より高い解像度を有する、生成することを行うように構成された少なくとも１つのプロセッサ（１１４０）と
を含む、装置（１１１０）。
【請求項９】
前記プロセッサ（１１４０）が、前記画像の前記境界に隣接して表示される予定の拡張部分のサイズに適合させるために、前記画像の前記一部分をサイズ変更すること、前記サイズ変更した部分を垂直軸の周りで回転すること、前記サイズ変更した部分にぼかしを施すことによって、第１の外挿画像（８２０）を生成するように構成される、請求項８に記載の装置。
【請求項１０】
前記プロセッサ（１１４０）が、前記第２の外挿画像に含まれる予定の重複ブロックの予測および重み付けに基づいて前記外挿画像（８４０）を生成するように構成され、ブロックマッチングアルゴリズムを使用して前記画像の少なくとも１つのマッチするブロックを決定することを含む、請求項８に記載の装置。
【請求項１１】
前記プロセッサ（１１４０）が、局所線形埋め込みを使用して、前記第２の外挿画像に含まれる予定の前記ブロックの前記重みを決定するように構成される、請求項１０に記載の装置。
【請求項１２】
前記プロセッサ（１１４０）が、前記第２の外挿画像の以前に決定されたブロックを使用して、前記第２の外挿画像に含まれる前記重複ブロックをブレンドすることによって、第２の外挿画像（８４０）を生成するように構成される、請求項１０に記載の装置。
【請求項１３】
前記プロセッサ（１１４０）が、前記第２の外挿画像（８４０）から決定された予測に基づいて、第３の外挿画像を生成するようにさらに構成され、前記第３の外挿画像が、前記第２の外挿画像より高い解像度を有し、以前の外挿画像より高い解像度の外挿画像を生成する前記プロセスをＮ回繰り返す、請求項８〜１２のいずれか一項に記載の装置。
【請求項１４】
前記プロセッサ（１１４０）が、前記画像の上縁、左縁および右縁のそれぞれに対する外挿画像を生成するように構成される、請求項８〜１３のいずれか一項に記載の装置。
【請求項１５】
非一時的なコンピュータ可読記憶媒体（１１６０）に格納されたコンピュータプログラム製品であって、
前記画像の一部分（８１２）にアクセスすること（１０２０）と、
前記画像の前記一部分に基づいて第１の外挿画像（８２０）を生成すること（１０３０）であって、予測の推定角度を決定するためにイントラ予測を使用すること、および、前記第１の外挿画像において予測ブロックを前記推定角度で伝播することを含む、生成すること（１０３０）と、
前記第１の外挿画像のブロックから決定された予測および重み付けに基づいて第２の外挿画像（８４０）を生成すること（１０４０〜１０７０）であって、前記第２の外挿画像が前記第１の外挿画像より高い解像度を有する、生成すること（１０４０〜１０７０）と
を行うためのコンピュータ実行可能命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を処理するための装置および方法に関連し、具体的には、既存のフィルムまたはビデオの境界を越えて拡張する外挿画像を生成するために、既存のフィルムまたはビデオを外挿するための装置および方法に関する。
【背景技術】
【０００２】
この項目は、以下で説明および／または特許請求される本発明の様々な態様に関連し得る当技術分野の様々な態様を読者に紹介することを意図する。この論考は、本発明の様々な態様をより理解し易くするために背景情報を読者に提供する際に役立つと思われる。それに従って、これらの記載は、先行技術を容認するものとしてではなく、これを踏まえて読み進めるべきであることを理解すべきである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００４／００６５７０号
【特許文献２】国際公開第２００６／００３６００号
【非特許文献】
【０００４】
【非特許文献１】P. Mills, A. Sheikh, G. Thomas, and P. Debenham. BBC research & development, white paper WHP 208 - surround video. page 34. 2011.
【非特許文献２】D. E. Novy. Computational immersive display. 2013.
【非特許文献３】Jones, Brett R; Benko, Hrvoje; Ofek, Eyal; Wilson, Andrew D (2013). “IllumiRoom: Peripheral Projected Illusions for Interactive Experiences”. 2013.
【非特許文献４】A. Aides, T. Avraham, and Y. Schechner. Multiscale ultrawide foveated video extrapolation. In 2011 IEEE International Conference on Computational Photography (ICCP), pages 1-8. 2011.
【非特許文献５】J. Lainema, F. Bossen, W. Han, J. min, K. Ugur. Intra Coding of the HEVC Standard. In IEEE Transactions on Circuits and Systems for Video Technology, vol.22, no.12, pages 1792-1801. December 2012.
【非特許文献６】Sam Roweis & Lawrence Saul. Nonlinear dimensionality reduction.
【０００５】
画像外挿技法は、フィルムまたはビデオコンテンツを視聴している間の視聴者の没入感を向上させるために、既存のフィルムまたはビデオ画像の境界を越えて表示するための外挿画像を生成するために使用することができる。画像外挿は、拡張される画像のコンテンツに基づいて実行することができる。そのような拡張では、フィルムまたはビデオの主要な画像と共に拡張画像を用いて観客を取り囲むために、画面の周りにコンテンツを投影することによって視野を拡大することが求められる。
【０００６】
そのような外挿画像を表示するための構成の例は、図１に示されている。フィルムまたはビデオコンテンツからの主要な画像は、主要な画面１１０上に表示され、外挿画像は、没入の感覚を提供するために、主要な画面１１０の境界を越えて、表示エリア１２０、１３０および／または１４０上に表示される。
【０００７】
画像は、図２および３に示されるものを含む異なる構成を使用して、様々な表示エリアに投影することができる。図２では、単一の投影２５０が主要な画面２１０上に表示され、投影２５０の一部分が画面２２０、２３０および／または２４０上に表示される。図３では、構成３１０は、フィルムまたはビデオコンテンツを中央の表示画面に投影する中央投影を含み、３２０は、外挿画像を左側の表示画面に投影する左投影を含み、３３０は、外挿画像を右側の表示画面に投影する右投影を含む。また、示されてはいないが、投影は、上側または下側の表示画面に提供することもできる。
【０００８】
境界の周りに特定の表示もしくは画像またはフィルムもしくはビデオを投影するための様々なシステムが提案されている。
【０００９】
Philips Corporationによって開発されたAmbilightシステム（特許文献１）では、画像の色の分布が研究されており（特許文献２）、選択された主要な色は、ＴＶの縁に設置されたＲＧＢ  ＬＥＤを使用して画面の周りに投影される。画面上に表示された画像に従って色を変更することができるセットアップにはスマート電球を追加することができる。光投影は、ＴＶの周りの限られたエリアに行われるが、背景の詳細も、形状も、動きの印象も提供しない。
【００１０】
Millsらによって提案されたシステム（非特許文献１）は、２つのカメラで取得されたコンテンツに対する投影システムを含む。しかし、このシステムは、コンテンツ作成に重点を置かず、既存のコンテンツに画像外挿を適用しない。
【００１１】
MIT Media Labによって開発されたInfinity-by-nine（非特許文献２）は、ＴＶ用の没入型ディスプレイを作成することを目的とする。システムは、３つのプロジェクタおよび３つの画面（部屋の天井および両側面）を使用して、ＴＶ画面上に表示されたプログラムを強化する。追加の画面上のコンテンツは、ＴＶコンテンツからリアルタイムで演算される。コンテンツは、場面が変化する際に作成され、推定されるカメラの動きから更新される。技法は動き推定に依存するため、急速に変化する場面、フラッシュを用いる場面または大きな動きを伴う場面ではあまりうまく機能しない可能性がある。
【００１２】
Microsoftによって提案されたIllumiRoom（非特許文献３）は、Kinectセンサおよびプロジェクタを使用して、テレビディスプレイの周りに画像を投影することによって、ＴＶコンテンツを強化する。IllumiRoomは、主に、ゲーム内で起こっていることはプレーヤの部屋でも起こっているという錯覚を与えるために、没入型ゲームに対して開発された。システムは、画面上の主要な画像を越えて起こっているイベントを伝えるため、テレビディスプレイを取り囲む家具や壁に直接、画像を投影する。しかし、このシステムは、画像のコンテンツに基づいて外挿する画像外挿によるコンテンツ作成に対処しない。コンテンツは、ほとんどがゲームレンダラによってコンピュータ生成される。
【００１３】
Ultrawide Foveated Video Extrapolation（非特許文献４）］は、中央画像の周りにビデオコンテンツを外挿する。アルゴリズムの重要なアイデアは、時空次元において（画像ブロックの代わりにビデオキューブを使用する）パッチマッチ（Patch-Match）アルゴリズムを使用して、その境界の外側にビデオを外挿することである。正しいパッチを選ぶ際、人の気を散らす可能性が高いパッチ（すなわち、ビデオの外側に多くの縁を追加するパッチ）を不利にすることも行われる。また、使用されるパッチは、同じパッチの不自然な繰り返しを避けるために、同様のコストを有する少数のパッチの間で無作為に選択される。演算を制限するため、適合するパッチの検索は、埋められている画素に近い、オリジナルの入力ビデオの特定のエリアに限定され、検索エリアは必要に応じて拡大される。このアルゴリズムは、１つのフレームを外挿するのに数分を要し、従って、リアルタイムでの実装が難しい可能性がある。アルゴリズムは、マルチスケール手法を使用して、粗解像度で外挿を開始し、さらなるステップにおいて解像度を改良する。この技法により、スムーズな外挿が保証されるが、かなり演算集約的である。それに加えて、縁エリアを不利にすることにおいては、縁が人の気を散らしているか否かを判断するための人間の視覚系を考慮しない。外挿されたビデオは、いくつかの関連構造を見逃す可能性がある。
【発明の概要】
【００１４】
本原理は、オリジナルのフィルムおよびビデオコンテンツから画像を外挿するための装置および方法の改善を対象とする。
【００１５】
ある点においては、本原理は、画像の境界を越えて拡張する外挿画像を生成するための方法であって、画像の一部分にアクセスすることと、画像の一部分に基づいて第１の外挿画像を生成することであって、予測の推定角度を決定するためにイントラ予測を使用すること、および、第１の外挿画像において予測ブロックを推定角度で伝播することを含む、生成することと、第１の外挿画像のブロックから決定された予測および重み付けに基づいて第２の外挿画像を生成することであって、第２の外挿画像が第１の外挿画像より高い解像度を有する、生成することとを含む、方法を提供する。
【００１６】
本原理による実施形態では、現在のレベルからの予測および重み付けに基づいてより高い解像度レベルを生成するステップは、所望の解像度および利用可能な演算資源に基づいてＮ回繰り返すことができる。
【００１７】
別の点においては、本原理は、画像の境界を越えて拡張する外挿画像を生成するための装置であって、画像にアクセスするように構成された入力と、画像の一部分にアクセスすること、画像の一部分に基づいて第１の外挿画像を生成することであって、予測の推定角度を決定するためにイントラ予測を使用すること、および、第１の外挿画像において予測ブロックを推定角度で伝播することを含む、生成すること、ならびに、第１の外挿画像のブロックから決定された予測および重み付けに基づいて第２の外挿画像を生成することであって、第２の外挿画像が第１の外挿画像より高い解像度を有する、生成することを行うように構成されたプロセッサとを含む、装置を提供する。
【００１８】
本原理による実施形態では、プロセッサは、現在のレベルからの予測および重み付けに基づいてより高い解像度レベルを生成するプロセスを、所望の解像度および利用可能な演算資源に基づいてＮ回繰り返すように構成される。
【００１９】
別の点においては、本原理は、非一時的なコンピュータ可読記憶媒体に格納されたコンピュータプログラム製品であって、画像の一部分にアクセスすることと、画像の一部分に基づいて第１の外挿画像を生成することであって、予測の推定角度を決定するためにイントラ予測を使用すること、および、第１の外挿画像において予測ブロックを推定角度で伝播することを含む、生成することと、第１の外挿画像のブロックから決定された予測および重み付けに基づいて第２の外挿画像を生成することであって、第２の外挿画像が第１の外挿画像より高い解像度を有する、生成することとを行うためのコンピュータ実行可能命令を含む、コンピュータプログラム製品を提供する。
【００２０】
本原理による実施形態では、コンピュータ実行可能命令は、現在のレベルからの予測および重み付けに基づいてより高い解像度レベルを生成するプロセスを、所望の解像度および利用可能な演算資源に基づいてＮ回繰り返す。
【００２１】
添付の図面と併せて取り入れられた以下の本発明の実施形態の説明を参照することで、この発明の上記で言及されるおよび他の特徴および利点ならびにそれらを達成するための方法がより明らかになり、本発明がより良く理解されよう。
【図面の簡単な説明】
【００２２】
【図１】フィルムおよび／またはビデオディスプレイの境界を越えて外挿画像を表示するための例示的な構成を示す。
【図２】様々な表示画面に画像を投影するための例示的な構成を示す。
【図３】様々な表示画面に複数の画像を投影するための例示的な構成を示す。
【図４】オリジナルの画像およびオリジナルの画像の左右の境界を越えて生成されて表示された外挿画像を含む例示的な画像を示す。
【図５】本原理による、外挿画像を生成する態様を示す。
【図６】本原理による、外挿画像を生成する態様を示す。
【図７】本原理による、外挿画像を生成する態様を示す。
【図８】本原理による、外挿画像を生成する態様を示す。
【図９】本原理による、外挿画像におけるブロックマッチングの態様を示す。
【図１０】本原理による、外挿画像を生成するための例示的なプロセスを示す。
【図１１】本原理による、外挿画像を生成および／または処理するための例示的な装置を示す。
【発明を実施するための形態】
【００２３】
本明細書に記載される説明は、本原理の様々な態様を実装するための例示的な実施形態を示す。そのような例は、いかなる方法でも請求項の範囲を制限するものと解釈してはならない。
【００２４】
本原理は、既存のフィルムまたはビデオコンテンツの境界または縁を越えて拡張する外挿画像を生成するための装置および方法の改善に関する。本原理は、有利には、以下の特徴を提供する。
−  ブロック伝播に使用されるぼかしおよびＨＥＶＣ角度予測を用いる外挿画像の予測（またはプレフィリング）。角度予測を推定するため、ＨＥＶＣからのイントラモード予測が使用される。この事例では、予測は、圧縮の観点から、その従来の使用よりむしろ、構造を伝播するために使用される。ＨＥＶＣイントラ予測は、その周囲に基づいてコンテンツを予測するための角度および推定効率の推定（符号化コストを通じて）を提供する。別の可能な技法は、異なるツールを使用し、それらを統合することである（勾配の向きを検出し、主要な勾配を推定し、予測を見出す）。
−  外挿画像の階層的演算（演算時間を節約するために、演算は、より低い解像度で行われ、より高い解像度に適応させる）。一般に、より低い解像度で行われる演算は予測として使用され、現在のレベルでもう一度演算が行われ、それにより、通常、ローカル検索が低減される。多重解像度により、予測近くの検索範囲を狭くすることができる。我々の事例では、より低い解像度で検索が行われ、その結果はより高い解像度で直接適用される。当然ながら、これは、２つの解像度レベルの事例におけるものである。より多くの解像度レベルの場合、レベルＮにおける結果を予測として使用してこのレベルでの検索を絞り込み、レベルＮ−１で結果を適用し、レベル０まで再帰的に継続する。
−  「重複パッチ」に基づく再帰補完。ブロックマッチング（またはパッチマッチ）のための既知のデータとして、重複エリアが使用される。従って、現在のブロックにマッチするブロックを見つけるために利用可能なデータは、粗推定と重複エリアの両方である。重複が使用されない場合は、あらゆるブロックは独立して演算される。近隣のブロック間に一貫性はなく、ブロックアーチファクトが目に見えるようになる。その上、ブロックアーチファクトは、ブロックの重複エリア間のブレンディングを使用すると、さらにいっそう低減される。
−  Ｎ層の局所線形埋め込み（ＬＬＥ）により、ブロック予測を演算するための複数の参照の使用が可能になる。既に演算されたエリアに対して推定された結合重みにより、現在のブロックに対するより近いマッチが可能になる。また、これにより、モザイクアーチファクトの生成が回避されるが、その理由は、いくつかの予測を組み合わせることにより、新しいコンテンツの作成が可能になるためである。
【００２５】
図４は、オリジナルの画像４１０に基づいて生成された外挿画像４２０および４３０を有する画像表示の例を示す。それぞれの外挿画像は異なり、オリジナルの画像４１０の左右両方の境界を越えてオリジナルの画像を拡張する形で生成されていることが分かる。
【００２６】
本原理は、外挿画像を生成するために階層的処理に依存し、従って、入力画像のＮレベルのガウシアン多重解像度ピラミッドが演算される（レベルＮ−１で最も低い解像度およびレベル０で最も高い解像度）。レベルｉの拡張は、より低い解像度レベルｉ＋１で行われた演算を使用して行われる。
【００２７】
それに加えて、空間的にブロックごとにテクスチャ伝播が行われ、何らかの再帰的テクスチャ伝播につながる。
【００２８】
ピラミッド分解およびフィルタリングプロセスは人間の視覚特性をうまく利用しており、特に、周辺の視覚特性は、より良い、さらに没入できる経験を提供する。具体的には、外挿画像は、動いている物体および構造に対して低分解視力および高感度をうまく利用する。
【００２９】
我々の説明では、右側に画像を拡張するための外挿画像を生成することを考慮する。適切な向きの変化を伴う同様の処理を使用して、画像の左縁を越えて画像を拡張するための外挿画像を生成できることを理解されたい。また、同じ手順を使用して、画面の上側および下側に画像を拡張することもできる。中央画面の周り全体に画像を拡張するために、スキャン順番のわずかな調整を行うことができる。
【００３０】
本原理によれば、より高いレベルの各々においてより高い解像度の画像が生成される階層的処理が実行され、より高いレベルの画像は、現在のレベルの画像から得られた予測および重み付けに基づいて生成され、現在のレベルは、重複データに基づいて、予測のために改良される。
【００３１】
最も低いレベル（レベルｉ＝Ｎ−１）
ピラミッドの最も低いレベルで拡張の粗予測が行われる。このプロセスは、図５に示されている。
【００３２】
この第１の予測を行うため、入力画像５１０の右側の境界の画像部分５３０が抽出され、双線形内挿を使用して拡張エリアに適合させるためにサイズ変更される。次いで、抽出され、サイズ変更された画像は、水平方向に反転され（境界上の縁の連続性を失わないため）、初期の外挿画像５２０を生成するために、例えば、サイズ２５の規格化ボックスフィルタを使用してぼかしが施される。抽出される画像部分５３０のサイズは、要望に応じて変えることができる。抽出される部分は、データを含むことができるほど十分に大きいもの（少なくとも少数の画素）および画像を認識できないほど十分に小さいものでなければならない。トレードオフに基づいて、１／１０の画像幅は良い幅であると認められている。
【００３３】
オプションとして、入力画像５１０の右縁の最も右側の画素は、画像の境界に現れる可能性がある黒色の境界または望まない画素の拡張を避けるために、この選択エリアをシフトすることによって切り捨てることができる。
【００３４】
このぼかし予測に加えて、例えば、ＨＥＶＣ角度予測（非特許文献５）を使用して、境界上の各ブロックの方向の推定が演算され、３４のＨＥＶＣ方向が使用される。ブロックの角度を評価した後、予測ブロックがオリジナルのブロックと十分に類似している場合は、それ（予測ブロック）は、図６に示されるように、オリジナルのブロックの位置から始まり、推定角度で、拡張上で伝播される。ここでは、ブロック６３０は方向６５０に伝播され、ブロック６４０は方向６６０に伝播される。この予測は、規則的な構造を伝播することを目的とする。このプロセスは、正しい方向で構造を伝播し、それは、上記のミラーリング粗推定の事例ではない可能性がある。
【００３５】
本質的には、画像の最右端部の各ブロックに対して角度予測が実行され、オリジナルの画像に対して推定および予測が行われ、次いで、外挿画像上で伝播される。いくつかの最も右側の画素は、画像の縁に黒色の境界が存在する際に間違った予測を避けるために切り捨てることができる。これらのブロックは、重複しているものであり得る。最初に、最高のＨＥＶＣイントラ予測が推定される。選ばれたモードは、ブロックにおける構造の角度を定義する。次いで、予測がブロックと十分に類似している場合は、ブロックは、推定角度に従って拡張上で伝播される。２つの方法が可能である。
１．ブロックで始まり、予測角度の方向を有する線に従って、ブロックがコピーされ、ペーストされる。この解決法は、ブロックの詳細を伝播することができ、テクスチャが存在する。
２．ブロックに対して選ばれたモード（角度）でＨＥＶＣイントラ予測を演算する。推定された構造方向角度に従ってこの予測をペーストする。この解決法は、ブロックの主要な構造のみを伝播する。
【００３６】
レベルｉ、ｉ＜Ｎ−１
レベルｉ＜Ｎ−１における予測は、レベルｉ＋１における改良ステップの間に演算される拡張である。
【００３７】
レベルｉ、ｉ≠０に対する拡張の改良
レベルｉで演算する際、アルゴリズムは、実際には、レベルｉにおけるすべての演算を行いながら、レベルｉとｉ−１の両方に対する拡張を演算するが、これは、超解像で使用されるものと同様の技法からインスピレーションを得たものである。ｉ＞１の場合、レベルｉで演算されたレベルｉ−１の拡張は、予測として機能する。そうではない場合、すなわち、ｉ＝１の場合、レベルｉ＝１で演算されたレベルｉ−１＝０の拡張は、最終的な拡張である。
【００３８】
再帰的重複ブロック
予測拡張は、入力画像と半分重複している拡張の左上の角のブロックから始めて、拡張の右下の角のブロックへ（ある種のジグザグスキャン順番）、水平軸に沿ってｘ画素および垂直軸に沿ってｙ画素のステップで（外挿されたブロックが互いに部分的に重複することを意味する）、パッチされる予定のブロックを選択することによって改良される。重複画素間の最終的な融合は、ブレンドされたブロックを生成するために画素値をブレンドすることによって行われる。ブロックは、左から右へ、上から下へ選択される。本原理のこの態様は、図９に示されており、重複する例示的なブロック９２０、９３０および９４０が処理されている。処理は、拡張部分９１０に対して矢印９５０の方向に沿って配置されたブロックに対して順番に続行される。
【００３９】
ｘとｙの値は要望に応じて調整できることを理解されたい。ｘとｙの値が低いほど、最終的な拡張に対するブロック効果はより少なくなり、ｘとｙの値が高いほど、処理はより速くなる。
【００４０】
ブロックマッチング
レベルｉで選択されたブロックは、Ｂｉと呼ばれ、レベルｉ−１における対応するブロックＢｉ−１と関連付けられる（同一場所に配置されたブロック）。
【００４１】
目標は、外挿画像のブロックＢｉを再構築することである。このステップでは、この未知のブロックのための良い候補を見出す。我々は、重複ブロックを再構築しており、それは、ブロックの一部が既に再構築されていることを意味する（左上部分）。既知の部分は、参照検索エリアにおける最近傍ブロックを見出すためのテンプレートとして使用される。これは、「テンプレートマッチング」技法としても知られている。
【００４２】
ブロックマッチングアルゴリズムは、ブロックＢｉのＫ最近傍法（Ｋ−ＮＮ）を見出す。我々の事例では、ブロックマッチングは、差の２乗の和に依存する。それらのＫ−ＮＮは、今後、パッチ
【数１】
2018506106.tif 000003
と呼ぶ（１≦ｊ≦Ｋ）。
【数２】
2018506106.tif 000004
式中、ＳＳＤは、差の２乗の和であり、Ωは、入力の検索ウィンドウである。
【００４３】
レベルｉにおけるテンプレートの局所線形埋め込み（ＬＬＥ）
ＬＬＥと呼ばれる技法は、拡張を改良するパッチを演算するために使用される。ＬＬＥは、様々なパッチを組み合わせて、それにより、拡張における人の気を散らすものおよび詳細の追加を防ぐため、拡張における安定性を保証する。人間の周辺視野は詳細を検出することができず、没入を高める代わりに視野の邪魔になり得るため（すなわち、中心視覚で詳細を見るために顔を向けるようにユーザに強いる）、詳細は不要である。
【００４４】
以下の方程式を最小化する重みｗｊは、ＬＬＥ最適化を通じて演算される。
【数３】
2018506106.tif 000005
式中、Ｔは、以前に改良された画素を考慮するために作成されたテンプレートであり、予測されてはいるが未だ改良されていない画素（通常、逆Ｌ形）を無視する。
【００４５】
あるいは、テンプレートは使用せず、現在のブロック全体が考慮される。
【００４６】
最終的なパッチＰｉは、以下のように得られる。
【数４】
2018506106.tif 000006
【００４７】
改善策として、ブロックマッチング基準の観点からブロックが良くマッチするブロックであるという意味で、コヒーレントブロックのみが使用されることを保証するため、ＳＳＤ値が高過ぎる
【数５】
2018506106.tif 000007
ブロック
【数６】
2018506106.tif 000008
を拒否することができる。
【数７】
2018506106.tif 000009
【００４８】
パッチ
【数８】
2018506106.tif 000010
から、レベルｉで演算された重みを用いて、レベルｉ−１における対応する位置における（同一場所に配置された）対応するパッチ
【数９】
2018506106.tif 000011
を推測し、最終的なパッチＰｉ−１は以下の通りである。
【数１０】
2018506106.tif 000012
または（拒否して）
【数１１】
2018506106.tif 000013
である。
【００４９】
重みはレベルｉでのみ演算されることに留意されたい。
【００５０】
あるいは、Ｋ−ＮＮ検索およびＬＬＥの代わりにパッチマッチアルゴリズムを使用することができる。パッチマッチは、２つの画像領域のパッチ間の高密近似最近傍対応を演算するための高速アルゴリズムである。それは、コンピュータビジョンコミュニティから良く知られている。
【００５１】
図７は、オリジナルの画像および上記で説明されるように生成された粗解像度画像を示す。階層的方法で外挿画像のブロックを決定するプロセスは、図８に示されている。画像８１０および８２０はレベルｉと関連付けられ、画像８３０および８４０はレベルｉ−１と関連付けられる。画像８２０では、ブロック８２２は、検索エリア８１２内の１つまたは複数のブロック８１４と関連付けられる。重みは、ブロック８２２を決定するために推定される。ブロック８１４の位置は、レベルｉ−１でブロック８３２を決定するために使用される。次いで、ブロック８２２に対して決定された重みは、ブロック８３２と関連付けられ、ブロック８４４を生成するために、例えば、以下で説明されるブレンディング技法によって使用される。残りのブロックは、外挿画像８４０の部分８４２に対して埋めるべきブロックを生成するために同様の方法で順番に処理される。
【００５２】
ブレンディング
最終的なパッチＰｉおよびＰｉ−１は、目に見える継ぎ目またはブロック効果を防ぐために、アルファブレンディングと同様の方法で、レベルｉおよびｉ−１の拡張のそれぞれにブレンドされる。ブレンディングマスク
【数１２】
2018506106.tif 000014
を考慮し、
【数１３】
2018506106.tif 000015
である。
【００５３】
ブレンディング方程式は
【数１４】
2018506106.tif 000016
となり、式中、∴は、要素同士の乗算であり、ＦｉおよびＦｉ−１は、レベルｉおよびｉ−１の拡張のそれぞれにおける最終的な改良ブロックである。
【００５４】
このブレンディングは、改良されなかった画素ｐｘ，ｙが新しいパッチ
【数１５】
2018506106.tif 000017
から取り出されるように行われる。Ｂｉにおいて既に改良されている画素は、画素がパッチの非改良エリアから遠いほど（すなわち、より多くの画素が以前のステップで既に改良されている）、Ｂｉにおけるオリジナルの画素の重みが高くなるように、Ｐｉの画素で重み付けされる。同じことがレベルｉ−１に当てはまる。
【００５５】
階層的演算
レベルｉが終了するとすぐに、アルゴリズムは、レベルｉ−１に進み、レベル０に達するまで継続される。レベルｉ−１の予測は、たった今レベルｉの改良ステップの間に演算された外挿画像に基づく。最終的な外挿画像は、レベル１においてレベル０に対して演算されたものである。最終的な外挿画像を生成するために処理されるレベルの数は、要望に応じて変えることができることを理解されたい。より多くの数のレベルには処理量の増大が必要とされるが、一般に、より高い解像度の最終的な画像を提供し、より少ない数のレベルにはより少ない処理量が必要とされるが、一般に、より低い解像度を提供する。
【００５６】
また、最終的な画像の解像度は、最も低い解像度レベルの解像度および２つのレベル間のサイズ比率にも依存する。２つのレベル間の比率は、いかなる値でもあり得る。２つのレベルで作業し、非常に低い解像度およびＨＤを有することができる。要するに、階層的処理のポイントは、容易な処理（低い詳細解像度）から始め、信頼できる予測を使用して解像度を次第に追加していくことである。レベルの数を増大すると、ロバスト性が向上する。開始および終了解像度ならびにレベルの数は、演算コストとロバスト性との間のトレードオフを有するように変えることができる。
【００５７】
本原理による外挿画像を生成するための例示的なプロセスは、図１０に示されている。プロセス１０００は、ステップ１０１０から始まり、最初に１０２０において画像の一部分にアクセスする。ステップ１０３０では、粗予測が生成され、それに続いて、レベルの階層的処理が行われる。処理は、１０４０における、パッチ予定のブロックを選択することと、１０５０における、レベルｉからの予測および重み付けに基づいて画像のブロックを決定することと、１０６０における、新しいブロックを生成するために画素値のブレンディングを実行することと、１０７０における、外挿画像のブロックのすべてが処理されたかどうかを判断することとを含む。ブロックのすべてが処理されていなければ、プロセスは、ブロックのすべてが処理されるまで、ステップ１０４０〜１０６０を繰り返す。ブロックのすべてが処理されていれば、プロセスは、最終的なレベルが処理されたかどうかをチェックする。最終的なレベルが処理されていなければ、プロセスは、最終的なレベルが処理されるまで、ステップ１０４０〜１０７０を繰り返す。最終的なレベルが処理されていれば、プロセスは終了し、最終的な外挿画像が生成されている。
【００５８】
図１１は、本原理の例示的な実施形態の様々な態様を実装できる例示的なシステムのブロック図を示す。システム１１００は、以下に説明される様々なコンポーネントを含むデバイスとして具体化することができ、上記で説明されるプロセスを実行するように構成される。そのようなデバイスの例は、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビレシーバ、パーソナルビデオ記録システム、接続された家庭電化製品およびサーバを含む。システム１１００は、上記で説明されるように、フィルムおよびビデオデータを受信してフィルムおよびビデオデータを処理するために、ならびに、没入型の視聴者経験を提供するために受信したフィルムおよびビデオデータを用いて外挿画像を投影または表示するために、例えば、信号受信装置、投影システム、表示システムまたは同様のものなどの他のコンポーネントに通信可能に結合することができる。
【００５９】
システム１１００は、上記で論じられるように、様々なプロセスを実装するためにその中にロードされた命令を実行するように構成された少なくとも１つのプロセッサ１１４０を含み得る。プロセッサ１１４０は、埋め込みメモリ、入力出力インタフェースおよび当技術分野で知られている様々な他の回路を含み得る。また、システム１１００は、少なくとも１つのメモリ１１５０（例えば、揮発性メモリデバイス、不揮発性メモリデバイス）も含み得る。それに加えて、システム１１００は、これらに限定されないが、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブおよび／または光ディスクドライブを含む不揮発性メモリを含み得る記憶装置１１６０を含み得る。記憶装置１１６０は、非限定的な例として、内部記憶装置、接続型記憶装置および／またはネットワークアクセス可能記憶装置を含み得る。上記で説明される様々なプロセスを実行するためにプロセッサ１１４０にロードされるプログラムコードは、記憶装置１１６０に格納し、その後、プロセッサ１１４０によって実行するためにメモリ１１５０にロードすることができる。また、システム１１００は、暗号化されたフィルムおよび／またはビデオデータを受信して暗号解読するように構成された暗号解読モジュール１１２０も含み得る。プロセッサ１１４０によって生成された画像データは、表示デバイスへの出力ポートを介して出力することができるか、または、システム１１００は、ディスプレイと統合することができ、出力信号は、システム１１００のディスプレイ上に画像を表示するために直接印加される。
【００６０】
システム１１００は、必要に応じて受信入力信号を復号するデコーダ１１３０を含み得、受信入力信号は、公知の圧縮フォーマットのいずれか（例えば、ＭＰＥＧ２またはＨ．２６４）に従って圧縮された形式であり得る。デコーダ１１３０は、当技術分野で知られるように、システム１１００内の別個のコンポーネントとして実装することも、プロセッサ１１４０の一部として組み込むこともできる。
【００６１】
暗号解読モジュール１１２０は、暗号解読機能を実行するためにデバイスに含めることができるモジュールを表す。知られているように、デバイスは、暗号化モジュールおよび暗号解読モジュールの一方または両方を含み得、例えば、暗号化は、通常のＰＣ上で行うことができるが、その理由は、暗号化は秘密キーを伴わず、その結果、ＰＣは、入力パラメータ（すなわち、パブリックシステムパラメータおよびユーザのアイデンティティ）を格納するための安全なメモリを含む必要がないためである。しかし、暗号解読は、秘密キー（すなわち、暗号解読キー）を必要とし、安全なデバイス（例えば、スマートカード）で行われる。それに加えて、暗号解読モジュール１１２０は、当業者に知られているように、システム１１００の別個の要素として実装することも、ハードウェアとソフトウェアの組合せとしてプロセッサ１１４０内に組み込むこともできる。
【００６２】
また、システム１１００は、有線または無線で、通信チャネルを介して他のデバイスとの通信を可能にする通信インタフェース１１１０も含み得る。通信インタフェース１１１０は、これに限定されないが、通信チャネルからデータを送信および受信するように構成されたトランシーバを含み得る。通信インタフェースは、これらに限定されないが、モデムまたはネットワークカードを含み得、通信チャネルは、有線および／または無線媒体内で実装することができる。システム１１００の様々なコンポーネントは、これらに限定されないが、内部バス、ワイヤおよびプリント回路基板を含む様々な適切な接続を使用して、共に接続または通信可能に結合することができる。
【００６３】
この発明の例示的な実施形態は、プロセッサ１１４０によって実装されるコンピュータソフトウェアによってもしくはハードウェアによって、または、ハードウェアとソフトウェアの組合せによって、実行することができる。非限定的な例として、この発明の例示的な実施形態は、１つまたは複数の集積回路によって実装することができる。メモリ１１５０は、技術環境に適切ないかなるタイプのものでもあり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリおよび取り外し可能メモリなどの任意の適切なデータ格納技術を使用して、実装することができる。プロセッサ１１４０は、技術環境に適切ないかなるタイプのものでもあり得、非限定的な例として、マイクロプロセッサ、一般用途コンピュータ、特殊用途コンピュータおよびマルチコアアーキテクチャベースのプロセッサのうちの１つまたは複数を包含し得る。
【００６４】
前述の事項は、例示的な実施形態および非限定的な例として、本発明者によって企図される方法およびシステムの説明を提供した。説明を考慮して、様々な変更形態および適合形態が当業者には明らかであることは明確である。しかし、そのような様々な変更形態および適合形態は、上記で説明される様々な実施形態の教示の範囲内に収まる。
【００６５】
本明細書で説明される実施形態は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または、信号で実装することができる。実装の単一の形態の文脈においてのみ論じられる（例えば、方法としてのみ論じられる）場合であっても、上記で論じられる特徴の実装形態は、他の形態（例えば、装置またはプログラム）でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェアおよびファームウェアで実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路またはプログラマブル論理デバイスを含む、例えば、一般に処理デバイスを指す装置（例えば、プロセッサなど）で実装することができる。また、プロセッサは、例えば、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、および、エンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。
【００６６】
本原理の「一実施形態」もしくは「実施形態」または「一実装形態」もしくは「実装形態」およびそれらの他の変形例への言及は、特定の特徴、構造、特性およびその他の実施形態と関係して説明されるものが本原理の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書全体を通じて様々な場所に現れる「一実施形態では」もしくは「実施形態では」または「一実装形態では」もしくは「実装形態では」という記載および他の変形例の出現は、必ずしもすべてが同じ実施形態を指すわけではない。
【００６７】
それに加えて、この出願またはその請求項は、様々な情報を「決定すること」について言及し得る。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、または、メモリから情報を回収することのうちの１つまたは複数を含み得る。
【００６８】
さらに、この出願またはその請求項は、様々な情報に「アクセスすること」について言及し得る。情報にアクセスすることは、例えば、情報を受信すること、情報を回収すること（例えば、メモリから）、情報を格納すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または、情報を推定することのうちの１つまたは複数を含み得る。
【００６９】
それに加えて、この出願またはその請求項は、様々な情報を「受信すること」について言及し得る。受信することは、「アクセスすること」と同様に、幅広い用語であることを意図する。情報を受信することは、例えば、情報にアクセスすることまたは情報を回収すること（例えば、メモリから）のうちの１つまたは複数を含み得る。さらに、「受信すること」は、通常、動作の間、何らかの形で、例えば、情報を格納すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または、情報を推定することなどに関与する。
【００７０】
当業者には明らかであるように、実装形態は、例えば、格納または送信することができる、情報を伝えるようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または、説明される実施形態のうちの１つによって生成されたデータを含み得る。例えば、信号は、説明される実施形態のビットストリームを伝えるようにフォーマットすることができる。そのような信号は、例えば、電磁波として（例えば、スペクトルの高周波部分を使用して）またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化すること、および、符号化されたデータストリームで搬送波を変調することを含み得る。信号が伝える情報は、例えば、アナログまたはデジタル情報であり得る。信号は、知られているように、様々な異なる有線および／または無線リンク上で送信することができる。信号は、プロセッサ可読媒体上に格納することができる。
【図１】
2018506106.tif 000018
【図２】
2018506106.tif 000019
【図３】
2018506106.tif 000020
【図４】
2018506106.tif 000021
【図５】
2018506106.tif 000022
【図６】
2018506106.tif 000023
【図７】
2018506106.tif 000024
【図８】
2018506106.tif 000025
【図９】
2018506106.tif 000026
【図１０】
2018506106.tif 000027
【図１１】
2018506106.tif 000028
【国際調査報告】
2018506106.tif 000029
2018506106.tif 000030
2018506106.tif 000031
2018506106.tif 000032
2018506106.tif 000033