(57)【要約】【解決手段】画像生成システムは、コンテンツ内の関心範囲を特定するように動作可能な関心範囲特定部であって、コンテンツは、１つ以上のオブジェクトを含む、関心範囲特定部と、表示用画像を生成するように動作可能な画像生成部であって、画像は、関心範囲に対して異なる視覚的な奥行きにあるオブジェクトがより低品質で生成された画像に存在するように、１つ以上のオブジェクトのうちの１つまたは複数を含む、画像生成部と、を備える。【選択図】図８
2020530157.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像を生成するための画像生成システムであって、
コンテンツ内の関心範囲を特定するように動作可能な関心範囲特定部であって、前記コンテンツは、１つ以上のオブジェクトを含む、関心範囲特定部と、
前記コンテンツを表す表示用画像を生成するように動作可能な画像生成部であって、前記関心範囲に対して異なる視覚的な奥行きにあるオブジェクトがより低品質で前記生成された画像に存在するように、前記１つ以上のオブジェクトのうちの１つまたは複数を含む、画像生成部と、を備える画像生成システム。
【請求項２】
前記生成された画像を視聴者に対して表示するように動作可能な画像表示部を備える、請求項１に記載の画像生成システム。
【請求項３】
前記画像表示部は、ヘッドマウント可能な表示装置である、請求項２に記載の画像生成システム。
【請求項４】
前記関心範囲特定部は、前記コンテンツのコンテキスト情報を使用して関心範囲を特定するように動作可能である、請求項１に記載の画像生成システム。
【請求項５】
前記関心範囲特定部は、ユーザの検出された注視点を用いて関心範囲を特定するように動作可能であり、前記注視点は、目追跡により得られる、請求項１に記載の画像生成システム。
【請求項６】
前記画像生成部は、前記関心範囲に対する奥行き差が大きくなるにつれて前記品質が低下するように、前記生成された画像内の前記１つ以上のオブジェクトの前記品質を変えるように動作可能である、請求項１に記載の画像生成システム。
【請求項７】
前記画像生成部は、表示用オブジェクトの描画で使用する複数の利用可能なテクスチャのうちの１つを選択するように動作可能であり、前記利用可能なテクスチャは、それぞれ異なる品質である、請求項１に記載の画像生成システム。
【請求項８】
オブジェクトに対応する前記利用可能なテクスチャは、それぞれ異なる解像度である、請求項７に記載の画像生成システム。
【請求項９】
前記画像生成部は、表示用オブジェクトの描画で使用する複数の利用可能なメッシュのうちの１つを選択するように動作可能であり、前記利用可能なメッシュは、それぞれ異なる品質である、請求項１に記載の画像生成システム。
【請求項１０】
前記画像生成部は、異なる品質の１つ以上の候補画像のエリアを結合することにより画像を生成するように動作可能である、請求項１に記載の画像生成システム。
【請求項１１】
前記関心範囲特定部は、前記コンテンツ内の関心範囲をオブジェクトとして特定するように動作可能である、請求項１に記載の画像生成システム。
【請求項１２】
前記画像生成部は、前記１つ以上のオブジェクトと前記関心範囲である前記オブジェクトとの関係に応じて前記生成された画像における前記１つ以上のオブジェクトの前記品質を変えるように動作可能である、請求項１１に記載の画像生成システム。
【請求項１３】
３次元画像を生成するための画像生成方法であって、
コンテンツ内の関心範囲を特定することであって、前記コンテンツは、１つ以上のオブジェクトを含む、コンテンツ内の関心範囲を特定することと、
前記コンテンツを表す表示用画像を生成することであって、前記画像は、前記関心範囲に対して異なる視覚的な奥行きにあるオブジェクトがより低品質で前記生成された画像に存在するように、前記１つ以上のオブジェクトのうちの１つまたは複数を含む、前記コンテンツを表す表示用画像を生成すること、を備える画像生成方法。
【請求項１４】
コンピュータプログラムであって、コンピュータによって実行されると、前記コンピュータに請求項１３に記載の前記方法を実行させる、コンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを記憶する、非一時的な機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ生成方法および装置に関する。
【背景技術】
【０００２】
３次元画像およびビデオコンテンツの使用は、少なくとも部分的に個人向けのより手頃な価格の表示システムの開発によって、近年ますます普及しつつある。例えば、ヘッドマウント可能な表示装置（Ｈｅａｄ−Ｍｏｕｔａｂｌｅ  Ｄｉｓｐｌａｙ  Ｄｅｖｉｃｅ：ＨＭＤ）および３Ｄテレビなどである。
【０００３】
３Ｄコンテンツは一般的に、視聴者がより高い没入感を体験できることを目的として提供されており、それによって、視聴者がコンテンツを楽しむ度合いが増す可能性がある。例えば、３Ｄ（バーチャルリアリティ、ＶＲ、体験など）で表示されるゲームでは、プレーヤがゲーム環境にいるかのように感じることができる。ゲームに入力を与えることでユーザが実世界の相互作用をより忠実に模倣できるようにする周辺機器を追加することで、この体験がさらに強化される可能性がある。
【０００４】
多くの場合、視聴者が感じる没入感のレベルは、提示されたシーンがどのように「リアル」に見えるかに関係している可能性がある。これは、広い視野を有する高品質の表示要素の使用につながり、これにより、ユーザは、他のオブジェクト（ＨＭＤのストラップなど）が見えることで画像から注意をそらすことのないようにした状態で、より高い解像度のコンテンツを見ることができる。ただし、より高い解像度のコンテンツを提供することの問題点は、コンテンツのファイルサイズが使用できないレベルに増加する可能性があることであり、このようなコンテンツの保存および送信は、もはや実行不可能または実用的ではない可能性がある。
【０００５】
従って、コンテンツの保存効率を向上させることが望まれる。より効率的な保存では、ファイルサイズを増やすことなく、より多くの画像データを保存することができる。従って、効率的な保存により、システムの保存または送信負荷を増やすことなく、より高い解像度のコンテンツを作成することができる。従って、非効率的に保存されているより低い解像度の画像と同じ量のデータを使用して、より高い解像度の画像が提供されてもよい。
【発明の概要】
【０００６】
本開示は、視聴者のための没入型の視聴体験が向上する機構を提供するという観点から提供される。
【０００７】
本発明のさまざまな態様および特徴は、添付の特許請求の範囲および付属の説明文内で定義され、少なくともディスプレイおよびディスプレイを操作する方法、ならびにコンピュータプログラムを含む。
【図面の簡単な説明】
【０００８】
以下、付属の図面を参照して、本発明の実施形態をほんの一例として説明する。
【図１】ＨＭＤを装着しているユーザを概略的に示す図である。
【図２】ＨＭＤの内部を概略的に示す図である。
【図３】仮想シーンを概略的に示す図である。
【図４】一対の立体画像を概略的に示す図である。
【図５】低品質のメッシュを概略的に示す図である。
【図６】低品質のテクスチャを概略的に示す図である。
【図７】メッシュとテクスチャを概略的に示す図である。
【図８】データ保存形式を概略的に示す図である。
【図９】異なる解像度の複数の事前生成画像を概略的に示す図である。
【図１０】仮想シーンの平面視を概略的に示す図である。
【図１１】画像生成および表示システムを概略的に示す図である。
【図１２】関心範囲特定部を概略的に示す図である。
【図１３ａ】画像生成部を概略的に示す図である。
【図１３ｂ】画像生成部を概略的に示す図である。
【図１４】画像生成および表示方法を概略的に示す図である。
【図１５ａ】関心範囲特定方法を概略的に示す図である。
【図１５ｂ】関心範囲特定方法を概略的に示す図である。
【図１５ｃ】関心範囲特定方法を概略的に示す図である。
【図１６】仮想シーンを概略的に示す図である。
【図１７ａ】画像生成方法を概略的に示す図である。
【図１７ｂ】画像生成方法を概略的に示す図である。
【発明を実施するための形態】
【０００９】
下記説明の大部分において、ＨＭＤを使用してコンテンツを提供する例を使用しているが、これは、限定として見なされるべきではない。本明細書で説明される技術は、３Ｄコンテンツを表示するように動作可能な３Ｄテレビなどの他の表示装置に等しく適用されてもよい。
【００１０】
ここで図１を参照すると、ユーザ１０は、ユーザの頭部３０にＨＭＤ２０を装着している。ＨＭＤは、この例ではリアストラップとトップストラップで形成されたフレーム４０と、表示部５０とを備えている。
【００１１】
図１のＨＭＤによって、周囲環境に対するユーザの視界は、完全に遮られる。ユーザが見ることができるのは、ＨＭＤ内に表示される一対の画像だけである。
【００１２】
ＨＭＤは、ユーザの左耳７０および右耳７０に合うヘッドホンイヤピース６０を関連付けている。イヤピース６０は、外部ソースから提供されるオーディオ信号を再生し、これは、ユーザの目に表示用ビデオ信号を提供するビデオ信号ソースと同じであってもよい。
【００１３】
動作中、ＨＭＤにより表示用ビデオ信号が提供される。このビデオ信号は、ビデオゲーム機またはデータ処理装置（パーソナルコンピュータなど）などの外部ビデオ信号ソース８０により提供され得る。その場合、信号は、有線または無線接続によってＨＭＤに送信され得る。好適な無線接続の例には、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続が含まれる。イヤピース６０向けのオーディオ信号は、同じ接続で伝送できる。同様に、ＨＭＤからビデオ（オーディオ）信号ソースに渡される制御信号は、いずれも同じ接続で伝送されてもよい。
【００１４】
従って、図１の機構は、観察者の頭部に取り付けられるフレームを含むヘッドマウント可能な表示システムの例を提供する。フレームは、使用中に観察者のそれぞれの目の前に位置付けられる１つまたは２つの目の表示位置と、目の表示位置のそれぞれに対して取り付けられた表示要素とを定め、表示要素は、ビデオ信号ソースからのビデオ信号のビデオ表示の虚像を観察者のその目に提供する。
【００１５】
図１は、ＨＭＤのほんの一例を示す。他の構成も可能であり、例えば、ＨＭＤは、従来の眼鏡に付随するフレームによく似たフレーム、つまり、表示部からユーザの耳の上部の後ろまで伸び、場合によっては耳の後ろに向かって曲がっている、実質的に水平な脚を使用し得る。他の例では、外部環境に対するユーザの視界が、実際には完全に遮られなくてもよい。表示された画像は、外部環境に（ユーザの視点から）重畳するように配置され得る。
【００１６】
図１の例では、ユーザの目ごとに個別の表示が提供される。これがどのように達成されるかの概略平面図が図２として提供され、ユーザの目の位置１００とユーザの鼻の相対位置１１０を示している。表示部５０は、概略的な形で、ユーザの目を環境光から遮断する外部シールド１２０と、一方の目が他方の目用の表示を見るのを防ぐ内部シールド１３０とを含む。ユーザの顔、外部シールド１２０および内部シールド１３０の組合せによって、２つの区画１４０が形成され、目ごとに１つの区画１４０が設けられる。各区画には、表示要素１５０と１つ以上の光学要素１６０が設けられる。
【００１７】
ユーザの目の一方または両方の画像をキャプチャできるように、ＨＭＤ内に１つ以上の撮像素子１７０が提供されてもよい。これは、表示された画像内のユーザの注視点または関心オブジェクトを特定するための目追跡または視線追跡に役立つ場合がある。特に、撮像素子１７０は、可視光または赤外光を使用して、ＨＭＤユーザの目（または両方の目）の画像を解像するカメラであってもよい。
【００１８】
図３は、ＨＭＤを使用して視聴者に表示され得る仮想シーン３００を概略的に示す。仮想シーン３００は、木３１０、ベンチ３２０および建物３３０を含む。ベンチ３２０は、仮想シーン３００の前景に位置し、木３１０は、中景に位置し、建物３３０は、背景に位置する。これは、視聴者に仮想シーンの画像が表示されると、ベンチ３２０がユーザに最も近く、建物３３０が最も遠くに表示されることを意味する。
【００１９】
そのような仮想シーン３００を見るとき、ユーザは、表示された画像内の特定の奥行きにある特定の画像要素に、いつでも焦点を合わせる。これは、例えば、特に関心のあるオブジェクトであり得る。この説明において、「焦点を合わせる」とは、ユーザが特定の地点に焦点を合わせていることを示す光学的な意味の言葉ではなく、ユーザが画像内の特定の要素に注意を向けたことを示すために使用される。実際、ユーザは、特定の奥行きにある要素に焦点を合わせるのではなく、表示上のオブジェクトを見るので、特定のオブジェクトにそのように焦点を合わせることができない場合がある。
【００２０】
この説明では、ユーザが焦点を合わせている画像の部分を注視点と呼ぶ。これは、仮想シーンにおける関心範囲に対応する。例えば、注視点は、表示された画像の左下であって、ベンチの場所にある関心範囲に対応し得る。関心範囲は、オブジェクト、または仮想シーン内のエリアまたはボリュームと定義されてもよい。
【００２１】
ユーザが注視点に焦点を合わせた結果、画像内の他のオブジェクトがユーザによってしっかりととらえられない場合がある。ユーザが焦点を合わせているエリアの外では、ユーザは、多くの場合オブジェクトのより細かい部分を見分けることができない。この観点から、これらの要素を高解像度で再現することは、（表示用画像の処理や送信などにおいて）リソースの非効率的な使用であると見なされる場合がある。従って、ユーザが焦点を合わせていない画像エリア（注視点以外の画像エリア）が注視点に対応する画像エリアよりも低い解像度を有する画像を提供することが有利であると考えられる。
【００２２】
本開示における仮想シーン３００を参照すると、ベンチ３２０は、特定の視聴者の関心範囲であると想定される。ベンチ３２０は、任意の適切な方法で関心範囲として特定されてもよく、従って、その特定方法は、当業者によって自由に選択されてもよい。いくつかの例では、ユーザがリアルタイムでどこを見ているかおよび表示された画像内においてそれが何であるかを決定するために、視線追跡が使用されてもよい（例えば、撮像素子１７０を使用）。これは、ユーザの検出された注視点に応じて特定される関心範囲の例であり、注視点は、目追跡により得られる。
【００２３】
図４は、図３に対応する一対の立体画像を概略的に示しており、この一対の画像は、左画像４００と右画像４１０を含む。ベンチ３２０は、各画像内の同じ位置に表示され、一方、木３１０および建物３３０は、各画像内の異なる位置に表示される。例えば、左画像４００および右画像４１０内の木３１０は、視差距離４２０の分だけ離れている。これら変動する視差によって、コンテンツを見るときにユーザが経験する奥行き感が生じる。
【００２４】
特定のオブジェクトに焦点を合わせると、ユーザの目は、そのオブジェクトの左右の画像間の視差に応じた位置を採る。これにより、正しく見るために必要な目の位置は、それぞれ異なるため、画像内の他のオブジェクトを正しく表示することができない場合がある。そのため、画像の左右のコンポーネントが正しく重なり合わない場合があり、その結果、ユーザは、画像を正しく見ることができなくなる。
【００２５】
仮想シーン内の関心範囲は、さまざまな方法で決定してもよい。いくつかの例では、ユーザがリアルタイムでどこを見ているかおよび表示された画像内においてそれが何であるかを決定するために、視線追跡が使用されてもよい（例えば、撮像素子１７０を使用）。これは、ユーザの検出された注視点に応じて特定される関心範囲の例であり、注視点は、目追跡により得られる。
【００２６】
代替的または追加的に、予想される関心範囲は、複数のユーザからの注視情報を（コンテンツの制作中、リリース後、またはその両方）集約して、特定の視聴者によるコンテンツの再生に先立って、最も興味深い要素（従って、最も一般的な関心範囲）を特定することで決定してもよい。例えば、複数のユーザからの視線検出情報を観察して、関心範囲と見なされる仮想シーンまたは画像フレーム（またはコンテンツの他の部分）内の１つ以上の範囲を特定し得る。この情報は、コンテンツ内のメタデータとして提供されてもよく、インターネットからのダウンロードなどを介してコンテンツとは別に取得可能であってもよい。
【００２７】
代替的または追加的に、関心範囲は、コンテンツのコンテキスト情報を使用して特定されてもよく、この特定の例では、ベンチ３２０は、特に興味深い特徴を持っている可能性があり、従って、木３１０または建物３３０よりも視聴者の注意を引くことが予想される。同様に、関心範囲または関心オブジェクトは、ユーザのコンテンツとの相互作用から導出されてもよい。例えば、ユーザがゲーム内で敵と戦っている場合、ユーザは、仮想シーン内の背景要素ではなく、その敵に焦点を合わせることになる。表示されるビデオコンテンツのコンテキストでは、コンテキスト情報は、サッカーの試合におけるサッカーボールまたは映画の特定のシーンで現在話している俳優など、ユーザの焦点が引き付けられる可能性のある重要なオブジェクト、キャラクタ、またはイベントを示し得る。
【００２８】
関心範囲は一般的に、特定のオブジェクトとして本明細書では説明されているが、いくつかの実施形態では、仮想シーン内のオブジェクトの集まりまたは特定の空間内のボリュームであってもよい。例えば、１組の人がベンチ３２０に座っていた場合、関心範囲を、３つの「オブジェクト」、つまり、ベンチ３２０と２人の人それぞれ、としてまとめて定義することができる。あるいは、関心範囲を、ベンチ３２０と人々を囲むボリュームとして定義し得る。ボリュームは、任意の好適なサイズにしてもよい。例えば、ボリュームは、画像の高品質部分のサイズを小さくするために、関心オブジェクトを含む最小可能サイズとして定義されてもよく、またはオブジェクトの適切な量の動きを可能にするもしくは周囲のコンテキストが高品質エリアに含まれることを可能にするサイズとして定義されてもよい。
【００２９】
図５および図６は、ユーザが焦点を合わせているオブジェクトの表示とは異なる、ユーザが焦点を合わせている以外のオブジェクトの表示の例を概略的に示す。この例では、ユーザが仮想シーンの前景にあるベンチ３２０に焦点を合わせていると見なされ、従って、ベンチ３２０に対応する画像の部分が注視点と見なされる。木３１０の異なる低品質表現がこれらの図のそれぞれに提供されているが、建物３３０は、この画像には表現されていない。
【００３０】
いくつかの実施形態では、ユーザの注視点からの奥行きが深すぎるため、建物３３０が表示された画像に存在しない場合がある（実際には、ベンチ３２０と建物３３０との間の奥行き分離は、特定の閾値を超えてもよい）。ただし、他の実施形態では、奥行き差が本例のように大きい場合でも、低品質表現が提供される。そのような状態でオブジェクトが表示されるか否かは、例えば、見られているコンテンツのコンテキストにおけるオブジェクトの重要性に応じて自由に決定されてもよい。
【００３１】
いくつかの実施形態では、オブジェクトが表示される品質は、オブジェクトおよび関心範囲からの奥行き分離のみに依存する。ただし、生成される画像内の１つ以上の他のオブジェクトが表示される品質は、１つ以上の他のオブジェクトと関心範囲であるオブジェクトとの関係に依存することも考えられる。
【００３２】
この一例は、ユーザが鍵に焦点を合わせているまたは鍵を保持／鍵を利用することの例であり、奥行き分離が通常示唆するよりも高い画質で対応する錠および／または扉を表示することが有利な場合がある。これは、（ユーザが鍵を見たら扉を探す可能性が高いため）画像内におけるユーザの焦点の変化を予想する点および視聴者がオブジェクトに直接焦点を合わせていなくても認識できる（そこまで扉に関連しておらず、いくつかの例では、オブジェクトの低解像度表現は、高解像度表現ほど簡単に特定できない場合がある）ことを保証する点で有利な場合がある。
【００３３】
画像の品質は、画像の解像度（例えば、より低い品質に対応するより低い解像度）および／またはテクスチャマッピングの解像度（例えば、より低品質の場合、テクスチャポリゴンサイズが大きくなる）および／またはより低品質の画像範囲に対応するより小さなカラーパレットなど、他の異なる画像パラメータによって表現されることが可能である。ただし、例示的な実施形態では、品質は、以下で説明するように、それぞれの画像テクスチャに依存する。低品質表現は、例えば、木３１０を表現するメッシュに適用される異なる品質のテクスチャを使用することにより提供されてもよい。代替的または追加的に、異なるメッシュを使用して、異なる品質でオブジェクトを表現してもよい。代替的または追加的に、表示用画像は、異なる品質で異なる事前生成画像のエリアを結合させることにより生成されてもよい。
【００３４】
図５では、低品質表現５００は、より低品質なメッシュで木３１０の形状に近似している。より低品質なメッシュの使用は、表示される画像が意図した形状の、ブロックノイズがより大きいおよび／または質がより低い表現になる可能性があることを意味する。ユーザは、低品質表現５００に特に焦点を合わせない限り、２つの形状の違いを見分けることができないことが有利な場合がある。この図では、明確にするために２つの表現の違いを誇張している。好適な類似メッシュを選択して、オブジェクトのより高品質な表現を置き換える場合、ユーザは、通常の視聴ではその置き換えに気づかないかもしれない。
【００３５】
図６では、低品質表現６００は、同じより高品質なメッシュを使用しているが、より低品質なテクスチャが適用された木３１０の表示に近似している。これは、木３１０の幹に対する低い詳細度および木３１０の境界内に現れるより低い解像度の葉／枝によって示される。次のより低品質な指標のいずれか１つ以上を有している場合、テクスチャは、より低品質であると見なされてもよい。テクスチャの解像度が代替テクスチャよりも低い。テクスチャが縮小されたカラーパレットを使用。テクスチャがより少ないシェーディングおよび／またはより単純なシェーダを使用。このリストは、網羅的なものではなく例示的なものであり、より低品質なテクスチャは、任意の数の他の指標によって代替的または追加的に特定されてもよい。視聴者は、これらの指標を１つ以上有するオブジェクトを見ると、多くはオブジェクトの表示をオブジェクトの低品位の表現と見なすことになる。
【００３６】
図７は、ポリゴン７０１および７０２で構成されるメッシュ７００に対応する複数のテクスチャ７１０、７２０、７３０を概略的に示す。ポリゴンは、単純な方法で複雑なオブジェクトの表現を構築するために使用される基本的な形状（三角形など）である。この表現は、メッシュと呼ばれる。より視覚的に正確なオブジェクトの表現とするために、テクスチャをメッシュに適用して、各ポリゴンに色付けなどをしてもよい。
【００３７】
一般に、メッシュは、より複雑な形状を表すことができるように、メッシュ７００よりも多数のポリゴンを含むことになる。例えば、メッシュを使用して、木３２０を表現してもよい。テクスチャ７１０、７２０、７３０は、明確にするために単純な形状で示されている。ただし、テクスチャは、より複雑で、より細かなイメージを含み得る。木３２０の例では、テクスチャは、一般的な木形状を表現するメッシュに適用される葉などの細かい部分を含んでもよい。
【００３８】
テクスチャ７１０は、３つのテクスチャの中で最も高い解像度であり、一方テクスチャ７３０は、最も低い解像度であり、テクスチャ７２０は、中間の解像度である。テクスチャの異なる解像度は、変化するテクスチャ品質を示すことを意図しているが、色の範囲や適用されるシェーディングのレベルまたはタイプなどの他の方法でも、品質が変化し得ることは言うまでもない。この図のテクスチャの解像度の違いは、テクスチャ７２０および７３０の直線を使用して、テクスチャ７１０の円に近似することによって示される。
【００３９】
テクスチャを木形状のメッシュに適用するコンテキストにおける例を提供するために、各テクスチャの使用によって生じる表示の違いの例が提供される。
【００４０】
この例の高品質テクスチャ（テクスチャ７１０など）は、多数の明確に定義された葉を含んでもよく、各葉には、色付けや表面のテクスチャ付けなどの明確な細かな部分がある。例えば、葉は、複数の色を有し、葉の色はそれぞれ異なってもよい。これは、色がさらに変化する秋の木を表現するのに役立つ。木にキャラクタを追加できる果物や鳥なども、それぞれのメッシュとテクスチャで表現されない場合は、テクスチャで表示されてもよい。
【００４１】
この例における中品質のテクスチャ（テクスチャ７２０など）は、高品質のテクスチャの形状にのみ近似する葉を含んでもよい。さらに、葉を表現するために使用される色の範囲を減らして、より小さなカラーパレットを使用してもよく、（ユニークな葉の数が減るように）より少ない数の異なる葉の色を使用してもよい。表面のテクスチャ付けを引き続き提供してもよいが、詳細度は低くなる。例えば、同じ表面テクスチャを、テクスチャ内の個々の葉ではなく、木全体に適用してもよい。
【００４２】
この例の低品質テクスチャ（テクスチャ７３０など）は、より高品質なテクスチャの形状に近似する形状を持つ、より少数のより大きな葉を含んでもよい。葉は、それぞれ同じ色を有してもよく、果物などの任意の追加の細かい部分は、省略してもよい。表面のテクスチャ付けは、完全に省略されるか、またはごく基本的なモデルのみが適用されてもよい。
【００４３】
図７には３つのテクスチャが示されているが、言うまでもなく、所望する品質レベルを提供するために、さまざまな品質のテクスチャをいくつでも選択し得る。オブジェクト用に選択されるテクスチャは、視聴者の焦点とテクスチャが適用されるオブジェクトとの間の奥行き分離、またはその他の任意の適切な尺度に依存してもよい。また、オブジェクトに適用するテクスチャを決定する際に、ユーザの好みを考慮して、品質の低下の勾配を緩急させるように品質の低下と奥行き方向の距離の関係を定義してもよい。
【００４４】
いくつかの実施形態では、関心範囲（または関心オブジェクト）からの奥行き差が大きくなると、オブジェクトが表示される品質が低下することが予想される。これは、関心範囲からの距離が２倍になるか、例えば、他の関係になると、オブジェクトの表示に使用される解像度が半分になるような線形的な減少であってもよい。画像内には、これに対する例外があり、例えば、より低い画質での表示に適さないであろう特に重要なオブジェクトの場合などである。ただし、これは必須ではなく、同じ品質レベルを関心範囲外のすべてのオブジェクトに適用し得るためである。
【００４５】
いくつかの実施形態では、特定のオブジェクトを表現するために使用されるメッシュも変えてもよい。例えば、関心オブジェクトではないオブジェクトには、より低品質なメッシュを選択でき、そのようなメッシュは、ブロックノイズがより大きく、表現するためそのメッシュが使われるオブジェクトの実際の形状との類似度は低くてもよい。利用可能なメッシュの各品質は、画像内のオブジェクトの可能表示品質の範囲を広げるために、さまざまな品質の１つ以上のテクスチャに関連付けられてもよい。例えば、３つのメッシュを提供し、それぞれを３つのテクスチャに関連付けて、各オブジェクトに９つの異なる品質レベルを提供し得る。あるいは、オブジェクトに関連付けられたメッシュのいずれかに同じテクスチャを（形状の違いを考慮するマッピングなどで）適用することが可能であってもよい。
【００４６】
もちろん、そのような実施形態では、各オブジェクトが同数の対応するテクスチャおよび／またはメッシュを有することは必須ではないことは理解されよう。例えば、（ユーザの好みまたはコンテンツ内のコンテキストなどに基づいて決定される）仮想シーン内の特に重要なオブジェクトは、表示品質をより緩やかに低下させるために、対応するテクスチャおよび／またはメッシュの数が多くなってもよい。これは、重要度の低いオブジェクトではそこまで重要ではなく、２つの関連付けられたテクスチャのみが、「関心オブジェクト」または「関心外オブジェクト」表示方法の二通りで使用されてもよい。
【００４７】
図８は、関連付けられたメッシュおよびテクスチャ情報を保存するためのファイル形式を概略的に示す。このようなファイルは、仮想シーン内の各オブジェクト、または画像内にオブジェクトが複数回出現する可能性がある場合、ユニークなオブジェクトごとに提供されてもよい。
【００４８】
このファイル形式は、メッシュおよびテクスチャで表現されるオブジェクトを特定するヘッダを含み、これは、例えば、オブジェクトＩＤ形式またはオブジェクトタイプの説明のいずれかであってよい。
【００４９】
メッシュ１、メッシュ２およびメッシュ３はそれぞれ、同じオブジェクトを表現するメッシュであり、各メッシュは、（上記のとおり）品質が異なる。上記のように、メッシュは、オブジェクトの形状および／またはオブジェクトの構造を単純な方法で表現するための複数のポリゴンからなるモデルである。メッシュには一般的に、オブジェクトの外観に関する情報が含まれていないため、そのようなメッシュは一般的に、メッシュにテクスチャを適用せずに画像を生成する場合に適していない。
【００５０】
テクスチャ１、テクスチャ２およびテクスチャ３は、それぞれ同じオブジェクトを表現するテクスチャであり、各テクスチャは、（上記のとおり）品質が異なる。これらのテクスチャは、オブジェクトの完全なモデルを生成するためにメッシュに適用され得る情報（色や表面テクスチャなど）を含む。これらのテクスチャはそれぞれ、（異なる形状となり得るメッシュを考慮して、正しいテクスチャとメッシュが一対になることを保証するため）特定のメッシュに関連付けられてもよく、または概してオブジェクトにのみ関連付けられてもよい。
【００５１】
メタデータフィールドは、オブジェクトの表示に関連する情報を保存するために使用してもよい。例えば、オブジェクトの重要性などを特定するために、コンテキスト情報がこのフィールドに提供されてもよい。代替的または追加的に、関心範囲から異なる奥行き差でどのテクスチャを選択するかを記述する情報が提供されてもよい。
【００５２】
上記の説明は、メッシュおよびテクスチャから表示用画像を生成することに関するものであるが、任意の適切な画像生成方法を使用してもよい。例えば、いくつかの実施形態では、いくつかの異なる解像度の画像を結合することで画像を生成してもよい。これは、事前に記録されたビデオまたは画像コンテンツを表示用に準備するときに、メッシュおよびテクスチャ情報がすぐに利用できない可能性があるため、特に有用である。そのような例では、高解像度画像を使用して関心範囲を表現してもよく、一方、低解像度画像部分と高解像度画像とを結合することで表示用画像を生成してもよい。例えば、図７に示すテクスチャのうちの一つをそれぞれが使用する事前生成画像が提供されてもよく、メッシュに適用するために所望のテクスチャを選択する代わりに、そのメッシュを用いて生成された画像の一部を抽出して、画像結合処理で使用する。
【００５３】
図９は、表示用画像を生成するための異なる品質の画像の組合せを概略的に示す。事前に生成された、高品質画像９００、中品質画像９１０および低品質画像９２０の３つの画像を示す。これらはそれぞれ、異なる解像度で番号１、２、３を示す。
【００５４】
コンポジット画像９３０は、画像９００、９１０および９２０のそれぞれからの要素を使用して生成される。この例では、関心範囲は「１」であり、「２」が奥行き方向において最も近く、「３」が奥行き方向において最も遠い。その結果、「１」は最高品質、「２」は中品質、「３」は最低品質で表示されることが予想される。
【００５５】
その予想画像を生成するために、画像９００から「１」、画像９１０から「２」、画像９２０から「３」を取得する。その後、これらの３つの要素は、単一の画像に結合される。
【００５６】
各画像から取得されるエリアのサイズは、自由に選択されてもよい。例えば、表示用画像を保存するために必要なデータ量を減らすために、小さな高品質のエリアのみを選択することが有利な場合がある。あるいは、関心範囲全体が高品質で表示されることを保証するために、より大きなエリアを選択することが有利であると考えられ得る。
【００５７】
もちろん、表示用画像で４つ以上のオブジェクトを特定してもよいため、１つ以上の事前生成画像から複数の画像要素を取得してもよい。
【００５８】
画像内にオブジェクトが存在する環境は、任意の適切な画質で表示してもよい。いくつかの例では、ユーザが画像内のオブジェクト以外に注意を向ける可能性は低いと考えられるため、環境は、最低品質の画像から取得される。あるいは、環境に使用される表示品質は、オブジェクトへの近接度に基づいて選択されてもよい。例えば、「１」を囲む環境部分に高品質の画像ソースを使用して、そのエリアでユーザに高品質画像が表示されるようにしてもよい。
【００５９】
いくつかの実施形態では、表示用画像は、画像の一部が事前描画されたコンテンツおよびメッシュおよびテクスチャデータを使用している部分から生成されるように、ハイブリッド方法を使用して生成されてもよいと考えられる。例えば、ゲーム設定では、環境とキーオブジェクト（すべてのプレーヤのプレイスルーに存在するものなど）が事前描画された画像で表現される一方で、ユーザが作成したキャラクタまたはすべてのプレーヤに対して同一でない他のオブジェクトがメッシュおよびテクスチャデータを使用して生成されることが有利な場合がある。
【００６０】
図１０は、部屋１０００内のオブジェクトＡ、Ｂ、ＣおよびＤを含む仮想シーンを概略的に示す。この図の同心円は、仮想シーンを視聴者（中央の暗い円で表現）を中心とする異なる奥行きのレイヤに分割するために提供される。いくつかの実施形態では、関心範囲は、これらのレイヤのうちの１つを覆う球形または円筒形のシェル（または実際、任意の形状のシェル）として定義されてもよい。これを図３と図９に結び付けるには、オブジェクトＡをベンチ３２０または「１」、オブジェクトＢを木３１０または「２」、オブジェクトＣを建物３３０または「３」にし得る。
【００６１】
いくつかの実施形態では、レイヤを使用して、仮想シーン内のオブジェクト間の分離の個別の尺度を提供してもよい。例えば、オブジェクトＡとオブジェクトＢ間の奥行き差は、単一のレイヤとして定義され、オブジェクトＡとオブジェクトＤ間の奥行き差は、３つのレイヤとして定義されてもよい。この情報は、より精密な測定を回避することができるため、オブジェクトを表示するために使用する画像の適切な品質を決定する際により役立つ場合がある。いくつかの実施形態では、オブジェクトには、それらがどのレイヤに属するかを定義するメタデータが提供されてもよく、あるいは、これは、仮想シーン内のオブジェクトの位置に関する情報が与えられると容易に導き出せるものであってもよい。そのようなレイヤベースの方法は、オブジェクトが描画され得る利用可能な品質が比較的少数である可能性が高いため、有利である可能性があり、そのため細かい尺度での計算は不要な場合がある。
【００６２】
オブジェクトＢが関心範囲である例を考えると、オブジェクトＡおよびＣは、オブジェクトＡとＢの間およびオブジェクトＢとＣの間の奥行き差（それぞれ１レイヤ）がほぼ同じなので、同じ画質で表示されてもよい。オブジェクトＤは、オブジェクトＡまたはＣよりも低い品質で表示される。これは、オブジェクトＢに対して奥行き方向に位置しているためである（１つではなく２つのレイヤ）。
【００６３】
いくつかの実施形態では、オブジェクトＡとＣは、オブジェクトＢの反対側にあるため、異なって表示されてもよい。奥行き差の大きさは同じかもしれないが、一方は正の分離で、他方は負の分離である。例えば、視聴者に近いので、オブジェクトＡの表示には、オブジェクトＣよりも高い解像度が望ましいことが期待される場合があり、従って、視聴者は、オブジェクトに焦点が合っていないときでも、オブジェクトＡのより細かい部分を見分けることができることを期待する可能性が高くなる。
【００６４】
図１１は、処理装置１１００および表示部１１５０を含む画像生成システムを概略的に示す。処理装置１１００は、関心範囲（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ：ＲｏＩ）特定部１１１０、画像生成部１１２０、画像出力部１１３０および記憶部１１４０を含む。図１１に示すさまざまな機能部の分布は、完全に例示であり、各機能は、いずれのユニットでも実行され得る。あるいは、画像表示部１１５０は、処理装置１１００と同じ装置として提供されてもよい。
【００６５】
関心範囲特定部１１１０は、コンテンツ内の関心範囲を特定するように動作可能である。コンテンツは、ゲーム、映画、またはその他のインタラクティブコンテンツまたはビデオコンテンツであってもよい。上記のように、この特定は、オブジェクトまたは関心エリアを特定するためのコンテンツの分析に基づいてもよく、または視線検出などのよりユーザベースの測定に基づいてもよい。画像生成部は、オブジェクトに対応する複数の利用可能な表示用テクスチャのうちの１つを選択するように動作可能であり、利用可能なテクスチャは、それぞれ異なる品質および／または解像度である。
【００６６】
画像生成部１１２０は、関心範囲に対して異なる視覚的な奥行きにあるオブジェクトが生成された画像により低い品質で存在するように、１つ以上のオブジェクトうちの１つまたは複数を含むコンテンツを表現する表示用画像を生成するように動作可能である。オブジェクトをより低い品質で表示する例としては、画像の解像度がより低い状態で、テクスチャの詳細度がより低い状態で、メッシュの解像度がより低い状態で、シェーダの品質が低減された状態で、および表示用画像内で複数回提示されるオブジェクトに固有の、少ない数のテクスチャを用いてオブジェクトを表示する例がある。ここでの「視覚的な奥行き」というフレーズは、オブジェクトが表示上にすべて存在するので、オブジェクトが存在するコンテンツの視聴者に対して、オブジェクトが異なる奥行きにあるように見えるのではなく、オブジェクトが異なる奥行きではないことを示すために使用される。
【００６７】
画像出力部１１３０は、生成された画像を画像表示部１１６０に出力するように動作可能である。画像表示部１１５０が独立した装置として形成される実施形態では、この出力は、任意の適切な有線または無線接続を使用して実行されてもよい。
【００６８】
記憶部１１４０は、画像生成部１１２０による画像の生成に使用される情報を記憶するように動作可能である。これは、例えば、さまざまなメッシュおよびテクスチャ情報および／または特定された関心範囲に応じて表示用画像が生成される複数の異なる解像度の画像コンテンツを含んでもよい。
【００６９】
画像表示部１１５０は、生成された画像を視聴者に表示するように動作可能である。いくつかの実施形態では、画像表示部１１５０は、処理装置１１００に関連付けられたＨＭＤである。あるいは、画像表示部１１５０は、生成された画像コンテンツを表示するように動作可能なテレビまたは他のディスプレイであってもよい。いずれの場合でも、画像表示部１１５０は、処理装置１１００を参照して上述した機能の一部またはすべてを提供し得ることが考えられる。
【００７０】
図１２は、関心範囲特定部１１１０のコンポーネントを概略的に示している。これらは、メタデータ分析部１２００、視線検出部１２２０、オブジェクト特定部１２２０および奥行きマップ読取部１２３０を含む。
【００７１】
メタデータ分析部１２００は、関心範囲を記述するコンテンツに関連付けられたメタデータを検査するように動作可能である。例えば、映画（ビデオコンテンツを含む、または別々に取得される）に関連付けられたメタデータによって、ユーザの注意を引く可能性が高い特定のシーンにおける任意の重要な俳優またはオブジェクトを特定されてもよい。従って、関心範囲特定部１１１０は、メタデータ分析部１２００を使用して、コンテンツのコンテキスト情報を使用して関心範囲を特定するように動作可能である。
【００７２】
視線検出部１２１０は、内向きカメラから取得した情報を使用して、例えば、ユーザの注視点を導出するように動作可能である。この注視点は、さまざまな方法でコンテンツにおける関心範囲を特定するために使用されてもよい。従って、関心範囲特定部１１１０は、視線検出部１２１０を使用することにより、目追跡を使用して得られるユーザの検出された注視点を使用して関心範囲を特定するように動作可能であることは明らかである。
【００７３】
オブジェクト特定部１２２０は、視線検出部１２１０からの注視点情報を使用して、特定のオブジェクトを関心範囲として特定してもよい。これは、例えば、画像分析を使用して、または注視点情報を仮想シーン内のオブジェクトの位置情報と比較することによって実行されてもよい。これは、コンテンツ内の関心範囲をオブジェクトとして特定するように動作可能な関心範囲特定部の例である。
【００７４】
奥行きマップ読取部１２３０は、視線検出部１２１０およびオブジェクト特定部１２２０のうちの１つまたは複数と併せて使用して、関心範囲を特定してもよい。例えば、注視点情報とともに奥行きマップを使用して、関心範囲であると見なされる特定の奥行きで仮想シーン内のボリュームまたはエリアを特定してもよい。代替的または追加的に、奥行きマップを使用して、オブジェクト特定部１２２０によるオブジェクト特定を支援してもよい。
【００７５】
図１３ａおよび１３ｂは、画像生成部１１２０の２つの例を概略的に示す。ここでは独立したユニットとして示されているが、それぞれが単一の画像生成部１１２０の一部として提供され得る。図１３ａは、メッシュ選択部１３００、テクスチャ選択部１３１０および描画部１３２０を示す。図１３ｂは、画像選択部１３５０、画像合成部１３６０および描画部１３７０を示す。
【００７６】
メッシュ選択部１３００は、利用可能な１つ以上のメッシュから各オブジェクトのメッシュを選択するように動作可能である。例えば、メッシュ選択部は、表示されるオブジェクトの所望の表現品質に応じて図８のデータ構造のメッシュ１、メッシュ２またはメッシュ３から選択してもよい。従って、画像生成部１１２０は、メッシュ選択部１３００を使用することにより、表示用オブジェクトの描画で使用する複数の利用可能なメッシュの１つを選択するように動作可能であり、利用可能なメッシュはそれぞれ異なる品質である。
【００７７】
テクスチャ選択部１３１０は、メッシュ選択部１３００によってオブジェクトごとに選択されたメッシュに対応するテクスチャを選択するように動作可能である。いくつかの実施形態では、オブジェクトに関連付けられた任意のテクスチャが選択されてもよい。ただし、いくつかの実施形態では、上記のように、テクスチャ選択部１３１０は、メッシュ選択部１３００によって選択されたメッシュに対応するオブジェクトのテクスチャのサブセットからのみ選択可能であってもよい。
【００７８】
従って、画像生成部１１２０は、テクスチャ選択部１３１０の使用により、表示用オブジェクトの描画で使用する複数の利用可能なテクスチャのうちの１つを選択するように動作可能であり、利用可能なテクスチャはそれぞれ異なる品質である。いくつかの実施形態では、オブジェクトに対応する利用可能なテクスチャは、それぞれ異なる解像度である。
【００７９】
描画部１３２０は、選択されたメッシュおよびテクスチャ情報を使用して表示用画像を描画するように動作可能である。
【００８０】
ここで図１３ｂを参照すると、画像選択部１３５０は、（所望の表現の品質に基づいて）各画像から取得されるべきオブジェクトを選択するように動作可能である。これらの画像は、候補画像と呼ぶことができ、それぞれは、表示される画像内の特定のオブジェクトを表現するために使用される候補である。図９の例を使用するために、画像選択部１３５０は、画像９００から「１」を、画像９１０から「２」を、および画像９２０から「３」を取得すべきであることを特定するように動作可能となる。
【００８１】
画像合成部１３６０は、選択された画像部分を表示用画像に結合するように動作可能である。図９に関して、これは、画像選択部１３５０の動作に合わせて、画像９００、９１０および９２０から取得した構成部分から画像９３０を生成することを含むことになる。従って、画像生成部１１２０は、異なる品質の１つ以上の候補画像からのエリアを結合することで画像を生成するように動作可能である。
【００８２】
描画部１３７０は、画像合成部１３６０によって生成されたコンポジット画像から表示用画像を生成するように動作可能である。
【００８３】
従って、画像生成部は、関心範囲に対する奥行き差が大きくなるにつれて品質が低下するように、図１３ａ、図１３ｂのいずれかの機構、または２つの組合せを使用して、生成された画像内の１つ以上のオブジェクトの品質を変えるように動作可能であることは明らかである。これは、本出願に記載されているように、関心範囲とオブジェクトとの間の奥行き差に応じて表現の品質を選択することにより実現され得る。
【００８４】
図１４に、画像生成方法の概要を示す。
【００８５】
ステップ１４００は、コンテンツ内の関心範囲を特定することを含み、コンテンツは、１つ以上のオブジェクトを含む。このステップについては、図１５ａ、図１５ｂおよび図１５ｃを参照して詳細に説明する。
【００８６】
ステップ１４１０は、コンテンツを表す表示用画像を生成することを含み、コンテンツ内の関心範囲に対して異なる奥行きにあるオブジェクトは、より低い品質で表示される。このステップについては、図１７ａおよび図１７ｂを参照して詳細に説明する。
【００８７】
ステップ１４２０は、視聴者に対して、生成された表示用画像を表示することを含む。表示用画像は、後での再生用に生成されてもよいため、画像の生成時にこのステップを実行することは必須ではない。
【００８８】
図１５ａ、１５ｂおよび１５ｃは、それぞれ関心範囲を特定する方法を概略的に示す（図１４のステップ１４００）。図１５ａは、関心範囲に関するコンテキスト（または他の）データがメタデータから抽出される方法に関し、図１５ｂおよび１５ｃは、ユーザの視線方向と注視点の検出に基づく方法に関する。
【００８９】
図１５ａは、任意の適切なソースからメタデータを読み出すステップ１５００を含む。例えば、このメタデータは、コンテンツを備えるか、またはインターネットから取得されてもよい。（上記の）このメタデータによって、関心範囲と見なされるべき、仮想シーンの特定のオブジェクトまたはエリアが特定されてもよい。ステップ１５１０は、このメタデータから関心範囲データを抽出することを含む。
【００９０】
図１５ｂは、ユーザの注視点を検出するステップ１５２０を含む。これは、例えば、ユーザの目の位置と向きを監視し、これを表示画面のエリアに結び付ける内向きカメラを使用して実現されてもよい。ステップ１５３０で、この注視点でオブジェクトが特定される。これは、例えば、検出された注視点にオブジェクトの表示位置を結び付けることにより実現されてもよい。ステップ１５４０で、特定されたオブジェクトは、仮想シーン内の関心範囲として定義される。
【００９１】
図１６は、仮想シーン３００の一部を概略的に示しており、オブジェクト３１０および３２０を取り囲む追加のエリアが定義されている。ステップ１５３０に関して、この画像は、オブジェクトを関心範囲として選択するための許容範囲を示す。これは、例えば、視線追跡の何らかの誤差を考慮する際に有利である。
【００９２】
例えば、ユーザの視線がリージョン３１１または３２１内のどこかにあると判断された場合、ユーザの視線が直接これらのオブジェクトに正確に向いていない場合でも、オブジェクト３１０または３２０へのリンクがそれぞれ作成される。エリア３１１および３２１のサイズは、オブジェクト３１０および３２１のサイズに比例してもよく、または任意の他の方法で自由に決定されてもよい（例えば、メタデータで定義されている、表示されているコンテンツのコンテキストにおけるオブジェクトの重要性に応じて定義される）。
【００９３】
図１５ｃは、例えば、上記の視線検出方法を使用して、ユーザの注視点を検出するステップ１５５０を含む。ステップ１５６０は、検出された注視点に対応する仮想シーン内のエリアまたはボリュームを特定することを含む。これは（上記のステップ１５３０と同様に）、ディスプレイ上の注視点の位置を、表示されている仮想シーン内の位置に結び付けて実行されてもよい。ステップ１５７０は、特定されたエリアまたはボリュームを関心範囲として定義することを含む。このエリアまたはボリュームは、図１５ｂを参照して説明するように、オブジェクトとは独立した定義される。
【００９４】
代わりに、エリアまたはボリュームは、任意の数の好適な方法の１つまたは複数で定義される。例えば、ユーザの注視点のサイズに依存する固定サイズのエリアまたはボリュームを使用してもよい。これは、ユーザの目と表示間の距離などの要因に依存してもよい。代替的または追加的に、利用可能な帯域幅および／または処理能力に応じてエリアまたはボリュームを定義してもよい。これは、低電力／低帯域幅システムがより小さなエリアまたはボリュームを利用し得ることを意味する。
【００９５】
別の例では、画像内のエリアの奥行きを考慮することにより、エリアまたはボリュームを特定してもよい。例えば、注視点および同じまたは類似の奥行きを持つ仮想シーンの任意の近くの部分を含むように、エリアまたはボリュームを定義してもよい。注視点からの閾値距離および閾値奥行き差は、好適な視聴体験を得るために、当業者によって自由に選択されてもよい。
【００９６】
図１７ａおよび図１７ｂは、図１４のステップ１４１０に対応するステップを概略的に示す。図１７ａは、メッシュおよびテクスチャが選択されて、表示用画像を生成するために使用される方法に関し、一方、図１７ｂは、２つ以上の既存の画像の一部が表示用画像を生成するために使用される方法に関する。
【００９７】
図１７ａは、表示されるオブジェクトに対応するメッシュを選択するステップ１７００と、選択されたメッシュに関連付けられたテクスチャを選択するステップ１７１０とを含む。これらの選択はそれぞれ、オブジェクトが関心範囲に存在しているか否かに応じて行われる。これに加えて、その選択は、オブジェクトが関心範囲からどれだけ（奥行き方向などに）離れているかに依存してもよい。選択可能なテクスチャは、オブジェクトに依存するが、各テクスチャが特定の品質レベルのメッシュにのみ関連付けられている場合、その選択は、さらに制限され得る。最後に、ステップ１７２０は、選択されたメッシュとテクスチャの組合せを使用して画像を描画することを含む。
【００９８】
図１７ｂは、表示されるシーンに対応する画像を特定するステップ１７３０を含み、各対応する画像（それぞれが特定の品質を有する）が特定されるようにする。ステップ１７４０は、関心範囲に対応する最高解像度画像、または少なくとも表示用画像を生成する際に使用される最高解像度画像のエリアを特定することを含む。いくつかの実施形態では、最高品質の画像を使用することは適切ではない場合がある。例えば、ユーザが低品質のディスプレイ装置を使用している場合（その結果、最高品質の画像を使用できない場合）、またはデータ帯域幅が制限されている場合などである。
【００９９】
ステップ１７５０は、シーンの他の部分に対応する他のより低い解像度の画像（または複数の画像）内の他の画像エリアを特定することを含む。これらのエリアが特定される画像は、関心範囲からの距離（奥行きまたはその他）に依存してもよい。最後に、ステップ１７６０は、特定された画像エリアのそれぞれを表示用画像に結合することを含む。これは、画像合成ソフトウェアなど、任意の形式の画像合成方法を使用して実現されてもよい。
【０１００】
本発明の実施形態は、ハードウェア、プログラム可能なハードウェア、ソフトウェア制御されるデータ処理機構、またはこれらの組合せで実装され得ることが理解されよう。また、そのような実施形態で使用されるコンピュータソフトウェアまたはファームウェアおよびそのようなソフトウェアまたはファームウェアを提供するための媒体（記憶媒体、例えば、磁気もしくは光学ディスクまたはフラッシュメモリなどの非一時的な機械可読記憶媒体など）を提供することも、本発明の実施形態に相当すると見なされることを理解されよう。
【０１０１】
また、上記の教示に照らして、本開示の多くの改変および変形が可能であることも明らかであろう。従って、添付の特許請求の範囲内で、本明細書に具体的に記載されている以外の方法で本開示を実施され得ることを理解されたい。
【図１】
2020530157.tif 000003
【図２】
2020530157.tif 000004
【図３】
2020530157.tif 000005
【図４】
2020530157.tif 000006
【図５】
2020530157.tif 000007
【図６】
2020530157.tif 000008
【図７】
2020530157.tif 000009
【図８】
2020530157.tif 000010
【図９】
2020530157.tif 000011
【図１０】
2020530157.tif 000012
【図１１】
2020530157.tif 000013
【図１２】
2020530157.tif 000014
【図１３ａ】
2020530157.tif 000015
【図１３ｂ】
2020530157.tif 000016
【図１４】
2020530157.tif 000017
【図１５ａ】
2020530157.tif 000018
【図１５ｂ】
2020530157.tif 000019
【図１５ｃ】
2020530157.tif 000020
【図１６】
2020530157.tif 000021
【図１７ａ】
2020530157.tif 000022
【図１７ｂ】
2020530157.tif 000023
【国際調査報告】
2020530157.tif 000024
2020530157.tif 000025
2020530157.tif 000026