(57)【要約】  ビデオコンテンツの拡張されたシーンにおいて関心領域に向かうナビゲーションを容易する方法、装置及びシステムであって、ビデオコンテンツ中の少なくとも１つの感心領域に関する情報を含むタイムラインを判定することと、現在表示されているビデオの一部に、少なくとも１つの感心領域を表示させるように、ビデオコンテンツに移動する向きを示す視覚的インジケータを表示することと、を含む方法、装置及びシステム。本原理の１実施形態において、タイムラインは、コンテンツに付属し、関心領域に関して時間と共に展開する情報を運ぶ。レンダラは、タイムラインを処理し、グラフィカル表現又はハプティック情報、又はいくつかの手段の組み合わせなどの利用可能な手段を使用して、ユーザにナビゲーション情報を提供する。
2018530219.tif 000002
【特許請求の範囲】
【請求項１】
大きな視野のコンテンツの一部をレンダリングするときにナビゲーション情報を判定する方法であって、
前記大きな視野のコンテンツに付属するタイムラインを表現するデータを取得することであって、前記タイムラインは、前記ビデオコンテンツ中の少なくとも１つの感心領域に関する活性化情報を含む、データを取得することと、
前記大きな視野のコンテンツの前記一部と前記少なくとも１つの関心領域とに従ってナビゲーション情報を判定することと、
を含む、方法。
【請求項２】
前記少なくとも１つの関心領域の少なくとも１つの関心領域は、さらに、前記タイムラインにおける少なくとも１つの関心レベルに関連付けられ、ナビゲーション情報は、前記少なくとも１つの関心レベルに従ってさらに判定される、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの関心領域は、さらに、前記関心領域をレンダリングするための最適ビューポイントに関連付けられ、ナビゲーション情報は、さらに前記最適ビューポイントに従って判定される、請求項１又は２に記載の方法。
【請求項４】
前記大きな視野のコンテンツは、３次元（３Ｄ）のシーンであり、前記少なくとも１つの関心領域の関心領域は、前記３Ｄシーンのオブジェクトに従って判定される、請求項１乃至３のいずれか１項記載の方法。
【請求項５】
前記大きな視野のコンテンツは、ビデオであり、前記少なくとも１つの関心領域の関心領域は、前記ビデオの２次元の部分の形状の記述に従って判定される、請求項１乃至３のいずれか１項記載の方法。
【請求項６】
前記ナビゲーション情報は、前記大きな視野のコンテンツの前記一部上にオーバーレイされる視覚的情報である、請求項１乃至５のいずれか１項記載の方法。
【請求項７】
前記ナビゲーション情報は、ハプティック効果である、請求項１乃至６のいずれか１項記載の方法。
【請求項８】
大きな視野のコンテンツの一部をレンダリングするときにナビゲーション情報を判定するように構成された装置であって、前記装置は、少なくとも１つのプロセッサを備え、前記プロセッサは、
前記大きな視野のコンテンツに付属するタイムラインを表現するデータを取得することであって、前記タイムラインは、ビデオコンテンツの少なくとも１つの関心領域に関する活性化情報を含む、データを取得することと、
前記大きな視野のコンテンツの一部及び前記少なくとも１つの関心領域に従ってナビゲーション情報を判定することと、
を行うように構成された、装置。
【請求項９】
前記少なくとも１つの関心領域の少なくとも１つの感心領域が、さらに、前記タイムラインにおける少なくとも１つの関心レベルと関連付けれられ、前記少なくとも１つのプロセッサは、さらに、前記少なくとも１つの感心レベルに従ってナビゲーション情報を判定するように構成される、請求項８に記載の装置。
【請求項１０】
前記少なくとも１つの関心領域は、さらに、前記関心領域をレンダリングするための最適ビューポイントと関連付けられ、前記少なくとも１つのプロセッサは、さらに、前記最適ビューポイントに従ってナビゲーション情報を判定するように構成される、請求項８又は９に記載の装置。
【請求項１１】
前記大きな視野のコンテンツは、３次元（３Ｄ）シーンであり、前記少なくとも１つの関心領域の関心領域は、前記３Ｄシーンのオブジェクトに従って判定される、請求項８乃至１０のいずれか１項記載の装置。
【請求項１２】
前記大きな視野のコンテンツがビデオであり、前記少なくとも１つの関心領域の関心領域は、前記ビデオの２次元の部分の形状の説明に従って判定される、請求項８乃至１０のいずれか１項記載の装置。
【請求項１３】
前記ナビゲーション情報は、前記大きな視野のコンテンツの前記一部上にオーバーレイされる視覚的情報である、請求項８乃至１２のいずれか１項記載の装置。
【請求項１４】
前記ナビゲーション情報がハプティック効果である、請求項８乃至１２のいずれか１項記載の装置。
【請求項１５】
大きな視野のコンテンツレンダラは、大きな視野のコンテンツの一部をレンダリングするとき、ナビゲーション情報をレンダリングするように構成され、前記大きな視野のコンテンツレンダラは、請求項１乃至６のいずれか１項記載の方法に従って、ナビゲーション情報を判定するように構成された少なくとも１つのプロセッサを備える。
【請求項１６】
請求項１５の前記大きな視野のコンテンツレンダラは、ハプティックエフェクタを備え、前記ナビゲーション情報は、ハプティック効果であり、前記少なくとも１つのプロセッサは、さらに、前記ハプティックエフェクタ上で前記ハプティック効果をレンダリングするように構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本原理は、ビデオコンテンツ（video  content）を介してナビゲートすることに一般に関連し、より具体的には、ビデオコンテンツ中の拡張されたシーン（extended  scene）においてナビゲーションを容易にすることに関連する。
【背景技術】
【０００２】
近年、利用可能な大きな視野のコンテンツ（large  field-of-view  content）（３６０度まで）が普及してきた。例えば、ヘッドマウントディスプレイ（Head  Mounted  Displays）、オキュラス・リフト（Oculus  Rift）、スマートグラス、ＰＣスクリーン、タブレット、スマートフォンなどの一般的なデバイス上でユーザがコンテンツを見ることによって、そのようなコンテンツは完全に可視ではない可能性がある。これは、ある時点で、ユーザがコンテンツの一部を見られるのみで、しばしば、コンテンツの一部は、ストーリー展開に重要ではない。頭の動き、マウスの動き、タッチスクリーン、ボイスなどの様々な手段によってコンテンツ内をユーザがナビゲートすることができても、コンテンツ内で異なる時期や異なる位置で発生するイベントを有するダイナミックなシーン（例えば、映画）をコンテンツが表現する場合、ユーザはシーンの関連する部分を見ているのか確信が持てないし、彼／彼女の現在の視野の外側でそれらが発生した場合に重要なイベント／興味深いシーンをユーザが見逃す可能性がある。
【発明の概要】
【０００３】
従来技術のこれらと他の欠点及び不利な点は、本原理によって対処され、ワイドスクリーンでのナビゲーションを容易にし、ユーザの注意を関心領域に向けるための方法、装置及びシステムを対象とする。
【０００４】
本原理の１実施形態において、タイムライン（timeline）がコンテンツに付属し、関心領域に関して時間と共に展開する情報を運び、それは、より具体的には、位置（location：ロケーション）又はオブジェクトＩＤ、関連する最適ビューポイント（optimal  viewpoint(s)）、関心レベル（level(s)  of  interest）に関する情報である。デバイス上での、レンダラ（３Ｄエンジン、ビデオプレイヤ．．．）は、タイムラインを処理し、利用可能な手段（グラフィカルな表現、ハプティック情報（haptic  information）、又はいくつかの手段の組み合わせ．．．）を使用してユーザにナビゲーション情報を提供する。
【０００５】
以下の添付図面と協力して、以下の詳細な説明を考慮することによって、本発明の教示は、容易に理解することができる：
【図面の簡単な説明】
【０００６】
【図１】利用可能なコンテンツ全体の一部のユーザのビューの図表現を描写する。
【図２】本原理の実施形態に従ってオブジェクトＩＤによって特定される２つのＲＯＩのタイミング図／タイムラインを描写する。
【図３】本原理の実施形態に従って図２のタイミング図において情報を提供するための典型的なシンタックスを描写する。
【図４】本原理の実施形態に従って縮小された図３のシンタックスのバージョンを描写する。
【図５】本原理の実施形態に従ってオブジェクト形状によって特定される２つのＲＯＩのタイミング図／タイムラインを描写する。
【図６】本原理の実施形態に従って、図５のタイミング図において情報を提供するための典型的なシンタックスを描写する。
【図７】ユーザが見る／ナビゲートするシーンの向きをユーザに示すためにスクリーンのエッジにおけるバーを含むコンテンツのシーンの一部を描写する。
【図８】本原理の実施形態に従ってレンダラの高レベルブロック図を描写する。
【図９】本原理の実施形態に従ってビデオコンテンツの拡張されたシーンにおける関心領域に向かってナビゲーションを容易にする方法のフロー図を描写する。
【０００７】
理解を容易にするために、同一の参照番号が使用され、可能であれば、図で共通の同一の要素を指定する。図は、正確な縮尺ではなく、１つ以上の構成要件は、明確性のために、拡大され又は縮小されることがある。
【発明を実施するための形態】
【０００８】
本原理の実施形態は、ワイドなシーンにおけるナビゲーションを容易にし、ユーザの注意を関心領域に向ける方法、装置及びシステムを有利に提供する。本原理は、特定の視覚的インジケータ（visual  indicators）と水平方向にユーザのビューを向かわせるという文脈内で主として説明されるが、本原理の特定の実施形態は、本発明の範囲を制限するものとして取り扱われるべきではない。それが水平方向、垂直方向及び／又は斜めの方向であったとしても、ビデオコンテンツの任意の部分にユーザの注意を向けさせるために使用することができる視覚的インジケータに、有利に本原理の概念を適応することができることが、当業者に本原理の教示される情報によって、理解される。
【０００９】
ユーザにとって興味があるかもしれないシーンの関心領域（ＲＯＩ:region  of  interest）をユーザが見ることが可能となる最適ビューポイント（ＯＶ１）に対する位置に向かって、広いレンダリングされたシーン中をユーザがナビゲートすることを容易にすることを、本原理の実施形態は対象にしている。すなわち、ある時点で、シーンのいくつかの部分はユーザにとって興味がある可能性がある。このように、本原理の実施形態に従って、いくつかのＲＯＩが同時に存在していることをユーザに知らせることが重要である。そのようなＲＯＩは、興味の様々な程度であり得、そのため本原理の実施形態は、ランクを、その関心レベル（ＬＯＩ：level  of  interest）を含む各ＲＯＩに関連付けることを含む。ＲＯＩのＬＯＩは、時間と共に展開する（evolve）こともできる。様々なＬＯＩの値は、ユーザが以前興味を示したＲＯＩのタイプに関連して、全てのユーザに同じ又はパーソナライズすることもできる。本原理の様々な実施形態において、ＬＯＩを使用して、ユーザは、ＲＯＩに向かってナビゲートすること決定し、又は反対に、その時点では興味がないことを推定することができる。
【００１０】
図１は、全体的に利用可能なコンテンツの一部のユーザのビューの図的表現を描写する。すなわち、図１において、黒い長方形の輪郭の箱は、ユーザの視野内の全体のコンテンツの一部を表現する。本原理の実施形態は、例えば、各時点で何がＲＯＩ（例えば、仮想オブジェクト識別子又は形状座標）で同様に関連するＯＶであるかを示すタイムラインを有することによって、仮想シーンにおけるＲＯＩとＯＶの概念の両方を、組み合わせる。すなわち、本原理の実施形態に従って、最適ビューポイント（ＯＶ）の概念は、ユーザの注意を向かわせる位置と方向（direction）（向き（orientation））を含む。様々な実施形態において、ＯＶは、ＲＯＩと同一の空間を占めることができる。別の実施形態において、ＯＶは、ユーザが２つの異なるＲＯＩを同時に見ることができるようにトレードオフ方向を含むことができる。加えて、本原理の様々な実施形態において、ＯＶは、時間と共に展開し、ＲＯＩに関連する変更に関連付けられる。そのような実施形態において、一つの座標から他に移動する手段（例えば、追いかける軌跡）を提供するために、全ての座標ではなく、座標のサブセットのみを提供することが考えられる。例えば、最初の位置、最後の位置、及び中間の位置が適応される軌跡の関数として提供される。そのような実施形態において、軌跡（trajectory）は、２点間の直線、ベジエ曲線（Bezier  curve）などを含むことができる。レンダラは、次に最後の位置を決定するために全ての中間位置を補間することがある。そのような解決策は、本原理に従って、提供されるデータ量をかなり減らす。そのような解決策は、方向にも適用される。
【００１１】
本原理の様々な実施形態に従って、２Ｄコンテンツであるビデオに対して、ＲＯＩは、例えば、長方形であり得、座標は、その長方形の左上と右下のコーナーを含むことができる。３Dシーンに対して、ＲＯＩは、境界ボックス又はより複雑が形状に同化することができる。そのような実施形態において、レンダラに提供される情報は、形状の座標を含むことができ、代替方法としては、１つのオブジェクト又はオブジェクト／形状のグループの識別子（identifier）を含むことができる。
【００１２】
本原理の実施形態において、オブジェクト／オブジェクトのグループのＩＤと２Ｄ又は３Ｄの形状の座標を提供することの間の主な相違点は、第１の場合は、いつ及びどのぐらいの長さで、ＲＯＩがアクティブになり、一度だけ提供されなければならないのかを示すＩＤ及びタイミング情報（開始時間と期間）であり、第２の場合は、座標とタイミング情報は、ＲＯＩが変化する度に（潜在的には、各フレームで）レンダラに提供しなければならないことである。第１のケースでは、ユーザのビューに関するオブジェクトの位置及び／又は関連するシーンにおける仮想位置（virtual  location）を、レンダラは絶えず知っている。第２のケースでは、データ量を削減するための上述の解決策は、ＲＯＩ軌跡をモデル化するために適応することもできる。
【００１３】
本原理の様々な実施形態において、コンテンツは、興味深いイベントがないいくつかの期間を持つことも有り、そのような場合は、ＲＯＩに関する情報はない。別の実施形態において、いくつかのＲＯＩは、同時に提示される。そのような実施形態において、ＲＯＩは、異なる感心レベル（ＬＯＩ）を持つことがある。本原理の実施形態に従って、関連するＬＯＩを持つそのような同時のＲＯＩのシグナリングは、仮想メッセージ、ハプティックメッセージ又はメッセージの組み合わせを使用して達成することができる。
【００１４】
これは、本原理の様々な実施形態において、ＬＯＩは、ＲＯＩに関連するデータを含み、ＲＯＩに関連する感心レベルに関する情報を典型的には示す。ＬＯＩは、別個の情報を含むことができ、例えば、１実施形態において、１がＲＯＩにおける低い興味レベルを示し、５が高い興味レベルを示す又はその逆も同様である、例えば、５の階級区分を持つ。本原理の様々な実施形態に従って、ＬＯＩは、時間と共に展開することができる点に留意すべきである。
【００１５】
本原理に従って、ＯＶ、ＲＯＩ及びＬＯＩに関する情報が事前に決められ、ＲＯＩがコンテンツにおいてアクティブになる前にレンダラに対して利用可能となる。すなわち、本原理に従って、レンダラは、提示されるＲＯＩに関してユーザに合図し始めることができる。関心領域にある興味のあるシーケンス又はオブジェクトの開始を見逃さないように、ユーザの視野にＲＯＩを持ち込むために必要な動きをユーザが十分な時間を持って予測できるようにすることがゴールである。本原理の１実施形態において、準備ステップの間、レンダラは、シーケンスの開始時に関連するＬＯＩを使用することができる。別の実施形態において、レンダラは、グローバルＬＯＩを使用することができる。グローバルＬＯＩは、ＬＯＩが時間と共に取る値の平均（mean）又は、コンテンツクリエータによって設定される値を含むことができる。グローバルＬＯＩは、シーケンスのグローバルな感心レベルの概略（overview）を提供し、それは、そのシーケンスの最初のＬＯＩ値に反することがあり、必ずしもシーケンス全体を表現する必要はない。
【００１６】
本原理の実施形態に従った、オブジェクトＩＤによって特定される２つのＲＯＩのタイミング図／タイムラインを図２は描写する。図２の例では、第１のＲＯＩは、自身に関連する３のグローバルＬＯＩを持つ。第１のＲＯＩは、その間ずっと同じで、ＯＶ１１に等しいＯＶと関連付けられる。図２の例において、第１のＲＯＩは、時間と共に展開し、タイムスタンプｔ１とｔ１１２において値ＬＯＩ１１とＬＯＩ１２を取るＬＯＩを有する。
【００１７】
さらに、図２の実施形態において、第２のＲＯＩは、４のグローバルＬＯＩを有する。図２の第２のＲＯＩのＯＶは、時間と共に展開し、値ＯＶ２１とＯＶ２２を取り、ＬＯＩは、時間と共に展開し、タイムスタンプｔ２とｔ２１２において値、ＬＯＩ２１とＬＯＩ２２を取る。上述の通り、ＲＯＩは、そのＩＤによって特定されるオブジェクトである。
【００１８】
本原理の実施形態に従って、図２のタイミング図における情報を提供する代表的なシンタックス（syntax）を図３は描写する。すなわち、図３のシンタックスは、後述するような使用のためのレンダラに図２の例の情報を提供するために使用することができる。
【００１９】
本原理の様々な実施形態に従って、図３のシンタックスは、効率化のために縮小することもできる。より具体的には、本原理の実施形態に従って縮小された図３のシンタックスのバージョンが図４に描写されている。すなわち、図４の縮小されたシンタックスにおいて、いくつかの無用な情報が削除された。例えば、図４の縮小されたシンタックスにおいて、次々に来る同じフィールド（例えば、ＬＯＩ）の値（例えば、ＬＯＩ１１とＬＯＩ１２）に対して、ｓｔｏｐＴｉｍｅは、セットされない。図４の縮小されたシンタックスにおいて、ｓｔｏｐＴｉｍｅは、次の値のｓｔａｒｔＴｉｍｅに等しいか（ＬＯＩ１１のｓｔｏｐＴｉｍｅ＝ＬＯＩ１２のｓｔａｒｔＴｉｍｅ）、又は親の要素のｓｔｏｐＴｉｍｅに等しい（ＬＯＩ１２のｓｔｏｐＴｉｍｅ＝ＲＯＩのｓｔｏｐＴｉｍｅ）。
【００２０】
本原理の実施形態に従って、オブジェクト形状によって特定される２つのＲＯＩのタイミング図／タイムラインを図５は描写する。図５の例において、第１のＲＯＩは、自身に関連する３のグローバルＬＯＩを有する。第１のＲＯＩは、また、ずっと同じＯＶに関連付けており、ＯＶ１１に等しい。図５の例において、第１のＲＯＩは、時間と共に展開し、タイムスタンプｔ１とｔ１１２において値ＬＯＩ１１とＬＯＩ１２を取る、関連するＬＯＩと関連付けられる。
【００２１】
さらに、図５の実施形態において、第２のＲＯＩは、４のグローバルＬＯＩを有する。図２の第２のＲＯＩのＯＶは、時間と共に展開し、値、ＯＶ２１とＯＶ２２を取り、ＬＯＩは、時間と共に展開し、タイムスタンプｔ２とｔ２１２において値ＬＯＩ２１とＬＯＩ２２を取る。上で説明した通り、両方のケースにおいて、ＲＯＩは、位置が提供された自身の形状によって特定される（すなわち、他のオブジェクトと比較して）。
【００２２】
図２と図５の例の間の相違点は、図５では、ＲＯＩが形状によって特定され、図２の例においてはその必要がない、ＲＯＩの座標を示すフィールドがある点である。図５の例において、第１のＲＯＩ（１）は、３つの異なる位置（ｃｏｏｒｄｓ１１、ｃｏｏｒｄｓ１２、及びｃｏｏｒｄｓ１３）を取り、第２のＲＯＩ（２）は、２つの異なる位置を取る（ｃｏｏｒｄｓ２１とｃｏｏｒｄｓ２２）。
【００２３】
本原理の実施形態に従って、図５のタイミング図において情報を提供する代表的なシンタックスを図６は描写する。すなわち、図６のシンタックスは、後述のような使用に対するレンダラに図５の例の情報を提供するために使用することができる。
【００２４】
本原理の様々な実施形態に従って、図６のシンタックスは、図４に関して上述した通り、効率化のために縮小することができる。本原理の様々な実施形態において、タイミング図（タイムライン）の情報がビデオプレイヤ、３Ｄエンジン、処理エンジン等のレンダリングデバイスに提供される。レンダラは、タイミング図において情報を分析し、以下を判定する：
・いつ、どのくらいの長さで、ＲＯＩがアクティブになるか
・その位置はどこか
・そのＯＶは何で、時間と共にいかに展開するか
・そのグローバルＬＯＩは何で、いかにＬＯＩは時間と共に展開するか。
レンダラは、この技術分野で既知の技法を使用してレンダリングされるシーンにおいてユーザの現在のポーズと向き知っている。そのような技法は、本明細書では説明しない。ユーザが関心を向けて見るＲＯＩにおけるＯＶと方向に到達するために、ユーザが従うべき経路の決定を、そのような情報は可能にする。
【００２５】
本原理の様々な実施形態において、ユーザは、特定の方向を見るように注意喚起され、又は、より具体的には、ナビゲーション情報が、以下のものの少なくとも１つ又は組み合わせなどの視覚的インジケータを使用してユーザを向けることができる：
・コンパス。
・追うべき向きに向かって動くスクリーンのエッジに位置するバー。
・ＲＯＩがオブジェクトＩＤによって特定されるシーンを有するケースにおいて、ＲＯＩを表現するアセット又はアセットのグループのミニチュアを使用することもできる。
・ＯＶが関連している興味があるオブジェクトのタイプにリンクした色のパターンにおいて、追いかける１つ以上の経路を示す足跡シンボル（ＲＯＩのための最適ビューポイント位置に到達するための）。
【００２６】
例えば、本原理の実施形態に従って、ユーザが見る／ナビゲートするべきシーンの方向をユーザに示すためにシーンのエッジにおけるバーを含むコンテンツのシーンの一部を、図７は描写する。より具体的には、図７において、スクリーンの左下のバーは、左下の方向を追うようにユーザに示す。図７の実施形態において、ユーザに左方向を向かせるためにコンテンツの左下に位置するようにバーが描写されているが、本原理の別の実施形態においては、本原理の視覚的インジケータを使用することにより、ビデオコンテンツの任意の部分及びビデオコンテンツの任意の方向に、ユーザの注意を向けることができる。
【００２７】
本原理の様々な実施形態において、ユーザは、欲するナビゲーションインジケータのタイプを選択するオプションを持つ。例えば、本原理の１実施形態において、ドロップダウンメニューは、いくつかの視覚的インジケータのオプションを事前設定し、ユーザは、使用する視覚的インジケータを選択することができる。
【００２８】
加えて、本原理の様々な実施形態に従って、距離の概念（notion  of  distance）が本原理の視覚的インジケータに関連付けることができる。より具体的には、１実施形態において、所望のＲＯＩに対する距離が、視覚的インジケータのサイズによって表すことができ、又は代替手段としては、視覚的インジケータの色を使用して表すことができる（すなわち、赤はＲＯＩから遠く、緑は反対に近い）。
【００２９】
本原理の１実施形態において、準備ステップにおいてレンダラは、ＲＯＩがアクティブになり始める前に２、３秒間、ナビゲーション情報を表示する。上述の通り、準備ステップのために、興味のあるシーケンスが表示される／処理される前に、ユーザのビューポイントがＲＯＩを含むように、ユーザは、ＲＯＩ／ＯＶに向かう彼の／彼女の動きを予測することができる。そのような実施形態において、そのような準備ステップは、さらに、ユーザに準備ステップが処理されていることを注意喚起する色コード、特定のシンボル、カウントダウン、又は別の種類のインジケータを含む。期間（duration）などの準備ステップのパラメータは、ハードコードされても良いし、又はユーザによって設定されても良い。
【００３０】
本原理の別の実施形態において、レンダラは、準備ステップの間、グローバルＬＯＩに関する情報をユーザに表示することができる。コンテンツの一部に対する特定のＬＯＩに関する情報は、ＬＯＩの値に関連する特定のシンボル又は色コードを使用してユーザに提示することができる。そのような規則（convention）は、ハードコードされるか、又はユーザによって選択可能なパラメータであり得る。
【００３１】
いくつかの同時のＯＶが存在する実施形態において、ＯＶのそれぞれに対するインディケーションが提示され得る。代替手段としては、最も興味があるものだけ（１つ又は複数）のインディケーションを表示することができる。１つ以上のＯＶのインディケーションが提示される実施形態において、ユーザは、所望のＲＯＩを見るために従うべきインジケータを判定する能力を持つ。同時ＲＯＩの数は、ハードコードされても、ユーザが設定できるパラメータでも良い。
【００３２】
本原理の様々な実施形態において、本原理の実施形態に関連するデータは、サブタイトルコンポーネントに似た、メタデータコンポーネント中に記憶することができる。
【００３３】
本原理の実施形態に従って本原理の構成要件を実装するためのレンダラ（renderer）の高レベルブロック図を、図８は描写する。図８のレンダラは、プロセッサ８１０と、制御プログラム、命令、ソフトウェア、ビデオコンテンツ、データなどを記憶するためのメモリ８２０も備える。パワーサプライ、クロック回路、キャッシュメモリなどやメモリ８２０に記憶されたソフトウェアルーチンを実行することを支援する回路などの従来のサポート回路８３０と、プロセッサ８１０は協力する。そのため、ソフトウェア処理として本明細書で検討された処理ステップのいくつかは、例えば、様々なステップを実行するためのプロセッサ８１０と協力する回路として、ハードウェア内に実装することができることが予期される。図８のレンダラは、また、レンダラと通信する様々な個別の機能要素間のインタフェースを形成する入力・出力回路８４０を含む。
【００３４】
本原理に従って様々な制御機能を実行するようにプログラムされた汎用のコンピュータとして、図８のレンダラは描写されているが、本発明は、例えば、特定用途向け集積回路（ＡＳＩＣ）として、ハードウェアに実装することができる。そのため、本明細書で説明された処理プロセスは、ソフトウェア、ハードウェア、又はそれらの組み合わせによって同等に実行されるように、広く解釈されることを意図する。
【００３５】
本原理の実施形態に従ってビデオコンテンツの拡張されたシーンにおける関心領域に向かってのナビゲーションを容易にするための方法のフロー図を、図９は描写する。ビデオコンテンツにおける少なくとも１つの関心領域に関する情報を含むタイムラインが判定される期間中、ステップ９０２において方法９００は、始まる。方法９００は、次に、ステップ９０４に進む。
【００３６】
ステップ９０４において、関心領域の表示を現在表示されているビデオコンテンツの一部に表示するように、ビデオコンテンツに移動する方向を示す視覚的インジケータは表示される。方法９００は、次に、オプションとして、上述の本原理の任意の他の構成要件を含むことができる。例えば、方法９００は、さらに、上述の通りＯＶとＬＯＩの判定を含むことができる。
【図１】
2018530219.tif 000003
【図２】
2018530219.tif 000004
【図３】
2018530219.tif 000005
【図４】
2018530219.tif 000006
【図５】
2018530219.tif 000007
【図６】
2018530219.tif 000008
【図７】
2018530219.tif 000009
【図８】
2018530219.tif 000010
【図９】
2018530219.tif 000011
【手続補正書】
【提出日】平成30年5月11日(2018.5.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
大きな視野のコンテンツの一部をレンダリングするときにナビゲーション情報をレンダリングする方法であって、
前記大きな視野のコンテンツに付属するタイムラインを表現するデータを取得することであって、前記タイムラインは、ビデオコンテンツ中の少なくとも１つの関心領域に関する活性化情報を含む、データを取得することと、
前記大きな視野のコンテンツの前記一部と前記少なくとも１つの関心領域とに従ってナビゲーション情報を判定することと、
前記大きな視野のコンテンツの前記一部をレンダリングする間に前記判定されたナビゲーション情報をレンダリングすることと、
を含む、方法。
【請求項２】
前記少なくとも１つの関心領域の少なくとも１つの関心領域は、さらに、前記タイムラインにおける少なくとも１つの関心レベルに関連付けられ、ナビゲーション情報は、前記少なくとも１つの関心レベルに従ってさらに判定される、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの関心領域は、さらに、前記関心領域をレンダリングするための最適ビューポイントに関連付けられ、ナビゲーション情報は、さらに前記最適ビューポイントに従って判定される、請求項１又は２に記載の方法。
【請求項４】
前記大きな視野のコンテンツは、３次元（３Ｄ）シーンであり、前記少なくとも１つの関心領域の関心領域は、前記３Ｄシーンのオブジェクトに従って判定される、請求項１乃至３のいずれか１項記載の方法。
【請求項５】
前記大きな視野のコンテンツは、ビデオであり、前記少なくとも１つの関心領域の関心領域は、前記ビデオの２次元の部分の形状の記述に従って判定される、請求項１乃至３のいずれか１項記載の方法。
【請求項６】
前記ナビゲーション情報は、前記大きな視野のコンテンツの前記一部上にオーバーレイされる視覚的情報である、請求項１乃至５のいずれか１項記載の方法。
【請求項７】
前記ナビゲーション情報は、ハプティック効果である、請求項１乃至６のいずれか１項記載の方法。
【請求項８】
大きな視野のコンテンツの一部をレンダリングするときにナビゲーション情報をレンダリングするように構成されたプロセッサと関連付けられたメモリを備える装置であって、前記プロセッサは、
前記大きな視野のコンテンツに付属するタイムラインを表現するデータを取得することであって、前記タイムラインは、ビデオコンテンツの少なくとも１つの関心領域に関する活性化情報を含む、データを取得することと、
前記大きな視野のコンテンツの一部及び前記少なくとも１つの関心領域に従ってナビゲーション情報を判定することと、
前記大きな視野のコンテンツの前記一部をレンダリングする間に前記判定されたナビゲーション情報をレンダリングすることと、
を行うように構成された、装置。
【請求項９】
前記少なくとも１つの関心領域の少なくとも１つの関心領域が、さらに、前記タイムラインにおける少なくとも１つの関心レベルと関連付けられ、前記少なくとも１つのプロセッサは、さらに、前記少なくとも１つの関心レベルに従ってナビゲーション情報を判定するように構成される、請求項８に記載の装置。
【請求項１０】
前記少なくとも１つの関心領域は、さらに、前記関心領域をレンダリングするための最適ビューポイントと関連付けられ、前記少なくとも１つのプロセッサは、さらに、前記最適ビューポイントに従ってナビゲーション情報を判定するように構成される、請求項８又は９に記載の装置。
【請求項１１】
前記大きな視野のコンテンツは、３次元（３Ｄ）シーンであり、前記少なくとも１つの関心領域の関心領域は、前記３Ｄシーンのオブジェクトに従って判定される、請求項８乃至１０のいずれか１項記載の装置。
【請求項１２】
前記大きな視野のコンテンツがビデオであり、前記少なくとも１つの関心領域の関心領域は、前記ビデオの２次元の部分の形状の説明に従って判定される、請求項８乃至１０のいずれか１項記載の装置。
【請求項１３】
前記ナビゲーション情報は、前記大きな視野のコンテンツの前記一部上にオーバーレイされる視覚的情報である、請求項８乃至１２のいずれか１項記載の装置。
【請求項１４】
前記ナビゲーション情報がハプティック効果である、請求項８乃至１２のいずれか１項記載の装置。
【請求項１５】
ハプティックエフェクタを備える前記装置であって、前記少なくとも１つのプロセッサは、前記ハプティックエフェクタ上で前記ハプティック効果をレンダリングするように構成される、請求項１４に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
ステップ９０４において、関心領域の表示を現在表示されているビデオコンテンツの一部に表示するように、ビデオコンテンツに移動する方向を示す視覚的インジケータは表示される。方法９００は、次に、オプションとして、上述の本原理の任意の他の構成要件を含むことができる。例えば、方法９００は、さらに、上述の通りＯＶとＬＯＩの判定を含むことができる。
ここで例としていくつかの付記を記載する。
（付記１）
大きな視野のコンテンツの一部をレンダリングするときにナビゲーション情報を判定する方法であって、
前記大きな視野のコンテンツに付属するタイムラインを表現するデータを取得することであって、前記タイムラインは、前記ビデオコンテンツ中の少なくとも１つの関心領域に関する活性化情報を含む、データを取得することと、
前記大きな視野のコンテンツの前記一部と前記少なくとも１つの関心領域とに従ってナビゲーション情報を判定することと、
を含む、方法。
（付記２）
前記少なくとも１つの関心領域の少なくとも１つの関心領域は、さらに、前記タイムラインにおける少なくとも１つの関心レベルに関連付けられ、ナビゲーション情報は、前記少なくとも１つの関心レベルに従ってさらに判定される、付記１に記載の方法。
（付記３）
前記少なくとも１つの関心領域は、さらに、前記関心領域をレンダリングするための最適ビューポイントに関連付けられ、ナビゲーション情報は、さらに前記最適ビューポイントに従って判定される、付記１又は２に記載の方法。
（付記４）
前記大きな視野のコンテンツは、３次元（３Ｄ）のシーンであり、前記少なくとも１つの関心領域の関心領域は、前記３Ｄシーンのオブジェクトに従って判定される、付記１乃至３のいずれか１項記載の方法。
（付記５）
前記大きな視野のコンテンツは、ビデオであり、前記少なくとも１つの関心領域の関心領域は、前記ビデオの２次元の部分の形状の記述に従って判定される、付記１乃至３のいずれか１項記載の方法。
（付記６）
前記ナビゲーション情報は、前記大きな視野のコンテンツの前記一部上にオーバーレイされる視覚的情報である、付記１乃至５のいずれか１項記載の方法。
（付記７）
前記ナビゲーション情報は、ハプティック効果である、付記１乃至６のいずれか１項記載の方法。
（付記８）
大きな視野のコンテンツの一部をレンダリングするときにナビゲーション情報を判定するように構成された装置であって、前記装置は、少なくとも１つのプロセッサを備え、前記プロセッサは、
前記大きな視野のコンテンツに付属するタイムラインを表現するデータを取得することであって、前記タイムラインは、ビデオコンテンツの少なくとも１つの関心領域に関する活性化情報を含む、データを取得することと、
前記大きな視野のコンテンツの一部及び前記少なくとも１つの関心領域に従ってナビゲーション情報を判定することと、
を行うように構成された、装置。
（付記９）
前記少なくとも１つの関心領域の少なくとも１つの関心領域が、さらに、前記タイムラインにおける少なくとも１つの関心レベルと関連付けられ、前記少なくとも１つのプロセッサは、さらに、前記少なくとも１つの関心レベルに従ってナビゲーション情報を判定するように構成される、付記８に記載の装置。
（付記１０）
前記少なくとも１つの関心領域は、さらに、前記関心領域をレンダリングするための最適ビューポイントと関連付けられ、前記少なくとも１つのプロセッサは、さらに、前記最適ビューポイントに従ってナビゲーション情報を判定するように構成される、付記８又は９に記載の装置。
（付記１１）
前記大きな視野のコンテンツは、３次元（３Ｄ）シーンであり、前記少なくとも１つの関心領域の関心領域は、前記３Ｄシーンのオブジェクトに従って判定される、付記８乃至１０のいずれか１項記載の装置。
（付記１２）
前記大きな視野のコンテンツがビデオであり、前記少なくとも１つの関心領域の関心領域は、前記ビデオの２次元の部分の形状の説明に従って判定される、付記８乃至１０のいずれか１項記載の装置。
（付記１３）
前記ナビゲーション情報は、前記大きな視野のコンテンツの前記一部上にオーバーレイされる視覚的情報である、付記８乃至１２のいずれか１項記載の装置。
（付記１４）
前記ナビゲーション情報がハプティック効果である、付記８乃至１２のいずれか１項記載の装置。
（付記１５）
大きな視野のコンテンツレンダラは、大きな視野のコンテンツの一部をレンダリングするとき、ナビゲーション情報をレンダリングするように構成され、前記大きな視野のコンテンツレンダラは、付記１乃至６のいずれか１項記載の方法に従って、ナビゲーション情報を判定するように構成された少なくとも１つのプロセッサを備える。
（付記１６）
付記１５の前記大きな視野のコンテンツレンダラは、ハプティックエフェクタを備え、前記ナビゲーション情報は、ハプティック効果であり、前記少なくとも１つのプロセッサは、さらに、前記ハプティックエフェクタ上で前記ハプティック効果をレンダリングするように構成される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本原理の様々な実施形態において、コンテンツは、興味深いイベントがないいくつかの期間を持つことも有り、そのような場合は、ＲＯＩに関する情報はない。別の実施形態において、いくつかのＲＯＩは、同時に提示される。そのような実施形態において、ＲＯＩは、異なる関心レベル（ＬＯＩ）を持つことがある。本原理の実施形態に従って、関連するＬＯＩを持つそのような同時のＲＯＩのシグナリングは、仮想メッセージ、ハプティックメッセージ又はメッセージの組み合わせを使用して達成することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
これは、本原理の様々な実施形態において、ＬＯＩは、ＲＯＩに関連するデータを含み、ＲＯＩに関連する関心レベルに関する情報を典型的には示す。ＬＯＩは、別個の情報を含むことができ、例えば、１実施形態において、１がＲＯＩにおける低い興味レベルを示し、５が高い興味レベルを示す又はその逆も同様である、例えば、５の階級区分を持つ。本原理の様々な実施形態に従って、ＬＯＩは、時間と共に展開することができる点に留意すべきである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本原理に従って、ＯＶ、ＲＯＩ及びＬＯＩに関する情報が事前に決められ、ＲＯＩがコンテンツにおいてアクティブになる前にレンダラに対して利用可能となる。すなわち、本原理に従って、レンダラは、提示されるＲＯＩに関してユーザに合図し始めることができる。関心領域にある興味のあるシーケンス又はオブジェクトの開始を見逃さないように、ユーザの視野にＲＯＩを持ち込むために必要な動きをユーザが十分な時間を持って予測できるようにすることがゴールである。本原理の１実施形態において、準備ステップの間、レンダラは、シーケンスの開始時に関連するＬＯＩを使用することができる。別の実施形態において、レンダラは、グローバルＬＯＩを使用することができる。グローバルＬＯＩは、ＬＯＩが時間と共に取る値の平均（mean）又は、コンテンツクリエータによって設定される値を含むことができる。グローバルＬＯＩは、シーケンスのグローバルな関心レベルの概略（overview）を提供し、それは、そのシーケンスの最初のＬＯＩ値に反することがあり、必ずしもシーケンス全体を表現する必要はない。
【国際調査報告】
2018530219.tif 000012
2018530219.tif 000013
2018530219.tif 000014