(57)【要約】  本発明は、三次元空間のナビゲーション点間をナビゲートするための方法、システムおよび関連するデバイスに関し、前記三次元空間は、複数のナビゲーション点を含む。本発明による方法は、現在の視点回転角を検出するステップと、さらに前記複数のナビゲーション点のうちのナビゲーション点との前記現在の視点回転角の一致度を決定するステップと、その後視点アクティブ化のタイミング機構をアクティブにするステップであって、前記タイミング機構は、前記複数のナビゲーション点のうちのナビゲーション点との前記現在の視点回転角の特定の一致度を決定するときの視点アクティブ化の前記タイミング機構をアクティブにするための遅延時間および前記タイミング機構のアクティブ化期間の持続時間を含む、アクティブにするステップとを含む。本方法はさらに、視点回転モデルとの視点回転角トレースの部分の一致度を決定するステップと、前記複数のナビゲーション点のうちのナビゲーション点との前記現在の視点回転角の前記一致度および前記視点回転モデルとの前記視点回転角トレースの前記部分の前記一致度の少なくとも１つに基づいて、前記視点アクティブ化の前記タイミング機構をアクティブにするための前記遅延時間および前記タイミング機構の前記アクティブ化期間の前記持続時間の前記少なくとも１つを適合させるステップとを含む。
2019508773.tif 000002
【特許請求の範囲】
【請求項１】
三次元空間のナビゲーション点間をナビゲートするための方法において、前記三次元空間は、複数のナビゲーション点（Ａ０・・・Ａｘ）を含み、前記方法は、
−  現在の視点回転角を検出するステップと、
−  前記複数のナビゲーション点（Ａ０・・・Ａｘ）のうちのナビゲーション点との前記現在の視点回転角の一致度を決定するステップと、
−  視点アクティブ化のタイミング機構をアクティブにするステップであって、前記タイミング機構は、前記複数のナビゲーション点（Ａ０・・・Ａｘ）のうちのナビゲーション点との前記現在の視点回転角の特定の一致度を決定するときの視点アクティブ化の前記タイミング機構をアクティブにするための遅延時間および前記タイミング機構のアクティブ化期間の持続時間を含む、アクティブにするステップとを含み、前記方法はさらに、
−  視点回転モデルとの視点回転角トレースの部分の一致度を決定するステップと、
−  前記複数のナビゲーション点（Ａ０・・・Ａｘ）のうちのナビゲーション点との前記現在の視点回転角の前記一致度および前記視点回転モデルとの前記視点回転角トレースの前記部分の前記一致度の少なくとも１つに基づいて、前記視点アクティブ化の前記タイミング機構をアクティブにするための前記遅延時間および前記タイミング機構の前記アクティブ化期間の前記持続時間の前記少なくとも１つを適合させるステップとを含む、ナビゲートするための方法。
【請求項２】
前記視点アクティブ化の前記タイミング機構をアクティブにするための前記遅延時間および前記タイミング機構の前記アクティブ化期間の前記持続時間の少なくとも１つを適合させる前記ステップが追加として、前記複数のナビゲーション点の各ナビゲーション点と関連する顕著性情報に基づきかつ／または顕著性マップに基づく、請求項１に記載の方法。
【請求項３】
アクティブ化点との現在の視点回転角の前記一致度が、前記複数のナビゲーション点（Ａ０・・・Ａｘ）のアクティブ化点の視覚的幾何形状、アクティブ化点と視覚光線との間の距離およびアクティブ化点と目の位置との間の距離の少なくとも１つに依存する、請求項１に記載の方法。
【請求項４】
視点回転モデルとの視点回転角トレースの部分の前記一致が、前記視点回転角トレースの前記部分の周波数特性に基づいて決定される、請求項１から３のいずれか一項に記載の方法。
【請求項５】
視点回転モデルとの視点回転角トレースの部分の前記一致度が、前記視点回転角トレースの前記部分の少なくとも１つのベクトルを生成し、その後前記少なくとも１つのベクトルを分類することによって決定される、請求項４に記載の方法。
【請求項６】
前記方法がさらに、
−  前記視点回転角トレースの前記部分の前記周波数特性を用いて前記視点回転モデルを更新するステップを含む、請求項４または５に記載の方法。
【請求項７】
三次元ビデオコンテンツのナビゲーション点間をナビゲートすることを制御するように構成される装置（ＮＡ）において、前記三次元ビデオコンテンツは、複数のナビゲーション点（Ａ０・・・Ａｘ）を含み、前記三次元（空間）ビデオコンテンツは、サーバ（Ｓ）からクライアントデバイス（ＣＤ）に向かって伝送され、前記装置は、
−  前記複数のナビゲーション点（Ａ０・・・Ａｘ）のうちのナビゲーション点との現在の視点回転角の一致度を決定するように構成されるナビゲーション点一致決定手段（ＮＰＡ）と、
−  視点アクティブ化のタイミング機構をアクティブにするように構成される処理手段（ＰＭ）であって、前記タイミング機構は、前記複数のナビゲーション点（Ａ０・・・Ａｘ）のうちのナビゲーション点との前記現在の視点回転角の特定の一致度を決定するときの視点アクティブ化の前記タイミング機構をアクティブにするための遅延時間および前記タイミング機構のアクティブ化期間の持続時間を含む、処理手段（ＰＭ）とを備え、前記装置（ＮＡ）はさらに、
−  視点回転モデルとの視点回転角トレースの部分の一致度を決定するように構成される回転角モデル一致決定手段（ＲＡＭＡ）を備え、前記処理手段（ＰＭ）はさらに、前記複数のナビゲーション点（Ａ０・・・Ａｘ）のうちのナビゲーション点との前記現在の視点回転角の前記一致度および前記視点回転モデルとの前記視点回転角トレースの前記部分の前記一致度の少なくとも１つに基づいて、前記視点アクティブ化の前記タイミング機構をアクティブにするための前記遅延時間および前記タイミング機構の前記アクティブ化期間の前記持続時間の少なくとも１つを適合させるように構成される、装置（ＮＡ）。
【請求項８】
前記処理手段（ＰＭ）がさらに、追加として顕著性マップに基づく前記複数のナビゲーション点の各ナビゲーション点と関連する顕著性情報に基づいて、前記視点アクティブ化の前記タイミング機構をアクティブにするための前記遅延時間および前記タイミング機構の前記アクティブ化期間の前記持続時間の前記少なくとも１つを適合させるように構成される、請求項７に記載の装置（ＮＡ）。
【請求項９】
前記ナビゲーション点一致決定手段（ＮＰＡ）がさらに、前記複数のナビゲーション点（Ａ０・・・Ａｘ）のアクティブ化点の視覚的幾何形状、アクティブ化点と視覚光線との間の距離およびアクティブ化点と目の位置との間の距離の少なくとも１つを考慮することに基づいて、アクティブ化点との現在の視点回転角の前記一致度を決定するように構成される、請求項７に記載の装置（ＮＡ）。
【請求項１０】
前記回転角モデル一致決定手段（ＲＡＭＡ）が、前記視点回転角トレースの前記部分の周波数特性に基づいて、視点回転モデルとの視点回転角トレースの部分の前記一致を決定するように構成される、請求項７から９のいずれか一項に記載の装置（ＮＡ）。
【請求項１１】
前記回転角モデル一致決定手段（ＲＡＭＡ）が、前記視点回転角トレースの少なくとも１つのベクトルを生成し、その後前記少なくとも１つのベクトルを分類することによって視点回転モデルとの視点回転角トレースの部分の前記一致度を決定するように構成される、請求項１０に記載の装置（ＮＡ）。
【請求項１２】
前記処理手段（ＰＭ）がさらに、前記視点回転角トレースの前記部分の前記周波数特性を用いて前記視点回転モデルを更新するように構成される、請求項１０または１１に記載の装置。
【請求項１３】
三次元ビデオコンテンツのナビゲーション点間をナビゲートするためのシステムであって、前記三次元ビデオコンテンツは、複数のナビゲーション点（Ａ０・・・Ａｘ）を含み、前記三次元（空間）ビデオコンテンツ（についての情報）は、前記システムのサーバ（Ｓ）から前記システムに含まれるクライアントデバイス（ＣＤ）に向かって伝送され、前記システムは、
−  現在の視点回転角を検出するように構成される回転角検出手段（ＶＲＡＤ）を備え、前記システムはさらに、
−  請求項７から１２のいずれか一項に記載の装置を備える、システム。
【請求項１４】
請求項７から１２のいずれか一項に記載の装置（ＮＡ）を備える、三次元ビデオコンテンツのナビゲーション点間をナビゲートするためのシステムにおいて使用するためのサーバ。
【請求項１５】
請求項７から１２のいずれか一項に記載の装置（ＮＡ）を備える、三次元ビデオコンテンツのナビゲーション点間をナビゲートするためのシステムにおいて使用するためのクライアントデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元空間においてナビゲーション点間をナビゲートする分野に関する。
【背景技術】
【０００２】
伝統的に三次元空間をデジタル的にナビゲートすることは、身を乗り出す体験であり、人は、環境と積極的に相互作用し、どの道を行くべきかを制御する必要がある。これは、実行可能であり、ゲームなどのあるシナリオでは論理的でさえもあるが、それは、自由に歩き回ることができる三次元コンサートまたは三次元映画を見るなどの後ろにもたれるシナリオについて問題を引き起こす。またユーザが選択可能な視野を有するマルチビュービデオなどの疑似三次元使用事例も、この問題に苦しむ。人は、追加の明示的制御入力（ゲームパッド、キーボード、マウス、その他）を用いてコンテンツとかかわり合う必要がある。これは、必ずしも望ましいとは限らない。
【０００３】
オキュラスリフト（Ｏｃｕｌｕｓ  Ｒｉｆｔ）などの手頃な価格のバーチャルリアリティデバイスの出現は、この問題を強調する。バーチャルリアリティ眼鏡を装着することは、十分でなく、人はまた、三次元世界においてナビゲートするための何らかの制御方法も必要とする。これは、多くの後ろにもたれるシナリオにとって受け入れることができない。
【０００４】
あなたたちが目を向けている場所に向かって移動することによって三次元空間における連続的ナビゲーションを可能にする解決策は、存在する。ユーザが目を向けている場所は、凝視追跡デバイスによって決定されるかまたはバーチャルリアリティゴーグルの場合には自動的に利用できる。この解決策の適用可能性は、しかしながらシーン全体にわたる連続的動きに起因して非常に制限される。
【０００５】
特に後ろにもたれるシナリオにとって、より実行可能である何らかのことは、多数のいわゆるナビゲーション点への空間的動きの制限である。三次元シーンを通じての自由なナビゲーションを許す代わりに、ユーザは、これらのナビゲーション点の１つにナビゲートすることに制限される。
【０００６】
ナビゲーション点の選択は、十分に長い時間その点を見るときに生じる。ユーザが、ナビゲーション点を見続けるとき、彼または彼女が、間もなくその点に飛び移ることになるという視覚インジケータが、出現する。ユーザはなお、ナビゲーションを取り消すためにその点から目をそらすことができる。
【０００７】
ナビゲーション点の選択のこのプロセスでは、ユーザがナビゲートしているナビゲーション点をアクティブにするためのタイミング機構があり、そのプロセスは、ナビゲーション点のアクティブ化において３つの段階を含む。初期化遅延は、第１の段階であり、視野角が、ナビゲーション点の適切な範囲内であるときに生じるが、しかし視覚カウントダウンインジケータは、まだ示されない。第２の段階は、アクティブ化点を初期化し、この視覚カウントダウンインジケータをアクティブにする。これはまた、もし彼または彼女が、その方向に目を向け続けるならば、視点が、そのナビゲーション点に飛び移ることになるという、ユーザのための合図でもある。ユーザが、行動をとるか否かは、システムへの暗黙のフィードバックとして見られることもある。第３の段階は、その特定の場所に移動することによってアクティブ化点をアクティブにする。人はここで、これが、アクティブ化が実際に望まれたというシステムへのフィードバックであることに注意することができ、さもなければそれは、ユーザが、ナビゲーション点のアクティブ化を取り消すために目をそらしたということになるという仮定である。
【０００８】
そのような解決策の問題はなお、タイミング機構の望まれないアクティブ化が、頻繁に起こるということであり、例えばコンテンツを見ているとき、ユーザが、その方向にナビゲートする実際の意思なしにナビゲーション点の方向を単に見たいと思い、事実上見るということは、まったくありそうなことである。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｔｅｎｔ＿ｄｅｌｉｖｅｒｙ＿ｎｅｔｗｏｒｋ
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、三次元空間のナビゲーション点間をナビゲートするための方法、関連するシステムおよび関連するデバイスを提供することであるが、しかし知られている解決策の前述の短所または欠点は、軽減されまたは克服されている。
【課題を解決するための手段】
【００１１】
それに応じて、本発明の実施形態は、三次元空間のナビゲーション点間をナビゲートするための方法に関し、前記三次元空間は、複数のナビゲーション点を含み、前記方法は、現在の視点回転角を検出するステップと、前記複数のナビゲーション点のうちのナビゲーション点との前記現在の視点回転角の一致度を決定するステップと、視点アクティブ化のタイミング機構をアクティブにするステップであって、前記タイミング機構は、前記複数のナビゲーション点のうちのナビゲーション点との前記現在の視点回転角の特定の一致度を決定するときの視点アクティブ化の前記タイミング機構をアクティブにするための遅延時間および前記タイミング機構のアクティブ化期間の持続時間を含む、アクティブにするステップとを含み、前記方法はさらに、視点回転モデルとの視点回転角トレースの部分の一致度を決定するステップと、前記複数のナビゲーション点のうちのナビゲーション点との前記現在の視点回転角の前記一致度および前記視点回転モデルとの前記視点回転角トレースの前記部分の前記一致度の少なくとも１つに基づいて、前記視点アクティブ化の前記タイミング機構をアクティブにするための前記遅延時間および前記タイミング機構の前記アクティブ化期間の前記持続時間の少なくとも１つを適合させるステップとを含む。
【００１２】
それに応じて、本発明の実施形態は、三次元空間のナビゲーション点間をナビゲートするためのシステムに関し、前記三次元空間は、複数のナビゲーション点を含み、前記システムは、
−  現在の視点回転角を検出し；
−  前記複数のナビゲーション点のうちのナビゲーション点との前記現在の視点回転角の一致度を決定し；
−  視点アクティブ化のタイミング機構をアクティブにするように構成され、前記タイミング機構は、前記一致（の特定の度合い）を決定するときの視点アクティブ化の前記タイミング機構をアクティブにするための遅延時間および前記タイミング機構のアクティブ化期間の持続時間を含み、前記方法はさらに：
−  視点回転モデルとの視点回転角トレースの部分の一致を決定するステップと；
−  前記複数のナビゲーション点のうちのナビゲーション点との前記現在の視点回転角の前記一致に基づいてかつ追加として前記視点回転モデルとの前記視点回転角トレースの前記部分の前記一致に基づいて、前記視点アクティブ化の前記タイミング機構をアクティブにするための前記遅延時間を適合させるステップおよび／または前記タイミング機構の前記アクティブ化期間の前記持続時間を適合させるステップとを含む。
【００１３】
実際は、視点回転モデルとの視点回転角トレースの部分の一致度を追加として決定し、その後に視点回転モデルとの視点回転角トレースの部分のこの決定された一致度に基づいて、前記視点アクティブ化の前記タイミング機構をアクティブにするための初期化遅延時間および／または前記タイミング機構の前記アクティブ化期間の前記持続時間が、現在の視点回転角にマッチするあるアクティブ化点にナビゲートするユーザの意思により良くマッチするような仕方で、前記視点アクティブ化の前記タイミング機構をアクティブにするための遅延時間、すなわち初期化遅延時間および前記タイミング機構の前記アクティブ化期間の持続時間の少なくとも１つを適合させることによる。
【００１４】
この仕方で、タイミング機構のアクティブ化において、このタイミング機構は、ユーザがそのナビゲーション点にナビゲートする実際の意思なしにナビゲーション点の方向を事実上見ていることおよびアクティブ化がより速く行われる意図されたナビゲーション点にナビゲートする意思を有してユーザがそのようなナビゲーション点を見ている間、ナビゲーション点の意図されないアクティブ化を防止することに対処するようによりよく構成される。
【００１５】
前記複数のナビゲーション点のうちのナビゲーション点との前記現在の視点回転角の一致度の決定は、ユーザがナビゲートしようとするのはどのナビゲート点かを決定するために、例えば回転一致手段を用いて、入力として現在の回転角に基づいて行われてもよい。このナビゲーションは、ユーザがナビゲートしてもよいナビゲーション点の各々について、ある視覚的アクティブ化幾何形状および対応するサイズを有する所定の組のナビゲーション点に基づいている。ナビゲーション点の視覚的アクティブ化幾何形状は、そのようなナビゲーション点の形状およびサイズを決定する。視覚光線が、視覚的アクティブ化幾何形状と交差するかどうかが、評価され、その場合視覚光線は、仮想的な目から生じる光線であり、その目からシーンが、ユーザによって現在の視点回転角の方向において現在見られる。現在の視点回転角は、タプル、すなわち述べられた視覚光線の回転に対応する二値ベクトルである。これは、頭部位置に関連してもよく、または別法として世界に関連してもよい（実装依存である）。これらの２つの値は、例えば目の周りに位置する球が、我々の地球として、すなわち経度および緯度を使用してパラメータ化されることもあり得るので、これのために十分である。このパラメータ化された表面上の点（具体的経度／緯度）は、目からこの表面の点に線を引くときの角度を描写するのに十分である。
【００１６】
光線とあるナビゲーション点の視覚的アクティブ化幾何形状との間の距離は、ナビゲーション点との前記現在の視点回転角の一致度についての評価基準である。
【００１７】
光線と視覚的アクティブ化幾何形状との間の距離の影響は、光線が、アクティブ化点の各々の視覚的アクティブ化幾何形状と交差するかどうかをアサートすることによって決定される。もし交差が、生じないならば、近傍関数ｆは、距離をスコアに関連付けることによって光線がアクティブ化幾何形状の「近傍に」いるかどうかを決定するために使用される。距離が、大きすぎるとき、スコアは、０であることになる。距離が、０である（交差の）とき、スコアは、１である。
【００１８】
スコアが、「１」である場合、一致度は、最も高く、スコアが、「０」である場合、一致度は、最も低い。スコアが０よりも大きい、多数のアクティブ化点がある場合、アクティブ化点と仮想的な目との間の距離は、考慮に入れられる。
【００１９】
その上、視点回転モデルとの視点回転角トレースの部分の一致度を決定するステップは、時間による回転角発展、すなわち視点回転角トレースの各々の部分が、ある時点に至るまで学習された回転角モデルと一致するかどうかを評価することによって行われてもよい。
【００２０】
視点回転モデルそれ自体は、一致を決定するこのステップへの入力として役立てられ、同様の文脈が同様の回転角動力学に言及する同様の文脈内で多数のユーザセッションにわたって再利用されてもよい。
【００２１】
もし現在の視点回転角の運動が、視点回転モデルに従うならば、一致度は、高いことになる。もしそうでないならば、一致度は、低いことになる。そのような視点回転モデルは、現在の視点回転角および視点回転角の履歴を含むこともある。追加として、そのような視点回転モデルは、潜在的な偽陽性および偽陰性を含むこともある。そのような偽陽性は、モデルが、異常がなかったのに異常を予測した事例である。偽陰性は、モデルが、異常があったのに異常を予測しなかった事例である。異常は、人が単に、ナビゲーション点のないシーンを見る時のような規則的な回転角運動統計を示さないトレースにおける一部として規定される。そのような不規則運動は、それが、ナビゲーション点における焦点調節動作に帰せられてもよいとき、異常であると言われる。この情報を含むことは、モデリングの種類に応じて、重要である可能性がある。これは例えば、例に基づくモデルを再訓練するまたは更新するための場合である。例えばディープラーニングに基づくモデルについては、これは、必要とされない（この情報は、すでに暗黙の仕方でモデルに存在するので）。
【００２２】
前記視点アクティブ化の前記タイミング機構をアクティブにするための遅延時間は、初期化遅延時間である。前記視点回転角トレースの部分は、現在の時点までの履歴からの一連の現在の視点回転角の部分である。最後に、前記複数のナビゲーション点のうちのナビゲーション点との前記現在の視点回転角の一致と組み合わせて前記視点回転モデルとの前記視点回転角トレースの前記部分の決定された一致度に基づいて、この初期化遅延時間および／またはその後のアクティブ化期間の持続時間は、ナビゲーション点の選択のこのプロセスが、ユーザの本当の意思により良くマッチし、それを予測するように決定されてもよい。
【００２３】
本発明の別の実施形態によると、前記視点アクティブ化の前記タイミング機構をアクティブにするための前記遅延時間および追加として前記タイミング機構の前記アクティブ化期間の前記持続時間の少なくとも１つを適合させるステップは、前記複数のナビゲーション点の各ナビゲーション点と関連する顕著性情報に基づいているまたは顕著性マップに基づいている。
【００２４】
前記視点アクティブ化の前記タイミング機構をアクティブにするための前記遅延時間および追加として前記タイミング機構の前記アクティブ化期間の前記持続時間の少なくとも１つを決定し、その後に適合させるステップは、前記複数のナビゲーション点の各ナビゲーション点と関連する顕著性情報に基づいてもよくまたは顕著性マップに基づいてもよい。アクティブ化点と関連するこの顕著性情報は、より均一でない顕著性情報の場合に、例えば意図されるアクティブ化点の近傍に関連情報がある場合に、遅延時間、すなわち初期化遅延時間を減少させることもある。
【００２５】
さらに、アクティブ化点との現在の視点回転角の前記一致度は、前記複数のナビゲーション点のアクティブ化点の視覚的幾何形状、アクティブ化点と視覚光線との間の距離およびアクティブ化点と目の位置との間の距離の少なくとも１つに依存することもある。
【００２６】
それ故に最初は、とりわけアクティブ化点との現在の視点回転角の一致度は、前記複数のナビゲーション点のアクティブ化点の視覚的幾何形状に依存することもあり、その場合あるアクティブ化点ｐのアクティブ化幾何形状Ｇｖから視覚光線までの最も近い距離が、決定されてもよい。複数のアクティブ化点の各アクティブ化点の視覚的幾何形状と視覚光線との間のこの距離が、計算されてもよく、アクティブ化点の各々と視覚光線との間の距離に基づいて、スコアが、計算される。このスコアは、複数のアクティブ化点の各アクティブ化点の視覚的幾何形状と視覚光線との間の小さい距離については高く（例えば、「１」であり）、例えば距離は、０であり（すなわち、視覚光線は、そのアクティブ化点についての視覚的アクティブ化幾何形状を横断し）、スコアは、視覚的アクティブ化幾何形状と視覚光線との間の距離の増加とともにより低くなることになる。視覚光線への最小距離を有するアクティブ化点は、最高スコア、すなわち最高の一致度を割り当てられる。
【００２７】
互いに近い多数のアクティブ化点がある場合、例えば互いの後ろに多数のアクティブ化点があり、ユーザが片方のまたはもう一方のアクティブ化点に目を向けているのかが明らかでない場合、そのような視覚光線は、二つ以上のアクティブ化点を横断することもあり、ユーザがどのアクティブ化点に目を向けているかを決定するために、アクティブ化点との現在の視点回転角の一致度を決定するための要素として交点と目の位置との間の距離を含むことが、必要なこともある。
【００２８】
一致度は、目の位置とアクティブ化点の各々との間の距離に基づいて決定されてもよい。アクティブ化点が、目の位置により近く位置付けられるほど、一致度は、より高くなる。
【００２９】
それに応じて、本発明のさらなる実施形態は、請求項１または２に記載の方法に関し、視点回転モデルとの視点回転角トレースの部分の前記一致度は、前記視点回転角トレースの前記部分の周波数特性に基づいて決定される。
【００３０】
実際、視点回転モデルとの視点回転角トレースの部分の一致度は、前記視点回転角トレースの前記部分の周波数特性に基づいて決定されてもよい。
【００３１】
所定数のタイムスケールにおける頻度ヒストグラムの連結から成る特徴ベクトルが、構築される。各タイムスケールまたは範囲について、視点回転角トレースの周波数分析が、例えば離散コサイン変換（ＤＣＴ）を介して行われる。この分析の結果は、期待される周波数範囲に沿って広がる固定数のビンを有するヒストグラムに変換される。このタイムスケールについての特徴ベクトルの部分は、これらのビンの各々の大きさの連結である。
【００３２】
この種の特徴ベクトルは、異なるタイムスケールおよび頻度統計におけるトレースパターンの識別を可能にする。
【００３３】
それに応じて、本発明のさらなる実施形態は、請求項３に記載の方法に関し、視点回転モデルとの視点回転角トレースの部分の前記一致度は、前記視点回転角トレースの少なくとも１つのベクトルを生成し、その後前記少なくとも１つのベクトルを分類することによって決定される。
【００３４】
実際、視点回転モデルとの視点回転角トレースの部分の前記一致は、前記視点回転角トレースの少なくとも１つのベクトルを生成し、その後前記少なくとも１つのベクトルを分類することによって決定されてもよい。本発明のこの実施形態では、マルチクラス分類器Ｃが、所与の特徴ベクトルＶｘにマッチする初期化遅延の離散化バージョンを返すように訓練される。システムが現在、例えば初期化遅延「２」を有するとき（これは、例えば２秒のこともある）、分類器は、ナビゲーション点を初期化することができるために「２」を返す必要がある。
【００３５】
それに応じて、なお本発明のさらなる実施形態は、請求項３または４に記載の方法に関し、視点回転角トレースの前記部分の前記周波数特性は、前記視点回転モデルを更新するために適用される。
【００３６】
視点回転モデルは、現在の視点回転角および将来の視点回転角ならびに偽陽性および偽陰性および真陽性さえも用いて更新される。そのような偽陽性は、異常がなかったのにモデルが異常を予測した事例である。偽陰性は、異常があったのにモデルが異常を予測しなかった事例である。異常は、人が単に、ナビゲーション点のないシーンを見るときのような規則的回転角運動統計を示さないトレースにおける一部として規定される。そのような不規則運動は、それが、ナビゲーション点における焦点調節動作に帰せられてもよいとき、異常であると言われる。モデリングの種類に応じて、この情報を含むことは、重要である可能性がある。これは例えば、例に基づくモデルを再訓練するまたは更新する場合である。例えばディープラーニングに基づくモデルについては、これは、必要とされない（この情報は、すでに暗黙の仕方でモデルに存在するので）。
【００３７】
この仕方で、モデルを更新することによって、システムは、前に生じた状況をより速い方法で扱うように訓練される。
【００３８】
分類器は、例となるデータを用いて訓練される。この組のデータは、視点回転モデルが、更新される必要があるとき、適合される。適合の後、分類器は、再び訓練され、更新された新しいモデルをもたらす。
【００３９】
人は典型的には、新しいデータを含むように訓練用セットを適合させるために２つのことを行うことができる。第１の戦略は、単に新しいデータサンプルを含むことである（この場合、所望の遅延時間と一緒にベクトルＶｘを）。この場合、モデルは、潜在的に相反するデータを有することになるが、しかしながらこれは、必要とされる分類に向かって合意を促すより多くのサンプルを追加することによって解決されることになる。実際には、これは、分類器が、新しい遅延時間により遅く収束することになるということ、および正しい分類が行われる前に、多くの試みが必要とされることもあるということを意味する。もしこれが、望まれないならば、人は、訓練用セット内の相反するサンプルを識別し、モデルを再訓練する前にこれらを除去する第２の戦略を追加することができる。そのため、人は、新しいサンプルＶｘの近くにあるベクトルを識別し、そのうちで対応する遅延時間が、望まれる遅延時間でないそれらを除去することができる。「近くにある」は、ベクトルＶｘおよび訓練用データサンプルにおけるユークリッド距離または値の差の最大値などのしきい値メトリックを使用することによって定量化されてもよい。そのような「不完全な」訓練用データを排除するとき、分類器は、望まれる結果にはるかにより速く収束することになる。
【００４０】
この仕方では、意図されるナビゲーション点へのナビゲーションが、より速い仕方で行われるように、より多くの状況が、より速い仕方で認識され、取り組まれてもよい。
【００４１】
追加として、視点回転モデルは、前記視点回転角トレースの前記部分の周波数特性を用いて更新される：
−  偽陰性の場合、その状況は、ナビゲーション点が、初期化され、モデルマッチよりもむしろタイムアウトによってアクティブにされるときに生じる。それ故に、視点回転は、ユーザが実際に、その点にナビゲートしたいと思ったということを予測しないこともあり得る。この場合、最大遅延時間Ｄの知識は、代表的周波数データを有するタイムスロットを位置付けるために使用される。
−  偽陽性の場合、その状況は、ナビゲーション点がアクティブにされる前に（しかしそれは初期化されたが）、ユーザが、ナビゲーション点から目をそらすときに生じ、それは、初期化が、ユーザによって意図されなかったという表れである。そのため、これは、いわゆる偽陽性と解釈されるべきであり、モデルは、これが次回に起こることを防止するために更新されなければならない。遅延時間は、マッチを将来に先延ばしするために増やされ、もしこの遅延時間が、最大遅延時間になるならば、周波数特徴は、除去される。
−  真陽性の場合、その状況は、ナビゲーション点が、初期化され、モデルによって首尾よくアクティブにされているときに生じる。ユーザは、初期化後にその点から離れなかったので、仮定は、その動きが、実際にユーザによって望まれたということである。遅延時間は、この状況が生じる次回について初期化をより速くするために低減される。
【００４２】
三次元空間のナビゲーション点間をナビゲートするための本方法のさらに特徴付ける実施形態は、添付の請求項において言及される。
【００４３】
本発明の実施形態による装置およびシステムの効果および利点は、本発明の実施形態による対応する方法のそれらと、変更すべきところは変更して、実質的に同じである。
【００４４】
請求項において使用される用語「ｃｏｍｐｒｉｓｉｎｇ」は、その後に記載される手段に限られると解釈されるべきでないことが、注意されるべきである。それ故に、表現「手段ＡおよびＢを備えるデバイス」の範囲は、コンポーネントＡおよびＢだけから成るデバイスに限定されるべきでない。それは、本発明に関して、デバイスの関連コンポーネントだけが、ＡおよびＢであることを意味する。
【００４５】
同様に、請求項においてまた使用もされる用語「ｃｏｕｐｌｅｄ」は、直接接続だけに限られると解釈されるべきでないことが、注意されるべきである。それ故に、表現「デバイスＢに結合されるデバイスＡ」の範囲は、デバイスＡの出力が、デバイスＢの入力に直接接続される、デバイスまたはシステムに限定されるべきでない。それは、Ａの出力とＢの入力との間に経路が存在し、それは、他のデバイスまたは手段を含む経路であってもよいことを意味する。
【００４６】
付随する図面と併用される実施形態の次に続く記述を参照することによって、本発明の上記の目的および特徴ならびに他の目的および特徴は、より明らかとなり、本発明それ自体は、最も良く理解されることになる。
【図面の簡単な説明】
【００４７】
【図１】三次元ビデオコンテンツのナビゲーション点間をナビゲートするためのシステムの機能的表現を表す図である。
【図２】クライアントデバイスＣＤの部分的な機能的表現と組み合わせて三次元ビデオコンテンツのナビゲーション点間をナビゲートすることを制御するように構成される装置ＮＡの機能的構造を表す図である。
【図３】視点およびそれらの視覚的幾何形状によって表される複数のナビゲーション点の表現を表す図である。
【図４】ナビゲーション点の一致が達せられたときに動作を決定するための図解を表す図である。その場合、ナビゲーション点運動は、関連ナビゲーション点を選択するためのユーザの意思に関係する異常を識別するために分析される。
【図５】イベントベースである別の実施形態のための図解を表す図であり、そこではアクティブ化点の初期化事象およびアクティブ化事象を送るために必要とされる動作が、示されている。
【発明を実施するための形態】
【００４８】
記述および図面は、単に本発明の原理を例示するだけである。それ故に、当業者は、本明細書では明示的に述べられまたは示されることはないが、本発明の原理を具体化し、その趣旨および範囲内に含まれる様々な配置を考案することができることになるということが、認識されることになる。さらに、本明細書で列挙されるすべての例は主に、本発明の原理および当技術を促進するために本発明者（ら）によって寄与される概念を読者が理解するのを助けるための教育上の目的のためだけであることを明確に意図され、そのような具体的に列挙される例および条件への制限がないと解釈されるべきである。その上、本発明の原理、態様、および実施形態、ならびにそれらの具体例を列挙する本明細書でのすべての陳述は、それらの均等物を包含することを意図されている。
【００４９】
本明細書での任意のブロック図は、本発明の原理を具体化する例示的回路の概念図を表すことが、当業者によって認識されるべきである。同様に、任意のフローチャート、フローダイヤグラム、状態遷移図、疑似コード、および類似のものは、そのようなコンピュータまたはプロセッサが、明示的に示されようとなかろうと、コンピュータ可読媒体において実質的に表され、それでコンピュータまたはプロセッサによって実行されてもよい様々なプロセスを表すことが、認識されることになる。
【００５０】
次に続く段落では、図１における図面を参照して、本発明の実施形態による、三次元ビデオコンテンツのナビゲーション点間をナビゲートするためのユーザデバイスの実装が、述べられる。
【００５１】
第１の段落では、図１における三次元ビデオコンテンツのナビゲーション点間をナビゲートするためのシステムの要素が、述べられ、さらなる段落では、述べられた要素間のすべての接続が、規定される。
【００５２】
その後、図１に提示されるような言及されるサーバＳおよびクライアントデバイスＣＤのすべての関連する機能的手段が、述べられ、その後にすべての相互接続の記述が続く。
【００５３】
後続の段落では、システムの実際の実行が、述べられる。
【００５４】
本システムの第１の必須要素は、サーバＳであり、それは、三次元ビデオコンテンツをサーバＳに含まれるまたは結合されるビデオリポジトリからクライアントデバイスＣＤに向かって伝送するように構成される。
【００５５】
サーバＳによる三次元ビデオコンテンツの伝送は、ストリーミングであってもよく、またはより一般的に複数のクライアントデバイスの少なくとも１つのクライアントデバイスＣＤに向かってこのビデオコンテンツの任意のビデオトランスポートプロトコルを用いて適用されてもよい。
【００５６】
サーバＳは、マルチメディアコンテンツ配信ネットワークにおけるコンテンツクラスタまたはサービスノードの要素であってもよい（ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｔｅｎｔ＿ｄｅｌｉｖｅｒｙ＿ｎｅｔｗｏｒｋを参照のこと）。
【００５７】
サーバＳは、コンテンツ配信ネットワークにおけるサーバもしくは別法としてクラウド環境におけるサーバ機能性の仮想化、またはいくつかのデバイスにわたって分散されるプロセス、またはＧＰＵファームなどであってもよい。
【００５８】
本システムは、示されまたはさらに述べられることはないが、複数のクライアントデバイスを備えてもよいことが、注意されるべきである。
【００５９】
クライアントデバイスＣＤは次に、サーバＳによって伝送される三次元ビデオコンテンツを受け取るように構成される。
【００６０】
クライアントデバイスＣＤは、クライアントデバイスＣＤに向けてサーバＳによって流されるマルチメディアアセットをレンダリングするためにスクリーンおよび一組のスピーカを装備されているＩＰ接続されたコンピュータ端末またはセットトップボックスを介してインターネットに結合されるＩＰＴＶ接続されたテレビセットであってもよく、その場合このデバイスは再び、流されるマルチメディアアセットをレンダリングするために一組のスピーカを有するスクリーンを装備され、または別法として接続されたテレビ、タブレットＰＣ、固定ＰＣもしくはラップトップＰＣなどの他のＰＣ、キネクトセンサおよび／またはゲームパッドもしくはジョイスティックに接続されたスマートフォンもしくはＴＶ、またはゲーム機などであってもよい。
【００６１】
サーバＳおよびクライアントデバイスＣＤは、結合されたＤＳＬモデムを用いるデジタル加入者線アクセスネットワークもしくはケーブルネットワーク、接続されたスマートフォンもしくはタブレットデバイスを用いるモバイル通信アクセスネットワークなどのアクセスネットワークの連結をオプションとして含有する適切な通信ネットワークＣＮ、または他の適切な通信ネットワークおよびコアインターネットネットワークなどを通じて結合されてもよい。そのような三次元ビデオコンテンツは、ゲームコンテンツ、自由に歩き回ることができる三次元コンサートまたは三次元映画ならびにユーザが選択可能な視野を有するマルチビュービデオまたは別法としてナビゲーション点を中心とするマルチストリーム３６０ビデオなどの疑似三次元使用事例を含むデジタルコンテンツを含んでもよい。サーバＳはまず、生のソースである三次元ビデオコンテンツソース３−ＤＣＳまたは三次元ビデオコンテンツを含有するリポジトリまたは前者の組み合わせさえも含み、その場合この三次元ビデオコンテンツソース３−ＤＣＳは、例えばクライアントデバイスＣＤに向けて流すことによってこのビデオコンテンツを転送するように構成される。さらに、サーバは、三次元ビデオコンテンツのナビゲーション点間をナビゲートすることを制御するように構成される装置ＮＡを備え、その場合この三次元ビデオコンテンツは、複数のナビゲーション点（Ａ０・・・Ａｘ）を含む。追加として、サーバＳは、ナビゲーション点に向かう意図的な回転角運動とナビゲーション点選択を意図しない通常の回転角運動とを区別することを可能にするモデルである視点回転角モデルを格納するように構成される回転角モデルリポジトリＲＡＭＲを備える。そのようなモデルは、最近の回転角の履歴、意図される運動から通常を決定するために使用されるデータ構造（例えば、デシジョンツリーベースの分類を使用するときのツリー構造、またはディープラーニング手法のためのニューラルネットワーク構造および加重）、潜在的偽陽性および偽陰性を含有してもよい。この現在の視点回転角は、クライアントデバイスＣＤに組み込まれてもよい回転角検出手段ＶＲＡＤから決定され、取得される。
【００６２】
さらに、サーバＳは、三次元ビデオコンテンツに含まれる複数のナビゲーション点についての情報を格納するように構成されるナビゲーション点リポジトリＮＰＲを備えてもよく、追加として視覚的幾何形状Ｇｖおよび近傍関数ｆを含む情報を含む（図３を参照のこと）。
【００６３】
クライアントデバイスＣＤは次に、サーバによってクライアントデバイスＣＤのユーザに転送されるような三次元ビデオコンテンツを提示するための表示手段ＤＭを備えてもよい。さらに、クライアントデバイスＣＤは、ユーザの現在の視点回転角を検出するように構成される視点回転角検出手段ＶＲＡＤを備える。
【００６４】
現在の視点回転角は、タプル、すなわち述べられる視覚光線の回転に対応する二値ベクトルであってもよい／である。これは、クライアントデバイスＣＤのユーザの頭部位置に対してであってもよく、別法として世界に対してであってもよい（実装依存である）。これらの２つの値は、例えば目の周りに位置付けられる球が、我々の地球として、すなわち経度および緯度を使用してパラメータ化されることもあり得るので、これにとって十分である。このパラメータ化された表面上の点（具体的経度／緯度）は、目からこの表面の点に線を引くときの角度を描写するのに十分である。
【００６５】
視点回転角検出手段ＶＲＡＤは、凝視トラッカを用いた積分からオキュラスリフトなどのバーチャルリアリティデバイスからの方位データの抽出に至るまでに及ぶこともある手段によって実装されてもよい。
【００６６】
サーバＳの三次元ビデオコンテンツソース３−ＤＣＳは、出力端子を用いてサーバＳの出力Ｏ１に結合され、入力を用いて装置ＮＡの出力に結合される。装置ＮＡは、入力端子を用いてサーバＳの入力Ｉ０に結合され、入力端子を用いてナビゲーション点リポジトリＮＰＲの出力端子に結合される。回転角モデルリポジトリＲＡＭＲはさらに、入力／出力Ｉ／Ｏを介して装置ＮＡの入力／出力端子に結合される。
【００６７】
クライアントデバイスＣＤは、出力端子を用いてクライアントデバイスＣＤの出力Ｏ１に結合される回転角検出手段ＶＲＡＤを有する。さらに、クライアントデバイスの表示手段ＤＭは、入力端子を用いてクライアントデバイスＣＤの入力Ｉ１に結合される。
【００６８】
図２に提示されるような装置ＮＡは、前記複数のナビゲーション点Ａ０・・・Ａｘのうちのナビゲーション点との現在の視点回転角の一致度を決定するように構成されるナビゲーション点一致決定手段ＮＰＡならびに追加として視覚的幾何形状Ｇｖおよび近傍関数ｆから成る前記複数のナビゲーション点Ａ０・・・Ａｘについての情報を格納するように構成されるナビゲーション点リポジトリＮＰＲを備えてもよい。
【００６９】
ナビゲーション点リポジトリＮＰＲは、本装置に組み込まれてもよいが、しかし別法として遠隔要素内に位置付けられてもよい。
【００７０】
装置ＮＡは、追加として視点アクティブ化のタイミング機構をアクティブにするように構成される処理手段ＰＭを備え、前記タイミング機構は、前記複数のナビゲーション点Ａ０・・・Ａｘのうちのナビゲーション点との前記現在の視点回転角の特定の一致度を決定するときの視点アクティブ化の前記タイミング機構をアクティブにするための遅延時間および前記タイミング機構のアクティブ化期間の持続時間を含む。
【００７１】
装置ＮＡはさらに、視点回転モデルとの視点回転角トレースの部分の一致度を決定するように構成される回転角モデル一致決定手段ＲＡＭＡを備えてもよい。
【００７２】
装置ＮＡはさらに、情報を格納するように構成される回転角モデルリポジトリＲＡＭＲを備えてもよく、回転角モデルリポジトリＲＡＭＲは、ナビゲーション点に向かう意図的な回転角運動とナビゲーション点選択を意図しない通常の回転角運動とを区別することを可能にするモデルである視点回転角モデルを格納するように構成される。そのようなモデルは、最近の回転角の履歴、意図される運動から通常を決定するために使用されるデータ構造（例えば、デシジョンツリーベースの分類を使用するときのツリー構造、またはディープラーニング手法のためのニューラルネットワーク構造および加重）ならびに潜在的偽陽性および偽陰性を含有することができる。この現在の視点回転角は、クライアントデバイスＣＤに組み込まれてもよい回転角検出手段ＶＲＡＤにおいて決定され、それから取得される。
【００７３】
回転角モデルリポジトリＲＡＭＲは、装置ＮＡに組み込まれてもよいが、しかし別法として遠隔（ネットワーク）要素に位置付けられてもよい。
【００７４】
装置ＮＡの処理手段ＰＭはさらに、前記複数のナビゲーション点Ａ０・・・Ａｘのうちのナビゲーション点との前記現在の視点回転角の前記一致度および前記視点回転モデルとの前記視点回転角トレースの前記部分の前記一致度の少なくとも１つに基づいて、前記視点アクティブ化の前記タイミング機構をアクティブにするための前記遅延時間および前記タイミング機構の前記アクティブ化期間の前記持続時間の少なくとも１つを適合させるように構成される。
【００７５】
装置ＮＡの処理手段ＰＭは、第１の出力端子を用いて装置ＮＡの出力に結合され、第１の出力端子を用いて装置ＮＡの入力／出力Ｉ／Ｏに結合される。
【００７６】
回転角モデル一致決定手段ＲＡＭＡは、装置ＮＡの入力Ｉ０に結合される入力端子を有し、追加として入力端子を用いて装置ＮＡの入力／出力Ｉ／Ｏに結合され、さらに処理手段ＰＭに結合される。
【００７７】
さらに、ナビゲーション点一致手段ＮＰＡはまた、装置ＮＡの入力Ｉ０に結合される入力端子も有し、追加としてナビゲーション点一致手段ＮＰＡは、処理手段ＰＭに結合される。
【００７８】
本発明を説明するために、まずユーザが現在、三次元ゲームコンテンツ、自由に歩き回ることができる三次元コンサート、三次元映画ならびにユーザが選択可能な視野を有するマルチビュービデオまたは別法としてナビゲーション点を中心とするマルチストリーム３６０ビデオなどの疑似三次元使用事例に似た三次元ビデオコンテンツを見ていると、仮定される。
【００７９】
ユーザと関連するクライアントデバイスＣＤに組み込まれた回転角検出手段ＶＲＡＤは、ユーザによってこの三次元ビデオコンテンツを見ているとき、ユーザの現在の視点回転角を連続的に検出する（図３を参照のこと）。本発明のこの実施形態での回転角検出手段ＶＲＡＤは、ヘッドマウント型デバイスに埋め込まれたセンサ（例えばジャイロ）に基づく頭部／凝視トラッカまたはシステムであると仮定される。
【００８０】
最初に、装置ＡＮへの入力および同時にナビゲーション点一致決定手段ＮＰＡへの入力である現在の視点回転角に基づいて、ナビゲーション点一致決定手段は、図３に示されるような前記複数のナビゲーション点Ａ０・・・Ａｘのうちのナビゲーション点との、回転角検出手段ＶＲＡＤによって決定されるような現在の視点回転角の一致度を決定する。最初に、とりわけアクティブ化点との現在の視点回転角のこの一致度は、前記複数のナビゲーション点Ａ０・・・Ａｘのアクティブ化点（図３においてナビゲーション点Ａ０について示されるような）の視覚的幾何形状Ｇｖ（ｐ）に依存し、その場合あるアクティブ化点のアクティブ化幾何形状から視覚光線までの最も近い距離が、決定されてもよい。
【００８１】
ナビゲーション点Ａ０の場合、近傍関数はまた、この近傍関数が示す最大の影響を規定する点線の円を用いて視覚化もされる。
【００８２】
複数のアクティブ化点の各アクティブ化点の視覚的幾何形状と視覚光線との間のこの距離が、計算されてもよく、アクティブ化点の各々と視覚光線との間の距離に基づいて、スコアが、ナビゲーション点Ａ０・・・Ａｘの各々について計算される。このスコアは、複数のアクティブ化点の各アクティブ化点の視覚的幾何形状と視覚光線との間が小さい距離の場合は高く（例えば「１」であり）、例えば距離は、０である（すなわち視覚光線は、そのアクティブ化点についての視覚的アクティブ化幾何形状を横断する）。視覚的アクティブ化幾何形状と視覚光線との間の距離が増加する場合は、一致のスコアは、より低いことになる。視覚光線までの最小距離を有するアクティブ化点は、最高のスコア、すなわち最高の一致度を割り当てられる。
【００８３】
今は、現在の視点回転角は、図３に示されるようなものであると仮定される。複数のアクティブ化点の各アクティブ化点の視覚的幾何形状と視覚光線との間の距離が、計算されてもよく、アクティブ化点の各々と視覚光線との間の距離に基づいて、スコアが、計算される。このスコアは、視覚光線が、アクティブ化点Ａ０の視覚的幾何形状をほとんど横断し、それ故に視覚的幾何形状間の最小距離が、ナビゲーション点Ａ０について決定されるので、高い（例えば「１」である）。視覚光線Ｒｖとナビゲーション点の各々との間の距離は、視覚光線Ｒｖとナビゲーション点Ａ０との間の距離よりも大きい。ナビゲーション点Ａ０が、最小距離を有し、それ故に最高のスコア、すなわち最高の一致度が、ナビゲーション点Ａ０に割り当てられることは、事実であると思われる。
【００８４】
視覚光線が、あるナビゲーション点に十分近く、現在の状況ではナビゲーション点Ａ０に近いことを意味する、特定の一致度を検出するとき、視点アクティブ化のタイミング機構は、視点アクティブ化の前記タイミング機構をアクティブにするためのある遅延時間の満了後にアクティブにされる。この遅延時間はさらに、初期化遅延時間と呼ばれる。この初期化遅延時間の満了時に、アクティブ化遅延期間が、トリガされ、その結果、アクティブ化期間の開始時に、タイマが、開始され、そのタイマは、アクティブ化遅延期間の終わりに満了する。このアクティブ化遅延期間の満了時に、ユーザの視点は、ナビゲーション点に向かって動かされ、ナビゲーション点は、新しい目の位置として受け入れられる。
【００８５】
視点アクティブ化期間の開始時に、ユーザが、間もなく（すなわちアクティブ化遅延期間後に）視野内のナビゲーション点に飛び移ることになるということを示す、視覚インジケータが、ユーザに提示される。
【００８６】
それ故に、ナビゲーション点の選択は、その点を十分に長い時間見るときに生じる。もしユーザが、ナビゲーション点を見続けるならば、ユーザが、間もなくその点に飛び移ることになるという視覚インジケータが、現れる。ユーザはなお、ナビゲーションを取り消すために、その点から目をそらすことができる。
【００８７】
その後、アクティブ化遅延期間の満了後、このユーザがなお、アクティブ化点Ａ０に目を向けている場合、ナビゲーション点Ａ０は、事実上アクティブにされ、意図されるユーザの現在の視点が、アクティブ化点Ａ０に向かって動かされることを意味する。完全な三次元表現の場合、人は、シーンの動きを示すアニメーションを用いて視点をそのナビゲーション点に向かって動かすことができる。別法として人は、単にその視点に途中を飛ばして移り、中間の視点を示さないことができる。マルチビューなどの他の表現では、人は、アクティブにされたアクティブ化点に対応する視野を選択することになる。
【００８８】
コンテンツを見ているとき、ユーザがその方向にナビゲートしたいと実際に思うことなく、ナビゲーション点の方向を単に見たいと思うことは、まったくありそうなことであり、本発明は、ユーザが、ナビゲーション点をトリガしたいと思うかどうかまたは彼（彼女）が単に、この意図されるナビゲーション点の周囲におけるシーンを見たいと思うかどうかの予測を用いて、アクティブ化の初期化遅延時間およびアクティブ化期間の持続時間を適合させることによってこの問題を解決することを目指し、タイミング機構の望まれないアクティブ化を防止する。
【００８９】
従って、本発明では、装置ＮＡに組み込まれた回転角モデル一致決定手段ＲＡＭＡは追加として、視点回転モデルとの視点回転角トレースの部分の一致度を決定する。回転角検出手段ＶＲＡＤによって決定された現在の視点回転角に基づいて、この値は、すべての履歴値と一緒に格納され、ある期間にわたって視点回転角のトレースを示す視点回転角トレースを一緒に形成し、時間によるレイトレースの動きを獲得する。その部分、すなわち視点回転角トレースの部分は、視点回転角モデルリポジトリＲＡＭＲに格納されている視点回転モデルとの視点回転角トレースのそのような部分の一致度を決定するために読み出され、適用される。一致度は、前記視点回転角トレースの前記部分の少なくとも１つの特徴ベクトルを生成し、その後前記少なくとも１つの特徴ベクトルを分類することによって前記視点回転角トレースの前記部分の周波数特性に基づいて決定される。
【００９０】
まず、そのような特徴ベクトルＶｘが、構築され、その特徴ベクトルは、所定数のタイムスケールにおける頻度ヒストグラムの連結から成る。各タイムスケールまたは範囲Ｔｙについて、視点回転角トレースの周波数分析が、例えば離散コサイン変換（ＤＣＴ）を用いて行われる。この分析の結果はその後、期待される周波数範囲に沿って広がる固定数のビンを有するヒストグラムに変換される。このタイムスケールについての特徴ベクトルＶｘの部分は、これらのビンの各々の大きさの連結である。そのような特徴ベクトルは、評価される期間の各々についてのそのようなレイトレースの動きの周波数特性を表す。
【００９１】
この種の特徴ベクトルは、異なるタイムスケールおよび頻度統計におけるトレースパターンの識別を可能にする。
【００９２】
より詳しくは、視点回転モデルとの視点回転角トレースの部分の一致は、前に述べられたような前記視点回転角トレースの少なくとも１つのベクトルを生成し、その後そのような少なくとも１つの特徴ベクトルを分類することによって決定されてもよい。本発明の一実施形態では、例えばマルチクラス分類器Ｃは、所与の特徴ベクトルＶｘにマッチする初期化遅延の離散化バージョンを返すように訓練される。出力遅延変数は、モデルにおける適合性ベクトルが検出されるときに使用されるべき現在の遅延を表す。「０」は、遅延がないことを意味し、一方１・・・ｎは、次第に大きくなる遅延を描写する。もし決定された分類ラベルが、ベクトルを構築するために使用された遅延変数に等しいならば、マッチが、見いだされる。もしシステムが現在、例えば初期化遅延「２」（これは、例えば２秒のこともある）を有するならば、分類器は、ナビゲーション点を初期化することができるために「２」を返す必要がある。
【００９３】
この仕方で、レイトレースの動きが、ユーザの意図を決定するために特徴付けられる。
【００９４】
これらの値の各々は、アクティブ化点との現在の視点回転角の決定された一致度への追加であり、また処理手段ＰＭにも入力され、その処理手段ＰＭはその後、前記複数のナビゲーション点のうちのナビゲーション点との前記現在の視点回転角の前記一致度および前記視点回転モデルとの前記視点回転角トレースの前記部分の前記一致度の少なくとも１つに基づいて、前記視点アクティブ化の前記タイミング機構をアクティブにするための前記遅延時間、すなわち初期化遅延時間、および前記タイミング機構の前記アクティブ化期間の前記持続時間の少なくとも１つを適合させる。
【００９５】
言い換えれば、ユーザが、規定されたナビゲーション点の１つと適合性がある回転角範囲内にナビゲートするとき、ユーザは、ナビゲーション点一致段階に入る。図４における図解は、ユーザが、この範囲にいることを示す。このユーザが、ナビゲーション点一致に入るとき、タイミング変数ｔは、リセットされ、ｔは、ユーザがナビゲーション点一致にどのくらい長くいたかを示す。
【００９６】
まず初めに、人は、ｔがオプションの最小遅延時間を超えて進むのを待つ。そのような最小遅延時間は、システムがユーザの動きにあまりにも速く反応するのを防止するように構成されてもよい。この遅延の後、ユーザの回転角がなお、ナビゲーション点と一致するか（すなわちユーザが、ナビゲーション点から離れなかったか）どうかを決定するためのチェックが、行われる。
【００９７】
ベクトルが次いで、前に述べられたように構築される。現在の回転角トレースが、回転角モデルと一致するかどうかを示す分類が、行われる。
【００９８】
もし分類が、マッチをもたらさないならば、ユーザが、ナビゲーション点から離れていないまたは最大遅延時間が、生じていない限り、プロセスは、繰り返される。最大遅延時間は、たとえ回転角モデルが、回転を異常として検出しなくても、または言い換えれば、回転角が、回転角モデルＲＡＭＲと一致している場合、ユーザが、アクティブ化点を十分長く見るとき、ユーザがなお、アクティブ化点を初期化することができることを確実にする。
【００９９】
分類が他方では、マッチを有するとき、すなわちアクティブ化点との現在の視点回転角の一致度が、特定の値に達しているとき、ナビゲーション点は、すぐに初期化される。これは、視覚進捗インジケータが、ユーザに示されることになり、もしユーザが、十分に長く見るならば、ナビゲーション点が、アクティブにされることになり、ユーザ視点が、この点に位置付けし直されることになることを意味する。
【０１００】
処理手段ＰＭは少なくとも、評価される期間に対応する生成された各特徴ベクトルの分類において決定されるような最良の分類器マッチに対応する遅延値に基づいて初期化遅延の値を適合させる。
【０１０１】
前記タイミング機構の前記アクティブ化期間の持続時間は、前に開示された実施形態では適合されない。
【０１０２】
追加として、図４に示されるように、視点回転モデルは、前記視点回転角トレースの前記部分の周波数特性を用いて更新される。
−  偽陰性の場合、その状況は、ナビゲーション点が、モデルマッチよりもむしろタイムアウトによって初期化され、アクティブにされるときに生じる。それ故に、視点回転は、ユーザが、実際にその点にナビゲートしたいと思ったと予測しないこともあり得る。この場合、最大遅延時間Ｄの知識は、代表的周波数データを有するタイムスロットを位置付けるために使用される。
−  偽陽性の場合、その状況は、ユーザが、ナビゲーション点がアクティブにされる前に（しかしそれは初期化されている）ナビゲーション点から目をそらすときに生じ、それは、初期化が、ユーザによって意図されなかったことの表れである。そのため、これは、いわゆる偽陽性と解釈されるべきであり、モデルは、これが次回に起こることを防止するために更新されなければならない。遅延時間は、マッチを将来に先延ばしするために増やされ、もしこの遅延時間が、最大遅延時間になるならば、周波数特徴は、除去される。
−  真陽性の場合、その状況は、ナビゲーション点が、初期化され、モデルによって首尾よくアクティブにされているときに生じる。ユーザは、初期化後その点から離れていないので、仮定は、その動きが、ユーザによって実際に望まれたということである。遅延時間は、この状況が生じる次回について初期化をより速くするために低減される。
【０１０３】
本発明のさらなる代替実施形態では、「ナビゲーション点一致決定手段」ＮＰＡは、連続的な「一致」値よりもむしろ二分決定を得るために一致度のしきい値を決定するように構成されることによって実装されてもよい。
【０１０４】
一致度が、所定のしきい値を超える場合（ユーザが、十分にナビゲーション点に目を向けていることを意味する）、それは、前の時点では事実ではなかったが、「目を向ける」事象が、処理手段ＰＭに送られる。
【０１０５】
同様に、もし一致度が、所定のしきい値を下回って減少し、一方それが、前の時点において上回っていたならば、「目をそらせる」事象が、特定の一致度において送られる。
【０１０６】
本発明のこのさらなる代替実施形態では。「視点回転ナビゲーション点一致」ＲＡＭＡは、連続的な「一致」値よりもむしろ二分決定を得るためにしきい値を決定するように構成されることによって実装されてもよい。
【０１０７】
この実施形態での回転角モデル一致手段ＲＡＭＡは、回転角トレースにわたるスライディングウィンドウを用いて、角度一致を決定するように構成される。時間ｔにおけるある点について、スライディングウィンドウは、時間範囲［ｔ−Ｔ、ｔ］内のトレースデータから成り、ただしＴは、ウィンドウサイズである。人は、時点ｔ（すなわち、現在の時間）についてこのスライディングウィンドウにおける頻度のヒストグラムを表すベクトルＨｔを構築する。
【０１０８】
回転角モデル一致手段ＲＡＭＡは追加として、このベクトルＨｔを１つまたは複数の所定のベクトルＨＲと比較するように構成される。これらの所定のベクトルは、「回転角モデル」と解釈されるべきであり、回転角トレースにおいて何が異常として見られるべきかを指定し、そのベクトルＨＲは、角度モデル一致リポジトリＲＡＭＲに維持されてもよい。Ｈｔが、異常を表すかどうかを評価するために、ＨｔとＨＲベクトルの各々との間の「距離」が、計算される。もしこれらの距離の１つが、あるしきい値Ｔｍよりも小さいならば、異常が、検出され、「トレース異常」事象が、処理手段ＰＭに送られる。
【０１０９】
この距離を生成するために使用されるメトリックは、多くの方法で計算されてもよい。一例は、ユークリッド距離を使用することによる。別の例は、ヒストグラムビンの各々における絶対差の最大値を取るということになる。
【０１１０】
最後に、本発明のこのさらなる代替実施形態での処理手段ＰＭは、それぞれのナビゲーション点一致決定手段ＮＰＡおよび回転角モデル一致手段ＲＡＭＡの両方の入力に基づくように構成され、その入力は、それぞれの手段からの「目を向ける」、「目をそらす」および「トレース異常」事象であり、ここでは「初期化」および「アクティブ化」事象を生成することに基づいている。初期化事象は次いで、ユーザインタフェース通知をユーザに示すことを開始するために使用されてもよく、もし彼／彼女が、その方向に目を向けている状態を保つならば、そのナビゲーションは、意図されるナビゲーション点に向かって起こることになる。アクティブ化事象は実際に、意図されるナビゲーション点へのナビゲーションを開始する。
【０１１１】
図５は、事象の流れを含む状態図を示す。状態遷移だけが、矢印によって示されることに注意されたい。もし事象が、状態を変化させないならば、矢印は、視覚的オーバヘッドを制限するために描かれない。
【０１１２】
最初の位置は、ドットＤであり、そこからすぐに状態１への遷移が行われる。この状態は、ユーザが、ナビゲーション点に目を向けていない場合を表す。ユーザが、ナビゲーション点を見るとき、「目を向ける」事象が、受け取られることになり、状態２への遷移が、行われる。
【０１１３】
この時点では、ユーザは、ナビゲーション点を見るが、しかしながら異常は、トレースにおいて検出されていない。状態２に移動するとき、ρｍａｘが経過したときに事象を始めるタイマが、開始され、ここでρｍａｘは、人が、初期化事象が始められることなくあるナビゲーション点に目を向けることができる最大時間である。今は３つのオプションがある：
・ユーザが、再び「目をそらし」、状態１への遷移が、行われるか。
・トレース異常が、検出され、状態３への遷移が、行われる。
・トレース異常が、検出されなかったが、しかしながらρｍａｘが、ナビゲーション点に目を向けてから後に経過した。この場合、我々は、初期化事象を介して状態４に移動する。これは、回転角モデルが、異常を予測することができないときの予備機構である。
【０１１４】
状態３は、ユーザが、ナビゲーション点に目を向けている場合を表し、異常が、検出された。ρ０が経過した後に事象を始動させるタイマが、開始される。これは、ＵＩ通知を示す前に生じる遅延である。この事象が、始動する（そしてユーザがなお、ナビゲーション点に目を向ける）とき、初期化事象が、送られる（そしてＵＩによって拾い上げられてもよい）。状態４への遷移が、次いで行われる。
【０１１５】
状態４は、ＵＩが、通知を示しているが、しかしナビゲーションがまだ、起こっていない場合を表す。アクティブ化遅延時間τ０が、経過した後に事象を始動させるタイマが、いま開始される。τ０はここでは、初期化とアクティブ化との間の相対時間を指し、そのτ０は、第１の実施形態でのアクティブ化遅延時間τ０と一致せず、その場合それは、異常が検出された瞬間からの絶対時間を表す。
【０１１６】
タイマτ０が、経過したとき、アクティブ化事象が、送られ、ρ０は、次回にシステムをより速く反応させるために所定の量だけ減少される（明らかに、ユーザは、実際ナビゲーション点をアクティブにするつもりであって、これは、システムについて正のフィードバックと見られるので）。この後、状態１への遷移が、行われる。
【０１１７】
もしユーザが、状態４にある間にナビゲーション点から目をそらすならば、これは、負のフィードバックであると考えられ、その結果、初期化遅延時間ρ０は、増やされる。
【０１１８】
最後に述べることは、本発明の実施形態が、機能的ブロックの観点から上で述べられているということである。上で与えられる、これらのブロックの機能的記述から、どのようにこれらのブロックの実施形態が、よく知られた電子コンポーネントを用いて製造されてもよいかは、電子デバイスを設計する当業者にとって明らかであろう。機能的ブロックのコンテンツの詳細なアーキテクチャはそれ故に、与えられない。
【０１１９】
本発明の原理が、具体的装置に関連して上で述べられたが、この記述は、単に例としてなされ、添付の請求項によって規定されるような、本発明の範囲への制限としてではないことが、明瞭に理解されるべきである。
【図１】
2019508773.tif 000003
【図２】
2019508773.tif 000004
【図３】
2019508773.tif 000005
【図４】
2019508773.tif 000006
【図５】
2019508773.tif 000007
【国際調査報告】
2019508773.tif 000008
2019508773.tif 000009
2019508773.tif 000010