(57)【要約】      （修正有）【課題】クライアントデバイスの制御下で超高解像度ビデオコンテンツ内をナビゲートするための方法、システムおよび関連するデバイスを提供する。【解決手段】超高解像度ビデオコンテンツの少なくとも一部がサーバＳからクライアントデバイスＣＤへ送信される。ユーザナビゲーションコマンドが超高解像度ビデオコンテンツを通るナビゲーション軌道を示す、ユーザナビゲーションコマンドを受信するステップと、超高解像度ビデオコンテンツを通るナビゲーション軌道上の超高解像度ビデオコンテンツを分析することにより、ナビゲーション選択軌道上の局所ビデオ顕著性を決定するステップと、ナビゲーション選択軌道上の局所ビデオ顕著性に応じて、ナビゲーション選択軌道の特徴を適応させるステップと、を備える、【選択図】図１
2016012920.tif 000002
【特許請求の範囲】
【請求項１】
クライアントデバイス（ＣＤ）から発するユーザナビゲーションコマンドの制御下で超高解像度ビデオコンテンツ内をナビゲートするための方法であって、前記超高解像度ビデオコンテンツの少なくとも一部がサーバ（Ｓ）から前記クライアントデバイス（ＣＤ）へ送信され、前記方法は、
ユーザナビゲーションコマンドを受信するステップであって、前記ユーザナビゲーションコマンドが前記超高解像度ビデオコンテンツを通るナビゲーション軌道を示す、受信するステップと、
前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の前記超高解像度ビデオコンテンツを分析することにより、前記ナビゲーション選択軌道上の局所ビデオ顕著性を決定するステップと、
前記ナビゲーション選択軌道上の前記局所ビデオ顕著性に応じて、前記ナビゲーション選択軌道の特徴を適応させるステップと
を備える、方法。
【請求項２】
前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の局所ビデオ顕著性が低い場合、ナビゲーションの速さが増加し、前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の局所ビデオ顕著性が高い場合、ナビゲーションの速さが減少する、請求項１に記載の超高解像度ビデオコンテンツ内をナビゲートするための方法。
【請求項３】
前記ナビゲーション選択軌道の前記特徴が、ナビゲーションの速さおよび方向を含む、請求項１に記載の超高解像度ビデオコンテンツ内をナビゲートするための方法。
【請求項４】
前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の前記超高解像度ビデオコンテンツの前記分析が、前記ナビゲーション軌道上のエッジ遷移の計数を含む、請求項１に記載の超高解像度ビデオコンテンツ内をナビゲートするための方法。
【請求項５】
前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の前記超高解像度ビデオコンテンツの前記分析が、前記ナビゲーション軌道上の輝度コンテンツの遷移または相違の決定を含む、請求項１に記載の超高解像度ビデオコンテンツ内をナビゲートするための方法。
【請求項６】
前記ナビゲーション選択コマンドが、パン−チルト−ズームコマンドを含む、請求項１に記載の方法。
【請求項７】
前記ナビゲーション選択コマンドが、コンテンツの基準座標を含む、請求項１に記載の方法。
【請求項８】
クライアントデバイス（ＣＤ）から発するユーザナビゲーションコマンドの制御下で超高解像度ビデオコンテンツ内をナビゲートするためのシステムであって、前記超高解像度ビデオコンテンツの少なくとも一部がサーバ（Ｓ）から前記クライアントデバイス（ＣＤ）へ送信され、前記システムは、
前記ユーザナビゲーションコマンドを受信するように構成される受信手段であって、前記ユーザナビゲーションコマンドが前記超高解像度ビデオコンテンツを通るナビゲーション軌道を示す、受信手段と、
前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の前記超高解像度ビデオコンテンツを分析することにより、前記ナビゲーション選択軌道上の局所ビデオ顕著性を決定するように構成されるビデオ顕著性決定手段と、
前記ナビゲーション選択軌道上の前記局所ビデオ顕著性に応じて、前記ナビゲーション選択軌道の特徴を適応させるように構成される特徴適応手段と
を備える、システム。
【請求項９】
請求項８に記載のシステムで用いる選択デバイス（ＳＤ）であって、前記クライアントデバイス（ＣＤ）から発する前記ユーザナビゲーションコマンドの制御下で超高解像度ビデオコンテンツ内をナビゲートすることを支援するように構成され、
前記ユーザナビゲーションコマンドを受信するように構成される受信手段（ＲＭ）であって、前記ユーザナビゲーションコマンドが前記超高解像度ビデオコンテンツを通るナビゲーション軌道を示す、受信手段（ＲＭ）と、
前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の前記超高解像度ビデオコンテンツを分析することにより、前記ナビゲーション選択軌道上の局所ビデオ顕著性を決定するように構成されるビデオ顕著性決定手段（ＳＤＭ）と、
前記ナビゲーション選択軌道上の前記局所ビデオ顕著性に応じて、前記ナビゲーション選択軌道の特徴を適応させるように構成される特徴適応手段（ＣＡＭ）と
を備える、選択デバイス（ＳＤ）。
【請求項１０】
請求項８に記載のシステムで用いる、超高解像度ビデオコンテンツの少なくとも一部をクライアントデバイス（ＣＤ）へ送信するためのサーバであって、請求項９に記載の選択デバイス（ＳＤ）を備える、サーバ。
【請求項１１】
請求項８に記載のシステムで用いるネットワークエレメントであって、前記サーバ（Ｓ）および／または前記クライアントデバイス（ＣＤ）に接続され、請求項９に記載の選択デバイス（ＳＤ）を備える、ネットワークエレメント。
【請求項１２】
データ処理装置上で実行されたときに、請求項１から７のいずれか一項に記載の方法のステップを行うように構成されるソフトウェアを備える、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クライアントデバイスの制御下で超高解像度ビデオコンテンツ内をナビゲートする分野に関する。
【背景技術】
【０００２】
ユーザがたとえばモバイルデバイス（たとえばズーム可能ビデオ、ＦａｓｃｉｎａｔＥプロジェクトなど）においてパン−チルト−ズーム（ＰＴＺ）コマンドを用いてビデオコンテンツ内をナビゲートすることができる最新のインタラクティブ高解像度ビデオ消費アプリケーションでは、ユーザは、ある時刻ｔにおける自身の好みの視野の位置およびズームレベルを、数回のインタラクションにより定義できる。さらに、一般的には、ユーザは、ネットワークにおいて遠隔で利用可能であるが、解像度が大きすぎてユーザデバイス上で全体を表示できない、パノラマまたは高解像度のビデオコンテンツ内をナビゲートすることができる。そして、ユーザはコンテンツをズームインし、ビデオ内の動く物体を追跡することができる。これが意味するのは、パノラマコンテンツに対して、ユーザは、高解像度コンテンツの一部を選択し、この選択した部分のみを見ることができるが、あるいはこの視野を移動させて、高解像度ビデオコンテンツの空間部分、たとえばユーザのお気に入りのサッカープレーヤーを含む、またはボールを含む部分などを追尾（ｆｏｌｌｏｗ）または追跡（ｔｒａｃｋ）するようにすることもできるということである。
【０００３】
さらに、そのような高い空間解像度のビデオは、超高精細ビデオ（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  ｖｉｄｅｏ）とも呼ばれ、ますます一般的になっている。この種のコンテンツは、１フレームあたり１９２０×１０８０画素を有する、以降ＨＤと短縮される高解像度のビデオから、先進的な光学部品およびイメージセンサで直接取得されるかまたは複数のカメラからの縫合された視野から得られるさらに高い解像度まで、多岐にわたる。そのようなインタラクティブな高解像度ビデオアプリケーションでは、高解像度ビデオコンテンツの特定の一部を選択するためのインタラクションは、大変重宝されるが、行うのが容易ではないということが認められている。たとえば、サッカーの試合におけるボールのような動くコンテンツの場合、フィールドの一部または観客席（ｔｒｉｂｕｎｅ）の一部のようなコンテンツの静止部分にズームインするのは容易であるが、ユーザが所与のプレーヤーまたはボールを追跡しようとする場合には、所望の（高速で）動く物体または人物の速さおよび軌道に関するインタラクションの遅延またはインタラクションの感度が原因で、このユーザは、高解像度ビデオコンテンツの意図する部分を選択するためのインタラクションが、しばらくした後に退屈で面倒であると感じる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｂｏｒｊｉ，Ａ．、Ｓｉｈｉｔｅ，Ｄ．Ｎ．、およびＩｔｔｉ，Ｌ．（２０１３）、Ｑｕａｎｔｉｔａｔｉｖｅ  ａｎａｌｙｓｉｓ  ｏｆ  ｈｕｍａｎ−ｍｏｄｅｌ  ａｇｒｅｅｍｅｎｔ  ｉｎ  ｖｉｓｕａｌ  ｓａｌｉｅｎｃｙ  ｍｏｄｅｌｉｎｇ：Ａ  ｃｏｍｐａｒａｔｉｖｅ  ｓｔｕｄｙ、Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ、２２（１）、５５−６９頁
【非特許文献２】ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｔｅｎｔ＿ｄｅｌｉｖｅｒｙ＿ｎｅｔｗｏｒｋ
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施形態の目的は、知られている種類であるが、知られている解決方法の上述の短所または欠点が緩和または克服される、クライアントデバイスの制御下で超高解像度ビデオコンテンツ内をナビゲートするための方法、システムおよび関連するデバイスを提供することである。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、クライアントデバイスユーザナビゲーションコマンドの制御下で超高解像度ビデオコンテンツ内をナビゲートするための方法であって、ユーザナビゲーションコマンドを受信するステップであって、前記ユーザナビゲーションコマンドが前記超高解像度ビデオコンテンツのたとえばフレームを通る、前記クライアントデバイスのユーザのナビゲーション目標（ｎａｖｉｇａｔｉｏｎ  ｇｏａｌ）に向かうナビゲーション選択軌道（ｎａｖｉｇａｔｉｏｎ  ｓｅｌｅｃｔｉｏｎ  ｔｒａｊｅｃｔｏｒｙ）を示す、受信するステップと、前記超高解像度ビデオコンテンツを通る前記ナビゲーション選択軌道上の前記超高解像度ビデオコンテンツを分析することにより、前記ナビゲーション選択軌道上の局所ビデオ顕著性を決定するステップと、前記ナビゲーション選択軌道上の前記局所ビデオ顕著性に応じて、前記ナビゲーション選択軌道の特徴を適応させるステップとを備える、方法が提供される。
【０００７】
本発明の他の実施形態は、クライアントデバイスから発するユーザナビゲーションコマンドの制御下で超高解像度ビデオコンテンツ内をナビゲートするためのシステムであって、前記超高解像度ビデオコンテンツの少なくとも一部がサーバから前記クライアントデバイスへ送信され、前記システムは：
−  前記ユーザナビゲーションコマンドを受信するように構成される受信手段であって、前記ユーザナビゲーションコマンドが前記超高解像度ビデオコンテンツを通るナビゲーション軌道（ｎａｖｉｇａｔｉｏｎ  ｔｒａｊｅｃｔｏｒｙ）を示す、受信手段と、
−  前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の前記超高解像度ビデオコンテンツを分析することにより、前記ナビゲーション選択軌道上の局所ビデオ顕著性を決定するように構成されるビデオ顕著性決定手段と、
−  前記ナビゲーション選択軌道上の前記局所ビデオ顕著性に応じて、前記ナビゲーション選択軌道の特徴を適応させるように構成される特徴適応手段と
を備える、システムに関する。
【０００８】
本発明の他の実施形態は、上記のシステムで用いる選択デバイスであって、前記クライアントデバイスから発する前記ユーザナビゲーションコマンドの制御下で超高解像度ビデオコンテンツ内をナビゲートすることを支援するように構成され、前記選択デバイスは：
−  前記ユーザナビゲーションコマンドを受信するように構成される受信手段であって、前記ユーザナビゲーションコマンドが前記超高解像度ビデオコンテンツを通るナビゲーション軌道を示す、受信手段と、
−  前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の前記超高解像度ビデオコンテンツを分析することにより、前記ナビゲーション選択軌道上の局所ビデオ顕著性を決定するように構成されるビデオ顕著性決定手段と、
−  前記ナビゲーション選択軌道上の前記局所ビデオ顕著性に応じて、前記ナビゲーション選択軌道の特徴を適応させるように構成される特徴適応手段と
を備える、選択デバイスに関する。
【０００９】
本発明は、上記のシステムで用いる、超高解像度ビデオコンテンツの少なくとも一部をクライアントデバイスへ送信するためのサーバであって、上記の選択デバイスを備える、サーバに関する。
【００１０】
本発明は、上記のシステムで用いるネットワークエレメントであって、前記サーバおよび／または前記クライアントデバイスに接続され、上記の選択デバイスを備える、ネットワークエレメントに関する。
【００１１】
最後に、本発明は、データ処理装置上で実行されたときに、請求項１から７のいずれかに記載の方法のステップを行うように構成されるソフトウェアを備える、コンピュータプログラム製品に関する。
【００１２】
このようにして、任意選択でサーバにより、ユーザナビゲーションコマンドを受信したときに、ここでユーザナビゲーションコマンドは、クライアントデバイスのユーザのナビゲーション目標の方向の、前記超高解像度ビデオコンテンツのたとえばフレームを通るナビゲーション選択軌道を指すものであるが、超高解像度ビデオコンテンツを通るナビゲーション選択軌道上の前記超高解像度ビデオコンテンツを分析することでナビゲーション選択軌道上の局所ビデオ顕著性が決定され、続いて、前記ナビゲーション選択軌道上の決定された局所ビデオ顕著性に応じて、ナビゲーション選択軌道の特徴がクライアントデバイスのユーザのナビゲーション目標にさらに適合するように、ナビゲーション選択軌道の特徴が適応される。
【００１３】
局所ビデオ顕著性は、連続モードで決定、すなわちコンテンツの各フレームなどに対して決定され得、したがってその処理は、超高解像度ビデオコンテンツのフレームレートと同じレートなどで実行され得るか、または限られた数の離散的な瞬間において決定され得、すなわち顕著性は、フレームレートより低いレートで、したがってコンテンツのＮフレーム毎に、たとえば１２０フレーム毎秒のコンテンツに対して５フレーム毎に、決定され得る。
【００１４】
超高解像度ビデオコンテンツより低いフレームレートで局所ビデオ顕著性を決定することは、クライアントデバイスが、入力コンテンツと同じフレームレートでビデオフレームを表示できない（一部のスポーツコンテンツは１２０ｆｐｓまたは３００ｆｐｓでさえ利用可能であるが、タブレットＰＣは通常は２５から６０ｆｐｓしか復号できない）という事実が動機となり得る。
【００１５】
ユーザナビゲーションコマンド、たとえばＰＴＺコマンドは、ナビゲーションコマンドの現在地または開始点を考慮して、ナビゲーション選択軌道、たとえばそのようなクライアントデバイスのユーザが思い描くナビゲーション目標の方向の超高解像度ビデオコンテンツのたとえばフレームを通る経路を示す。ナビゲーション軌道の現在地または開始点は、前記サーバから前記クライアントデバイスへ送信され前記クライアントデバイスＣＤで描画されている前記超高解像度ビデオコンテンツの少なくとも一部に基づいてまたはそれを考慮して、決定される。
【００１６】
意図するナビゲーション選択軌道に沿ったナビゲーションを改良するために、超高解像度ビデオコンテンツが、このナビゲーション選択軌道上の局所ビデオ顕著性を決定するために分析される。局所ビデオ顕著性は、そのようなビデオにおけるナビゲーション選択軌道に存在する細部（ｄｅｔａｉｌ）の量に対する尺度である。
【００１７】
そのような低い局所ビデオ顕著性、中程度の局所ビデオ顕著性、または高い局所ビデオ顕著性は、たとえば青空、均一に塗られた壁、道路のように、ビデオにおける細部の量が少ないこと、たとえば統計的に均一なテクスチャであるが粗いもの（高周波コンテンツ、たとえば植物、芝生、木の葉、カーペット、カーテン、屋根の一部の地柄など）のように、細部の量が中程度であること、またはたとえば人々、顔、サッカーボールなど、空間的に顕著であるかもしくはその動きにより顕著であるもののように、ビデオ顕著性の度合いが高いことをそれぞれ表す。
【００１８】
続いて、決定された局所ビデオ顕著性に応じて、ナビゲーション選択軌道の特徴は適応されて、クライアントデバイスのユーザのナビゲーション目標により良く適合し得る。
【００１９】
本発明の一実施形態では、ナビゲーション選択軌道は、ビデオコンテンツを通るナビゲーション選択軌道における分析された位置でビデオ内の細部のレベルに最適に適合する適応した速度で通過され得る。
【００２０】
ナビゲーション軌道は、標準的な速度で通過され得るが、有利にはさらに、局所ビデオ顕著性が低い状況、すなわち、ナビゲーション選択軌道上で、青空、均一に塗られた壁、道路など、ビデオ情報に相対的にほとんど変化がない場合、または局所ビデオ顕著性が相対的に高い場合、すなわち、ナビゲーション選択軌道上で、人々、顔、サッカーボールなどのように空間的に顕著であるかまたはその動きのために顕著である物体など、ビデオ情報に非常に大きい変化がある場合にそれぞれ、加速された速度または減速された速度で通過され得る。
【００２１】
本発明のさらなる実施形態は、前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の局所ビデオ顕著性が低い場合、ナビゲーションの速さが増加し、前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の局所ビデオ顕著性が高い場合、ナビゲーションの速さが減少する、上記の超高解像度ビデオコンテンツ内をナビゲートするための方法に関する。
【００２２】
ナビゲーション選択軌道は、ズームイン／アウトインタラクション、あるいはズームおよびパンまたはチルトの組合せを含んでもよく、ここで、ズームの場合、その選択の平均的な顕著性は一般的に変化し、現在の選択において局所ビデオ顕著性が平均的に低い状況、または現在の選択において局所ビデオ顕著性が高い状況においてそれぞれ、ズームインまたはズームアウトの速さは、加速または減速されてもよい。
【００２３】
ナビゲーション選択軌道上の超高解像度ビデオコンテンツが分析されるので、局所ビデオ顕著性は、（古典的なＣａｎｎｙ、Ｓｏｂｅｌ、Ｐｒｅｗｉｔｔなどのオペレータ、または、マルチスケールもしくは多重解像度フィルタバンクに基づいたより高度な画像処理アルゴリズム、たとえば離散ウェーブレット、Ｇａｂｏｒフィルタ、Ｈａａｒウェーブレット、有向スペクトルフィルタ（すなわち高速フーリエ変換に基づいて設計されたもの）などを用いた）エッジの密度などの画素レベル分析、または特徴点検出器あるいはテクスチャ分析アルゴリズムにより決定され得る。
【００２４】
顕著性、すなわち先に引用した分析フィルタに対する測定された応答の重要度を定量化するために、切替点が相対的に低い顕著性値と相対的に高い顕著性値との間に設定されなければならず、通常は、これは尖度推定により、または超高解像度ビデオコンテンツの種類に適する事前定義された値の範囲を用いて行われ、詳しくは：Ｂｏｒｊｉ，Ａ．、Ｓｉｈｉｔｅ，Ｄ．Ｎ．、およびＩｔｔｉ，Ｌ．（２０１３）、Ｑｕａｎｔｉｔａｔｉｖｅ  ａｎａｌｙｓｉｓ  ｏｆ  ｈｕｍａｎ−ｍｏｄｅｌ  ａｇｒｅｅｍｅｎｔ  ｉｎ  ｖｉｓｕａｌ  ｓａｌｉｅｎｃｙ  ｍｏｄｅｌｉｎｇ：Ａ  ｃｏｍｐａｒａｔｉｖｅ  ｓｔｕｄｙ、Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ、２２（１）、５５−６９頁を参照されたく、これは引用により含まれる。
【００２５】
本発明の他の実施形態は、前記ナビゲーション選択軌道の前記特徴が、ナビゲーションの速さおよび方向を含む、上記の超高解像度ビデオコンテンツ内をナビゲートするための方法に関する。
【００２６】
前記ナビゲーション選択軌道の特徴は、ナビゲーションの速さおよび方向を含む。
【００２７】
本発明の一実施形態は、前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の前記超高解像度ビデオコンテンツの前記分析が、前記ナビゲーション軌道上のエッジ遷移の計数を含む、上記の超高解像度ビデオコンテンツ内をナビゲートするための方法に関する。
【００２８】
前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の前記超高解像度ビデオコンテンツの分析は、前記ナビゲーション軌道上のエッジ遷移の計数を含んでもよい。
【００２９】
前記ナビゲーション軌道上のエッジ遷移の数を決定することにより、意図する軌道上のビデオの相違の度合いが決定され、というのは、ごく小数のエッジ遷移しか生じない場合、ビデオ内にはごく小数の変化しか存在しないためであり、これは、たとえば青空、均一に塗られた壁、道路などの場合である。
【００３０】
他方、非常に多数の変化が生じる場合、ビデオ内に多数の変化が存在し、これは、たとえば植物（木々、芝生、花々など）、人ごみ、動いているまたは静止している物体の境界、夜の花火などの状況である。
【００３１】
使用される顕著性を測定するために用いられるアルゴリズムに応じて、より高い顕著性の値が、意味論的により興味深いことが知られている大きい変動に対して、測定され得る。
【００３２】
たとえば、エッジ変動の尺度と組み合わせた顔検出アルゴリズムを用いることで、人物の顔または群衆の中の顔に対して、木の葉に対してよりも高い顕著度が与えられる（葉は画素強度の点でより多くの変動を有し得るが）。さらに、顕著度は、時間の側面を統合することもでき、すなわち、大きい変動が動きの観点で生じることがあり（風と共に動いている物体、走っている人々、回転しているボール）、一方、小さい変動が動きの観点で生じることがある（典型的には静止物体、領域）。ここで繰り返して述べるが、たとえば、時間的に周期的な動き（波、風、水の落下）に対して、ある期間に特有の物体の動き（ある方向のボールの回転、プレーヤーの方向変化など）に対してよりも低い顕著性値を与えることにより、顕著性尺度は、意味論的興味の尺度を統合することができる。
【００３３】
本発明のさらに他の実施形態は、前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の前記超高解像度ビデオコンテンツの前記分析が、前記ナビゲーション軌道上の輝度コンテンツ（ｌｕｍｉｎａｎｃｅ  ｃｏｎｔｅｎｔ）の遷移または相違の決定を含む、上記の超高解像度ビデオコンテンツ内をナビゲートするための方法に関する。
【００３４】
前記超高解像度ビデオコンテンツを通る前記ナビゲーション軌道上の前記超高解像度ビデオコンテンツの分析は、前記ナビゲーション選択軌道上の輝度コンテンツの遷移または相違の決定を含む。
【００３５】
ナビゲーション選択軌道上の輝度の相違における遷移の数を決定することにより、顕著性が決定され、というのは、ごく小数の輝度遷移しか生じない場合、ビデオ内にはごく小数の変化しか存在しないためであり、これは、たとえば青空、均一に塗られた壁、道路などの場合である。
【００３６】
本発明の追加の実施形態は、前記ナビゲーション選択コマンドが、パン−チルト−ズームコマンドを含む、上記の方法に関する。
【００３７】
本発明による方法では、ナビゲーションコマンドは、パン−チルト−ズームコマンドを含む。ナビゲーションコマンドは、クライアントデバイスから発するパン−チルト−ズーム（ＰＴＺ）コマンドを含んでもよい。
【００３８】
前記サーバから前記クライアントデバイスへ送信中の前記超高解像度ビデオコンテンツの少なくとも一部を考慮したナビゲーションコマンドにより、ナビゲーションコマンド、すなわちＰＴＺコマンドが、現在送信中および提示中のビデオコンテンツに関連し、ＰＴＺコマンドに対応するナビゲーションおよび／または選択アクションが、現在送信中および再生中のビデオコンテンツに対して行われる。
【００３９】
さらなる実施形態は、前記ナビゲーション選択コマンドが、コンテンツの基準座標を含む、上記の方法に関する。
【００４０】
本発明による方法の他の実施形態では、ナビゲーションコマンドは、コンテンツの基準座標を含むコマンドを含み、そのような座標の各々は、超高解像度ビデオコンテンツ内の単一の画素を指す。ナビゲーションコマンドは、ユーザのクライアントデバイスから発するコンテンツの基準座標を含んでもよく、ここでユーザは超高解像度ビデオコンテンツの少なくとも一部の特定の要素を指すことを意図する。
【００４１】
本システムの記載された機能的手段は、さらなる添付の請求項に記載された、第１の通信デバイスおよび／または１つまたは複数のさらなるネットワークエレメント、たとえばサーバデバイスなどにわたって、分散されてもよいことに注意されたい。
【００４２】
本発明の実施形態による装置およびシステムの効果および利点は、本発明の実施形態による対応する方法のそれらと実質的に同一であり、適宜変更される。
【００４３】
「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、特許請求の範囲で用いられるが、以降列挙される手段に限定されるものとして解釈されるべきではないことに注意されたい。したがって、「手段ＡおよびＢを備えるデバイス」という表現の範囲は、コンポーネントＡおよびＢのみからなるデバイスに限定されるべきではない。それが意味するのは、本発明に関して、デバイスの単に関連するコンポーネントが、ＡおよびＢであるということである。
【００４４】
同様に、「接続された（ｃｏｕｐｌｅｄ）」という用語は、同じく特許請求の範囲で用いられるが、直接接続のみに限定されるものとして解釈されるべきではないことに注意されたい。したがって、「デバイスＢに接続されたデバイスＡ」という表現の範囲は、デバイスＡの出力がデバイスＢの入力に直接接続されているデバイスまたはシステムに限定されるべきではない。これが意味するのは、Ａの出力とＢの入力との間の経路であって、他のデバイスまたは手段を含む経路であり得るものが存在するということである。
【００４５】
添付の図面と併せて実施形態の以下の説明を参照することで、本発明の上記および他の目的および特徴がより明らかとなり、本発明自体が最もよく理解されよう。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施形態による、クライアントデバイスＣＤおよびサーバＳを備える、超高解像度ビデオコンテンツ内をナビゲートするためのシステムの機能構造を表す図である。
【図２】本発明の一実施形態によるデバイスＳＤの機能表現を表す図である。
【図３】選択デバイスがクライアントデバイスＣＤに含まれる、超高解像度ビデオコンテンツ内をナビゲートするためのシステムの機能構造を表す図である。
【発明を実施するための形態】
【００４７】
説明および図面は、単に本発明の原理を例示するにすぎない。したがって、本明細書では明示的に説明したり図示したりしないが、本発明の原理を具体化し、その趣旨および範囲に含まれる様々な構成を当業者が考案できるであろうことは理解されよう。さらに、本明細書に列挙された全ての実施例は、主に、本発明の原理および本発明者（ら）により当技術の促進へ捧げられた概念を理解する際に読者を補助するという教育上の目的のためのものにすぎないことが明らかに意図され、そのように具体的に列挙された実施例および条件に制限されないものと解釈されたい。さらに、本発明の原理、態様、および実施形態、ならびにそれらの具体的な実施例を列挙する本明細書の全ての記述は、それらの均等物を含むことを意図する。
【００４８】
本明細書の任意のブロック図が、本発明の原理を具体化する例示の回路の概念図を表すことは、当業者により理解されたい。同様に、任意のフローチャート、フロー図、状態遷移図、疑似コードなどが、コンピュータ可読媒体内に実質的に表され、したがってコンピュータまたはプロセッサにより、そのようなコンピュータまたはプロセッサが明示的に示されていようといまいと、実行され得る様々な処理を表すことは理解されよう。
【００４９】
以下の段落では、図１の図面を参照して、クライアントデバイスＣＤから発するユーザナビゲーションコマンドの制御下で、超高解像度ビデオコンテンツ内をナビゲートするためのシステムであって、超高解像度ビデオコンテンツの少なくとも一部がサーバＳからクライアントデバイスＣＤへ送信される、システムの実装が説明される。その後、図１に示された本システムの記載されるクライアントデバイスＣＤおよびサーバＳの全ての関連する機能手段が説明され、続いて全ての相互接続が説明される。
【００５０】
以下の段落では、図２を参照して、本発明の一実施形態によるクライアントデバイスの制御下で超高解像度ビデオコンテンツ内をナビゲートすることを支援するように構成されるデバイスＳＤの実装が説明される。その後、図１に示された本システムのデバイスＳＤの全ての関連する機能手段が説明され、続いて全ての相互接続が説明される。
【００５１】
後に続く段落では、本システムの実際の実行が説明される。
【００５２】
本システムの第１の必須要素は、サーバＳであって、サーバＳは、超高解像度ビデオコンテンツをサーバＳに含まれるまたは接続されるビデオリポジトリからクライアントデバイスＣＤへ送信するように構成される。
【００５３】
サーバＳによる超高解像度ビデオコンテンツの送信は、ストリーミング、またはより一般的には、任意の適するビデオ伝送プロトコルを用いた、複数のクライアントデバイスのうちの少なくとも１つのクライアントデバイスＣＤへのこのビデオコンテンツの送信でもよい。
【００５４】
サーバＳは、コンテンツクラスタの要素、またはマルチメディアコンテンツデリバリネットワーク（ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｔｅｎｔ＿ｄｅｌｉｖｅｒｙ＿ｎｅｔｗｏｒｋ参照）におけるサービスノードでもよい。
【００５５】
このサーバは、コンテンツデリバリネットワークにおけるサーバでもよく、あるいは代わりにクラウド環境におけるサーバ機能性の仮想化、またはいくつかのデバイスに分散されたプロセス、またはＧＰＵファームなどでもよい。
【００５６】
クライアントデバイスＣＤは、サーバＳにより送信される超高解像度ビデオコンテンツを受信するように構成される。
【００５７】
クライアントデバイスＣＤは、サーバＳによりクライアントデバイスＣＤへストリーミングされるマルチメディア資産をレンダリングするためのスクリーンおよび一組のスピーカーを備えたＩＰ接続されたコンピュータ端末でもよく、またはインターネットにセットトップボックスを介して接続されたＩＰＴＶ接続テレビでもよく、このデバイスも同様に、ストリーミングされるマルチメディア資産をレンダリングするためのスクリーンおよび一組のスピーカーを備え、あるいは代わりに、接続されたテレビ、タブレットＰＣ、他のＰＣたとえば固定ＰＣまたはラップトップＰＣ、スマートフォン、Ｋｉｎｅｃｔセンサおよび／またはゲームパッドまたはジョイスティックに接続されたＴＶ、またはゲームコンソールなどでもよい。
【００５８】
サーバＳおよびクライアントデバイスＣＤは、ＤＳＬモデムが接続されたデジタル加入者線アクセスネットワークまたはケーブルネットワークなどのアクセスネットワーク、スマートフォンまたはタブレットデバイスが接続されたモバイル通信アクセスネットワーク、またはその他の適切な通信ネットワークおよびコアインターネットネットワークなどの連結を任意選択で含む、任意の適切な通信ネットワークＣＮを介して接続されてもよい。
【００５９】
この実施形態では、ビデオコンテンツリポジトリＶＲは、任意の種類の高速で信頼性の高い接続を介してサーバＳと接続される（高解像度コンテンツのため、そのような接続は好ましくは光ファイバ技術またはイーサネット（登録商標）ケーブルであるとよい）。ＶＲのコンテンツはまた、サーバの高速アクセスＳＳＤドライブにキャッシュされ得る。
【００６０】
そのようなシステムは通常は複数のそのようなクライアントデバイスを含むが、簡単のため、クライアントデバイスＣＤのみが開示されることに注意されたい。
【００６１】
サーバＳの第１の必須手段は、任意選択で前記サーバＳから、前記クライアントデバイスＣＤへ送信中の超高解像度ビデオコンテンツの少なくとも一部を考慮して、クライアントデバイスＣＤのナビゲーションコマンドに基づいて、前記超高解像度ビデオコンテンツ内をナビゲートすることを支援するように構成される選択デバイスＳＤである。サーバＳは、前記超高解像度ビデオコンテンツに関連するコンテンツデータと組み合わせて、（前記サーバＳから）前記クライアントデバイスＣＤへ送信中の前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、ナビゲーションコマンドに基づいて、前記超高解像度ビデオコンテンツから前記空間部分を選択するように構成される選択手段ＳＰＳＭをさらに備える。さらに、符号化手段ＥＭは、クライアントデバイスＣＤが選択された空間部分を再生するのに適したフォーマットで、超高解像度ビデオコンテンツの選択された空間部分を符号化するように構成される。
【００６２】
サーバＳは、クライアントデバイスＣＤへの送信のための複数の超高解像度ビデオコンテンツ資産を維持するように構成されたビデオコンテンツリポジトリＶＲを含んでもよい。ビデオコンテンツリポジトリＶＲは代わりに、他のネットワークエレメントに収容されてもよく、サーバＳに接続されてもよい。
【００６３】
選択デバイスＳＤは、任意選択でサーバＳに含まれてもよいものであるが、前記超高解像度ビデオコンテンツを取得するように構成されるビデオコンテンツ受信手段ＶＣＲＭを備える。
【００６４】
さらに、選択デバイスＳＤは、ユーザナビゲーションコマンドを受信するように構成される受信手段ＲＭであって、ここでユーザナビゲーションコマンドは超高解像度ビデオコンテンツを通るナビゲーション軌道を指す、受信手段ＲＭと、超高解像度ビデオコンテンツを通るナビゲーション軌道上の超高解像度ビデオコンテンツを分析することで、ナビゲーション選択軌道上の局所ビデオ顕著性を決定するように構成されるビデオ顕著性決定手段ＳＤＭと、前記ナビゲーション選択軌道上の前記局所ビデオ顕著性に応じて、ナビゲーション選択軌道の特徴を適応させるように構成される特徴適応手段ＣＡＭとを備えても良い。ここで注意されたいのは、選択デバイスＳＤは、代わりに分離したネットワークエレメントでもよく、コアネットワークエレメントのような他のネットワークエレメントに含まれてもよく、クライアントデバイスにさえ配置される可能性があり、セットトップボックスのようにクライアントデバイスの近くに配置されることもあるということであり、これが意味するのは、局所顕著性決定が、サーバＳでこの決定を行うよりむしろ、クライアントデバイスにおいて行われる可能性があるということである。そして、コマンドの適応もまたそのデバイスで行われることがあり、そのときサーバは単純に空間部分選択を要求通りに送信する。クライアントデバイスＣＤに配置された選択デバイスＳＤは、単に、（顕著性に基づいて適応された）ユーザコマンドをサーバへ送信し、サーバは、ビデオとして符号化された選択部分を返送し、その状況が図３に示される。
【００６５】
選択デバイスＳＤの受信手段ＲＭは、出力が顕著性決定手段ＳＤＭの入力に接続され、さらに入力端子を有し、これは同時に選択デバイスＳＤの入力端子Ｉ０でもある。デバイスＳＤの顕著性決定手段ＳＤＭはさらに、出力が特徴適応手段ＣＡＭの入力と接続され、入力端子を有し、これはビデオコンテンツ受信手段ＶＣＲＭの出力端子に接続される。ビデオコンテンツ受信手段ＶＣＲＭはさらに、入力端子を備え、これは同時に選択デバイスＳＤの入力端子Ｉ１でもあり、また追加の出力を備え、これは同時に選択デバイスＳＤの出力端子Ｏ０でもある。特徴適応手段ＣＡＭはさらに、出力端子を有し、これは同時に選択デバイスＳＤの出力端子Ｏ０でもある。
【００６６】
クライアントデバイスＣＤは、クライアントデバイスへ送信するための前記超高解像度ビデオコンテンツの空間部分の選択を行うように構成される空間部分選択手段ＳＳＭを備える。
【００６７】
その選択は、クライアントデバイスにおいてパン−チルト−ズーム（ＰＴＺ）コマンドなどのユーザナビゲーションコマンドを生成することで行われ、その生成は、現在クライアントデバイスＣＤに送信されておりそのようなクライアントデバイスＣＤのディスプレイで提示されている超高解像度ビデオコンテンツの選択が可能な、そのようなクライアントデバイスのユーザの制御下で行われる。
【００６８】
ユーザナビゲーションコマンド、すなわちパン−チルト−ズーム（ＰＴＺ）コマンド、およびクライアントの状況、すなわち現在の描画のために前記クライアントデバイスＣＤへ現在送信中の前記超高解像度ビデオコンテンツの空間部分は、部分選択手段ＳＳＭにより取得され、クライアントにより送信された相対的なコマンドをコンテンツの基準座標にリンクさせ、ここで、コンテンツの基準座標は超高解像度ビデオコンテンツの現在表示中のフレーム内の位置である。超高解像度ビデオコンテンツの基準座標系は通常、一対の２Ｄの（ｘ，ｙ）整数座標を、超高解像度ビデオコンテンツの各画素に関連付けるので、コンテンツの画素と、基準座標系における整数座標の対との間の全単射が得られる。
【００６９】
基準座標系におけるユーザインタラクションからのコンテンツの基準座標の計算は、画素精度である必要はなく、所与の速さの相対的な動きは、パラメータ化可能な誤り耐性を有するクライアント部分選択手段ＳＳＭによりコンテンツの基準座標系における新しいコンテンツの基準座標位置に変換され、通常、推定された座標が（基準座標系における非整数座標である）サブ画素位置となる場合は、最近傍画素位置（したがって整数座標）へのキャストが実施されることになる。
【００７０】
クライアントデバイスＣＤは、前記超高解像度ビデオコンテンツに関連するコンテンツデータと組み合わせて、任意選択で前記サーバＳから、前記クライアントデバイスＣＤへ送信中の前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、前記選択情報に基づいて、前記超高解像度ビデオコンテンツからの受信した選択された空間部分を復号するように構成される復号手段ＤＭをさらに備える。
【００７１】
クライアントデバイスＣＤは少なくとも、前記超高解像度ビデオコンテンツからの受信した選択された空間部分と、加えて利用可能音声とを提示するためのディスプレイおよび／またはスピーカーをさらに備える。
【００７２】
クライアントデバイスＣＤは、現在送信されている超高解像度ビデオコンテンツの空間部分を選択するための手段をさらに備える。そのような選択手段は、タッチスクリーン、クライアントデバイスに接続されたマウス、ジェスチャセンサ、またはクライアントデバイスＣＤのユーザのパン−チルト−ズーム（ＰＴＺ）命令を検出するための任意の他のセンサでもよい。
【００７３】
本発明を説明するために、まず、ユーザが現在あるサッカーの試合を、タブレットまたはＩＰＴＶシステムのスクリーンで視聴していると仮定する。対応する超高解像度ビデオコンテンツが、ストリーミングによりサーバＳからクライアントデバイスＣＤへ送信されている。ユーザはある瞬間、ＰＴＺコマンドを適用して、ボールを追跡することを望む。ユーザはこのＰＴＺコマンドを、タブレットＰＣの（タッチ）スクリーンをタッチすることで、または、必要なジェスチャ検出および認識処理を有するタブレット上のカメラなどの専用のジェスチャセンサ、もしくはタブレット上に存在し得る加速度計センサにより検出されるジェスチャを行うことで、あるいは音／音声（ａｕｄｉｏ／ｓｐｅｅｃｈ）コマンドを用いることで、生成する。
【００７４】
従来技術の状況では、この、ボールに触れているプレーヤーを伴うボールのような物体を追跡するためのビデオの空間部分を選択することは、大変重宝されるが、行うのは簡単ではない。所望の（高速で）動く物体または人物の速さおよび軌道に関するインタラクションの遅延またはインタラクションの感度が原因で、ユーザは、高解像度ビデオコンテンツの意図する部分を選択するためのインタラクションが、しばらくした後に退屈で面倒であると感じる。
【００７５】
しかしながら本発明の状況では、ユーザはまたある瞬間に、ＰＴＺコマンドを適用して、ボールを追跡することを望む。ユーザは、タブレットＰＣの（タッチ）スクリーンをタッチすることで、またはジェスチャを行うことで、このＰＴＺコマンドを生成し、ジェスチャは、Ｋｉｎｅｃｔなどの構造化光センサのような専用のジェスチャセンサ、またはユーザデバイスもしくはウェアラブルデバイスなどで利用可能な加速度計センサにより、あるいはビデオベースのジェスチャ認識アルゴリズムを用いて検出されると仮定する。ボールおよびボールの位置のプレーヤーを含む超高解像度ビデオコンテンツの空間部分を選択するためのそのようなＰＴＺコマンドは、または言い換えればボールを持っているプレーヤーを伴うボールを追跡するためのＰＴＺコマンドは、クライアントデバイスＣＤの空間部分選択手段ＳＳＭにより、任意選択でサーバＳに含まれる、選択デバイスＳＤの受信手段ＲＭへ送信され、サーバＳは、前記クライアントデバイスＣＤからユーザナビゲーションコマンドを受信して、前記超高解像度ビデオコンテンツを通るナビゲーション軌道を決定する。
【００７６】
したがって、ユーザナビゲーションコマンド、たとえばＰＴＺコマンドは、ナビゲーションコマンドの現在地または開始点、すなわち前記クライアントデバイスＣＤへ現在送信中の前記超高解像度ビデオコンテンツの空間部分を考慮して、ナビゲーション選択軌道、たとえばそのようなクライアントデバイスのユーザが思い描くナビゲーション目標の方向の超高解像度ビデオコンテンツのたとえばフレームを通る経路を示す。
【００７７】
続いて、または同時に、ビデオ顕著性決定手段ＳＤＭは、超高解像度ビデオコンテンツを通るナビゲーション軌道上の超高解像度ビデオコンテンツを連続的に分析することで、ナビゲーション選択軌道における局所ビデオ顕著性を決定する。
【００７８】
意図するナビゲーション選択軌道に沿ったナビゲーションを改良するために、超高解像度ビデオコンテンツが、このナビゲーション選択軌道上の局所ビデオ顕著性を決定するために分析され、ここで局所ビデオ顕著性は、そのようなビデオ内のナビゲーション選択軌道に存在する細部の量に対する尺度である。
【００７９】
低い局所ビデオ顕著性は、たとえば青空、均一に塗られた壁、道路のように、ビデオにおける細部の量が少ないことを表す。次に、中程度の局所ビデオ顕著性は、たとえば統計的に均一なテクスチャであるが粗いもの（高周波コンテンツ、たとえば植物、芝生、木の葉、カーペット、カーテン、屋根の一部の地柄など）のように、細部の量が中程度であることを表し、最後に、高い局所ビデオ顕著性は、たとえば人々、顔、サッカーボールなど、空間的に顕著であるかまたはその動きにより顕著であるもののように、ビデオ顕著性の度合いが高いことを表す。
【００８０】
ユーザはＰＴＺコマンドでボールを追跡しようとし、まず青空を含む空間部分を閲覧して、ボールに向かい、その青空は少量の細部しか含まず均一に分布していると仮定する。したがって、顕著性決定手段ＳＤＭは、まずナビゲーション選択軌道上の超高解像度ビデオコンテンツ、すなわち青空を分析し、分析の結果に基づいて、ナビゲーション選択軌道の意図する位置では局所ビデオ顕著性が低いと決定する。ナビゲーション軌道上の青空の決定された低いビデオ顕著性に基づいて、特徴適応手段ＣＡＭは、ナビゲーション選択軌道の特徴を、前記ナビゲーション選択軌道上の前記局所ビデオ顕著性に応じて適応させる。したがって、決定された低いビデオ顕著性に基づいて、この場合速さであるナビゲーション選択軌道の特徴は増加し、というのは、ナビゲーション選択軌道の現在の部分が、ほんの少しの情報、すなわち青空しか含まないためである。したがって、ナビゲーション選択軌道の現在通過中の部分にほとんど情報が存在しないので、ナビゲーション軌道は、加速した速度で通過され得る。
【００８１】
続いて、ボールの経路はサッカー場のグラウンドに着地し、芝生を転がって進むと仮定する。ここで、顕著性決定手段ＳＤＭはさらに、現在地、すなわちナビゲーション選択軌道上に位置し、前記クライアントデバイスＣＤに現在送信中であり現在クライアントデバイスＣＤで描画中の、前記超高解像度ビデオコンテンツの空間部分における、ナビゲーション選択軌道上の超高解像度ビデオコンテンツを分析し、分析の結果に基づき、ナビゲーション選択軌道の意図する位置では局所ビデオ顕著性が平均的であると決定する。決定された平均的なビデオ顕著性に基づいて、特徴適応手段ＣＡＭは、ナビゲーション選択軌道の特徴を、前記ナビゲーション選択軌道上の前記局所ビデオ顕著性に応じて適応させる。したがって、決定された低いビデオ顕著性に基づいて、この場合速さであるナビゲーション選択軌道の特徴は、元の通常または平均的な速さへ減少し、というのは、ナビゲーション選択軌道の現在の部分が、軌道上の現在地、すなわち統計的に均一なテクスチャであるが粗い（高周波コンテンツである）、中程度の量の細部を含む構造を有する芝生においては、平均的な量の情報しか含まないためである。したがって、ナビゲーション選択軌道の現在通過中の部分に平均的な量の情報が存在するので、ナビゲーション軌道は、平均的な速度まで減速した速さで通過され得る。
【００８２】
あるいは、ユーザは続いてＰＴＺコマンドを用いてボールを追跡しようとし、さらに、異なるチームも含む複数のサッカープレーヤーに囲まれているボールを含む空間部分を閲覧し、このシーンおよびこの意図するシーンを通るナビゲーション軌道は、ボールを支配しているプレーヤーを伴うボールである、シーンにおける正しい物体を区別することを困難にする多くの情報を含むと仮定する。
【００８３】
したがって、顕著性決定手段ＳＤＭはさらに、ナビゲーション選択軌道上の現在地、すなわち、前記クライアントデバイスＣＤに現在送信中でありクライアントデバイスＣＤで現在描画中の、ナビゲーション選択軌道上の前記超高解像度ビデオコンテンツの空間部分における超高解像度ビデオコンテンツを分析し、分析の結果に基づいて、さらに、ナビゲーション選択軌道の意図する位置では局所ビデオ顕著性が高いと決定する。決定された高いビデオ顕著性に基づいて、特徴適応手段ＣＡＭは、ナビゲーション選択軌道の特徴を、前記ナビゲーション選択軌道上の前記局所ビデオ顕著性に応じて適応させる。したがって、決定された高いビデオ顕著性に基づいて、この場合速さであるナビゲーション選択軌道の特徴は再び減速し、というのは、ナビゲーション選択軌道の現在の部分が、多くの情報、すなわちボールを囲む異なるチームの複数のサッカープレーヤーを含むためである。したがって、ナビゲーション選択軌道の現在通過中の部分に多くの情報が存在するので、ナビゲーション軌道は、減速した速度で通過され得る。
【００８４】
したがって、このように、決定された局所ビデオ顕著性に応じて、ナビゲーション選択軌道の特徴は適応されて、クライアントデバイスのユーザのナビゲーション目標により良く適合し得る。サーバＳからクライアントデバイスＣＤへ現在送信中の超高解像度ビデオコンテンツの空間部分に存在する多くの情報がある場合、現在の空間部分がユーザが探している情報を実際に含むかをユーザが判断するのは困難である。したがって、ナビゲーション選択基準上のナビゲーションの速さが減速して、ユーザは、その空間部分が自分が探している情報を実際に含むか否かをより良く判断できる。
【００８５】
逆に、サーバＳからクライアントデバイスＣＤへ現在送信中の超高解像度ビデオコンテンツの空間部分に存在する情報がほとんどない場合、画像がおおむね類似しているので、現在の空間部分がユーザが探している情報を実際に含むかをユーザが判断するのは困難ではない。したがって、ナビゲーション選択基準上のナビゲーションの速さが加速されることがあり、というのは、ユーザはその空間部分がユーザが探している情報を含まないとすぐに気づくからである。
【００８６】
続いて、選択手段ＳＰＳＭは、選択デバイスＳＤにより渡されるナビゲーション選択軌道上の現在地に基づいて、前記超高解像度ビデオコンテンツから空間部分を選択し、ここで、空間部分はコンテンツの基準座標により識別可能である。
【００８７】
したがって、まず、選択手段ＳＰＳＭは、サーバＳからクライアントデバイスＣＤへ送信されクライアントデバイスＣＤのスクリーンに提示されている超高解像度ビデオコンテンツの全部または空間部分である、前記サーバＳからクライアントデバイスＣＤへ送信中の超高解像度ビデオコンテンツの少なくとも一部を考慮して、受信したＰＴＺコマンド、すなわちボール追跡コマンドを解釈する。選択手段ＳＰＳＭは、クライアントデバイスＣＤのスクリーンにおける現在の視野を考慮しながら、クライアントデバイスの画面で受信および提示中の超高解像度ビデオコンテンツの全部または空間部分において、受信したＰＴＺコマンドを適用し、ＰＴＺ選択または追跡コマンドを適用する。ＰＴＺ選択コマンドにより示される空間部分は、最初に、選択手段ＳＰＳＭにより選択される。選択された部分、すなわちボールを持っているプレーヤーを伴うボールは非常に速く動いているので、おそらくその選択はまだ最適に行われておらず、すなわちその選択は動いているボールの一部を含んでいるが、意図するプレーヤーは、選択された空間部分内では見えない。
【００８８】
クライアントデバイスのユーザが、ＰＴＺ選択コマンドにより、関心領域（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）、たとえばボールおよびボールを持っているプレーヤーを含む関心領域に関する超高解像度ビデオコンテンツの一部を含むかまたはその近くにあるビデオコンテンツの空間部分を選択した場合、選択手段ＳＰＳＭは、その空間部分がボールおよびボールを持っているプレーヤーを含む意図する関心領域を含むように、空間部分の選択を導く。
【００８９】
選択手段ＳＰＳＭは、ボールおよびボールを持っているプレーヤーを含む意図する関心領域に対応して、ビデオコンテンツ受信手段ＶＣＲＭにより接続されたビデオリポジトリＶＲから取り出される超高解像度ビデオコンテンツの空間部分を順に生成する。
【００９０】
続いて、選択手段ＳＰＳＭは、意図する関心領域を含む超高解像度ビデオコンテンツの空間部分を出力し、ここで、意図する関心領域は、ボールおよびボールを持っているプレーヤーを含み、符号化手段ＥＭに転送され、符号化手段ＥＭは超高解像度ビデオコンテンツの空間部分をクライアントデバイスＣＤで表示するのに適したフォーマットに符号化するためのものである。
【００９１】
タブレットＰＣの場合、符号化されたビデオのフォーマットは、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ、それらのスケーラブルな拡張、またはＶＰ８もしくはＶＰ９フォーマットなどの放送フォーマットでもよく、あるいはクライアントデバイスＣＤがＩＰ接続されたテレビである場合、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ、またはそれらのスケーラブルな拡張、またはＶＰ８もしくはＶＰ９フォーマット、または任意の他の適切なフォーマットなどの放送フォーマットでもよい。
【００９２】
本発明の一実施形態では、超高解像度ビデオコンテンツが３次元ビデオを含んでもよいことに注意されたい。
【００９３】
最後に、ボールおよびボールを持っているプレーヤーを含む超高解像度ビデオコンテンツの符号化された空間部分は、クライアントデバイス復号手段ＤＭに送信され、クライアントデバイス復号手段ＤＭはさらに、超高解像度ビデオコンテンツのその部分をクライアントデバイスの手段に渡し、その手段は、超高解像度ビデオコンテンツのその部分を表示するためのものである。
【００９４】
本発明の一実施形態では、ナビゲーション選択軌道は、ビデオコンテンツを通るナビゲーション選択軌道における分析された位置において、ビデオ内の細部のレベルに最適に合致する適応された速度で通過され得る。
【００９５】
ナビゲーション軌道は、標準的な速度で通過され得るが、有利にはさらに、局所ビデオ顕著性が低い状況、すなわち、ナビゲーション選択軌道上で、青空、均一に塗られた壁、道路など、ビデオ情報に相対的にほとんど変化がない場合、または局所ビデオ顕著性が相対的に高い場合、すなわち、ナビゲーション選択軌道上で、人々、顔、サッカーボールなどのように空間的に顕著であるかまたはその動きのために顕著である物体など、ビデオ情報に非常に大きい変化がある場合にそれぞれ、加速された速度または減速された速度で通過され得る。
【００９６】
さらに、本実施形態では、本発明が実施および実行されるクライアント−サーバアーキテクチャを説明しているが、ピアツーピアアーキテクチャ、クラウドアーキテクチャ、ハードウェアアーキテクチャ、および互いの中間の形態で、実施および実行される可能性もあることに注意されたい。
【００９７】
選択デバイスＳＤは代わりに、分離したネットワークエレメントに含まれてもよく、または図４参照のコアネットワークエレメントなどの他のネットワークエレメントに含まれてもよく、またはクライアントデバイスにさえ配置される可能性があり、またはクライアントデバイスの近くに、図３を参照されたいが、もしくはセットトップボックスなどに配置されることもあることに注意されたい。これが意味するのは、最後の場合において、局所顕著性の決定は、この決定をサーバＳで行うよりもむしろ、クライアントデバイスで行われ得るということである。そして、コマンドの適応は、このデバイスで行われることもあり、その際サーバは単に要求されたようにその選択を送信する。
【００９８】
ＣＡＭにより提供される特徴適応は、ナビゲーション選択軌道を前記ナビゲーション選択軌道上の前記局所ビデオ顕著性に応じて修正するものであり、実際に、ＳＰＳＭにより選択されるコンテンツの基準座標の値を修正することに注意されたい。この基準座標の修正は、ナビゲーション選択軌道上のビデオコンテンツの以前の選択部分の基準座標と比べられ得る。
【００９９】
基準座標の平行移動に対応するナビゲーション軌道（パンおよび／またはチルトインタラクション）の例では、時刻（ｔ）における選択部分の基準座標は、時刻（ｔ−１）における選択部分の基準座標にオフセットを加算することで得られる。それゆえ、局所顕著性に基づく特徴の適応は、局所顕著性に応じた基準座標に加算されるオフセットの増加または減少という結果をもたらす。
【０１００】
基準座標の均等スケーリングに対応するナビゲーション軌道（ズームインまたはズームアウトインタラクション）の他の例では、時刻（ｔ）における選択部分の基準座標は、時刻（ｔ−１）における選択部分の角の基準座標に４つのオフセットを加算することで得られ、結果として、形状は不変であるが、コンテンツの基準座標系についての面積にオフセットが加算される選択となる。それゆえ、局所顕著性に基づく特徴の適応は、局所顕著性に応じたその選択の角の基準座標に加算されるオフセットの増加または減少、ひいては、その選択の面積に加算されるオフセットの増加または減少というそれぞれの結果をもたらす。
【０１０１】
初期のナビゲーション選択コマンド、すなわち本デバイスにおけるインタラクションコマンドは、そのようなユーザが（タッチスクリーンにおける震える指のような非常に高速の反対向きのインタラクションのような）無秩序なインタラクションを行っているかどうかを決定するために評価されることがあり、その場合、カルマンフィルタを用いてその一連の無秩序なナビゲーション選択コマンドの影響を低減させて、そのインタラクションの振幅を低減させることで、その速さが適応し得ることにさらに注意されたい。
【０１０２】
最後に、本発明の実施形態を、上記で機能ブロックの観点から説明したことを述べておく。上述のこれらのブロックの機能的な説明から、どのようにしてこれらのブロックの実施形態が、良く知られている電子部品を用いて製造され得るかは、電子デバイスを設計する当業者にとって明らかであろう。したがって、機能ブロックの内容の詳細な構造は示さない。
【０１０３】
本発明の原理を特定の装置に関して上に説明したが、この説明は、単にほんの一例にすぎず、添付の特許請求の範囲で定義された本発明の範囲を制限するものではないことは明らかに理解されよう。
【図１】
2016012920.tif 000003
【図２】
2016012920.tif 000004
【図３】
2016012920.tif 000005
【外国語明細書】
2016012920000001.pdf