(57)【要約】      （修正有）【課題】超高解像度ビデオコンテンツの空間部分を選択するための方法、システムおよび関連するデバイスを提供する。【解決手段】サーバＳからクライアントデバイスＣＤへ送信すべき超高解像度ビデオコンテンツの空間部分を選択するための選択情報を、クライアントデバイスから取得し、超高解像度ビデオコンテンツに関連するコンテンツデータと組み合わせて、サーバからクライアントデバイスへ送信される超高解像度ビデオコンテンツの少なくとも一部を考慮して、選択情報に基づいて、超高解像度ビデオコンテンツから空間部分を選択する。【選択図】図１
2016012351.tif 000002
【特許請求の範囲】
【請求項１】
クライアントデバイス（ＣＤ）の制御下で、サーバ（Ｓ）から前記クライアントデバイス（ＣＤ）へ送信されるための超高解像度ビデオコンテンツの空間部分を選択するための方法であって、
前記クライアントデバイス（ＣＤ）へ送信すべき前記超高解像度ビデオコンテンツの空間部分を選択するための選択情報を、前記クライアントデバイス（ＣＤ）から取得するステップと、
前記超高解像度ビデオコンテンツに関連するビデオコンテンツデータと組み合わせて、前記サーバ（Ｓ）から前記クライアントデバイス（ＣＤ）へ送信される前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、前記選択情報に基づいて、前記超高解像度ビデオコンテンツから前記空間部分を選択するステップと
を備える、方法。
【請求項２】
前記選択情報がパン−チルト−ズームコマンドを含む、請求項１に記載の方法。
【請求項３】
前記選択情報がコンテンツの基準座標に基づくコマンドを含む、請求項１に記載の方法。
【請求項４】
前記コンテンツデータが、超高解像度コンテンツの専用の部分に結合された、関心領域情報および顕著性情報の少なくとも一方を含む、請求項１に記載の方法。
【請求項５】
クライアントデバイス（ＣＤ）の制御下で、サーバ（Ｓ）からクライアントデバイス（ＣＤ）へ送信されるための超高解像度ビデオコンテンツの空間部分を選択するように構成されるシステムであって、前記クライアントデバイス（ＣＤ）は前記サーバ（Ｓ）に接続され、前記システムは、
前記超高解像度ビデオコンテンツの空間部分を選択するための選択情報を、前記空間部分を前記クライアントデバイス（ＣＤ）へ送信するために、前記クライアントデバイス（ＣＤ）から取得するように構成される受信手段と、
前記超高解像度ビデオコンテンツに関連するビデオコンテンツデータと組み合わせて、前記サーバ（Ｓ）から前記クライアントデバイス（ＣＤ）へ送信される前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、前記選択情報に基づいて、前記超高解像度ビデオコンテンツから前記空間部分を選択するように構成される選択手段と
を備える、システム。
【請求項６】
前記選択情報がパン−チルト−ズームコマンドを含む、請求項５に記載のシステム。
【請求項７】
前記選択情報がコンテンツの基準座標に基づくコマンドを含む、請求項５に記載のシステム。
【請求項８】
前記コンテンツデータが、超高解像度コンテンツの専用の部分に結合された、関心領域情報および顕著性情報の少なくとも一方を含む、請求項５に記載のシステム。
【請求項９】
請求項５に記載のシステムで用いるデバイス（ＳＤ）であって、クライアントデバイス（ＣＤ）の制御下で超高解像度ビデオコンテンツの空間部分を選択するように構成され、前記超高解像度ビデオコンテンツの少なくとも一部がサーバ（Ｓ）から前記クライアントデバイス（ＣＤ）へ送信され、前記デバイスは、
前記クライアントデバイス（ＣＤ）へ送信すべき前記超高解像度ビデオコンテンツの空間部分を選択するための選択情報を、前記クライアントデバイス（ＣＤ）から取得するように構成される選択情報受信手段（ＳＲＭ）と、
前記超高解像度ビデオコンテンツを取得するように構成されるビデオコンテンツ受信手段（ＶＣＲＭ）と、
前記超高解像度ビデオコンテンツに関連する前記ビデオコンテンツデータを取得するように構成されるコンテンツデータ受信手段（ＣＤＲＭ）と、
前記超高解像度ビデオコンテンツに関連するビデオコンテンツデータと組み合わせて、前記サーバ（Ｓ）から前記クライアントデバイス（ＣＤ）へ送信される前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、前記選択情報に基づいて、前記超高解像度ビデオコンテンツから前記空間部分を選択するように構成される選択手段（ＳＰＳＭ）と
を備える、デバイス（ＳＤ）。
【請求項１０】
前記超高解像度ビデオコンテンツから選択された前記空間部分を符号化するように構成される符号化手段
をさらに備える、請求項９に記載のデバイス（ＳＤ）。
【請求項１１】
請求項９に記載のデバイス（ＳＤ）を備える、請求項５に記載のシステムで用いるサーバ。
【請求項１２】
前記サーバ（Ｓ）が請求項９に記載のデバイス（ＳＤ）を備える、請求項５に記載のシステムで用いるネットワークエレメント。
【請求項１３】
データ処理装置上で実行されたときに、請求項１から４のいずれか一項に記載の方法のステップを行うように構成されるソフトウェアを備える、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クライアントデバイスにより超高解像度ビデオコンテンツの空間部分を選択する分野に関する。
【背景技術】
【０００２】
ユーザがたとえばモバイルデバイス（たとえばズーム可能ビデオ、ＦａｓｃｉｎａｔＥプロジェクトなど）においてパン−チルト−ズーム（ＰＴＺ）コマンドを用いてビデオコンテンツ内をナビゲートすることができる最新のインタラクティブ高解像度ビデオ消費アプリケーションでは、ユーザは、ある時刻ｔにおける自身の好みの視野の位置およびズームレベルを、数回のインタラクションにより定義できる。これが意味するのは、パノラマコンテンツに対して、ユーザは、高解像度コンテンツの一部を選択し、この選択した部分のみを見ることができるが、あるいはこの視野を移動させて、高解像度ビデオコンテンツの空間部分、たとえばユーザのお気に入りのサッカープレーヤーを含む、またはボールを含む部分などを追尾（ｆｏｌｌｏｗ）または追跡（ｔｒａｃｋ）するようにすることもできるということである。
【０００３】
さらに、そのような高い空間解像度のビデオは、超高解像度ビデオとも呼ばれ、ますます一般的になっている。この種のコンテンツは、１フレームあたり１９２０×１０８０画素を有する、以降ＨＤと短縮される高精細（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）のビデオから、先進的な光学部品およびイメージセンサで直接取得されるかまたは複数のカメラからの縫合された視野から得られるさらに高い解像度のビデオまで、多岐にわたる。
【０００４】
そのようなインタラクティブな高解像度ビデオアプリケーションでは、高解像度ビデオコンテンツの特定の一部を選択するためのインタラクションは、大変重宝されるが、行うのが容易ではないということが認められている。たとえば、サッカーの試合におけるボールのような動くコンテンツの場合、フィールドの一部または観客席（ｔｒｉｂｕｎｅ）の一部のようなコンテンツの静止部分にズームインするのは容易であるが、ユーザが所与のプレーヤーまたはボールを追跡しようとする場合には、所望の（高速で）動く物体または人物の速さおよび軌道に関するインタラクションの遅延またはインタラクションの感度が原因で、このユーザは、高解像度ビデオコンテンツの意図する部分を選択するためのインタラクションが、しばらくした後に退屈で面倒であると感じる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｔｅｎｔ＿ｄｅｌｉｖｅｒｙ＿ｎｅｔｗｏｒｋ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態の目的は、知られている種類であるが、知られている解決方法の上述の短所または欠点が緩和または克服される、クライアントデバイスにより超高解像度ビデオコンテンツの空間部分を選択するための方法、システムおよび関連するデバイスを提供することである。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、クライアントデバイスの制御下で、サーバから前記クライアントデバイスへ送信されるための超高解像度ビデオコンテンツの空間部分を選択するための方法であって、前記クライアントデバイスへ送信すべき前記超高解像度ビデオコンテンツの空間部分を選択するための選択情報を、前記クライアントデバイスから取得するステップと、前記超高解像度ビデオコンテンツに関連するコンテンツデータと組み合わせて、前記サーバから前記クライアントデバイスへ送信される前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、前記選択情報に基づいて、前記超高解像度ビデオコンテンツから前記空間部分を選択するステップとを備える、方法が提供される。
【０００８】
それに応じて、本発明の実施形態は、クライアントデバイスの制御下で、サーバからクライアントデバイスへ送信されるための超高解像度ビデオコンテンツの空間部分を選択するように構成されるシステムであって、前記クライアントデバイスは前記サーバに接続され、前記システムは：
−  前記超高解像度ビデオコンテンツの空間部分を選択するための選択情報を、前記空間部分を前記クライアントデバイスへ送信するために、前記クライアントデバイスから取得するように構成される受信手段と、
−  前記超高解像度ビデオコンテンツに関連するビデオコンテンツデータと組み合わせて、前記サーバから前記クライアントデバイスへ送信される前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、前記選択情報に基づいて、前記超高解像度ビデオコンテンツから前記空間部分を選択するように構成される選択手段と
を備える、システムに関する。
【０００９】
本発明のさらなる実施形態は、デバイスであって、クライアントデバイスの制御下で超高解像度ビデオコンテンツの空間部分を選択するように構成され、前記超高解像度ビデオコンテンツの少なくとも一部がサーバから前記クライアントデバイスへ送信され、前記デバイスは：
−  前記クライアントデバイス（ＣＤ）へ送信すべき前記超高解像度ビデオコンテンツの空間部分を選択するための選択情報を、前記クライアントデバイス（ＣＤ）から取得するように構成される選択情報受信手段と、
−  前記超高解像度ビデオコンテンツを取得するように構成されるビデオコンテンツ受信手段と、
−  前記超高解像度ビデオコンテンツに関連する前記ビデオコンテンツデータを取得するように構成されるコンテンツデータ受信手段と、
−  前記超高解像度ビデオコンテンツに関連するビデオコンテンツデータと組み合わせて、前記サーバから前記クライアントデバイスへ送信される前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、前記選択情報に基づいて、前記超高解像度ビデオコンテンツから前記空間部分を選択するように構成される選択手段と
を備える、デバイスに関する。
【００１０】
本発明はさらに、上記のデバイスを備える、上記のシステムで用いるサーバに関する。
【００１１】
最後に、本発明は、前記サーバが上記のデバイスを備える、上記のシステムで用いるネットワークエレメントに関する。
【００１２】
このように、任意選択でサーバにより、クライアントデバイスから、前記クライアントデバイスへ送信される超高解像度ビデオコンテンツの空間部分を選択するための空間部分選択情報を取得し、サーバにより、前記超高解像度ビデオコンテンツの空間部分を、前記超高解像度ビデオコンテンツの前記空間部分をクライアントデバイスへ送信するために選択し、ここで、この選択は、前記サーバから前記クライアントデバイスへ現在送信されている前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、取得された空間部分選択情報に基づいて行われ、超高解像度ビデオコンテンツに関連するビデオコンテンツデータにより、空間部分がクライアントデバイスのユーザのナビゲーション目標により良く適合する方向に、空間部分の選択をより良く導くことが可能となる。
【００１３】
超高解像度ビデオコンテンツに関連するビデオコンテンツデータは、そのようなクライアントデバイスのユーザにとって特別に関心があり得る領域を示す関心領域データ、および／または、クライアントデバイスのユーザに、そのようなユーザが関心があり得るビデオコンテンツに関する追加情報を提供する顕著性データを含んでもよいので、サーバは、クライアントデバイスのユーザのナビゲーション目標により高い確率でより良く合致する超高解像度ビデオコンテンツの空間部分をより良く選択することが可能となる。
【００１４】
各ユーザが関心がある超高解像度ビデオの空間選択のより良い推定を行うために、追加情報すなわち超高解像度ビデオに関連するビデオコンテンツデータを考慮しながら、クライアントデバイスから発する選択情報がサーバにより考慮されることは有利である。
【００１５】
本発明のさらなる実施形態は、前記選択情報がパン−チルト−ズームコマンドを含む、方法およびシステムに関する。
【００１６】
本発明による方法の他の実施形態では、選択情報はパン−チルト−ズームコマンドを含む。選択情報は、クライアントデバイスから発するパン−チルト−ズーム（ＰＴＺ）コマンドを含んでもよい。
【００１７】
前記サーバから前記クライアントデバイスへ送信中の前記超高解像度ビデオコンテンツの少なくとも一部を考慮した選択情報により、選択情報すなわちＰＴＺコマンドが、現在送信中および提示中のビデオコンテンツに関連し、ＰＴＺコマンドに対応するナビゲーション／選択アクションが、現在送信中および再生中のビデオコンテンツに対して行われる。
【００１８】
さらなる実施形態は、前記選択情報がコンテンツの基準座標に基づくコマンドを含む、方法およびシステムに関する。
【００１９】
前記サーバから前記クライアントデバイスへ送信される前記超高解像度ビデオコンテンツの少なくとも一部を考慮した選択情報により、選択情報が、基準２Ｄ座標を、場合により画素が関連するカメラのインデックスと共に含むことになり、これにより一般化パノラマ（ｇｅｎｅｒａｌｉｚｅｄ  ｐａｎｏｒａｍａ）の重複または切断部分の状況を解決することが可能となり、ここで各基準座標は、たとえば一般化パノラマの、完全な超高解像度ビデオコンテンツの画素を識別する。
【００２０】
さらに他の実施形態は、前記コンテンツデータが、超高解像度コンテンツの専用の部分に結合された、関心領域情報および顕著性情報の少なくとも一方を含む、方法およびシステムに関する。
【００２１】
本発明の方法のさらなる実施形態では、コンテンツデータは、超高解像度コンテンツの専用の部分に結合された、関心領域情報および顕著性情報の少なくとも一方を含む。
【００２２】
超高解像度ビデオコンテンツに関連するビデオコンテンツデータは、そのようなクライアントデバイスのユーザにとって特別に関心があり得る領域を示す関心領域データ、および／または、クライアントデバイスのユーザに、そのようなユーザが関心があり得るビデオコンテンツに関する追加情報を提供する顕著性データを含んでもよいので、サーバは、クライアントデバイスのユーザのナビゲーション目標により高い確率でより良く合致する超高解像度ビデオコンテンツの空間部分をより良く選択することが可能となる。
【００２３】
自由なインタラクティブ性を提供したまま、ユーザが、自身のナビゲーション目標を実現するために必要なコマンドの数を減らすのを支援することは重要である。このことを考慮して、ビデオ送信およびユーザコマンド伝送遅延、ならびにユーザインタラクションの相対精度のために、ユーザが自身が求めるナビゲーション目標を得られるように、そのようなインタラクションをフィルタリングすることが適している。ユーザによる軌道をわずかに補正し、および／またはいくつかのありえるナビゲーション目標を、そのような目標が互いに近くこれらのいずれもがその他に対して簡単に優先／選択できない場合に、推薦することで、ユーザのナビゲーション目標を合理的に推測しナビゲーションを補助するために、顕著性、ＲＯＩ予測／検出（および、もし利用可能であれば制作スクリプト）などのコンテンツデータを用いることが提案される。
【００２４】
本システムの記載された機能的手段は、さらなる添付の請求項に記載された、第１の通信デバイスおよび／または１つまたは複数のさらなるネットワークエレメント、たとえばサーバデバイスなどにわたって、分散されてもよいことに注意されたい。
【００２５】
本発明の実施形態による装置およびシステムの効果および利点は、本発明の実施形態による対応する方法のそれらと実質的に同一であり、適宜変更される。
【００２６】
「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、特許請求の範囲で用いられるが、以降列挙される手段に限定されるものとして解釈されるべきではないことに注意されたい。したがって、「手段ＡおよびＢを備えるデバイス」という表現の範囲は、コンポーネントＡおよびＢのみからなるデバイスに限定されるべきではない。それが意味するのは、本発明に関して、デバイスの単に関連するコンポーネントが、ＡおよびＢであるということである。
【００２７】
同様に、「接続された（ｃｏｕｐｌｅｄ）」という用語は、同じく特許請求の範囲で用いられるが、直接接続のみに限定されるものとして解釈されるべきではないことに注意されたい。したがって、「デバイスＢに接続されたデバイスＡ」という表現の範囲は、デバイスＡの出力がデバイスＢの入力に直接接続されているデバイスまたはシステムに限定されるべきではない。これが意味するのは、Ａの出力とＢの入力との間の経路であって、他のデバイスまたは手段を含む経路であり得るものが存在するということである。
【００２８】
添付の図面と併せて実施形態の以下の説明を参照することで、本発明の上記および他の目的および特徴がより明らかとなり、本発明自体が最もよく理解されよう。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態による、ユーザデバイスＵＤ０およびサーバデバイスＳＤを備えるシステムの機能構造を表す図である。
【図２】本発明の一実施形態によるデバイスＳＤの機能表現を表す図である。
【発明を実施するための形態】
【００３０】
説明および図面は、単に本発明の原理を例示するにすぎない。したがって、本明細書では明示的に説明したり図示したりしないが、本発明の原理を具体化し、その趣旨および範囲に含まれる様々な構成を当業者が考案できるであろうことは理解されよう。さらに、本明細書に列挙された全ての実施例は、主に、本発明の原理および本発明者（ら）により当技術の促進へ捧げられた概念を理解する際に読者を補助するという教育上の目的のためのものにすぎないことが明らかに意図され、そのように具体的に列挙された実施例および条件に制限されないものと解釈されたい。さらに、本発明の原理、態様、および実施形態、ならびにそれらの具体的な実施例を列挙する本明細書の全ての記述は、それらの均等物を含むことを意図する。
【００３１】
本明細書の任意のブロック図が、本発明の原理を具体化する例示の回路の概念図を表すことは、当業者により理解されたい。同様に、任意のフローチャート、フロー図、状態遷移図、疑似コードなどが、コンピュータ可読媒体内に実質的に表され、したがってコンピュータまたはプロセッサにより、そのようなコンピュータまたはプロセッサが明示的に示されていようといまいと、実行され得る様々な処理を表すことは理解されよう。
【００３２】
実施形態の説明
以下の段落では、図１の図面を参照して、本発明の一実施形態によるクライアントデバイスの制御下で超高解像度ビデオコンテンツの空間部分を選択するためのシステムの実装が説明される。さらなる段落では、言及される要素間の全ての接続が定義される。その後、図１に示された言及されるシステムの全ての関連する機能手段が説明され、続いて全ての相互接続が説明される。
【００３３】
その後の段落では、図２を参照して、本発明の一実施形態によるクライアントデバイスの制御下で超高解像度ビデオコンテンツの空間部分を選択するように構成されるデバイスＳＤの実装が説明される。その後、図１に示された言及されるシステムの全ての関連する機能手段が説明され、続いて全ての相互接続が説明される。
【００３４】
後に続く段落では、本システムの実際の実行が説明される。
【００３５】
本システムの第１の必須要素は、サーバＳであって、サーバＳは、超高解像度ビデオコンテンツをサーバＳに含まれるまたは接続されるビデオリポジトリからクライアントデバイスＣＤへ送信するように構成される。
【００３６】
サーバＳによる超高解像度ビデオコンテンツの送信は、ストリーミングでもよく、またはより一般的には、複数のクライアントデバイスのうちの少なくとも１つのクライアントデバイスＣＤへ向けた、このビデオコンテンツの任意のビデオ伝送プロトコルによって、使用されてもよい。
【００３７】
サーバＳは、コンテンツクラスタの要素、またはマルチメディアコンテンツデリバリネットワーク（ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｔｅｎｔ＿ｄｅｌｉｖｅｒｙ＿ｎｅｔｗｏｒｋ参照）におけるサービスノードでもよい。
【００３８】
このサーバＳは、コンテンツデリバリネットワークにおけるサーバでもよく、あるいは代わりにクラウド環境におけるサーバ機能性の仮想化でもよく、またはいくつかのデバイスに分散されたプロセス、またはＧＰＵファームなどでもよい。
【００３９】
本システムは、図示したりさらに説明したりしないが、複数のクライアントデバイスを備えてもよいことに注意されたい。
【００４０】
クライアントデバイスＣＤは、サーバＳにより送信される超高解像度ビデオコンテンツを受信するように構成される。
【００４１】
クライアントデバイスＣＤは、サーバＳによりクライアントデバイスＣＤへストリーミングされるマルチメディア資産をレンダリングするためのスクリーンおよび一組のスピーカーを備えたＩＰ接続されたコンピュータ端末でもよく、またはインターネットにセットトップボックスを介して接続されたＩＰＴＶ接続テレビでもよく、このデバイスも同様に、ストリーミングされるマルチメディア資産をレンダリングするためのスクリーンおよび一組のスピーカーを備え、あるいは代わりに、接続されたテレビ、タブレットＰＣ、他のＰＣたとえば固定ＰＣまたはラップトップＰＣ、スマートフォン、またはＫｉｎｅｃｔセンサおよび／もしくはゲームパッドもしくはジョイスティックに接続されたＴＶ、またはゲームコンソールなどでもよい。
【００４２】
サーバＳおよびクライアントデバイスＣＤは、ＤＳＬモデムが接続されたデジタル加入者線アクセスネットワークまたはケーブルネットワークなどのアクセスネットワーク、スマートフォンまたはタブレットデバイスが接続されたモバイル通信アクセスネットワーク、またはその他の適切な通信ネットワークおよびコアインターネットネットワークなどの連結を任意選択で含む、適切な通信ネットワークＣＮを介して接続されてもよい。
【００４３】
この実施形態では、ビデオコンテンツデータリポジトリＶＣＤＲは、任意の種類の適切な高速接続を介して、サーバＳに接続される（典型的には有線であり、光ファイバまたはイーサネット（登録商標）接続を使用し、しかしながら、ＶＣＤＲの情報はまた、たとえばサーバに接続されたＳＳＤなどの高速アクセスドライブにキャッシュされることがある）。
【００４４】
この実施形態では、ビデオコンテンツリポジトリＶＲは、任意の種類の高速で信頼性の高い接続を介してサーバＳと接続される（高解像度コンテンツのため、そのような接続は好ましくは光ファイバ技術であるとよい）。ＶＲのコンテンツはまた、サーバの高速アクセスＳＳＤドライブにキャッシュされ得る。
【００４５】
ＶＲが生ビデオデータを含む場合、必要な帯域幅は今日、３から２０Ｇｂｐｓの間である。
【００４６】
コンテンツが知覚的に無損失の圧縮フォーマットで格納される場合、必要な帯域幅は、０．５から５Ｇｂｐｓの間で変化することがある）。
【００４７】
分析手段ＡＭは、任意の種類の適した高速で信頼性のある接続を介してビデオコンテンツリポジトリＶＲに接続され、高速で信頼性のある接続を介してビデオコンテンツデータリポジトリＶＣＤＲに接続される。
【００４８】
そのようなシステムは通常は複数のそのようなクライアントデバイスを含むが、簡単のため、クライアントデバイスＣＤのみが開示されることに注意されたい。
【００４９】
サーバＳの第１の必須手段は、前記超高解像度ビデオコンテンツに関連するコンテンツデータと組み合わせて、任意選択で前記サーバＳから、前記クライアントデバイスＣＤへ送信中の前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、前記選択情報に基づいて、前記超高解像度ビデオコンテンツから空間部分を選択するように構成される選択デバイスＳＤ、および、クライアントデバイスＣＤが選択された空間部分を再生するのに適したフォーマットで、超高解像度ビデオコンテンツの選択された空間部分を符号化するように構成される符号化手段ＥＭである。
【００５０】
サーバＳは、超高解像度ビデオコンテンツに関連するコンテンツデータを維持するように構成されるビデオコンテンツデータリポジトリＶＣＤＲをさらに含んでもよく、コンテンツは、そのようなクライアントデバイスのユーザにとって特別に関心があり得る領域を示す関心領域データ、および／または、クライアントデバイスのユーザに、そのようなユーザが関心があり得るビデオコンテンツに関する追加情報を提供する顕著性データを含んでもよい。ビデオコンテンツデータリポジトリＶＣＤＲは代わりに、他のネットワークエレメントに収容されてもよく、サーバＳに接続されてもよい。
【００５１】
サーバＳは、クライアントデバイスＣＤへの送信のための複数の超高解像度ビデオコンテンツ資産を維持するように構成されたビデオコンテンツリポジトリＶＲを含んでもよい。ビデオコンテンツリポジトリＶＲは代わりに、他のネットワークエレメントに収容されてもよく、サーバＳに接続されてもよい。
【００５２】
分析手段ＡＭは、超高解像度ビデオコンテンツに基づくコンテンツデータを生成するために、ＲＯＩ検出および追跡用の知られているコンピュータビジョンツールならびに顕著性検出ツールおよび特徴検出ツールを用いたビデオ分析により、超高解像度ビデオコンテンツ資産を分析するように構成され、このコンテンツデータは関心領域データおよび／または顕著性データを含んでもよい。
【００５３】
あるいは、いくつかの関心領域は、ＲＯＩと呼ばれるものであるが、制作側のディレクターにより決定されることもあり、ユーザのソーシャルネットワーク内の友人の同一コンテンツにおける共有された現在のナビゲーション位置により与えられることもある。
【００５４】
選択デバイスＳＤは、任意選択でサーバＳに含まれるものであるが、前記超高解像度ビデオコンテンツを取得するように構成されるビデオコンテンツ受信手段ＶＣＲＭと、前記超高解像度ビデオコンテンツに関連する前記コンテンツデータを取得するように構成されるコンテンツデータ受信手段ＣＤＲＭとを備える。選択デバイスＳＤは、前記超高解像度ビデオコンテンツに関連するコンテンツデータと組み合わせて、（前記サーバＳから）前記クライアントデバイスＣＤへ送信される前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、前記選択情報に基づいて、前記超高解像度ビデオコンテンツから前記空間部分を選択するように構成される選択手段ＳＰＳＭをさらに含む。
【００５５】
さらに、選択デバイスＳＤは、サーバＳの符号化手段ＥＭへ超高解像度ビデオコンテンツの空間部分を送信するように構成されるビデオ送信手段を備える。
【００５６】
最後に、選択デバイスは、前記クライアントデバイスＣＤへ送信するための前記超高解像度ビデオコンテンツの空間部分を選択するための選択情報を前記クライアントデバイスＣＤから取得するように構成される選択情報受信手段ＳＲＭを備えてもよい。
【００５７】
選択デバイスＳＤは代わりに、分離したネットワークエレメントでもよく、ユーザの選択情報の送信の遅延を最小化するために、クライアントデバイスユーザの近くにあるプロキシデバイスなどの他のネットワークエレメントに含まれてもよい（このプロキシデバイスはたとえばセットトップボックスでもよい）ことに注意されたい。
【００５８】
選択デバイスＳＤのビデオコンテンツ受信手段ＶＣＲＭは、出力が選択手段ＳＰＳＭの入力に接続され、さらに入力端子を有し、これは同時に選択デバイスＳＤの入力端子Ｉ２でもある。さらに、デバイスＳＤのコンテンツデータ受信手段ＣＤＲＭは、出力が選択手段ＳＰＳＭの入力と接続され、さらに入力端子を有し、これは同時に選択デバイスＳＤの入力端子Ｉ１でもある。さらに、選択情報受信手段ＳＲＭは、出力が選択手段ＳＰＳＭの入力と接続され、さらに入力端子を有し、これは同時に選択デバイスＳＤの入力端子Ｉ０でもある。選択手段ＳＰＳＭは、出力がビデオ選択送信手段ＶＴＭの入力と接続され、ビデオ選択送信手段ＶＴＭは同様に出力端子を有し、これは同時に選択デバイスＳＤの出力端子Ｏ０でもある。
【００５９】
クライアントデバイスＣＤは、クライアントデバイスへ送信するための前記超高解像度ビデオコンテンツの空間部分の選択を行うように構成される空間部分選択手段ＳＳＭを備える。
【００６０】
その選択は、クライアントデバイスにおいてパン−チルト−ズーム（ＰＴＺ）コマンドを用いることで、そのようなクライアントデバイスＣＤのディスプレイで現在提示されている超高解像度ビデオコンテンツの選択が可能な、そのようなクライアントデバイスのユーザの制御下で行われる。
【００６１】
ユーザコマンド、すなわちパン−チルト−ズーム（ＰＴＺ）コマンド、およびクライアントの状況、すなわち現在の描画のために前記クライアントデバイスＣＤへ現在送信中の前記超高解像度ビデオコンテンツの空間部分は、部分選択手段ＳＳＭにより取得され、クライアントにより送信された相対的なコマンドをコンテンツの基準座標にリンクさせ、ここで、コンテンツの基準座標は超高解像度ビデオコンテンツの現在表示中のフレーム内の位置である。超高解像度ビデオコンテンツの基準座標系は通常、一対の２Ｄの（ｘ，ｙ）整数座標を、超高解像度ビデオコンテンツの各画素に関連付けるので、コンテンツの画素と、基準座標系における整数座標の対との間の全単射が得られる。
【００６２】
基準座標系におけるユーザインタラクションからの座標の計算は、画素精度である必要はなく、所与の速さの相対的な動きは、パラメータ化可能な誤り耐性を有するクライアント部分選択手段ＳＳＭによりコンテンツの基準座標系における新しい位置に変換され、通常、推定された座標が（基準座標系における非整数座標である）サブ画素位置となる場合は、最近傍画素位置（したがって整数座標）へのキャストが実施されることになる。
【００６３】
クライアントデバイスＣＤは、前記超高解像度ビデオコンテンツに関連するコンテンツデータと組み合わせて、（任意選択で前記サーバＳから）前記クライアントデバイスＣＤへ送信中の前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、前記選択情報に基づいて、前記超高解像度ビデオコンテンツからの受信した選択された空間部分を復号するように構成される復号手段ＤＭをさらに備える。
【００６４】
クライアントデバイスＣＤは少なくとも、前記超高解像度ビデオコンテンツからの受信した選択された空間部分と、加えて利用可能音声とを提示するためのディスプレイおよび／またはスピーカーをさらに備える。
【００６５】
クライアントデバイスＣＤは、現在送信されている超高解像度ビデオコンテンツの空間部分を選択するための手段をさらに備える。そのような選択手段は、タッチスクリーン、クライアントデバイスに接続されたマウス、ジェスチャセンサ、またはクライアントデバイスＣＤのユーザのパン−チルト−ズーム（ＰＴＺ）命令を検出するための任意の他のセンサでもよい。音または音声さえ、センサにより検出され、ＰＴＺコマンドに変換されることがある。
【００６６】
本発明を説明するために、まず、ユーザが現在あるサッカーの試合を、タブレットまたはＩＰＴＶシステムのスクリーンで視聴していると仮定する。対応する超高解像度ビデオコンテンツが、ストリーミングによりサーバＳからクライアントデバイスＣＤへ送信されている。ユーザはある瞬間、ＰＴＺコマンドを適用して、ボールを（ズームし）追跡することを望む。ユーザはこのＰＴＺコマンドを、タブレットＰＣの（タッチ）スクリーンをタッチすることで、または、必要なジェスチャ検出および認識処理を有するタブレット上のカメラなどの専用のジェスチャセンサ、もしくはタブレット上に存在し得る加速度計センサにより検出されるジェスチャを行うことで、あるいは音／音声（ａｕｄｉｏ／ｓｐｅｅｃｈ）コマンドを用いることで、生成する。
【００６７】
そのようなコンテンツをテレビで見る場合、ｋｉｎｅｃｔまたはＷｉｉのようなゲームパッドが、そのようなＰＴＺコマンドを生成するために用いられることがある。
【００６８】
従来技術の状況では、この、ボールに触れているプレーヤーを伴うボールのような物体を追跡するためのビデオの空間部分を選択することは、大変重宝されるが、行うのは簡単ではない。所望の（高速で）動く物体または人物の速さおよび軌道に関するインタラクションの遅延またはインタラクションの感度が原因で、ユーザは、高解像度ビデオコンテンツの意図する部分を選択するためのインタラクションが、しばらくした後に退屈で面倒であると感じる。
【００６９】
しかしながら本発明の状況では、ユーザはまたある瞬間に、ＰＴＺコマンドを適用して、ボールを追跡することを望む。ユーザは、タブレットＰＣの（タッチ）スクリーンをタッチすることで、または専用のジェスチャセンサにより検出されるジェスチャを行うことで、このＰＴＺコマンドを生成する。ボールおよびボールの位置のプレーヤーを含む超高解像度ビデオコンテンツの空間部分を選択するためのそのようなＰＴＺコマンドは、または言い換えればボールを、ボールを持っているプレーヤーと共に追跡するためのＰＴＺコマンドは、クライアントデバイスＣＤの空間部分選択手段ＳＳＭにより、サーバＳの選択受信手段ＳＲＭへ送信され、サーバＳは、前記超高解像度ビデオコンテンツの空間部分を選択するための選択情報を、前記クライアントデバイスＣＤへ前記空間部分を送信するために、前記クライアントデバイスＣＤから受信する。
【００７０】
続いて、選択手段ＳＰＳＭは、前記超高解像度ビデオコンテンツに関連するコンテンツデータと組み合わせて、前記サーバＳからクライアントデバイスＣＤへ送信されている前記超高解像度ビデオコンテンツの少なくとも一部を考慮して、前記選択情報すなわち受信したＰＴＺコマンドに基づいて、前記超高解像度ビデオコンテンツから空間部分を選択する。
【００７１】
したがって、まず、選択手段ＳＰＳＭは、サーバＳからクライアントデバイスＣＤへ送信されクライアントデバイスＣＤのスクリーンに提示されている超高解像度ビデオコンテンツの全部または空間部分である、前記サーバＳからクライアントデバイスＣＤへ送信中の超高解像度ビデオコンテンツの少なくとも一部を考慮して、受信したＰＴＺコマンド、すなわちボール追跡コマンドを解釈する。選択手段ＳＰＳＭは、クライアントデバイスＣＤのスクリーンにおける現在の視野を考慮しながら、クライアントデバイスの画面で受信および提示中の超高解像度ビデオコンテンツの全部または空間部分において、受信したＰＴＺコマンドを適用し、ＰＴＺ選択または追跡コマンドを適用する。ＰＴＺ選択コマンドにより示される空間部分は、最初に、選択手段により選択される。選択された部分、すなわちボールを持っているプレーヤーを伴うボールは非常に速く動いているので、おそらくその選択はまだ最適に行われておらず、すなわちその選択は動いているボールの一部を含んでいるが、意図するプレーヤーは、選択された空間部分内では見えない。
【００７２】
追跡を改良するために、前記超高解像度ビデオコンテンツに関連する追加のコンテンツデータが、選択または追跡コマンドを解釈するために考慮される。
【００７３】
選択手段ＳＰＳＭは、コンテンツデータ受信手段ＣＤＲＭを介して、接続されたビデオコンテンツデータリポジトリＶＣＤＲから超高解像度ビデオコンテンツに関連するコンテンツデータを追加的に取り出す。
【００７４】
そのような追加のコンテンツデータは、関心領域データまたは顕著性データなどのデータを含み得るものであるが、超高解像度ビデオの専用の部分に結合されたデータである。たとえば本実施形態では、コンテンツデータは、関心領域、たとえば、サッカーの試合のボール、審判、競技場の双方のゴール、多数のお気に入りのサッカープレーヤー、競技場に入ろうとする交代選手、コーチ、スタジアム内の興味深い人々、スコアボード、または追加の放送カメラにより撮像されたコンテンツの一部すら、などを含む。
【００７５】
コンテンツデータに含まれる顕著性データは、スコアボードの意味情報、観覧席の観衆の特別なイベント、負傷したプレーヤーなどの競技場での特別なイベント、またはフレーム毎の画素レベルの顕著性情報、たとえば芝生、青空の検出、顔検出、動き検出、花火検出などを含んでもよい。
【００７６】
そのような顕著性データは、制作スクリプトにより識別しうるビデオコンテンツ内の特定のイベントに関連してもよく、ここで制作スクリプトは、たとえば、試合の流れを伝えるスポーツ、または音楽コンサートなどの他のイベントなどのコンテンツに特有の重要なイベントを記録する一連の規則（たとえば編成規則）を含む。
【００７７】
他のありえるコンテンツデータは、本システムの現ユーザのソーシャルの友人である他のユーザにより現在見られているコンテンツの部分の有用性であり、現ユーザは彼の友人が注目または追跡しているものに関心がある場合がある。
【００７８】
さらなる種類のコンテンツデータは、空間的な音声キャプチャ、すなわちスタジアムの数カ所における音／音声検出でもよく、この位置をコンテンツのコンテンツ基準座標にリンクしてもよい。
【００７９】
選択手段ＳＰＳＭは、その間またはそれ以前に、コンテンツデータ受信手段ＣＤＲＭを介して、接続されたビデオコンテンツデータリポジトリＶＣＤＲから超高解像度ビデオコンテンツに関連するコンテンツデータを取り出している。
【００８０】
クライアントデバイスのユーザが、ＰＴＺ選択コマンドにより、関心領域（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）、たとえばボールおよびボールを持っているプレーヤーを含む関心領域に関する超高解像度ビデオコンテンツの一部を含むかまたはその近くにあるビデオコンテンツの空間部分を選択した場合、選択手段ＳＰＳＭは、その空間部分がボールおよびボールを持っているプレーヤーを含む意図する関心領域を含むように、空間部分の選択を導く。
【００８１】
選択手段ＳＰＳＭは、ボールおよびボールを持っているプレーヤーを含む意図する関心領域に対応して、ビデオコンテンツ受信手段ＶＣＲＭにより接続されたビデオリポジトリＶＲから取り出される超高解像度ビデオコンテンツの空間部分を次に生成する。続いて、選択手段ＳＰＳＭは、意図する関心領域を含む超高解像度ビデオコンテンツの空間部分をビデオ送信手段ＶＴＭに出力し、ここで、意図する関心領域はボールおよびボールを持っているプレーヤーを含み、ビデオ送信手段ＶＴＭは続いて、超高解像度ビデオコンテンツの空間部分をクライアントデバイスＣＤで表示するのに適したフォーマットに符号化するために、超高解像度ビデオコンテンツの空間部分を符号化手段ＥＭに転送する。タブレットＰＣの場合、符号化されたビデオのフォーマットは、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ、それらのスケーラブルな拡張、またはＶＰ８もしくはＶＰ９フォーマットなどの放送フォーマットでもよく、あるいはクライアントデバイスＣＤがＩＰ接続されたテレビである場合、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ、またはそれらのスケーラブルな拡張、またはＶＰ８もしくはＶＰ９フォーマット、または任意の他の適切なフォーマットなどの放送フォーマットでもよい。
【００８２】
本発明の一実施形態では、超高解像度ビデオコンテンツが３次元ビデオを含んでもよいことに注意されたい。
【００８３】
最後に、ボールおよびボールを持っているプレーヤーを含む超高解像度ビデオコンテンツの符号化された空間部分は、クライアントデバイス復号手段ＤＭに送信され、クライアントデバイス復号手段ＤＭはさらに、超高解像度ビデオコンテンツのその部分をクライアントデバイスの手段に渡し、その手段は、超高解像度ビデオコンテンツのその部分を表示するためのものである。
【００８４】
ユーザは、ゴールキーパー、およびプレーヤーがゴールに駆け込んできたときのゴールキーパーの反応の仕方などのサッカーの試合の他の部分のような他の選択を見ようとする場合、上記と同様に、ＰＴＺ選択コマンドを行うことで、現在の選択した空間部分の視野を変更することができる。
【００８５】
そのような超高精細コンテンツは通常、単一のカメラにより撮像された高解像度ビデオから構成されることに注意されたい。あるいは、数台のカメラにより撮像されたコンテンツを組み合わせて互いに縫合することにより合成物が生成されてもよく、これは通常は、パノラマと呼ばれる。これは、パノラマが平面のビデオになるように複数のカメラが必ずしも整列されていない状況にも簡単に一般化され得る。コンテンツは実は様々なカメラからの複数のビデオの結合体であってもよく、この結合体は、つながった面である必要はないが、互いに重なり得る区分的に線形なビデオ入力の集合体として見られてもよい。この種の結合体はしばしば、一般化パノラマと呼ばれる。
【００８６】
いわゆるコンテンツ基準座標は、単一カメラで撮像されたビデオに対して定義されるのと同様に、そのような一般化パノラマ上で定義され得る。
【００８７】
一般化パノラマの各画素は、インデックスおよび基準２Ｄ座標が、場合によりその画素が関連するカメラのインデックスと共に与えられ、これにより、一般化パノラマの重複または切断部分の状況を解決することができる。
【００８８】
そのような一般化パノラマにおけるナビゲーションは、２Ｄの超高解像度ビデオコンテンツに対して先に説明したのと同様に、基準座標に基づくことができる。
【００８９】
さらに、本実施形態では、本発明が実施および実行されるクライアント−サーバアーキテクチャを説明しているが、ピアツーピアアーキテクチャ、クラウドアーキテクチャ、ハードウェアアーキテクチャ、および互いの中間の形態で、実施および実行される可能性もあることに注意されたい。
【００９０】
他の実施形態では、ビデオリポジトリＶＲ、分析手段ＡＭ、およびビデオコンテンツデータリポジトリＶＣＤＲは、同一のサーバＳに含まれてもよい。
【００９１】
本発明の他の実施形態では、複数のサーバは、単一のビデオリポジトリＶＲ、単一の分析手段ＡＭ、および／または単一のビデオコンテンツデータリポジトリＶＣＤＲにそれぞれ接続され、サービス提供され得る。
【００９２】
本発明のさらに他の実施形態では、ビデオコンテンツデータリポジトリＶＣＤＲおよび／またはビデオリポジトリは、全てのビデオデータおよび／またはビデオコンテンツデータＶＲデータがそれぞれクラウドにキャッシュされるかまたはコンテンツデリバリネットワークにキャッシュされるように、クラウドまたはコンテンツデリバリネットワークに実装されることがある。
【００９３】
最後に、本発明の実施形態を、上記で機能ブロックの観点から説明したことを述べておく。上述のこれらのブロックの機能的な説明から、どのようにしてこれらのブロックの実施形態が、よく知られている電子部品を用いて製造され得るかは、電子デバイスを設計する当業者にとって明らかであろう。したがって、機能ブロックの内容の詳細な構造は示さない。
【００９４】
本発明の原理を特定の装置に関して上に説明したが、この説明は、単にほんの一例にすぎず、添付の特許請求の範囲で定義された本発明の範囲を制限するものではないことは明らかに理解されよう。
【図１】
2016012351.tif 000003
【図２】
2016012351.tif 000004
【外国語明細書】
2016012351000001.pdf