(57)【要約】      （修正有）【課題】複数のダイバーシティを備えたマルチメディアコンテンツの為に、マルチディスクリプションコーディングを用いる装置、システム及び方法を提供する。【解決手段】入力画像は、動き又はその他任意の関心指標に基づき、１又は複数の関心部分（ＲＯＩ）と非ＲＯＩ部分に断片化される。これら部分の１又は複数は、更に、各画像で交互になる画素グループを持つ複数の低解像度画像を生成する為に、各部分がサブサンプルされて断片化される。更に、各部分の内の１又は複数は、各断片において交互になるフレームを持つ画像フレームにより断片化される。少なくとも１つのＲＯＩ部分及び低解像度部分はその後、複数のディスクリプションに符号化され、送信される。ＲＯＩダイバーシティ、解像度ダイバーシティおよびフレームレートダイバーシティの様々な組合せを利用する事で、入力コンテンツ配信の為のチャネル利用度及びロバストさを改善する。【選択図】図５
2017055421.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを送信する方法であって、
ソース・シーンを、少なくとも１つの関心領域部分および少なくとも１つの非関心領域部分にセグメント化することと、
前記少なくとも１つの非関心領域部分を、前記少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプリングすることと、
前記少なくとも１つの関心領域部分と、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンとを、複数のディスクリプションに符号化することと、
前記複数のディスクリプションを通信媒体を介して送信することと、を備える方法。
【請求項２】
関心メトリック評価にしたがって、前記ソース・シーンの、前記少なくとも１つの関心領域部分を識別すること、をさらに備える請求項１に記載の方法。
【請求項３】
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャのうちの少なくとも１つに対応する、請求項２に記載の方法。
【請求項４】
前記符号化することは、前記関心領域部分から、複数のスライスを生成することを備える、請求項１に記載の方法。
【請求項５】
前記ソース・シーンは複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項４に記載の方法。
【請求項６】
前記フラクションは１／２であり、
前記複数のスライスは、交互するフレームのケイデンスを備える、請求項５に記載の方法。
【請求項７】
前記符号化することは、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成することを備える、請求項１に記載の方法。
【請求項８】
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項７に記載の方法。
【請求項９】
コンテンツを受信する方法であって、
シーンの関心領域部分に対応する第１のディスクリプションを受信することと、
前記シーンの、サブ・サンプルされた非関心領域部分に対応する第２のディスクリプションを受信することと、
前記ディスクリプションのうちの少なくとも１つを復号することと、
前記復号されたディスクリプションを結合して、出力シーンを生成することと、を備える方法。
【請求項１０】
前記シーンの関心領域部分、または、前記シーンの、前記サブ・サンプルされた非関心領域部分のうちの少なくとも１つに対応する第３のディスクリプションを受信することをさらに備え、
前記結合することは、前記受信したディスクリプションの結合すべき部分を、前記受信したディスクリプションの品質にしたがって選択することを備える、請求項９に記載の方法。
【請求項１１】
前記選択することは、どのディスクリプションが最高品質の解像度を有するかに基づいて、前記第３のディスクリプションか、前記第１のディスクリプションまたは前記第２のディスクリプションか、を選択することをさらに備える、請求項１０に記載の方法。
【請求項１２】
前記第３のディスクリプションは、前記シーンの関心領域部分に対応し、
前記第３のディスクリプションは、前記第１のディスクリプションとは別の方式で符号化される、請求項１０に記載の方法。
【請求項１３】
前記結合することは、前記第１のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供することを備える、請求項１２に記載の方法。
【請求項１４】
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合することは、前記第２のディスクリプションおよび前記第３のディスクリプションの画素をマージし、前記シーンの非関心領域部分に、増加された解像度を提供することを備える、請求項１０に記載の方法。
【請求項１５】
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合することは、前記第２のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供することを備える、請求項１０に記載の方法。
【請求項１６】
コンテンツを送信する装置であって、
プロセッサと、
前記プロセッサに接続されたメモリと、
前記プロセッサに接続された送信機とを備え、
前記プロセッサは、
ソース・シーンを、少なくとも１つの関心領域部分と、少なくとも１つの非関心領域部分とにセグメント化し、
前記少なくとも１つの非関心領域部分を、前記少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプルし、
前記少なくとも１つの関心領域部分と、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンとを、複数のディスクリプションへ符号化し、
前記送信機を用いて、前記複数のディスクリプションを通信媒体を介して送信するように構成された、装置。
【請求項１７】
前記プロセッサはさらに、前記ソース・シーンの少なくとも１つの関心領域部分を、関心メトリック評価にしたがって識別するように構成された、請求項１６に記載の装置。
【請求項１８】
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャのうちの少なくとも１つに対応する、請求項１７に記載の装置。
【請求項１９】
前記符号化することは、前記関心領域部分から、複数のスライスを生成することを備える、請求項１６に記載の装置。
【請求項２０】
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項１９に記載の装置。
【請求項２１】
前記フラクションは１／２であり、
前記複数のスライスは、交互するフレームのケイデンスを備える、請求項２０に記載の装置。
【請求項２２】
前記符号化することは、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成することを備える、請求項１６に記載の装置。
【請求項２３】
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項２２に記載の装置。
【請求項２４】
コンテンツを受信する装置であって、
プロセッサと、
前記プロセッサに接続されたメモリと、
前記プロセッサに接続された受信機とを備え、
前記プロセッサは、
シーンの関心領域部分に対応する第１のディスクリプションを、前記受信機を用いて受信し、
前記シーンの、サブ・サンプルされた非関心領域部分に対応する第２のディスクリプションを、前記受信機を用いて受信し、
これらディスクリプションのうちの少なくとも１つを復号し、
前記復号されたディスクリプションを結合して、出力シーンを生成するように構成された、装置。
【請求項２５】
前記プロセッサはさらに、前記シーンの関心領域部分、または、前記シーンの、前記サブ・サンプルされた非関心領域部分のうちの少なくとも１つに対応する第３のディスクリプションを受信するように構成され、
前記結合することは、前記受信したディスクリプションの結合すべき部分を、前記受信したディスクリプションの品質にしたがって選択することを備える、請求項２４に記載の装置。
【請求項２６】
前記選択することは、どのディスクリプションが最高品質の解像度を有するかに基づいて、前記第３のディスクリプションか、前記第１のディスクリプションまたは前記第２のディスクリプションか、を選択することを備える、請求項２５に記載の装置。
【請求項２７】
前記第３のディスクリプションは、前記シーンの関心領域部分に対応し、
前記第３のディスクリプションは、前記第１のディスクリプションとは別の方式で符号化される、請求項２５に記載の装置。
【請求項２８】
前記結合することは、前記第１のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供することを備える、請求項２７に記載の装置。
【請求項２９】
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合することは、前記第２のディスクリプションおよび前記第３のディスクリプションの画素をマージし、前記シーンの非関心領域部分に、増加された解像度を提供することを備える、請求項２５に記載の装置。
【請求項３０】
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記第２のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供することを備える、請求項２５に記載の装置。
【請求項３１】
コンピュータ・プログラム製品であって、
ソース・シーンを、少なくとも１つの関心領域部分および少なくとも１つの非関心領域部分にセグメント化することと、
前記少なくとも１つの非関心領域部分を、前記少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプリングすることと、
前記少なくとも１つの関心領域部分と、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンとを、複数のディスクリプションに符号化することと、
前記複数のディスクリプションを通信媒体を介して送信することと、のためのコードを備えるコンピュータ読取可能な媒体、を備えるコンピュータ・プログラム製品。
【請求項３２】
前記コンピュータ読取可能な媒体はさらに、関心メトリック評価にしたがって、前記ソース・シーンの、前記少なくとも１つの関心領域部分を識別するためのコードを備える、請求項３１に記載のコンピュータ・プログラム製品。
【請求項３３】
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャのうちの少なくとも１つに対応する、請求項３２に記載のコンピュータ・プログラム製品。
【請求項３４】
前記符号化するためのコードは、前記関心領域部分から、複数のスライスを生成するためのコードを備える、請求項３１に記載のコンピュータ・プログラム製品。
【請求項３５】
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項３３に記載のコンピュータ・プログラム製品。
【請求項３６】
前記フラクションは１／２であり、
前記複数のスライスは、交互するフレームのケイデンスを備える、請求項３４に記載のコンピュータ・プログラム製品。
【請求項３７】
前記符号化するためのコードは、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成するためのコードを備える、請求項３１に記載のコンピュータ・プログラム製品。
【請求項３８】
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項３６に記載のコンピュータ・プログラム製品。
【請求項３９】
コンピュータ・プログラム製品であって、
シーンの関心領域部分に対応する第１のディスクリプションを、前記受信機を用いて受信することと、
前記シーンの、サブ・サンプルされた非関心領域部分に対応する第２のディスクリプションを受信することと、
これらディスクリプションのうちの少なくとも１つを復号することと、
前記復号されたディスクリプションを結合して、出力シーンを生成することと、ためのコードを備えるコンピュータ読取可能な媒体、を備えるコンピュータ・プログラム製品。
【請求項４０】
前記コンピュータ読取可能な媒体はさらに、前記シーンの関心領域部分、または、前記シーンの、前記サブ・サンプルされた非関心領域部分のうちの少なくとも１つに対応する第３のディスクリプションを受信するためのコードを備え、
前記結合するためのコードは、前記受信したディスクリプションの結合すべき部分を、前記受信したディスクリプションの品質にしたがって選択するためのコードを備える、請求項３９に記載のコンピュータ・プログラム製品。
【請求項４１】
前記選択するためのコードは、どのディスクリプションが最高品質の解像度を有するかに基づいて、前記第３のディスクリプションか、前記第１のディスクリプションまたは前記第２のディスクリプションか、を選択するためのコードを備える、請求項４０に記載のコンピュータ・プログラム製品。
【請求項４２】
前記第３のディスクリプションは、前記シーンの関心領域部分に対応し、
前記第３のディスクリプションは、前記第１のディスクリプションとは別の方式で符号化される、請求項４０に記載のコンピュータ・プログラム製品。
【請求項４３】
前記結合するためのコードは、前記第１のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供するためのコードを備える、請求項４２に記載のコンピュータ・プログラム製品。
【請求項４４】
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合するためのコードは、前記第２のディスクリプションおよび前記第３のディスクリプションの画素をマージし、前記シーンの非関心領域部分に、増加された解像度を提供するためのコードを備える、請求項４０に記載のコンピュータ・プログラム製品。
【請求項４５】
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合するためのコードは、前記第２のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供するためのコードを備える、請求項４０に記載のコンピュータ・プログラム製品。
【請求項４６】
コンテンツを送信する装置であって、
ソース・シーンを、少なくとも１つの関心領域部分と、少なくとも１つの非関心領域部分とにセグメント化する手段と、
前記少なくとも１つの非関心領域部分を、前記少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプリングする手段と、
前記少なくとも１つの関心領域部分と、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンとを、複数のディスクリプションに符号化する手段と、
前記複数のディスクリプションを通信媒体を介して送信する手段と、を備える装置。
【請求項４７】
関心メトリック評価にしたがって、前記ソース・シーンの、前記少なくとも１つの関心領域部分を識別する手段、をさらに備える請求項４６に記載の装置。
【請求項４８】
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャのうちの少なくとも１つに対応する、請求項４７に記載の装置。
【請求項４９】
前記符号化する手段は、前記関心領域部分から複数のスライスを生成する手段を備える、請求項４６に記載の装置。
【請求項５０】
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項４９に記載の装置。
【請求項５１】
前記フラクションは１／２であり、
前記複数のスライスは、交互するフレームのケイデンスを備える、請求項５０に記載の装置。
【請求項５２】
前記符号化する手段は、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成する手段を備える、請求項４６に記載の装置。
【請求項５３】
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項５２に記載の装置。
【請求項５４】
コンテンツを受信する装置であって、
シーンの関心領域部分に対応する第１のディスクリプションを受信する手段と、
前記シーンの、サブ・サンプルされた非関心領域部分に対応する第２のディスクリプションを受信する手段と、
これらディスクリプションのうちの少なくとも１つを復号する手段と、
前記復号されたディスクリプションを結合して、出力シーンを生成する手段と、を備える装置。
【請求項５５】
前記シーンの関心領域部分、または、前記シーンの、前記サブ・サンプルされた非関心領域部分のうちの少なくとも１つに対応する第３のディスクリプションを受信する手段をさらに備え、
前記結合する手段は、前記受信したディスクリプションの結合すべき部分を、前記受信したディスクリプションの品質にしたがって選択する手段を備える、請求項５４に記載の装置。
【請求項５６】
前記選択する手段は、どのディスクリプションが最高品質の解像度を有するかに基づいて、前記第３のディスクリプションか、前記第１のディスクリプションまたは前記第２のディスクリプションか、を選択する手段を備える、請求項５５に記載の装置。
【請求項５７】
前記第３のディスクリプションは、前記シーンの関心領域部分に対応し、
前記第３のディスクリプションは、前記第１のディスクリプションとは別の方式で符号化される、請求項５５に記載の装置。
【請求項５８】
前記結合する手段は、前記第１のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供する手段を備える、請求項５７に記載の装置。
【請求項５９】
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合する手段は、前記第２のディスクリプションおよび前記第３のディスクリプションの画素をマージし、前記シーンの非関心領域部分に、増加された解像度を提供する手段を備える、請求項５５に記載の装置。
【請求項６０】
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合する手段は、前記第２のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供する手段を備える、請求項５５に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、無線通信に関し、さらに詳しくは、無線ネットワークにおけるストリーミング・メディア・コンテンツに関する。
【背景技術】
【０００２】
無線通信システムは、例えば電話技術、ビデオ、データ、メッセージング、およびブロードキャストのようなさまざまな通信サービスを提供するように広く開発された。現代の無線アクセス端末では、高機能プロセッサ、大メモリ容量、および増加しつつある多くのマルチメディア入力のソース（例えば、ビデオ・カメラ、ＷＬＡＮトランシーバ等）を含む増加した機能が、大量のコンテンツを生成するための可能性を生み出している。これは、アクセス端末のユーザが、無線ネットワークを利用して共有することを願っていることである。しかしながら、無線ネットワークでは、アクセス端末から、クラウド内のサーバまたは１または複数のアクセス端末へのストリームのアップロードは、一般に、逆方向リンク（すなわち、アップロードするアクセス端末におけるアップリンク）の制限された帯域幅によって制約を受ける。
【０００３】
マルチ・ディスクリプション・コーディング（ＭＤＣ）は、コンテンツを複数のディスクリプションに分離するために頻繁に利用される。複数のディスクリプションは、通信媒体を介して個別に送信され、受信された場合、出力コンテンツを生成するために、アグリゲートされる。これらディスクリプションは、１または複数の経路によってアグリゲータへ送信されうる。そして、これらディスクリプションのおのおのは、一般に、オリジナルのコンテンツの、圧縮および符号化された部分である。いくつかの例では、分離されたコンテンツが、スライス・グループに、および、スライス・グループを構成するための任意のスライス順（ＡＳＯ）に構成される。しかしながら、ＡＳＯは広く適用されておらず、ＡＳＯを利用しているＭＤＣの実施は、ある場合、相互運用問題を提起しうる。
【０００４】
したがって、モバイル・デバイスからネットワークへ、大きなファイルおよびメディア・コンテンツをストリームする機能の改善が高く望まれている。
【発明の概要】
【０００５】
ストリーミング・コンテンツをアグリゲータへ送信するために、マルチ・ディスクリプション・コーディング（ＭＤＣ）を利用する装置、システム、および方法。本開示のある態様は、マクロブロック（ＭＢ）ベースのＭＤＣを利用する。ここでは、複数のディスクリプションが、関心領域（ＲＯＩ：region of interest）ダイバーシティ、解像度ダイバーシティ、および／または、フレーム・レート・ダイバーシティに基づきうる。すなわち、１または複数のディスクリプションは、ＲＯＩを含みうる。また、１または複数のディスクリプションは、コンテンツの非ＲＯＩ部分を含みうる。ここでは、画素をスライスに適切に分配することによって、非ＲＯＩ部分は、サブ・サンプルされ、複数のスライスに分離されうる。ソース・コンテンツ内の連続したフレームを、交互のまたは連続したケイデンスに分配することによって、ＲＯＩスライス（単数または複数）および非ＲＯＩスライス（単数または複数）のうちの一方または両方がさらに複数の部分に分割されうる。これらアルゴリズムを利用して、ＭＢベースのマッピングが、任意のスライス順序付け（ＡＳＩ）を利用する必要なくイネーブルされ、レガシー・システムとの相互運用性が改善される。
【０００６】
本開示の態様では、コンテンツを送信する方法は、ソース・シーンを、少なくとも１つの関心領域部分と少なくとも１つの非関心領域部分にセグメント化することを含む。この方法はさらに、少なくとも１つの非関心領域部分を、少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプルすることと、少なくとも１つの関心領域部分と、少なくとも１つの非関心領域部分の複数の低品質バージョンとを、複数のディスクリプションへ符号化することと、複数のディスクリプションを通信媒体を介して送信することと、を含む。
【０００７】
本開示の別の態様では、コンテンツを受信する方法は、シーンの関心領域部分に対応する第１のディスクリプションを受信することと、シーンのサブ・サンプルされた非関心領域部分に対応する第２のディスクリプションを受信することと、を含む。この方法はさらに、複数のディスクリプションのうちの少なくとも１つを復号することと、復号されたディスクリプションを結合して、出力シーンを生成することと、を含む。
【０００８】
本開示の別の態様では、コンテンツを送信する装置は、プロセッサと、プロセッサに接続されたメモリと、プロセッサに接続された送信機とを含む。ここで、プロセッサは、ソース・シーンを、少なくとも１つの関心領域部分と少なくとも１つの非関心領域部分にセグメント化し、少なくとも１つの非関心領域部分を、少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプルし、少なくとも１つの関心領域部分と、少なくとも１つの非関心領域部分の複数の低品質バージョンとを、複数のディスクリプションへ符号化し、送信機を用いて、複数のディスクリプションを通信媒体を介して送信する、ように構成される。
【０００９】
本開示の別の態様では、コンテンツを受信する装置は、プロセッサと、プロセッサに接続されたメモリと、プロセッサに接続された受信機とを含む。ここで、プロセッサは、シーンの関心領域部分に対応する第１のディスクリプションを、受信機を用いて受信し、シーンのサブ・サンプルされた非関心領域に対応する第２のディスクリプションを、受信機を用いて受信し、複数のディスクリプションのうちの少なくとも１つを復号し、復号されたディスクリプションを結合して、出力シーンを生成する、ように構成される。
【００１０】
本開示の別の態様では、コンピュータ・プログラム製品は、ソース・シーンを、少なくとも１つの関心領域部分と少なくとも１つの非関心領域部分にセグメント化するためのコードと、少なくとも１つの非関心領域部分を、少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプルするためのコードと、少なくとも１つの関心領域部分と、少なくとも１つの非関心領域部分の複数の低品質バージョンとを、複数のディスクリプションへ符号化するためのコードと、複数のディスクリプションを通信媒体を介して送信するためのコードと、を有するコンピュータ読取可能な媒体を含む。
【００１１】
本開示の別の態様では、コンピュータ・プログラム製品は、シーンの関心領域部分に対応する第１のディスクリプションを受信するためのコードと、シーンのサブ・サンプルされた非関心領域部分に対応する第２のディスクリプションを受信するためのコードと、複数のディスクリプションのうちの少なくとも１つを復号するためのコードと、復号されたディスクリプションを結合して、出力シーンを生成するためのコードと、を有するコンピュータ読取可能な媒体を含む。
【００１２】
本開示の別の態様では、コンテンツを送信する装置は、ソース・シーンを、少なくとも１つの関心領域部分と少なくとも１つの非関心領域部分にセグメント化する手段と、少なくとも１つの非関心領域部分を、少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプルする手段と、少なくとも１つの関心領域部分と、少なくとも１つの非関心領域部分の複数の低品質バージョンとを、複数のディスクリプションへ符号化する手段と、複数のディスクリプションを通信媒体を介して送信する手段と、を含む。
【００１３】
本開示の別の態様では、コンテンツを受信する装置は、シーンの関心領域部分に対応する第１のディスクリプションを受信する手段と、シーンのサブ・サンプルされた非関心領域部分に対応する第２のディスクリプションを受信する手段と、複数のディスクリプションのうちの少なくとも１つを復号する手段と、復号されたディスクリプションを結合して、出力シーンを生成する手段と、を含む。
【図面の簡単な説明】
【００１４】
【図１】図１は、処理システムを適用する装置のためのハードウェア実装の例を例示する図解である。
【図２】図２は、コンテンツ・サーバ装置を例示する簡略ブロック図である。
【図３】図３は、アグリゲータ装置を例示する簡略ブロック図である。
【図４】図４は、マルチ・ディスクリプション・コーディングを利用する特定のスキームを例示する概略図である。
【図５】図５は、関心領域ダイバーシティ・ベースのマルチ・ディスクリプション・コーディングを例示する概略図である。
【図６】図６は、解像度ダイバーシティ・ベースのマルチ・ディスクリプション・コーディングを例示する概略図である。
【図７】図７は、関心領域ダイバーシティ、解像度ダイバーシティ、およびフレーム・レート・ダイバーシティを利用するマルチ・ディスクリプション・コーディングを例示する概略図である。
【図８】図８は、ストリーミング・コンテンツ・サーバのための処理を例示するフロー・チャートである。
【図９】図９は、コンテンツのマルチ・ディスクリプションを受信するためのアグリゲータのための処理を例示するフロー・チャートである。
【発明を実施するための形態】
【００１５】
添付図面とともに以下に説明する詳細説明は、さまざまな構成の説明として意図されており、本明細書に記載された概念が実現される唯一の構成を表すことは意図されていない。この詳細説明は、さまざまな概念の完全な理解を提供することを目的とした具体的な詳細を含んでいる。しかしながら、これらの概念は、これら具体的な詳細無しで実現されうることが当業者に明らかになるであろう。いくつかの事例では、周知の構成および構成要素が、このような概念を曖昧にすることを避けるために、ブロック図形式で示されている。
【００１６】
通信システムのいくつかの態様が、さまざまな装置および方法に対する参照を用いて表されうる。これらの装置および方法は、さまざまなブロック、モジュール、構成要素、回路、ステップ、処理、アルゴリズム等（集合的に「要素」と称される）によって、後述する詳細説明に記述されており、添付図面に例示される。これらの要素は、電子ハードウェア、コンピュータ・ソフトウェア、またはこれら任意の組み合わせを用いて実現されうる。これらの要素がハードウェアとしてまたはソフトウェアとして実現されるかは、特定のアプリケーションおよびシステム全体に課せられている設計制約に依存する。
【００１７】
例として、要素、要素の任意の部分、または、要素の任意の組み合わせが、１または複数のプロセッサを含む「処理システム」を用いて実現されうる。プロセッサの例は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、ステート・マシン、ゲート・ロジック、ディスクリート・ハードウェア回路、およびこの開示の全体にわたって記載されたさまざまな機能を実行するように構成されたその他の適切なハードウェアを含んでいる。処理システムにおける１または複数のプロセッサは、ソフトウェアを実行しうる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその他で称されるに関わらず、命令群、命令群セット、コード、コード・セグメント、プログラム・コード、プログラム、サブプログラム、ソフトウェア・モジュール、アプリケーション、ソフトウェア・アプリケーション、パッケージ・ソフト、ルーチン、サブルーチン、オブジェクト、実行形式、実行スレッド、手順、機能等を意味するように広く解釈されるものとする。ソフトウェアは、コンピュータ読取可能な媒体上に存在しうる。コンピュータ読取可能な媒体は、非一時的なコンピュータ読取可能な媒体でありうる。非一時的なコンピュータ読取可能な媒体は、例によれば、磁気記憶デバイス（例えばハード・ディスク、フロッピー（登録商標）ディスク、磁気ストリップ等）、光ディスク（例えば、コンパクト・ディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）等）、スマート・カード、フラッシュ・メモリ・デバイス（例えば、カード、スティック、キー・ドライブ）、ランダム・アクセス・メモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電子的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ（登録商標））、レジスタ、リムーバブル・ディスク、および、コンピュータによってアクセスされうる命令群および／またはソフトウェアを格納するためのその他任意の適切な媒体を含みうる。コンピュータ読取可能な媒体は、処理システムの内部に存在しうるか、処理システムの外部に存在するか、処理システムを含む複数のエンティティにわたって分散されうる。コンピュータ読取可能な媒体は、コンピュータ・プログラム製品内に組み込まれうる。例によれば、コンピュータ・プログラム製品は、パッケージング・マテリアル内にコンピュータ読取可能な媒体を含みうる。当業者であれば、システム全体に課せられる全体的な設計制約および特定のアプリケーションに依存して、本開示の全体にわたって示されている機能を、どうやって最良に実施するかを認識するだろう。
【００１８】
図１は、処理システム１１４を適用する装置１００のためのハードウェア実装の例を例示する概念図である。この例では、処理システム１１４は、一般にバス１０２によって表されているバス・アーキテクチャを用いて実現されうる。バス１０２は、全体的な設計制約および処理システム１１４の特定のアプリケーションに依存して、任意の数の相互接続バスおよびブリッジを含みうる。バス１０２は、一般にプロセッサ１０４によって表される１または複数のプロセッサと、一般にコンピュータ読取可能な媒体１０６によって表されるコンピュータ読取可能な媒体を含むさまざまな回路を共に接続する。バス１０２はさらに、例えば、タイミング・ソース、周辺機器、電圧制御装置、および電力管理回路のようなその他さまざまな回路をリンクしうる。これらは、当該技術分野で良く知られているので、さらなる説明はしない。バス・インタフェース１０８は、バス１０２とトランシーバ１１０との間にインタフェースを提供する。トランシーバ１１０は、送信媒体を介してその他さまざまな装置と通信するための手段を提供する。装置の性質によって、ユーザ・インタフェース１１２（例えば、キーパッド、ディスプレイ、スピーカ、マイクロホン、ジョイスティック）も提供されうる。
【００１９】
プロセッサ１０４は、バス１０２の管理、および、コンピュータ読取可能な媒体１０６に格納されたソフトウェアの実行を含む一般的な処理を担当する。ソフトウェアは、プロセッサ１０４によって実行された場合、処理システム１１４に対して、特定の装置のために記載されたさまざまな機能を実行させる。コンピュータ読取可能な媒体１０６はまた、ソフトウェアが実行されている場合に、プロセッサ１０４によって操作されるデータを格納するためにも使用されうる。
【００２０】
マルチ・ディスクリプション・コーディング（ＭＤＣ）は、例えばメディア・ストリームのようなコンテンツを、ディスクリプションと称される複数のサブストリームにフラグメント化するためのコーディング技術である。これらディスクリプションのおのおのは、生成されると、アグリゲータ・デバイスへルーティングされうる。アグリゲータ・デバイスは、コンテンツを復元するために、これらディスクリプションをアグリゲートする。ＭＤＣでは、これらディスクリプションは互いに異なるが、互いに関連している。すなわち、これらディスクリプションの符号化は、一般に、これらディスクリプションのうちの任意の１つが復号され、コンテンツ全体が復元される。しかしながら、これらディスクリプションのうちの１または複数がアグリゲータに達することに失敗すると、品質の低下が現実化しうる。したがって、これらストリームのうちの１つが、その目的地に到着することに失敗しても、受信機はまだ、コンテンツ全体を復元できなくてはならない。しかしながら、コンテンツのいくつかまたはすべては、比較的低い品質でありうる。
【００２１】
ＭＤＣは、例えば大きなファイルを送信するために、一般には、例えば、単一リンクによるＦＴＰのようなプロトコルや、単一のデバイスからの複数のチャネルを用いて、冗長性を高めるように利用されうる。ＭＤＣをこのように利用することによって、コンテンツを送信するために必要な帯域幅の量が低減する。なぜなら、コンテンツを復元するために、必ずしもこれらコンテンツのすべてが受信される必要はないからである。さらに、ＭＤＣは、改善されたロバストさを与える。なぜなら、これらストリームのうちの１つが失われた場合であっても、受信機はいまだに、コンテンツ全体を復元できるからである。しかしながら、そのうちのある部分は、品質が低下しうる。
【００２２】
本開示の態様によれば、コンテンツがアグリゲータにストリームされると、ＵＥは、同じコンテンツを複数のディスクリプションに動的に符号化しうる。
【００２３】
ここで、アグリゲータは、これらストリームのうちの１または複数を受信しうる。アグリゲータは、複数のストリームを受信した場合、これらストリームを選択的にともにアグリゲートし、コンテンツを復元する。すなわち、アグリゲータは、理想的には、フラグメンテーションおよびＭＣＤ符号化の前にオリジナル品質のコンテンツを復元するために、ディスクリプションのおのおのから、最良の部分（単数または複数）を選択しうる。
【００２４】
図２は、本開示のある態様にしたがうモバイル・サーバ装置２００を例示する簡略ブロック図である。モバイル・サーバは、プロセッサ２０２を含む。ここで、プロセッサ２０２は、図１に例示されたプロセッサ１０４、または、その他任意の適切なプロセッサまたは処理システムでありうる。プロセッサ２０２は、メモリ２０４に接続される。メモリは、表現または記憶のモードに関わらず、非ランダムなデータのアグリゲーションをプロセッサ２０２に提供することができる任意の適切な記憶スペースでありうる。
【００２５】
例示されたモバイル・サーバ２００はさらに、アンテナ２０８を用いて適切な無線広域ネットワーク（ＷＷＡＮ）エア・インタフェースでデータを送信および受信するＷＷＡＮトランシーバ２０６を含む。ＷＷＡＮエア・インタフェースは、限定される訳ではないが、例えば、ＣＤＭＡ、ＴＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ、ｃｄｍａ２０００（登録商標）、ＬＴＥ（登録商標）、ＷｉＭＡＸ等のような無線通信のための任意の適切なプロトコルにしたがいうる。
【００２６】
例示されたモバイル・サーバ２００はさらに、アンテナ２１２を用いて適切な無線ローカル・エリア・ネットワーク（ＷＬＡＮ）および／または無線パーソナル・エリア・ネットワーク（ＷＰＡＮ）エア・インタフェースでデータを送信および受信するＷＬＡＮおよび／またはＷＰＡＮトランシーバ２１０を含む。ＷＬＡＮ／ＷＰＡＮエア・インタフェースは、限定される訳ではないが、例えば、ＩＥＥＥ  ８０２．１１、８０２．１５、ブルートゥース（登録商標）、Ｚｉｇｂｅｅ（登録商標）等のような無線通信のための任意の適切なプロトコルにしたがいうる。ここで、ＷＬＡＮ／ＷＰＡＮエア・インタフェースを利用する通信は、帯域外リンクと称されうる。これは、このリンクが、ＷＷＡＮトランシーバ２０６によって利用されるものとは異なる帯域を利用することを著している。
【００２７】
例示されたモバイル・サーバ２００はさらに、コンテンツ・ソース２１４を含んでいる。いくつかの態様では、コンテンツ・ソース２１４は、メモリ２０４と同じでありうる。すなわち、コンテンツは、メモリ２０４に格納されうる。他の態様では、コンテンツ・ソース２１４は、トランシーバ２０６またはトランシーバ２１０のうちの１つでありうる。すなわち、コンテンツは、それぞれのエア・インタフェースを利用して受信されうる。さらに別の態様では、コンテンツ・ソース２１４は、静止カメラまたはビデオ・カメラ、マイクロホン、センサ、または、モバイル・サーバ２００のユーザが共有することを望むその他任意のコンテンツのソースでありうる。
【００２８】
例示されたモバイル・サーバ２００はさらに、プロセッサ２０２に接続されたエンコーダ２１６を含む。エンコーダ２１６は、例えば、コンテンツ・ソース２１４から、コンテンツの複数のディスクリプションを生成するために、コンテンツのマルチ・ディスクリプション・コーディング（ＭＤＣ）を実行するように構成される。
【００２９】
本開示のある態様では、モバイル・サーバ２００は、例えばモバイル・セルラ電話のような従来式のユーザ機器（ＵＥ）でありうる。ここでは、ＭＤＣアプリケーションは、デバイスにインストールされたソフトウェアでありうる。これによって、このデバイスは、モバイル・サーバ２００として動作するように構成されるようになる。
【００３０】
図３は、本開示のいくつかの態様にしたがうアグリゲータ３００を例示する簡略ブロック図である。例示されたアグリゲータ３００は、プロセッサ３０２を含んでいる。ここで、プロセッサ３０２は、図１に例示されたプロセッサ１０４でありうるか、または、その他任意の適切なプロセッサまたは処理システムでありうる。プロセッサ３０２は、メモリ３０４に接続される。メモリは、表現または記憶のモードに関わらず、非ランダムなデータのアグリゲーションをプロセッサ３０２に提供することができる任意の適切な記憶スペースでありうる。
【００３１】
例示されたモバイル・サーバ３００はさらに、アンテナ３０８を用いて適切なＷＷＡＮインタフェースでデータを送信および受信するＷＷＡＮトランシーバ３０６を含む。ＷＷＡＮエア・インタフェースは、限定される訳ではないが、例えば、ＣＤＭＡ、ＴＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ、ｃｄｍａ２０００（登録商標）、ＬＴＥ、ＷｉＭＡＸ等のような無線通信のための任意の適切なプロトコルにしたがいうる。
【００３２】
例示されたアグリゲータ３００はさらに、アンテナ３１２を用いて適切な無線ローカル・エリア・ネットワーク（ＷＬＡＮ）および／また無線パーソナル・エリア・ネットワーク（ＷＰＡＮ）エア・インタフェースでデータを送信および受信するＷＬＡＮおよび／またはＷＰＡＮトランシーバ３１０を含む。ＷＬＡＮ／ＷＰＡＮエア・インタフェースは、無線通信のために適切な任意のプロトコルにしたがいうる。
【００３３】
例示されたアグリゲータ３００はさらに、プロセッサ３０２に接続されたデコーダ３１６を含む。デコーダ３１６は、例えば、ＷＷＡＮトランシーバ３０６を利用して、モバイル・サーバ２００から受信されたＭＡＣ符号化コンテンツを復号し、例えば、受信されたディスクリプション（単数または複数）をアグリゲートして、コンテンツのバーションを生成するように構成される。例示されたアグリゲータ３００はさらに、例えばディスプレイ・デバイス、スピーカ等のようなユーザ・インタフェース３１８を含む。これによって、復号されたコンテンツが、アグリゲータ３００のユーザによって楽しまれるようになる。
【００３４】
図４は、本開示の１つの態様にしたがってＭＤＣを利用する特定のスキームを例示する概略図である。ここで、モバイル・サーバ４０２（例えば、図２に例示されたモバイル・サーバ２００）および協調するヘルパ・ノード４０４（例えば、図２に例示されたモバイル・サーバ２００と同じ構成要素を含む）は、コンテンツの複数のディスクリプションＤ１およびＤ２をアグリゲータ４０８（例えば、図３に例示されるアグリゲータ３００）に提供するために協調しうる。もちろん、さまざまな実施は、２より多くの任意の適切なディスクリプションを提供し、モバイル・サーバ４０２および１または複数のヘルパ・ノード４０４である各ノードはおのおの、対応するリンクで１または複数のディスクリプションを提供しうる。ここで、モバイル・サーバ４０２は、ヘルパ・ノード４０４を発見および選択し、複数のディスクリプションＤ１およびＤ２を生成した後に、第１のディスクリプションＤ１をアップリンクで送信しうる。モバイル・サーバ４０２は、例えば帯域外リンクによって、第２のディスクリプションＤ２をヘルパ・ノード４０４と共有し、これによって、ヘルパ・ノード４０４は、対応するアップリンクで第２のディスクリプションＤ２を送信できるようになる。
【００３５】
雲４０６は、ＷＷＡＮを表し、アグリゲータ４０８へディスクリプションＤ１およびＤ２をルーティングするための基地局、サーバ、およびその他のノードを含みうる。例えば、雲４０６は、インターネットを含みうる。ここで、雲４０６は、例えばダウンリンクで、アグリゲータ４０８に複数のディスクリプションＤ１およびＤ２を提供する。したがって、アグリゲータ４０８は、モバイル・サーバ４０２からオリジナルのコンテンツのバージョンを得るために、複数のディスクリプションＤ１およびＤ２を、選択的に結合しうる。
【００３６】
図５は、関心領域（ＲＯＩ）５０６に基づくソース・シーン５０２のスライス５０４Ａおよび５０４Ｂへのフラグメンテーションと、スライス５０４Ａ−Ｂの複数のディスクリプションへの符号化とを例示している。ここで、シーンは、例えば静止画、または、動画を生成するために連続的に視聴されるように適用される一連の画像等のような１または複数の画像を称しうる。ソース・シーン５０２のＲＯＩベースの分割では、シーンにおける１または複数のオブジェクトが、ＲＯＩであると識別されうる。各ＲＯＩは、このようにして識別され、空間−時間アクティビティ、アイ・トラッキング、またはその他の適切な関心評価メトリックに基づいてフラグ付けおよび／または優先付けされうる。本開示のいくつかの態様では、単一のセグメント・マップが、その移動範囲を含むシーン全体およびオブジェクトに対して適用され、それぞれの領域（ＲＯＩおよび非ＲＯＩ）を形成しうる。
【００３７】
エンコーダ５０８は、ＲＯＩ５０６に基づいて分割を分離し、ＲＯＩ５０６に基づいて複数のディスクリプション５０４Ａおよび５０４Ｂを生成しうる。すなわち、ソース・シーン５０２は、ＲＯＩおよび非ＲＯＩの複数のレベルへセグメント化されうる。例えば、最も大きな加速度または移動を伴うシーンにおけるオブジェクトは、最高優先度を有するレベル１  ＲＯＩとして識別され、レベル１  ＲＯＩの周囲にある低いまたは中位の加速度または移動を伴う画素は、レベル２  ＲＯＩとして識別されうる。背景を含むシーンの残りの部分は、レベル３  ＲＯＩとして識別されうる。ここで、レベル１乃至３は、総称的に、異なる優先度で称され、以下に説明されるように、異なる符号化品質が、それぞれのＲＯＩレベルに適用されうる。
【００３８】
優先度レベルは、適切な関心メトリックに基づいて、シーンの領域に割り当てられうる。もちろん、任意の適切な数の優先度のレベルと、さまざまなＲＯＩベースのスライスの符号化の手法が、特定の実施において利用されうる。
【００３９】
図５の例示では、エンコーダ５０８が、ソース・シーン５０２を、２つのディスクリプション５０４Ａ−Ｂに分割し、これらディスクリプションを、ＲＯＩ５０６に基づいて、別の方式で符号化する。第１のディスクリプション５０４Ａでは、ＲＯＩ部分は、Ｑ８で示され、最高品質で符号化される。一例では、この品質は、ソース・シーン５０２の品質に対応するフル解像度品質でありうる。第１のディスクリプション５０４Ａの残りの非ＲＯＩ部分は、Ｑ１で示され、最低品質で符号化される。このように、第１のディスクリプション５０４Ａが単独でアグリゲータ５１０において受信される場合、ＲＯＩ部分は、フル解像度で復元されうる一方、非ＲＯＩ部分は、比較的低い解像度で復号されうる。さらに、エンコーダ５０８は、Ｑ４で示される中位の品質で、第２のディスクリプション５０４Ｂの非ＲＯＩ部分とＲＯＩ部分との両方を符号化する。ここで、中位の品質は、Ｑ１とＱ８との間の解像度でありうる。このように、第２のディスクリプション５０４Ｂがアグリゲータ５１０において単独で受信された場合、シーン全体が、中位の解像度で復元されうる。
【００４０】
両ディスクリプションがアグリゲータ５１０において受信された場合、ディスクリプション５０４Ａ−Ｂが復号され、選択的に結合されて、出力シーン５１２が生成される。ここで、アグリゲータ５１０は、それぞれの部分の品質に基づいて、受信したディスクリプションのおのおののうちのＲＯＩ部分および非ＲＯＩ部分をそれぞれ選択しうる。すなわち、第１のディスクリプション５０４ＡのＲＯＩ部分が最高品質を有する一方、第２のディスクリプション５０４Ｂの非ＲＯＩ部分は、第１のディスクリプション５０４Ａの非ＲＯＩ部分よりも良好な品質を有する。したがって、アグリゲータ５１０は、第１のディスクリプション５０４ＡのＲＯＩ部分と、第２のディスクリプション５０４Ｂの非ＲＯＩ部分とを選択的に結合し、出力シーン５１２を生成する。これは、最高品質Ｑ８のＲＯＩ部分５１４と、中位の品質Ｑ４の非ＲＯＩ部分とを有する。
【００４１】
本開示のさらなる態様では、フレーム・レートに対する調節が利用され、ビット割当全体がさらに低減されうる。例えば、最低の関心レベル領域は符号化されないか、あるいは、交互のフレームにおけるスキップとして符号化されうる。以下にさらに説明されるように、フレーム・レート・ダイバーシティをともなうＲＯＩベースのダイバーシティの結合は、無線送信におけるオーバヘッドを低減しうる。
【００４２】
図６は、解像度ダイバーシティを例示する簡略図であり、シーンのすべてまたは一部をサブ・サンプルすることによってシーンがフラグメント化され、これによって、各スライスは、シーンの解像度のフラクションを伴うようになる。例示された例では、ソース・シーン６０２は、複数の画素を含む。ここで、画素は、星の画素６０４、円の画素６０６、正方形の画像６０８、および三角形の画素６１０を含む４つのグループのうちの１つであるとして例示されている。すなわち、星、円、正方形、および三角形の各形状は、本質的には単なる代表またはシンボルであり、シーン６０２に表示されている画像を必ずしも表示していない。１つおきの水平行の画素が、交互する円の画素６０６と三角形の画像６１０とを含んでいる一方、挟んでいる水平行の画素が、交互する星の画素６０４と正方形の画素６０８とを含んでいる。もちろん、特定の実施形態では、任意のパターンの画素が利用されうる。さらに、サブ・サンプリングが、任意の適切な数のグループになされうる。例えば、１つおきの水平行、または、１つおきの垂直列を、それぞれのスライスにサブ・サンプルすることによって、２つからなるグループが生成されうる。シーンがＭ個のスライスへ等しくサブ・サンプリングされた場合、各スライスは、ソース・シーンの解像度に対する１／Ｍの解像度を伴う。もちろん、シーンは、スライス毎に可変の解像度を有する不均等なスライスに分割されうる。
【００４３】
例示では、ソース・シーンが、サブ・サンプリングおよび符号化のためにエンコーダ６１２へ転送される。エンコーダ６１２は、ソース・シーン６０２をサブ・サンプルし、複数（例えば、４つ）の画素のグループを生成することによって、ソース・シーン６０２からの画素を、スライス６１４，６１６，６１８，６２０に分離しうる。例示された例では、円の画素６０６のすべてが第１のスライス６１４にグループ化され、三角形の画素６１０のすべてが第２のスライス６１６にグループ化され、星の画素６０４のすべてが第３のスライス６１８にグループ化され、正方形の画素６０８のすべてが第４のスライス６２０にグループ化される。ソース・シーン６０２内の各画素の分散、および、エンコーダ６１２による各スライスへの予め定められたグルーピングによって、このような分離は、おのおのがシーン全体を表すフル・サイズ画像に拡張されうる複数のスライスとなる。さらに、スライスのうちの２または３つの任意のサブセットが、結合され、スライスのうちの１つの解像度とソース・シーンの解像度との間の解像度を持つシーン全体を表すフル・サイズ画像に拡張されうる。すなわち、任意のさまざまな適切な処理方法のうちの１つが、４つのスライスのうちの１つ、２つ、または３つのサブセットに拡張され、限定される訳ではないが任意の喪失画素における補間を含むフル・サイズ画像となるように利用されうる。もちろん、これらスライスのすべてが、再結合され、オリジナルのソース・シーンが取得される。
【００４４】
エンコーダ６１２は、アグリゲータ６２２へ送信されうる複数（例えば、４つ）のディスクリプションを生成するために、１または複数の適切な符号化スキームを用いてスライス６１４，６１６，６１８，６２０を符号化しうる。これらディスクリプションは、例えば、無線エア・インタフェース、有線インタフェース等のような任意の適切な通信媒体を用いてアグリゲータへ送信されうる。アグリゲータ６２２は、通信媒体の特性に基づいて、それぞれのディスクリプションのうちの１または複数を受信しうる。すなわち、これらディスクリプションのうちの１または複数は、干渉、雑音、フェージング、または、信号喪失に関するその他任意の理由によって、送信中に喪失されうる。アグリゲータ６２２は、その後、受信したディスクリプションを復号しうる。そして、ソース・シーン６０２の画素に対応する順に順序付けすることによって、受信したディスクリプションにおける画素を結合し、復元された画素を用いて目的画像６２４を生成しうる。複数のディスクリプションのすべてが、アグリゲータにおいて受信されると、目的画像６２４は、ソース・シーン６０２と同じ解像度および品質となりうる。複数のディスクリプションのうちのすべてよりも少ないディスクリプションがアグリゲータにおいて受信されると、受信されたディスクリプションが復号され結合されうる。そして、結果として得られる画像が、アップ・コンバートされ、受信に失敗した１または複数の喪失したディスクリプションからの画素が補償されうる。
【００４５】
本開示のいくつかの態様では、ソース・シーンの別の領域が、ソース・シーン全体ではなく、解像度ベースのスライスにフラグメント化されうる。例えば、後述されるように、ＲＯＩ部分および非ＲＯＩ部分が、独立して、解像度ベースのスライスにフラグメント化されうる。ここで、ディスクリプションのある部分が、アグリゲータによって選択的に結合され、シーンの各領域から利用可能な最良の解像度が集められる。さらに、後述するように、解像度ダイバーシティが、フレーム・レート・ダイバーシティと結合され、サブ・サンプルされたシーン、または、シーンの領域が、シーンからの異なるフレームを有する複数のディスクリプションへフラグメント化されうる。
【００４６】
図７は、ＲＯＩダイバーシティ、解像度ダイバーシティ、およびフレーム・レート・ダイバーシティを含む結合されたダイバーシティを例示する簡略図である。ディスクリプションが通信インタフェースによってアグリゲータへ送信される場合、さまざまな形態のフラグメンテーションの結合によって、送信オーバヘッドが低減しうる。
【００４７】
一例では、ＲＯＩベースの分割が、解像度ダイバーシティを用いて結合されうる。例えば、ソース・シーン７０２は、複数の画素を含みうる。１または複数の関心領域７０４が、任意の適切な関心メトリック評価によって、ソース・シーン内で識別されうる。ソース・シーンは、ソース・シーン７０２をスライスにフラグメント化するため、およびそれぞれのスライスを符号化するために、エンコーダ７０６へ提供されうる。
【００４８】
ここでは、ソース・シーン７０２がセグメント化され、これによって、ＲＯＩ７０４は、個別のスライス７０８を生成するようになる。これは、別々のディスクリプションへ符号化され、別々のディスクリプションとして送信される。本開示のさまざまな態様にしたがって、ＲＯＩ７０４を含むスライス７０８は、ソース・シーン７０２の解像度に対応するフル解像度で符号化されうる。あるいは、ＲＯＩ７０４を含むスライス７０８は、送信中のオーバヘッドを低減するために、ソース・シーン７０２と比べて低い解像度で符号化されうる。本開示のいくつかの態様では、スライス７０８に対応する複数のディスクリプションが、１または複数の解像度で生成され、これらディスクリプションのうちの１または複数が送信中に失われた場合のロバストさが改善される。ここで、アグリゲータによってディスクリプションが受信されると、最高品質の解像度を有するディスクリプションが、選択されるだろう。
【００４９】
さらに、ソース・シーン７０２の背景または非ＲＯＩ領域（単数または複数）が、サブ・サンプルされ、これによって、ソース・シーン７０２の非ＲＯＩ領域の画素が、例えばスライス７１４，７１６，７１８，７２０のような複数のスライスに分離される。これらスライスは、その後、それぞれのディスクリプションへ符号化され、通信媒体によってアグリゲータ７１２へ送信されうる。
【００５０】
非ＲＯＩスライス７１４，７１６，７１８，７２０に対応するディスクリプションでは、シーンのＲＯＩ部分に対応するマクロブロック（ＭＢ）がスキップされ、オーバヘッドが低減されうる。あるいは、ＲＯＩ部分に対応するＭＢは、背景、すなわち、非ＲＯＩ部分とは異なる品質で符号化されうる。すなわち、ＲＯＩ部分は、比較的低い品質で符号化されうる一方、非ＲＯＩ部分は、サブ・サンプルされ、解像度ダイバーシティが達成されうる。あるいは、ＲＯＩ部分は、背景、すなわち、スライスにおける非ＲＯＩ部分と同じ方式または異なる方式でサブ・サンプリングを利用して符号化されうる。
【００５１】
ここで、ＭＢは、画素のグループまたはブロックに対応する。例えば、ＭＢは、１６×１６のパターンで構成された２５６画素のブロックでありうる。
【００５２】
アグリゲータ７１２では、ディスクリプションのうちのいくつかが、通信媒体を介して到着しうる一方、ディスクリプションのうちの別の１つが、送信中に喪失されうる。ここで、アグリゲータ７１２は、例えば、受信したディスクリプションからの画像のうちの最良の部分を利用するために、受信したディスクリプションを復号し、選択的に結合しうる。例えば、アグリゲータ７１２において、すべてのディスクリプションが受信された場合、高品質のＲＯＩディスクリプション７０８が、非ＲＯＩディスクリプション７１４，７１６，７１８，７２０の順序付けられた画素とマージされて、フル解像度の画像７２２が取得される。あるいは、すべてよりも少ないディスクリプションしかアグリゲータ７１２において受信されていない場合、アグリゲータ７１２は、受信された非ＲＯＩディスクリプション（単数または複数）およびＲＯＩディスクリプション（単数または複数）からの最高品質の画像部分を選択し、選択されたディスクリプションを、（非ＲＯＩディスクリプションのために利用される解像度ダイバーシティの場合）ピクセル・マージ、および（ＲＯＩディスクリプションが受信された場合）ＭＢ交換によって結合しうる。
【００５３】
本開示のさらなる態様では、フレーム・レート・ダイバーシティが、ＲＯＩダイバーシティおよび／または解像度ダイバーシティと連携して利用されうる。フレーム・レート・ダイバーシティは、一般に、ソース・シーンのフレームのフラクションの複数のディスクリプションのうちの１または複数による伝送を称する。例えば、１対のディスクリプションが、ソース・フレームの、交互するケイデンスを含みうる。もちろん、ソース・シーンからのフレームのフラクションは、１／２以外でありうる。そして、任意の適切な数のディスクリプションが、ソース・シーンのフレームのうちの同じ、または、互いに異なる、任意の適切な部分を含みうる。
【００５４】
例では、図７に再び示すように、ＲＯＩ７０４は、ソース・シーン７０２において、前述されたように識別されうる。ＲＯＩは、エンコーダ７０６によって個別のスライスに分離されうる。そして、適切なフレーム・レートでディスクリプションへ符号化されうる。例えば、ＲＯＩにおける最大品質の場合、ＲＯＩディスクリプションが、ソース・シーン７０２のフレーム・レートに対応するフル・フレーム・レートで符号化されうる。本開示のいくつかの態様では、おのおのがフルの半分のフレーム・レートを含み、ソース・シーン７０２からの交互のフレームのケイデンスを含む、例えば、２つのスライス７０８，７１０を利用して、ＲＯＩディスクリプションが、フル・フレーム・レート未満で符号化されうる。
【００５５】
さらに、ソース・シーン７０２の非ＲＯＩ領域（単数または複数）が、前述したようにサブ・サンプルされ、例えば、おのおのがソース・シーン７０２からの画素の１／４を有する、４つのスライス７１４，７１６，７１８，７２０が生成される。さらに、非ＲＯＩスライス７１４，７１６，７１８，７２０はおのおの、ソース・シーンからのフレームの１／４、または１／２、またはその他任意の適切なフラクションを含んでおり、送信媒体によって送信された場合、オーバヘッドがさらに低減される。さらに、画素のグループのうちの１または複数（例えば、第１のスライス７１４）が、ディスクリプションとして送信されるために、例えば、交互するフレームのケイデンスを含む２つのスライスのような複数のフレーム・レート・ダイバーシティ・スライスに分割されうる。すなわち、特定のディスクリプションは、１つおきのフレームを含む、ハーフ・フレーム・レートにおける、ソース・シーンの１／４解像度非ＲＯＩ部分でありうる。
【００５６】
したがって、本開示のさらなる態様にしたがって、ＭＤＣベースのシステムにおけるＲＯＩ部分と非ＲＯＩ部分との間のシーン分割、解像度ダイバーシティ、および／または、フレーム・レート・ダイバーシティにおける変化は、必要とされるスライスが比較的少ない、簡略されたＭＢベースの品質割当に至り、結果として、Ｈ．２６４符号化におけるスライス・オーバヘッドが減少する。さらに、ＭＢベースのマッピングは、任意のスライス順序付け（ＡＳＯ）を利用する必要なくイネーブルされる。ＡＳＯは、広く適用されておらず、ＲＯＩベースの符号化が利用された場合に相互運用問題を提起しうる。
【００５７】
図８は、ソースからアグリゲータへコンテンツを送信するための処理８００を例示するフロー・チャートである。本開示のある態様では、処理８００は、図１に例示されている処理システム１１４によって実行されうる。本開示の他の態様では、処理８００は、図２に例示されたモバイル・サーバ装置２００によって実行されうる。本開示のさらにその他の態様では、処理８００は、コンテンツをアグリゲータへ送信するための任意の適切な装置によって実行されうる。ブロック８０２では、この処理は、ソース・シーン内のＲＯＩを識別し、ブロック８０４において、この処理は、ソース・シーンを、少なくとも１つのＲＯＩ部分および少なくとも１つの非ＲＯＩ部分にセグメント化する。ブロック８０６では、この処理は、少なくとも１つの非ＲＯＩ部分を、少なくとも１つの非ＲＯＩ部分のおのおのの複数の低い品質のバージョンにサブ・サンプルする。ブロック８０８では、この処理は、少なくとも１つのＲＯＩ部分を符号化して、ＲＯＩディスクリプションを生成し、ブロック８１０では、この処理は、少なくとも１つの非ＲＯＩ部分のおのおのの複数の低い品質バージョンを、複数の非ＲＯＩディスクリプションに符号化する。ブロック８１２では、この処理は、生成されたディスクリプションを、通信媒体を介してアグリゲータへ送信する。
【００５８】
図９は、アグリゲータにおいてソースからコンテンツを受信するための処理９００を例示するフロー・チャート９００である。本開示のいくつかの態様では、処理９００は、図１に例示された処理システム１１４によって実行されうる。本開示の他の態様では、処理９００は、図３に例示されたアグリゲータ３００によって実行されうる。本開示のさらに別の態様では、処理９００は、アグリゲータへコンテンツを送信するための任意の適切な装置によって実行されうる。ブロック９０２では、この処理は、シーンの関心領域部分に対応する第１のディスクリプションと、シーンのサブ・サンプルされた非ＲＯＩ部分に対応する第２のディスクリプションとを受信する。ブロック９０４では、この処理は、受信したディスクリプションを復号し、ブロック９０６では、この処理は、復号されたディスクリプションを、受信したディスクリプションのそれぞれの部分の解像度または品質にしたがって、選択的に結合する。ブロック９０８では、この処理は、選択的に結合されたディスクリプションに基づいて、出力シーンを生成する。
【００５９】
図１および図２に示すように、１つの構成では、コンテンツを送信するための装置は、ソース・シーンを、少なくとも１つの関心領域部分と、少なくとも１つの非関心領域部分とにセグメント化する手段と、ソース・シーンのうちの少なくとも一部を、それぞれの部分のおのおのの複数の低品質バージョンへサブ・サンプルする手段と、それぞれの部分を、複数のディスクリプションへ符号化する手段と、複数のディスクリプションを通信媒体によって送信する手段と、関心メトリック評価にしたがって、ソース・シーンの関心領域部分を識別する手段と、関心領域部分から、複数のスライスを生成する手段と、および／または、少なくとも１つの非関心領域部分の複数の低品質バージョンから複数のスライスを生成する手段と、を含みうる。前述した手段は、前述した手段によって記述された機能を実行するように構成された処理システム１１４でありうる。前述したように、処理システム１１４は、プロセッサ２０２、エンコーダ２１６、およびメモリ２０４を含みうる。そのため、１つの構成では、前述した手段は、プロセッサ２０２、エンコーダ２１６、ヘルパ・ノード・マネジャ２１８、メモリ２０４、ＷＷＡＮトランシーバ２０６、および、前述した手段によって記述された機能を実行するように構成されたＷＬＡＮ／ＷＰＡＮトランシーバ２１０でありうる。
【００６０】
別の構成では、図１および図３に示すように、コンテンツを受信する装置は、シーンの関心領域部分に対応するディスクリプションを受信する手段と、シーンのサブ・サンプルされた非関心領域部分に対応するディスクリプションを受信する手段と、複数のディスクリプションを復号する手段と、復号されたディスクリプションを結合して、出力シーンを生成する手段と、受信したディスクリプションの一部を選択し、受信したディスクリプションの品質にしたがって結合する手段と、どのディスクリプションが最高品質の解像度を有しているかに基づいてディスクリプションを選択する手段と、ディスクリプションからのフレームをマージして、増加されたフレーム・レートを提供する手段と、ディスクリプションの画素をマージして、増加された解像度を提供する手段と、および／または、ディスクリプションからのフレームをマージして、増加されたフレーム・レートを提供する手段と、を含みうる。前述した手段は、前述した手段によって記述された機能を実行するように構成された処理システム１１４でありうる。前述したように、処理システム１１４は、プロセッサ３０２、デコーダ３１０、およびメモリ３０４を含みうる。そのため、１つの構成では、前述した手段は、プロセッサ３０２、デコーダ３１０、メモリ３０４、ＷＷＡＮトランシーバ３０６、および、前述した手段によって記述された機能を実行するように構成されたＷＬＡＮ／ＷＰＡＮトランシーバ３１０でありうる。
【００６１】
開示された処理のステップの具体的な順序または階層は、典型的なアプローチの例示であることが理解される。設計選択に基づいて、これら処理におけるステップの具体的な順序または階層は、再構成されうることが理解される。同伴する方法請求項は、さまざまなステップの要素を、サンプル順で示しており、示された具体的な順序または階層に限定されないことが意味される。
【００６２】
前述の記載は、いかなる当業者であっても、ここで開示されたさまざまな態様を実現できるように提供される。これらの態様に対するさまざまな変形例は、当業者に容易に明らかになり、本明細書に定義された一般的な原理は、他の態様にも適用可能である。したがって、特許請求の範囲は、本明細書に示された態様に限定されず、請求項の文言と首尾一貫したすべての範囲が与えられることが意図されており、ここで、単数形による要素への参照は、もしも明確に述べられていないのであれば、「１および１のみ」を意味するのではなく、「１または複数」を意味することが意図されている。特に明記されていない限り、用語「いくつか」は、１または複数を称する。当業者に周知であるか、または、後に周知になるべき本開示を通じて記載されたさまざまな態様の要素に対するすべての構造的および機能的な等価物が、参照によって本明細書に明確に組み込まれており、請求項に含められていると意図される。さらに、本明細書で開示されたいずれも、このような開示が請求項において明示的に述べられているかに関わらず、公衆に対して放棄されたものとは意図されていない。これら請求項要素が、「〜する手段」という文言を用いて明確に記載されていないのであれば、あるいは、方法請求項の場合に、「〜するステップ」という文言を用いて記載されていないのであれば、いずれの請求項要素も、３５Ｕ．Ｓ．Ｃ第１１２条第６パラグラフの下で解釈されるべきではない。
【図１】
2017055421.tif 000003
【図２】
2017055421.tif 000004
【図３】
2017055421.tif 000005
【図４】
2017055421.tif 000006
【図５】
2017055421.tif 000007
【図６】
2017055421.tif 000008
【図７】
2017055421.tif 000009
【図８】
2017055421.tif 000010
【図９】
2017055421.tif 000011
【手続補正書】
【提出日】平成28年11月21日(2016.11.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンテンツを送信する方法であって、
ソース・シーンを、関心領域部分および非関心領域部分にセグメント化することと、
前記非関心領域部分を、前記非関心領域部分の複数の低品質バージョンへサブ・サンプリングすることと、
前記関心領域部分と、前記非関心領域部分の、前記複数の低品質バージョンのおのおのとを、複数のディスクリプションに符号化することと、
前記関心領域部分は、前記ソース・シーンと比べてフル解像度またはより低い解像度で符号化され、前記非関心領域部分の前記複数の低品質バージョンは、前記関心領域部分の前記解像度と比べてより低い解像度で符号化され、前記関心領域部分および前記非関心領域部分の前記複数の低品質バージョンのおのおのは、前記複数のディスクリプションのそれぞれのディスクリプションに個別に符号化され、ここにおいて、各ディスクリプションは、前記ソース・シーンと比べてフル解像度またはより低い解像度で符号化された前記関心領域部分と、前記複数の低品質バージョンのうちの１つと、を含み、
個別のディスクリプションとして前記符号化された複数のディスクリプションを、結合せずに、通信媒体を介して送信することと、を備える、
方法。
【請求項２】
関心メトリック評価にしたがって、前記ソース・シーンの、関心領域部分を識別すること、をさらに備える請求項１に記載の方法。
【請求項３】
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャに対応する、請求項２に記載の方法。
【請求項４】
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項１に記載の方法。
【請求項５】
前記フラクションは１／２である、請求項４に記載の方法。
【請求項６】
前記符号化することは、前記非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成することを備える、請求項１に記載の方法。
【請求項７】
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項６に記載の方法。
【請求項８】
コンテンツを送信する装置であって、
プロセッサと、
前記プロセッサに接続されたメモリと、
前記プロセッサに接続された送信機とを備え、
前記プロセッサは、
ソース・シーンを、関心領域部分と、非関心領域部分とにセグメント化し、
前記非関心領域部分を、前記非関心領域部分の複数の低品質バージョンへサブ・サンプルし、
前記関心領域部分と、前記非関心領域部分の前記複数の低品質バージョンのおのおのとを、複数のディスクリプションへ符号化し、前記関心領域部分は、前記ソース・シーンと比べてフル解像度またはより低い解像度で符号化され、前記非関心領域部分の前記複数の低品質バージョンは、前記関心領域部分の前記解像度と比べてより低い解像度で符号化され、前記関心領域部分および前記非関心領域部分の前記複数の低品質バージョンのおのおのは、前記複数のディスクリプションのそれぞれのディスクリプションに個別に符号化され、ここにおいて、各ディスクリプションは、前記ソース・シーンと比べてフル解像度またはより低い解像度で符号化された前記関心領域部分と、前記複数の低品質バージョンのうちの１つと、を含み、
前記送信機を用いて、個別のディスクリプションとして前記符号化された複数のディスクリプションを、結合することなく、通信媒体を介して送信するように構成されている、
装置。
【請求項９】
前記プロセッサはさらに、前記ソース・シーンの前記関心領域部分を、関心メトリック評価にしたがって識別するように構成された、請求項８に記載の装置。
【請求項１０】
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャに対応する、請求項９に記載の装置。
【請求項１１】
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項８に記載の装置。
【請求項１２】
前記フラクションは１／２である、請求項１１に記載の装置。
【請求項１３】
前記符号化することは、前記非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成することを備える、請求項８に記載の装置。
【請求項１４】
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項１３に記載の装置。
【請求項１５】
コンピュータ実行可能なコードを格納する非一時的コンピュータ読取可能な記録媒体であって、
ソース・シーンを、関心領域部分および非関心領域部分にセグメント化するためのコードと、
前記非関心領域部分を、前記非関心領域部分の複数の低品質バージョンへサブ・サンプリングするためのコードと、
前記１つの関心領域部分と、前記非関心領域部分の、前記複数の低品質バージョンとを、複数のディスクリプションに符号化することと、前記関心領域部分は、前記ソース・シーンと比べてフル解像度またはより低い解像度で符号化され、前記非関心領域部分の前記複数の低品質バージョンは、前記関心領域部分の前記解像度と比べてより低い解像度で符号化され、前記関心領域部分および前記非関心領域部分の前記複数の低品質バージョンのおのおのは、前記複数のディスクリプションのそれぞれのディスクリプションに個別に符号化され、ここにおいて、各ディスクリプションは、前記ソース・シーンと比べてフル解像度またはより低い解像度で符号化された前記関心領域部分と、前記複数の低品質バージョンのうちの１つと、を含み、
個別のディスクリプションとして前記符号化された複数のディスクリプションを、結合せずに、通信媒体を介して送信するためのコードと、を備える、
非一時的コンピュータ読取可能な記録媒体。
【請求項１６】
関心メトリック評価にしたがって、前記ソース・シーンの、前記関心領域部分を識別するためのコードをさらに備える、請求項１５に記載のコンピュータ読取可能な記録媒体。
【請求項１７】
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャに対応する、請求項１６に記載のコンピュータ読取可能な記録媒体。
【請求項１８】
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項１５に記載のコンピュータ読取可能な記録媒体。
【請求項１９】
前記フラクションは１／２である、請求項１８に記載のコンピュータ読取可能な記録媒体。
【請求項２０】
前記符号化するためのコードは、前記非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成するためのコードを備える、請求項１５に記載のコンピュータ読取可能な記録媒体。
【請求項２１】
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項１９に記載のコンピュータ読取可能な記録媒体。
【請求項２２】
コンテンツを送信する装置であって、
ソース・シーンを、関心領域部分と、非関心領域部分とにセグメント化する手段と、
前記非関心領域部分を、前記非関心領域部分の複数の低品質バージョンへサブ・サンプリングする手段と、
前記関心領域部分と、前記非関心領域部分の、前記複数の低品質バージョンのおのおのとを、複数のディスクリプションに符号化する手段と、前記関心領域部分は、前記ソース・シーンと比べてフル解像度またはより低い解像度で符号化され、前記非関心領域部分の前記複数の低品質バージョンは、前記関心領域部分の前記解像度と比べてより低い解像度で符号化され、前記関心領域部分および前記非関心領域部分の前記複数の低品質バージョンのおのおのは、前記複数のディスクリプションのそれぞれのディスクリプションに個別に符号化され、ここにおいて、各ディスクリプションは、前記ソース・シーンと比べてフル解像度またはより低い解像度で符号化された前記関心領域部分と、前記複数の低品質バージョンのうちの１つと、を含み、
個別のディスクリプションとして前記符号化された複数のディスクリプションを、結合することなく、通信媒体を介して送信する手段と、を備える、
装置。
【請求項２３】
関心メトリック評価にしたがって、前記ソース・シーンの、前記関心領域部分を識別する手段、をさらに備える請求項２２に記載の装置。
【請求項２４】
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャに対応する、請求項２３に記載の装置。
【請求項２５】
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項２２に記載の装置。
【請求項２６】
前記フラクションは１／２である、請求項２５に記載の装置。
【請求項２７】
前記符号化する手段は、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成する手段を備える、請求項２２に記載の装置。
【請求項２８】
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、請求項２７に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
前述の記載は、いかなる当業者であっても、ここで開示されたさまざまな態様を実現できるように提供される。これらの態様に対するさまざまな変形例は、当業者に容易に明らかになり、本明細書に定義された一般的な原理は、他の態様にも適用可能である。したがって、特許請求の範囲は、本明細書に示された態様に限定されず、請求項の文言と首尾一貫したすべての範囲が与えられることが意図されており、ここで、単数形による要素への参照は、もしも明確に述べられていないのであれば、「１および１のみ」を意味するのではなく、「１または複数」を意味することが意図されている。特に明記されていない限り、用語「いくつか」は、１または複数を称する。当業者に周知であるか、または、後に周知になるべき本開示を通じて記載されたさまざまな態様の要素に対するすべての構造的および機能的な等価物が、参照によって本明細書に明確に組み込まれており、請求項に含められていると意図される。さらに、本明細書で開示されたいずれも、このような開示が請求項において明示的に述べられているかに関わらず、公衆に対して放棄されたものとは意図されていない。これら請求項要素が、「〜する手段」という文言を用いて明確に記載されていないのであれば、あるいは、方法請求項の場合に、「〜するステップ」という文言を用いて記載されていないのであれば、いずれの請求項要素も、３５Ｕ．Ｓ．Ｃ第１１２条第６パラグラフの下で解釈されるべきではない。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
コンテンツを送信する方法であって、
ソース・シーンを、少なくとも１つの関心領域部分および少なくとも１つの非関心領域部分にセグメント化することと、
前記少なくとも１つの非関心領域部分を、前記少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプリングすることと、
前記少なくとも１つの関心領域部分と、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンとを、複数のディスクリプションに符号化することと、
前記複数のディスクリプションを通信媒体を介して送信することと、を備える方法。
［Ｃ２］
関心メトリック評価にしたがって、前記ソース・シーンの、前記少なくとも１つの関心領域部分を識別すること、をさらに備えるＣ１に記載の方法。
［Ｃ３］
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャのうちの少なくとも１つに対応する、Ｃ２に記載の方法。
［Ｃ４］
前記符号化することは、前記関心領域部分から、複数のスライスを生成することを備える、Ｃ１に記載の方法。
［Ｃ５］
前記ソース・シーンは複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、Ｃ４に記載の方法。
［Ｃ６］
前記フラクションは１／２であり、
前記複数のスライスは、交互するフレームのケイデンスを備える、Ｃ５に記載の方法。
［Ｃ７］
前記符号化することは、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成することを備える、Ｃ１に記載の方法。
［Ｃ８］
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、Ｃ７に記載の方法。
［Ｃ９］
コンテンツを受信する方法であって、
シーンの関心領域部分に対応する第１のディスクリプションを受信することと、
前記シーンの、サブ・サンプルされた非関心領域部分に対応する第２のディスクリプションを受信することと、
前記ディスクリプションのうちの少なくとも１つを復号することと、
前記復号されたディスクリプションを結合して、出力シーンを生成することと、を備える方法。
［Ｃ１０］
前記シーンの関心領域部分、または、前記シーンの、前記サブ・サンプルされた非関心領域部分のうちの少なくとも１つに対応する第３のディスクリプションを受信することをさらに備え、
前記結合することは、前記受信したディスクリプションの結合すべき部分を、前記受信したディスクリプションの品質にしたがって選択することを備える、Ｃ９に記載の方法。
［Ｃ１１］
前記選択することは、どのディスクリプションが最高品質の解像度を有するかに基づいて、前記第３のディスクリプションか、前記第１のディスクリプションまたは前記第２のディスクリプションか、を選択することをさらに備える、Ｃ１０に記載の方法。
［Ｃ１２］
前記第３のディスクリプションは、前記シーンの関心領域部分に対応し、
前記第３のディスクリプションは、前記第１のディスクリプションとは別の方式で符号化される、Ｃ１０に記載の方法。
［Ｃ１３］
前記結合することは、前記第１のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供することを備える、Ｃ１２に記載の方法。
［Ｃ１４］
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合することは、前記第２のディスクリプションおよび前記第３のディスクリプションの画素をマージし、前記シーンの非関心領域部分に、増加された解像度を提供することを備える、Ｃ１０に記載の方法。
［Ｃ１５］
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合することは、前記第２のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供することを備える、Ｃ１０に記載の方法。
［Ｃ１６］
コンテンツを送信する装置であって、
プロセッサと、
前記プロセッサに接続されたメモリと、
前記プロセッサに接続された送信機とを備え、
前記プロセッサは、
ソース・シーンを、少なくとも１つの関心領域部分と、少なくとも１つの非関心領域部分とにセグメント化し、
前記少なくとも１つの非関心領域部分を、前記少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプルし、
前記少なくとも１つの関心領域部分と、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンとを、複数のディスクリプションへ符号化し、
前記送信機を用いて、前記複数のディスクリプションを通信媒体を介して送信するように構成された、装置。
［Ｃ１７］
前記プロセッサはさらに、前記ソース・シーンの少なくとも１つの関心領域部分を、関心メトリック評価にしたがって識別するように構成された、Ｃ１６に記載の装置。
［Ｃ１８］
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャのうちの少なくとも１つに対応する、Ｃ１７に記載の装置。
［Ｃ１９］
前記符号化することは、前記関心領域部分から、複数のスライスを生成することを備える、Ｃ１６に記載の装置。
［Ｃ２０］
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、Ｃ１９に記載の装置。
［Ｃ２１］
前記フラクションは１／２であり、
前記複数のスライスは、交互するフレームのケイデンスを備える、Ｃ２０に記載の装置。
［Ｃ２２］
前記符号化することは、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成することを備える、Ｃ１６に記載の装置。
［Ｃ２３］
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、Ｃ２２に記載の装置。
［Ｃ２４］
コンテンツを受信する装置であって、
プロセッサと、
前記プロセッサに接続されたメモリと、
前記プロセッサに接続された受信機とを備え、
前記プロセッサは、
シーンの関心領域部分に対応する第１のディスクリプションを、前記受信機を用いて受信し、
前記シーンの、サブ・サンプルされた非関心領域部分に対応する第２のディスクリプションを、前記受信機を用いて受信し、
これらディスクリプションのうちの少なくとも１つを復号し、
前記復号されたディスクリプションを結合して、出力シーンを生成するように構成された、装置。
［Ｃ２５］
前記プロセッサはさらに、前記シーンの関心領域部分、または、前記シーンの、前記サブ・サンプルされた非関心領域部分のうちの少なくとも１つに対応する第３のディスクリプションを受信するように構成され、
前記結合することは、前記受信したディスクリプションの結合すべき部分を、前記受信したディスクリプションの品質にしたがって選択することを備える、Ｃ２４に記載の装置。
［Ｃ２６］
前記選択することは、どのディスクリプションが最高品質の解像度を有するかに基づいて、前記第３のディスクリプションか、前記第１のディスクリプションまたは前記第２のディスクリプションか、を選択することを備える、Ｃ２５に記載の装置。
［Ｃ２７］
前記第３のディスクリプションは、前記シーンの関心領域部分に対応し、
前記第３のディスクリプションは、前記第１のディスクリプションとは別の方式で符号化される、Ｃ２５に記載の装置。
［Ｃ２８］
前記結合することは、前記第１のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供することを備える、Ｃ２７に記載の装置。
［Ｃ２９］
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合することは、前記第２のディスクリプションおよび前記第３のディスクリプションの画素をマージし、前記シーンの非関心領域部分に、増加された解像度を提供することを備える、Ｃ２５に記載の装置。
［Ｃ３０］
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記第２のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供することを備える、Ｃ２５に記載の装置。
［Ｃ３１］
コンピュータ・プログラム製品であって、
ソース・シーンを、少なくとも１つの関心領域部分および少なくとも１つの非関心領域部分にセグメント化することと、
前記少なくとも１つの非関心領域部分を、前記少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプリングすることと、
前記少なくとも１つの関心領域部分と、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンとを、複数のディスクリプションに符号化することと、
前記複数のディスクリプションを通信媒体を介して送信することと、のためのコードを備えるコンピュータ読取可能な媒体、を備えるコンピュータ・プログラム製品。
［Ｃ３２］
前記コンピュータ読取可能な媒体はさらに、関心メトリック評価にしたがって、前記ソース・シーンの、前記少なくとも１つの関心領域部分を識別するためのコードを備える、Ｃ３１に記載のコンピュータ・プログラム製品。
［Ｃ３３］
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャのうちの少なくとも１つに対応する、Ｃ３２に記載のコンピュータ・プログラム製品。
［Ｃ３４］
前記符号化するためのコードは、前記関心領域部分から、複数のスライスを生成するためのコードを備える、Ｃ３１に記載のコンピュータ・プログラム製品。
［Ｃ３５］
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、Ｃ３３に記載のコンピュータ・プログラム製品。
［Ｃ３６］
前記フラクションは１／２であり、
前記複数のスライスは、交互するフレームのケイデンスを備える、Ｃ３４に記載のコンピュータ・プログラム製品。
［Ｃ３７］
前記符号化するためのコードは、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成するためのコードを備える、Ｃ３１に記載のコンピュータ・プログラム製品。
［Ｃ３８］
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、Ｃ３６に記載のコンピュータ・プログラム製品。
［Ｃ３９］
コンピュータ・プログラム製品であって、
シーンの関心領域部分に対応する第１のディスクリプションを、前記受信機を用いて受信することと、
前記シーンの、サブ・サンプルされた非関心領域部分に対応する第２のディスクリプションを受信することと、
これらディスクリプションのうちの少なくとも１つを復号することと、
前記復号されたディスクリプションを結合して、出力シーンを生成することと、ためのコードを備えるコンピュータ読取可能な媒体、を備えるコンピュータ・プログラム製品。
［Ｃ４０］
前記コンピュータ読取可能な媒体はさらに、前記シーンの関心領域部分、または、前記シーンの、前記サブ・サンプルされた非関心領域部分のうちの少なくとも１つに対応する第３のディスクリプションを受信するためのコードを備え、
前記結合するためのコードは、前記受信したディスクリプションの結合すべき部分を、前記受信したディスクリプションの品質にしたがって選択するためのコードを備える、Ｃ３９に記載のコンピュータ・プログラム製品。
［Ｃ４１］
前記選択するためのコードは、どのディスクリプションが最高品質の解像度を有するかに基づいて、前記第３のディスクリプションか、前記第１のディスクリプションまたは前記第２のディスクリプションか、を選択するためのコードを備える、Ｃ４０に記載のコンピュータ・プログラム製品。
［Ｃ４２］
前記第３のディスクリプションは、前記シーンの関心領域部分に対応し、
前記第３のディスクリプションは、前記第１のディスクリプションとは別の方式で符号化される、Ｃ４０に記載のコンピュータ・プログラム製品。
［Ｃ４３］
前記結合するためのコードは、前記第１のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供するためのコードを備える、Ｃ４２に記載のコンピュータ・プログラム製品。
［Ｃ４４］
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合するためのコードは、前記第２のディスクリプションおよび前記第３のディスクリプションの画素をマージし、前記シーンの非関心領域部分に、増加された解像度を提供するためのコードを備える、Ｃ４０に記載のコンピュータ・プログラム製品。
［Ｃ４５］
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合するためのコードは、前記第２のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供するためのコードを備える、Ｃ４０に記載のコンピュータ・プログラム製品。
［Ｃ４６］
コンテンツを送信する装置であって、
ソース・シーンを、少なくとも１つの関心領域部分と、少なくとも１つの非関心領域部分とにセグメント化する手段と、
前記少なくとも１つの非関心領域部分を、前記少なくとも１つの非関心領域部分のおのおのの、複数の低品質バージョンへサブ・サンプリングする手段と、
前記少なくとも１つの関心領域部分と、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンとを、複数のディスクリプションに符号化する手段と、
前記複数のディスクリプションを通信媒体を介して送信する手段と、を備える装置。
［Ｃ４７］
関心メトリック評価にしたがって、前記ソース・シーンの、前記少なくとも１つの関心領域部分を識別する手段、をさらに備えるＣ４６に記載の装置。
［Ｃ４８］
前記関心メトリック評価は、前記ソース・シーンにおける画像オブジェクトの移動または画像テクスチャのうちの少なくとも１つに対応する、Ｃ４７に記載の装置。
［Ｃ４９］
前記符号化する手段は、前記関心領域部分から複数のスライスを生成する手段を備える、Ｃ４６に記載の装置。
［Ｃ５０］
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、Ｃ４９に記載の装置。
［Ｃ５１］
前記フラクションは１／２であり、
前記複数のスライスは、交互するフレームのケイデンスを備える、Ｃ５０に記載の装置。
［Ｃ５２］
前記符号化する手段は、前記少なくとも１つの非関心領域部分の、前記複数の低品質バージョンのおのおのから、複数のスライスを生成する手段を備える、Ｃ４６に記載の装置。
［Ｃ５３］
前記ソース・シーンは、複数のフレームを備え、
前記複数のスライスのおのおのは、前記ソース・シーンからのフレームのフラクションを備える、Ｃ５２に記載の装置。
［Ｃ５４］
コンテンツを受信する装置であって、
シーンの関心領域部分に対応する第１のディスクリプションを受信する手段と、
前記シーンの、サブ・サンプルされた非関心領域部分に対応する第２のディスクリプションを受信する手段と、
これらディスクリプションのうちの少なくとも１つを復号する手段と、
前記復号されたディスクリプションを結合して、出力シーンを生成する手段と、を備える装置。
［Ｃ５５］
前記シーンの関心領域部分、または、前記シーンの、前記サブ・サンプルされた非関心領域部分のうちの少なくとも１つに対応する第３のディスクリプションを受信する手段をさらに備え、
前記結合する手段は、前記受信したディスクリプションの結合すべき部分を、前記受信したディスクリプションの品質にしたがって選択する手段を備える、Ｃ５４に記載の装置。
［Ｃ５６］
前記選択する手段は、どのディスクリプションが最高品質の解像度を有するかに基づいて、前記第３のディスクリプションか、前記第１のディスクリプションまたは前記第２のディスクリプションか、を選択する手段を備える、Ｃ５５に記載の装置。
［Ｃ５７］
前記第３のディスクリプションは、前記シーンの関心領域部分に対応し、
前記第３のディスクリプションは、前記第１のディスクリプションとは別の方式で符号化される、Ｃ５５に記載の装置。
［Ｃ５８］
前記結合する手段は、前記第１のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供する手段を備える、Ｃ５７に記載の装置。
［Ｃ５９］
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合する手段は、前記第２のディスクリプションおよび前記第３のディスクリプションの画素をマージし、前記シーンの非関心領域部分に、増加された解像度を提供する手段を備える、Ｃ５５に記載の装置。
［Ｃ６０］
前記第３のディスクリプションは、前記シーンの、前記サブ・サンプルされた非関心領域部分に対応し、
前記結合する手段は、前記第２のディスクリプションおよび前記第３のディスクリプションからのフレームをマージし、前記シーンの非関心領域部分のために、増加されたフレーム・レートを提供する手段を備える、Ｃ５５に記載の装置。
【外国語明細書】
2017055421000001.pdf