(57)【特許請求の範囲】
【請求項１】
複数の映像領域ごとのセグメントを映像データに基づいて生成するセグメント生成手段と、
前記複数の映像領域のうち２以上を含む広範囲領域の静止画を生成する静止画生成手段と、
前記セグメント生成手段により生成された前記複数の映像領域ごとのセグメントを取得するための複数の識別子と前記静止画生成手段により生成された前記広範囲領域の静止画を取得するための識別子とを含むプレイリストを生成するプレイリスト生成手段と、
受信装置からのプレイリストの取得要求に応じて、前記プレイリストを前記受信装置に送信する第１の送信手段と、
前記広範囲領域の静止画を前記受信装置に送信する第２の送信手段と、を有し、
前記静止画生成手段は、解像度が異なる複数の静止画を生成し、
前記プレイリスト生成手段は、前記セグメントのそれぞれを取得するための複数の識別子と、前記複数の広範囲領域の静止画のそれぞれを取得するための複数の識別子と、を含むプレイリストを生成する送信装置。
【請求項２】
前記第２の送信手段は、前記広範囲領域の静止画を取得するための識別子が選択されたことによる前記受信装置からの前記広範囲領域の静止画の取得要求に応じて、前記広範囲領域の静止画を前記受信装置に送信する請求項１記載の送信装置。
【請求項３】
前記第２の送信手段は、前記第１の送信手段により前記プレイリストが前記受信装置に送信された場合、前記広範囲領域の静止画を前記受信装置に送信する請求項１記載の送信装置。
【請求項４】
前記静止画生成手段は、前記セグメントのそれぞれを取得するための複数の識別子を含む前記広範囲領域の静止画を生成する請求項１乃至３何れか１項記載の送信装置。
【請求項５】
前記識別子は、ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）である請求項１乃至４何れか１項記載の送信装置。
【請求項６】
前記広範囲領域は、前記複数の映像領域を含むことを特徴とする請求項１乃至５何れか１項記載の送信装置。
【請求項７】
送信装置が実行する情報処理方法であって、
複数の映像領域ごとのセグメントを映像データに基づいて生成するセグメント生成工程と、
前記複数の映像領域のうち２以上を含む広範囲領域の静止画を生成する静止画生成工程と、
前記セグメント生成工程により生成された前記複数の映像領域ごとのセグメントを取得するための複数の識別子と前記静止画生成工程により生成された前記広範囲領域の静止画を取得するための識別子とを含むプレイリストを生成するプレイリスト生成工程と、
受信装置からのプレイリストの取得要求に応じて、前記プレイリストを前記受信装置に送信する第１の送信工程と、
前記広範囲領域の静止画を前記受信装置に送信する第２の送信工程と、を含み、
前記静止画生成工程は、解像度が異なる複数の静止画を生成し、
前記プレイリスト生成工程は、前記セグメントのそれぞれを取得するための複数の識別子と、前記複数の広範囲領域の静止画のそれぞれを取得するための複数の識別子と、を含むプレイリストを生成する情報処理方法。
【請求項８】
コンピュータを、請求項１乃至６何れか１項記載の送信装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、音声データや映像データ等により構成されるストリーミング形式のコンテンツをユーザにリアルタイムに配信する配信システムが提供されている。このような配信システムにより、ユーザは、自身の端末装置を介して、ライブ映像等の所望のコンテンツをリアルタイムで楽しむことができる。
また、スマートフォンやタブレットのような端末の普及により、様々な端末装置でいつでもどこでもストリーミングコンテンツを楽しみたいという需要が高まって来ている。この要求を実現するために端末装置の能力や端末装置が置かれる通信状況に応じて、動的に取得するストリームを変更する技術としてＭＰＥＧ−ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  Ｈｔｔｐ）が注目されている。
ＭＰＥＧ−ＤＡＳＨでは、映像データを細かい時間単位のセグメントに分割し、セグメントを取得するためのＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）をプレイリストと呼ばれるファイルに記述する。受信装置はこのプレイリストを取得し、プレイリストに記述されている情報を用いて所望の映像データを取得する。プレイリスト中に複数のバージョンの映像データセグメントに対するＵＲＬを記載することで、受信装置が自身の能力や通信環境に応じて、最適なバージョンの映像データセグメントを取得することができる。
また、ＭＰＥＧ−ＤＡＳＨでは、近年の映像データの高解像度化や映像再生端末としてのスマートフォンの普及を踏まえ、以下の技術が検討されている。即ち、映像データ内の着目領域（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ，以下ＲＯＩと記す）の映像データを切り出して配信する拡張技術である。この拡張技術は、映像データをタイル状に符号化し、配信するタイルを適宜選択することで実現するものである。
例えば、既存のＣＤＮ（Ｃｏｎｔｅｎｔ  Ｄｅｌｉｖｅｒｙ  Ｎｅｔｗｏｒｋ）はこの様なタイル状に符号化された映像データを扱うようには構成されていない。そのため、特許文献１では、プレイリストにタイルの位置情報とタイムスタンプ情報、及び解像度情報等を記載することで、既存のＣＤＮを利用してＲＯＩの映像データ配信を実現する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１４−５２０４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、映像領域全体の画像の取得に時間がかかってしまう恐れがあった。すなわち、従来技術において映像領域全体の映像を再生するためには、少なくとも１セグメント分の映像データを取得しなければならず、映像領域全体の映像の再生に時間がかかってしまう恐れがある。更に一般的には、受信側でのバッファアンダーランを防ぐために所定の時間分のデータを取得した後に映像の再生を開始する。そのため、映像領域全体の映像を迅速に視認することが困難であった。なお、バッファアンダーランとは、書き込みバッファへのデータ転送が書き込みスピードに追い付かず、書き込みができない状態になることである。なお、上記では映像領域全体の映像の再生の例に挙げているが、必ずしも全体に限るものではなく、例えば複数のタイルに対応する映像領域を包含した広範囲領域であれば良い。
本発明は上記の問題点に鑑みてなされたものであり、その目的は、広範囲の映像領域の画像をより早く取得できるようにすることである。
【課題を解決するための手段】
【０００５】
本発明の送信装置は、複数の映像領域ごとのセグメントを映像データに基づいて生成するセグメント生成手段と、前記複数の映像領域のうち２以上を含む広範囲領域の静止画を生成する静止画生成手段と、前記セグメント生成手段により生成された前記複数の映像領域ごとのセグメントを取得するための複数の識別子と前記静止画生成手段により生成された前記広範囲領域の静止画を取得するための識別子とを含むプレイリストを生成するプレイリスト生成手段と、受信装置からのプレイリストの取得要求に応じて、前記プレイリストを前記受信装置に送信する第１の送信手段と、前記広範囲領域の静止画を前記受信装置に送信する第２の送信手段と、を有し、前記静止画生成手段は、解像度が異なる複数の静止画を生成し、前記プレイリスト生成手段は、前記セグメントのそれぞれを取得するための複数の識別子と、前記複数の広範囲領域の静止画のそれぞれを取得するための複数の識別子と、を含むプレイリストを生成する。
【発明の効果】
【０００６】
本発明によれば、広範囲の映像領域の画像をより早く取得できるようになる。
【図面の簡単な説明】
【０００７】
【図１】通信システムのシステム構成の一例を示す図である。
【図２】送信装置のハードウェア構成の一例を示す図である。
【図３】送信装置の機能構成の一例を示す図である。
【図４】映像領域分割の一例を示す図である。
【図５】プレイリストの一例を示す図である。
【図６】送信装置と受信装置との情報処理の一例を示すシーケンス図である。
【図７】送信装置と受信装置との情報処理の一例を示すシーケンス図である。
【図８】複数解像度の静止画に対応したプレイリストの一例を示す図である。
【図９】映像領域全体の静止画をクリッカブルマップ化した一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
【０００９】
＜実施形態１＞
図１は、通信システムのシステム構成の一例を示す図である。送信装置１００は、ネットワーク３００を介して、受信装置２００と接続される。なお、送信装置１００、受信装置２００は、それぞれ複数存在してもよい。
送信装置１００は、より具体的な例としては、カメラ装置、ビデオカメラ装置、スマートフォン装置、ＰＣ装置、携帯電話等が挙げられるが、後述の機能構成を満たすものであれば、前術の例に限定されない。
受信装置２００は、コンテンツの再生・表示機能、通信機能、及びユーザからの入力を受け付ける機能を備える。受信装置２００のより具体的な例は、スマートフォン装置、ＰＣ装置、テレビ、携帯電話等が挙げられるが、前述の機能を備えるものであればこれに限定されない。
ネットワーク３００は、例えば有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）が挙げられる。しかし、これに限らず、ネットワーク３００は、インターネットや３Ｇ／４Ｇ／ＬＴＥ等のＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、アドホックネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）等でもよい。
【００１０】
次に、本実施形態における送信装置１００のハードウェア構成について、図２を用いて説明する。図２は、送信装置１００のハードウェア構成の一例を示す図である。図２に示されるように、送信装置１００は、ハードウェア構成として、ＣＰＵ１０、ＨＤＤ１１、ＲＡＭ１２、ネットワークＩ／Ｆ１３を含む。送信装置１００の各構成は、バス１５を介して接続されている。ＣＰＵ１０は、送信装置１００の全体を制御する。ＨＤＤ１１は、プログラムや受信装置２００に送信するデータ、ＣＰＵ１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。ＲＡＭ１２は、送信装置１００のメインメモリであって、ＨＤＤ１１から読み出されたプログラムをＣＰＵ１０が実行する際等に利用される。ネットワークＩ／Ｆ１３は、送信装置１００をネットワーク３００に接続するインタフェース（Ｉ／Ｆ）である。ＣＰＵ１０がプログラムに基づき処理を実行することにより、後述する図３に示す送信装置の機能構成、及び後述する図６、７に示すシーケンス図の送信装置１００の処理を実現される。受信装置２００のハードウェア構成も図２に送信装置１００のハードウェア構成と同様である。但し、受信装置２００の場合は、ハードウェア構成として表示装置や入力装置等を更に有する。受信装置２００のＣＰＵが受信装置のＨＤＤ等に記憶されているプログラムに基づき処理を実行することにより受信装置２００の機能、及び後述する図６、７に示すシーケンス図の受信装置２００の処理を実現される。
【００１１】
次に、本実施形態における送信装置１００の機能構成について、図３を用いて説明する。図３は、送信装置１００の機能構成の一例を示す図である。図３に示されるように、送信装置１００は、機能構成として、映像データ取得部１０１、映像領域分割部１０２、静止画生成部１０３、セグメント生成部１０４、プレイリスト生成部１０５、通信部１０６を含む。
映像データ取得部１０１は、符号化前の映像データを取得する。映像領域分割部１０２は、取得した映像データを、設定された解像度で領域分割する。セグメント生成部１０４は、映像領域分割部１０２から取得した領域分割された映像データを符号化してセグメントを生成する。また、セグメント生成部１０４は、映像データ取得部１０１から取得した映像データは分割せずにそのまま符号化することで映像領域全体のセグメントを生成する。静止画生成部１０３は、設定された周期、或いは受信装置２００からの要求時、又はプレイリスト生成部１０５から通知されるプレイリスト生成のタイミングで映像データの最新のフレームを静止画として符号化する。
領域分割して符号化する方式としてはＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｅｃ）やＪＰＥＧ２０００のように映像或いは画像を領域分割して符号化可能なものであるとよい。また、静止画の符号化方式は、ＪＰＥＧ、ＪＰＥＧ２０００、ＷｅｂＰ等の静止画フォーマットの他、Ｈ．２６４やＶＣ１、ＨＥＶＣ等のフレーム間予測を用いた動画用の符号化方法におけるＩフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ  Ｆｒａｍｅ）でもよい。なお、Ｉフレームはフレーム間予測を用いずに符号化されるフレームであるため、単独で復号可能であることから静止画と同様に扱うことが可能である。
次にプレイリスト生成部１０５は、静止画生成部１０３で作成された静止画及びセグメント生成部１０４で作成されたセグメントへのアクセスを可能とするＵＲＬを記載したプレイリストを生成する。通信部１０６は、受信装置２００からの要求に応じて、生成されたプレイリスト、セグメント、及び静止画を、ネットワーク３００を介して受信装置２００に送信する。ＵＲＬは、識別子の一例である。本実施形態ではＵＲＬを例に説明を行っているが、これに限定されるものではなく、例えば、ＵＲＮ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｄｅ  Ｎａｍｅ）やＵＲＩ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｉｄｅｎｔｉｆｉｅｒ）等であってもよい。
【００１２】
次に、映像領域を分割して生成するセグメントの例について図４を用いて説明する。図４は、映像領域分割の一例を示す図である。
図４においてＦｕｌｌＩｍａｇｅ．ｊｐｇ３０１とＦｕｌｌＶｉｅｗ．ｍｐ４  ３０２とは、映像領域全体を各々静止画と動画との形式で符号化したデータである。静止画は静止画生成部１０３で生成され、動画はセグメント生成部１０４で生成されるセグメントである。これらの映像領域を縦横２等分に分割して生成されたセグメントが、ＲＯＩ１．ｍｐ４  ３０３〜ＲＯＩ４．ｍｐ４  ３０６である。ここで、領域分割はもっと細かく分割されてもよく、また分割は等分でなくてもよい。また、図４のように領域分割して生成されたセグメントを以降、ＲＯＩセグメントと記す。
【００１３】
次に、プレイリストの内容について図５を用いて説明する。図５は、プレイリストの一例を示す図である。
図５は、ＭＰＥＧ−ＤＡＳＨで規格策定中のＲＯＩ部分のストリーミングに対応したプレイリストであり、本実施形態では情報４０１の静止画に関する情報を追加拡張している。図５の情報４０１と情報４０２とは各々映像領域全体の静止画と動画とに関する情報を示している。符号化方式やフォーマット等の情報の他に、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙの部分には解像度と空間の位置情報とが記載されている。更にＲｏｌｅの部分に記載されている"ｍａｉｎ"は映像領域分割の基となる全体映像であることを示すものである。図５の例では情報４０１と情報４０２とは共に解像度１９２０ｘ１０８０の全体映像であり、各々静止画（ＪＰＥＧ）と動画（ＨＥＶＣ）とのデータであることを示している。
また図５の情報４０３は、図４で説明したＲＯＩセグメントに関する情報を示しており、各々解像度９６０ｘ５４０の動画（ＨＥＶＣ）であり、図４に示すように１９２０ｘ１０８０の全体映像を縦横２分割した部分に位置することを示している。なお、Ｒｏｌｅの部分に記載されている"ａｌｔｅｒｎａｔｅ"は全体映像の一部であることを示している。
受信装置２００は、図５に示すプレイリストから映像領域全体の静止画や各ＲＯＩセグメントを取得する場合、ＢａｓｅＵＲＬに記載されたＵＲＬを用いて送信装置１００に要求する。
【００１４】
次に、送信装置１００と受信装置２００との間の通信の内容について図６及び図７を用いて説明する。図６と図７とは、共に送信装置１００と受信装置２００との情報処理の一例を示すシーケンス図である。
図６において、まず受信装置２００は、プレイリストの取得要求を送信装置１００に送信する（ＳＱ５０１）。送信装置１００は、プレイリストの取得要求に応じてプレイリストを受信装置２００に送信する（ＳＱ５０２）。ＳＱ５０２の処理は、第１の送信の処理の一例である。プレイリストには、図５を用いて説明した通り映像領域全体の静止画を取得するためのＵＲＬが記載されている。受信装置２００は、ユーザによる入力装置等を介したＵＲＬの指定操作を検知すると、映像領域全体の静止画の取得を要求する（ＳＱ５０３）。送信装置１００は、要求に応じて映像領域全体の静止画を受信装置２００に送信する（ＳＱ５０４）。ＳＱ５０４の処理は、第２の送信の処理の一例である。
受信装置２００を操作するユーザは、取得した静止画を再生処理して視認することで、次にどの領域のＲＯＩセグメントを取得するか判断し、受信装置２００を操作し、送信装置１００に所望のＲＯＩセグメントの取得を要求する（ＳＱ５０５）。送信装置１００は、要求に応じて指定されたＲＯＩセグメントを受信装置２００に送信する（ＳＱ５０６）。
【００１５】
次に、図６のシーケンスを一部変更することでより早期にＲＯＩセグメント取得を可能にする例について、図７を用いて説明する。図７において、図６との違いは映像領域全体の静止画を取得する手段である。図６では受信装置２００からの要求に従って静止画を送信していたが（ＳＱ５０３，ＳＱ５０４）、図７では、送信装置１００がプレイリスト送信後に静止画をプッシュ送信すること（ＳＱ６０１）で受信装置２００は早期に映像領域全体を把握可能としている。ＳＱ６０１の処理は、第２の送信の処理の一例である。
従来、映像領域全体の映像を把握するためには、受信装置２００は、図５の情報４０２に示す様な映像領域全体のセグメントを取得して再生処理しなければならなかった。そのため、セグメント生成やネットワークの伝送時間、更に受信装置２００でのバッファリング時間がかかるため、ＲＯＩセグメントを素早く決定することが困難であった。しかし本実施形態では、送信装置１００は、ＪＰＥＧ等の映像領域全体の静止画を１枚だけ送信して受信装置２００に再生処理を行わせればよい。そのため、映像領域全体のセグメントを取得する従来技術に比べて迅速に映像領域全体を把握することができるので、ＲＯＩセグメントの決定を素早く行うことができ、更に通信するデータ量も削減することができる。
【００１６】
映像領域全体の静止画を複数の解像度で提供可能にするケースについて、説明する。
図８は、複数解像度の静止画に対応したプレイリストの一例を示す図である。図８において、情報７０１、７０２、７０３は映像領域全体の静止画を、異なる解像度で提供することを示しており、各々１９２０ｘ１０８０、１２８０ｘ７２０、９６０ｘ５４０の解像度であることを示している。
例えば、映像領域全体の様子を視認する際に高解像度の画像が必要ない場合は、より解像度が低い方がデータ量や処理負荷を削減することができる。したがって、受信装置２００は、必要最小限の解像度である情報７０３の静止画を取得すればよい。
また、取得するＲＯＩセグメントを決定するために映像データの視聴開始時に静止画を取得するケースの他に、ＲＯＩセグメントを視聴中に、他の領域の様子を確認するために、定期的或いは不定期に映像領域全体の静止画を取得する用途が考えられる。この様な用途でも、例えばネットワークのリソース使用状況や受信装置２００の処理負荷に合わせて適切な解像度の静止画を適切なタイミングで取得することで、リソース消費や処理負荷の点で効率を上げることが可能となる。
なお、図８では、プレイリストの一部を示している。
【００１７】
図９は、映像領域全体の静止画をクリッカブルマップ化した一例を示す図である。図９において、静止画８０１はクリッカブルマップ化した映像領域全体の静止画であり、縦横２等分した領域８０２〜８０５は、各々の領域のＲＯＩセグメントを取得するためのＵＲＬがリンクされている。クリッカブルマップは、画像の中にリンク先を設定しておき、クリックされた位置に応じて定められたリンク先に移動する機能である。
これにより、受信装置２００を操作するユーザは、送信装置１００からクリッカブルマップ化した静止画を取得した後、静止画を視認することで取得するＲＯＩを決定する。そして、マウスクリックやタッチで選択することで容易に所望のＲＯＩセグメントの取得を要求することができる。
【００１８】
＜その他の実施形態＞
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００１９】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。送信装置１００のハードウェア構成は、図２に示した構成に限定されず、送信装置１００は、ハードウェア構成として入力装置や表示装置等を有していてもよい。また、送信装置１００は、ＣＰＵやネットワークＩ／Ｆを複数有していてもよい。受信装置も同様である。また、送信装置１００の機能構成の一部、又は全てはハードウェア構成として送信装置１００に実装されていてもよい。
【００２０】
以上、前述した実施形態の処理によれば、映像領域全体の静止画をプレイリストに載せることで、ユーザはいつでも映像領域全体の静止画を取得可能とする。更にプレイリスト送信時に、映像領域全体の静止画をプッシュ送信することでより迅速に映像領域全体の映像を視認することが可能となる。なお、本実施形態では、映像領域全体の静止画を取得するための情報（ＵＲＬ）をプレイリストに載せる例と、映像領域全体の静止画をプッシュ送信する例とを中心に説明したが、必ずしも全体領域に限らず、当該全体領域よりも狭い領域であってもよい。例えば、映像領域全体を縦方向と横方向に分割して４つの領域を定義した場合において、ユーザが右上の領域を指定すれば、右上の映像領域の静止画が送信されるようにすればいい。このようにした場合、ユーザは、当該静止画を参照してＲＯＩの指定等をすることができる。また、上記のようにすれば、常に映像領域全体の静止画を送るよりも、送信されるデータ量を少なくできる。
【符号の説明】
【００２１】
１０    ＣＰＵ
１００  送信装置
２００  受信装置
【図１】
0006587539.tif 000002
【図２】
0006587539.tif 000003
【図３】
0006587539.tif 000004
【図４】
0006587539.tif 000005
【図５】
0006587539.tif 000006
【図６】
0006587539.tif 000007
【図７】
0006587539.tif 000008
【図８】
0006587539.tif 000009
【図９】
0006587539.tif 000010