(57)【特許請求の範囲】
【請求項１】
クライアント端末に対して、通信ネットワークを介して所定速度で動画データを伝送することにより、前記クライアント端末において、使用者による操作に応じて、前記動画データのストリーミング再生による映像領域から所定サイズの注視領域を抜き出して、表示部に表示することを可能にする動画伝送サーバであって、
原動画データの映像領域を分割した各分割領域を、隣接する他の分割領域の方向に、該他の分割領域との相互の重複範囲が前記所定サイズ以上となるように拡張した各拡張分割領域の動画データである複数の拡張分割動画データを保持した拡張分割動画データ保持部と、
前記複数の拡張分割動画データのいずれか一つを選択して前記クライアント端末に送信し、前記拡張分割動画データの送信中に、前記クライアント端末から、該送信中の前記拡張分割動画データの映像領域における前記注視領域の位置を示す注視領域位置データを受信して、該注視領域位置データに基づいて、前記注視領域が、該送信中の前記拡張分割動画データに対応する前記拡張分割領域の他の前記拡張分割領域との重複範囲内に位置し、且つ、前記注視領域が該送信中の前記拡張分割動画データの映像領域の外側に向かって変位していることを認識したときには、前記クライアント端末に送信する前記拡張分割動画データを、送信中の前記拡張分割動画データに対応する前記拡張分割領域と前記注視領域の変位方向で重複した他の前記拡張分割領域に対応する前記拡張分割動画データに切替えて、切替え前の前記拡張分割動画データの再生位置に対応する再生位置から送信する動画データ送信部と
を備えたことを特徴とする動画伝送サーバ。
【請求項２】
請求項１に記載の動画伝送サーバにおいて、
前記拡張分割動画データ保持部は、前記複数の拡張分割動画データを、前記複数の拡張分割動画データを結合して一つの動画データとしたシリアライズ動画データの形式で保持し、
前記動画データ送信部は、前記クライアント端末に伝送する前記拡張分割動画データの切替えを、前記シリアライズ動画データの再生位置を、切替え前の前記拡張分割動画データの再生位置から、切替え前の前記拡張分割動画データの再生位置に対応した切替え後の前記拡張分割動画データの再生位置にシフトさせることによって行うことを特徴とする動画伝送サーバ。
【請求項３】
請求項１又は請求項２に記載の動画伝送サーバにおいて、
前記拡張分割動画データは、前記原動画データの映像領域を、含まれる映像に応じたランク付けがなされた複数のランク別領域に区画し、各ランク別領域毎に、ランクが低いほど前記分割領域のサイズ及び前記注視領域のサイズを広く設定して生成されており、
前記動画データ送信部は、前記拡張分割動画データの解像度を、生成元の前記ランク別領域のランクに応じて変更して、前記クライアント端末に送信することを特徴とする動画伝送サーバ。
【請求項４】
動画データを伝送する動画伝送サーバと、通信ネットワークを介して前記動画伝送サーバと通信を行うクライアント端末とを含み、前記クライアント端末は、所定速度で前記動画伝送サーバから伝送される動画データを受信して、ストリーミング再生により表示部に動画を表示する動画伝送システムにおいて、
前記クライアント端末は、
前記動画伝送サーバから動画データを受信してストリーミング再生により前記表示部に動画を表示するときに、使用者による操作に応じて、前記動画データの映像領域内に所定サイズの注視領域を設定する注視領域設定部と、
前記動画データの映像領域から前記注視領域の映像部分を抜き出して、前記表示部に表示する注視領域表示部と、
前記動画データの映像領域における前記注視領域の位置を示す注視領域位置データを、前記動画伝送サーバに送信する注視領域位置データ送信部とを備え、
前記動画伝送サーバは、
原動画データの映像領域を分割した各分割領域を、隣接する他の分割領域の方向に、該他の分割領域との相互の重複範囲が前記所定サイズ以上となるように拡張した各拡張分割領域の動画データである複数の拡張分割動画データを保持した拡張分割動画データ保持部と、
前記複数の拡張分割動画データのいずれか一つを選択して前記クライアント端末に送信し、前記拡張分割動画データの送信中に受信した前記注視領域位置データに基づいて、前記クライアント端末において、前記注視領域が、該送信中の前記拡張分割動画データに対応する前記拡張分割領域の他の前記拡張分割領域との重複箇所に位置し、且つ、前記注視領域が該送信中の前記拡張分割動画データの映像領域の外側に向かって変位していることを認識したときには、前記クライアント端末に送信する前記拡張分割動画データを、送信中の前記拡張分割動画データに対応する前記拡張分割領域と、前記注視領域の変位方向で重複した他の前記拡張分割領域に対応する前記拡張分割動画データに切替えて、切替え前の前記拡張分割動画データの再生位置に対応する再生位置から送信する動画データ送信部と
を備えたことを特徴とする動画伝送システム。
【請求項５】
動画データを、動画伝送サーバから通信ネットワークを介してクライアント端末に所定速度で伝送することによって、前記クライアント端末において、使用者による操作に応じて、前記動画データのストリーミング再生による映像領域から所定サイズの注視領域を抜き出して、表示部に表示することを可能にする動画伝送方法であって、
前記動画伝送サーバが、原動画データの映像領域を分割した各分割領域を、隣接する他の分割領域の方向に、該他の分割領域との相互の重複範囲が前記所定サイズ以上となるように拡張した各拡張分割領域の動画データである複数の拡張分割動画データを保持した拡張分割動画データ保持ステップと、
前記動画伝送サーバが、前記複数の拡張分割動画データのいずれか一つを選択して前記クライアント端末に送信し、前記拡張分割動画データの送信中に、前記クライアント端末から、該送信中の前記拡張分割動画データの映像領域における前記注視領域の位置を示す注視領域位置データを受信して、該注視領域位置データに基づいて、前記注視領域が、該送信中の前記拡張分割動画データに対応する前記拡張分割領域の他の前記拡張分割領域との重複範囲内に位置し、且つ、前記注視領域が該送信中の前記拡張分割動画データの映像領域の外側に向かって変位していることを認識したときには、前記クライアント端末に送信する前記拡張分割動画データを、送信中の前記拡張分割動画データに対応する前記拡張分割領域と前記注視領域の変位方向で重複した他の前記拡張分割領域に対応する前記拡張分割動画データに切替えて、切替え前の前記拡張分割動画データの再生位置に対応する再生位置から送信する動画データ送信ステップと
を含むことを特徴とする動画伝送方法。
【請求項６】
動画データを、動画伝送サーバから通信ネットワークを介してクライアント端末に所定速度で伝送することによって、前記クライアント端末において、使用者による操作に応じて、前記動画データのストリーミング再生による映像領域から所定サイズの注視領域を抜き出して、表示部に表示することを可能にする動画伝送サーバ用のプログラムであって、前記動画伝送サーバを構成するコンピュータを、
動画データの映像領域を分割した各分割領域を、隣接する他の分割領域の方向に、該他の分割領域との相互の重複範囲が前記所定サイズ以上となるように拡張した各拡張分割領域の動画データである複数の拡張分割動画データを保持した拡張分割動画データ保持部と、
前記複数の拡張分割動画データのいずれか一つを選択して前記クライアント端末に送信し、前記拡張分割動画データの送信中に、前記クライアント端末から、該送信中の前記拡張分割動画データの映像領域における前記注視領域の位置を示す注視領域位置データを受信して、該注視領域位置データに基づいて、前記注視領域が、該送信中の前記拡張分割動画データに対応する前記拡張分割領域の他の前記拡張分割領域との重複範囲内に位置し、且つ、前記注視領域が該送信中の前記拡張分割動画データの映像領域の外側に向かって変位していることを認識したときには、前記クライアント端末に送信する前記拡張分割動画データを、送信中の前記拡張分割動画データに対応する前記拡張分割領域と前記注視領域の変位方向で重複した他の前記拡張分割領域に対応する前記拡張分割動画データに切替えて、切替え前の前記拡張分割動画データの再生位置に対応する再生位置から送信する動画データ送信部と
して機能させることを特徴とする動画伝送サーバ用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信ネットワークを介して、クライアント端末に動画データを伝送する動画伝送サーバに関する。
【背景技術】
【０００２】
サーバにアップロードされた動画ファイルを、通信ネットワークを介してクライアント端末に伝送して再生するときに、動画ファイルを全て伝送してから再生を行うようにすると、動画の再生が開始されるまでの利用者の待ち時間が長くなってしまう。そこで、動画ファイルをクライアント端末に伝送しながら動画の再生を行うようにして、利用者の待ち時間を短縮した「ストリーミング再生」方式での動画データの伝送が普及している。
【０００３】
ストリーミング再生方式では、所定ビットレートで動画データが伝送されるため、１フレームのデータ量が多くなる高解像度の動画の再生には適していない。そこで、サーバにおいて、高解像度の動画データの映像領域Ａｗを多数の領域（分割領域）に分割して、各分割領域の動画データを生成し、使用者が注視している領域（注視領域）をカバーするように分割領域を組み合わせた表示領域Ａｖの動画データを生成して、クライアント端末に伝送するようにした伝送システムが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５５４４４２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された伝送システムにおいては、クライアント端末における使用者の視聴領域Ａｄが移動して、伝送中の動画データによる表示領域Ａｖから外れたときに、視聴領域Ａｄをカバーする新たな表示領域Ａｖの動画データを、分割領域を組み合わせて生成している。そのため、視聴領域Ａｄが表示領域Ａｖから外れたときに、新たな表示領域Ａｖの動画データを生成して伝送する動画データを切替える処理に伴って、クライアント端末で再生されて表示部に表示される動画の連続性が失われるおそれがあった。
【０００６】
本発明は、かかる背景に鑑みてなされたものであり、クライアント端末における使用者の注視領域の移動に応じて、動画伝送サーバからクライアント端末に伝送する原動画の一部の動画データを切替える際に、クライアント端末の表示部に表示される動画の連続性が失われることを防止した動画伝送サーバを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の動画伝送サーバは、
クライアント端末に対して、通信ネットワークを介して所定速度で動画データを伝送することにより、前記クライアント端末において、使用者による操作に応じて、前記動画データのストリーミング再生による映像領域から所定サイズの注視領域を抜き出して、表示部に表示することを可能にする動画伝送サーバであって、
原動画データの映像領域を分割した各分割領域を、隣接する他の分割領域の方向に、該他の分割領域との相互の重複範囲が前記所定サイズ以上となるように拡張した各拡張分割領域の動画データである複数の拡張分割動画データを保持した拡張分割動画データ保持部と、
前記複数の拡張分割動画データのいずれか一つを選択して前記クライアント端末に送信し、前記拡張分割動画データの送信中に、前記クライアント端末から、該送信中の前記拡張分割動画データの映像領域における前記注視領域の位置を示す注視領域位置データを受信して、該注視領域位置データに基づいて、前記注視領域が、該送信中の前記拡張分割動画データに対応する前記拡張分割領域の他の前記拡張分割領域との重複範囲内に位置し、且つ、前記注視領域が該送信中の前記拡張分割動画データの映像領域の外側に向かって変位していることを認識したときには、前記クライアント端末に送信する前記拡張分割動画データを、送信中の前記拡張分割動画データに対応する前記拡張分割領域と前記注視領域の変位方向で重複した他の前記拡張分割領域に対応する前記拡張分割動画データに切替えて、切替え前の前記拡張分割動画データの再生位置に対応する再生位置から送信する動画データ送信部と
を備えたことを特徴とする。
【０００８】
かかる本発明によれば、前記拡張分割動画データ保持部により、前記原動画データの映像領域をカバーして、相互に重複範囲を有する複数の前記拡張分割動画データが保持されている。そして、前記クライアント端末において、前記注視領域が前記拡張分割領域の重複範囲内に位置し、且つ、前記注視領域が前記拡張分割領域の外側に向かって変位しているときに、前記動画データ伝送部は、前記クライアント端末に伝送する前記拡張分割動画データを、前記注視領域の変位方向の他の前記拡張分割領域に対応する前記拡張分割動画データに切替える。この場合、前記拡張分割動画データを切替えるときに、新たな部分画像領域を生成する必要がなく、また、前記重複範囲によって、変更前の前記拡張分割領域から変更後の前記拡張分割領域への切替えが、前記注視領域の連続性を維持して行われる。
【０００９】
そのため、前記クライアント端末における前記注視領域の変位（移動）に応じて、前記動画伝送サーバから前記クライアント端末に伝送する原動画の一部の動画データを切替える際に、前記クライアント端末の表示部に表示される動画の連続性が失われることを防止することができる。
【００１０】
また、前記拡張分割動画データ保持部は、前記複数の拡張分割動画データを、前記複数の拡張分割動画データを結合して一つの動画データとしたシリアライズ動画データの形式で保持し、
前記動画データ送信部は、前記クライアント端末に伝送する前記拡張分割動画データの切替えを、前記シリアライズ動画データの再生位置を、切替え前の前記拡張分割動画データの再生位置から、切替え前の前記拡張分割動画データの再生位置に対応した切替え後の前記拡張分割動画データの再生位置にシフトさせることによって行うことを特徴とする。
【００１１】
この構成によれば、前記クライアント端末に伝送する前記拡張分割動画データの切替えを、前記シリアライズ動画データの再生位置を変更するという簡易な処理によって、速やかに行うことができる。そのため、前記拡張分割動画データを切替える際の連続性を一層高めることができる。
【００１２】
また、前記拡張分割動画データは、前記原動画データの映像領域を、含まれる映像に応じたランク付けがなされた複数のランク別領域に区画し、各ランク別領域毎に、ランクが低いほど前記分割領域のサイズ及び前記注視領域のサイズを広く設定して生成されており、
前記動画データ送信部は、前記拡張分割動画データの解像度を、生成元の前記ランク別領域のランクに応じて変更して、前記クライアント端末に送信することを特徴とする。
【００１３】
この構成によれば、前記原動画データの映像領域を前記複数のランク別領域に区画して前記拡張分割動画データが生成されており、前記動画データ送信部は、前記拡張分割動画データの解像度を、生成元の前記ランク別領域のランクに応じて変更して、前記クライアント端末に送信する。これにより、ランクが高い前記ランク別領域の映像については、狭いサイズで高い解像度を維持してクランアント端末に伝送し、ランクが低い前記ランク別領域の映像については、広いサイズで低い解像度に落として伝送することができる。そして、前記クライアント端末においては、前記注視領域に対応する前記原動画データの映像範囲を、ランクが高い範囲については高い解像度で狭くし、ランクが低い範囲については低い解像度で広くして、使用者の要望に応じた注視領域の効率の良い移動を実現することができる。
【００１４】
次に、本発明の動画伝送システムは、
動画データを伝送する動画伝送サーバと、通信ネットワークを介して前記動画伝送サーバと通信を行うクライアント端末とを含み、前記クライアント端末は、所定速度で前記動画伝送サーバから伝送される動画データを受信して、ストリーミング再生により表示部に動画を表示する動画伝送システムにおいて、
前記クライアント端末は、
前記動画伝送サーバから動画データを受信してストリーミング再生により前記表示部に動画を表示するときに、使用者による操作に応じて、前記動画データの映像領域内に所定サイズの注視領域を設定する注視領域設定部と、
前記動画データの映像領域から前記注視領域の映像部分を抜き出して、前記表示部に表示する注視領域表示部と、
前記動画データの映像領域における前記注視領域の位置を示す注視領域位置データを、前記動画伝送サーバに送信する注視領域位置データ送信部とを備え、
前記動画伝送サーバは、
原動画データの映像領域を分割した各分割領域を、隣接する他の分割領域の方向に、該他の分割領域との相互の重複範囲が前記所定サイズ以上となるように拡張した各拡張分割領域の動画データである複数の拡張分割動画データを保持した拡張分割動画データ保持部と、
前記複数の拡張分割動画データのいずれか一つを選択して前記クライアント端末に送信し、前記拡張分割動画データの送信中に受信した前記注視領域位置データに基づいて、前記クライアント端末において、前記注視領域が、該送信中の前記拡張分割動画データに対応する前記拡張分割領域の他の前記拡張分割領域との重複箇所に位置し、且つ、前記注視領域が該送信中の前記拡張分割動画データの映像領域の外側に向かって変位していることを認識したときには、前記クライアント端末に送信する前記拡張分割動画データを、送信中の前記拡張分割動画データに対応する前記拡張分割領域と、前記注視領域の変位方向で重複した他の前記拡張分割領域に対応する前記拡張分割動画データに切替えて、切替え前の前記拡張分割動画データの再生位置に対応する再生位置から送信する動画データ送信部と
を備えたことを特徴とする。
【００１５】
かかる本発明の動画伝送システムによれば、前記クライアント端末は、前記注視領域設定部により、使用者の操作に応じて前記動画伝送サーバから伝送される動画データの映像領域内に前記注視領域を設定する。そして、前記注視領域表示部により、前記動画データの映像領域から前記注視領域の映像部分が抜き出されて前記表示部に表示される。これにより、使用者は、前記動画データの映像領域の一部を選択して、前記表示部に表示させることができる。また、前記注視領域位置データ送信部により、前記動画データの映像領域における前記注視領域の位置を示す前記注視領域位置データが、前記動画伝送サーバに送信される。
【００１６】
一方、前記動画伝送サーバにおいては、前記拡張分割動画データ保持部により、前記原動画データの映像領域を重複してカバーする前記複数の拡張分割動画データが保持されている。そして、前記動画データ送信部は、前記複数の拡張分割動画データのいずれか一つを選択して前記クライアント端末に送信しているときに、前記注視領域位置データに基づいて、前記クライアント端末において、前記注視領域が、再生中の前記拡張分割動画データに対応する前記拡張分割領域の他の前記拡張分割領域との重複箇所に位置し、且つ、前記注視領域が再生中の前記拡張分割動画データの映像領域の外側に向かって変位していることを認識したときには、前記クライアント端末に伝送する前記拡張分割動画データを、伝送中の前記拡張分割動画データに対応する前記拡張分割領域と、前記注視領域の変位方向で重複した他の前記拡張分割領域に対応する前記拡張分割動画データに切替えて、切替え前の前記拡張分割動画データの再生位置に対応する再生位置から送信する。
【００１７】
これにより、前記クライアント端末において、前記注視領域が前記拡張分割領域の前記重複範囲内に位置し、且つ前記注視領域が前記拡張分割領域の外側に向かって変位しているときに、前記動画データ送信部により、前記クライアント端末に送信する前記拡張分割動画データが、前記注視領域の変位方向の他の前記拡張分割範囲に対応する前記拡張分割動画データに切替えられる。この場合、前記拡張分割動画データを切替えるときに、新たな部分画像領域を生成する必要がなく、また、前記重複範囲によって、切替え前の前記拡張分割領域から切替え後の前記拡張分割領域への切替えが、前記注視領域の連続性を維持して行われる。
【００１８】
そのため、前記クライアント端末における前記注視領域の移動に応じて、前記動画伝送サーバから前記クライアント端末に伝送する原動画の一部の動画データを切替える際に、前記クライアント端末の表示部に表示される動画の連続性が失われることを防止することができる。
【００１９】
次に、本発明の動画伝送方法は、
動画データを、動画伝送サーバから通信ネットワークを介してクライアント端末に所定速度で伝送することによって、前記クライアント端末において、使用者による操作に応じて、前記動画データのストリーミング再生による映像領域から所定サイズの注視領域を抜き出して、表示部に表示することを可能にする動画伝送方法であって、
前記動画伝送サーバが、原動画データの映像領域を分割した各分割領域を、隣接する他の分割領域の方向に、該他の分割領域との相互の重複範囲が前記所定サイズ以上となるように拡張した各拡張分割領域の動画データである複数の拡張分割動画データを保持した拡張分割動画データ保持ステップと、
前記動画伝送サーバが、前記複数の拡張分割動画データのいずれか一つを選択して前記クライアント端末に送信し、前記拡張分割動画データの送信中に、前記クライアント端末から、該送信中の前記拡張分割動画データの映像領域における前記注視領域の位置を示す注視領域位置データを受信して、該注視領域位置データに基づいて、前記注視領域が、該送信中の前記拡張分割動画データに対応する前記拡張分割領域の他の前記拡張分割領域との重複範囲内に位置し、且つ、前記注視領域が該送信中の前記拡張分割動画データの映像領域の外側に向かって変位していることを認識したときには、前記クライアント端末に送信する前記拡張分割動画データを、送信中の前記拡張分割動画データに対応する前記拡張分割領域と前記注視領域の変位方向で重複した他の前記拡張分割領域に対応する前記拡張分割動画データに切替えて、切替え前の前記拡張分割動画データの再生位置に対応する再生位置から送信する動画データ送信ステップと
を含むことを特徴とする。
【００２０】
かかる本発明の動画伝送方法によれば、前記拡張分割動画データ保持ステップにより、前記動画伝送サーバが、前記原動画データの映像領域をカバーして、相互に重複範囲を有する複数の前記拡張分割動画データを保持する。そして、前記動画送信ステップにより、前記クライアント端末において、前記注視領域が前記拡張分割領域の前記重複範囲内に位置し、且つ、前記注視領域が前記拡張分割領域の外側に向かって変位しているときに、前記動画データ伝送サーバが、前記クライアント端末に伝送する前記拡張分割動画データを、前記注視領域の変位方向の他の前記拡張分割範囲に対応する前記拡張分割動画データに切替える。この場合、前記拡張分割動画データを切替えるときに、新たな部分画像領域を生成する必要がなく、また、前記重複範囲によって、変更前の前記拡張分割領域から変更後の前記拡張分割領域への切替えが、前記注視領域の連続性を維持して行われる。
【００２１】
そのため、前記クライアント端末における前記注視領域の移動に応じて、前記動画伝送サーバから前記クライアント端末に伝送する原動画の一部の動画データを切替える際に、前記クライアント端末の表示部に表示される動画の連続性が失われることを防止することができる。
【００２２】
次に、本発明の動画伝送サーバ用プログラムは、
動画データを、動画伝送サーバから通信ネットワークを介してクライアント端末に所定速度で伝送することによって、前記クライアント端末において、使用者による操作に応じて、前記動画データのストリーミング再生による映像領域から所定サイズの注視領域を抜き出して、表示部に表示することを可能にする動画伝送サーバ用のプログラムであって、前記動画伝送サーバを構成するコンピュータを、
動画データの映像領域を分割した各分割領域を、隣接する他の分割領域の方向に、該他の分割領域との相互の重複範囲が前記所定サイズ以上となるように拡張した各拡張分割領域の動画データである複数の拡張分割動画データを保持した拡張分割動画データ保持部と、
前記複数の拡張分割動画データのいずれか一つを選択して前記クライアント端末に送信し、前記拡張分割動画データの送信中に、前記クライアント端末から、該送信中の前記拡張分割動画データの映像領域における前記注視領域の位置を示す注視領域位置データを受信して、該注視領域位置データに基づいて、前記注視領域が、該送信中の前記拡張分割動画データに対応する前記拡張分割領域の他の前記拡張分割領域との重複範囲内に位置し、且つ、前記注視領域が該送信中の前記拡張分割動画データの映像領域の外側に向かって変位していることを認識したときには、前記クライアント端末に送信する前記拡張分割動画データを、送信中の前記拡張分割動画データに対応する前記拡張分割領域と前記注視領域の変位方向で重複した他の前記拡張分割領域に対応する前記拡張分割動画データに切替えて、切替え前の前記拡張分割動画データの再生位置に対応する再生位置から送信する動画データ送信部と
して機能させることを特徴とする。
【００２３】
かかる本発明の動画伝送サーバ用プログラムを、前記コンピュータに実行させることによって、上述した本発明の動画伝送サーバにおける前記拡張分割動画データ保持部と、前記動画データ伝送部の構成を実現することができる。
【図面の簡単な説明】
【００２４】
【図１】動画伝送サーバとクライアント端末間における動画データの伝送形態の説明図。
【図２】クライアント端末における動画閲覧の説明図。図２Ａは拡大分割動画データの映像領域の説明図であり、図２Ｂはクライアント端末の表示部の閲覧画面の説明図である。
【図３】動画伝送サーバの作動フローチャート。
【図４】拡大分割領域の説明図。図４Ａは原動画の映像領域における分割領域の説明図であり、図４Ｂは拡張分割領域の説明図である。
【図５】動画伝送サーバにおける拡張分割動画データの選択の切替えの説明図。
【図６】複数の拡張分割動画データをシリアライズデータ化する処理、及びシリアライズデータ化による効果の説明図。
【図７】原動画の映像領域をランクにより区画する実施形態の説明図。
【発明を実施するための形態】
【００２５】
本発明の動画伝送サーバ及び動画伝送システムの実施形態について、図１〜図７を参照して説明する。
【００２６】
図１を参照して、本実施形態の動画伝送システムは、通信ネットワーク１を介して相互に通信可能とされている動画伝送サーバ１０とクライアント端末２０（２０ａ，２０ｂ，２０ｃ）とにより構成されている。クライアント端末２０ａ，２０ｂはスマートファン、タブレット端末等のタッチパネル表示部２１ａ、２１ｂ（本発明の表示部に相当する）を備えた通信端末であり、クライアント端末２０ｃは、パソコン等の表示ユニット２１ｃ（本発明の表示部に相当する）を備えた据置型の通信端末である。
【００２７】
動画伝送サーバ１０は、各種のスポーツの映像等を記録した動画データ（本発明の原動画データに相当する）を記憶した映像データベース１１と、図示しないコンピュータ及びその周辺機器等によって構成されている。動画伝送サーバを構成するコンピュータに、動画伝送サーバ用のプログラムを実行させることによって、このコンピュータが、拡張分割動画データ保持部１２、及び動画データ送信部１３として機能する。
【００２８】
クライアント端末２０では、動画ビュワーのアプリケーションが実行可能であり、クライアント端末２０の利用者がこの動画ビュワーを起動すると、ディスプレイ２１（２１ａ，２１ｂ，２１ｃ）に動画ビュワーの操作画面が表示される。そして、使用者が閲覧を希望する動画を選択すると、クライアント端末２０から動画伝送サーバ１０に対して、使用者が選択した動画を指定する動画選択データＶＳ-datが送信される。
【００２９】
動画伝送サーバ１０がクライアント端末２０から動画データ選択データＶＳ-datを受信すると、拡張分割動画データ保持部１２は、動画選択データＶＳ-datにより指定された動画のデータ（原動画データ）５０を、映像データベース１１から読み出す。そして、拡張分割動画データ保持部１２は、読み出した原動画データ５０の映像領域をカバーする複数（本実施形態では４つ）の拡張分割動画データ６１〜６４を生成して保持する。拡張分割動画データ６１〜６４の生成処理については後述する。
【００３０】
動画データ送信部１３は、拡張分割動画データ保持部１２に保持された複数の拡張分割動画データ６１〜６４のうちのいずれか一つを選択して取得し、ストリーミングデータ１５として、所定ビットレート（本発明の所定速度に相当する）でクライアント端末２０に送信する。
【００３１】
ここでは、クライアント端末２０ａにおいて拡張分割動画データ６１が選択されて、動画伝送サーバ１０からクライアント端末２０ａに動画データが伝送される場合を例にして説明する。クライアント端末２０ｂ、２０ｃ等の他のクライアント端末についても、同様にして動画データが伝送される。
【００３２】
ストリーミングデータ１５を受信しているクライアント端末２０ａは、図２Ａに示したように、ストリーミング再生による拡張分割動画データ６１の映像領域６１ａから、所定サイズの注視領域７０の部分を抜き出して、図２Ｂに示したように表示部２１ａに表示する。
【００３３】
なお、クライアント端末２０ａが注視領域７０を設定する構成は、本発明の注視領域設定部に相当する。また、クライアント端末２０ａが、拡張分割動画データ６１の映像領域６１ａから注視領域の映像部分を抜き出して、タッチパネル表示部２１ａに表示する構成は、本発明の注視領域表示部に相当する。
【００３４】
クライアント端末２０ａは、タッチパネル表示部２１ａに触れた使用者の指Ｆによるスワイプ操作（スライド操作）に応じて、拡張分割動画データ６１の映像領域６１ａにおける注視領域７０の位置を変更する。これにより、使用者は、拡張分割動画データ６１の映像領域６１ａのうち、注視している範囲（図２Ａではボールに絡んでいる選手の映像が含まれる範囲）を選択して、タッチパネル表示部２１ａに表示させることができる。
【００３５】
なお、図２では、使用者の指による操作によって注視領域７０の位置を変更する例を示したが、マウス等のポインティングデバイスの操作によって注視領域７０の位置を変更するようにしてもよい。或は、視線入力デバイスにより使用者の視線の向きを検出し、使用者の視線の向きに応じて注視領域７０の位置を変更するようにしてもよい。
【００３６】
次に、図３を参照して、拡張分割動画データ保持部１２による拡張分割動画データの生成処理について説明する。図３Ａを参照して、拡張分割動画データ保持部１２は、映像データベース１１から読み出した原動画データ５０の映像領域５０ａ（原動画データの各フレームの映像領域）を、複数（本実施形態では４つ）の分割領域５１ａ〜５４ａに分ける。
【００３７】
そして、拡張分割動画データ保持部１２は、図３Ｂに示したように、各分割領域５１〜５４を、隣接する他の分割領域５１〜５４との間で、重複範囲が、上述したクライアント端末２０における注視領域７０のサイズ以上となるように（注視領域７０が重複範囲内に収まるように）拡張した拡張分割領域６１ａ〜６４ａを設定する。
【００３８】
拡張分割動画データ保持部１２は、このようにして設定した拡張分割領域６１ａ〜６４ａをフレームデータとする拡張分割動画データ６１〜６４を生成する。
【００３９】
図３Ｂでは、Ｃ１，Ｃ３，Ｃ１１，Ｃ９を結んだ拡張分割領域６１ａについて拡張分割動画データ６１が生成され、Ｃ２、Ｃ４，Ｃ１２，Ｃ１０を結んだ拡張分割領域６２ａが生成される。また、Ｃ５，Ｃ７，Ｃ１５，Ｃ１３を結んだ拡張分割領域６３ａについて拡張分割動画データ６３が生成され、Ｃ６，Ｃ８，Ｃ１６，Ｃ１４を結んだ拡張分割領域６４ａについて拡張分割動画データ６４が生成される。
【００４０】
この場合、拡張分割領域６１ａは、右側の拡張分割領域６２ａとの間でＣ２，Ｃ３，Ｃ１１，Ｃ１０を結んだ重複範囲を有し、下側の拡張分割領域６３ａとの間でＣ５、Ｃ７，Ｃ１１，Ｃ９を結んだ重複範囲を有している。さらに、拡張分割領域６１ａは、斜め右下の拡張分割領域６４ａとの間でＣ６，Ｃ７，Ｃ１１，Ｃ１０を結んだ重複範囲を有している。拡張分割領域６２ａ，６３ａ，６４ａも、同様にして他の拡張分割領域との間で重複範囲を有している。
【００４１】
次に、図２Ａを参照して、クライアント端末２０ａは、動画伝送サーバ１０から受信している拡張分割動画データ６１の映像領域（拡張分割領域）６１ａにおける注視領域７０の重心位置ｘ（水平座標位置、ｘ＝０〜ｍ），ｙ（垂直座標位置、ｙ＝０〜ｎ）を示す注視領域位置データＧＡＰ-dat（図１参照）を、定期的に動画伝送サーバ１０に送信する。
【００４２】
なお、クライアント端末２０ａが、動画伝送サーバ１０に注視領域位置データＧＡＰ-datを送信する構成は、本発明の注視領域位置データ送信部に相当する。
【００４３】
動画伝送サーバ１０の動画データ送信部１３は、注視領域位置データＧＡＰ-datを受信したときに、注視領域位置データＧＡＰ-datから、送信中の拡張分割動画データの映像領域における注視領域７０の位置（ｘ，ｙ）を認識すると共に、前回受信した注視領域位置データＧＡＰ-datによって受信した注視領域７０の位置からの変位により、注視領域７０の変位方向（移動方向）を認識する。
【００４４】
そして、動画データ送信部１３は、このようにして認識したクライアント端末２０ａにおける注視領域７０の位置と変位方向に基づいて、クライアント端末２０ａに送信する拡張分割動画データを切替える処理を行う。
【００４５】
図４は、動画伝送サーバ１０が拡張分割動画データ６１をクライアント端末２０ａに送信しているときに、送信する動画データを拡張分割動画データ６２〜６４のいずれかに切替える条件を示している。図４では、注視領域７０を、拡張分割領域６１ａにおける位置に応じて、７０−１、７０−２、７０−３で示している。
【００４６】
先ず、注視領域７０−１が拡張分割領域６１ａと拡張分割領域６２ａとの重複範囲内に位置し、且つ、注視領域７０−１の変位方向が図中Ａ１の矢印の方向（右方向、拡張分割領域６１ａの外側に拡張分割領域６２ａ内に向かって進む方向）であるときは、動画データ送信部１３は、クライアント端末２０ａに送信する動画データを、拡張分割動画データ６２に切替える。
【００４７】
次に、注視領域７０−２が拡張分割領域６１ａと拡張分割領域６４ａとの重複範囲内に位置し、且つ、注視領域７０−２の変位方向が図中Ａ２の矢印の方向（右下方向、拡張分割領域６１ａの外側に拡張分割領域６４ａ内に向かって進む方向）であるときは、動画データ送信部１３は、クライアント端末２０ａに送信する動画データを、拡張分割動画データ６４に切替える。
【００４８】
また、注視領域７０−３が拡張分割領域６１ａと拡張分割領域６３ａとの重複範囲内に位置し、且つ、注視領域７０−３の変位方向が図中Ａ３の矢印の方向（下方向、拡張分割領域６１ａの外側に拡張分割領域６３ａ内に向かって進む方向）であるときは、動画データ送信部１３は、クライアント端末２０ａに送信する動画データを、拡張分割動画データ６３に切替える。
【００４９】
また、拡張分割動画データ保持部１２は、図５に示したように、４つの拡張分割動画データ６１〜６４を結合して、１つの動画データ８０としたシリアライズ動画データの形式で保持している。
【００５０】
ここで、図５の上段に示したように、４つの拡張分割動画データ６１〜６４を、別データ（別ファイル）として保持している場合は、例えば、クライアント端末２０ａに送信する動画データを、拡張分割動画データ６１（切替え前の拡張分割動画データ）から拡張分割動画データ６２（切替え後の拡張分割動画データ）に切替えるときに、それまで行っていた拡張分割動画データ６１のストリーム送信をＰ１で中止してから、拡張分割動画データ６２を読み出してＰ２からストリーム送信を開始する必要がある。そのため、拡張分割動画データの切替えにある程度時間がかかる。
【００５１】
それに対して、図５の下段に示したように、４つの拡張分割動画データ６１〜６４が結合されて、１つのシリアライズ動画データ８０となっている場合には、シリアライズ動画データ８０の再生位置をＰ１からＰ２に移動させれば済み、拡張分割動画データ６２を新たに読み出す処理は不要である。そのため、拡張分割動画データの切替え時間を短縮することができる。
【００５２】
次に、図６に示したフローチャートに従って、動画伝送サーバ１０における拡張分割動画データの一連の送信処理について説明する。
【００５３】
動画伝送サーバ１０は、クライアント端末２０ａから動画選択データＶＳ-datを受信したときに、図６のフローチャートによる処理を開始し、４つの拡張分割動画データ６１〜６４のうちのいずれかを選択してクラインアント端末２０ａに送信する。
【００５４】
ＳＴＥＰ１〜ＳＴＥＰ２は、拡張分割動画データ保持部１２による処理である。拡張分割動画データ保持部１２は、ＳＴＥＰ１で、動画選択データＶＳ-datにより指定された映像の原動画データ５０を、映像データベース１１から読出し、図３Ａ，図３Ｂを参照して上述したように、４つの拡張分割動画データ６１〜６４を生成する。
【００５５】
続くＳＴＥＰ２で、拡張分割動画データ保持部１２は、図５を参照して上述したように、４つの拡張分割動画データ６１〜６４を結合してシリアライズデータ化して保持する。
【００５６】
なお、動画選択データＶＳ-datを受信してから拡張分割動画データ６１〜６４を生成するのではなく、予め生成された拡張分割動画データ６１〜６４を、拡張分割動画データ保持部１２により保持しておくようにしてもよい。この場合、シリアライズデータ化された拡張分割動画データ６１〜６４を、予め保持しておくようにしてもよい。
【００５７】
また、ＳＴＥＰ１〜ＳＴＥＰ２の処理は、本発明の動画伝送方法における拡張分割動画データ保持ステップに相当する。
【００５８】
次のＳＴＥＰ３〜ＳＴＥＰ６、及びＳＴＥＰ１０〜ＳＴＥＰ１２は、動画データ送信部１３による処理である。
【００５９】
ＳＴＥＰ３で、動画データ送信部１３は、拡張分割動画データ６１（初期設定として、拡張分割動画データ６１が選択されている場合）の送信を開始する。続くＳＴＥＰ４〜ＳＴＥＰ５のループにより、動画データ送信部１３は、ＳＴＥＰ４でクライアント端末２０ａからの注視領域位置データＧＡＰ-datの受信の有無を判断し、ＳＴＥＰ５でクライアント端末２０ａからの閲覧終了指示データの受信の有無を判断する。
【００６０】
ＳＴＥＰ４で、注視領域位置データＧＡＰ-datを受信したときにＳＴＥＰ１０に分岐し、動画データ送信部１３は、注視領域位置データＧＡＰ-datに基づいて、クライアント端末２０ａで再生されている拡張分割動画データの映像領域における注視領域７０の位置と変位方向を認識する。
【００６１】
続くＳＴＥＰ１１で、動画データ送信部１３は、図４を参照して上述したように、注視領域７０が他の拡張分割領域との重複範囲内に位置し、且つ、注視領域７０の変位方向が送信中の拡張分割動画データの映像領域の外側に他の拡張分割領域内に向かう方向である、という要件の成否を判断する。そして、この要件が成立しているときはＳＴＥＰ１２に進み、動画データ送信部１３は、送信する拡張分割動画データを、注視領域の変位方向の拡張分割領域に対応する拡張分割動画データに切替えてＳＴＥＰ５に進む。
【００６２】
例えば、図４を参照して、クライアント端末２０ａに拡張分割動画データ６１を送信しているときに、注視領域７０が拡張分割領域６１ａと拡張分割領域６２ａとの重複範囲内に位置し、且つ、注視領域７０の変位方向が、拡張分割領域６１ａの外側に拡張分割領域６２ａ内に向かう方向であるときには、動画データ送信部１３は、クライアント端末２０ａに送信する拡張分割動画データを、拡張分割領域６２ａに対応する拡張分割動画データ６２に切替える。
【００６３】
一方、ＳＴＥＰ１１の条件が成立していないときにはＳＴＥＰ５に分岐し、動画データ送信部１３は、クライアント端末２０ａに送信する拡張分割動画データの切替えを行わない。
【００６４】
ＳＴＥＰ５で、動画データ送信部１３は、クライアント端末２０ａから動画の閲覧終了を指示する閲覧終了指示データを受信したか否かを判断する。そして、閲覧終了指示データを受信したときはＳＴＥＰ６に進み、動画データ送信部１３は、クライアント端末２０ａに対する拡張分割動画データの送信を終了する。また、閲覧終了指示データを受信していないときにはＳＴＥＰ４に戻り、動画データ送信部１３は、クライアント端末２０ａに対する拡張分割動画データの送信を継続する。
【００６５】
なお、ＳＴＥＰ３〜ＳＴＥＰ６、及びＳＴＥＰ１０〜ＳＴＥＰ１２による処理は、本発明の動画伝送方法における動画データ送信ステップに相当する。
【００６６】
［他の実施形態］
上記実施形態では、図３Ａに示したように原動画データ５０の映像領域を四つに分割して、図３Ｂに示したように拡張分割領域を設定したが、図７Ａに示したように、原動画データの映像領域を、含まれる画像に応じたランクによって区画し、各区画ごとに、ランクが高いほど狭い拡張分割領域を設定して拡張分割動画データを生成するようにしてもよい。
【００６７】
図７Ａの例では、サッカー競技場の全景を撮像した原画像の映像領域１００ａに対して、使用者の注目度が高いと想定されるゴール付近の領域１１０を高ランクとし、サッカーフィールドを含む領域１２０を中ランクとし、サッカーフィールドの外側を低ランクとする３段階のランク分けを行っている。なお、領域１１０，１２０，１３０は、本発明のランク別領域に相当する。
【００６８】
そして、図７Ｂに示したように、高ランクの領域１１０については、小サイズの注目領域１１５により狭い拡張分割領域を設定して、拡張分割動画データ生成する。また、中ランクの領域１２０については、中サイズの注目領域１２５によって、高ランクの領域１１０よりも広い拡張分割領域を設定して拡張分割動画データを生成する。また、低ランクの領域１３０については、大サイズの注目領域１３５によって、中ランクの領域１２０よりも広い拡張分割領域を設定して拡張分割動画データ生成する。
【００６９】
そして、動画データ送信部１３は、高ランクの領域１１０から生成した拡張分割動画データについては、解像度を落とさずにそのままクライアント端末２０ａに送信する。また、中ランクの領域１２０から生成した拡張部分動画データ、及び低ランクの領域１３０から生成した拡張分割動画データについては、データ量が高ランクの領域１１０から生成した拡張分割動画データと同等となるように、解像度を低下させて（映像領域を縮小して）クライアント端末２０ａに送信する。
【００７０】
このように、ランクに応じて拡張分割動画データの解像度を低下させてクライアント端末２０ａに送信することにより、クライアント端末２０ａにおいて、使用者は、高ランクの領域１１０については、解像度が高い狭い領域を注視領域７０として、映像を閲覧することができる。また、中ランクの領域１２０については、高ランクの領域１１０よりも解像度が低く広い領域を注視領域７０として、映像を閲覧することができる。さらに、低ランクの領域１３０については、中ランクの領域１２０よりも解像度が低く広い領域を注視領域７０として、映像を閲覧することができる。
【符号の説明】
【００７１】
１…通信ネットワーク、１０…動画伝送サーバ、１１…映像データベース、１２…拡張分割動画データ保持部、１３…動画データ送信部、２０（２０ａ〜２０ｃ）…クライアント端末、２１（２１ａ〜２１ｃ）…（クライアント端末の）表示部、５０…原動画データ、５０ａ…原動画データの映像領域、５１〜５４…分割領域、６１〜６４…拡張分割領域データ、６１ａ〜６４ａ…拡張分割領域の映像領域、７０…注視領域。
【要約】
【課題】動画伝送サーバからクライアント端末に伝送する原動画データの一部を切替える際に、クライアント端末で再生される動画の連続性が失われることを防止する。
【解決手段】拡張分割動画データ保持部１２は、原動画データの映像領域５０ａを分割した分割領域５１ａ〜５４ａを、隣接する他の分割領域の方向に、該他の分割領域との相互の重複範囲が注視領域７０のサイズ以上となるようにして拡張した拡張分割領域６１ａ〜６４ａの動画データである拡張分割動画データ６１〜６４を保持する。動画データ送信部１３は、注視領域７０が重複範囲内に位置し、且つ注視領域７０が拡張分割動画データの映像領域の外側に変位していることを認識したときには、クライアント端末に伝送する拡張分割動画データを、注視領域７０の変位方向で重複した他の拡張分割領域に対応する拡張分割動画データに切替えて伝送する。
【選択図】  図３【図１】
0006037354.tif 000002
【図２】
0006037354.tif 000003
【図３】
0006037354.tif 000004
【図４】
0006037354.tif 000005
【図５】
0006037354.tif 000006
【図６】
0006037354.tif 000007
【図７】
0006037354.tif 000008