(57)【特許請求の範囲】
【請求項１】
映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、
前記映像取得装置は、複数の映像撮影部を備え、
前記配信サーバは、
前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、
前記複数の映像に、前記映像撮影部の識別子を重畳させる映像ソースＩＤ重畳部と、
視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、
前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示する映像選択指示部と、
前記映像選択指示部の指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成する映像選択部と、
前記映像選択部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、
前記映像提示装置は、
視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、
前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、
前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、
前記映像受信部が受信した前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出する映像ソースＩＤ抽出部と、
前記表示範囲指定部が特定した前記切出し範囲の情報と、前記映像ソースＩＤ抽出部が抽出した前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、
前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、
前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、
前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、
前記映像切出し指示部は、前記表示範囲指定部が特定した映像撮影部と、前記映像ソースＩＤ抽出部が抽出した映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする映像配信システム。
【請求項２】
請求項１に記載の映像配信システムにおいて、前記映像ソースＩＤ重畳部は、画像透かしとして前記映像撮影部の識別子を重畳させるか、又は、ストリーミング中の映像以外のフィールドに前記映像撮影部の識別子を重畳させることを特徴とする映像配信システム。
【請求項３】
映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、
前記映像取得装置は、複数の映像撮影部を備え、
前記配信サーバは、
前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、
視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、
前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、
前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させる映像選択・切り替わりタイミング重畳部と、
前記映像選択・切り替わりタイミング重畳部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、
前記映像提示装置は、
視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、
前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、
前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、
前記映像受信部が受信した前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出する切り替わりタイミング抽出部と、
前記表示範囲指定部が特定した前記切出し範囲の情報と、前記切り替わりタイミング抽出部が抽出した、映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、
前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、
前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、
前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、
前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記切り替わりタイミング抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする映像配信システム。
【請求項４】
請求項３に記載の映像配信システムにおいて、前記映像選択・切り替わりタイミング重畳部は、映像が切り替わった後の最初の画像に画像透かしを重畳することによって、映像が切り替わったことを示す前記識別子を重畳させるか、又は、ストリーミング中の映像以外のフィールドに前記映像撮影部の映像が切り替わったことを示す前記識別子を重畳させることを特徴とする映像配信システム。
【請求項５】
映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、
前記映像取得装置は、複数の映像撮影部を備え、
前記配信サーバは、
前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、
視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、
前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、
前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す区切り画像を挿入する映像選択・区切り画像挿入部と、
前記映像選択・区切り画像挿入部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、
前記映像提示装置は、
視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、
前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、
前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、
前記映像受信部が受信した前記ストリーム映像に挿入されている、映像が切り替わったことを示す区切り画像を抽出する区切り画像抽出部と、
前記表示範囲指定部が特定した前記切出し範囲の情報と、前記区切り画像抽出部が抽出した前記区切り画像とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、
前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、
前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、
前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、
前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記区切り画像抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする映像配信システム。
【請求項６】
請求項５に記載の映像配信システムにおいて、前記映像選択・区切り画像挿入部は、前記区切り画像として全面が黒い画像を挿入することを特徴とする映像配信システム。
【請求項７】
映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムにおける映像配信方法であって、
前記映像取得装置は、複数の映像撮影部を備え、
前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、
前記配信サーバによって、
前記複数の映像撮影部が撮影した複数の映像を受信するステップと、
前記複数の映像に、前記映像撮影部の識別子を重畳させるステップと、
前記映像提示装置によって、
視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、
特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、
前記配信サーバによって、
視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、
前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示するステップと、
前記指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成するステップと、
前記ストリーム映像を前記映像提示装置に配信するステップと、
前記映像提示装置によって、
前記ストリーム映像を受信するステップと、
前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出するステップと、
特定された前記切出し範囲の情報と、抽出された前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、
特定された前記映像撮影部と、抽出された前記映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、
切り出された前記部分映像を表示するステップと
を含むことを特徴とする映像配信方法。
【請求項８】
映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムにおける映像配信方法であって、
前記映像取得装置は、複数の映像撮影部を備え、
前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、
前記配信サーバによって、
前記複数の映像撮影部が撮影した複数の映像を受信するステップと、
前記映像提示装置によって、
視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、
特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、
前記配信サーバによって、
視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、
前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示するステップと、
前記指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させるステップと、
前記ストリーム映像を前記映像提示装置に配信するステップと、
前記映像提示装置によって、
前記ストリーム映像を受信するステップと、
前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出するステップと、
特定された前記切出し範囲の情報と、抽出された映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、
切り出し元となる映像撮影部の切り替わりタイミングと、抽出された映像撮影部の切り替わったタイミングとを一致させて、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、
切り出された前記部分映像を表示するステップと
を含むことを特徴とする映像配信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像配信システム及び映像配信方法に関し、特に、広範囲に常時撮影されている映像中から、視聴者が自分の好きな場所を選んでライブで視聴する映像配信システム及び映像配信方法に関する。
【背景技術】
【０００２】
従来、イベント会場などから離れた遠隔地にいる視聴者が、視聴者の有するテレビや移動端末を用いて、イベント会場において撮影されている映像から自分の好きな範囲を選んでライブで視聴するための様々なシステムが提案されている（例えば、非特許文献１）。
【０００３】
例えば、視聴者が好きな方向のライブ映像を見る方法として、リモート操作可能な雲台を有するＷｅｂカメラを用いて視聴者がリモートで雲台を操作し、好きな方向にＷｅｂカメラを向ける方法が知られている（例えば、非特許文献２）。
【０００４】
また、予め広い範囲でライブ映像を撮影しておき、そこから視聴者が要望する部分を切り出して配信する方法も知られている。この場合、複数のカメラで撮影した映像を貼り合せて広い範囲のライブ映像を撮影する方法と、解像度が高く広範囲を撮影することができる１台のカメラで広い範囲のライブ映像を撮影する方法とが知られている（例えば、非特許文献３）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, and Akira Kojima, “Mobile and Multi-device Interactive Panorama Video Distribution System”, IEEE GCCE 2012, Oct, 2012.
【非特許文献２】田中俊生、「安価な市販USBカメラとパソコンで作る簡易ウェブ・カメラ・システムの構築」、トランジスタ技術2002年12月号、p.196-197.
【非特許文献３】山澤一誠、横矢直和、「全方位カメラとJAVA appletを用いたインターネット定点カメラ」、 FIT（情報科学技術フォーラム）2002、 I-7
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、リモート操作可能な雲台を用いる方法では、ある視聴者が自分の好みの方向にＷｅｂカメラを向けて映像を見ている間は、別の視聴者は、異なる方向の映像を見ることができないという問題、すなわち、複数人が同時に異なる方向の映像を見ることができないという問題があった。
【０００７】
また、複数カメラで撮影した映像を貼り合せて広い範囲のライブ映像を撮影し、視聴者が要望する部分を切り出して配信するという方法では、複数の映像の貼り合せに計算コストがかかるため、映像配信の遅延が大きくなるという問題があった。
【０００８】
また、解像度が高く広範囲を撮影することができるカメラを用いて広い範囲のライブ映像を撮影し、視聴者が要望する部分を切り出して配信するという方法では、通常のカメラでは１８０度を超えるような広い範囲を撮ることはできないため、全方位レンズや魚眼レンズ等を有するカメラが必要になりコストが高くなるという問題があった。また、全方位レンズや魚眼レンズを用いると画像の歪が大きくなるため、切り出した画像を違和感なく見せるためには、画像の変形という計算コストのかかる処理が必要になるため、映像配信の遅延が大きくなるという問題があった。
【０００９】
このように、従来技術では、複数の視聴者が同時に異なる方向のライブ映像を視聴することと、ライブ映像の配信遅延を小さくすることを両立させることができないという問題があった。
【００１０】
したがって、かかる点に鑑みてなされた本発明の目的は、複数の視聴者が同時に異なる方向のライブ映像を視聴することと、ライブ映像の配信遅延を小さくすることを両立させることができる映像配信システム及び映像配信方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明に係る映像配信システムは、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、前記映像取得装置は、複数の映像撮影部を備え、前記配信サーバは、前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、前記複数の映像に、前記映像撮影部の識別子を重畳させる映像ソースＩＤ重畳部と、視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示する映像選択指示部と、前記映像選択指示部の指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成する映像選択部と、前記映像選択部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、前記映像提示装置は、視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、前記映像受信部が受信した前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出する映像ソースＩＤ抽出部と、前記表示範囲指定部が特定した前記切出し範囲の情報と、前記映像ソースＩＤ抽出部が抽出した前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、前記映像切出し指示部は、前記表示範囲指定部が特定した映像撮影部と、前記映像ソースＩＤ抽出部が抽出した映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする。
【００１２】
また、上記課題を解決するため、本発明に係る映像配信システムは、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、前記映像取得装置は、複数の映像撮影部を備え、前記配信サーバは、前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させる映像選択・切り替わりタイミング重畳部と、前記映像選択・切り替わりタイミング重畳部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、前記映像提示装置は、視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、前記映像受信部が受信した前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出する切り替わりタイミング抽出部と、前記表示範囲指定部が特定した前記切出し範囲の情報と、前記切り替わりタイミング抽出部が抽出した、映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記切り替わりタイミング抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする。
【００１３】
また、上記課題を解決するため、本発明に係る映像配信システムは、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムであって、前記映像取得装置は、複数の映像撮影部を備え、前記配信サーバは、前記複数の映像撮影部が撮影した複数の映像を受信する映像入力部と、視聴者が視聴を要望する映像範囲を撮影している映像撮影部の情報を受信する表示指示受信部と、前記表示指示受信部が受信した前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示する映像選択指示部と、前記映像選択指示部の指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す区切り画像を挿入する映像選択・区切り画像挿入部と、前記映像選択・区切り画像挿入部が作成した前記ストリーム映像を前記映像提示装置に配信する映像配信部とを備え、前記映像提示装置は、視聴者から、視聴を要望する前記映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定する表示範囲指定部と、前記表示範囲指定部が特定した前記映像撮影部の情報を前記配信サーバに送信する表示指示送信部と、前記配信サーバが配信する前記ストリーム映像を受信する映像受信部と、前記映像受信部が受信した前記ストリーム映像に挿入されている、映像が切り替わったことを示す区切り画像を抽出する区切り画像抽出部と、前記表示範囲指定部が特定した前記切出し範囲の情報と、前記区切り画像抽出部が抽出した前記区切り画像とに基づいて、前記ストリーム映像から切り出す部分映像を指示する映像切出し指示部と、前記映像切出し指示部の指示に基づいて、前記ストリーム映像から、前記部分映像を切り出す映像切出し部と、前記映像切出し部が切り出した前記部分映像を表示する映像表示部とを備え、前記各映像撮影部は、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記部分映像の大きさよりも大きくなるように配置され、前記映像切出し指示部は、前記表示範囲指定部から取得した切り出し元となる映像撮影部の切り替わりタイミングと、前記区切り画像抽出部が抽出した映像撮影部の切り替わったタイミングとを一致させて、前記映像撮影部の情報と関連付けられている切出し範囲の位置に変更することを特徴とする。
【００１４】
また、上記課題を解決するため、本発明に係る映像配信方法は、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムにおける映像配信方法であって、前記映像取得装置は、複数の映像撮影部を備え、前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、前記配信サーバによって、前記複数の映像撮影部が撮影した複数の映像を受信するステップと、前記複数の映像に、前記映像撮影部の識別子を重畳させるステップと、前記映像提示装置によって、視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、前記配信サーバによって、視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、前記映像撮影部の情報に基づいて、識別子が重畳された前記複数の映像から選択すべき映像を指示するステップと、前記指示に基づいて、識別子が重畳された前記複数の映像から映像を選択し、一つのストリーム映像を作成するステップと、前記ストリーム映像を前記映像提示装置に配信するステップと、前記映像提示装置によって、前記ストリーム映像を受信するステップと、前記ストリーム映像に重畳されている前記映像撮影部の識別子を抽出するステップと、特定された前記切出し範囲の情報と、抽出された前記映像撮影部の識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、特定された前記映像撮影部と、抽出された前記映像撮影部の識別子から特定される映像取得部とが一致したタイミングで、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、切り出された前記部分映像を表示するステップとを含む。
【００１５】
また、上記課題を解決するため、本発明に係る映像配信方法は、映像取得装置と、配信サーバと、映像提示装置とを備える映像配信システムにおける映像配信方法であって、前記映像取得装置は、複数の映像撮影部を備え、前記各映像撮影部を、当該各映像撮影部が撮影する映像と、隣接して配置された映像撮影部が撮影する映像とが重なり合う重複領域を有し、前記重複領域の大きさが、前記映像提示装置が表示する部分映像の大きさよりも大きくなるように配置するステップと、前記配信サーバによって、前記複数の映像撮影部が撮影した複数の映像を受信するステップと、前記映像提示装置によって、視聴者から、視聴を要望する映像範囲を受け付け、前記映像範囲を撮影している映像撮影部を特定し、該映像撮影部が撮影した映像から切り出す切出し範囲を特定するステップと、特定された前記映像撮影部の情報を前記配信サーバに送信するステップと、前記配信サーバによって、視聴者が視聴を要望する前記映像範囲を撮影している映像撮影部の情報を受信するステップと、前記映像撮影部の情報に基づいて、前記複数の映像から選択すべき映像を指示するステップと、前記指示に基づいて、前記複数の映像から映像を選択して一つのストリーム映像を作成し、選択される映像が切り替わった際に、映像が切り替わったことを示す識別子を重畳させるステップと、前記ストリーム映像を前記映像提示装置に配信するステップと、前記映像提示装置によって、前記ストリーム映像を受信するステップと、前記ストリーム映像に重畳されている、映像が切り替わったことを示す前記識別子を抽出するステップと、特定された前記切出し範囲の情報と、抽出された映像が切り替わったことを示す前記識別子の情報とに基づいて、前記ストリーム映像から切り出す部分映像を指示するステップと、切り出し元となる映像撮影部の切り替わりタイミングと、抽出された映像撮影部の切り替わったタイミングとを一致させて、前記ストリーム映像から、前記映像撮影部の情報と関連付けられている切出し範囲の位置を切り出すステップと、切り出された前記部分映像を表示するステップとを含む。
【発明の効果】
【００１６】
本発明によれば、複数の視聴者が同時に異なる方向のライブ映像を視聴することと、ライブ映像の配信遅延を小さくすることを両立させることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態に係る映像配信システムのブロック図である。
【図２】本発明の第１実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。
【図３】本発明の第１実施形態に係る映像配信システムの動作を示すシーケンス図である。
【図４】本発明の第１実施形態の変形例に係る映像配信システムにおける映像の切出し指示の様子を示す図である。
【図５】本発明の第１実施形態の変形例に係る映像配信システムのブロック図である。
【図６】本発明の第２実施形態に係る映像配信システムのブロック図である。
【図７】本発明の第２実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。
【図８】本発明の第２実施形態に係る映像配信システムの動作を示すシーケンス図である。
【図９】本発明の第２実施形態の変形例に係る映像配信システムにおける映像の切出し指示の様子を示す図である。
【図１０】本発明の第３実施形態に係る映像配信システムのブロック図である。
【図１１】本発明の第３実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。
【図１２】識別子を重畳・抽出するブロックがない映像配信システムのブロック図である。
【図１３】タイミングずれが起きない場合の映像切出しの様子を示す図である。
【図１４】映像切出しで問題が起きる場合の映像の切出し指示の様子を示す図である。
【図１５】タイミングずれが発生した場合の映像切出しの様子を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明に係る実施形態について、図面を参照して説明する。
【００１９】
（第１実施形態）
図１は、本発明の第１実施形態に係る映像配信システムのブロック図である。本発明の第１実施形態に係る映像配信システムは、映像取得装置１１０、配信サーバ１２０及び映像提示装置１３０を備える。なお、図１においては、映像提示装置を１つ備える構成を示しているが、これは一例であり、映像提示装置は２つ以上であってもよい。
【００２０】
映像取得装置１１０は、映像撮影部１１１（１１１ａ、１１１ｂ）を備える。
【００２１】
映像撮影部１１１は、映像を撮影し、撮影した映像を配信サーバ１２０に送信する。映像撮影部１１１は、映像撮影部１１１ａで撮影した映像と映像撮影部１１１ａに隣接して配置された映像撮影部１１１ｂで撮影した映像とが重なり合う重複領域を有し、当該重複領域の大きさが映像提示装置１３０で表示する部分映像の大きさよりも大きくなるように配置される。なお、図１においては、映像撮影部１１１が映像撮影部１１１ａ及び１１１ｂの２つから構成される場合を示しているが、これは一例であり、映像撮影部１１１は３つ以上で構成されてもよい。映像撮影部１１１は、例えばカメラなどである。本出願においては、必要に応じて、映像撮影部１１１がカメラの場合を例として説明する。
【００２２】
配信サーバ１２０は、表示指示受信部１２１、映像選択指示部１２２、映像入力部１２３（１２３ａ、１２３ｂ）、映像ソースＩＤ重畳部１２４（１２４ａ、１２４ｂ）、映像選択部１２５及び映像配信部１２６を備える。
【００２３】
表示指示受信部１２１は、映像提示装置１３０から、視聴者が視聴を要望する映像範囲を撮影している映像撮影部１１１の情報を受信する。
【００２４】
映像選択指示部１２２は、表示指示受信部１２１が映像提示装置１３０から受信した映像撮影部１１１の情報に基づいて、映像選択部１２５に、映像ソースＩＤ重畳部１２４によって映像ソース（映像撮影部１１１）ごとに識別子を重畳された複数の映像から選択すべき映像を指示する。
【００２５】
映像入力部１２３は、映像撮影部１１１が撮影した映像を受信する。図１は、映像入力部１２３が２つの映像入力部１２３ａ及び１２３ｂから構成され、映像撮影部１１１が２つの映像撮影部１１１ａ及び１１１ｂから構成される場合の例を示す。映像入力部１２３ａ及び１２３ｂは、それぞれ、映像撮影部１１１ａ及び１１１ｂが撮影した映像を受信する。
【００２６】
映像ソースＩＤ重畳部１２４は、映像入力部１２３から映像を受け取り、映像ソースごとに映像撮影部１１１に対応付けられた識別子（ＩＤ）を、画像透かしとして重畳させる。識別子は、例えば、カメラのＩＤなどである。図１は、映像ソースＩＤ重畳部１２４が２つの映像ソースＩＤ重畳部１２４ａ及び１２４ｂから構成される場合の例を示す。映像ソースＩＤ重畳部１２４ａ及び１２４ｂは、それぞれ、映像入力部１２３ａ及び１２３ｂから受け取った映像に識別子を重畳させる。
【００２７】
映像選択部１２５は、映像選択指示部１２２からの指示に基づいて、映像ソースＩＤ重畳部１２４によって映像ソースごとに識別子を重畳された映像から必要な映像を選択し、一つの連続したストリーム映像を作成する。
【００２８】
映像配信部１２６は、映像選択部１２５により作成されたストリーム映像を映像提示装置１３０に配信する。
【００２９】
映像提示装置１３０は、表示範囲指定部１３１、表示指示送信部１３２、映像受信部１３３、映像ソースＩＤ抽出部１３４、映像切出し指示部１３５、映像切出し部１３６及び映像表示部１３７を備える。
【００３０】
表示範囲指定部１３１は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。表示範囲指定部１３１は、例えば、キーボードやリモコン又はタッチパネルなどを介した入力などによって、視聴者の要望する表示範囲を受け付けることができる。また、例えば、表示範囲指定部１３１は、加速度センサや方位センサなどを備え、映像提示装置１３０を向けている方角に応じてこれらのセンサが随時取得するセンサ値によって、視聴者の要望する表示範囲を受け付けることができる。
【００３１】
また、表示範囲指定部１３１は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部１１１を特定し、特定された映像撮影部１１１が撮影する映像から切り出す切出し範囲を特定する。
【００３２】
表示指示送信部１３２は、表示範囲指定部１３１が特定した映像撮影部１１１の情報を配信サーバ１２０に送信する。
【００３３】
映像受信部１３３は、配信サーバ１２０から配信されたストリーム映像を受信する。
【００３４】
映像ソースＩＤ抽出部１３４は、映像受信部１３３が受信したストリーム映像から、画像透かし情報として重畳された映像ソースの識別子を抽出する。
【００３５】
映像切出し指示部１３５は、表示範囲指定部１３１が特定した切出し範囲の情報と、映像ソースＩＤ抽出部１３４が抽出した映像ソースの識別子とを照らし合わせて、映像切出し部１３６に切り出しの指示を行う。映像切出し指示部１３５は、表示範囲指定部１３１が特定した映像撮影部１１１と、映像ソースＩＤ抽出部１３４が抽出した映像撮影部１１１の識別子から特定される映像撮影部１１１とが一致したタイミングで、映像撮影部１１１の情報と関連付けられている切出し範囲の位置に変更するように指示する。
【００３６】
映像切出し部１３６は、映像切出し指示部１３５からの指示に基づいて、映像選択部１２５によって選択された映像から、視聴者の要求に応じた映像を表示するために必要な部分を切り出した部分映像を切り出す。
【００３７】
映像表示部１３７は、映像切出し部１３６が切り出した部分映像を表示する。
【００３８】
本発明に係る映像配信システムは、映像ソースＩＤ重畳部１２４、映像ソースＩＤ抽出部１３４を備え、映像切出し指示部１３５が、表示範囲指定部１３１が特定した切出し範囲の情報と、映像ソースＩＤ抽出部１３４が抽出した映像ソースの識別子とを照らし合わせて、映像切出し部１３６に切り出しの指示を行うことにより、適切なタイミングで映像を切り出すことができる。
【００３９】
以下、映像ソースＩＤ重畳部１２４及び映像ソースＩＤ抽出部１３４がない場合に生じ得る問題点について説明する。図１２は、映像ソースＩＤ重畳部１２４及び映像ソースＩＤ抽出部１３４がない場合の映像配信システムのブロック図である。
【００４０】
説明の前提として、映像撮影部５１１は、８００×６００画素の画素数で撮影する２台のカメラであり、それぞれのカメラが撮影する映像が、横方向に３００画素分だけ重複するように配置されているものとする。また、映像提示装置５３０が表示する映像は、３００×６００画素の範囲であるものとする。この場合において、表示範囲指定部５３１が、撮影範囲全体の左端から右端までを、表示位置を変更しながら順次表示することを指示するものとする。
【００４１】
図１３は、タイミングずれの問題が起きていない場合の映像切出しの様子を示す図である。撮影範囲全体の左端から右端までを、表示位置を変更しながら順次表示する場合において、毎秒１０フレーム表示し、１フレーム毎に表示位置を５０画素ずつずらす場合は、配信サーバ５２０では、１〜１１フレーム目までは映像１を、１２〜２１フレーム目までは映像２を選択したストリーム映像を作成し、作成したストリーム映像を送信する。映像提示装置５３０では、１フレーム目は、映像１の横方向０〜３００画素の範囲を切り出し、２フレーム目では、映像１の横方向５０〜３５０画素の範囲を切り出すというように順次切り出し位置を移動していき、１１フレーム目で、映像１の横方向５００〜８００画素の範囲を切り出す。続いて、１２フレーム目では、映像２の横方向５０〜３５０画素の範囲を切り出して表示する。このように切り出し位置を変えながら表示することで、滑らかに表示位置を動かして見えるような映像提示が可能となる。
【００４２】
ところが、映像提示装置５３０の表示範囲指定部５３１が、配信サーバ５２０内の映像選択指示部５２２への映像選択のための指示と、映像提示装置５３０内の映像切出し指示部５３５への切出し位置の指示とを行う場合、配信サーバ５２０内での映像選択時や配信サーバ５２０から映像提示装置５３０への映像伝送での遅延が存在するため、配信サーバ５２０から送られるストリーミング映像と、切り出し位置の指示とは非同期なデータとなっている。同じ映像ソースからの映像が送られてきている間であれば大きな問題は発生しないが、映像が切り替わるタイミングにおいては、映像の伝送遅延のため、映像提示装置５３０が受信した映像の映像ソースがまだ切り替わっていないのに、切り出す位置を切り替えてしまう恐れがある。
【００４３】
図１４を参照して、このようなタイミングのずれが生じる様子を説明する。映像提示装置５３０の表示範囲指定部５３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置５３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ５２０に指示し、配信サーバ５２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ５２０が選択映像を変更したことにより、映像提示装置５３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置５３０が受信する映像は、黒三角で示す時点から少し遅れてカメラ２の映像に切り替わる。一方、黒三角で示す時点において、映像提示装置５３０の映像切出し指示部５３５は、カメラ２の映像に対応した切り出し位置を指示してしまっている。そのため、斜線で示す区間６００においては、表示映像はカメラ１の映像であるにも関わらず、カメラ２の映像に対応した切り出し位置で映像を切り出してしまうというタイミングのずれが発生する。
【００４４】
図１５にタイミングずれが発生した場合の映像切出しの様子を示す。１２フレーム目を参照すると、映像２の５０〜３５０画素の範囲を切り出して表示したいのにも関わらず、まだ映像提示装置５３０が映像１を受信しているため、映像１の５０〜３５０画素の範囲が切り出されて表示されてしまっている。
【００４５】
このような事象が発生すると、映像全体の左から右に順次移りながら表示されていた映像が、映像１の右端まで来た途端に急に映像１の左の方の映像に一瞬切り替わり、その後、元の続きで映像２の左の方の映像から順次表示される、ということになり、滑らかにつながらず、乱れた映像が表示されるという問題が生じ得る。
【００４６】
そこで、本発明に係る映像配信システムでは、映像ソースＩＤ重畳部１２４、映像ソースＩＤ抽出部１３４を備え、映像切出し指示部１３５が、表示範囲指定部１３１が特定した切出し範囲の情報と、映像ソースＩＤ抽出部１３４が抽出した映像ソースの識別子とを照らし合わせて、映像切出し部１３６に切り出しの指示を行うことにより、適切なタイミングで映像を切り出すことができ、図１５のような映像の飛びを抑制して、図１３に示すような適切な映像を表示することができる。
【００４７】
図２は、本発明の第１実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。
【００４８】
映像提示装置１３０の表示範囲指定部１３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置１３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ１２０に指示し、配信サーバ１２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ１２０が選択映像を変更したことにより、映像提示装置１３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置１３０が受信する映像は、黒三角で示す時点より少し遅れてカメラ２の映像に切り替わる。一方、映像提示装置１３０が受信するカメラ１の映像及びカメラ２の映像には、それぞれ、カメラ１のＩＤ及びカメラ２のＩＤが重畳されている。映像切出し指示部１３５は、カメラＩＤの変更を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
【００４９】
次に、本発明の第１実施形態に係る映像配信システムの動作について、図３に示すシーケンス図を参照しながら説明する。
【００５０】
映像取得装置１１０の映像撮影部１１１は、常時映像を撮影している（Ｓ１０１）。映像撮影部１１１は、撮影した映像を配信サーバ１２０に常時送信している（Ｓ１０２）。
【００５１】
配信サーバ１２０の映像ソースＩＤ重畳部１２４は、映像取得装置１１０から受信した映像ソースごとに識別子（ＩＤ）を、画像透かしとして重畳する（Ｓ１０３）。
【００５２】
一方、映像提示装置１３０の表示範囲指定部１３１は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。また、表示範囲指定部１３１は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部１１１を特定し、特定された映像撮影部１１１が撮影する映像から切り出す切出し範囲を特定する（Ｓ１０４）。
【００５３】
表示指示送信部１３２は、表示範囲指定部１３１が特定した切り出し元となる映像ソースの情報を配信サーバ１２０に送信する（Ｓ１０５）。
【００５４】
配信サーバ１２０の映像選択指示部１２２は、表示指示受信部１２１が映像提示装置１３０から受信した映像ソースの情報に基づいて、映像選択部１２５に、映像入力部１２３が受信した複数の映像から選択すべき映像を指示する。映像選択部１２５は、映像ソースＩＤ重畳部１２４によって映像ソースの識別子情報を重畳された複数の映像の中から、映像選択指示部１２２の指示に基づいて映像を選択し、一つの連続したストリーム映像を作成する（Ｓ１０６）。
【００５５】
映像配信部１２６は、映像選択部１２５により作成されたストリーム映像を映像提示装置１３０に配信する（Ｓ１０７）。
【００５６】
映像提示装置１３０の映像受信部１３３は、配信サーバ１２０から配信された映像を受信する（Ｓ１０８）。
【００５７】
映像ソースＩＤ抽出部１３４は、映像受信部１３３が受信したストリーム映像中に画像透かしとして重畳されている映像ソースの識別子を抽出する（Ｓ１０９）。
【００５８】
映像切出し指示部１３５は、ステップＳ１０４にて表示範囲指定部１３１が特定した切出し範囲の情報と、ステップＳ１０９にて映像ソースＩＤ抽出部１３４が抽出した現在到着している映像の映像ソースの識別子とを比較し、正しい映像ソースから切り出しが行える適切なタイミングで映像切出し部１３６に切り出しの指示を行う。映像切出し部１３６は、映像切出し指示部１３５からの指示に基づいて、映像受信部１３３が受信した映像から、視聴者の要求に応じた映像を表示するために必要な映像を切り出した部分映像を切り出す（Ｓ１１０）。
【００５９】
映像表示部１３７は、映像切出し部１３６が切り出した部分映像を表示する（Ｓ１１１）。
【００６０】
（第１実施形態の変形例）
なお、第１実施形態においては、配信サーバ１２０において、映像選択部１２５で映像を選択する前に、映像ソースＩＤ重畳部１２４によって、各映像に映像ソースの識別子を、画像透かしとして映像中に重畳させる例を示したが、映像に識別子を重畳させるタイミングはこれに限るものではない。例えば、映像取得装置１１０において、映像撮影部１１１で取得した映像に、識別子を重畳させてから配信サーバ１２０に送信してもよいし、あるいは、配信サーバ１２０において、映像選択部１２５が映像を選択して一つのストリーム映像を作成する際に、識別子を重畳させてもよい。
【００６１】
また、第１実施形態においては、映像提示装置１３０において、切り出し位置の指示を行っているが、ストリーム映像とは同期していない情報として、配信サーバ１２０から、映像提示装置１３０に切り出し位置の指示を行ってもよい。この場合でも、同様の方法で切り出し位置の指示とストリーム映像の切り出しタイミングとを合わせることができる。
【００６２】
また、第１実施形態においては、映像ソースＩＤ重畳部１２４が、画像透かしとして識別子を重畳させる方法を説明したが、図４に示すように、ストリームデータの映像と同期された別フィールドとして識別子を付与してもよい。
【００６３】
図４に示す例では、映像提示装置１３０の表示範囲指定部１３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置１３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ１２０に指示し、配信サーバ１２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ１２０が選択映像を変更したことにより、映像提示装置１３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置１３０が受信する映像は、黒三角で示す時点より少し遅れてカメラ２の映像に切り替わる。一方、映像提示装置１３０が受信するカメラ１の映像及びカメラ２の映像には、それぞれ、カメラ１のＩＤ及びカメラ２のＩＤがストリーム中の別フィールドに重畳されている。映像切出し指示部１３５は、カメラＩＤの変更を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
【００６４】
また、図５に示す映像配信システムのブロック構成のように、第１実施形態のブロック構成に対し、必要に応じて、さらに、映像の符号化を行う映像符号化部（１６２、１７６）、及び、映像の復号を行う映像復号部（１７４、１８６）を備える構成としてもよい。
【００６５】
（第２実施形態）
図６は、本発明の第２実施形態に係る映像配信システムのブロック図である。本発明の第２実施形態に係る映像配信システムは、映像取得装置２１０、配信サーバ２２０及び映像提示装置２３０を備える。第１実施形態では、映像に常に映像ソースの識別子を付与していたのに対し、第２実施形態では、映像が切り替わるタイミングで、映像が切り替わったことを示す識別子を付与する点が異なる。なお、図６においては、映像提示装置を１つ備える構成を示しているが、これは一例であり、映像提示装置は２つ以上であってもよい。
【００６６】
映像取得装置２１０は、映像撮影部２１１（２１１ａ、２１１ｂ）を備える。
【００６７】
映像撮影部２１１は、映像を撮影し、撮影した映像を配信サーバ２２０に送信する。映像撮影部２１１は、映像撮影部２１１ａで撮影した映像と映像撮影部２１１ａに隣接して配置された映像撮影部２１１ｂで撮影した映像とが重なり合う重複領域を有し、当該重複領域の大きさが映像提示装置２３０で表示する部分映像の大きさよりも大きくなるように配置される。なお、図６においては、映像撮影部２１１が映像撮影部２１１ａ及び２１１ｂの２つから構成される場合を示しているが、これは一例であり、映像撮影部２１１は３つ以上で構成されてもよい。映像撮影部２１１は、例えばカメラなどである。
【００６８】
配信サーバ２２０は、表示指示受信部２２１、映像選択指示部２２２、映像入力部２２３（２２３ａ、２２３ｂ）、映像選択・切り替わりタイミング重畳部２２４及び映像配信部２２５を備える。
【００６９】
表示指示受信部２２１は、映像提示装置２３０から、視聴者が視聴を要望する映像範囲を撮影している映像撮影部２１１の情報を受信する。
【００７０】
映像選択指示部２２２は、表示指示受信部２２１が映像提示装置２３０から受信した映像撮影部２１１の情報に基づいて、映像選択・切り替わりタイミング重畳部２２４に、映像入力部２２３が受信した複数の映像から選択すべき映像を指示する。
【００７１】
映像入力部２２３は、映像撮影部２１１が撮影した映像を受信する。図６は、映像入力部２２３が２つの映像入力部２２３ａ及び２２３ｂから構成され、映像撮影部２１１が２つの映像撮影部２１１ａ及び２１１ｂから構成される場合の例を示す。映像入力部２２３ａ及び２２３ｂは、それぞれ、映像撮影部２１１ａ及び２１１ｂが撮影した映像を受信する。
【００７２】
映像選択・切り替わりタイミング重畳部２２４は、映像選択指示部２２２からの指示に基づいて、映像入力部２２３に入力された複数の映像から必要な映像を選択すると共に、映像ソースが切り替わった最初のフレームに、映像ソースが切り替わったことを示す識別子を画像透かしによって重畳させ、その映像から一つの連続したストリーム映像を作成する。
【００７３】
映像配信部２２５は、映像選択・切り替わりタイミング重畳部２２４により作成されたストリーム映像を映像提示装置２３０に配信する。
【００７４】
映像提示装置２３０は、表示範囲指定部２３１、表示指示送信部２３２、映像受信部２３３、切り替わりタイミング抽出部２３４、映像切出し指示部２３５、映像切出し部２３６及び映像表示部２３７を備える。
【００７５】
表示範囲指定部２３１は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。表示範囲指定部２３１は、例えば、キーボードやリモコン又はタッチパネルなどを介した入力などによって、視聴者の要望する表示範囲を受け付けることができる。また、例えば、表示範囲指定部２３１は、加速度センサや方位センサなどを備え、映像提示装置２３０を向けている方角に応じてこれらのセンサが随時取得するセンサ値によって、視聴者の要望する表示範囲を受け付けることができる。
【００７６】
また、表示範囲指定部２３１は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部２１１を特定し、特定された映像撮影部２１１が撮影する映像から切り出す切出し範囲を特定する。
【００７７】
表示指示送信部２３２は、表示範囲指定部２３１が特定した映像撮影部２１１の情報を配信サーバ２２０に送信する。
【００７８】
映像受信部２３３は、配信サーバ２２０から配信されたストリーム映像を受信する。
【００７９】
切り替わりタイミング抽出部２３４は、映像受信部２３３が受信したストリーム映像から、画像透かし情報として重畳された映像ソースの切り替わりタイミングを示す識別子を抽出する。
【００８０】
映像切出し指示部２３５は、表示範囲指定部２３１が特定した切出し範囲の情報と、切り替わりタイミング抽出部２３４が抽出した映像ソースの切り替わりタイミングを示す識別子とを照らし合わせて、映像切出し部２３６に切り出しの指示を行う。映像切出し指示部２３５は、表示範囲指定部２３１から取得した切り出し元となる映像撮影部２１１の切り替わりタイミングと、切り替わりタイミング抽出部２３４が抽出した映像撮影部２１１の切り替わったタイミングとを一致させて、映像撮影部２１１の情報と関連付けられている切出し範囲の位置に変更するように指示する。
【００８１】
映像切出し部２３６は、映像切出し指示部２３５からの指示に基づいて、映像受信部２３３が受信した映像から、視聴者の要求に応じた映像を表示するために必要な部分を切り出した部分映像を切り出す。
【００８２】
映像表示部２３７は、映像切出し部２３６が切り出した部分映像を表示する。
【００８３】
図７は、本発明の第２実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。
【００８４】
映像提示装置２３０の表示範囲指定部２３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置２３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ２２０に指示し、配信サーバ２２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ２２０が選択映像を変更したことにより、映像提示装置２３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置２３０が受信する映像は、黒三角で示す時点より少し遅れてカメラ２の映像に切り替わる。一方、映像提示装置２３０が受信するカメラ１の映像及びカメラ２の映像には、映像が切り替わった最初のフレームに映像の切り替わりを示す識別子が重畳されている。映像切出し指示部２３５は、映像の切り替わりを示す識別子を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
【００８５】
このように、映像切出し指示部２３５は、切り替わりタイミング抽出部２３４が抽出した映像におけるカメラ変更の識別子を監視し、適切なタイミングで、すなわち、カメラ変更の識別子を検出したタイミングで、映像切出し部２３６に切出しの指示を行う。これにより、図１５のような映像の飛びを抑制することができ、図１３に示すような適切な映像を提示することができる。
【００８６】
次に、本発明の第２実施形態に係る映像配信システムの動作について、図８に示すシーケンス図を参照しながら説明する。
【００８７】
映像取得装置２１０の映像撮影部２１１は、常時映像を撮影している（Ｓ２０１）。映像撮影部２１１は、撮影した映像を配信サーバ２２０に常時送信している（Ｓ２０２）。
【００８８】
一方、映像提示装置２３０の表示範囲指定部２３１は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。また、表示範囲指定部２３１は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部２１１を特定し、特定された映像撮影部２１１が撮影する映像から切り出す切出し範囲を特定する（Ｓ２０３）。
【００８９】
表示指示送信部２３２は、表示範囲指定部２３１が特定した切り出し元となる映像ソースの情報を配信サーバ２２０に送信する（Ｓ２０４）。
【００９０】
配信サーバ２２０の映像選択指示部２２２は、表示指示受信部２２１が映像提示装置２３０から受信した映像ソースの情報に基づいて、映像選択・切り替わりタイミング重畳部２２４に、映像入力部２２３が受信した複数の映像から選択すべき映像を指示する。映像選択・切り替わりタイミング重畳部２２４は、映像入力部２２３に入力された複数の映像の中から、映像選択指示部２２２の指示に基づいて映像を選択し、一つの連続したストリーム映像を作成する。映像選択・切り替わりタイミング重畳部２２４は、この際、映像ソースが切り替わった直後の最初のフレームに、映像ソースが切り替わったことを示す識別子を画像透かしとして重畳させる（Ｓ２０６）。
【００９１】
映像配信部２２５は、映像選択・切り替わりタイミング重畳部２２４により作成されたストリーム映像を映像提示装置２３０に配信する（Ｓ２０７）。
【００９２】
映像提示装置２３０の映像受信部２３３は、配信サーバ２２０から配信された映像を受信する（Ｓ２０８）。
【００９３】
切り替わりタイミング抽出部２３４は、ストリーム映像中に画像透かしとして重畳されている映像ソースの切り替わりタイミングを示す識別子を抽出する（Ｓ２０９）。
【００９４】
映像切出し指示部２３５は、ステップＳ２０３にて表示範囲指定部２３１が特定した切出し範囲の情報と、ステップＳ２０９にて切り替わりタイミング抽出部２３４が抽出した映像ソースの切り替わりタイミングとから、適切なタイミングで映像切出し部２３６に切り出しの指示を行う。映像切出し部２３６は、映像切出し指示部２３５からの指示に基づいて、映像受信部２３３が受信した映像から、視聴者の要求に応じた映像を表示するために必要な映像を切り出した部分映像を切り出す（Ｓ２１０）。
【００９５】
映像表示部２３７は、映像切出し部２３６が切り出した部分映像を表示する（Ｓ２１１）。
【００９６】
（第２実施形態の変形例）
なお、第２実施形態においては、映像ソースの切り替わりのタイミングを示す識別子を、映像ソースが切り替わった直後に重畳させているが、第１実施形態と同様の映像ソースを示す識別子を、映像ソースが切り替わった直後にのみ重畳させるようにしてもよい。
【００９７】
また、第２実施形態においては、映像選択・切り替わりタイミング重畳部２２４が、映像ソースの切り替わりのタイミングを画像透かしとして重畳させる方法を説明したが、図９に示すように、ストリームデータの映像と同期された別フィールドとして識別子を付与してもよい。
【００９８】
図９に示す例では、映像提示装置２３０の表示範囲指定部２３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置２３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ２２０に指示し、配信サーバ２２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ２２０が選択映像を変更したことにより、映像提示装置２３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置２３０が受信する映像は、黒三角で示す時点より少し遅れてカメラ２の映像に切り替わる。一方、映像提示装置２３０が受信するカメラ１の映像及びカメラ２の映像には、映像が切り替わった最初のフレームのタイミングにおいて映像の切り替わりを示す識別子がストリーム中の別フィールドに重畳されている。映像切出し指示部２３５は、映像の切り替わりを示す識別子を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
【００９９】
また、第２実施形態においては、映像から映像ソースの切り替わりタイミングを読み出せない場合が発生しうる。このような場合に、いつまでも切り出し位置を変えられない状況が続かないよう、表示範囲指定部２３１から切り出し映像が変更になる通知を受けてから所定時間以上経過した場合に、映像切出し部２３６が、映像ソースの切り替わりタイミングを見落としたものとして、処理を進めるようにしてもよい。
【０１００】
（第３実施形態）
図１０は、本発明の第３実施形態に係る映像配信システムのブロック図である。本発明の第３実施形態に係る映像配信システムは、映像取得装置３１０、配信サーバ３２０及び映像提示装置３３０を備える。第２実施形態では、映像ソースの切り替わり直後に、切り替わりを示す識別子を映像中に重畳させていたが、第３実施形態では、映像中に区切り画像を１フレーム挿入し、映像ソース切り替わりのタイミングを通知する点が異なる。また、第３実施形態においては、映像の符号化及び復号を行う。なお、図１０においては、映像提示装置を１つ備える構成を示しているが、これは一例であり、映像提示装置は２つ以上であってもよい。
【０１０１】
映像取得装置３１０は、映像撮影部３１１（３１１ａ、３１１ｂ）及び映像符号化部３１２（３１２ａ、３１２ｂ）を備える。
【０１０２】
映像撮影部３１１は、映像を撮影し、撮影した映像を映像符号化部３１２に提供する。映像撮影部３１１は、映像撮影部３１１ａで撮影した映像と映像撮影部３１１ａに隣接して配置された映像撮影部３１１ｂで撮影した映像とが重なり合う重複領域を有し、当該重複領域の大きさが映像提示装置３３０で表示する部分映像の大きさよりも大きくなるように配置される。なお、図１０においては、映像撮影部３１１が映像撮影部３１１ａ及び３１１ｂの２つから構成される場合を示しているが、これは一例であり、映像撮影部３１１は３つ以上で構成されてもよい。映像撮影部３１１は、例えばカメラなどである。
【０１０３】
映像符号化部３１２は、映像撮影部３１１が撮影した映像を符号化し、符号化した映像を配信サーバ３２０に送信する。
【０１０４】
配信サーバ３２０は、表示指示受信部３２１、映像選択指示部３２２、映像入力部３２３（３２３ａ、３２３ｂ）、映像選択・区切り画像挿入部３２４及び映像配信部３２５を備える。
【０１０５】
表示指示受信部３２１は、映像提示装置３３０から、視聴者が視聴を要望する映像範囲を撮影している映像撮影部３１１の情報を受信する。
【０１０６】
映像選択指示部３２２は、表示指示受信部３２１が映像提示装置３３０から受信した映像撮影部３１１の情報に基づいて、映像選択・区切り画像挿入部３２４に、映像入力部３２３が受信した複数の映像から選択すべき映像を指示する。
【０１０７】
映像入力部３２３は、映像撮影部３１１が撮影し、映像符号化部３１２が符号化した映像を受信する。図１０は、映像入力部３２３が２つの映像入力部３２３ａ及び３２３ｂから構成され、映像撮影部３１１が２つの映像撮影部３１１ａ及び３１１ｂから構成される場合の例を示す。映像入力部３２３ａ及び３２３ｂは、それぞれ、映像撮影部３１１ａ及び３１１ｂが撮影し、映像符号化部３１２ａ及び３１２ｂが符号化した映像を受信する。
【０１０８】
映像選択・区切り画像挿入部３２４は、映像選択指示部３２２からの指示に基づいて、映像入力部３２３に入力された映像から必要な映像を選択すると共に、映像ソースが切り替わる際に、映像ソースが切り替わったことを示す区切り画像を１フレーム挿入し、一つの連続したストリーム映像を作成する。
【０１０９】
映像配信部３２５は、映像選択・区切り画像挿入部３２４により作成されたストリーム映像を映像提示装置３３０に配信する。
【０１１０】
映像提示装置３３０は、表示範囲指定部３３１、表示指示送信部３３２、映像受信部３３３、区切り画像抽出部３３４、映像切出し指示部３３５、映像復号部３３６、映像切出し部３３７及び映像表示部３３８を備える。
【０１１１】
表示範囲指定部３３１は、視聴者から、どの映像範囲の視聴を要望するかの要求を受け付ける。表示範囲指定部３３１は、例えば、キーボードやリモコン又はタッチパネルなどを介した入力などによって、視聴者の要望する表示範囲を受け付けることができる。また、例えば、表示範囲指定部３３１は、加速度センサや方位センサなどを備え、映像提示装置３３０を向けている方角に応じてこれらのセンサが随時取得するセンサ値によって、視聴者の要望する表示範囲を受け付けることができる。
【０１１２】
また、表示範囲指定部３３１は、視聴者が視聴を要望している映像範囲を撮影している映像撮影部３１１を特定し、特定された映像撮影部３１１が撮影する映像から切り出す切出し範囲を特定する。
【０１１３】
表示指示送信部３３２は、表示範囲指定部３３１が特定した映像撮影部３１１の情報を配信サーバ３２０に送信する。
【０１１４】
映像受信部３３３は、配信サーバ３２０から配信されたストリーム映像を受信する。
【０１１５】
区切り画像抽出部３３４は、映像受信部３３３が受信したストリーム映像から、映像ソース切り替わり時に挿入される区切り画像を抽出する。
【０１１６】
映像切出し指示部３３５は、表示範囲指定部３３１が特定した切出し範囲の情報と、区切り画像抽出部３３４が抽出した区切り画像から、映像ソースが切り替わるタイミング情報を得て、それと照らし合わせて、映像切出し部３３７に切り出しの指示を行う。映像切出し指示部３３５は、表示範囲指定部３３１から取得した切り出し元となる映像撮影部３１１の切り替わりタイミングと、区切り画像抽出部３３４が抽出した映像撮影部３１１の切り替わったタイミングとを一致させて、映像撮影部３１１の情報と関連付けられている切出し範囲の位置に変更するように指示する。
【０１１７】
映像復号部３３６は、映像受信部３３３が受信した符号化された映像を復号する。
【０１１８】
映像切出し部３３７は、映像切出し指示部３３５からの指示に基づいて、映像受信部３３３が受信し、映像復号部３３６が復号した映像から、視聴者の要求に応じた映像を表示するために必要な部分を切り出した部分映像を切り出す。
【０１１９】
映像表示部３３８は、映像切出し部３３７が切り出した部分映像を表示する。
【０１２０】
図１１は、本発明の第３実施形態に係る映像配信システムにおける映像の切出し指示の様子を示す図である。
【０１２１】
映像提示装置３３０の表示範囲指定部３３１において、カメラ１の範囲からカメラ２の範囲にまたがるスクロール操作が黒三角で示す時点において実行されると、映像提示装置３３０は、選択映像をカメラ１の映像からカメラ２の映像に変更することを配信サーバ３２０に指示し、配信サーバ３２０は、選択映像をカメラ１の映像からカメラ２の映像に変更する。配信サーバ３２０が選択映像を変更したことにより、映像提示装置３３０が受信する映像は、カメラ１の映像からカメラ２の映像に切り替わるが、映像伝送の遅延などにより、映像提示装置３３０が受信する映像は、黒三角で示す時点より少し遅れてカメラ２の映像に切り替わる。一方、映像提示装置３３０が受信するカメラ１の映像及びカメラ２の映像には、映像が切り替わった最初のフレームに全面黒の映像が挿入されている。映像切出し指示部３３５は、全面黒の映像を検出したタイミングで切り出し位置の変更を指示するため、映像の切り替わりタイミングに黒三角で示す時点からの遅れがあっても、映像の切り替わりタイミングと映像を切り出すタイミングとの間のずれは発生しない。
【０１２２】
図１１に示すように、区切り画像としては、例えば、全面が黒である画像を用いることができる。例えば、ライブ映像配信時の符号化方式として多く用いられているＭＰＥＧ−２方式の場合、フレーム内符号化画像と、フレーム間符号化画像の双方が用いられているが、全面黒のフレーム内符号化画像を１フレーム挿入した後、次の映像ソースの映像を、フレーム内符号化画像から配置する。全面が黒である画像は、符号化した際のデータ量が一番小さくなることが期待できるため、伝送時間に与える影響が少ない。また、区切り画像抽出部３３４で区切り画像を抽出する際には、符号化された状態のままでも、フレーム内符号化画像のデータサイズを見るだけで高速に抽出することが可能である。また、見た目としては、一瞬映像が黒くなるものの、心理的な影響は少ないと思われる。
【０１２３】
なお、全面が黒である画像を用いる場合を例に挙げて説明したが、これに限るものではなく、１枚の画像のみを見て、識別子となっている画像であることがすぐに判別できる画像であり、かつ、そのような画像が映像の途中に１枚挿入されていても、見た目での違和感が少ない画像であれば、どのような画像であってもよい。その画像の検出が符号化された映像情報のままでは検出が難しければ、復号した後の画像から検出を行うようにしてもよい。
【０１２４】
このように、本発明に係る映像配信システムによれば、映像取得装置が複数の映像撮影部を備えて広い領域を撮影していることにより、複数の視聴者が、同時に各々が希望する方向のライブ映像を視聴することができる。
【０１２５】
また、映像提示装置において、表示する映像ソースが切り替わったタイミングと、表示する映像中の切り出し位置を変更するタイミングとを合わせることができるため、視聴者に対し、連続した違和感のない映像を提供することができる。
【０１２６】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【符号の説明】
【０１２７】
１１０、１６０、２１０、３１０  映像取得装置
１１１、１６１、２１１、３１１  映像撮影部
１２０、１７０、２２０、３２０  配信サーバ
１２１、１７１、２２１、３２１  表示指示受信部
１２２、１７２、２２２、３２２  映像選択指示部
１２３、１７３、２２３、３２３  映像入力部
１２４、１７５  映像ソースＩＤ重畳部
１２５、１７７  映像選択部
１２６、１７８、２２５、３２５  映像配信部
１３０、１８０、２３０、３３０  映像提示装置
１３１、１８１、２３１、３３１  表示範囲指定部
１３２、１８２、２３２、３３２  表示指示送信部
１３３、１８５、２３３、３３３  映像受信部
１３４、１８４  映像ソースＩＤ抽出部
１３５、１８３、２３５、３３５  映像切出し指示部
１３６、１８７、２３６、３３７  映像切出し部
１３７、１８８、２３７、３３８  映像表示部
１６２、１７６、３１２  映像符号化部
１７４、１８６、３３６  映像復号部
２２４  映像選択・切り替わりタイミング重畳部
２３４  切り替わりタイミング抽出部
３２４  映像選択・区切り画像挿入部
３３４  区切り画像抽出部
【図１】
0005960096.tif 000002
【図２】
0005960096.tif 000003
【図３】
0005960096.tif 000004
【図４】
0005960096.tif 000005
【図５】
0005960096.tif 000006
【図６】
0005960096.tif 000007
【図７】
0005960096.tif 000008
【図８】
0005960096.tif 000009
【図９】
0005960096.tif 000010
【図１０】
0005960096.tif 000011
【図１１】
0005960096.tif 000012
【図１２】
0005960096.tif 000013
【図１３】
0005960096.tif 000014
【図１４】
0005960096.tif 000015
【図１５】
0005960096.tif 000016