(57)【要約】【課題】  動画のビデオ映像に加えて、静止画である写真情報を表示すること。【解決手段】  メインスクリーン、サブスクリーンを有する映像システムにおいて、動画のビデオ映像を撮影する手段、静止画の写真情報を撮影する手段、グランド内の撮影情報をメインスクリーンに表示する手段、カメラマンが撮影した静止画情報をサブスクリーンに表示する手段を有する。また、メインスクリーンに表示する情報は動画のビデオ映像であり、動画のビデオ映像のビューイングに同期して、サブスクリーンには、静止画である写真情報を表示する。【選択図】  図１
2020188328.tif 000002
【特許請求の範囲】
【請求項１】
メインスクリーン、サブスクリーンを有する映像システムにおいて、動画のビデオ映像を撮影する手段、静止画の写真情報を撮影する手段、グランド内の撮影情報をメインスクリーンに表示する手段、カメラマンが撮影した静止画情報をサブスクリーンに表示する手段を有することを特徴とする映像システム。
【請求項２】
メインスクリーンに表示する情報は動画のビデオ映像であり、動画のビデオ映像のビューイングに同期して、サブスクリーンには、静止画である写真情報を表示することを特徴とする請求項１に記載の映像システム。
【請求項３】
動画のビデオ情報を録画する手段、動画のビデオ信号をタイムスタンプの情報を含めて録画する手段、動画のビデオ情報を再生する手段、静止画をタイムスタンプの情報を含めて写真撮影する手段を有し、動画のビデオ映像を再生する時、ビデオ映像に同期して、静止画情報も表示することを特徴とする請求項１又は請求項２に記載の映像システム。
【請求項４】
動画のビデオ映像のビューイングに同期して、サブスクリーンには、静止画である写真情報を表示する時の同期は、再生している動画のタイムスタンプ情報に近いタイムスタンプ情報を持つ静止画を表示することを特徴とする請求項２又は請求項３に記載の映像システム。
【請求項５】
動画のビデオ映像のビューイングに同期して、サブスクリーンには、静止画である写真情報を表示する時の同期は、再生している動画のタイムスタンプ情報に近いタイムスタンプ情報を持つ静止画を表示し、静止画は、ある一定時間表示するので、動画と静止画は、完全に同期がとれているわけでなく、ほぼ同一の時刻であるということを特徴とする請求項２又は請求項３に記載の映像システム。
【請求項６】
動画のビデオ情報を録画する手段、動画のビデオ信号をタイムスタンプの情報を含めて録画する手段、動画のビデオ情報を再生する手段、静止画をタイムスタンプの情報を含めて写真撮影する手段を有し、動画のビデオ映像を録画する時、ビデオ映像を高圧縮で符号化し、静止画情報も高圧縮で符号化することを特徴とする請求項１乃至請求項５の何れか一項に記載の映像システム。
【請求項７】
動画のビデオ情報を録画する手段、動画のビデオ信号をタイムスタンプの情報を含めて録画する手段、動画のビデオ情報を再生する手段、静止画をタイムスタンプの情報を含めて写真撮影する手段を有し、動画のビデオ映像を録画する時は、スタジアム内でのリアルタイムでの表示する時のビデオ映像、静止画情報の圧縮率に比べて、ビデオ映像、静止画情報も高圧縮で符号化することを特徴とする請求項１乃至請求項５の何れか一項に記載の映像システム。
【請求項８】
動画のビデオ情報を録画する手段、動画のビデオ信号をタイムスタンプの情報を含めて録画する手段、動画のビデオ情報を再生する手段、静止画をタイムスタンプの情報を含めて写真撮影する手段、動画のビデオ映像を再生する時に静止画情報も同期して表示するかを選択する手段を有し、動画のビデオ映像を再生する時に静止画情報も同期して表示することが選択されている時には、動画のビデオ映像を再生する時、ビデオ映像に同期して、静止画情報も表示し、一方、動画のビデオ映像を再生する時に静止画情報も同期して表示することが選択されていない時には、動画のビデオ映像を再生する時、ビデオ映像に同期して、静止画情報も表示しないことを特徴とする請求項１乃至請求項７の何れか一項に記載の映像システム。
【請求項９】
スタジアム内のメインスクリーンに表示する情報は動画のビデオ映像であり、動画のビデオ映像のビューイングに同期して、スタジアム内のサブスクリーンには、静止画である写真情報を表示する時は、動画のビデオ信号、静止画である写真は、ともに、低遅延の圧縮におさえることを特徴とする請求項１乃至請求項８の何れか一項に記載の映像システム。
【請求項１０】
スタジアム外のメインスクリーンに表示する情報は動画のビデオ映像であり、動画のビデオ映像のビューイングに同期して、スタジアム外のサブスクリーンには、静止画である写真情報を表示する時は、動画のビデオ信号、静止画である写真は、ともに、高圧縮での圧縮をすることを特徴とする請求項１乃至請求項９の何れか一項に記載の映像システム。
【請求項１１】
スタジアム外のメインスクリーンに表示する情報は動画のビデオ映像の圧縮率、動画のビデオ映像のビューイングに同期して、スタジアム外のサブスクリーンには、静止画である写真情報を表示する時の静止画の圧縮率は、ともに、スタジアム内のメインスクリーン、サブスクリーンの圧縮率より、高圧縮とすることを特徴とする請求項１乃至請求項９の何れか一項に記載の映像システム。
【請求項１２】
スタジアム外のメインスクリーンに表示する情報は動画のビデオ映像であり、動画のビデオ映像のビューイングに同期して、スタジアム外のサブスクリーンには、静止画である写真情報を表示する時は、動画のビデオ信号、静止画である写真は、ともに、高圧縮での圧縮をし、一方、スタジアム外のメインスクリーンは、スタジアム外のサブスクリーンとの静止画である写真情報との符号化での遅延、通信における遅延に対応させて再生を行うことを特徴とする請求項１乃至請求項１１の何れか一項に記載の映像システム。
【請求項１３】
スタジアム外のメインスクリーンに表示する情報は動画のビデオ映像であり、動画のビデオ映像のビューイングに同期して、スタジアム外のサブスクリーンには、静止画である写真情報を表示する時は、動画のビデオ信号、静止画である写真は、ともに、スタジアム内での圧縮率より、高圧縮とし、一方、スタジアム外のメインスクリーンは、スタジアム外のサブスクリーンとの静止画である写真情報との符号化で、動画の符号化、復号化に要する時間との差を遅らせて通信することを行うことを特徴とする請求項１乃至請求項１１の何れか一項に記載の映像システム。
【請求項１４】
動画のビデオ映像のビューイングに同期して、サブスクリーンには、静止画である写真情報を表示する時の同期は、再生している動画のタイムスタンプ情報に近いタイムスタンプ情報を持つ静止画を表示することを特徴とする請求項２乃至請求項１３の何れか一項に記載の映像システム。
【請求項１５】
動画のビデオ映像のビューイングに同期して、サブスクリーンには、静止画である写真情報を表示する時の同期は、再生している動画のタイムスタンプ情報に近いタイムスタンプ情報を持つ静止画を表示し、静止画は、ある一定時間表示するので、動画と静止画は、完全に同期がとれているわけでなく、ほぼ同一の時刻であるということを特徴とする請求項２乃至請求項第１３の何れか一項に記載の映像システム。
【請求項１６】
サブスクリーンで表示する映像は、メインスクリーン以外の動画情報であることを特徴とする請求項１乃至請求項１５の何れか一項に記載の映像システム。
【請求項１７】
サブスクリーンで表示する映像は、試合、選手の管理情報であることを特徴とする請求項１乃至請求項１５の何れか一項に記載の映像システム。
【請求項１８】
サブスクリーンで表示する映像は、メインスクリーン以外の動画情報、あるいは、試合、選手の管理情報と切り替え可能であることを特徴とする請求項１乃至請求項１５の何れか一項に記載の映像システム。
【請求項１９】
サブスクリーンで表示する映像は、メインスクリーン以外の動画情報、あるいは、試合、選手の管理情報と切り替え可能である時に、どの情報かにより、遅延制御を変更することを特徴とする請求項１乃至請求項１５の何れか一項に記載の映像システム。
【請求項２０】
メインスクリーンに表示する映像は、複数台のカメラからの情報を切り替えることを特徴とする請求項１乃至請求項１９の何れか一項に記載の映像システム。
【請求項２１】
メインスクリーンに表示する映像は、複数台のカメラからの情報を切り替えて使用する時に、これらの複数台のカメラは、タイムスタンプ機能を有することを特徴とする請求項１乃至請求項２０の何れか一項に記載の映像システム。
【請求項２２】
メインスクリーンに表示する情報は動画のビデオ映像であり、動画のビデオ映像のビューイングに同期して、サブスクリーンには、静止画である写真情報を表示する時に、ビデオ映像の撮影の時のカメラの撮影条件の設定と写真情報の撮影の時のカメラの撮影条件の設定を変えることを特徴とする請求項１乃至請求項２１の何れか一項に記載の映像システム。
【請求項２３】
メインスクリーンに表示する情報は動画のビデオ映像であり、動画のビデオ映像のビューイングに同期して、サブスクリーンには、静止画である写真情報を表示する時に、写真情報の撮影の時には、ビデオ映像の撮影の時のカメラの撮影で実現できない写真を撮影することを特徴とする請求項１乃至請求項２２の何れか一項に記載の映像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を表示するシステムに関する。
【背景技術】
【０００２】
近年、スタジアムは、たくさんの観客が見ることができるように大型化になってきている。このため、試合会場は広いので、観客から見て、逆サイドで行われている試合の様子は小さくなり、試合を行っているグランド内のメインスクリーンには、その試合の中継画面を表示することが多い。具体的には、複数台のカメラからの映像をスクリーンに表示する。複数台のカメラの映像は、切り替えて、スクリーンに表示される。
【０００３】
特許文献１の映像表示システムは、ライブ映像を配信するストリーミングサーバと、ライブ映像を視聴するユーザが使用する。ライブ映像を表示するスクリーン及びライブ映像を視聴するユーザの識別標識であるアイコンを仮想空間内に移動可能に配置し、アイコンの仮想空間における位置からの仮想空間の景観を映像化して表示するユーザ端末とを備える。ここで、ライブ映像を表示するスクリーンが存在している。
【０００４】
特許文献２の映像配信方法は、複数のユーザにより異なる視点から撮影された複数の映像を端末装置に配信するサーバーによる映像配信方法であって、複数の映像の一つであり、端末装置から要求された第１映像を端末装置に配信する配信ステップと、複数の映像から、端末装置から次に要求される可能性が高い第２映像を選択する選択ステップと、第１映像を端末装置に配信している間に第２映像の端末装置への送信を開始する送信ステップとを含む。スクリーンに表示している映像の切り替えをスムーズに行なえる映像配信方法である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−３４０８７号公報
【特許文献２】特開２０１６−１０１４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１および特許文献２では、メインスクリーンしか備えておらず、カメラからの映像を中継画面としてスクリーンに表示するのみであった。
【０００７】
会場には、多くのプロカメラマンが、たくさんの静止画である写真撮影をしているので、観客に来た人がその写真を見ることができれば、観客にとっても試合観戦の楽しみが増えるであろう。
【０００８】
特に、ラグビーにおいては、トライシーンなどが、リプレイされることが多い。トライシーンのリプレイにおいて、せっかくプロカメラマンが撮影した写真を観客が見ることができないのは、とても、もったいない。この時にプロカメラマンの撮影した静止画である写真がスクリーンに表示されると迫力もあり、グランドにいながら写真館に来ているような錯覚すら与えることになるのであろう。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明に係る映像システムは、
スタジアムの中でメインスクリーン、サブスクリーンを有する映像システムにおいて、動画のビデオ映像を撮影する手段、静止画の写真情報を撮影する手段、グランド内の撮影情報をメインスクリーンに表示する手段、カメラマンが撮影した静止画情報をサブスクリーンに表示する手段を有する。
また、メインスクリーンに表示する情報は動画のビデオ映像であり、動画のビデオ映像のビューイングに同期して、サブスクリーンには、静止画である写真情報を表示する。
動画のビデオ情報を録画する手段、動画のビデオ信号をタイムスタンプの情報を含めて録画する手段、動画のビデオ情報を再生する手段、静止画をタイムスタンプの情報を含めて写真撮影する手段を有し、動画のビデオ映像を再生する時、ビデオ映像に同期して、静止画情報も表示する。
【発明の効果】
【００１０】
本発明に係る映像システムによれば、スタジアムの中で、ライブの画面でメインスクリーンに中継の画像を表示しながら、プロカメラマンの撮影した静止画である写真を表示することができて、観客の人たちは、迫力のある写真画像を見ることが可能になり、スポーツの醍醐味が増す。特に、リプレイは、ゴールのシーンとかが多く再生されるが、この再生時においても、静止画である写真を表示できて、迫力のシーンを堪能することができる。
【図面の簡単な説明】
【００１１】
【図１】映像撮影表示システムの構成を模式的に示す図
【図２】サーバー側の詳細ブロック図を示す図
【図３ａ】デバイス側の詳細ブロック図示す図
【図３ｂ】デバイス側の詳細ブロック図示す図
【図４】ファイルフォーマット示す図
【図５】ビデオ撮影カメラ制御フロー（カメラ側）示す図
【図６】写真撮影カメラ制御フロー（カメラ側）示す図
【図７】デジタルカメラの追跡部８７０の機能構成例を示すブロック図
【図８ａ】スクリーン表示制御フロー（サーバー側）示す図
【図８ｂ】スクリーン表示制御フロー（サーバー側）示す図
【図８ｃ】スクリーン表示制御フロー（サーバー側）示す図
【図８ｄ】スクリーン表示制御フロー（サーバー側）示す図
【図８ｅ】スクリーン表示制御フロー（サーバー側）示す図
【図９ａ】スクリーン表示制御フロー（サーバー側）示す図
【図９ｂ】スクリーン表示制御フロー（サーバー側）示す図
【図９ｃ】スクリーン表示制御フロー（サーバー側）示す図
【図９ｄ】スクリーン表示制御フロー（サーバー側）示す図
【図９ｅ】スクリーン表示制御フロー（サーバー側）示す図
【図１０ａ】遠隔スクリーン表示制御フロー（サーバー側）示す図
【図１０ｂ】遠隔スクリーン表示制御フロー（サーバー側）示す図
【図１１】スタジアム内のメインスクリーンとサブスクリーンを示す図
【図１２】スタジアム内のメインスクリーンとサブスクリーンを示す図
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１３】
映像撮影表示システムの構成を模式的に示す図の全体像について説明をする。具体的に、映像撮影表示システム図１の複数の全体像を説明する。
【００１４】
ここでは、スタジアムの中で、プロカメラマンは、複数台のカメラで、ビデオを撮影していくが、このビデオ映像をスイッチャーにより、切り替えて、メインスクリーンにライブであるビデオ映像を表示する。サブスクリーンには、写真、別の角度からのビデオ情報、試合情報、選手情報などを表示する。ここで、写真、別の角度からのビデオ情報は、メインスクリーンに表示している情報と同期をとって、表示をすることが多い。ここで、同期とは、再生している動画のタイムスタンプ情報に近いタイムスタンプ情報を持つ静止画を表示することとする。さらに、静止画は、ある一定時間（例えば１秒間）表示するので、動画と静止画は、完全に同期がとれているわけでなく、ほぼ同一の時刻であるということである。
【００１５】
また、補助として、複数台のカメラを有するサーバー側で、フィールドの全体の選手の状況を把握して、個々のフィールドを撮影する人に、カメラ撮影での価値のある情報を提供することである。この価値として、サーバー側で注目選手のフィールド内での位置情報をフィールドで撮影する人のデバイス側に提供することも可能である。
【００１６】
デバイス側には、カメラ単体、スマートフォン単体、カメラとスマートフォンの一体が考えられる。
【００１７】
＜映像撮影表示システム図＞
＜＜映像撮影表示システム図１＞＞
図１には、映像撮影表示システム図が図示されている。
【００１８】
図１において、１０１（Ｋカメラ１）、１０２（Ｋカメラ２）、１０３（Ｋカメラ３）、１２０（メインスクリーン）、１２１（サブスクリーン）、１１０（サーバー）、１１１（入力手段）、１１２（基地局）は、カメラマンが、メインスクリーンに表示するビデオ映像、あるいは、サブスクリーンに表示する写真を表示するための出す映像取得、音声取得他である。映像取得、音声取得に加えて、入力手段から映像以外の入力情報（試合情報、選手情報等）も取り込み、観客席のお客さんへのサービスを拡充できる。
【００１９】
１０５は有線ＬＡＮなどによる有線での接続であり、１０６は、入力手段１１１から出力された情報をサーバー１１０で入力するための接続である。
【００２０】
１０７は、基地局への信号を送受信するための接続である。１０８は、基地局の無線通信を実行するためのアンテナ部である。
【００２１】
すなわち、上記の１００番台のブロックは、カメラマン他が、映像を撮影し表示することをサポートするブロックである。
【００２２】
一方、図１において、４０１（端末１）、４０２（端末２）、４０３（端末３）は、カメラマン、あるいは、一般観客が撮影する映像取得である。ここで、４０４（アンテナ）４０５（アンテナ）、４０６（アンテナ）は、それぞれ、４０１（端末１）、４０２（端末２）、４０３（端末３）が無線通信するためのアンテナである。
【００２３】
映像撮影を実施するデバイスは、無線でのみ接続されている。
【００２４】
スタジアムの中で、端末１から端末３までの情報は、主に、静止画である写真情報であり、これらの写真情報は、サブスクリーンに表示されることが多い。ビデオ映像は、主に、後述する放送用カメラで撮影して、メインスクリーンに表示することが多い。端末からサーバー側に情報を送り、また、サーバー側から端末に情報を送る。ここで、端末で撮影した情報は、放送用カメラで撮影したビデオ映像と同期をとって表示をする必要がある。放送用カメラでは、映像は、有線で送信するので、安定した高速通信が可能であるので、端末側も、高速通信が必要で、ここでの無線通信は、５Ｇが、必要とされる。ここで、同期とは、再生している動画のタイムスタンプ情報に近いタイムスタンプ情報を持つ静止画を表示することとする。さらに、静止画は、ある一定時間（例えば１秒間）表示するので、動画と静止画は、完全に同期がとれているわけでなく、ほぼ同一の時刻であるということである。
【００２５】
１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）は、ビデオ映像を、取得するためのカメラである。
【００２６】
一方、上記の４００番台のブロックは、カメラマン、あるいは、一般観客が、実際に映像を撮影するブロックである。
【００２７】
４０１（端末１）、４０２（端末２）、４０３（端末３）は、スマートフォンでもカメラでも良い。
【００２８】
４０１（端末１）、４０２（端末２）、４０３（端末３）を「カメラ、スマートフォン」にしても良い。これは、図１の右下に説明図を示しているが、３０１、３０４、３２０により、構成される。図１において、３０１（スマートフォン１）、３０２（スマートフォン２）（非図示）、３０３（スマートフォン３）（非図示）は、スマートフォンであり、主に、サーバーとの通信制御を行う。また、これらのスマートフォンに、アプリケーションソフトウェアをインストールすることで、各種の映像取得サービスを実現する。
【００２９】
また、３０４（カメラ１）、３０５（カメラ２）（非図示）、３０６（カメラ３）（非図示）は、カメラであり、主に、カメラマン、あるいは、一般観客が撮影する映像取得である。ここで、３０４（カメラ１）は３０１（スマートフォン１）に接続され、３０５（カメラ２）（非図示）は３０２（スマートフォン２）（非図示）に接続され、３０６（カメラ３）（非図示）は３０３（スマートフォン３）（非図示）に接続される。これらの接続は、ＵＳＢにより接続されている。ここで、３２０（アンテナ）３２１（アンテナ）（非図示）、３２２（アンテナ）（非図示）は、それぞれ、３０１（スマートフォン１）、３０２（スマートフォン２）（非図示）、３０３（スマートフォン３）（非図示）が無線通信するためのアンテナである。
【００３０】
すなわち、上記の３００番台のブロックは、カメラマン、あるいは、一般観客が、実際に映像を撮影するブロック、サーバーとの通信制御を実行するブロックである。
【００３１】
端末が、スマートフォンの場合は、サーバーとの映像、制御信号のやりとりをすべて無線で実行する。
【００３２】
端末が、カメラの場合は、原則は、スマートフォンの同じである。カメラは、サーバーとの映像、制御信号のやりとりをすべて無線で実行する。カメラを使用すると、スマホより、高画質な情報を提供できる。
【００３３】
端末が、「カメラ、スマートフォン」の場合は、スマートフォンは、サーバーとの映像、制御信号のやりとりの環境は整備されている。カメラは、良い映像取得には、優れている。
【００３４】
２つのスマートフォンとカメラを有線で直接接続することにより、両デバイスの性能を活かした製品を簡単に提供することが可能になった。
【００３５】
図１では、端末とサーバーとの接続は、無線のみの接続である。端末からの通信を実行するための接続は、無線通信に加えて、有線通信を行うものでも良い。これにより、無線通信と有線通信を適切に使用した通信の実現が可能になった。例えば、無線通信環境が５Ｇであれば、無線で構成し、無線通信環境が、ＬＴＥであれば、データ量の多い情報は有線で送り、データ量の少ない制御信号は無線で送ることも可能になった。さらには、無線通信の回線の混み具合によって、適切に有線通信を実行することも可能になった。
【００３６】
次に、サーバー側のブロック図について説明する。
【００３７】
＜サーバー側のブロック図＞
図２は、サーバー側の詳細ブロック図である。
【００３８】
図２において、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）は、図１と同じで、ビデオ映像を、取得するためのカメラであり、２０５（有線ＬＡＮ）などによる有線での接続されている。
【００３９】
２０１は、イーサネット（登録商標）コントローラであって、２０１から２０５、２１１から２１４のブロックは、サーバーである。
【００４０】
２０２は、入力手段である。試合の情報、選手の情報などをサーバーが取り込むことを示している。本発明では、試合開始前のメタデータ入力部としての役割は、重要である。具体的には、試合開始前の情報を入力する。試合開始前の情報としては、第一には、２ケ月から３ケ月前の情報、例えば、試合カード、試合会場、試合時間などがある。第二には、４８時間前に発表される各チームのメンバー表などである。第三には、直前のメンバー変更などに対応した試合の直前情報である。
【００４１】
２０３（基地局）は、撮影を行うカメラマン、あるいは、写真を撮影する人が持っているデバイス（カメラ、スマートフォンなど）と無線で通信を実施して、サーバーから、映像を撮影することをサポートする。
【００４２】
サーバーのブロックは、上述したように７０４から７１３である。これらのブロックを順に説明する。
【００４３】
２０４は、スイッチャーであり、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）からのビデオを入力して、これらのビデオのどれかをスイッチしてメインスクリーンに表示するブロックである。また、４０１（端末１）、４０２（端末２）、４０３（端末３）からの静止画である写真を入力して、これらの写真のどれかをスイッチしてサブスクリーンに表示するブロックである。
【００４４】
２０５は、映像同期回路であり、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）からのビデオ信号に含まれているタイムスタンプ情報、および、４０１（端末１）、４０２（端末２）、４０３（端末３）からの写真信号に含まれているタイムスタンプ情報に基づいて、メインスクリーン、サブスクリーンの映像の同期をとって、表示をするものである。
【００４５】
２１１は、ＣＰＵ（Central Processing Unit）であり、後述するプログラムメモリ７１２上の制御プログラムに基づいて、以下に示す制御を実行する中央演算処理装置である。また、表示制御手段を兼ねており、後述する表示部２１４に表示する情報を制御する。
【００４６】
プログラムメモリ２１２は、制御を実行するためのプログラムが格納されている。
【００４７】
データメモリ２１３は、過去の試合情報、過去の選手情報、本日の試合に関する情報、観客動員数に関する、天候などの情報、注目選手の情報、選手の現在の状況などを格納するためのデータメモリである。
【００４８】
次に、デバイス側の詳細のブロック図について説明する。
【００４９】
＜デバイス側の詳細ブロック図＞
図３は、デバイス側（デジタルカメラ側）のブロック図である。
【００５０】
図３ａ、図３ｂは、２ページで、デバイス側（デジタルカメラ側）を表す。ここで、図３ａ、図３ｂにおいて、３１８ＣＰＵ（Central Processing Unit）、プログラムメモリ３１９、データメモリ３２０は、重複したブロックであるが、実際には、これらは、１つで同一のブロックである。
【００５１】
図３ａ、図３ｂにおいて、デジタルカメラは、動画および静止画の撮影、並びに、撮影情報の記録が可能である。
【００５２】
図３ａにおいて、３０１は、イーサネットコントローラである。３０２は、記憶手段であり、デジタルカメラで撮影した動画、静止画がフォーマット化されて格納される。３０３は、センサーであり、撮影したときの画像を光信号から電気信号に変換して、さらに、この情報をアナログ情報からデジタル情報に変換して出力するものである。３０４は、信号処理部であり、センサーで読み取ったデジタル情報に対して、デバイスの補正をして出力するものである。３０５は、センサー処理部であり、センサーから情報を読み出すためのライン管理情報、センサーがテータを出力するタイミング等を作成して、センサー８０３に入力する。
【００５３】
３０６は、操作部入力手段である。デジタルカメラで撮影するための条件を設定する、あるいは、撮影するための操作、フラッシュを使用するときの操作、電池を交換する操作などがあり、これらの情報は、信号線３７０に出力される。また、操作部において、注目選手をＡＦ（オートフォーカス）するか否かを選択することが設定できる。この注目選手をＡＦ（オートフォーカス）するかの情報は、３０６から３７０に出力される。さらに、操作部において、注目選手の自動追いかけをするか否かを選択することが設定できる。この注目選手の自動追いかけをするかの情報は、３０６から３７０に出力される。さらに、プロカメラマンの音声情報入力部としての役割がある。これは、カメラマンが、撮影の時に、音声でメッセージを残す場合の、カメラマンの音声を入力する。カメラマンは、撮影の時に、撮影の意図をメッセージとして、写真にメタデータで残すことが可能になった。この情報は、撮影時のメタデータになる。
【００５４】
３０７は、無線通信部であり、撮影を行うカメラマン、あるいは、写真を撮影する人が持っているデバイス（デジタルカメラ、スマートフォンなど）が無線でサーバー側と通信を実施するものである。３０８は、デジタルカメラで撮影している時の倍率を検出するブロックである。３０９は、操作部出力手段であり、デジタルカメラなどで撮影した情報を表示する表示部などがある。３１０は、カメラ内の画像センサーからのデータは、ＲＡＷデータを現像処理後、圧縮してＪＰＥＧ画像ファイルやＨＥＩＦ画像ファイルにする、あるいは、ＲＡＷデータのまま圧縮してＲＡＷ画像ファイルにする。ここのブロックは、圧縮するブロックである。また、ＲＡＷ画像ファイルをカメラ内で現像処理してＪＰＥＧ画像ファイルやＨＥＩＦ画像ファイルを生成する場合、圧縮されている情報を伸張してＲＡＷデータに戻す処理を実施する。ここのブロックは、合わせて、伸張するブロックを有する。
【００５５】
３１１は、映像同期回路である。カメラで撮影した情報に対して、撮影の日時、時刻をタイムスタンプとして映像にメタデータとして取り込んでいくことを実施する回路である。３１６は、デバイス（デジタルカメラ、スマートフォンなど）が、電源の状態を検出している。また、電源スイッチがオフの状態では、電源ボタンの押下のみを検出する。そして、電源ボタンの押下があると、デバイス（デジタルカメラ、スマートフォンなど）全体に電源を供給する。３１７は、画像処理部であり、センサーで読み取り信号処理した情報を入力して、画像処理を実施した情報を信号線３７０に、出力するブロックである。
【００５６】
３１８は、ＣＰＵ（Central Processing Unit）であり、後述するプログラムメモリ３１９上の制御プログラムに基づいて、以下に示す制御を実行する中央演算処理装置である。また、表示制御手段を兼ねており、後述する表示部３０９に表示する情報を制御する。
【００５７】
プログラムメモリ３１９は、制御を実行するためのプログラムが格納されている。
【００５８】
データメモリ３２０は、デジタルカメラの設定条件を格納したり、撮影した静止画、動画、さらには、静止画、動画の属性情報などを格納するためのデータメモリである。
【００５９】
図３ｂにおいて、８５０は、撮影レンズ（レンズユニット）である。撮影レンズ（レンズユニット）は、固定１群レンズ８５１、ズームレンズ８５２、絞り８５５、固定３群レンズ８５８、フォーカスレンズ８５９、ズームモーター８５３、絞りモーター８５６、およびフォーカスモータ８６０を有する。固定１群レンズ８５１、ズームレンズ８５２、絞り８５５、固定３群レンズ８５８、フォーカスレンズ８５９は撮影光学系を構成する。なお、便宜上レンズ８５１、８５２、８５８、８５９は、１枚のレンズとして図示しているが、それぞれ複数のレンズで構成されても良い。また、撮影レンズ８５０は、着脱可能な交換レンズとして構成されてもよい。
【００６０】
絞り制御部８５７は、絞り８５５を駆動する絞りモータ８５６の動作を制御し、絞り８５５の開口径を変更する。
【００６１】
ズーム制御部８５４は、ズームレンズ８５２を駆動するズームモータ８５３の動作を制御し、撮影レンズ１０１の焦点距離（画角）を変更する。
【００６２】
フォーカス制御部８６１は、センサー８０３から得られる１対の焦点検出用信号（Ａ像およびＢ像）の位相差に基づいて撮影レンズ８５０のデフォーカス量およびデフォーカス方向を算出する。そしてフォーカス制御部８６１は、デフォーカス量およびデフォーカス方向をフォーカスモータ８６０の駆動量および駆動方向に変換する。この駆動量および駆動方向に基づいてフォーカス制御部８６１はフォーカスモータ８６０の動作を制御し、フォーカスレンズ８５９を駆動することにより、撮影レンズ８５０の焦点を制御する。このように、フォーカス制御部８６１は位相差検出方式の自動焦点（ＡＦ）を実施する。なお、フォーカス制御部８６１は、センサー８０３から得られる画像信号が得られるコントラスト評価値に基づくコントラスト検出方式のＡＦを実行しても良い。
【００６３】
８７０は、デジタルカメラ自身での選手の追跡部である。
【００６４】
写真は、撮影されると画像処理をした後に例えば、ＪＰＥＧで圧縮した画像ファイルになる。写真を撮影した日時、撮影した位置情報（緯度、経度、高度、方向）、撮影した情報（絞り値、露出時間、ＩＳＯ感度、シャッタースピード、測光方式、レンズ焦点距離、フラッシュの有無、露出補正値、手ブレ補正、色空間等）、撮影したカメラ情報（カメラの機種名、レンズ名）などの情報は、メタデータとして写真に対応して格納される。このメタデータを格納するフォーマットの規格として、Ｅｘｉｆ（Exchangeable Image File Format）がある。これから詳述するメタデータは、このＥｘｉｆの中の未定義であるデータの中に格納される。ＤＣＦ（Design rule for Camera File system）は、デジタルカメラやパソコンなどで相互利用を実現するためのファイル規格を定義したものである。Ｅｘｉｆは、デジタルカメラで使われる画像のファイルフォーマットである。
【００６５】
図４には、ＤＣＦサムネイルファイル、ＤＣＦ基本ファイルが図示されている。ＤＣＦサムネイルファイルには、ＳＯＩ、Ｅｘｉｆ情報、サムネイルファイル、ＥＯＩから構成される。一方、ＤＣＦ基本ファイルは、ＳＯＩ、Ｅｘｉｆ情報、サムネイル、ＤＣＦ基本主画像、ＥＯＩから構成される。
【００６６】
ここで、ＳＯＩは、Ｓｔａｒｔ  ｏｆ  ＩｍａｇｅでＪＰＥＧデータの先頭、ＥＯＩは、Ｅｎｄ  ｏｆ  Ｉｍａｇｅで、ＪＰＥＧデータの終端を表している。また、Ａｐｐ１は、Ａｐｐｌｉｃａｔｉｏｎ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔ  １で、Ｅｘｉｆ情報を記憶する。
【００６７】
本発明では、Ｅｘｉｆ情報として、新たに定義する情報として、日付け、対戦カード、試合会場、試合時間、撮影時間、試合での時間などである。さらに、選手を撮影した時には、選手名を格納する。さらに、タイムスタンプ情報も格納する。
【００６８】
次に、メインスクリーンに表示するビデオ撮影カメラ制御フロー（カメラ側）について説明する。
【００６９】
図５は、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）で、スタジアムの中で、メインスクリーンに表示するビデオ映像の撮影の制御フロー（カメラ側）が図示されている。
【００７０】
図５において、Ｓ１０１は、初期化を表している。
【００７１】
Ｓ１０２では、ビデオ撮影が選択されたか否かが判断され、ビデオ撮影が選択されるとＳ１０３に進み、ビデオ撮影が選択されていないとＳ１０１に進む。
【００７２】
Ｓ１０３は、カメラの設定情報を入手することを表している。
【００７３】
Ｓ１０４では、メインスクリーンに表示する実際のビデオ撮影が選択されたか否かが判断され、メインスクリーンに表示する実際のビデオ撮影が選択されているとＳ１０５に進み、メインスクリーンに表示する実際のビデオ撮影が選択されていないとＳ１１０に進みその他の処理をする。
【００７４】
Ｓ１０５は、撮影している実際のビデオ映像にタイムスタンプを付加することを表している。
【００７５】
Ｓ１０６は、撮影したビデオ情報をサーバーへ送ることを表している。
【００７６】
Ｓ１０７では、ビデオ撮影か終了したか否かが判断され、ビデオ撮影か終了すると、Ｓ１０１に進み、ビデオ撮影が終了していないとＳ１０５に進む。
【００７７】
図６は、４０１（端末１）、４０２（端末２）、４０３（端末３）で、サブスクリーンに表示する写真映像の撮影の制御フロー（カメラ側）が図示されている。
【００７８】
図６において、Ｓ１０１は、初期化を表している。
【００７９】
Ｓ１０２では、写真撮影が選択されたか否かが判断され、写真撮影が選択されるとＳ１０３に進み、写真撮影が選択されていないとＳ１０１に進む。
【００８０】
Ｓ１０３は、カメラの設定情報を入手することを表している。
【００８１】
Ｓ１０４では、サブスクリーンに表示する実際の写真撮影が選択されたか否かが判断され、サブスクリーンに表示する実際のビデオ撮影が選択されているとＳ１０５に進み、サブスクリーンに表示する実際の写真撮影が選択されていないとＳ１１０に進みその他の処理をする。
【００８２】
Ｓ１０５は、撮影している実際の写真情報にタイムスタンプを付加することを表している。
【００８３】
Ｓ１０６は、撮影した写真情報をサーバーへ送ることを表している。
【００８４】
Ｓ１０７では、写真撮影か終了したか否かが判断され、写真撮影か終了すると、Ｓ１０１に進み、写真撮影が終了していないとＳ１０５に進む。
【００８５】
次に、デジタルカメラの追跡部について説明する。
【００８６】
図７は、デバイスの追跡部のブロックである。
【００８７】
＜デジタルカメラの追跡部＞
図７は、デジタルカメラの追跡部８７０の機能構成例を示すブロック図である。
【００８８】
追跡部８７０は、照合部８７１と特徴抽出部８７２と距離マップ生成部８７３からなる。追跡部８７０は、指定された位置から追跡を行う画像領域（被写体領域）を特定し、被写体領域から特徴量を抽出する。そして、供給される個々の撮像画像内で、抽出した特徴量を用いて、前フレームの被写体領域と類似度の高い領域を被写体領域として探索する。また、追跡部８７０は、１対の視差画像から距離情報を取得し、被写体領域の特定に利用する。
【００８９】
照合部８７１は、特徴抽出部８７２から供給される画像内の被写体領域を探索する。画像の特徴量に基づいて領域を探索する方法に特に制限はないが、照合部８７１はテンプレートマッチングおよびヒストグラムマッチングの少なくとも一方を用いる。
【００９０】
次に、メインスクリーンにライブであるビデオを表示して、サブスクリーンに同期したタイミングで、サブスクリーンに写真表示が選択されている時のスクリーン表示制御フロー（サーバー側）について説明する。
【００９１】
＜実施例１：サブスクリーンは写真表示＞
図８ａ、図８ｂは、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）で、スタジアムの中で、メインスクリーンに表示するビデオ映像の撮影を行い、同時に、４０１（端末１）、４０２（端末２）、４０３（端末３）で、サブスクリーンに表示する写真映像の撮影の制御フロー（サーバー側）が図示されている。
【００９２】
図８ａ、図８ｂにおいて、Ｓ２０１は、初期化を表している。
【００９３】
Ｓ２０２では、ビデオ撮影が選択されたか否かが判断され、ビデオ撮影が選択されるとＳ２０３に進み、ビデオ撮影が選択されていないとＳ２１１に進む。
【００９４】
Ｓ２０３は、カメラの設定情報を入手することを表している。
【００９５】
Ｓ２０４では、写真撮影が選択されたか否かが判断され、写真撮影が選択されるとＳ２０５に進み、写真撮影が選択されていないとＳ２０５に進む。
【００９６】
Ｓ２０５は、メインスクリーンにビデオを表示することを表している。合わせて、動画情報を圧縮して録画する。ここでの圧縮率は、リアルタイムでメインスクリーンに表示しているビデオ映像より高圧縮で符号化する。この録画は、リプレイ他に対応するものである。
【００９７】
Ｓ２０６は、サブスクリーンに写真を表示することを表している。合わせて、静止画情報を圧縮して録画する。ここでの圧縮率は、リアルタイムでメインスクリーンに表示している写真情報より高圧縮で符号化する。この録画は、リプレイ他に対応するものである。
【００９８】
Ｓ２０７は、サブスクリーンに写真を表示することを表している。ここで、サブスクリーンの写真は、メインスクリーンに表示するビデオ映像に同期している。
【００９９】
Ｓ２０８では、ビデオの表示か終了したか否かが判断され、ビデオの表示か終了すると、Ｓ２０８−２に進み、ビデオの表示が終了していないとＳ２０６に進む。
【０１００】
Ｓ２０８−２は、メインスクリーンにビデオの表示をやめることを表している。
【０１０１】
Ｓ２０８−３は、サブスクリーンに写真の表示をやめることを表している。
【０１０２】
Ｓ２１１は、その他の処理を表している。
【０１０３】
図８ｂについて、説明する。
【０１０４】
Ｓ２１２は、メインスクリーンにビデオを表示することを表している。
【０１０５】
Ｓ２１３は、サブスクリーンに写真を表示しないことを表している。
【０１０６】
Ｓ２１４では、ビデオの表示か終了したか否かが判断され、ビデオの表示か終了すると、Ｓ２１５に進み、ビデオの表示が終了していないとＳ２１２に進む。
【０１０７】
Ｓ２１５は、メインスクリーンにビデオの表示をやめることを表している。
【０１０８】
図１１は、スタジアム内のメインスクリーンとサブスクリーンを示す図である。ここで、Ｓ５０１はメインスクリーでの動画情報を表示している。一方、Ｓ５０２は、静止画であり、プロカメラマンが撮影した写真である。Ｓ５０３は、観客を表している。観客は、動画とそのタイミングでプロカメラマンが撮影した写真を見て、臨場感が増したり、静止画である写真の良さを再認識できたりする。
【０１０９】
図１２は、メインスクリーンとサブスクリーンを含んだスタジアムを示す図である。ここで、Ｓ５０４はメインスクリーでの動画情報を表示している。一方、Ｓ５０５は、サブスクリーンで、表示は静止画であり、プロカメラマンが撮影した写真である。Ｓ５０６、Ｓ５０７、Ｓ５０８は、スタジアムを表している。Ｓ５０６の楕円線とＳ５０７の楕円線の間のエリアは、観客席である。ここに、多くの観客来て、試合を観戦する。観客は、動画とそのタイミングでプロカメラマンが撮影した写真を見て、臨場感が増したり、静止画である写真の良さを再認識できたりする。
【０１１０】
また、Ｓ５０７より内側はフィールドを表し、Ｓ５０８は、ラグビーグランドを表している。
【０１１１】
Ｓ５０４のメインスクリーンとＳ５０５サブスクリーンは、多くの陸上用のスタジアムと同等に、陸上のトラックの第３コーナーから第４コーナーの観客席の上側にある。
【０１１２】
＜実施例２：サブスクリーンは試合情報表示＞
図８ａ、図８ｃは、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）で、スタジアムの中で、メインスクリーンに表示するビデオ映像の撮影を行い、サブスクリーンには試合情報を表示する制御フロー（サーバー側）が図示されている。
【０１１３】
図８ｃについて、説明する。図８ａのＳ２０４で、Ｎｏの判断の時に、Ｓ２１６に進む。
【０１１４】
Ｓ２１６においては、試合情報の表示が選択されたか否かが判断され、試合情報の表示が選択されているとＳ２１７に進み、試合情報の表示が選択されていないとＳ２０１（図８ａ）に進む。試合情報の表示の選択は、入力手段２０２からの情報を入力して判断する。また、ここで表示する試合情報としては、今までの得点情報の経緯、現在の試合の状況などを表示するものとする。
【０１１５】
Ｓ２１７は、メインスクリーンにビデオを表示することを表している。
【０１１６】
Ｓ２１８は、サブスクリーンに試合情報を表示することを表している。ここで、メインスクリーンとサブスクリーンの時間軸での同期はとらない。
【０１１７】
Ｓ２１９では、ビデオの表示か終了したか否かが判断され、ビデオの表示か終了すると、Ｓ２２０に進み、ビデオの表示が終了していないとＳ２１７に進む。
【０１１８】
Ｓ２２０は、メインスクリーンにビデオの表示をやめることを表している。
【０１１９】
スタジアムの中で、サブスクリーンに、映像情報を表示する時には、メインスクリーンのビデオ映像とタイムスタンプを利用した同期をとることにより、観客に、試合の様子をビデオと写真で迫力がある映像提供が可能になった。
【０１２０】
一方、試合情報は、メインスクリーンのビデオ映像と厳密な同期をとる必要がない。これを実現することが可能になった。
【０１２１】
上記のように、サブスクリーンに表示する内容によって、メインスクリーンとの同期の取り方を変えることは、とても有効である。
【０１２２】
＜実施例３：サブスクリーンは選手情報表示＞
図８ａ、図８ｄは、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）で、メインスクリーンに表示するビデオ映像の撮影を行い、サブスクリーンには選手情報を表示する制御フロー（サーバー側）が図示されている。
【０１２３】
図８ｄについて、説明する。図８ａのＳ２０４で、Ｎｏの判断の時に、Ｓ２２１に進む。
【０１２４】
Ｓ２２１においては、選手情報の表示が選択されたか否かが判断され、選手情報の表示が選択されているとＳ２２２に進み、選手情報の表示が選択されていないとＳ２０１（図８ａ）に進む。選手情報の表示の選択は、入力手段２０２からの情報を入力して判断する。また、ここで表示する選手情報としては、選手が交代した時の情報、あるいは、選手がトライをあげた時の情報などを表示するものとする。
【０１２５】
Ｓ２２２は、メインスクリーンにビデオを表示することを表している。
【０１２６】
Ｓ２２３は、サブスクリーンに試合情報を表示することを表している。ここで、メインスクリーンとサブスクリーンの時間軸での同期はとらない。
【０１２７】
Ｓ２２４では、ビデオの表示か終了したか否かが判断され、ビデオの表示か終了すると、Ｓ２２５に進み、ビデオの表示が終了していないとＳ２２２に進む。
【０１２８】
Ｓ２２５は、メインスクリーンにビデオの表示をやめることを表している。
【０１２９】
サブスクリーンに、映像情報を表示する時には、メインスクリーンのビデオ映像とタイムスタンプを利用した同期をとることにより、観客に、試合の様子をビデオと写真で迫力がある映像提供が可能になった。
【０１３０】
一方、選手情報は、メインスクリーンのビデオ映像と厳密な同期をとる必要がない。これを実現することが可能になった。
【０１３１】
上記のように、サブスクリーンに表示する内容によって、メインスクリーンとの同期の取り方を変えることは、とても有効である。これは、前述したサブスクリーンへの試合情報の表示と同じである。
【０１３２】
＜実施例４：サブスクリーンはメインスクリーンとは別のビデオ情報表示＞
図８ａ、図８ｅは、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）で、スタジアムの中で、メインスクリーンに表示するビデオ映像の撮影を行い、サブスクリーンにはメインスクリーンとは別のビデオを表示する制御フロー（サーバー側）が図示されている。
【０１３３】
図８ｅについて、説明する。図８ａのＳ２０４で、Ｎｏの判断の時に、Ｓ２２６に進む。
【０１３４】
Ｓ２２６においては、サブスクリーンにはメインスクリーンとは別のビデオの表示が選択されたか否かが判断され、サブスクリーンにはメインスクリーンとは別のビデオの表示が選択されているとＳ２２２に進み、サブスクリーンにはメインスクリーンとは別のビデオの表示が選択されていないとＳ２０１（図８ａ）に進む。サブスクリーンにはメインスクリーンとは別のビデオの表示の選択は、入力手段２０２からの情報を入力して判断する。また、ここで表示するサブスクリーンにはメインスクリーンとは別のビデオの表示は、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）のうちで、メインスクリーンに表示しているビデオ映像以外の放送用カメラを選択している。
【０１３５】
Ｓ２２７は、メインスクリーンにビデオを表示することを表している。
【０１３６】
Ｓ２２８は、サブスクリーンにはメインスクリーンとは別のビデオを表示することを表している。ここで、メインスクリーンとサブスクリーンの時間軸は、タイムスタンプにより、同期をとる。
【０１３７】
Ｓ２２９では、ビデオの表示か終了したか否かが判断され、ビデオの表示か終了すると、Ｓ２３０に進み、ビデオの表示が終了していないとＳ２２７に進む。
【０１３８】
Ｓ２３０は、メインスクリーンにビデオの表示をやめることを表している。
【０１３９】
サブスクリーンに、メインスクリーンとは別のビデオを表示する時には、メインスクリーンのビデオ映像とタイムスタンプを利用した同期をとることにより、観客に、試合の様子を複数のビデオ映像で迫力がある映像提供が可能になった。
【０１４０】
サブスクリーンに写真を表示する時にも、メインスクリーンのビデオ映像とタイムスタンプを利用した同期をとることにより、観客に、試合の様子をビデオと写真で迫力がある映像提供が可能になった。
【０１４１】
一方、サブスクリーンに、試合情報、選手情報は、メインスクリーンのビデオ映像と厳密な同期をとる必要がない。これを実現することが可能になった。
【０１４２】
上記のように、サブスクリーンに表示する内容によって、メインスクリーンとの同期の取り方を変えることは、とても有効である。
【０１４３】
実施例１から実施例４では、映像はライブであるので、この時には、映像の符号化をすることがあった場合は、できるだけ、低遅延の符号化を考える。例えば、動画の圧縮において、複数プレーンでの圧縮をしないなどで対応する。
【０１４４】
以上では、スタジアム内でのライブを考えた。しかしながら、スタジアム外でのライブもありうる。この場合は、距離が近い場合を除いては、映像情報の通信容量の制限もあり、圧縮率の高い符号化を考える。
【０１４５】
次に、リプレイが選択されて、メインスクリーンにリプレイであるビデオを表示して、サブスクリーンにリプレイでメインスクリーンに表示しているビデオ映像に同期したタイミングで、サブスクリーンにリプレイである写真表示が選択されている時のスクリーン表示制御フロー（サーバー側）について説明する。
【０１４６】
＜実施例５：リプレイ（サブスクリーンは写真表示）＞
図９ａ、図９ｂは、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）で撮影したビデオ映像を、スタジアムの中で、メインスクリーンにリプレイとして表示し、同時に、４０１（端末１）、４０２（端末２）、４０３（端末３）で撮影したビデオ映像を、サブスクリーンにリプライとして表示する制御フロー（サーバー側）が図示されている。
【０１４７】
図９ａ、図９ｂにおいて、Ｓ３０１は、初期化を表している。
【０１４８】
Ｓ３０２では、ビデオのリプレイ表示が選択されたか否かが判断され、ビデオのリプレイ表示が選択されるとＳ３０３に進み、ビデオのリプレイ表示が選択されていないとＳ３１０に進む。
【０１４９】
Ｓ３０３は、カメラの設定情報を入手することを表している。
【０１５０】
Ｓ３０４では、リプレイ時写真の表示が選択されたか否かが判断され、リプレイ時写真の表示が選択されるとＳ３０５に進み、リプレイ時写真の表示が選択されていないとＳ３１１に進む。
【０１５１】
Ｓ３０５は、メインスクリーンにリプレイのビデオを表示することを表している。
【０１５２】
Ｓ３０６は、サブスクリーンにリプレイの写真を表示することを表している。ここで、サブスクリーンに表示するリプレイの写真は、メインスクリーンに表示するリプレイのビデオ映像に同期している。
【０１５３】
Ｓ３０７では、リプレイのビデオの表示か終了したか否かが判断され、リプレイのビデオの表示か終了すると、Ｓ３０８に進み、リプレイのビデオの表示が終了していないとＳ３０５に進む。
【０１５４】
Ｓ３０８は、メインスクリーンにリプレイのビデオの表示をやめることを表している。
【０１５５】
Ｓ３０９は、サブスクリーンにリプレイの写真の表示をやめることを表している。
【０１５６】
図９ｂについて、説明する。
【０１５７】
Ｓ３１１は、メインスクリーンにリプレイのビデオを表示することを表している。
【０１５８】
Ｓ３１２は、サブスクリーンに写真を表示しないことを表している。
【０１５９】
Ｓ３１３では、リプレイのビデオの表示か終了したか否かが判断され、リプレイのビデオの表示か終了すると、Ｓ３１４に進み、リプレイのビデオの表示が終了していないとＳ３１１に進む。
【０１６０】
Ｓ３１４は、メインスクリーンにリプレイのビデオの表示をやめることを表している。
【０１６１】
＜実施例６：リプレイ（サブスクリーンは試合情報表示）＞
図９ａ、図９ｃは、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）で撮影したビデオ映像を、スタジアムの中で、メインスクリーンにリプレイとして表示し、同時に、サブスクリーンには試合情報を表示する制御フロー（サーバー側）が図示されている。
【０１６２】
図９ｃについて、説明する。図９ａのＳ３０４で、Ｎｏの判断の時に、Ｓ３１５に進む。
【０１６３】
Ｓ３１５においては、リプレイ時、試合情報の表示が選択されたか否かが判断され、リプレイ時、試合情報の表示が選択されているとＳ３１６に進み、リプレイ時、試合情報の表示が選択されていないとＳ３０１（図９ａ）に進む。試合情報の表示の選択は、入力手段２０２からの情報を入力して判断する。また、ここで表示する試合情報としては、メインスクリーンに表示するタイミングでの今までの得点情報の経緯、現在の試合の状況などを表示するものとする。
【０１６４】
Ｓ３１６は、メインスクリーンにリプレイのビデオを表示することを表している。
【０１６５】
Ｓ３１７は、サブスクリーンにリプレイの試合情報を表示することを表している。ここで、メインスクリーンとサブスクリーンの厳密な時間軸での同期はとらない。ラフなタイミング調整でよい。
【０１６６】
Ｓ３１８では、リプレイのビデオの表示か終了したか否かが判断され、リプレイのビデオの表示か終了すると、Ｓ３１９に進み、リプレイのビデオの表示が終了していないとＳ３１６に進む。
【０１６７】
Ｓ３１９は、メインスクリーンにリプレイのビデオの表示をやめることを表している。
【０１６８】
サブスクリーンに、リプレイ時において、映像情報を表示する時には、メインスクリーンのリプレイ時のビデオ映像とタイムスタンプを利用した同期をとることにより、観客に、試合の様子をビデオと写真で迫力がある映像提供が可能になった。
【０１６９】
一方、リプレイ時において、サブスクリーンに表示する試合情報は、メインスクリーンのビデオ映像と厳密な同期をとる必要がない。これを実現することが可能になった。
【０１７０】
上記のように、リプレイ時、サブスクリーンに表示する内容によって、メインスクリーンとの同期の取り方を変えることは、とても有効である。
【０１７１】
＜実施例７：リプレイ（サブスクリーンは選手情報表示）＞
図９ａ、図９ｄは、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）で撮影したビデオ映像を、スタジアムの中で、メインスクリーンにリプレイとして表示し、同時に、サブスクリーンには選手情報を表示する制御フロー（サーバー側）が図示されている。
【０１７２】
図９ｄについて、説明する。
【０１７３】
図９ａのＳ３０４で、Ｎｏの判断の時に、Ｓ３２０に進む。
【０１７４】
Ｓ３２０においては、リプレイ時、選手情報の表示が選択されたか否かが判断され、リプレイ時、選手情報の表示が選択されているとＳ３２１に進み、リプレイ時、選手情報の表示が選択されていないとＳ３０１（図９ａ）に進む。リプレイ時、選手情報の表示の選択は、入力手段２０２からの情報を入力して判断する。また、ここで、リプライ時に表示する選手情報としては、選手が交代した時の情報、あるいは、選手がトライをあげた時の情報などを表示するものとする。ここで、スタジアムの中で、メインスクリーンとサブスクリーンの厳密な時間軸での同期はとらない。ラフなタイミング調整でよい。
【０１７５】
Ｓ３２１は、メインスクリーンにリプレイのビデオを表示することを表している。
【０１７６】
Ｓ３２２は、サブスクリーンにリプレイの時の選手情報を表示することを表している。ここで、メインスクリーンとサブスクリーンの時間軸での同期はとらない。
【０１７７】
Ｓ３２３では、リプレイのビデオの表示か終了したか否かが判断され、リプレイのビデオの表示か終了すると、Ｓ３２４に進み、リプレイのビデオの表示が終了していないとＳ３２１に進む。
【０１７８】
Ｓ２２５は、メインスクリーンにリプレイのビデオの表示をやめることを表している。
【０１７９】
サブスクリーンに、リプレイの映像情報を表示する時には、メインスクリーンのビデオ映像とタイムスタンプを利用した同期をとることにより、観客に、試合の様子をビデオと写真で迫力がある映像提供が可能になった。
【０１８０】
一方、リプレイの選手情報は、メインスクリーンのビデオ映像と厳密な同期をとる必要がない。これを実現することが可能になった。
【０１８１】
上記のように、サブスクリーンに表示する内容によって、メインスクリーンとの同期の取り方を変えることは、とても有効である。これは、前述したサブスクリーンへの試合情報の表示と同じである。
【０１８２】
＜実施例８：リプレイ（サブスクリーンはメインスクリーンとは別のビデオ情報表示）＞
図９ａ、図９ｅは、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）で、ビデオ映像の撮影を行ったリプレイをスタジアムの中で、メインスクリーンに表示する時、サブスクリーンにはメインスクリーンとは別のリプライのビデオを表示する制御フロー（サーバー側）が図示されている。
【０１８３】
図９ｅについて、説明する。
【０１８４】
図９ａのＳ３０４で、Ｎｏの判断の時に、Ｓ３２５に進む。
【０１８５】
Ｓ３２５においては、リプレイ時、サブスクリーンにはメインスクリーンとは別のリプレイのビデオの表示が選択されたか否かが判断され、サブスクリーンにはメインスクリーンとは別のリプレイのビデオの表示が選択されているとＳ３２６に進み、サブスクリーンにはメインスクリーンとは別のリプレイのビデオの表示が選択されていないとＳ３０１（図９ａ）に進む。サブスクリーンにはメインスクリーンとは別のリプレイのビデオの表示の選択は、入力手段２０２からの情報を入力して判断する。また、ここで表示するサブスクリーンにはメインスクリーンとは別のリプレイのビデオの表示は、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）のうちで、メインスクリーンに表示しているリプレイのビデオ映像以外の放送用カメラを選択している。
【０１８６】
Ｓ３２６は、メインスクリーンにリプレイのビデオを表示することを表している。
【０１８７】
Ｓ３２７は、サブスクリーンにはメインスクリーンとは別のリプレイのビデオを表示することを表している。ここで、メインスクリーンとサブスクリーンの時間軸は、タイムスタンプにより、同期をとる。
【０１８８】
Ｓ３２８では、リプレイのビデオの表示か終了したか否かが判断され、リプレイのビデオの表示か終了すると、Ｓ３２９に進み、リプレイのビデオの表示が終了していないとＳ３２６に進む。
【０１８９】
Ｓ３２９は、メインスクリーンにリプレイのビデオの表示をやめることを表している。
【０１９０】
サブスクリーンに、メインスクリーンとは別のリプレイのビデオを表示する時には、メインスクリーンのビデオ映像とタイムスタンプを利用した同期をとることにより、観客に、試合の様子を複数のビデオ映像で迫力がある映像提供が可能になった。
【０１９１】
スタジアムの中で、サブスクリーンにリプレイの写真を表示する時にも、メインスクリーンのリプレイのビデオ映像とタイムスタンプを利用した同期をとることにより、観客に、試合の様子をビデオと写真で迫力がある映像提供が可能になった。
【０１９２】
一方、サブスクリーンに、試合情報、選手情報は、スタジアムの中で、メインスクリーンのリプレイのビデオ映像と厳密な同期をとる必要がない。これを実現することが可能になった。
【０１９３】
上記のように、サブスクリーンに表示する内容によって、メインスクリーンとの同期の取り方を変えることは、とても有効である。
【０１９４】
実施例５ら実施例８は、映像は、一度蓄積した映像のリプレイである。ここでは、映像情報の記憶容量の制限もあり、圧縮率の高い符号化を考える。
【０１９５】
＜実施例９：（実施例１：サブスクリーンは写真表示）において、スタジアム外でのライブビューイング対応＞
実施例１は、図８ａ、図８ｂに図示されている。ここでは、撮影した動画情報、写真情報などは、スタジアム内のメインスクリーン、サブスクリーンへの表示を考えている。これらの動画、写真を、遠くに配信することを考える。ここでは、データ量の圧縮が必須となり圧縮、伸張による遅延を動画と写真でタイミングを合わせることが必要となる。
【０１９６】
これらの動画、写真を受け取った側では、動画、写真情報の伸張を行った後に、タイムスタンプで時刻を調整し、遠くの会場のメインスクリーン、サブスクリーンへの表示を実施する。ここでは、配信側について具体的に説明する。
【０１９７】
実施例９は、図１０ａ、図１０ｂは、１２２（放送用カメラ１）、１２３（放送用カメラ２）、１２４（放送用カメラ３）で、遠く離れた場所のメインスクリーンに表示するビデオ映像の撮影を行い、同時に、４０１（端末１）、４０２（端末２）、４０３（端末３）で、遠く離れた場所のサブスクリーンに表示する写真映像の撮影の制御フロー（サーバー側）が図示されている。ここで、遠く離れたところに、メインスクリーンとサブスクリーンが近い位置にある。
【０１９８】
図１０ａ、図１０ｂにおいて、Ｓ４０１は、初期化を表している。
【０１９９】
Ｓ４０２では、ビデオを遠く離れた場所への送信が選択されたか否かが判断され、ビデオを遠く離れた場所への送信が選択されるとＳ４０３に進み、ビデオを遠く離れた場所への送信が選択されていないとＳ４１１に進む。
【０２００】
Ｓ４０３は、カメラの設定情報を入手することを表している。
【０２０１】
Ｓ４０４では、写真を遠く離れた場所への送信が選択されたか否かが判断され、写真を遠く離れた場所への送信が選択されるとＳ４０５に進み、写真を遠く離れた場所への送信が選択されていないとＳ４０５に進む。
【０２０２】
Ｓ４０５は、遠く離れた場所のメインスクリーンにビデオを表示するためにビデオを圧縮して送信ことを表している。ここでの圧縮率は、スタジアム内での圧縮率よりも高いものとする。
【０２０３】
Ｓ４０６は、遠く離れた場所のサブスクリーンに写真を表示するために写真情報を圧縮して送信することを表している。ここでの圧縮率は、スタジアム内での圧縮率よりも高いものとする。
【０２０４】
ここで、Ｓ４０５の動画の圧縮の符号化、復号化に要する時間が、Ｓ４０６の静止画の符号化、復号化に要する時間よりかかるので、静止画情報はこの差の時間を遅らしたタイミングで信号を送信してもよい。
【０２０５】
Ｓ４０７は、遠く離れた場所のサブスクリーンに写真を表示することを表している。ここで、遠く離れた場所のサブスクリーンの写真は、遠く離れた場所のメインスクリーンに表示するビデオ映像に同期している。
【０２０６】
Ｓ４０８では、遠く離れた場所でビデオの表示するための送信か終了したか否かが判断され、遠く離れた場所でビデオの表示するための送信か終了すると、Ｓ４０８−２に進み、遠く離れた場所でビデオの表示するための送信が終了していないとＳ４０６に進む。
【０２０７】
Ｓ４０８−２は、遠く離れた場所のメインスクリーンにビデオの表示をするための送信をやめることを表している。
【０２０８】
Ｓ４０８−３は、遠く離れた場所のサブスクリーンに写真の表示をするための送信をやめることを表している。
【０２０９】
Ｓ４１１は、その他の処理を表している。
【０２１０】
図１０ｂについて、説明する。
【０２１１】
Ｓ４１２は、遠く離れた場所のメインスクリーンにビデオを表示するためにビデオを圧縮して送信することを表している。
【０２１２】
Ｓ２１３は、遠く離れた場所のサブスクリーンに写真を表示するために写真を圧縮して送信することをしないことを表している。
【０２１３】
Ｓ４１４では、遠く離れた場所でビデオを表示するための送信か終了したか否かが判断され、遠く離れた場所でビデオの表示するための送信か終了すると、Ｓ４１５に進み、遠く離れた場所でビデオの表示するための送信が終了していないとＳ４１２に進む。
【０２１４】
Ｓ４１５は、遠く離れた場所でメインスクリーンにビデオの表示をするための圧縮したビデオの送信をやめることを表している。
【０２１５】
ここで、ライブビューイングに限らず、リプレイの表示に対しても、遠くの場所でのメインスクリーンの表示、サブスクリーンでの表示を実施しても良い。
【０２１６】
＜実施例１０：（実施例１：サブスクリーンは写真表示）において、スタジアム内での表示とスタジアム外での表示の切り替え＞
実施例１ではスタジオ内のフルスクリーン、サブスクリーンに動画、写真を表示することを考え、実施例９では、スタジアムから遠く離れた場所でのフルスクリーン、サブスクリーンに動画、写真を表示することを考えた。これらの、実施例１、実施例９を切り替えても良いし、ともに実施しても良い。よって、実施例１のみの実施、実施例９のみの実施、実施例１と実施例９の実施を選択できるようにしても良い。
【０２１７】
＜実施例１１：（実施例１：メインスクリーン、サブスクリーンについて＞
メインスクリーン、サブスクリーンを有する映像システムとしては、スタジアムの中にメインスクリーン、サブスクリーンがあるケース、および、遠く離れた場所に、メインスクリーン、サブスクリーンがある場合を説明してきました。これまでは、多くの人がメインスクリーンとサブスクリーンを見ることとしていました。ここで、スクリーンは、ひとつとして、そのスクリーンの画面を２つに分けて、動画を表示するエリアと静止画を表示するエリアを設けても良い。
【０２１８】
一方、個人が、メインスクリーン、サブスクリーンを見ることを考えても良い。具体的には、メインスクリーンはタブレットであり、サブスクリーンはスマートフォンとしても良い。
【０２１９】
＜実施例１２：（実施例１：ビデオの撮影と写真の撮影を変える＞
実施例１ではスタジオ内のフルスクリーン、サブスクリーンに動画、写真を表示することを考え、ここで、メインスクリーンに動画のビデオ映像を流すとともに、サブスクリーンには、静止画である写真を同期（前述したが、ほぼ近い時間という同期）したタイミングで表示する。ここで、静止画の写真が、動画であるビデオの写真に比べて、静止画ならではの楽しみを与えられるものであると良いと考える。例えば、静止画の映像は、焦点を選手に合わせて背景はぼけた映像になる撮影が考えられる。このためには、絞り（Ｆ値）の値を小さくするなどにより対応できる。
【０２２０】
すなわち、写真でのみ表現できる映像をサブスクリーンに表示することは、写真の魅力を多くの来場者に理解していただくことにおいても大切である。これを実現するためには、写真を撮影する時の撮影条件とビデオ映像を撮影する時の映像条件を変えることになる。
【０２２１】
上述の実施形態によれば、スタジアムの中で、メインスクリーン、サブスクリーンを有する映像システムにおいて、動画のビデオ映像を撮影する手段、静止画の写真情報を撮影する手段、グランド内の撮影情報をメインスクリーンに表示する手段、カメラマンが撮影した静止画情報をサブスクリーンに表示する手段を有することが可能になった。また、メインスクリーンに表示する情報は動画のビデオ映像であり、動画のビデオ映像のビューイングに同期して、サブスクリーンには、静止画である写真情報を表示することが可能になった。また、動画のビデオ情報を録画する手段、動画のビデオ信号をタイムスタンプの情報を含めて録画する手段、動画のビデオ情報を再生する手段、静止画をタイムスタンプの情報を含めて写真撮影する手段を有し、動画のビデオ映像を再生する時、ビデオ映像に同期して、静止画情報も表示することが可能になった。
【０２２２】
これらにより、スタジアムの中で、ライブの画面でメインスクリーンに中継の画像を表示しながら、この時刻に同期したかたちで、プロカメラマンの撮影した静止画である写真を表示することができて、観客の人たちは、迫力のある写真画像を見ることが可能になり、スポーツのだいご味が増した。特に、リプレイは、ゴールのシーンとかが多く再生されるが。この再生時においても、静止画である写真を表示できて、迫力のシーンを堪能することができるようになった。
【０２２３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０２２４】
１０１  Ｋカメラ１、１０２  Ｋカメラ２、１０３  Ｋカメラ３、
１２０  メインスクリーン、１２１  サブスクリーン、１１０  サーバー、
１１１  入力手段、  １１２基地局
【図１】
2020188328.tif 000003
【図２】
2020188328.tif 000004
【図３ａ】
2020188328.tif 000005
【図３ｂ】
2020188328.tif 000006
【図４】
2020188328.tif 000007
【図５】
2020188328.tif 000008
【図６】
2020188328.tif 000009
【図７】
2020188328.tif 000010
【図８ａ】
2020188328.tif 000011
【図８ｂ】
2020188328.tif 000012
【図８ｃ】
2020188328.tif 000013
【図８ｄ】
2020188328.tif 000014
【図８ｅ】
2020188328.tif 000015
【図９ａ】
2020188328.tif 000016
【図９ｂ】
2020188328.tif 000017
【図９ｃ】
2020188328.tif 000018
【図９ｄ】
2020188328.tif 000019
【図９ｅ】
2020188328.tif 000020
【図１０ａ】
2020188328.tif 000021
【図１０ｂ】
2020188328.tif 000022
【図１１】
2020188328.tif 000023
【図１２】
2020188328.tif 000024