(57)【要約】【課題】小さい計算負荷で画像配信の通信負荷を軽減できるようにする。【解決手段】本発明の一実施形態に係る画像配信システムＳは、配信装置１、２と、表示装置３とを備え、配信装置は、第１画像と、第１画像の撮像範囲の一部の撮像範囲に対応しており第１画像よりも高い頻度で更新される第２画像とを送信する画像送信部１２５を有し、表示装置は、第１画像及び第２画像を受信する画像受信部３２１と、第１画像中の第２画像の撮像範囲に対応する位置に第２画像を重畳して表示する表示部３１と、を有する。【選択図】図２
2020017798.tif 000002
【特許請求の範囲】
【請求項１】
画像配信装置と、表示装置とを備え、
前記画像配信装置は、
第１画像と、前記第１画像の撮像範囲の一部の撮像範囲に対応しており前記第１画像よりも高い頻度で更新される第２画像とを送信する送信部を有し、
前記表示装置は、
前記第１画像及び前記第２画像を受信する受信部と、
前記第１画像中の前記第２画像の撮像範囲に対応する位置に前記第２画像を重畳して表示する表示部と、
を有する、画像配信システム。
【請求項２】
前記送信部は、前記第１画像として第１フレームレートを有する画像を送信し、前記第２画像として前記第１フレームレートより高い第２フレームレートを有する画像を送信する、請求項１に記載の画像配信システム。
【請求項３】
前記送信部は、前記第１画像として静止画像を送信し、前記第２画像として動画像を送信する、請求項２に記載の画像配信システム。
【請求項４】
前記表示装置は、ユーザの視線又は頭部の向きを検出可能に構成され、
前記表示部は、前記第１画像及び前記第１画像に重畳された前記第２画像のうち、前記向きに対応する領域に含まれる部分を表示する、請求項１から３のいずれか一項に記載の画像配信システム。
【請求項５】
前記送信部は、前記向きに基づいて、前記第１画像中の前記第２画像の撮像範囲に対応する位置を決定する、請求項４に記載の画像配信システム。
【請求項６】
前記送信部は、前記表示装置が利用可能な通信帯域に基づいて、前記第１画像中の前記第２画像の撮像範囲の大きさを決定する、請求項１から５のいずれか一項に記載の画像配信システム。
【請求項７】
画像を取得する取得部と、
前記画像に基づいて、第１画像と、前記第１画像の撮像範囲の一部の撮像範囲に対応しており前記第１画像よりも高い頻度で更新される第２画像とを生成する生成部と、
前記第１画像及び前記第２画像を送信する送信部と、
を有する、画像配信装置。
【請求項８】
第１画像と、前記第１画像の撮像範囲の一部の撮像範囲に対応しており前記第１画像よりも高い頻度で更新される第２画像とを受信する受信部と、
前記第１画像中で前記第２画像の撮像範囲に対応する位置に前記第２画像を重畳して表示する表示部と、
を有する、表示装置。
【請求項９】
コンピュータに、
第１画像と、前記第１画像の撮像範囲の一部の撮像範囲に対応しており前記第１画像よりも高い頻度で更新される第２画像とを受信するステップと、
前記第１画像中で前記第２画像の撮像範囲に対応する位置に前記第２画像を重畳して表示するステップと、
を実行させる、表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を配信及び表示するための画像配信システム、画像配信装置、表示装置及び表示プログラムに関する。
【背景技術】
【０００２】
近年、ＶＲ（Virtual Reality）コンテンツとして全天球画像等のパノラマ画像を配信する技術の開発が進んでいる。ユーザは、ＨＭＤ（Head Mounted Display；ヘッドマウントディスプレイ）を装着し、頭部や視線を動かすことによってパノラマ画像中の所望の領域を見ることができる。一般的にパノラマ画像の容量は大きいため、パノラマ画像を配信するためには大きな通信負荷が掛かる。通信負荷を削減するための技術として、特許文献１には、ユーザの視線方向を追跡し、ユーザの焦点領域外の領域の解像度を焦点領域内の領域の解像度よりも低くした画像を配信する方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１６５１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えばスポーツや音楽演奏の会場において撮像した画像を配信する場合には、画像配信のために利用可能な設備が会場に制約されるため、画像配信のために十分なコンピュータ資源を確保できない場合がある。しかしながら、特許文献１に記載された方法は、ユーザの視線方向に応じて画像の解像度を変換する必要があるため、コンピュータに大きな計算負荷が掛かる。
【０００５】
本発明はこれらの点に鑑みてなされたものであり、小さい計算負荷で画像配信の通信負荷を軽減できる画像配信システム、画像配信装置、表示装置及び表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係る画像配信システムは、画像配信装置と、表示装置とを備え、前記画像配信装置は、第１画像と、前記第１画像の撮像範囲の一部の撮像範囲に対応しており前記第１画像よりも高い頻度で更新される第２画像とを送信する送信部を有し、前記表示装置は、前記第１画像及び前記第２画像を受信する受信部と、前記第１画像中の前記第２画像の撮像範囲に対応する位置に前記第２画像を重畳して表示する表示部と、を有する。
【０００７】
前記送信部は、前記第１画像として第１フレームレートを有する画像を送信し、前記第２画像として前記第１フレームレートより高い第２フレームレートを有する画像を送信してもよい。
【０００８】
前記送信部は、前記第１画像として静止画像を送信し、前記第２画像として動画像を送信してもよい。
【０００９】
前記表示装置は、ユーザの視線又は頭部の向きを検出可能に構成され、前記表示部は、前記第１画像及び前記第１画像に重畳された前記第２画像のうち、前記向きに対応する領域に含まれる部分を表示してもよい。
【００１０】
前記送信部は、前記向きに基づいて、前記第１画像中の前記第２画像の撮像範囲に対応する位置を決定してもよい。
【００１１】
前記送信部は、前記表示装置が利用可能な通信帯域に基づいて、前記第１画像中の前記第２画像の撮像範囲の大きさを決定してもよい。
【００１２】
本発明の第２の態様に係る画像配信装置は、画像を取得する取得部と、前記画像に基づいて、第１画像と、前記第１画像の撮像範囲の一部の撮像範囲に対応しており前記第１画像よりも高い頻度で更新される第２画像とを生成する生成部と、前記第１画像及び前記第２画像を送信する送信部と、を有する。
【００１３】
本発明の第３の態様に係る表示装置は、第１画像と、前記第１画像の撮像範囲の一部の撮像範囲に対応しており前記第１画像よりも高い頻度で更新される第２画像とを受信する受信部と、前記第１画像中で前記第２画像の撮像範囲に対応する位置に前記第２画像を重畳して表示する表示部と、を有する。
【００１４】
本発明の第４の態様に係る表示プログラムは、コンピュータに、第１画像と、前記第１画像の撮像範囲の一部の撮像範囲に対応しており前記第１画像よりも高い頻度で更新される第２画像とを受信するステップと、前記第１画像中で前記第２画像の撮像範囲に対応する位置に前記第２画像を重畳して表示するステップと、を実行させる。
【発明の効果】
【００１５】
本発明によれば、小さい計算負荷で画像配信の通信負荷を軽減できるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態に係る画像配信システムの模式図である。
【図２】第１の実施形態に係る画像配信システムのブロック図である。
【図３】スティッチング部が生成する例示的なパノラマ画像の模式図である。
【図４】表示装置の表示部が動画像及び静止画像を表示する方法の模式図である。
【図５】第１の実施形態に係る画像配信方法のシーケンス図である。
【図６】第２の実施形態に係る画像配信システムのブロック図である。
【図７】第２の実施形態に係る画像配信方法のシーケンス図である。
【発明を実施するための形態】
【００１７】
（第１の実施形態）
［画像配信システムＳの概要］
図１は、本実施形態に係る画像配信システムＳの模式図である。画像配信システムＳは、第１配信装置１と、第２配信装置２と、表示装置３とを含む。画像配信システムＳは、その他のサーバ、端末等の機器を含んでもよい。
【００１８】
第１配信装置１は、１つ以上の撮像部１１を有しており、撮像部１１が撮像した画像に所定の処理を行って第２配信装置２へ送信するコンピュータである。撮像部１１が撮像した画像は、全天球画像等のパノラマ画像に変換される。第１配信装置１は、インターネット、ローカルエリアネットワーク等のネットワークＮを介して、有線又は無線で第２配信装置２と通信する。
【００１９】
第２配信装置２は、第１配信装置１から受信した画像を、表示装置へ中継するコンピュータである。第２配信装置２は、ネットワークＮを介して、有線又は無線で第１配信装置１及び表示装置３と通信する。
【００２０】
表示装置３は、表示部３１を有しており、第２配信装置２から受信した画像に所定の処理を行って表示部３１に表示させるコンピュータである。表示装置３は、例えばユーザの頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ）である。表示装置３は、ネットワークＮを介して、有線又は無線で第２配信装置２と通信する。表示部３１は、各種情報を表示するための、液晶ディスプレイ等の表示装置を含む。表示装置３は、カメラ、センサ等を用いて、ユーザの視線又は頭部の向きを検出可能に構成されている。
【００２１】
画像配信システムＳが実行する処理の概要を以下に説明する。まず第１配信装置１は、撮像部１１を用いて所定の撮像範囲を撮像する（ａ）。第１配信装置１は、撮像部１１が撮像した時系列の画像を結合し、時系列のパノラマ画像を生成する。パノラマ画像は、例えば全天球画像又は半天球画像である。
【００２２】
第１配信装置１は、時系列のパノラマ画像の一部の領域を動画像として第２配信装置２へ送信するとともに、ある時点のパノラマ画像の全体を静止画像として第２配信装置２へ送信する（ｂ）。パノラマ画像中の動画像の位置は、予め第１配信装置１に設定される。動画像の位置は、例えばスタジアムの中のフィールドやステージ等、ユーザが注目する領域に設定される。
【００２３】
第１配信装置１は、動画像を常時送信する。また、第１配信装置１は、所定の時間間隔（例えば、１０秒ごと）で最新の静止画像を送信する。第２配信装置２は、第１配信装置１から受信した動画像及び静止画像を、表示装置３へ送信する（ｃ）。
【００２４】
表示装置３は、第２配信装置２から受信した静止画像を表示するとともに、第２配信装置２から受信した動画像を、静止画像中で動画像の撮像範囲に対応する位置に重畳して表示する（ｄ）。すなわち、表示装置３は、表示部３１上で、全体の領域を静止画像（すなわち、相対的に更新頻度が低い画像）として表示するとともに、一部の領域を動画像（すなわち、相対的に更新頻度が高い画像）として表示する。
【００２５】
このように画像配信システムＳは、パノラマ画像の一部の領域（例えばユーザが注目する領域）を動画像とし、それ以外の領域を静止画像として送受信するため、解像度変換のような重い処理を必要とせず、計算負荷が小さい。また、画像配信システムＳは、第１配信装置１が画像をアップロードするための通信負荷を削減できるとともに、表示装置３が画像をダウンロードするための通信負荷を削減できる。さらに、表示装置３は、パノラマ画像の中で動画像の部分と静止画像の部分とを両方とも高い解像度で表示できる。
【００２６】
［画像配信システムＳの構成］
図２は、本実施形態に係る画像配信システムＳのブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示したもの以外のデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に分かれて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
【００２７】
第１配信装置１は、撮像部１１と、制御部１２と、記憶部１３と、通信部１４とを有する。制御部１２は、画像取得部１２１と、スティッチング部１２２と、動画像生成部１２３と、静止画像生成部１２４と、画像送信部１２５とを有する。
【００２８】
撮像部１１は、所定の撮像範囲を撮像可能なＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を含む。撮像部１１は、複数の撮像素子を含んでもよい。撮像部１１は、ある地点を基準としたパノラマ画像を生成するために、該地点から複数の向きの撮像範囲を撮像する。第１配信装置１が複数の撮像部１１を有する場合には、複数の撮像部１１それぞれについてパノラマ画像が生成される。
【００２９】
制御部１２は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１３に記憶されたプログラムを実行することにより、画像取得部１２１、スティッチング部１２２、動画像生成部１２３、静止画像生成部１２４及び画像送信部１２５として機能する。制御部１２の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部１２の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。
【００３０】
記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１３は、制御部１２が実行するプログラムを予め記憶している。記憶部１３は、第１配信装置１の外部に設けられてもよく、その場合に通信部１４を介して制御部１２との間でデータの授受を行ってもよい。
【００３１】
通信部１４は、第２配信装置２との間で通信をするための通信インタフェースである。通信部１４は、通信を行うためのプロセッサ、コネクタ、アンテナ等を含む。通信部１４は、第２配信装置２から受信した通信信号に所定の処理を行ってデータを取得する。また、通信部１４は、外部に送信すべきデータに所定の処理を行って通信信号を生成し、生成した通信信号を第２配信装置２に送信する。
【００３２】
第２配信装置２は、制御部２１と、記憶部２２と、通信部２３とを有する。制御部２１は、例えばＣＰＵ等のプロセッサであり、記憶部２２に記憶されたプログラムを実行することにより、所定の機能を実行する。制御部２１の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部２１の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。
【００３３】
記憶部２２は、ＲＯＭ、ＲＡＭ、ハードディスクドライブ等を含む記憶媒体である。記憶部２２は、制御部２１が実行するプログラムを予め記憶している。また、記憶部２２は、画像の配信先の表示装置３の識別情報を予め記憶している。記憶部２２は、第２配信装置２の外部に設けられてもよく、その場合に通信部２３を介して制御部２１との間でデータの授受を行ってもよい。
【００３４】
通信部２３は、第１配信装置１及び表示装置３との間で通信をするための通信インタフェースである。通信部２３は、通信を行うためのプロセッサ、コネクタ、アンテナ等を含む。通信部２３は、第１配信装置１又は表示装置３から受信した通信信号に所定の処理を行ってデータを取得する。また、通信部２３は、外部に送信すべきデータに所定の処理を行って通信信号を生成し、生成した通信信号を第１配信装置１又は表示装置３に送信する。
【００３５】
表示装置３は、表示部３１と、制御部３２と、記憶部３３と、通信部３４とを有する。制御部３２は、画像受信部３２１と、表示情報出力部３２２とを有する。
【００３６】
表示部３１は、各種情報を表示するための、液晶ディスプレイ等の表示装置を含む。表示部３１は、ユーザの頭部に装着可能なヘッドマウントディスプレイとして構成されており、ユーザの視線又は頭部の向きを検出可能である。表示部３１は、制御部３２から受け取った信号に従って情報を表示する。なお、表示部３１は、例えば既知の６軸加速度センサやジャイロセンサの出力を利用することでユーザの視線又は頭部の向きを検出できる。あるいは、表示部３１は、図示しない外部カメラでユーザの頭部を撮像し、既知の画像解析技術を用いてユーザの視線又は頭部の向きを検出してもよい。
【００３７】
制御部３２は、例えばＣＰＵ等のプロセッサであり、記憶部３３に記憶されたプログラムを実行することにより、画像受信部３２１及び表示情報出力部３２２として機能する。制御部３２の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部３２の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。
【００３８】
記憶部３３は、ＲＯＭ、ＲＡＭ、ハードディスクドライブ等を含む記憶媒体である。記憶部３３は、制御部３２が実行するプログラムを予め記憶している。記憶部３３は、表示装置３の外部に設けられてもよく、その場合に通信部３４を介して制御部３２との間でデータの授受を行ってもよい。
【００３９】
通信部３４は、第２配信装置２との間で通信をするための通信インタフェースである。通信部３４は、通信を行うためのプロセッサ、コネクタ、アンテナ等を含む。通信部３４は、第２配信装置２から受信した通信信号に所定の処理を行ってデータを取得する。また、通信部３４は、外部に送信すべきデータに所定の処理を行って通信信号を生成し、生成した通信信号を第２配信装置２に送信する。
【００４０】
本実施形態に係る画像配信システムＳは、図２に示す具体的な構成に限定されない。例えば第１配信装置１、第２配信装置２及び表示装置３は、それぞれ１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。また、第１配信装置１及び第２配信装置２は、一体化されて１つの装置として構成されてもよい。
【００４１】
［画像配信方法の説明］
図３及び図４を用いて、画像配信システムＳが実行する画像配信方法を以下に説明する。まず第１配信装置１において、撮像部１１は、パノラマ画像を生成するために、複数の撮像素子を用いて複数の向きの撮像範囲を繰り返し撮像し、又は撮像素子を回転させることによって複数の向きの撮像範囲を繰り返し撮像する。
【００４２】
画像取得部１２１は、撮像部１１が複数の撮像範囲を撮像した内容を、それぞれ時系列の画像として取得する。画像取得部１２１は、画像を逐次（すなわちほぼリアルタイムで）取得してもよく、あるいは所定の時間範囲の画像をまとめて取得してもよい。画像取得部１２１は、撮像部１１から直接画像を取得してもよく、又は記憶部１３に一旦記憶された画像を取得してもよい。
【００４３】
スティッチング部１２２は、撮像部１１が複数の撮像範囲について撮像した時系列の画像を結合することによって、１つの広範囲の動画像であるパノラマ画像を生成する。パノラマ画像を生成するために、既知の方法を用いることができる。また、広角レンズを有する撮像部１１が撮像した１つの画像を用いて、パノラマ画像を生成してもよい。パノラマ画像は、例えば正距円筒画像として表される。
【００４４】
図３は、スティッチング部１２２が生成する例示的なパノラマ画像Ａの模式図である。パノラマ画像Ａは、全天球（撮像部１１を中心として左右方向に３６０度、上下方向に１８０度）の撮像範囲を正距円筒画像として平面状に表したものであるため、所定の歪みを含んでいる。パノラマ画像Ａは、より狭い撮像範囲、例えば半天球（撮像部１１を中心として左右方向に１８０度、上下方向に１８０度）の撮像範囲を表した画像であってもよい。
【００４５】
次に動画像生成部１２３は、パノラマ画像Ａの中で動画像の撮像範囲に対応する動画像領域Ｂを決定する。動画像領域Ｂの位置及び大きさは、予め第１配信装置１の記憶部１３に設定されている。図３の例では、動画像領域Ｂは、パノラマ画像Ａの中心を基準として、左右方向に１２０度、上下方向に６７．５度に設定されている。そして動画像生成部１２３は、パノラマ画像Ａの中で決定した動画像領域Ｂに該当する部分を動画像として生成する。生成された動画像には、パノラマ画像Ａ中の動画像領域Ｂの位置（すなわち静止画像中で動画像の撮像範囲に対応する位置）を示す情報が含まれている。動画像生成部１２３は、画像取得部１２１が取得したパノラマ画像Ａに対して、動画像を逐次（すなわちほぼリアルタイムで）生成する。
【００４６】
動画像生成部１２３が動画像を生成するのと並行して、静止画像生成部１２４は、１つの時点のパノラマ画像Ａの全体を、静止画像として生成する。静止画像生成部１２４は、１つの時点のパノラマ画像Ａの一部であって、動画像領域Ｂよりも大きい部分を、静止画像として生成してもよい。静止画像生成部１２４は、画像取得部１２１が取得したパノラマ画像Ａに対して、静止画像を所定の時間間隔で（例えば５〜３０秒ごとに）生成する。静止画像生成部１２４が静止画像を生成する時間間隔は、動画像のフレーム間の時間間隔（すなわちフレームレートの逆数）よりも大きい。
【００４７】
このように動画像は時系列のパノラマ画像Ａの一部であり、静止画像はある時点のパノラマ画像の全体であるため、パノラマ画像Ａから生成された動画像の撮像範囲は、パノラマ画像Ａから生成された静止画像の撮像範囲の一部に対応している。
【００４８】
静止画像生成部１２４は、パノラマ画像Ａの中で、動画像領域Ｂを除いた部分を、静止画像として生成してもよい。この場合に、静止画像の中で動画像領域Ｂと重複する部分は、削除されてもよく、あるいは所定の色で塗り潰されてもよい。これにより、静止画像の中で動画像領域Ｂと重複する部分のデータ容量を削減できる。静止画像生成部１２４は、１つの時点の静止画像を複数の領域に分割してもよい。この場合に、表示装置３は、受信した複数の領域の静止画像を結合して１つの静止画像を取得する。これにより、全天球画像のような巨大な画像を容易に送受信できる。
【００４９】
画像送信部１２５は、動画像生成部１２３が生成した動画像及び静止画像生成部１２４が生成した静止画像を、それぞれ通信部１４を介して第２配信装置２へ逐次送信する。動画像生成部１２３は動画像を逐次生成するのに対して、静止画像生成部１２４は静止画像を所定の時間間隔で生成する。そのため、画像送信部１２５は、静止画像生成部１２４が生成した静止画像を、動画像生成部１２３が生成した動画像よりも低い頻度で送信すればよい。
【００５０】
このように、第１配信装置１は、パノラマ画像Ａのうち動画像領域Ｂの部分をデータ容量の大きい動画像として送信し、それ以外の部分をデータ容量の小さい静止画像として送信するため、第２配信装置２へのアップロードの通信負荷を軽減できる。
【００５１】
第２配信装置２の制御部２１は、記憶部２２から、画像の配信先の表示装置３の識別情報を取得する。識別情報は、例えば表示装置３のＩＰアドレスや、表示装置３に設定されたユーザＩＤ等である。そして第２配信装置２の制御部２１は、取得した表示装置３の識別情報に基づいて、第１配信装置１から受信した動画像及び静止画像を、通信部２３を介して表示装置３へ逐次送信する。第２配信装置２は、動画像及び静止画像を、複数の識別情報に関連付けられた複数の表示装置３へ送信してもよい。
【００５２】
表示装置３において、画像受信部３２１は、第２配信装置２が送信した動画像及び静止画像を、通信部３４を介して受信して逐次取得する。表示装置３は、パノラマ画像Ａのうち動画像領域Ｂの部分をデータ容量の大きい動画像として受信し、それ以外の部分をデータ容量の小さい静止画像として受信するため、第２配信装置２からのダウンロードの通信負荷を軽減できる。
【００５３】
表示情報出力部３２２は、取得した動画像から、パノラマ画像Ａ中の動画像領域Ｂの位置（すなわち静止画像中で動画像の撮像範囲に対応する位置）を示す情報を取得する。そして表示情報出力部３２２は、静止画像中で動画像の撮像範囲に対応する位置に動画像を重畳して表示するための表示情報を、表示部３１へ出力する。そのため、図３に例示したパノラマ画像Ａでは、動画像領域Ｂの内側に動画像が表示され、動画像領域Ｂの外側に静止画像が表示される。表示部３１は、表示情報出力部３２２が出力した表示情報に従って、動画像及び静止画像を表示する。
【００５４】
図４は、表示装置３の表示部３１が動画像Ｄ及び静止画像Ｃを表示する方法の模式図である。図４は、仮想空間における、ユーザの位置Ｅを中心とした、動画像Ｄ及び静止画像Ｃの配置を表している。表示装置３は、ユーザの視線又は頭部の向きＦを検出する。そして表示部３１は、表示情報出力部３２２が出力した表示情報が示す動画像Ｄ及び静止画像Ｃのうち、位置Ｅからユーザの視線又は頭部の向きＦの延長線上にある所定の大きさの領域Ｇに含まれる部分を表示する。
【００５５】
［画像配信方法のシーケンス］
図５は、本実施形態に係る画像配信方法のシーケンス図である。第１配信装置１において、画像取得部１２１は、撮像部１１が所定の撮像範囲を撮像した内容を、時系列の画像として取得する（Ｓ１１）。スティッチング部１２２は、ステップＳ１１で画像取得部１２１が取得した時系列の画像を結合することによって、１つの広範囲の動画像であるパノラマ画像を生成する（Ｓ１２）。
【００５６】
動画像生成部１２３は、ステップＳ１２でスティッチング部１２２が生成したパノラマ画像の中で動画像として出力する動画像領域を決定し、パノラマ画像の中で動画像領域に該当する部分を動画像として生成する（Ｓ１３）。画像送信部１２５は、ステップＳ１３で動画像生成部１２３が生成した動画像を、通信部１４を介して第２配信装置２へ逐次送信する。第２配信装置２の制御部２１は、第１配信装置１から受信した動画像を、通信部２３を介して表示装置３へ逐次送信する。
【００５７】
ステップＳ１３と並行して、静止画像生成部１２４は、ステップＳ１２でスティッチング部１２２が生成したパノラマ画像の全体を、静止画像として生成する（Ｓ１４）。画像送信部１２５は、ステップＳ１４で静止画像生成部１２４が生成した静止画像を、通信部１４を介して第２配信装置２へ逐次送信する。第２配信装置２の制御部２１は、第１配信装置１から受信した静止画像を、通信部２３を介して表示装置３へ逐次送信する。
【００５８】
表示装置３において、画像受信部３２１は、第２配信装置２が送信した動画像及び静止画像を、通信部３４を介して受信して逐次取得する（Ｓ１５）。表示情報出力部３２２は、静止画像中で動画像の撮像範囲に対応する位置に動画像を重畳して表示するための表示情報を、表示部３１へ出力する（Ｓ１６）。そして表示部３１は、ステップＳ１６で表示情報出力部３２２が出力した表示情報に従って、動画像及び静止画像を表示する（Ｓ１７）。
【００５９】
［変形例］
上述の画像配信方法では、動画像及び静止画像を用いる例を説明したが、内容が更新される頻度の異なる２つの画像を用いてもよい。内容が更新される頻度は、画像のフレームレート（単位時間あたりのフレーム数）に対応する。この場合に、静止画像生成部１２４は、パノラマ画像の全体を、第１フレームレートを有する第１画像として生成する。動画像生成部１２３は、パノラマ画像の中で動画像領域に該当する部分を、第１フレームレートよりも高い第２フレームレートを有する第２画像として生成する。すなわち、上述の静止画像は第１画像に対応し、上述の動画像は第２画像に対応する。そして第１配信装置１は、生成した第１画像及び第２画像を、第２配信装置２を介して表示装置３へ逐次送信する。
【００６０】
表示装置３において、表示情報出力部３２２は、第１画像中で第２画像の撮像範囲に対応する位置に第２画像を重畳して表示するための表示情報を、表示部３１へ出力する。そして表示部３１は、表示情報出力部３２２が出力した表示情報に従って、第１画像及び第２画像を表示する。すなわち、表示装置３は、パノラマ画像の全体を相対的に低い第１フレームレートを有する第１画像として表示するとともに、パノラマ画像の一部を相対的に高い第２フレームレートを有する第２画像として表示する。これにより、画像配信システムＳは、画像の送受信に係る通信負荷を削減できる。
【００６１】
［実施形態の効果］
本実施形態に係る画像配信システムＳは、パノラマ画像の一部の領域（例えばユーザが注目する領域）を動画像とし、それ以外の領域を静止画像として送受信するため、解像度変換のような重い処理を必要とせず、計算負荷が小さい。静止画のデータ容量は動画像のデータ容量よりも大幅に小さいため、画像配信システムＳは、第１配信装置１が画像をアップロードするための通信負荷を削減できるとともに、表示装置３が画像をダウンロードするための通信負荷を削減できる。さらに表示装置３は、オリジナルのパノラマ画像の解像度を保った動画像及び静止画像を表示できる。
【００６２】
（第２の実施形態）
第１の実施形態では第１配信装置１が動画像及び静止画像を生成するのに対して、本実施形態では第２配信装置２が動画像及び静止画像を生成する。以下では第１の実施形態と異なる部分を説明する。
【００６３】
図６は、本実施形態に係る画像配信システムＳのブロック図である。図６において、矢印は主なデータの流れを示しており、図２に示したもの以外のデータの流れがあってよい。図６において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図６に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に分かれて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
【００６４】
本実施形態では、第１配信装置１の制御部１２から動画像生成部１２３及び静止画像生成部１２４が省略されている。その代わりに、第２配信装置２の制御部２１は、画像受信部２１１と、領域決定部２１２と、動画像生成部２１３と、静止画像生成部２１４と、画像送信部２１５とを有する。制御部２１が有する各部の機能を、図７のシーケンス図を用いて以下に説明する。
【００６５】
図７は、本実施形態に係る画像配信方法のシーケンス図である。第１配信装置１において、画像取得部１２１は、撮像部１１が所定の撮像範囲を撮像した内容を、時系列の画像として取得する（Ｓ２１）。スティッチング部１２２は、ステップＳ２１で画像取得部１２１が取得した時系列の画像を結合することによって、１つの広範囲の動画像であるパノラマ画像を生成する（Ｓ２２）。スティッチング部１２２の機能は、第２配信装置２の制御部２１によって実行されてもよい。
【００６６】
画像送信部１２５は、スティッチング部１２２が生成したパノラマ画像を、通信部１４を介して第２配信装置２へ送信する（Ｓ２２）。このとき、画像送信部１２５は、パノラマ画像全体を動画像として送信してもよい。あるいは画像送信部１２５は、パノラマ画像の中で動画像領域が位置し得る最大限の範囲のみを動画像として送信してもよい。この場合に、画像送信部１２５は、パノラマ画像の中で動画像領域が位置し得る最大限の範囲の外側の範囲を、静止画像として送信する。
【００６７】
第２配信装置２において、画像受信部２１１は、第１配信装置１が送信したパノラマ画像を、通信部２３を介して受信して逐次取得する。領域決定部２１２は、表示装置３から、表示条件を示す情報を受信する。表示条件は、例えば表示装置３が利用可能な通信帯域、及び表示装置３が検出したユーザの視線又は頭部の向きを含む。
【００６８】
そして領域決定部２１２は、表示装置３から受信した表示条件に基づいて、パノラマ画像の中で動画像として出力する動画像領域を決定する（Ｓ２３）。具体的には、領域決定部２１２は、表示条件が示す利用可能な通信帯域に基づいて、動画像領域の大きさを決定する。例えば領域決定部２１２は、利用可能な通信帯域が大きいほど動画像領域が大きく、利用可能な通信帯域が小さいほど動画像領域が小さいように、動画像領域の大きさを決定する。これにより、表示装置３が利用可能な通信帯域に応じて動画像領域の大きさを動的に変更し、ユーザの環境に適した範囲を動画像として提供できる。
【００６９】
また、領域決定部２１２は、表示条件が示すユーザの視線又は頭部の向きに基づいて、動画像領域の位置を決定する。例えば領域決定部２１２は、ユーザの視線又は頭部の向きが動画像領域の中心点に一致するように、動画像領域の位置を決定する。これにより、ユーザが見ている向きに応じて、動画像領域の位置を動的に変更し、ユーザが注目する部分を動画像にすることができる。
【００７０】
領域決定部２１２は、表示装置３が利用可能な通信帯域と、表示装置３が検出したユーザの視線又は頭部の向きとのどちらか一方のみを用いて動画像領域を決定してもよい。領域決定部２１２は、表示条件の受信を行わず、第１の実施形態と同様に予め第２配信装置２の記憶部２２に設定された情報に基づいて動画像領域を決定してもよい。
【００７１】
動画像生成部２１３は、第１配信装置１から受信したパノラマ画像の中で、ステップＳ２３で領域決定部２１２が決定した動画像領域に該当する部分を動画像として生成する（Ｓ２４）。画像送信部２１５は、ステップＳ２４で動画像生成部２１３が生成した動画像を、通信部２３を介して表示装置３へ逐次送信する。
【００７２】
ステップＳ２４と並行して、静止画像生成部２１４は、第１配信装置１から受信したパノラマ画像の全体を、静止画像として生成する（Ｓ２５）。画像送信部２１５は、ステップＳ２５で静止画像生成部２１４が生成した静止画像を、通信部２３を介して表示装置３へ逐次送信する。
【００７３】
表示装置３において、画像受信部３２１は、第２配信装置２が送信した動画像及び静止画像を、通信部３４を介して受信して逐次取得する（Ｓ２６）。表示情報出力部３２２は、静止画像中で動画像の撮像範囲に対応する位置に動画像を重畳して表示するための表示情報を、表示部３１へ出力する（Ｓ２７）。そして表示部３１は、ステップＳ２７で表示情報出力部３２２が出力した表示情報に従って、動画像及び静止画像を表示する（Ｓ２８）。
【００７４】
［実施形態の効果］
このように、本実施形態に係る画像配信システムＳは、小さい計算負荷で画像配信の通信負荷を軽減できる。さらに、画像配信システムＳは、表示装置３から受信した表示条件に基づいて、パノラマ画像中の動画像の大きさ及び位置を動的に変更することができ、ユーザの状況に適した表示をすることができる。
【００７５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
【００７６】
第１配信装置１、第２配信装置２及び表示装置３のプロセッサは、図５及び図７に示す画像配信方法に含まれる各ステップ（工程）の主体となる。すなわち、プロセッサは、図５及び図７に示す画像配信方法を実行するためのプログラムを記憶部から読み出し、当該プログラムを実行して画像配信システムＳの各部を制御することによって、図５及び図７に示す画像配信方法を実行する。図５及び図７に示す画像配信方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。
【符号の説明】
【００７７】
Ｓ  画像配信システム
１  第１配信装置
１２  制御部
１２１  画像取得部
１２３  動画像生成部
１２４  静止画像生成部
１２５  画像送信部
２  第２配信装置
２１  制御部
２１１  画像受信部
２１２  領域決定部
２１３  動画像生成部
２１４  静止画像生成部
２１５  画像送信部
３  表示装置
３１  表示部
【図１】
2020017798.tif 000003
【図２】
2020017798.tif 000004
【図３】
2020017798.tif 000005
【図４】
2020017798.tif 000006
【図５】
2020017798.tif 000007
【図６】
2020017798.tif 000008
【図７】
2020017798.tif 000009