(57)【要約】【課題】ある日の天候における、使用者にとっての最適な情報を提案する全天球カメラ撮像画像表示システム、方法及びプログラムを提供する。【解決手段】全天球カメラ撮像画像表示システム１は、全天球カメラ５で撮像された３６０度の撮像画像を、複数の端末３０に表示し、全天球カメラ５で撮像された３６０度の撮像画像を取得する撮像画像取得モジュール１４と、取得された撮像画像を複数の端末３０に配信する撮像画像配信モジュール２５と、複数の端末３０のそれぞれのユーザから、操作入力を受け付ける操作入力受付モジュール３８と、受付けたそれぞれのユーザからの操作入力に基づいて、配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示モジュール３９と、を備える。【選択図】図１
2018003081.tif 000002
【特許請求の範囲】
【請求項１】
全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムであって、
前記全天球カメラで撮像された３６０度の撮像画像を取得する撮像画像取得手段と、
前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信手段と、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付手段と、
前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システム。
【請求項２】
前記操作入力受付手段が、前記受付けた操作入力とは異なる操作入力を受付けた場合に、
前記撮像画像表示手段は、前記表示された撮像画像の３６０度の内の任意の一部分以外の部分を表示することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項３】
前記それぞれのユーザから要求を受付ける要求受付手段と、
前記受付けた要求に基づく要求画像を、前記それぞれのユーザが操作するユーザ端末に配信する要求画像配信手段と、を備え、
前記撮像画像表示手段は、前記配信された要求画像を、前記それぞれのユーザが操作するユーザ端末に表示することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項４】
全天球カメラの周囲の音を集音する複数の集音手段と、
前記集音された音を出力する音出力手段と、
前記表示された撮像画像の３６０度の内の任意の一部分の方向に応じて、前記音出力手段で出力する音を調整する音調整手段と、
を備えることを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項５】
前記音調整手段は、前記複数の集音手段によって集音された音を合成して音を調整することを特徴とする請求項４に記載の全天球カメラ撮像画像表示システム。
【請求項６】
前記取得された撮像画像のキャッシュを作成するキャッシュ作成手段と、
前記撮像画像配信手段は、前記作成された撮像画像のキャッシュを複数のユーザ端末に配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項７】
前記撮像画像配信手段は、前記複数のユーザ端末に順次配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項８】
前記撮像画像配信手段は、前記複数のユーザ端末に均等になるように配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項９】
全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムが実行する方法であって、
前記全天球カメラで撮像された３６０度の撮像画像を取得する撮像画像取得ステップと、
前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信ステップと、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付ステップと、
前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示ステップと、
を含む方法。
【請求項１０】
全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムを制御するコンピュータを、
前記全天球カメラで撮像された３６０度の撮像画像を取得する撮像画像取得手段、
前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信手段、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付手段、
前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システム、方法及びプログラムに関する。
【背景技術】
【０００２】
近年、レンズの位置を中心に３６０度の範囲を撮像可能な全天球カメラが普及している。このような全天球カメラは、広範囲の撮像が可能なため、様々な状況で利用されている。【０００３】
例えば、構造物の点検装置は、無線操縦式の回転翼機に、構造物表面の画像を連続的に撮影する全天球カメラが搭載され、全天球カメラで撮影された画像が、管理端末に送信され、処理部で画像を画像解析して、構造物に不良があるか否かを判定する構造物の点検装置が提案されている（特許文献１参照）。特許文献１の点検装置によれば、全天球カメラを用いることで、構造物表面を、より広範囲に撮像できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１９４０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の点検装置では、全天球カメラで撮影された画像は限られた端末にだけ送信するが、全天球カメラの利用状況によっては、この全天球カメラで撮影された画像を、多数の端末に送信したい場合がある。例えば、コンサートやスポーツ競技の様子を全天球カメラで撮像し、この全天球カメラで撮像された３６０度の画像を多数の端末に配信することで、コンサート開場やスポーツ競技場等にいない者も、コンサート開場やスポーツ競技場等の様子を、多様な角度から視ることができる。【０００６】
本発明は、これらの課題に鑑み、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能となる全天球カメラ撮像画像表示システム、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明では、以下のような解決手段を提供する。【０００８】
第１の特徴に係る発明は、
全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムであって、
前記全天球カメラで撮像された３６０度の撮像画像を取得する撮像画像取得手段と、
前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信手段と、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付手段と、
前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システムを提供する。【０００９】
第１の特徴に係る発明によれば、複数のユーザ端末のそれぞれのユーザからの操作入力に基づいて、全天球カメラで撮像された撮像画像の内の任意の一部分を、それぞれユーザ端末に表示できる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能となる全天球カメラ撮像画像表示システムを提供できる。【００１０】
第１の特徴に係る発明は、システムのカテゴリであるが、方法及びプログラムであっても同様の作用、効果を奏する。【００１１】
第２の特徴に係る発明は、第１の特徴に係る発明に加え、
前記操作入力受付手段が、前記受付けた操作入力とは異なる操作入力を受付けた場合に、
前記撮像画像表示手段は、前記表示された撮像画像の３６０度の内の任意の一部分以外の部分を表示することを特徴とする全天球カメラ撮像画像表示システムを提供する。【００１２】
第２の特徴に係る発明によれば、異なる操作入力を行うことで、撮像画像の３６０度の内の表示する部分を動かすことができる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点を動かして見ることが可能となる全天球カメラ撮像画像表示システムを提供できる。【００１３】
第３の特徴に係る発明は、第１の特徴に係る発明に加え、
前記それぞれのユーザから要求を受付ける要求受付手段と、
前記受付けた要求に基づく要求画像を、前記それぞれのユーザが操作するユーザ端末に配信する要求画像配信手段と、を備え、
前記撮像画像表示手段は、前記配信された要求画像を、前記それぞれのユーザが操作するユーザ端末に表示することを特徴とする全天球カメラ撮像画像表示システムを提供する。【００１４】
第３の特徴に係る発明によれば、それぞれのユーザからの要求に基づく要求画像を、それぞれのユーザが操作するユーザ端末に表示することできる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した要求に基づく視点で見ることが可能となる全天球カメラ撮像画像表示システムを提供できる。【００１５】
第４の特徴に係る発明は、第１の特徴に係る発明に加え、
全天球カメラの周囲の音を集音する複数の集音手段と、
前記集音された音を出力する音出力手段と、
前記表示された撮像画像の３６０度の内の任意の一部分の方向に応じて、前記音出力手段で出力する音を調整する音調整手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システムを提供する。【００１６】
第４の特徴に係る発明によれば、それぞれのユーザからの操作入力に基づく、撮像画像の３６０度の内の任意の一部分の方向に応じて、出力する音を調整できる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能であるとともに、この独立した視点に応じた音を聞くことが可能となる全天球カメラ撮像画像表示システムを提供できる。【００１７】
第５の特徴に係る発明は、第４の特徴に係る発明に加え、
前記音調整手段は、前記複数の集音手段によって集音された音を合成して音を調整することを特徴とする全天球カメラ撮像画像表示システムを提供する。【００１８】
第５の特徴に係る発明によれば、それぞれのユーザからの操作入力に基づく、撮像画像の３６０度の内の任意の一部分の方向に応じて、出力する音を、集音された音を合成して調整できる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能であるとともに、集音するマイクが３６０度に亘って配置されていなくとも、この独立した視点に応じた音を聞くことが可能となる全天球カメラ撮像画像表示システムを提供できる。【００１９】
第６の特徴に係る発明は、第１の特徴に係る発明に加え、
前記取得された撮像画像のキャッシュを作成するキャッシュ作成手段と、
前記撮像画像配信手段は、前記作成された撮像画像のキャッシュを複数のユーザ端末に配信することを特徴とする全天球カメラ撮像画像表示システムを提供する。【００２０】
第６の特徴に係る発明によれば、撮像画像のキャッシュを作成し、このキャッシュを複数のユーザ端末に配信するので、取得した撮像画像を、直接、複数のユーザ端末に配信する場合に比べ、全天球カメラ撮像画像表示システムの負荷が分散され、より多くのユーザ端末に安定して撮像画像を配信可能となる。【００２１】
第７の特徴に係る発明は、第１の特徴に係る発明に加え、
前記撮像画像配信手段は、前記複数のユーザ端末に順次配信することを特徴とする全天球カメラ撮像画像表示システムを提供する。【００２２】
第７の特徴に係る発明によれば、複数のユーザ端末に、撮像画像を順次配信するので、取得した撮像画像を、複数のユーザ端末に同一のタイミングで配信する場合に比べ、全天球カメラ撮像画像表示システムの負荷が分散され、より多くのユーザ端末に安定して撮像画像を配信可能となる。【００２３】
第８の特徴に係る発明は、第１の特徴に係る発明に加え、
前記撮像画像配信手段は、前記複数のユーザ端末に均等になるように配信することを特徴とする全天球カメラ撮像画像表示システムを提供する。【００２４】
第８の特徴に係る発明によれば、複数のユーザ端末に、撮像画像を均等になるように配信するので、複数のユーザ端末のそれぞれに同様のスピードで、撮像画像を配信可能となる。
【発明の効果】
【００２５】
本発明によれば、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能となる全天球カメラ撮像画像表示システム、方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム１の概要を説明するための図である。
【図２】図２は、全天球カメラ撮像画像表示システム１の機能ブロックと各機能の関係を示す図である。
【図３】図３は、全天球カメラ撮像画像表示システム１の機能ブロックと各機能の関係を示す図である。
【図４】図４は、全天球カメラ撮像画像表示システム１が実行する撮像画像表示処理のフローチャートである。
【図５】図５は、端末３０の音調整モジュール４０による音調整の一例を説明する図である。
【図６】図６は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム１Ａの概要を説明するための図である。
【図７】図７は、全天球カメラ撮像画像表示システム１Ａの画像作成サーバ５０の機能ブロックと各機能の関係を示す図である。
【図８】図８は、全天球カメラ撮像画像表示システム１Ａの画像作成サーバ５０が実行する要求画像作成処理のフローチャートである。
【発明を実施するための形態】
【００２７】
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００２８】
［全天球カメラ撮像画像表示システムの概要］
図１は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム１の概要を説明するための図である。この図１に基づいて、全天球カメラ撮像画像表示システム１の概要を説明する。全天球カメラ撮像画像表示システム１は、撮像画像取得サーバ１０と、キャッシュサーバ２０と、端末３０と、を備え、全天球カメラ５で撮像された３６０度の撮像画像を、複数の端末３０に表示する。
【００２９】
全天球カメラ撮像画像表示システム１において、全天球カメラ５は、例えば、複数の人に見られる特定の被写体を、正面で撮像可能な位置に配置される。具体的には、全天球カメラ５は、コンサート会場の略中央や奏者を正面で撮像可能な位置や、競技場の略中央や選手を正面で撮像可能な位置に配置される。
【００３０】
詳細には、撮像画像取得サーバ１０は、全天球カメラ５で撮像された３６０度の撮像画像を取得し、取得した撮像画像を複数のキャッシュサーバ２０に送信する。キャッシュサーバ２０は、受信した撮像画像のキャッシュを作成し、作成した撮像画像のキャッシュを複数の端末３０に配信する。
【００３１】
複数の端末３０は、３６０度の撮像画像を受信し、それぞれ、端末３０を操作するユーザから、操作入力を受け付け、ユーザからの操作入力に基づいて、配信された撮像画像の３６０度の内の任意の一部分を、表示する。
【００３２】
また、複数の端末３０は、ユーザから受付けた操作入力とは異なる操作入力を受付けた場合に、表示された撮像画像の３６０度の内の任意の一部分以外の部分を表示する。即ち、端末３０は、ユーザからの操作入力の態様に応じて、表示する撮像画像の３６０度の内の任意の一部分を変化させる。
【００３３】
このような全天球カメラ撮像画像表示システム１によれば、複数の端末３０のそれぞれのユーザからの操作入力に基づいて、全天球カメラ５で撮像された撮像画像の内の任意の一部分を、それぞれ端末３０に表示できる。したがって、全天球カメラ５で撮影した同一の３６０度の画像を複数人の複数の独立した視点で見ることが可能となる。
【００３４】
また、全天球カメラ撮像画像表示システム１によれば、ユーザが異なる操作入力を行うことで、撮像画像の３６０度の内の表示する部分を動かすことができる。したがって、全天球カメラで撮影した同一の３６０度の画像を複数人の複数の独立した視点を動かして見ることが可能となる。
【００３５】
また、全天球カメラ撮像画像表示システム１によれば、キャッシュサーバ２０により、撮像画像のキャッシュを作成し、このキャッシュを複数の端末３０に配信するので、取得した撮像画像を、直接、撮像画像取得サーバ１０から複数の端末３０に配信する場合に比べ、全天球カメラ撮像画像表示システム１の負荷が分散され、より多くの端末３０に安定して撮像画像を配信可能となる。
【００３６】
［各機能の説明］
図２及び図３は、全天球カメラ撮像画像表示システム１の機能ブロックと各機能の関係を示す図である。図２に示すように、全天球カメラ撮像画像表示システム１において、全天球カメラ５及び複数のマイク６Ｌ，６Ｒ，６Ｆ，６Ｂは、撮像画像取得サーバ１０と有線又は無線により接続されている。撮像画像取得サーバ１０と複数のキャッシュサーバ２０は、互いに公衆回線網を介してそれぞれ通信可能に接続されている。また、キャッシュサーバ２０と複数の端末３０は、互いに公衆回線網を介してそれぞれ通信可能に接続されている。
【００３７】
全天球カメラ５は、複数のレンズと撮像素子を備え、複数のレンズをその光軸が放射状に配置し、上下左右全方位の３６０度の範囲を、複数の撮像素子に結像し、各撮像素子で結像した画像データを、撮像画像取得サーバ１０に送信する。
【００３８】
マイク６Ｌ，６Ｒ，６Ｆ，６Ｂは、マイクロフォンで構成され、集音した音を電気信号に変換する。例えば、全天球カメラ５の中心を通る前後方向と、全天球カメラ５の中心で交差し、前後方向と直交する左右方向を設定した場合に、マイク６Ｌは、左右方向において、前方に向いて全天球カメラ５の左側近傍に設けられ、マイク６Ｒは、左右方向において、前方に向いて全天球カメラ５の右側近傍に設けられ、マイク６Ｆは、前後方向において、全天球カメラ５の前側近傍に設けられ、マイク６Ｂは、前後方向において、全天球カメラ５の後側近傍に設けられている。マイク６Ｌ，６Ｒ，６Ｆ，６Ｂは、それぞれ集音した音データを、撮像画像取得サーバ１０に送信する。このようなマイク６Ｌ，６Ｒ，６Ｆ，６Ｂは、全天球カメラの周囲の音を集音する複数の集音手段として機能する。
【００３９】
撮像画像取得サーバ１０は、後述の機能を備えた一般的なサーバであり、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ），ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ），ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等を備え、記憶部１２として、ハードディスクや半導体メモリによる、データのストレージ部を備え、通信部１３として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）対応デバイス又は、第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。記憶部１２は、撮像画像取得プログラム１００、全天球カメラ５から取得した複数の画像データやこれら複数の画像データを合成した３６０度の撮像画像データ、マイク６Ｌ，６Ｒ，６Ｆ，６Ｂで取得した音データやこれらの音データ、その他、撮像画像取得サーバ１０の制御に必要なデータを記憶する。
【００４０】
なお、本実施形態において、全天球カメラ５は、１つであるが、これに限らず、複数設け、例えば、特定の被写体を囲むように配置してもよい。この場合、複数の全天球カメラ５でそれぞれ撮像された画像データに基づく、それぞれの３６０度の撮像画像データを、撮像画像取得サーバ１０や端末３０において、選択可能としてもよい。
【００４１】
撮像画像取得サーバ１０において、制御部１１が撮像画像取得プログラム１００を読み込むことで、記憶部１２及び通信部１３と協働して、撮像画像取得モジュール１４及び撮像画像送信モジュール１５を実現する。
【００４２】
キャッシュサーバ２０は、後述の機能を備えた一般的なサーバであり、撮像画像取得サーバ１０と同様に、制御部２１として、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備え、記憶部２２として、ハードディスクや半導体メモリによる、データのストレージ部を備え、通信部２３として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は、第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。記憶部２２は、撮像画像配信プログラム２００、撮像画像取得サーバ１０から受信した３６０度の撮像画像データや出力用音データ、その他、キャッシュサーバ２０の制御に必要なデータを記憶する。
【００４３】
キャッシュサーバ２０において、制御部２１が撮像画像配信プログラム２００を読み込むことで、記憶部２２及び通信部２３と協働して、撮像画像受信モジュール２４、撮像画像配信モジュール２５を実現する。
【００４４】
端末３０は、通信部を備えた一般的な情報端末であってよく、後述する機能を備える情報機器であり、例えば、携帯電話、スマートフォン、ネットブック端末、スレート端末、電子書籍端末、電子辞書端末、携帯型音楽プレーヤ、携帯型コンテンツ再生・録画プレーヤといった携帯型端末であってもよいし、パーソナルコンピュータといった据え置き型の端末であってもよい。
【００４５】
図３に示すように、端末３０は、撮像画像取得サーバ１０と同様に、制御部３１として、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備え、記憶部３２として、データのストレージ部を備え、通信部３３として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスを備え（有線であってもよい）、入力部３４として、タッチパネルやキーボードマウス等による入力手段を備え、表示部３５として、タッチパネルやディスプレイ等による表示手段を備え、集音された音を出力する音出力手段である音出力部３６として、スピーカ等を備える。記憶部３２は、撮像画像表示プログラム３００、キャッシュサーバ２０から配信された３６０度の撮像画像データや出力用音データ、その他、端末３０の制御に必要なデータを記憶する。
【００４６】
端末３０において、制御部３１が撮像画像表示プログラム３００を読み込むことで、記憶部３２及び通信部３３と協働して、撮像画像受信モジュール３７を実現し、入力部３４と協働して、操作入力受付モジュール３８を実現し、表示部３５と協働して、撮像画像表示モジュール３９を実現し、音出力部３６と協働して、音調整モジュール４０を実現する。
【００４７】
［撮像画像表示処理］
図４は、全天球カメラ撮像画像表示システム１が実行する撮像画像表示処理のフローチャートである。上述した各モジュールが行う処理について、本処理にて併せて説明する。まず、撮像画像取得サーバ１０は、全天球カメラ５を制御し、複数のレンズを通して撮像された画像データ及びマイク６Ｌ，６Ｒ，６Ｆ，６Ｂで集音した音データを受信する。
【００４８】
ステップＳ１において、撮像画像取得サーバ１０の撮像画像取得モジュール１４は、全天球カメラ５で撮像された３６０度の撮像画像を取得する。詳細には、撮像画像取得モジュール１４は、全天球カメラ５から受信した複数のレンズを通して撮像された画像データを合成して、３６０度の撮像画像データを作成し、作成した３６０度の撮像画像データと、受信した音データと、を対応付けて、記憶部１２に記憶する。
【００４９】
ステップＳ２において、撮像画像取得サーバ１０の撮像画像送信モジュール１５は、記憶部１２に記憶された、３６０度の撮像画像データ及び音データを、複数のキャッシュサーバ２０に送信する。各キャッシュサーバ２０の撮像画像受信モジュール２４は、撮像画像取得サーバ１０から３６０度の撮像画像データ及び音データを受信する。そして、各キャッシュサーバ２０の撮像画像配信モジュール２５は、撮像画像受信モジュール２４が受信した３６０度の撮像画像データ及び音データを、複数の端末３０に、順次又は均等に配信する。各端末３０の撮像画像受信モジュール３７は、キャッシュサーバ２０から３６０度の撮像画像データ及び音データを受信する。
【００５０】
ステップＳ３において、各端末３０の撮像画像表示モジュール３９は、配信された撮像画像の３６０度の内の任意の一部分を表示する。詳細には、撮像画像表示モジュール３９は、ステップＳ２で撮像画像受信モジュール３７が受信した３６０度の撮像画像データに基づき、３６０度の内の任意の一部分の撮像画像（例えば、予め設定された正面を中心とする撮像画像）を表示部３５に表示する。また、本ステップにおいて、各端末３０の音調整モジュール４０は、ステップＳ２で撮像画像受信モジュール３７が受信した音データに基づき、複数のマイク６Ｌ，６Ｒ，６Ｆ，６Ｂで集音した音データの内の任意の一部分（例えば、予め設定された正面を中心とする撮像画像に対応付けられたマイク６Ｌ，６Ｒで集音した音データ）を、音出力部３６から出力する。
【００５１】
ステップＳ４において、複数の端末３０の操作入力受付モジュール３８は、それぞれのユーザから、入力部３４の操作入力（例えば、表示部３５に表示された撮像画像に対する入力部３４によるドラッグ操作等）を受け付ける。
【００５２】
ステップＳ５において、端末３０の撮像画像表示モジュール３９は、ステップＳ４で操作入力受付モジュール３８が受け付けた入力部３４の操作入力に応じて、表示部３５に、表示された撮像画像の３６０度の内の任意の一部分以外の部分を表示する。例えば、撮像画像表示モジュール３９は、入力部３４の操作入力が、表示部３５に表示された撮像画像に対する入力部３４による所定方向へのドラッグ操作であった場合、３６０度の撮像画像データの内、ステップＳ３で表示部３５に表示する範囲を、所定方向へ移動する。
【００５３】
また、本ステップにおいて、各端末３０の音調整モジュール４０は、ステップＳ４で操作入力受付モジュール３８が受け付けた入力部３４の操作入力に応じて、音出力部３６から出力している音データの内の任意の一部分以外の部分を出力する。
【００５４】
図５は、端末３０の音調整モジュール４０による音調整の一例を説明する図である。音調整モジュール４０は、３６０度の撮像画像データの内、ステップＳ３で表示部３５に表示する範囲３５ａの中心が、全天球カメラの予め設定された正面方向に対して左側９０度の位置であれば、マイク６Ｆ，６Ｂで集音した音データを、合成して音出力部３６から出力する。
【００５５】
その後、ユーザの入力部３４の操作入力により、３６０度の撮像画像データの内、ステップＳ３で表示部３５に表示する範囲の中心が、全天球カメラ５の予め設定された正面方向に対して左側９０度の位置から、当該正面方向を通って、正面方向に対して右側６０度の位置（範囲３５ｂ）に移動した場合について説明する。この場合、音調整モジュール４０は、音出力部３６から出力する音データを、マイク６Ｆ，６Ｂで集音した音データから徐々にマイク６Ｌ，６Ｒで集音した音データに移行させ、その後、マイク６Ｌで集音した音データの音量を下げ、マイク６Ｒで集音した音データの音量を上げて合成して、音出力部３６から出力する。例えば、表示部３５に表示された範囲３５ｂの場合、音調整モジュール４０は、マイク６Ｌ，６Ｒで集音した音データの音量の割合を、１：３で合成して、音出力部３６から出力する。
【００５６】
なお、本実施形態では、マイクを全天球カメラ５を中心とする円上に沿って、９０度毎に４つ配置しているが、これに限らず、例えば、より狭い間隔でマイクを配置し、ユーザによる入力部３４の操作入力に応じて、音出力部３６から出力する音データを集音するマイクを切り替えてもよい。
【００５７】
［応用例］
次に、本実施形態の応用例に係る全天球カメラ撮像画像表示システム１Ａについて説明する。図６は、本発明の好適な実施形態である全天球カメラ撮像画像表示システム１Ａの概要を説明するための図である。
【００５８】
全天球カメラ撮像画像表示システム１Ａは、更に、画像作成サーバ５０を備える点が、全天球カメラ撮像画像表示システム１（図１等参照）と異なる。全天球カメラ撮像画像表示システム１Ａは、全天球カメラ撮像画像表示システム１の機能に加え、ユーザの要望に応じた撮像画像を作成し、端末３０に配信する。
【００５９】
［応用例に係る全天球カメラ撮像画像表示システムの概要］
全天球カメラ撮像画像表示システム１Ａは、画像作成サーバ５０において、３６０度の撮像画像データに基づき、特定の被写体や特定のシーンのみの作成撮像画像データを作成する。例えば、全天球カメラ撮像画像表示システム１Ａをスポーツ競技大会で用いた場合、画像作成サーバ５０は、撮像画像取得サーバ１０から受信した３６０度の撮像画像データに基づき、１００ｍ走の競技のみの作成撮像画像データや、特定の選手を追い続けた作成撮像画像データや、開場全体の作成撮像画像データや、観客席の作成撮像画像データ等を作成する。
【００６０】
そして、ユーザは、端末３０から、このような画像作成サーバ５０が作成した作成撮像画像データのうち、見たい作成撮像画像データを要求する。画像作成サーバ５０は、端末３０からの要求に応じた作成撮像画像データを、当該端末３０に配信する。
【００６１】
［画像作成サーバ５０の機能の説明］
図７は、全天球カメラ撮像画像表示システム１Ａの画像作成サーバ５０の機能ブロックと各機能の関係を示す図である。画像作成サーバ５０は、後述の機能を備えた一般的なサーバであり、撮像画像取得サーバ１０（図２参照）と同様に、制御部５１として、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備え、記憶部５２として、ハードディスクや半導体メモリによる、データのストレージ部を備え、通信部５３として、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は、第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。記憶部５２は、画像作成プログラム５００、撮像画像取得サーバ１０から受信した３６０度の撮像画像データや出力用音データ、３６０度の撮像画像データや出力用音データに基づき作成した作成撮像画像データや作成出力用音データ、その他、画像作成サーバ５０の制御に必要なデータを記憶する。
【００６２】
画像作成サーバ５０において、制御部５１が画像作成プログラム５００を読み込むことで、記憶部５２及び通信部５３と協働して、撮像画像受信モジュール５４、要求受付モジュール５５、要求画像配信モジュール５７を実現し、記憶部５２と協働して、要求画像作成モジュール５６を実現する。
【００６３】
［要求画像作成処理］
図８は、全天球カメラ撮像画像表示システム１Ａの画像作成サーバ５０が実行する要求画像作成処理のフローチャートである。上述した各モジュールが行う処理について、本処理にて併せて説明する。
【００６４】
ステップＳ１１において、撮像画像受信モジュール５４は、撮像画像取得サーバ１０から３６０度の撮像画像データ及び音データを受信し、記憶部５２に記憶する。
【００６５】
ステップＳ１２において、要求受付モジュール５５は、複数の端末３０それぞれから、ユーザから見たい被写体（例えば、特定の競技、人物、シーン等）についての要求を示す要求情報を受付ける。
【００６６】
ステップＳ１３において、要求画像作成モジュール５６は、ステップＳ１２で受信した要求情報に基づく要求画像である作成撮像画像データを、ステップＳ１１で受信した３６０度の撮像画像データ及び音データから切り出して作成する。
【００６７】
ステップＳ１４において、要求画像配信モジュール５７は、ステップＳ１３で作成した作成撮像画像データを、要求情報を送信した端末３０に配信する。
【００６８】
そして、端末３０は、撮像画像受信モジュール３７（図３参照）により作成撮像画像データを受信し、受信した作成撮像画像データを、撮像画像表示モジュール３９（図３参照）により表示部３５（図３参照）に表示し、作成撮像画像データに含まれる音データを、音調整モジュール４０（図３参照）により音出力部３６（図３参照）から出力する。
【００６９】
上述した手段、機能は、コンピュータ（ＣＰＵ，情報処理装置，各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【００７０】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【符号の説明】
【００７１】
１  全天球カメラ撮像画像表示システム、５  全天球カメラ、１４  撮像画像取得モジュール、２５  撮像画像配信モジュール、３８  操作入力受付モジュール、３９  撮像画像表示モジュール
【図１】
2018003081.tif 000003
【図２】
2018003081.tif 000004
【図３】
2018003081.tif 000005
【図４】
2018003081.tif 000006
【図５】
2018003081.tif 000007
【図６】
2018003081.tif 000008
【図７】
2018003081.tif 000009
【図８】
2018003081.tif 000010
【手続補正書】
【提出日】平成29年8月7日(2017.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムであって、
前記全天球カメラで撮像された３６０度の撮像画像を取得する撮像画像取得手段と、
前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信手段と、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付手段と、
前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示手段と、
全天球カメラの周囲の音を集音する複数の集音手段と、
前記前記表示させた任意の一部分の中心が、他の位置に移動した場合、当該移動にあわせて段階的に合成した音を、集音した音として出力する音出力手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システム。
【請求項２】
前記操作入力受付手段が、前記受付けた操作入力とは異なる操作入力を受付けた場合に、
前記撮像画像表示手段は、前記表示された撮像画像の３６０度の内の任意の一部分以外の部分を表示することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項３】
前記それぞれのユーザから要求を受付ける要求受付手段と、
前記受付けた要求に基づく要求画像を、前記それぞれのユーザが操作するユーザ端末に配信する要求画像配信手段と、を備え、
前記撮像画像表示手段は、前記配信された要求画像を、前記それぞれのユーザが操作するユーザ端末に表示することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項４】
前記表示された撮像画像の３６０度の内の任意の一部分の方向に応じて、前記音出力手段で出力する音を調整する音調整手段と、
を備えることを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項５】
前記音調整手段は、前記複数の集音手段によって集音された音を合成して音を調整することを特徴とする請求項４に記載の全天球カメラ撮像画像表示システム。
【請求項６】
前記取得された撮像画像のキャッシュを作成するキャッシュ作成手段と、を備え、
前記撮像画像配信手段は、前記作成された撮像画像のキャッシュを複数のユーザ端末に配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項７】
前記撮像画像配信手段は、前記複数のユーザ端末に順次配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項８】
前記撮像画像配信手段は、前記複数のユーザ端末に均等になるように配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項９】
全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムが実行する方法であって、
前記全天球カメラで撮像された３６０度の撮像画像を取得するステップと、
前記取得された撮像画像を複数のユーザ端末に配信するステップと、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付けるステップと、
前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示するステップと、
全天球カメラの周囲の音を集音するステップと、
前記前記表示させた任意の一部分の中心が、他の位置に移動した場合、当該移動にあわせて段階的に合成した音を、集音した音として出力するステップと、
を備えることを特徴とする方法。
【請求項１０】
全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムを制御するコンピュータに、
前記全天球カメラで撮像された３６０度の撮像画像を取得するステップ、
前記取得された撮像画像を複数のユーザ端末に配信するステップ、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付けるステップ、
前記受付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示するステップ、
全天球カメラの周囲の音を集音するステップ、
前記前記表示させた任意の一部分の中心が、他の位置に移動した場合、当該移動にあわせて段階的に合成した音を、集音した音として出力するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム
【手続補正書】
【提出日】平成30年8月27日(2018.8.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムであって、
前記全天球カメラで撮像された３６０度の撮像画像を取得する撮像画像取得手段と、
前記取得された撮像画像を複数のユーザ端末に配信する撮像画像配信手段と、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付ける操作入力受付手段と、
前記受け付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示する撮像画像表示手段と、
全天球カメラの周囲の音を集音する複数の集音手段と、
前記表示させた任意の一部分の中心が、他の位置に移動した場合、当該移動にあわせて段階的に合成した音を、集音した音として出力する音出力手段と、
を備えることを特徴とする全天球カメラ撮像画像表示システム。
【請求項２】
前記操作入力受付手段が、前記受け付けた操作入力とは異なる操作入力を受け付けた場合に、
前記撮像画像表示手段は、前記表示された撮像画像の３６０度の内の任意の一部分以外の部分を表示することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項３】
前記それぞれのユーザから要求を受け付ける要求受付手段と、
前記受け付けた要求に基づく要求画像を、前記それぞれのユーザが操作するユーザ端末に配信する要求画像配信手段と、を備え、
前記撮像画像表示手段は、前記配信された要求画像を、前記それぞれのユーザが操作するユーザ端末に表示することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項４】
前記表示された撮像画像の３６０度の内の任意の一部分の方向に応じて、前記音出力手段で出力する音を調整する音調整手段と、
を備えることを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項５】
前記音調整手段は、前記複数の集音手段によって集音された音を合成して音を調整することを特徴とする請求項４に記載の全天球カメラ撮像画像表示システム。
【請求項６】
前記取得された撮像画像のキャッシュを作成するキャッシュ作成手段と、を備え、
前記撮像画像配信手段は、前記作成された撮像画像のキャッシュを複数のユーザ端末に配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項７】
前記撮像画像配信手段は、前記複数のユーザ端末に順次配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項８】
前記撮像画像配信手段は、前記複数のユーザ端末に均等になるように配信することを特徴とする請求項１に記載の全天球カメラ撮像画像表示システム。
【請求項９】
全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムが実行する方法であって、
前記全天球カメラで撮像された３６０度の撮像画像を取得するステップと、
前記取得された撮像画像を複数のユーザ端末に配信するステップと、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付けるステップと、
前記受け付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示するステップと、
全天球カメラの周囲の音を集音するステップと、
前記表示させた任意の一部分の中心が、他の位置に移動した場合、当該移動にあわせて段階的に合成した音を、集音した音として出力するステップと、
を備えることを特徴とする方法。
【請求項１０】
全天球カメラで撮像された３６０度の撮像画像を、複数のユーザ端末に表示する全天球カメラ撮像画像表示システムに、
前記全天球カメラで撮像された３６０度の撮像画像を取得するステップ、
前記取得された撮像画像を複数のユーザ端末に配信するステップ、
前記複数のユーザ端末のそれぞれのユーザから、操作入力を受け付けるステップ、
前記受け付けたそれぞれのユーザからの操作入力に基づいて、前記配信された撮像画像の３６０度の内の任意の一部分を、それぞれユーザ端末に表示するステップ、
全天球カメラの周囲の音を集音するステップ、
前記表示させた任意の一部分の中心が、他の位置に移動した場合、当該移動にあわせて段階的に合成した音を、集音した音として出力するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム
【国際調査報告】
2018003081.tif 000011
2018003081.tif 000012
2018003081.tif 000013
2018003081.tif 000014