(57)【要約】  全天球画像の高画質なリアルタイム配信を可能とする。  撮像部により、１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を得る。送信部により、超広視野角の前面画像および後面画像を外部機器に送信する。例えば、撮像部は、魚眼レンズで取り込んだ前面側の画像を撮像して超広視野角の前面画像を得る第１のイメージャと、魚眼レンズで取り込んだ後面側の画像を撮像して超広視野角の後面画像を得る第２のイメージャを持っており、第２のイメージャは第１のイメージャに対して９０°回転された状態で配置され、第１のイメージャは、魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像し、第２のイメージャは、魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像する。
2019031468.tif 000002
【特許請求の範囲】
【請求項１】
１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を得る撮像部と、
上記超広視野角の前面画像および後面画像を外部機器に送信する送信部を備える
送信装置。
【請求項２】
上記送信部は、上記超広視野角の前面画像および後面画像と共に、該２つの画像を球体の内面に貼り付けて全天球画像を得るためのレンズ情報をさらに送信する
請求項１に記載の送信装置。
【請求項３】
上記送信部は、上記超広視野角の前面画像および後面画像を結合して送信する
請求項１に記載の送信装置。
【請求項４】
上記撮像部は、魚眼レンズで取り込んだ前面側の画像を撮像して上記超広視野角の前面画像を得る第１のイメージャと、魚眼レンズで取り込んだ後面側の画像を撮像して上記超広視野角の後面画像を得る第２のイメージャを持つ
請求項１に記載の送信装置。
【請求項５】
上記第２のイメージャは上記第１のイメージャに対して９０°回転された状態で配置され、
上記第１のイメージャは、上記魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像し、
上記第２のイメージャは、上記魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像する
請求項４に記載の送信装置。
【請求項６】
撮像部が、１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を得る撮像ステップと、
送信部が、上記超広視野角の前面画像および後面画像を外部機器に送信する送信ステップを有する
送信方法。
【請求項７】
外部機器から１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を受信する受信部を備え、
上記超広視野角の前面画像は、魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像して得られたものであり、
上記超広視野角の前面画像は、魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像して得られたものであり、
上記超広視野角の前面画像および後面画像を球体の内面に貼り付けて全天球画像を得る画像処理部をさらに備える
受信装置。
【請求項８】
上記受信部は、上記超広視野角の前面画像および後面画像と共に、該２つの画像を球体の内面に貼り付けて全天球画像を得るためのレンズ情報をさらに受信し、
上記画像処理部は、上記レンズ情報に基づいて上記超広視野角の前面画像および後面画像を球体の内面に貼り付けて上記全天球画像を得る
請求項７に記載の受信装置。
【請求項９】
受信部が、外部機器から１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を受信する受信ステップを有し、
上記超広視野角の前面画像は、魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像して得られたものであり、
上記超広視野角の前面画像は、魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像して得られたものであり、
画像処理部が、上記超広視野角の前面画像および後面画像を球体の内面に貼り付けて全天球画像を得る画像処理ステップをさらに有する
受信方法。
【請求項１０】
魚眼レンズで取り込んだ前面側の画像を撮像して超広視野角の前面画像を得る第１のイメージャと、
魚眼レンズで取り込んだ後面側の画像を撮像して超広視野角の後面画像を得る第２のイメージャを備え、
上記第２のイメージャは上記第１のイメージャに対して９０°回転された状態で配置され、
上記第１のイメージャは、上記魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像し、
上記第２のイメージャは、上記魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像する
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置、受信方法および撮像装置に関し、詳しくは、全天球画像を得るための超視野角画像を取り扱う送信装置等に関する。
【背景技術】
【０００２】
特許文献１には、撮像装置が、バック・ツー・バック（Back to Back）方式で撮像を行って１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を得、これらの２つの画像から正距円筒画像を作成して通信端末に送信すること、また通信端末が、正距円筒画像に基づいて全天球画像を作成し、この全天球画像からユーザの視線方向に応じた画像を切出して表示用画像を得ること、が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６-１９４７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載される技術では、撮像装置では超広視野角の前面画像および後面画像から正距円筒画像を作成して通信端末に送信し、通信端末ではこの正距円筒画像に基づいて全天球画像を作成する構成となっている。正距円筒画像が介在することから、撮像装置における処理負荷が重く、また画質劣化が発生し、高画質なリアルタイム配信の実現が難しくなっている。【０００５】
本技術の目的は、全天球画像の高画質なリアルタイム配信を可能とすることにある。
【課題を解決するための手段】
【０００６】
本技術の概念は、
１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を得る撮像部と、
上記超広視野角の前面画像および後面画像を外部機器に送信する送信部を備える
送信装置にある。【０００７】
本技術において、撮像部により、１８０°以上の視野角を持つ超広視野角の前面画像および後面画像が得られる。例えば、撮像部は、魚眼レンズで取り込んだ前面側の画像を撮像して超広視野角の前面画像を得る第１のイメージャと、魚眼レンズで取り込んだ後面側の画像を撮像して超広視野角の後面画像を得る第２のイメージャを持つ、ようにされてもよい。【０００８】
この場合、例えば、第２のイメージャは第１のイメージャに対して９０°回転された状態で配置され、第１のイメージャは、魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像し、第２のイメージャは、魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像する、ようにされてもよい。【０００９】
このような撮像が行われることで、各イメージャでは魚眼レンズで取り込んだ画像をより大きなサイズで撮像することが可能となり画質の向上を図ることができる。なお、それぞれのイメージャで欠けた画像部分は他方のイメージャで撮像されているので、受信側で全天球画像を得るための支障とはならない。【００１０】
受信側では、２つのイメージャで得られる前面画像と後面画像が野球ボールの２枚の表革と同様の位置関係で結合されて全天球画像が作成される。この場合、前面側において左右方向の結合境界までの視野角がかなり広くなることから、ユーザが視線方向を左右に大きく振った場合に画像に違和感を覚えにくいものとなる。【００１１】
送信部により、超広視野角の前面画像および後面画像が外部機器に送信される。例えば、送信部は、超広視野角の前面画像および後面画像と共に、この２つの画像を球体の内面に貼り付けて全天球画像を得るためのレンズ情報をさらに送信する、ようにされてもよい。このようにレンズ情報が送信されることで、受信側では、このレンズ情報に基づいて超広視野角の前面画像および後面画像から全天球画像を容易かつ適切に作成可能となる。【００１２】
また、例えば、送信部は、超広視野角の前面画像および後面画像を結合して送信する、ようにされてもよい。このように２つの画像を結合して送信することで、当該２つの画像の同期関係を保証できる。【００１３】
このように本技術においては、撮像部で得られた超広視野角の前面画像および後面画像を外部機器に送信するものである。そのため、超広視野角の前面画像および後面画像を正距円筒画像に変換して送信するものではなく、この変換による処理負荷がなく、またこの変換による画質劣化もなく、全天球画像の高画質なリアルタイム配信が可能となる。【００１４】
また、本技術の他の概念は、
外部機器から１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を受信する受信部を備え、
上記超広視野角の前面画像は、魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像して得られたものであり、
上記超広視野角の前面画像は、魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像して得られたものであり、
上記超広視野角の前面画像および後面画像を球体の内面に貼り付けて全天球画像を得る画像処理部をさらに備える
受信装置にある。【００１５】
本技術において、受信部により、外部機器から１８０°以上の視野角を持つ超広視野角の前面画像および後面画像が受信される。超広視野角の前面画像は、魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像して得られたものである。また、超広視野角の前面画像は、魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像して得られたものである。画像処理部により、超広視野角の前面画像および後面画像が球体の内面に貼り付けられて全天球画像が得られる。【００１６】
例えば、受信部は、超広視野角の前面画像および後面画像と共に、この２つの画像を球体の内面に貼り付けて全天球画像を得るためのレンズ情報をさらに受信し、画像処理部は、レンズ情報に基づいて超広視野角の前面画像および後面画像を球体の内面に貼り付けて上記全天球画像を得る、ようにされてもよい。この場合、超広視野角の前面画像および後面画像から全天球画像を容易かつ適切に作成可能となる。【００１７】
このように本技術においては、外部機器から受信された超広視野角の前面画像および後面画像を球体の内面に貼り付けて全天球画像を得るものである。そのため、超広視野角の前面画像および後面画像が変換された正距円筒画像から全天球画像を作成するものでなく、高画質な全天球画像を得ることが可能となる。【００１８】
また、本技術の他の概念は、
魚眼レンズで取り込んだ前面側の画像を撮像して超広視野角の前面画像を得る第１のイメージャと、
魚眼レンズで取り込んだ後面側の画像を撮像して超広視野角の後面画像を得る第２のイメージャを備え、
上記第２のイメージャは上記第１のイメージャに対して９０°回転された状態で配置され、
上記第１のイメージャは、上記魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像し、
上記第２のイメージャは、上記魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像する
撮像装置にある。【００１９】
本技術の撮像装置は、第１のイメージャと第２のイメージャを備えるものである。第１のイメージャにより、魚眼レンズで取り込んだ前面側の画像が撮像されて超広視野角の前面画像が得られる。第２のイメージャにより、魚眼レンズで取り込んだ後面側の画像が撮像されて超広視野角の後面画像が得られる。【００２０】
第２のイメージャは第１のイメージャに対して９０°回転された状態で配置されている。第１のイメージャでは、魚眼レンズで取り込んだ前面側の画像が上端側と下端側の一部を欠いた状態で撮像される。また、第２のイメージャでは、魚眼レンズで取り込んだ後面側の画像が左端側と右端側の一部を欠いた状態で撮像される。【００２１】
このように本技術においては、第２のイメージャは第１のイメージャに対して９０°回転された状態で配置されるものである。そのため、各イメージャでは魚眼レンズで取り込んだ画像をより大きなサイズで撮像することが可能となり画質の向上を図ることが可能となる。なお、それぞれのイメージャで欠けた画像部分は他方のイメージャで撮像されているので、２つの画像から全天球画像を得るための支障とはならない。【００２２】
また、この場合、２つの画像が野球ボールの２枚の表革と同様の位置関係で結合されて全天球画像が作成される。そのため、前面側において左右方向の結合境界までの視野角がかなり広くなることから、ユーザが視線方向を左右に大きく振った場合に画像に違和感を覚えにくいものとなる。
【発明の効果】
【００２３】
本技術によれば、全天球画像の高画質なリアルタイム配信が可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２４】
【図１】実施の形態としての配信システムの構成例を示すブロック図である。
【図２】カメラの構成例を示す図である。
【図３】前面画像および後面画像の撮像部を構成する各イメージャの受光部と魚眼レンズで取り込んだ画像の位置関係を示す図である。
【図４】撮像位置の一例を示す図である。
【図５】カメラにおける画像処理を説明するための図である。
【図６】レンズ情報の一例を示す図である。
【図７】ヘッドマウントディスプレイにおける画像処理を説明するための図である。
【図８】カメラおよびパーソナルコンピュータの構成例を示すブロック図である。
【図９】ヘッドマウントディスプレイの構成例を示すブロック図である。
【図１０】カメラの構成例を示す図である。
【図１１】前面画像および後面画像の撮像部を構成する各イメージャの受光部と魚眼レンズで取り込んだ画像の位置関係を示す図である。
【図１２】パーソナルコンピュータにおける画像処理を説明するための図である。
【図１３】ヘッドマウントディスプレイにおける画像処理を説明するための図である。
【図１４】カメラおよびパーソナルコンピュータの構成例を示すブロック図である。
【図１５】ヘッドマウントディスプレイの構成例を示すブロック図である。
【図１６】ヘッドマウントディスプレイにおける画像処理を説明するための図である。
【図１７】カメラおよびパーソナルコンピュータの構成例を示すブロック図である。
【図１８】ヘッドマウントディスプレイの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２６】
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての配信システム１０の構成例を示している。この配信システム１０は、送信側装置を構成するカメラ１１０およびパーソナルコンピュータ１２０と、クラウドサーバ２１０と、受信側装置を構成するヘッドマウントディスプレイ３１０を有している。この実施の形態において、受信側装置はヘッドマウントディスプレイ３１０としているが、これに限定されるものではなく、その他の装置、例えばプロジェクタ、パーソナルコンピュータ、スマートフォン、タブレットなどであってもよい。
【００２７】
カメラ１１０とパーソナルコンピュータ１２０はデジタルインタフェース、ここではＨＤＭＩ（High-Definition Multimedia Interface）で接続される。また、パーソナルコンピュータ１２０とクラウドサーバ２１０はインターネット回線で接続される。さらに、クラウドサーバ２１０とヘッドマウントディスプレイ３１０はインターネット回線で接続される。なお、「ＨＤＭＩ」は、登録商標である。
【００２８】
カメラ１１０は、撮像装置を構成する。このカメラ１１０は、被写体を撮像して、１８０°以上の視野角、例えば２２０°あるいは２５０°の視野角を持つ超広視野角の前面画像および後面画像を得る。画像は、動画、静止画のいずれであってもよいが、ここでは動画であるとする。
【００２９】
パーソナルコンピュータ１２０は、カメラ１１０で得られた超広視野角の前面画像および後面画像を、クラウドサーバ２１０を通じて、外部機器としてのヘッドマウントディスプレイ３１０に送信する。この場合、パーソナルコンピュータ１２０は、画像データをＨ．２６４/ＡＶＣ等の動画圧縮フォーマットで符号化して得られた動画ストリームをＭＰＥＧ２−ＴＳ等のコンテナに載せて、ＩＰストリーミングデータとして送信する。
【００３０】
ここで、パーソナルコンピュータ１２０は動画ストリームの送信と共に、超広視野角の前面画像および後面画像を球体の内面に貼り付けて全天球画像を得るためのレンズ情報をさらに送信する。このようにレンズ情報を送信することで、ヘッドマウントディスプレイ３１０では、このレンズ情報に基づいて超広視野角の前面画像および後面画像から全天球画像を容易かつ適切に作成することが可能となる。
【００３１】
このレンズ情報はパーソナルコンピュータ１２０に送信側のユーザの操作により与えられる。この場合、レンズ情報はユーザがキーボードから手入力で与えてもよく、あるいはＵＳＢメモリ等の記憶媒体から与えてもよい。なお、レンズ情報の詳細については、後述する。なお、レンズ情報を動画ストリームと共に送信することは必ずしも必要ではなく、ヘッドマウントディスプレイ３１０に別手段により供給して用いる構成であってもよい。
【００３２】
クラウドサーバ２１０は、受信サーバ２１１および配信サーバ２１２からなっている。受信サーバ２１１は、パーソナルコンピュータ１２０から送信されてくるＩＰストリーミングデータを受信する。配信サーバ２１２は、受信サーバ２１１で受信されたＩＰストリーミングデータをヘッドマウントディスプレイ３１０に送信（配信）する。
【００３３】
ヘッドマウントディスプレイ３１０は、配信サーバ２１２からＩＰストリーミングデータを受信し、超広視野角の前面画像および後面画像を取り出し、これらの画像をレンズ情報に基づいて球体の内面に貼り付けて全天球画像を作成する。そして、ヘッドマウントディスプレイ３１０は、全天球画像からユーザの視線方向に応じた領域の画像を抽出してディスプレイに表示する。なお、受信側装置がヘッドマウントディスプレイ３１０でない場合であっても、同様にして全天球画像を作成し、この全天球画像を用いた画像表示が行われる。
【００３４】
この実施の形態においては、カメラ１１０、パーソナルコンピュータ１２０、ヘッドマウントディスプレイ３１０の機能が異なる第１から第３の形態が存在する。以下、各形態について、さらに説明する。
【００３５】
「第１の形態」
カメラ１１０において、前面画像の撮像部を構成するイメージャと後面画像の撮像部を構成するイメージャの水平、垂直の位置関係は同一とされる。この場合、いずれのイメージャも、その水平方向がカメラ１１０の水平方向に合致し、その垂直方向がカメラ１１０の垂直方向に合致するように配置されている。そして、この場合、各イメージャでは魚眼レンズで取り込んだ画像の全体が撮像される。
【００３６】
図２（ａ）〜（ｃ）は、カメラ１１０の構成例を示している。図２（ａ）はカメラ１１０の外観を示す斜視図である。筐体１１１の上部に撮像部が配置されており、前面画像の撮像部を構成する魚眼レンズ１１２ｆと、後面画像の撮像部を構成する魚眼レンズ１１２ｂが存在する。
【００３７】
図２（ｂ）は、筐体１１１の一部を取り除いた状態の斜視図である。また、図２（ｃ）は、筐体１１１を全て取り除いた状態の側面図を示している。カメラ１１０の内部には、魚眼レンズ１１２ｆで取り込んだ前面側の画像を撮像するイメージャ１１３ｆと、魚眼レンズ１１２ｂで取り込んだ後面側の画像を撮像するイメージャ１１３ｂが存在する。イメージャ１１３ｆとイメージャ１１３ｂの水平、垂直の位置関係は同一となっている。
【００３８】
図３（ａ）は、図４に示す撮像位置で撮像した場合における、前面側の画像を撮像するイメージャ１１３ｆの受光部と魚眼レンズ１１２ｆで取り込んだ画像の位置関係を示している。この場合、魚眼レンズ１１２ｆで取り込んだ画像はイメージャ１１３ｆの受光部内に全て収まっており、イメージャ１１３ｆでは魚眼レンズ１１２ｆで取り込んだ画像の全体が撮像される。
【００３９】
同様に、図３（ｂ）は、図４に示す撮像位置で撮像した場合における、後面側の画像を撮像するイメージャ１１３ｂの受光部と魚眼レンズ１１２ｂで取り込んだ画像の位置関係を示している。この場合、魚眼レンズ１１２ｂで取り込んだ画像はイメージャ１１３ｂの受光部内に全て収まっており、イメージャ１１３ｂでは魚眼レンズ１１２ｂで取り込んだ画像の全体が撮像される。
【００４０】
図３（ａ），（ｂ）において、“３８４０”、“２１６０”の数値は、イメージャ１１３ｆ,１１３ｂの解像度を示しており、水平解像度が３８４０、垂直解像度が２１６０であることを示している。なお、このイメージャ１１３ｆ,１１３ｂの解像度は一例であって、この解像度に限定されるものではない。
【００４１】
また、カメラ１１０において、イメージャ１１３ｆ,１１３ｂで撮像されて得られた超広視野角の前面画像よび後面画像は結合され、この結合画像の画像データが、パーソナルコンピュータ１２０に送られる。
【００４２】
図５（ａ），（ｂ）は、イメージャ１１３ｆ,１１３ｂで撮像された超広視野角の前面画像および後面画像の一例を示し、図５（ｃ）は結合画像の一例を示している。結合画像においては、超広視野角の前面画像よび後面画像に例えば圧縮処理が施され、これらの画像は水平方向に並べて配置されている。例えば、結合画像においては、水平解像度が４０９６、垂直解像度が２１６０とされる。
【００４３】
パーソナルコンピュータ１２０において、カメラ１１０から送られてくる結合画像の画像データが符号化されて動画ストリームが得られる。そして、この動画ストリームが、ＭＰＥＧ２−ＴＳ等のコンテナに載せられ、ＩＰストリーミングデータとしてクラウドサーバ２１０に送信される。
【００４４】
パーソナルコンピュータ１２０からは、動画ストリームと共に、前面側および後面側の２つの撮像部のそれぞれに対するレンズ情報が同時に送信される。図６は、レンズ情報の一例を示している。詳細説明は省略するが、このレンズ情報には、イメージャの解像度等の受光部情報、このイメージャの受光部に投影される魚眼レンズで取り込んだ画像の位置、サイズ等の情報が含まれている。
【００４５】
ヘッドマウントディスプレイ３１０において、ＩＰストリーミングデータから取り出された結合画像から超広視野角の前面画像および後面画像が分離され、これらの画像がレンズ情報に基づいて球体の内面に貼り付けられて全天球画像が作成される。そして、ヘッドマウントディスプレイ３１０では、全天球画像からユーザの視線方向に応じた領域の画像が抽出されてディスプレイ（表示部）に表示される。
【００４６】
図７（ａ）は、結合画像の一例を示している。図７（ｂ），（ｃ）は、結合画像から分離された超広視野角の前面画像および後面画像の一例を示している。また、図７（ｄ）は、分離された超広視野角の前面画像および後面画像がレンズ情報に基づいて球体の内面に貼り付けられて作成された全天球画像の一例を示している。図面の簡単化のため、貼り付けられた画像の図示は省略されている。なお、“Ｏ”は、球体の中心を示している。
【００４７】
図８は、カメラ１１０およびパーソナルコンピュータ１２０の構成例を示している。なお、この構成例において、本技術とは直接関係しない部分については、適宜省略されている。カメラ２１０は、制御部１１７と、魚眼レンズ１１２ｆ，１１２ｂと、イメージャ１１３ｆ，１１３ｂと、撮像信号処理部１１４ｆ，１１４ｂと、前後面画像結合部１１５と、ＨＤＭＩ送信部１１６を有している。
【００４８】
制御部１１７は、カメラの１１０の各部の動作を制御する。魚眼レンズ１１２ｆおよびイメージャ１１３ｆは、前面側の撮像部を構成している。魚眼レンズ１１２ｆで取り込んだ前面側の画像はイメージャ１１３ｆの受光部に投影され（図３（ａ）参照）、イメージャ１１３ｆからは、超広視野角の前面画像（図５（ａ）参照）の撮像信号が得られる。
【００４９】
撮像信号処理部１１４ｆは、イメージャ１１３ｆで得られた超広視野角の前面画像の撮像信号（アナログ信号）に対して、サンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、超広視野角の前面画像の画像データを生成する。
【００５０】
魚眼レンズ１１２ｂおよびイメージャ１１３ｂは、後面側の撮像部を構成している。魚眼レンズ１１２ｂで取り込んだ後面側の画像はイメージャ１１３ｂの受光部に投影され（図３（ｂ）参照）、イメージャ１１３ｂからは、超広視野角の後面画像（図５（ｂ）参照）の撮像信号が得られる。
【００５１】
撮像信号処理部１１４ｂは、イメージャ１１３ｂで得られた超広視野角の後面画像の撮像信号（アナログ信号）に対して、サンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、超広視野角の後面画像の画像データを生成する。
【００５２】
前後面画像結合部１１５は、撮像信号処理部１１４ｆ，１１４ｂで得られた超広視野角の前面画像および後面画像の画像データを結合して、結合画像（図５（ｃ）参照）の画像データを生成する。ＨＤＭＩ送信部１１６は、ＨＤＭＩに準拠した通信により、ＨＤＭＩ伝送路を介して、パーソナルコンピュータ１２０に、前後面画像結合部１１５で得られた結合画像の画像データを送信する。
【００５３】
パーソナルコンピュータ１２０は、制御部１２１と、ユーザ操作部１２２と、ＨＤＭＩ受信部１２３と、符号化部１２４と、ネットワーク送信部１２５を有している。制御部１２１は、パーソナルコンピュータ１２０の各部の動作を制御する。ユーザ操作部１２２は、ユーザが種々の操作を行うためのキーボード、マウス、タッチパネル、リモコンなどである。
【００５４】
ＨＤＭＩ受信部１２３は、ＨＤＭＩに準拠した通信により、カメラ１１０から、ＨＤＭＩ伝送路を介して、結合画像の画像データを受信する。符号化部１２４は、結合画像の画像データをＨ．２６４/ＡＶＣ等の動画圧縮フォーマットで符号化して動画ストリームを得る。
【００５５】
ネットワーク送信部１２５は、符号化部１２４で得られた動画ストリームを、ＴＳパケット化し、さらにＩＰパケット化し、ＩＰストリーミングデータとしてクラウドサーバ２１０にインターネット回線で送信する。また、ネットワーク送信部１２５は、ユーザ操作部１２２からのユーザ操作で与えられるレンズ情報（図６参照）を、動画ストリームと共に、送信する。
【００５６】
図９は、ヘッドマウントディスプレイ３１０の構成例を示している。このヘッドマウントディスプレイ３１０は、制御部３１１と、ユーザ操作部３１２と、ネットワーク受信部３１３と、復号化部３１４と、前後面画像分離部３１５と、画像貼り付け部３１６と、表示画像取得部３１７と、表示部３１８と、センサ部３１９を有している。
【００５７】
制御部３１１は、ヘッドマウントディスプレイ３１０の各部の動作を制御する。ユーザ操作部３１２は、ユーザが種々の操作を行うためのキー、ボタン、タッチパネル、リモコンなどである。ネットワーク受信部３１３は、クラウドサーバ２１０から送られてくるＩＰストリーミングデータとレンズ情報を受信する。
【００５８】
ネットワーク受信部３１３は、受信されたレンズ情報を制御部３１１に送る。また、ネットワーク受信部３１３は、受信されたＩＰストリーミングデータを処理して、結合画像の符号化画像データからなる動画ストリームを得る。
【００５９】
復号化部３１４は、ネットワーク受信部３１３で得られた動画ストリームに対して復号化処理を施し、結合画像（図７（ａ）参照）の画像データを得る。前後面画像分離部３１５は、復号化部３１４で得られた結合画像の画像データを処理し、超広視野角の前面画像（図７（ｂ）参照）および後面画像（図７（ｃ）参照）の画像データを得る。
【００６０】
画像貼り付け部３１６は、前後面画像分離部３１５で得られた超広視野角の前面画像および後面画像の画像データと、レンズ情報に基づいて、超広視野角の前面画像および後面画像を球体の内面に貼り付けて（マッピングして）、全天球画像（図７（ｄ）参照）を作成する。
【００６１】
センサ部３１９は、加速度・方位センサ等の各種センサの検出出力に基づいてユーザの視線方向を検出する。表示画像取得部３１７は、画像貼り付け部３１６で作成された全天球画像から、センサ部３１９で検出されたユーザの視線方向に応じた領域の画像を表示画像として抽出し、その画像データを出力する。表示部（ディスプレイ）３１８は、表示画像取得部３１７で得られた画像データによる画像を表示する。
【００６２】
上述した第１の形態においては、カメラ１１０で、撮像して得られた超広視野角の前面画像および後面画像を結合し、パーソナルコンピュータ１２０で、この結合画像の画像データを、クラウドサーバ２１０を通じて、ヘッドマウントディスプレイ３１０に送信するものである。超広視野角の前面画像および後面画像を正距円筒画像に変換して送信するものではなく、この変換による処理負荷がなく、またこの変換による画質劣化もなく、全天球画像の高画質なリアルタイム配信が可能となる。
【００６３】
「第２の形態」
カメラ１１０において、前面画像の撮像部を構成するイメージャと後面画像の撮像部を構成するイメージャの水平、垂直の位置関係は異なるものとされる。この場合、前面画像の撮像部を構成するイメージャは、その水平方向がカメラ１１０の水平方向に合致し、その垂直方向がカメラ１１０の垂直方向に合致するように配置されている。しかし、後面画像の撮像部を構成するイメージャは、前面画像の撮像部を構成するイメージャに対して９０°回転された状態にあり、その水平方向がカメラ１１０の垂直方向に合致し、その垂直方向がカメラ１１０の水平方向に合致するように配置されている。
【００６４】
そして、この場合、各イメージャでは魚眼レンズで取り込んだ画像がその一部を欠いた状態で撮像される。すなわち、前面画像の撮像部を構成するイメージャでは、魚眼レンズで取り込まれた前面側の画像が上端側と下端側の一部を欠いた状態で撮像される。一方、後面画像の撮像部を構成するイメージャでは、魚眼レンズで取り込まれた後面側の画像が左端側と右端側の一部を欠いた状態で撮像される。
【００６５】
図１０（ａ）〜（ｃ）は、カメラ１１０の構成例を示している。図１０（ａ）はカメラ１１０の外観を示す斜視図である。筐体１１１の上部に撮像部が配置されており、前面画像の撮像部を構成する魚眼レンズ１１２ｆと、後面画像の撮像部を構成する魚眼レンズ１１２ｂが存在する。
【００６６】
図１０（ｂ）は、筐体１１１の一部を取り除いた状態の斜視図である。また、図１０（ｃ）は、筐体１１１の前部を取り除いた状態の側面図を示している。カメラ１１０の内部には、魚眼レンズ１１２ｆで取り込んだ前面側の画像を撮像するイメージャ１１３ｆと、魚眼レンズ１１２ｆで取り込んだ前面側の画像を撮像するイメージャ１１３ｂが存在する。イメージャ１１３ｆとイメージャ１１３ｂの水平、垂直の位置関係は異なるものとされる。すなわち、イメージャ１１３ｂは、イメージャ１１３ｆに対して９０°回転された状態にある。
【００６７】
図１１（ａ）は、図４に示す撮像位置で撮像した場合における、前面側の画像を撮像するイメージャ１１３ｆの受光部と魚眼レンズ１１２ｆで取り込んだ画像の位置関係を示している。この場合、魚眼レンズ１１２ｆで取り込んだ画像の上端側と下端側の一部がイメージャ１１３ｆの受光部内から外れ、イメージャ１１３ｆでは魚眼レンズ１１２ｆで取り込んだ画像が上端側と下端側の一部を欠いた状態で撮像される。
【００６８】
同様に、図１１（ｂ）は、図４に示す撮像位置で撮像した場合における、後面側の画像を撮像するイメージャ１１３ｂの受光部と魚眼レンズ１１２ｂで取り込んだ画像の位置関係を示している。この場合、魚眼レンズ１１２ｂで取り込んだ画像の左端側と右端側の一部がイメージャ１１３ｂの受光部内から外れ、イメージャ１１３ｂでは魚眼レンズ１１２ｂで取り込んだ画像が左端側と右端側の一部を欠いた状態で撮像される。
【００６９】
図１１（ａ），（ｂ）において、“３８４０”、“２１６０”の数値は、イメージャ１１３ｆ,１１３ｂの解像度を示しており、水平解像度が３８４０、垂直解像度が２１６０であることを示している。なお、このイメージャ１１３ｆ,１１３ｂの解像度は一例であって、この解像度に限定されるものではない。
【００７０】
パーソナルコンピュータ１２０において、カメラ１１０で撮像されて得られた超広視野角の前面画像よび後面画像は結合され、この結合画像の画像データが符号化されて動画ストリームが得られる。そして、この動画ストリームが、ＭＰＥＧ２−ＴＳ等のコンテナに載せられ、ＩＰストリーミングデータとしてクラウドサーバ２１０に送信される。
【００７１】
図１２（ａ），（ｂ）は、イメージャ１１３ｆ,１１３ｂで撮像された超広視野角の前面画像および後面画像の一例を示し、図１２（ｃ）は結合画像の一例を示している。結合画像においては、超広視野角の前面画像よび後面画像に例えば水平方向の圧縮処理が施されて、水平方向に並べて配置されている。例えば、結合画像においては、水平解像度が４０９６、垂直解像度が２１６０とされる。
【００７２】
パーソナルコンピュータ１２０からは、動画ストリームと共に、前面側および後面側の２つの撮像部のそれぞれに対するレンズ情報（図６参照）もクラウドサーバ２１０に送信される。詳細説明は省略するが、このレンズ情報には、イメージャの解像度等の受光部情報、このイメージャに受光部に投影される魚眼レンズで取り込んだ画像の位置、サイズ等の情報が含まれている。
【００７３】
ヘッドマウントディスプレイ３１０において、ＩＰストリーミングデータから取り出された結合画像から超広視野角の前面画像および後面画像が分離され、そして後面画像には９０°の回転処理が施され、その後、これらの超広視野角の前面画像および後面画像がレンズ情報に基づいて球体の内面に野球ボールの２枚の表革と同様の位置関係で貼り付けられて、全天球画像が作成される。そして、ヘッドマウントディスプレイ３１０では、全天球画像からユーザの視線方向に応じた領域の画像が抽出されてディスプレイに表示される。
【００７４】
図１３（ａ）は、結合画像の一例を示している。図１３（ｂ），（ｃ）は、結合画像から分離された超広視野角の前面画像および後面画像の一例を示している。また、図１３（ｄ）は、９０°の回転処理が施された後の超広視野角の後面画像の一例を示している。そして、図１３（ｅ）は、超広視野角の前面画像および後面画像がレンズ情報に基づいて球体の内面に貼り付けられて作成された全天球画像の一例を示している。図面の簡単化のため、貼り付けられた画像の図示は省略されている。また、理解を容易とするため、野球ボールの２枚の表革の縫い目を表示している。なお、“Ｏ”は、球体の中心を示している。
【００７５】
図１４は、カメラ１１０およびパーソナルコンピュータ１２０の構成例を示している。なお、この構成例において、本技術とは直接関係しない部分については、適宜省略されている。カメラ２１０は、制御部１１７と、魚眼レンズ１１２ｆ，１１２ｂと、イメージャ１１３ｆ，１１３ｂと、撮像信号処理部１１４ｆｆ，１１４ｂと、ＨＤＭＩ送信部１１６ｆ，１１６ｂを有している。
【００７６】
制御部１１７は、カメラの１１０の各部の動作を制御する。魚眼レンズ１１２ｆおよびイメージャ１１３ｆは、前面側の撮像部を構成している。魚眼レンズ１１２ｆで取り込んだ前面側の画像はイメージャ１１３ｆの受光部に上端側と下端側の一部を欠いた状態で投影され（図１１（ａ）参照）、イメージャ１１３ｆからは、上端側と下端側の一部を欠いた状態の超広視野角の前面画像（図１２（ａ）参照）の撮像信号が得られる。
【００７７】
撮像信号処理部１１４ｆは、イメージャ１１３ｆで得られた超広視野角の前面画像の撮像信号（アナログ信号）に対して、サンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、超広視野角の前面画像の画像データを生成する。
【００７８】
魚眼レンズ１１２ｂおよびイメージャ１１３ｂは、前面側の撮像部を構成している。魚眼レンズ１１２ｂで取り込んだ前面側の画像はイメージャ１１３ｂの受光部に左端側と右端側の一部を欠いた状態で投影され（図１１（ｂ）参照）、イメージャ１１３ｂからは、左端側と右端側の一部を欠いた状態の超広視野角の後面画像（図１２（ｂ）参照）の撮像信号が得られる。
【００７９】
撮像信号処理部１１４ｂは、イメージャ１１３ｂで得られた超広視野角の後面画像の撮像信号（アナログ信号）に対して、サンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、超広視野角の後面画像の画像データを生成する。
【００８０】
ＨＤＭＩ送信部１１６ｆは、ＨＤＭＩに準拠した通信により、ＨＤＭＩ伝送路を介して、パーソナルコンピュータ１２０に、撮像信号処理部１１４ｆで得られた超広視野角の前面画像（図１２（ａ）参照）の画像データを送信する。また、ＨＤＭＩ送信部１１６ｂは、ＨＤＭＩに準拠した通信により、ＨＤＭＩ伝送路を介して、パーソナルコンピュータ１２０に、撮像信号処理部１１４ｂで得られた超広視野角の後面画像（図１２（ｂ）参照）の画像データを送信する。
【００８１】
パーソナルコンピュータ１２０は、制御部１２１と、ユーザ操作部１２２と、ＨＤＭＩ受信部１２３ｆ，１２３ｂと、前後面画像結合部１２６と、符号化部１２４と、ネットワーク送信部１２５を有している。制御部１２１は、パーソナルコンピュータ１２０の各部の動作を制御する。ユーザ操作部１２２は、ユーザが種々の操作を行うためのキーボード、マウス、タッチパネル、リモコンなどである。
【００８２】
ＨＤＭＩ受信部１２３ｆは、ＨＤＭＩに準拠した通信により、カメラ１１０から、ＨＤＭＩ伝送路を介して、超広視野角の前面画像（図１２（ａ）参照）の画像データを受信する。また、ＨＤＭＩ受信部１２３ｂは、ＨＤＭＩに準拠した通信により、カメラ１１０から、ＨＤＭＩ伝送路を介して、超広視野角の後面画像（図１２（ｂ）参照）の画像データを受信する。
【００８３】
前後面画像結合部１１５は、ＨＤＭＩ受信部１２３ｆ，１２３ｂで受信された超広視野角の前面画像および後面画像の画像データを結合して、結合画像（図１２（ｃ）参照）の画像データを生成する。符号化部１２４は、結合画像の画像データをＨ．２６４/ＡＶＣ等の動画圧縮フォーマットで符号化して動画ストリームを得る。
【００８４】
ネットワーク送信部１２５は、符号化部１２４で得られた動画ストリームを、ＴＳパケット化し、さらにＩＰパケット化し、ＩＰストリーミングデータとしてクラウドサーバ２１０にインターネット回線で送信する。また、ネットワーク送信部１２５は、ユーザ操作部１２２からのユーザ操作で与えられるレンズ情報（図６参照）を、動画ストリームと共に、送信する。
【００８５】
図１５は、ヘッドマウントディスプレイ３１０の構成例を示している。このヘッドマウントディスプレイ３１０は、制御部３１１と、ユーザ操作部３１２と、ネットワーク受信部３１３と、復号化部３１４と、前後面画像分離部３１５と、後面画像回転部３２０と、画像貼り付け部３１６と、表示画像取得部３１７と、表示部３１８と、センサ部３１９を有している。
【００８６】
制御部３１１は、ヘッドマウントディスプレイ３１０の各部の動作を制御する。ユーザ操作部３１２は、ユーザが種々の操作を行うためのキー、ボタン、タッチパネル、リモコンなどである。ネットワーク受信部３１３は、クラウドサーバ２１０から送られてくるＩＰストリーミングデータとレンズ情報を受信する。
【００８７】
ネットワーク受信部３１３は、受信されたレンズ情報を制御部３１１に送る。また、ネットワーク受信部３１３は、受信されたＩＰストリーミングデータを処理して、結合画像の符号化画像データからなる動画ストリームを得る。
【００８８】
復号化部３１４は、ネットワーク受信部３１３で得られた動画ストリームに対して復号化処理を施し、結合画像（図１３（ａ）参照）の画像データを得る。前後面画像分離部３１５は、復号化部３１４で得られた結合画像の画像データを処理し、超広視野角の前面画像（図１３（ｂ）参照）および後面画像（図１３（ｃ）参照）の画像データを得る。
【００８９】
後面画像回転部３２０は、前後面画像分離部３１５で得られた超広視野角の後面画像の画像データに対して９０°回転する処理を施し、水平、垂直の関係を本来の位置に戻した超広視野角の後面画像（図１３（ｄ）参照）の画像データを得る。画像貼り付け部３１６は、前後面画像分離部３１５で得られた超広視野角の前面画像および後面画像回転部３２０で回転処理された超広視野角の後面画像の各画像データとレンズ情報に基づいて、超広視野角の前面画像および後面画像を球体の内面に貼り付けて（マッピングして）、全天球画像（図１３（e）参照）を作成する。
【００９０】
ここで、超広視野角の前面画像および後面画像は、球体の内面に、野球ボールの２枚の表革と同様の位置関係で貼り付けられて全天球画像が作成される。この場合、前面側において左右方向の結合境界までの視野角がかなり広くなることから、ユーザが視線方向を左右に大きく振った場合に画像に違和感を覚えにくいものとなる。なお、上述していないが、カメラ１１０においては、結合境界が例えばステージ方向等の主被写体方向と重ならない位置にくるように撮像方向が設定される。
【００９１】
センサ部３１９は、加速度・方位センサ等の各種センサの検出出力に基づいてユーザの視線方向を検出する。表示画像取得部３１７は、画像貼り付け部３１６で作成された全天球画像から、センサ部３１９で検出されたユーザの視線方向に応じた領域の画像を表示画像として抽出し、その画像データを出力する。表示部（ディスプレイ）３１８は、表示画像取得部３１７で得られた画像データによる画像を表示する。
【００９２】
上述した第２の形態においては、カメラ１１０で得られた超広視野角の前面画像および後面画像をパーソナルコンピュータ１２０で結合し、この結合画像の画像データを、クラウドサーバ２１０を通じて、ヘッドマウントディスプレイ３１０に送信するものである。そのため、超広視野角の前面画像および後面画像を正距円筒画像に変換して送信するものではなく、この変換による処理負荷がなく、またこの変換による画質劣化もなく、全天球画像の高画質なリアルタイム配信が可能となる。
【００９３】
また、第２の形態においては、後面画像の撮像部を構成するイメージャ１１３ｂは、前面画像の撮像部を構成するイメージャ１１３ｆに対して９０°回転された状態で配置され、イメージャ１１３ｆは、魚眼レンズ１１２ｆで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像し、イメージャ１１３ｂは、魚眼レンズ１１２ｂで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像するものである。
【００９４】
そのため、各イメージャでは魚眼レンズで取り込んだ画像をより大きなサイズで撮像することが可能となり画質の向上を図ることができる。なお、それぞれのイメージャで欠けた画像部分は他方のイメージャで撮像されているので、ヘッドマウントディスプレイ３１０で全天球画像を得るための支障とはならない。
【００９５】
また、第２の形態においては、ヘッドマウントディスプレイ３１０は、２つのイメージャで得られる前面画像と後面画像が野球ボールの２枚の表革と同様の位置関係で結合して全天球画像を作成する。そのため、前面側において左右方向の結合境界までの視野角がかなり広くなることから、ユーザが視線方向を左右に大きく振った場合に画像に違和感を覚えにくいものとなる。
【００９６】
「第３の形態」
カメラ１１０において、第２の形態と同様に、前面画像の撮像部を構成するイメージャと後面画像の撮像部を構成するイメージャの水平、垂直の位置関係は異なるものとされる。この場合、前面画像の撮像部を構成するイメージャは、その水平方向がカメラ１１０の水平方向に合致し、その垂直方向がカメラ１１０の垂直方向に合致するように配置されている。しかし、後面画像の撮像部を構成するイメージャは、前面画像の撮像部を構成するイメージャに対して９０°回転された状態にあり、その水平方向がカメラ１１０の垂直方向に合致し、その垂直方向がカメラ１１０の水平方向に合致するように配置されている。
【００９７】
そして、この場合、各イメージャでは魚眼レンズで取り込んだ画像がその一部を欠いた状態で撮像される。すなわち、前面画像の撮像部を構成するイメージャでは、魚眼レンズで取り込まれた前面側の画像が上端側と下端側の一部を欠いた状態で撮像される。一方、後面画像の撮像部を構成するイメージャでは、魚眼レンズで取り込まれた後面側の画像が左端側と右端側の一部を欠いた状態で撮像される。
【００９８】
パーソナルコンピュータ１２０において、カメラ１１０で撮像されて得られた超広視野角の前面画像よび後面画像の画像データはそれぞれ符号化されて動画ストリームが得られる。そして、各動画ストリームが、ＭＰＥＧ２−ＴＳ等のコンテナに載せられ、ＩＰストリーミングデータとしてクラウドサーバ２１０に送信される。
【００９９】
パーソナルコンピュータ１２０からは、各動画ストリームと共に、前面側および後面側の２つの撮像部のそれぞれに対するレンズ情報（図６参照）もクラウドサーバ２１０に送信される。詳細説明は省略するが、このレンズ情報には、イメージャの解像度等の受光部情報、このイメージャに受光部に投影される魚眼レンズで取り込んだ画像の位置、サイズ等の情報が含まれている。
【０１００】
ヘッドマウントディスプレイ３１０において、ＩＰストリーミングデータから超広視野角の前面画像および後面画像が取り出され、そして後面画像には９０°の回転処理が施され、その後、これらの超広視野角の前面画像および後面画像がレンズ情報に基づいて球体の内面に野球ボールの２枚の表革と同様の位置関係で貼り付けられて全天球画像が作成される。そして、ヘッドマウントディスプレイ３１０では、全天球画像からユーザの視線方向に応じた領域の画像が抽出されてディスプレイに表示される。
【０１０１】
図１６（ａ）は、超広視野角の前面画像の一例を示している。図１６（ｂ）は、超広視野角の後面画像の一例を示している。また、図１６（ｃ）は、９０°の回転処理が施された後の超広視野角の後面画像の一例を示している。そして、図１６（ｄ）は、超広視野角の前面画像および後面画像がレンズ情報に基づいて球体の内面に貼り付けられて作成された全天球画像の一例を示している。図面の簡単化のため、貼り付けられた画像の図示は省略されている。また、理解を容易とするため、野球ボールの２枚の表革の縫い目を表示している。なお、“Ｏ”は、球体の中心を示している。
【０１０２】
図１７は、カメラ１１０およびパーソナルコンピュータ１２０の構成例を示している。なお、この構成例において、本技術とは直接関係しない部分については、適宜省略されている。カメラ２１０は、制御部１１７と、魚眼レンズ１１２ｆ，１１２ｂと、イメージャ１１３ｆ，１１３ｂと、撮像信号処理部１１４ｆｆ，１１４ｂと、ＨＤＭＩ送信部１１６ｆ，１１６ｂを有している。
【０１０３】
制御部１１７は、カメラの１１０の各部の動作を制御する。魚眼レンズ１１２ｆおよびイメージャ１１３ｆは、前面側の撮像部を構成している。魚眼レンズ１１２ｆで取り込んだ前面側の画像はイメージャ１１３ｆの受光部に上端側と下端側の一部を欠いた状態で投影され（図１１（ａ）参照）、イメージャ１１３ｆからは、上端側と下端側の一部を欠いた状態の超広視野角の前面画像（図１２（ａ）参照）の撮像信号が得られる。
【０１０４】
撮像信号処理部１１４ｆは、イメージャ１１３ｆで得られた超広視野角の前面画像の撮像信号（アナログ信号）に対して、サンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、超広視野角の前面画像の画像データを生成する。
【０１０５】
魚眼レンズ１１２ｂおよびイメージャ１１３ｂは、前面側の撮像部を構成している。魚眼レンズ１１２ｂで取り込んだ前面側の画像はイメージャ１１３ｂの受光部に左端側と右端側の一部を欠いた状態で投影され（図１１（ｂ）参照）、イメージャ１１３ｂからは、左端側と右端側の一部を欠いた状態の超広視野角の後面画像（図１２（ｂ）参照）の撮像信号が得られる。
【０１０６】
撮像信号処理部１１４ｂは、イメージャ１１３ｂで得られた超広視野角の後面画像の撮像信号（アナログ信号）に対して、サンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、超広視野角の後面画像の画像データを生成する。
【０１０７】
ＨＤＭＩ送信部１１６ｆは、ＨＤＭＩに準拠した通信により、ＨＤＭＩ伝送路を介して、パーソナルコンピュータ１２０に、撮像信号処理部１１４ｆで得られた超広視野角の前面画像（図１２（ａ）参照）の画像データを送信する。また、ＨＤＭＩ送信部１１６ｂは、ＨＤＭＩに準拠した通信により、ＨＤＭＩ伝送路を介して、パーソナルコンピュータ１２０に、撮像信号処理部１１４ｂで得られた超広視野角の後面画像（図１２（ｂ）参照）の画像データを送信する。
【０１０８】
パーソナルコンピュータ１２０は、制御部１２１と、ユーザ操作部１２２と、ＨＤＭＩ受信部１２３ｆ，１２３ｂと、符号化部１２４ｆ，１２４ｂと、ネットワーク送信部１２５を有している。制御部１２１は、パーソナルコンピュータ１２０の各部の動作を制御する。ユーザ操作部１２２は、ユーザが種々の操作を行うためのキーボード、マウス、タッチパネル、リモコンなどである。
【０１０９】
ＨＤＭＩ受信部１２３ｆは、ＨＤＭＩに準拠した通信により、カメラ１１０から、ＨＤＭＩ伝送路を介して、超広視野角の前面画像（図１２（ａ）参照）の画像データを受信する。また、ＨＤＭＩ受信部１２３ｂは、ＨＤＭＩに準拠した通信により、カメラ１１０から、ＨＤＭＩ伝送路を介して、超広視野角の後面画像（図１２（ｂ）参照）の画像データを受信する。
【０１１０】
符号化部１２４ｆは、ＨＤＭＩ受信部１２３ｆで受信された超広視野角の前面画像の画像データをＨ．２６４/ＡＶＣ等の動画圧縮フォーマットで符号化して前面画像の動画ストリームを得る。また、符号化部１２４ｆは、ＨＤＭＩ受信部１２３ｂで受信された超広視野角の後面画像の画像データをＨ．２６４/ＡＶＣ等の動画圧縮フォーマットで符号化して後面画像の動画ストリームを得る。
【０１１１】
ネットワーク送信部１２５は、符号化部１２４ｆ，１２４ｂで得られた各動画ストリームを、ＴＳパケット化し、さらにＩＰパケット化し、ＩＰストリーミングデータとしてクラウドサーバ２１０にインターネット回線で送信する。また、ネットワーク送信部１２５は、ユーザ操作部１２２からのユーザ操作で与えられるレンズ情報（図６参照）を、動画ストリームと共に、送信する。
【０１１２】
図１８は、ヘッドマウントディスプレイ３１０の構成例を示している。このヘッドマウントディスプレイ３１０は、制御部３１１と、ユーザ操作部３１２と、ネットワーク受信部３１３と、復号化部３１４ｆ，３１４ｂと、後面画像回転部３２０と、画像貼り付け部３１６と、表示画像取得部３１７と、表示部３１８と、センサ部３１９を有している。
【０１１３】
制御部３１１は、ヘッドマウントディスプレイ３１０の各部の動作を制御する。ユーザ操作部３１２は、ユーザが種々の操作を行うためのキー、ボタン、タッチパネル、リモコンなどである。ネットワーク受信部３１３は、クラウドサーバ２１０から送られてくるＩＰストリーミングデータとレンズ情報を受信する。
【０１１４】
ネットワーク受信部３１３は、受信されたレンズ情報を制御部３１１に送る。また、ネットワーク受信部３１３は、受信されたＩＰストリーミングデータを処理して、前面画像の動画ストリームと後面画像の動画ストリームを得る。
【０１１５】
復号化部３１４ｆは、ネットワーク受信部３１３で得られた前面画像の動画ストリームに対して復号化処理を施し、超広視野角の前面画像（図１６（ａ）参照）の画像データを得る。また、復号化部３１４ｂは、ネットワーク受信部３１３で得られた後面画像の動画ストリームに対して復号化処理を施し、超広視野角の後面画像（図１６（ｂ）参照）の画像データを得る。
【０１１６】
後面画像回転部３２０は、復号化部３１４ｂで得られた超広視野角の後面画像の画像データに対して９０°回転する処理を施し、水平、垂直の関係を本来の位置に戻した超広視野角の後面画像（図１６（ｃ）参照）の画像データを得る。画像貼り付け部３１６は、復号化部３１４ｆで得られた超広視野角の前面画像および後面画像回転部３２０で回転処理された超広視野角の後面画像の各画像データとレンズ情報に基づいて、超広視野角の前面画像および後面画像を球体の内面に貼り付けて（マッピングして）、全天球画像（図１６（ｄ）参照）を作成する。
【０１１７】
ここで、超広視野角の前面画像および後面画像は、球体の内面に、野球ボールの２枚の表革と同様の位置関係で貼り付けられて全天球画像が作成される。この場合、前面側において左右方向の結合境界までの視野角がかなり広くなることから、ユーザが視線方向を左右に大きく振った場合に画像に違和感を覚えにくいものとなる。なお、上述していないが、カメラ１１０においては、結合境界が例えばステージ方向等の主被写体方向と重ならない位置にくるように撮像方向が設定される。
【０１１８】
センサ部３１９は、加速度・方位センサ等の各種センサの検出出力に基づいてユーザの視線方向を検出する。表示画像取得部３１７は、画像貼り付け部３１６で作成された全天球画像から、センサ部３１９で検出されたユーザの視線方向に応じた領域の画像を表示画像として抽出し、その画像データを出力する。表示部（ディスプレイ）３１８は、表示画像取得部３１７で得られた画像データによる画像を表示する。
【０１１９】
上述した第３の形態においては、カメラ１１０で得られた超広視野角の前面画像および後面画像の画像データを、パーソナルコンピュータ１２０から、クラウドサーバ２１０を通じて、ヘッドマウントディスプレイ３１０に送信するものである。そのため、超広視野角の前面画像および後面画像を正距円筒画像に変換して送信するものではなく、この変換による処理負荷がなく、またこの変換による画質劣化もなく、全天球画像の高画質なリアルタイム配信が可能となる。
【０１２０】
また、第３の形態においては、後面画像の撮像部を構成するイメージャ１１３ｂは、前面画像の撮像部を構成するイメージャ１１３ｆに対して９０°回転された状態で配置され、イメージャ１１３ｆは、魚眼レンズ１１２ｆで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像し、イメージャ１１３ｂは、魚眼レンズ１１２ｂで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像するものである。
【０１２１】
そのため、各イメージャでは魚眼レンズで取り込んだ画像をより大きなサイズで撮像することが可能となり画質の向上を図ることができる。なお、それぞれのイメージャで欠けた画像部分は他方のイメージャで撮像されているので、ヘッドマウントディスプレイ３１０で全天球画像を得るための支障とはならない。
【０１２２】
また、第３の形態においては、ヘッドマウントディスプレイ３１０は、２つのイメージャで得られる前面画像と後面画像が野球ボールの２枚の表革と同様の位置関係で結合して全天球画像を作成する。そのため、前面側において左右方向の結合境界までの視野角がかなり広くなることから、ユーザが視線方向を左右に大きく振った場合に画像に違和感を覚えにくいものとなる。
【０１２３】
また、第３の形態においては、カメラ１１０で得られた超広視野角の前面画像および後面画像の画像データを結合することなく、パーソナルコンピュータ１２０から、クラウドサーバ２１０を通じて、ヘッドマウントディスプレイ３１０に送信するものである。そのため、画像の結合、分離に伴う画質劣化を抑制でき、画質の向上を図ることができる。
【０１２４】
＜２．変形例＞
なお、上述実施の形態においては、送信側と受信側がインターネット回線で接続される構成を示したが、ＷｉＦｉなどの無線ＬＡＮで接続される構成も同様に考えることができる。また、上述実施の形態においては、受信側装置はヘッドマウントディスプレイ３１０としているが、これに限定されるものではなく、その他の装置、例えばプロジェクタ、パーソナルコンピュータ、スマートフォン、タブレットなどであってもよい。
【０１２５】
また、本技術は、以下のような構成を取ることもできる。
（１）１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を得る撮像部と、
上記超広視野角の前面画像および後面画像を外部機器に送信する送信部を備える
送信装置。
（２）上記送信部は、上記超広視野角の前面画像および後面画像と共に、該２つの画像を球体の内面に貼り付けて全天球画像を得るためのレンズ情報をさらに送信する
前記（１）に記載の送信装置。
（３）上記送信部は、上記超広視野角の前面画像および後面画像を結合して送信する
前記（１）または（２）に記載の送信装置。
（４）上記撮像部は、魚眼レンズで取り込んだ前面側の画像を撮像して上記超広視野角の前面画像を得る第１のイメージャと、魚眼レンズで取り込んだ後面側の画像を撮像して上記超広視野角の後面画像を得る第２のイメージャを持つ
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記第２のイメージャは上記第１のイメージャに対して９０°回転された状態で配置され、
上記第１のイメージャは、上記魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像し、
上記第２のイメージャは、上記魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像する
前記（４）に記載の送信装置。
（６）撮像部が、１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を得る撮像ステップと、
送信部が、上記超広視野角の前面画像および後面画像を外部機器に送信する送信ステップを有する
送信方法。
（７）外部機器から１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を受信する受信部を備え、
上記超広視野角の前面画像は、魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像して得られたものであり、
上記超広視野角の前面画像は、魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像して得られたものであり、
上記超広視野角の前面画像および後面画像を球体の内面に貼り付けて全天球画像を得る画像処理部をさらに備える
受信装置。
（８）上記受信部は、上記超広視野角の前面画像および後面画像と共に、該２つの画像を球体の内面に貼り付けて全天球画像を得るためのレンズ情報をさらに受信し、
上記画像処理部は、上記レンズ情報に基づいて上記超広視野角の前面画像および後面画像を球体の内面に貼り付けて上記全天球画像を得る
前記（７）に記載の受信装置。
（９）受信部が、外部機器から１８０°以上の視野角を持つ超広視野角の前面画像および後面画像を受信する受信ステップを有し、
上記超広視野角の前面画像は、魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像して得られたものであり、
上記超広視野角の前面画像は、魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像して得られたものであり、
画像処理部が、上記超広視野角の前面画像および後面画像を球体の内面に貼り付けて全天球画像を得る画像処理ステップをさらに有する
受信方法。
（１０）魚眼レンズで取り込んだ前面側の画像を撮像して超広視野角の前面画像を得る第１のイメージャと、
魚眼レンズで取り込んだ後面側の画像を撮像して超広視野角の後面画像を得る第２のイメージャを備え、
上記第２のイメージャは上記第１のイメージャに対して９０°回転された状態で配置され、
上記第１のイメージャは、上記魚眼レンズで取り込んだ前面側の画像を上端側と下端側の一部を欠いた状態で撮像し、
上記第２のイメージャは、上記魚眼レンズで取り込んだ後面側の画像を左端側と右端側の一部を欠いた状態で撮像する
撮像装置。
【符号の説明】
【０１２６】
１０・・・配信システム
１１０・・・カメラ
１１１・・・筐体
１１２ｆ，１１２ｂ・・・魚眼レンズ
１１３ｆ，１１３ｂ・・・イメージャ
１１４ｆ，１１４ｂ・・・撮像信号処理部
１１５・・・前後面画像結合部
１１６，１１６ｆ，１１６ｂ・・・ＨＤＭＩ送信部
１１７・・・制御部
１２０・・・パーソナルコンピュータ
１２１・・・制御部
１２２・・・ユーザ操作部
１２３，１２３ｆ，１２３ｂ・・・ＨＤＭＩ受信部
１２４，１２４ｆ，１２４ｂ・・・符号化部
１２５・・・ネットワーク送信部
１２６・・・前後面画像結合部
２１０・・・クラウドサーバ
２１１・・・受信サーバ
２１２・・・配信サーバ
３１０・・・ヘッドマウントディスプレイ
３１１・・・制御部
３１２・・・ユーザ操作部
３１３・・・ネットワーク受信部
３１４，３１４ｆ，３１４ｂ・・・復号化部
３１５・・・前後面画像分離部
３１６・・・画像貼り付け部
３１７・・・表示画像取得部
３１８・・・表示部
３１９・・・センサ部
３２０・・・後面画像回転部
【図１】
2019031468.tif 000003
【図２】
2019031468.tif 000004
【図３】
2019031468.tif 000005
【図４】
2019031468.tif 000006
【図５】
2019031468.tif 000007
【図６】
2019031468.tif 000008
【図７】
2019031468.tif 000009
【図８】
2019031468.tif 000010
【図９】
2019031468.tif 000011
【図１０】
2019031468.tif 000012
【図１１】
2019031468.tif 000013
【図１２】
2019031468.tif 000014
【図１３】
2019031468.tif 000015
【図１４】
2019031468.tif 000016
【図１５】
2019031468.tif 000017
【図１６】
2019031468.tif 000018
【図１７】
2019031468.tif 000019
【図１８】
2019031468.tif 000020
【国際調査報告】
2019031468.tif 000021
2019031468.tif 000022