(57)【要約】  全天周映像のマッピング処理を行なう情報処理装置及び情報処理方法を提供する。  全天周映像を撮像する映像提供装置側の状況、全天周映像を視聴する映像再生装置側の状況、被写体となる空間の状況、配信先が複数になる場合の状況、伝送路の状況などに基づいて、要求されるデータ削減量や画質の保存状態を割り出し、適合するマッピング方法に適応的に切り替えて、全天周映像の伝送を行なう。また、受信側で元の全天周映像を復元できるようにするために、マッピング方法を示す情報を含んだ伝送フォーマットで、全天周映像の伝送を行なう。
2017187821.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像を受信する受信部と、
前記３次元画像を２次元画像にマッピングするための３次元モデルを保持する記憶部と、
前記２次元画像を送信する送信部と、
制御部と、
を具備し、
前記制御部は、ユーザーからの指示又は周辺環境に基づいて、使用する３次元モデルを決定し、前記決定した３次元モデルに基づいて前記３次元画像を２次元画像にマッピングし、前記２次元画像を前記送信部より送信する、
情報処理装置。
【請求項２】
前記受信部は、前記３次元画像として全天周映像を受信し、
前記制御部は、前記全天周映像をマッピングする形状を、円筒、立方体、四角錐、被写体の形状のうち少なくとも１つを含む、複数の３次元モデルの中で切り替え制御する、
請求項１に記載の情報処理装置。
【請求項３】
前記受信部は、前記全天周映像を撮像する第１の装置から第１の信号を受信し、
前記制御部は、前記第１の信号に含まれる情報に基づいて前記切り替え制御を行なう、
請求項２の記載の情報処理装置。
【請求項４】
前記制御部は、前記第１の信号に含まれるユーザーの指示に応じて前記切り替え制御を行なう、
請求項３に記載の情報処理装置。
【請求項５】
前記制御部は、前記第１の信号に含まれる撮像時の状況を示す情報に応じて前記切り替え制御を行なう、
請求項３に記載の情報処理装置。
【請求項６】
前記制御部は、前記第１の信号に含まれる被写体の情報に基づいて、前記被写体に底面を向けた四角錐を用いたマッピングに切り替える、
請求項３に記載の情報処理装置。
【請求項７】
前記送信部は、前記全天周映像をマッピングした前記２次元画像を第２の装置に送信し、
前記制御部は、前記第２の装置から受信する第２の信号に含まれる情報に基づいて前記切り替え制御を行なう、
請求項２に記載の情報処理装置。
【請求項８】
前記制御部は、前記第２の信号に含まれる被写体の情報に基づいて前記切り替え制御を行なう、
請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、前記被写体に底面を向けた四角錐を用いたマッピングに切り替える、
請求項８に記載の情報処理装置。
【請求項１０】
前記制御部は、前記第２の信号に含まれる視線情報に基づいて、視線の方向に底面を向けた四角錐を用いたマッピングに切り替える、
請求項７に記載の情報処理装置。
【請求項１１】
前記制御部は、前記第２の信号に含まれるユーザーの指示に応じて前記切り替え制御を行なう、
請求項７に記載の情報処理装置。
【請求項１２】
前記送信部は前記全天周映像を複数の第２の装置に送信する送信部し、
前記制御部は、前記複数の第２の装置の各々から受信する前記第２の信号に含まれる視線情報に基づいて前記切り替え制御を行なう、
請求項２に記載の情報処理装置。
【請求項１３】
前記制御部は、前記複数の第２の装置に対して、各々の視線の方向に底面を向けた四角錐を用いてマッピングした２次元画像をそれぞれユニキャスト送信させる、
請求項１２に記載の情報処理装置。
【請求項１４】
前記制御部は、大部分の視線を含む領域に底面を向けた四角錐を用いてマッピングした２次元画像をマルチキャスト送信させる、
請求項１２に記載の情報処理装置。
【請求項１５】
前記全天周映像を伝送する伝送路の状況をモニタリングするモニタリング部をさらに備え、
前記制御部は、前記伝送路の状況に基づいて前記切り替え制御を行なう、
請求項２に記載の情報処理装置。
【請求項１６】
前記制御部は、前記マッピングに使用された３次元モデルを特定するための情報を含んだ伝送フォーマットで前記２次元画像を前記送信部より伝送させる、
請求項１に記載の情報処理装置。
【請求項１７】
３次元画像を受信する受信ステップと、
前記３次元画像を２次元画像にマッピングするための３次元モデルを記憶部に保持する記憶ステップと、
前記２次元画像を送信する送信ステップと、
制御ステップと、
を有し、
前記制御ステップでは、ユーザーからの指示又は周辺環境に基づいて、使用する３次元モデルを決定し、前記決定した３次元モデルに基づいて前記３次元画像を２次元画像にマッピングし、前記２次元画像を前記送信ステップにおいて送信する、
情報処理方法。
【請求項１８】
３次元画像データの伝送方法であって、
３次元モデルに基づいて前記３次元画像が２次元画像にマッピングされた２次元マップ画像データと、前記マッピングに用いられた前記３次元モデルを特定するための付属データを１つのデータ・セットにするステップと、
前記データ・セットを伝送するステップと、
を有する３次元画像データの伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、映像情報を符号化する情報処理装置及び情報処理方法、並びに伝送方法に係り、特に、符号化圧縮のために全天周映像のマッピング処理を行なう情報処理装置及び情報処理方法、並びに３次元画像データの伝送方法に関する。
【背景技術】
【０００２】
マンションや戸建てなど不動産の購入や賃貸契約の際には、物件の内部見学（内見）を行なうのが一般的である。しかしながら、顧客が内見を希望する物件が一箇所に集中しているとは限らず、１日に３〜４件程度の物件しか回ることができず、非効率である。【０００３】
例えば、不動産物件の３次元形状データを格納する第１のデータベースと、不動産物件の内装情報を３次元形状データとして格納する第２のデータベースとをインターネットを介して閲覧可能に配置すると共に、第１及び第２のデータベースから読み出された３次元形状データに基づいて不動産物件の内部を仮想空間として表示する不動産物件販売支援システムについて提案がなされている（例えば、特許文献１を参照のこと）。このシステムによれば、住空間の３次元形状データと住空間の内装情報の３次元形状データに基づく住空間の内部を仮想空間として物件の購入者に表示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１９５４９１号公報
【特許文献２】特開２００３−１４１５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本明細書で開示する技術の目的は、全天周映像のマッピング処理を好適に行なうことができる、優れた情報処理装置及び情報処理方法、並びに３次元画像データの伝送方法を提供することにある。
【課題を解決するための手段】
【０００６】
本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
３次元画像を受信する受信部と、
前記３次元画像を２次元画像にマッピングするための３次元モデルを保持する記憶部と、
前記２次元画像を送信する送信部と、
制御部と、
を具備し、
前記制御部は、ユーザーからの指示又は周辺環境に基づいて、使用する３次元モデルを決定し、前記決定した３次元モデルに基づいて前記３次元画像を２次元画像にマッピングし、前記２次元画像を前記送信部より送信する、
情報処理装置である。【０００７】
本明細書で開示する技術の第２の側面によれば、第１の側面に係る情報処理装置の前記受信部は、前記３次元画像として全天周映像を受信し、前記制御部は、前記全天周映像をマッピングする形状を、円筒、立方体、四角錐、被写体の形状のうち少なくとも１つを含む、複数の３次元モデルの中で切り替え制御するように構成されている。【０００８】
本明細書で開示する技術の第３の側面によれば、第２の側面に係る情報処理装置の前記受信部は、前記全天周映像を撮像する第１の装置から第１の信号を受信し、前記制御部は、前記第１の信号に含まれる情報に基づいて前記切り替え制御を行なうように構成されている。【０００９】
本明細書で開示する技術の第４の側面によれば、第３の側面に係る情報処理装置の前記制御部は、前記第１の信号に含まれるユーザーの指示に応じて前記切り替え制御を行なうように構成されている。【００１０】
本明細書で開示する技術の第５の側面によれば、第３の側面に係る情報処理装置の前記制御部は、前記第１の信号に含まれる撮像時の状況を示す情報に応じて前記切り替え制御を行なうように構成されている。【００１１】
本明細書で開示する技術の第６の側面によれば、第３の側面に係る情報処理装置の前記制御部は、前記第１の信号に含まれる被写体の情報に基づいて、前記被写体に底面を向けた四角錐を用いたマッピングに切り替えるように構成されている。【００１２】
本明細書で開示する技術の第７の側面によれば、第２の側面に係る情報処理装置の前記送信部は、前記全天周映像をマッピングした前記２次元画像を第２の装置に送信し、前記制御部は、前記第２の装置から受信する第２の信号に含まれる情報に基づいて前記切り替え制御を行なうように構成されている。【００１３】
本明細書で開示する技術の第８の側面によれば、第７の側面に係る情報処理装置の前記制御部は、前記第２の信号に含まれる被写体の情報に基づいて前記切り替え制御を行なうように構成されている。【００１４】
本明細書で開示する技術の第９の側面によれば、第８の側面に係る情報処理装置の前記制御部は、前記被写体に底面を向けた四角錐を用いたマッピングに切り替えるように構成されている。【００１５】
本明細書で開示する技術の第１０の側面によれば、第７の側面に係る情報処理装置の前記制御部は、前記第２の信号に含まれる視線情報に基づいて、視線の方向に底面を向けた四角錐を用いたマッピングに切り替えるように構成されている。【００１６】
本明細書で開示する技術の第１１の側面によれば、第７の側面に係る情報処理装置の前記制御部は、前記第２の信号に含まれるユーザーの指示に応じて前記切り替え制御を行なうように構成されている。【００１７】
本明細書で開示する技術の第１２の側面によれば、第２の側面に係る情報処理装置の前記送信部は前記全天周映像を複数の第２の装置に送信する送信部し、前記制御部は、前記複数の第２の装置の各々から受信する前記第２の信号に含まれる視線情報に基づいて前記切り替え制御を行なうように構成されている。【００１８】
本明細書で開示する技術の第１３の側面によれば、第１２の側面に係る情報処理装置の前記制御部は、前記複数の第２の装置に対して、各々の視線の方向に底面を向けた四角錐を用いてマッピングした２次元画像をそれぞれユニキャスト送信させるように構成されている。【００１９】
本明細書で開示する技術の第１４の側面によれば、第１２の側面に係る情報処理装置の前記制御部は、大部分の視線を含む領域に底面を向けた四角錐を用いてマッピングした２次元画像をマルチキャスト送信させるように構成されている。【００２０】
本明細書で開示する技術の第１５の側面によれば、第２の側面に係る情報処理装置は、前記全天周映像を伝送する伝送路の状況をモニタリングするモニタリング部をさらに備えている。そして、前記制御部は、前記伝送路の状況に基づいて前記切り替え制御を行なうように構成されている。【００２１】
本明細書で開示する技術の第１６の側面によれば、第１の側面に係る情報処理装置の前記制御部は、前記マッピングに使用された３次元モデルを特定するための情報を含んだ伝送フォーマットで前記２次元画像を前記送信部より伝送させるように構成されている。【００２２】
また、本明細書で開示する技術の第１７の側面は、
３次元画像を受信する受信ステップと、
前記３次元画像を２次元画像にマッピングするための３次元モデルを記憶部に保持する記憶ステップと、
前記２次元画像を送信する送信ステップと、
制御ステップと、
を有し、
前記制御ステップでは、ユーザーからの指示又は周辺環境に基づいて、使用する３次元モデルを決定し、前記決定した３次元モデルに基づいて前記３次元画像を２次元画像にマッピングし、前記２次元画像を前記送信ステップにおいて送信する、情報処理方法である。【００２３】
また、本明細書で開示する技術の第１８の側面は、３次元画像データの伝送方法であって、
３次元モデルに基づいて前記３次元画像が２次元画像にマッピングされた２次元マップ画像データと、前記マッピングに用いられた前記３次元モデルを特定するための付属データを１つのデータ・セットにするステップと、
前記データ・セットを伝送するステップと、
を有する３次元画像データの伝送方法である。
【発明の効果】
【００２４】
本明細書で開示する技術によれば、全天周映像のマッピング処理を好適に行なうことができる、優れた情報処理装置及び情報処理方法、並びに３次元画像データの伝送方法を提供することができる。【００２５】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。【００２６】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２７】
【図１】図１は、映像を視聴する映像視聴システム１００の構成例を模式的に示した図である。
【図２】図２は、映像を視聴する映像視聴システム２００の構成例を模式的に示した図である。
【図３】図３は、映像を視聴する映像視聴システム３００の構成例を模式的に示した図である。
【図４】図４は、映像を視聴する映像視聴システム４００の構成例を模式的に示した図である。
【図５】図５は、映像提供装置として機能することができる情報処理装置５００の機能的構成を模式的に示した図である。
【図６】図６は、映像再生装置として機能することができる情報処理装置６００の機能的構成を模式的に示した図である。
【図７】図７は、アーカイブ映像を視聴する仕組みを説明するための図である。
【図８】図８は、映像視聴システム１００を不動産物件の内見に適用した例を示した図である。
【図９】図９は、映像視聴システム１００を不動産物件の内見に適用した例を示した図である。
【図１０】図１０は、全天周映像を円筒に投影して平面に展開する円筒投影法を説明するための図である。
【図１１】図１１は、球面の全天周映像を立方体に投影して平面に展開するマッピング方法を説明するための図である。
【図１２】図１２は、球面の全天周映像を四角錐に投影して平面に展開するマッピング方法を説明するための図である。
【図１３】図１３は、球面の全天周映像を四角錐に投影して平面に展開するマッピング方法を説明するための図である。
【図１４】図１４は、球面の全天周映像を四角錐に投影して平面に展開するマッピング方法を説明するための図である。
【図１５】図１５は、任意形状の物体の表面に全天周映像をマッピングする例を示した図である。
【図１６】図１６は、状況に応じた全天周映像のマッピング方法を説明するための図である。
【図１７】図１７は、状況に応じた全天周映像のマッピング方法を説明するための図である。
【図１８】図１８は、状況に応じた全天周映像のマッピング方法を説明するための図である。
【図１９】図１９は、状況に応じた全天周映像のマッピング方法を説明するための図である。
【図２０】図２０は、状況に応じた全天周映像のマッピング方法を説明するための図である。
【図２１】図２１は、全天周映像のマッピング方法を動的・適法的に切り替えるための概略的な処理手順を示したフローチャートである。
【図２２】図２２は、圧縮符号化した全天周映像の伝送フォーマット例を示した図である。
【図２３】図２３は、圧縮符号化した全天周映像のシンタックス例を示した図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００２９】
Ａ．システム概要
Ａ−１．システム構成
図１には、映像を視聴する映像視聴システム１００の構成例を模式的に示している。映像視聴システム１００は、映像を提供する１台の映像提供装置１０１と、映像を再生する１台の映像再生装置１０２からなり、１対１のネットワーク・トポロジーを構成している。映像提供装置１０１と映像再生装置１０２間は、例えば無線又は有線のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、あるいはインターネットなどの広域ネットワークを介して相互接続されている。
【００３０】
映像提供装置１０１は、例えば不動産の物件（現地）にいるユーザー（物件の内見者、若しくは不動産会社の営業マンなど）が操作する情報端末である。あるいは、映像提供装置１０１は、現地に設置された定点カメラや、現地で自律動作するロボットに搭載されたカメラでもよい。また、映像再生装置１０２は、現地には赴かず、現地から離間した場所（例えば、不動産会社の店舗や自宅など）で物件の情報を閲覧するユーザー（例えば、不動産の購入又は賃貸の契約を検討している顧客）が操作する情報端末などである。
【００３１】
映像提供装置１０１は、映像提供装置１０１の設置場所を視点位置とする映像（例えば、不動産物件の現地に居る営業マンの視点映像）を撮像する撮像部を備え、その撮像映像を映像再生装置１０２に送信する。例えば、撮像部を１台の全天周カメラで構成してもよい。但し、全天周映像といっても、３６０度である必要はなく、一部の視野が欠けていてもよい（以下、同様）。
【００３２】
また、映像提供装置１０１は、マイクのような音声入力部をさらに備え、全天周映像の撮像現場の音声を集音された音声を映像と多重化して映像再生装置１０２に送信するようにしてもよい。例えば、不動産物件の現地に居る営業マンが、物件の立地条件や間取りなどを説明する音声を集音して、映像再生装置１０２に送信するようにしてもよい。
【００３３】
また、映像提供装置１０１は、表示部を備えていてもよい。表示部（若しくは、映像提供装置１０１自体）は、例えば透過型のヘッド・マウント・ディスプレイとして構成される。現地に居るユーザーは、このヘッド・マウント・ディスプレイを頭部に装着し、ヘッド・マウント・ディスプレイにシースルー表示される映像を適宜参照しながら、現地の撮影や物件の説明を行なう。
【００３４】
一方の映像再生装置１０２は、映像提供装置１０１から受信した映像を表示する表示部を備えている。映像再生装置１０２（若しくは、その表示部）は、例えばユーザーが頭部に装着して映像を視聴するヘッド・マウント・ディスプレイとして構成される。例えば、映像再生装置１０２は、映像提供装置１０１で撮像される全天周映像（不動産物件の室内を撮像した映像）から所定の画角を切り出して表示する。あるいは、映像再生装置１０２は、ドーム型ディスプレイとして構成され、映像提供装置１０１の設置場所で撮像される全天周映像をすべて表示するようにしてもよい。ドーム型ディスプレイの詳細に関しては、例えば、本出願人に既に譲渡されている特願２０１５−２４５７１０号明細書を参照されたい。あるいは、映像再生装置１０２は、通常の（若しくは大画面の）モニター・ディスプレイでもよい。
【００３５】
また、映像再生装置１０２は、スピーカーやヘッドホンなどの音声出力部を備え、映像提供装置１０１から映像と多重して送信された音声（例えば、不動産物件の現地に居る営業マンが、物件の立地条件や間取りなどを説明する音声）を、映像と併せて再生出力するようにしてもよい。
【００３６】
また、映像再生装置１０２は、マイクのような音声入力部をさらに備え、ユーザーからの音声指示を入力するようにしてもよい。例えば、映像再生装置１０２のユーザーは、「ベランダの眺望が観たい」、「リビングを見せて」といった音声による指示を入力することができ、このような指示が映像提供装置１０１に送信される。
【００３７】
映像提供装置１０１と映像再生装置１０２間で直接通信するようにしてもよいが、以降の説明では配信サーバー１０３が介在するものとする。映像提供装置１０１は現地で撮像した全天周映像を配信サーバー１０３に一旦送信する。配信サーバー１０３は、全天周映像、若しくは、全天周映像から切り出した所定の画角分の映像を、映像再生装置１０２に送信する。また、配信サーバー１０３は、映像提供装置１０１から受信する映像のアーカイブも行なう。
【００３８】
図１に示した映像視聴システム１００は、１台の映像提供装置１０１と１台の映像再生装置１０２で１対１のネットワーク・トポロジーを構成している。例えば、特定の物件に設置された１台の映像提供装置１０１で撮像された映像を、不動産の店舗に設置された１台の映像再生装置１０２の間で視聴するという実施態様に相当する。顧客は、現地に赴かなくても物件のリアル映像を実感に近い形で視聴できるので、効率的な内見を実現することができるとともに、顧客満足度が向上する。
【００３９】
これに対し、図２〜図４には、全天周映像を視聴する映像視聴システム１００の変形例を示している。なお、各図では、配信サーバーを省略しているが、いずれにおいても映像提供装置と映像再生装置間には配信サーバーが介在しているものと理解されたい。
【００４０】
図２に示す映像視聴システム２００は、１台の映像提供装置２０１と複数台（Ｎ台）の映像再生装置２０２−１、２０２−２、…、２０２−Ｎで１対Ｎのネットワーク・トポロジーを構成しており、１台の映像提供装置２０１で撮像される全天周映像（同一の視点位置において同じ視線方向で撮像した同じ映像）を各映像再生装置２０２−１、２０２−２、…、２０２−Ｎで同時に視聴するようになっている。例えば、特定の物件に設置された１台の映像提供装置２０１で撮像された物件の映像を、不動産の店舗に設置された（若しくは、不動産会社の複数の支店にそれぞれ設置された）複数台の映像再生装置２０２−１、２０２−２、…、２０２−Ｎで視聴するという実施態様に相当する。１つの物件のリアル映像を複数の顧客が共有して視聴することができるので、不動産会社にとって効率的な内見を実現することができる。
【００４１】
また、図３に示す映像視聴システム３００は、複数台（Ｎ台）の映像提供装置３０１−１、３０１−２、…、３０１−Ｎと１台の映像再生装置３０２でＮ対１のネットワーク・トポロジーを構成しており、１台の映像再生装置３０２が、それぞれ異なる場所に設置された映像提供装置３０１−１、３０１−２、…、３０１−Ｎのうちいずれかから選択的に映像を受信し表示するようになっている。映像再生装置３０２は、映像の送信元を映像提供装置３０１−１、３０１−２、…、３０１−Ｎの中で動的に切り替えられるものとする。映像の送信元となる映像提供装置３０１を切り替えると、映像再生装置３０２で再生される（視聴できる）映像の視点位置が切り替わる（選択した映像提供装置３０１の設置場所に、視点位置が瞬間的に移動する）。また、映像再生装置３０２は、選択した映像提供装置３０１に対して視線方向の切り替えを指示できるものとする。例えば、不動産の店舗に設置された１台の映像再生装置３０２が、複数の物件にそれぞれ設置された複数台の映像提供装置３０１−１、３０１−２、…、３０１−Ｎからの映像を切り替えながら視聴するという実施態様に相当する。あるいは、１つの不動産物件の部屋毎に設置された複数台の映像提供装置３０１−１、３０１−２、…、３０１−Ｎの映像を、映像再生装置３０２で切り替えながら視聴するという実施態様も想定される。顧客は、各物件を移動して回らなくても一挙に各物件のリアル映像を実感に近い形で視聴できるので、効率的な内見を実現することができるとともに、顧客満足度が向上する。
【００４２】
また、図４に示す映像視聴システム４００は、複数台（Ｎ台）の映像提供装置４０１−１、４０１−２、…、４０１−Ｎと複数台（Ｎ台）の映像再生装置４０２−１、４０２−２、…、４０２−ＮでＮ対Ｎのネットワーク・トポロジーを構成している。Ｎ対Ｎのネットワーク・トポロジーは、図１に示した１対１のネットワーク、図２に示した１対Ｎのネットワーク、並びに図３に示したＮ対１のネットワークを含むことができる。例えば、不動産の店舗に設置された（若しくは、不動産会社の複数の支店にそれぞれ設置された）複数台の映像再生装置４０２−１、４０２−２、…、４０２−Ｎの各々が、複数の物件にそれぞれ設置された複数台の映像提供装置４０１−１、４０１−２、…、４０１−Ｎからの映像を切り替えながら視聴するという実施態様に相当する。各顧客は、各物件を移動して回らなくても一挙に各物件のリアル映像を実感に近い形視聴できるので、効率的な内見を実現することができるとともに、顧客満足度が向上する。
【００４３】
Ｂ．装置構成
Ｂ−１．映像提供装置の構成
図５には、映像視聴システム１００〜４００において映像提供装置として機能することができる情報処理装置５００の機能的構成を模式的に示している。図示の情報処理装置５００は、撮像部５０１と、映像符号化部５０３と、音声入力部５０４と、音声符号化部５０５と、多重化部（ＭＵＸ）５０６と、通信部５０７と、映像復号部５０８と、画像処理部５０９と、表示部５１０と、音声復号部５１１と、音声出力部５１２と、制御部５１３を備えている。以下、各部５０１〜５１３について説明する。
【００４４】
撮像部５０１は、１眼カメラ（広角カメラや魚眼カメラを含む）、２眼のステレオカメラ、多眼の全天周カメラなどで構成される。ステレオカメラを用いれば、映像に奥行き感を付与することができる。撮像部５０１は、情報処理装置５００を設置した場所を視点位置として、周囲を撮像する。映像符号化部５０３は、撮像部５０１が撮像した映像信号の符号化処理を行なう。
【００４５】
音声入力部５０４は、例えば小型マイクやステレオマイクなどで構成され、撮像部５０１と併せて配設することで、全天周映像の撮像現場の音声を集音することができる。ステレオマイクを用いれば、再生側（すなわち、映像再生装置）では、集音時の音を立体的に再構成することができる。音声符号化部５０５は、音声入力部５０４で入力した音声信号を符号化処理する。
【００４６】
多重化部５０６は、映像符号化部５０３及び音声符号化部５０５でそれぞれ符号化された符号化映像信号と符号化音声信号を多重化して、配信サーバー経由で映像再生装置へ伝送するための信号フォーマット（パケット）に成形する。
【００４７】
表示部５１０（若しくは、映像提供装置５００全体）は、例えば透過型のヘッド・マウント・ディスプレイとして構成される。あるいは、表示部５１０（若しくは、映像提供装置５００全体）は、スマートフォンやタブレットなどの（カメラ付きの）携帯情報端末として構成される。表示部５１０は、現地で物件を撮像するユーザーの視界に映像を重畳表示する。映像復号部５０８は、例えば配信サーバーから受信するアーカイブ映像を復号処理する。画像処理部５０９は、撮像部５０１で撮像された画像や、映像復号部５０８で復号された映像の画像認識などの処理を行ない、表示部５１０で表示する映像を生成する。表示部５１０では、ユーザーに対して、例えば移動先や移動経路などの案内情報を表示する。
【００４８】
音声復号部５１１は、例えば映像再生装置から受信した符号化音声信号の復号処理を行なう。音声出力部５１２は、復号されたベースバンドの音声信号を音声出力する。例えば、映像再生装置のユーザーからの、「ベランダの眺望が観たい」、「リビングを見せて」といった音声による指示が、現地で音声出力される。
【００４９】
通信部５０７は、映像や音声の伝送を始めとして、映像再生装置との相互通信を行なう。但し、映像再生装置との通信には配信サーバー（前述）が介在するものとする。通信部５０７は、例えば無線又は有線のＬＡＮ、あるいはインターネットなどの広域ネットワークを媒介として、映像再生装置や配信サーバー、その他の外部装置との相互通信を行なうものとする。
【００５０】
制御部５１３は、上記の各部５０１〜５１２の動作を統括的にコントロールする。例えば、制御部５１３は、映像の送信先となる映像再生装置（若しくは、視聴グループ）とのリアルタイム・コミュニケーションを実現するための処理や、表示部５１０にてユーザー（現地で物件の撮影を行なう物）に表示する映像の処理を行なう。また、制御部５１３は、映像の送信先となる映像再生装置（若しくは、視聴グループ）の属性情報に応じて提供する情報の範囲を制限するために、撮像動作や音声入力動作のオン／オフ、撮影映像に対するモザイクやマスク処理、入力音声の変調処理などを行なわせる。
【００５１】
Ｂ−２．映像再生装置の構成
図６には、映像視聴システム１００〜４００において映像再生装置として機能することができる情報処理装置６００の機能的構成を模式的に示している。図示の情報処理装置６００は、通信部６０１と、分離部（ＤＥＭＵＸ）６０２と、音声復号部６０３と、音声出力部６０４と、映像復号部６０５と、表示部６０６と、集音部６０７と、音声符号化部６０８と、センサー部６０９と、制御部６１０を備えている。以下、各部６０１〜６１０について説明する。
【００５２】
通信部６０１は、映像や音声の伝送を始めとして、映像提供装置との相互通信を行なう。また、必要に応じて、通信部６０１を介して配信サーバー（前述）との通信が行なわれる。通信部６０１は、例えば無線又は有線のＬＡＮ、あるいはインターネットなどの広域ネットワークを媒介として、映像提供装置や配信サーバー、その他の外部装置との相互通信を行なうものとする。
【００５３】
例えば、映像を見たい場所（例えば、内見したい不動産の物件）に設置された映像提供装置に対して、通信部６０１から映像や音声の送信開始要求を送信する。そして、映像提供装置から、所定の信号フォーマット（パケット）に成形された伝送信号を、通信部６０１で受信する。また、ある映像提供装置から受信した映像を表示中（すなわち、ユーザーが視聴中）に、その視点位置で異なる視線方向を見たくなったときには、通信部６０１から視線方向の変更要求を送信する。また、他の映像提供装置からの映像に切り替えたいときには、映像や音声を受信中の映像提供装置に対して通信部６０１から送信停止要求を送信するとともに、移動先の映像提供装置に送信開始要求を通信部６０１から送信する。
【００５４】
分離部６０２は、映像提供装置から多重化伝送された信号を符号化映像信号と符号化音声信号に分離して、それぞれ音声復号部６０３と映像復号部６０５に分配する。
【００５５】
音声復号部６０３は、符号化音声信号を復号してベースバンドの音声信号を生成して、音声出力部６０４から音声出力する。音声出力部６０４は、モノラル、ステレオ、多チャンネルのスピーカーなどで構成される。
【００５６】
映像復号部６０５は、符号化映像信号を復号してベースバンドの映像信号を生成して、送信元の映像提供装置で撮像された映像を表示部６０６に表示する。表示部６０６（若しくは、情報処理装置６００本体）は、例えばヘッド・マウント・ディスプレイ、ドーム型ディスプレイ、あるいは大画面（若しくは、通常の）モニター・ディスプレイで構成される。
【００５７】
集音部６０７は、例えば小型マイクやステレオマイクなどで構成され、ユーザーの音声などを集音する。音声符号化部６０８は、集音部６０７で入力した音声信号を符号化処理して、制御部６１０に出力する。ユーザーの音声は、表示部６０６に表示された映像に対する感想や感嘆もあれば、制御部６１０（若しくは、映像再生装置）に対する音声指示（例えば、全天周映像の視線方向の変更など）の場合もある。
【００５８】
映像再生装置のユーザーは、例えば、内見したい不動産の物件の映像を表示部６０６で視聴しながら、「ベランダの眺望が観たい」、「リビングを見せて」といった音声による指示を出すことができる。このようなユーザーの音声は、集音部６０７で集音され、音声符号化部６０８で符号化された後、通信部６０１から映像提供装置に送信される。
【００５９】
制御部６１０は、映像提供装置から受信した映像及び音声の出力を制御する。また、制御部６１０は、表示部６０６の画面へのＵＩやＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）などの表示の制御や、ＵＩやＯＳＤに対してユーザー（視聴者）が行なった操作の処理を行なう。
【００６０】
センサー部６０９は、ユーザー（表示部６０６の画面に表示された映像を視聴する視聴者）の視線方向、頭部位置、又は姿勢を計測する。センサー部６０９は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成される（３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーなど）。センサー部６０９は、情報処理装置６００本体（ヘッド・マウント・ディスプレイなど）と一体であってもよいし、本体に外付けされるアクセサリー部品などであってもよい。
【００６１】
センサー部６０９で検出されるユーザーの視線方向、頭部位置、又は姿勢などの動作（あるいは、頭部だけでなく、胴体や手足を使ったジェスチャー動作）は、表示部６０９に表示されたＵＩやＯＳＤに対する操作の場合や、全天周映像のうち表示部６０９に表示すべき画角の指示を意味する場合がある。例えば、ユーザーの水平並びに垂直方向の首振り（右又は左を向く、見上げる、見下ろすなど）は、全天周映像における視線方向の変更指示として扱うことができる。また、ユーザーが胴体を前方や後方に傾ける動作を、現在の視線方向でのカメラのズーム操作として扱うようにしてもよい（前方に傾ければズームアップ、後方に傾ければズームダウン）。そして、センサー部６０９の検出結果は、制御部６１０に出力される。
【００６２】
制御部６１０は、センサー部６０９で検出されるユーザーの視線方向、頭部の水平並びに垂直方向の首振り（右又は左を向く、見上げる、見下ろすなど）、あるいは姿勢の変化に基づいて、受信中の全天周映像を見る視線方向の変更の指示を、通信部６０１を介して送信する。また、制御部６１０は、集音部６０７で集音されたユーザーの音声指示を、音声のまま、あるいはテキスト情報やコマンド情報に変換して、通信部６０１を介して映像提供装置に送信する。
【００６３】
また、制御部６１０は、ユーザーの視線方向、頭部、姿勢の動作（あるいは、頭部だけでなく、胴体や手足を使ったジェスチャー動作）が画面上のＵＩやＯＳＤに対する操作であった場合には、この操作に応じて表示部６０６の表示映像に対する処理を実施する。
【００６４】
なお、情報処理装置６００は、キーボードやマウス、タッチパネル、ジョイステック、ゲーム用コントローラーなどの周知の入力デバイスをさらに装備していてもよい（いずれも図示しない）。表示部６０６の画面上のＵＩやＯＳＤに対する入力操作や、全天周映像の撮像位置の移動や視線変更切り替えのための指示のために、この種の入力デバイスを利用するようにしてもよい。
【００６５】
Ｃ．アーカイブ映像の視聴
上記Ａ項では、映像提供装置でリアルタイムに撮像されたリアル映像を映像再生装置で視聴する仕組みについて言及した。これに対し、映像提供装置で撮像した映像を外部装置（配信サーバー）に一旦記録し、映像再生装置側ではアーカイブ映像を外部装置から視聴するという実施態様もある。
【００６６】
アーカイブ映像を視聴する理由はさまざまである。例えば、顧客が昼間は忙しく日が暮れてからしか不動産会社の店舗に行くことができないために、あらかじめ昼間に撮像しておいた物件のアーカイブ映像を視聴して内見を行なう場合、逆に昼間に物件のリアル映像を視聴している顧客が夜の物件の眺望を見たくなった場合など、視聴時とは異なる時間帯の物件を確認したい場合である。さらには、雨天など視聴時とは異なる天候など異なる撮像環境で撮像した物件の映像を視聴したい場合もある。付言すれば、時間帯は同じであるが他の季節の物件の様子を確認したい場合もある。あるいは、人気物件などで、特定の映像提供装置に対して多数の映像再生装置からのアクセスが集中し、伝送帯域の制限のためすべての映像再生装置にリアル映像を伝送できない場合なども挙げられる。
【００６７】
図７には、映像再生装置に対しては、映像提供装置からリアルタイム映像を直接送信するのではなく、外部装置に録画されたアーカイブ映像を配信する仕組みを示している。
【００６８】
ここで言う外部装置は、例えば、映像提供装置とは物理的に独立して設置された、映像を記録する配信サーバーである。映像再生装置側で指定された時刻若しくは時間帯の定員外として追い出された映像再生装置への映像配信を配信サーバーに委ねることによって、映像提供装置の負荷を分散することができる。また、定員外として追い出された映像再生装置は、映像提供装置の設置場所（視点位置）で撮像される映像をライブで視聴することはできないが、時間の遅延を許容する限りにおいて追体験することができる。
【００６９】
各映像提供装置で撮像されるリアル映像は、配信サーバーにも送信される。配信サーバーでは、受信した映像を、送信元の映像提供装置を識別する情報、又は、撮像した視点位置（映像提供装置が設置された物件や物件内の部屋）や撮像した時間帯や撮像した環境などを特定できる情報と紐付けして記録しておく。映像再生装置から、時間帯や季節、天候などの撮像環境の切り替えを指示する送信開始要求が送られてくると、映像提供装置からのリアル映像送信から、外部装置に録画されたアーカイブ映像の送信に切り替える。
【００７０】
Ｄ．不動産の内見
図８には、映像視聴システム１００を不動産物件の内見に適用した例を示している。参照番号８０１は、不動産の物件（現地）にいるユーザー（物件の内見者、若しくは不動産会社の営業マンなど）であり、映像提供装置（前述）を所持若しくは装備している。一方、参照番号８０２は、現地には赴かず、現地から離間した場所（例えば、不動産会社の店舗や自宅など）で物件の情報を閲覧するユーザーであり、映像再生装置（前述）を用いて、映像提供装置が撮像する物件の映像を視聴している。
【００７１】
図９中の参照番号９０１で示すように、ユーザー８０１は物件内を歩き回りながら、物件の立地条件や間取り、設備などの説明をしたり、感想を述べたりし、さらにはドアを開けて別の部屋を見て回る。他方のユーザー８０２は、現地に赴かなくても物件のリアル映像を実感に近い形で視聴できるので、効率的な内見を実現することができる。すなわち、映像視聴システム１００を不動産の内見に適用すると、顧客満足度が向上する。
【００７２】
Ｅ．全天周映像の符号化方法
本実施形態に係る映像視聴システム１００では、不動産の物件の全天周映像を映像提供装置で撮像し、物件からは遠隔に設置された映像再生装置で視聴することを想定している。
【００７３】
全天周映像は、本来は３次元座標（ＸＹＺ）の画像データであるが、２次元座標（ＵＶ）にマッピングすることで、Ｈ．２６４などの標準的な動画データの圧縮符号化方式を用いて圧縮符号化して、伝送並びに蓄積を行なうことができる。勿論、２次元平面上の動画データを圧縮符号化する方式は標準的なものに限定される訳ではない。
【００７４】
全天周映像を２次元平面にマッピング方法として、図１０に示すように、球面１００１からなる全天周映像を円筒１００２に投影し、この円筒を平面１００３に展開する円筒投影法が知られている（例えば、特許文献２を参照のこと）。２次元のＵＶ平面１００３にマッピングされた映像データは、Ｈ．２６４などの標準的な動画データの圧縮符号化方式を用いて圧縮符号化して、伝送並びに蓄積を行なうことができる。そして、全天周映像を再現するときには、マッピング方法すなわち２次元座標（ＵＶ）と元の３次元座標（ＸＹＺ）との対応関係に基づいて、２次元座平面上に展開された映像データを球面にマッピングしていけばよい。
【００７５】
上記のように円筒投影法を用いた場合、上下の高緯度の領域１００４、１００６は、元の球面の単位面積当たりにマッピングされる画素数が多い高解像度の領域になる一方、中央の低緯度の領域１００５は、元の球面の単位面積当たりにマッピングされる画素数が少ない低解像度の領域になってしまう。
【００７６】
水平方向、すなわち中央の低緯度領域に視覚情報として重要な目線があることが想定される。このため、図１０に示したように全天周映像を円筒投影法でマッピングを行なうと、目線の映像が低解像度領域１００５となり、目線に外れた映像が高解像度領域１００４、１００６になるという冗長性がある。また、映像再生装置で元の球面に復元した全天周映像を表示したときには、目線の高さにある映像が最も劣化し、目線が外れた部分の映像が高解像度になるという無駄がある。また、領域１００５の解像度を上げると、その分だけ周辺の領域１００４、１００６の解像度も吊り上がり、データ量が増大してしまう。
【００７７】
また、撮像された元の全天周映像が４Ｋ、８Ｋ、１６Ｋといった超高解像度画像の場合には、データ量を効率的に削減（圧縮）できる投影法であることが好ましい。
【００７８】
これに対し、図１１に示すように、球面１１０１の全天周映像を立方体１１０２に投影して平面１１０３に展開するマッピング方法も考えられる。この方法の場合、立方体の各側面＃１〜＃６に投影された映像データを、図示のように２次元座標（ＵＶ）の平面１１０３にマッピングされる。そして、２次元のＵＶ平面１１０３にマッピングされた映像データは、Ｈ．２６４などの標準的な動画データの圧縮符号化方式を用いて圧縮符号化して、伝送並びに蓄積を行なうことができる。伝送することができる。全天周映像を再現するときには、マッピング方法すなわち２次元座標（ＵＶ）と元の３次元座標（ＸＹＺ）との対応関係に基づいて、２次元座平面１１０３上に展開された映像データを球面にマッピングしていけばよい。
【００７９】
図１１に示したような、球面１１０１の全天周映像を立方体１１０２に投影して平面１１０３に展開するマッピング方法によれば、球面１１０１の画像情報が立方体１１０２の６つの側面＃１〜＃６にほぼ均等に分散されるので、各側面の解像度は均一である。すなわち、円筒投影法（図１０を参照のこと）を用いた場合のような、領域毎に解像度が不均一になる（あるいは、目線方向の重要な視覚情報が劣化する）という問題はない。したがって、映像再生装置で元の球面に復元した全天周映像を表示したとき、全周にわたりほぼ均一な解像度になる。また、全天周映像を立方体に投影する方法によれば、データ量を約２０％程度削減することができる。なお、立方体ではなく他の正多面体に全天周映像を投影する方法によっても、解像度を均一にできるという効果がある。
【００８０】
また、図１２に示すように、球面１２０１の全天周映像を、四角錐１２０２に投影して平面１２０３に展開するマッピング方法も考えられる。この方法の場合、四角錐の底面＃１並びに各側面＃２〜＃５に投影された映像データは、図示のように２次元座標（ＵＶ）の平面１２０３にマッピングされる。そして、２次元のＵＶ平面１２０３にマッピングされた映像データは、Ｈ．２６４などの標準的な動画データの圧縮符号化方式を用いて圧縮符号化して、伝送並びに蓄積を行なうことができる。全天周映像を再現するときには、マッピング方法すなわち２次元座標（ＵＶ）と元の３次元座標（ＸＹＺ）との対応関係に基づいて、２次元座平面上に展開された映像データを球面にマッピングしていけばよい。
【００８１】
図１２に示したような、球面１２０１の全天周映像を四角錐１２０２に投影して平面１２０３に展開するマッピング方法によれば、球面１２０１の画像情報が、底面には高解像度でマッピングされる一方、４つの側面には低解像度でマッピングされるという特徴がある。例えば、注視点若しくは着目点が底面に含まれるように四角錐１２０２を配置して全天周映像を投影するようにすると、効率的に圧縮符号化することができる。また、映像再生装置で元の球面に復元した全天周映像を表示したときには、注視点若しくは着目点付近の視覚情報として重要な領域が高解像度で表示され、その周辺は低解像度で表示される。したがって、底面がユーザーの正面を向くようにした四角錐を用いてマッピングを行なうと、全天周映像の伝送や蓄積を効率化することができる。
【００８２】
全天周映像を四角錐に投影する方法によれば、データ量を８０％程度まで削減することができる。また、底面の広い四角錐に球面を投影することにより（図１３を参照のこと）、底面にマッピングされる領域が大きくなり、高解像度を保つことができる領域を広く残すことができるが、データ量の削減率は低くなる。逆に、底面の狭い（若しくは、細長い）四角錐に球面を投影すると（図１４を参照のこと）、高解像度を保って底面にマッピングされる領域が狭くなり、データ量を削減することができる。例えば、注視若しくは着目する（視覚情報として重要な）領域が広い場合には、底面の広い四角錐に全天周映像を投影し、注視若しくは着目する領域が狭い場合（例えば、キッチンの水道水の蛇口やドアのノブなど、調度品の特定の被写体を注視している場合）には、底面の狭い四角錐にマッピングするようにしてデータ量を大幅に削減することができる。したがって、映像提供装置からどのような映像を配信したいか、あるいは、映像再生装置側では全天周映像のうちどの部分に着目しているかなど、状況に応じて、全天周映像をマッピングする四角錐の形状を適応的に選択するようにしてもよい。勿論、四角錐以外の多角錐にマッピングする方法でも、上記と同様の効果を得ることができる。また、球面を投影する多角錐は正多角錐には限定されない。
【００８３】
図１０〜図１４では、円筒や立方体、角錐など幾何学上は規則的な形状の３次元モデルに全天周映像をマッピングした後、その３次元モデルを平面に展開する例を示してきた。これに対し、任意形状の物体に全天周映像をマッピングするという応用例もさらに考えられる。例えば、撮像した被写体となる空間の形状に合わせた３次元モデルに投影するようにしてもよい。具体的には、室内を撮像した全天周映像であれば、その部屋の形状に近似した直方体などの３次元モデル１５０１の表面に、部屋の四方の壁面や天井、床面などからなる全天周映像１５０２を投影して（図１５を参照のこと）、２次元平面にマッピングするようにしてもよい。空間の形状に合わせた３次元モデルを用いて全天周映像のマッピングを行なうと、映像全体にわたり画質を均一に保証することができるとともに、３次元モデルの形状に起因するテクスチャー・マッピング・エラーを解消することができる。
【００８４】
Ｆ．全天周映像の適応的な符号化・伝送処理
全天周映像は、映像提供装置で撮像された４Ｋ、８Ｋ、１６Ｋなど高画質の映像のまま保存し、再生されることが好ましい。記憶容量や伝送負荷などの制約を考慮しなければ、円筒投影法によりマッピングして元の全天周映像の画質を保つことが好ましい。しかしながら、元の映像はデータ量が大きく、蓄積時の記憶容量の負荷や、伝送時の帯域負荷の問題がある。このため、全天周映像をマッピングする３次元モデルの形状を適応的に切り替えて、蓄積時や伝送時に圧縮符号化することが好ましい、と本出願人は思料する。
【００８５】
例えば、図１に示したような映像視聴システム１００において、映像提供装置１０１と配信サーバー１０３間では広帯域の伝送路が確保される一方、配信サーバー１０３から映像再生装置１０２への伝送帯域が保証されないというケースが想定される。このような場合、映像提供装置１０１で撮像された全天周映像を４Ｋ、８Ｋ、１６Ｋなど高画質のまま配信サーバー１０３に伝送し、配信サーバー１０３で蓄積しておくが、配信サーバー１０３から映像再生装置１０２に配信する際には、通信負荷を考慮して圧縮符号化処理を行なう。
【００８６】
上述した全天周映像の圧縮符号化方法（図１０〜図１５を参照のこと）はいずれも、全天周映像を３次元モデル（立方体や四角錐など）上に一旦投影し、その３次元モデルを展開して２次元ＵＶ平面にマッピングして、その２次元の動画データにしてから圧縮符号化するという点で共通する。圧縮符号化にはＨ．２６４などの標準的な方式を利用することができるが、勿論、標準的な圧縮符号化方式に限定される訳ではない。
【００８７】
円筒や立方体、角錐、被写体の形状など、全天周映像を投影する３次元モデルの形状に応じて、データ削減量や、元の画質（解像度）の保存状態など特徴がさまざまである。円筒投影法では目線方向の画質が劣化してしまうが、立方体に投影するマッピング方法によれば全周にわたり映像の品質を均一にすることができる。また、四角錐に投影するマッピング方法によれば、その底面に投影する映像を高画質に保ちつつ、その他の領域を低画質にして全体としてデータ削減量を大きくすることができる。また、投影する四角錐の底面の大きさによって、高画質に保つ領域の大きさやデータ削減量をコントロールすることができる。また、空間の形状に合わせた３次元モデルを用いた全天周映像のマッピング方法では、映像全体にわたり画質を均一に保証し且つテクスチャー・マッピング・エラーを解消することができるが、データ削減量は小さくなる。
【００８８】
いずれのマッピング方法が最適であるかは、状況に応じて動的に変化する。言い換えれば、状況に応じて全天周映像のマッピング方法を動的に切り替えるようにしてもよい。最適なマッピング方法を決定する要因はさまざまであるが、以下の（１）〜（５）を例示することができる。
【００８９】
（１）映像提供装置側の状況に基づく最適なマッピング方法
例えば、不動産の物件を内見している人、又は内見者に同行している営業マンが、言動や挙動、ジェスチャーなどにより、特定の領域に注視若しくは着目すべきことを指示し又は促した場合には、その領域の画質を保証することができる四角錐又は立方体を用いたマッピング方法が適切である。
【００９０】
ユーザーが注視若しくは着目する領域が狭く、そこから外れた領域に関心がない場合（例えば、キッチンの水道水の蛇口やドアのノブなど、調度品の特定の被写体を注視している場合）には、注目している領域以外のデータ削減量を大きくすることができる四角錐を用いたマッピング方法がより好ましい。
【００９１】
一方、ユーザーが物件全般の雰囲気を伝えたい場合（例えば、廊下を抜けて、リビング・ルームに入った瞬間など）には、立方体を用いたマッピング方法を用いて、解像度は高くないが均一な映像を伝送することが好ましい。
【００９２】
また、ユーザーが物件を内見している状態や（止まって詳細を見ている、歩いて部屋内又は次の部屋に移動している、走って移動している）、ユーザーの環境（廊下にいる、キッチンにいる、リビングにいる、広い部屋にいる、個室にいる、ベランダにいる）に応じて、適応的にマッピング方法を切り替えるようにしてもよい。
【００９３】
例えば、物件を内見しているユーザーがキッチンの前に止まって見ている状態や、営業マンがキッチンの説明をしている状態では、図１６に示すように、キッチンの方向の底面を向けた四角錐１６００に全天周映像を投影するマッピング方法が適切ということができる。また、ユーザーがシンクや蛇口、収納などさらに特定の被写体に注視している状態では、全天周映像を投影する四角錐１６００の底面をその被写体に向けながら狭くしていき、その被写体だけをより高解像度で伝送できるようにしてもよい。
【００９４】
他方、ユーザーは立ち止まってはいるが、物件の特定の部分を注視している訳ではなく、部屋全体を見渡している場合には、映像再生装置側でも部屋全体を俯瞰して雰囲気を感じることができるように、立方体のような３次元モデルの全天周映像を投影して、全体を均一な解像度や画質で伝送できるマッピング方法であることが好ましい。
【００９５】
また、立ち止まっていたユーザーが歩き始めたときや小走りで隣の部屋に移動しようとしている状況では、ユーザーの進行方向に底面を向けた四角錐に全天周映像を投影するマッピング方法を適用すると、映像再生装置側でも進行方向が高解像度となる映像が表示されるので、移動しているという臨場感が伝わってよい場合もある。
【００９６】
配信サーバーは、例えば、映像提供装置から全天周映像の撮影時の状況を示す信号を受信して、映像再生装置に全天周映像を配信する際には、その信号に含まれる情報に基づいてマッピング方法の切り替えを制御するようにすればよい。
【００９７】
（２）映像再生装置側の状況に基づく最適なマッピング方法
例えば、映像再生装置のユーザーが、映像提供装置から現在送られてくるリアルタイム映像、あるいは配信サーバーに記録されたアーカイブ映像を視聴して、遠隔から不動産の物件を内見している際に、言動や挙動、ジェスチャーなどにより、特定の被写体に強い関心を持ち、あるいは特定の被写体を注視したい（又は、もう一度見たい）こと、言い換えれば注目したい被写体を意思表示した場合には、その被写体の画質を保証することができる四角錐又は立方体を用いたマッピング方法が適切である。また、ユーザーが注視若しくは着目している領域が狭く、そこから外れた領域に関心がない場合（例えば、キッチンの水道水の蛇口やドアのノブなど、調度品の特定の被写体を注視している場合）には、注目している被写体以外のデータ削減量を大きくすることができる四角錐を用いたマッピング方法がより好ましい。一方、ユーザーが物件全般の雰囲気を知りたい場合（例えば、廊下を抜けて、リビング・ルームに入った瞬間の映像を視聴しているときなど）には、立方体を用いたマッピング方法を用いて、解像度は高くないが均一な映像を伝送することが好ましい。
【００９８】
例えば、映像再生装置は、センサー部６０９で計測されたユーザーの視線方向、頭部位置又は姿勢の情報を、全天周映像の配信元である配信サーバー（又は映像提供装置）に送信するようにしてもよい。そして、配信サーバー（又は映像提供装置）側では、ユーザーの視線方向に底面を向けた四角錐に全天周映像を投影するマッピング方法を用いて圧縮符号化した動画データを映像再生装置に伝送するようにしてもよい。
【００９９】
あるいは、映像再生装置は、ユーザーからの音声によるリクエスト（部屋全体の雰囲気を知りたい、あるいは調度品をよく見たい）を集音部６０７で集音して、その音声認識結果に基づく指示を、全天周映像の配信元である配信サーバー（又は映像提供装置）に送信するようにしてもよい。
【０１００】
配信サーバーは、例えば、配信先となる映像再生装置から全天周映像の視聴時の状況を示す信号を受信して、その信号に含まれる情報に基づいてマッピング方法の切り替えを制御するようにすればよい。
【０１０１】
（３）空間に基づく最適なマッピング方法
内見している空間情報に基づいて、適応的にマッピング方法を切り替えるようにしてもよい。例えば、狭い廊下を歩いているとき、廊下から広い部屋に入ったとき、逆に、部屋から廊下に移ったときなど、空間毎、若しくは空間の変化に適合するマッピング方法をあらかじめ規定しておく。そして、内見している最中の空間情報をモニタリングして、空間情報や空間の変化に応じて、適応的にマッピング方法を切り替えるようにする。
【０１０２】
例えば、ユーザーが奥の扉に向かって廊下を歩いている状況では、図１７に示すように、ユーザーの進行方向（正面方向）あるいは後方に底面を向けた四角錐１７００に全天周映像を投影するマッピング方法を適用する。すると、映像再生装置側では奥の扉が高解像度となる映像が表示されるので、扉の先の部屋に興味が湧いてくる。そして、扉を開いて部屋に入った瞬間に、図１８に示すように立方体１８００に全天周映像を投影するマッピング方法に切り替える。すると、映像再生装置側でもその部屋全体を均等な解像度で全天周映像を見渡すことができるようになる。
【０１０３】
配信サーバーは、例えば、映像提供装置から空間情報を示す信号を受信して、その信号に含まれる情報に基づいてマッピング方法の切り替えを制御するようにすればよい。あるいは、配信サーバーは、全天周映像を映像解析して得られる空間情報に基づいてマッピング方法の切り替えを制御するようにしてもよい。
【０１０４】
（４）複数の映像再生装置に映像を配信する場合のマッピング方法
配信サーバーから、１つの全天周映像を複数の映像再生装置に配信する場合、個々の映像再生装置で全天周映像を視聴する視線方向がまちまちであることを想定して、全天周映像を立方体に投影するマッピング方法（図１１を参照のこと）を適用して、同じ圧縮符号化映像を複数の映像再生装置にマルチキャストするようにしてもよい。個々の映像再生装置で全天周映像を視聴する視線方向がまちまちであっても、いずれの視線方向の映像も均一な解像度すなわち一定の画質を保つことができる。すべての映像再生装置において、平均的な満足感が得られる全天周映像のマルチキャスト配信方法ということもできる。
【０１０５】
あるいは、個々の映像再生装置で全天周映像を視聴する視線方向が同じでないとしても、ほとんどの映像再生装置の視線方向が特定の領域内に入っているときには、図１９に示すように、その特定の領域に底面を向けた四角錐１９００に全天周映像を投影するマッピング方法を適用して、同じ圧縮符号化映像を複数の映像再生装置にマルチキャストするようにしてもよい。四角錐の側面に投影された映像に視線が向けられた一部の映像再生装置においては低解像度で画質が劣化した映像を視聴することになるが、大部分の映像再生装置では、四角錐の底面に投影されて高解像度が保たれた高画質の映像を視聴することができる。より多くの映像再生装置において最大限の満足感が得られる全天周映像のマルチキャスト配信方法ということもできる。
【０１０６】
また、個々の映像再生装置に対して、図２０に示すように、それぞれの視線方向に適合した四角錐に投影して圧縮符号化した全天周映像を配信する方法も考えられる。この場合、配信サーバーは、映像再生装置毎に異なる圧縮符号化映像をユニキャスト配信することになる。すべての映像再生装置で最大の満足感を得ることができる。但し、個々のユニキャスト・データは圧縮率が高くても、多数のユニキャスト配信することに伴い、通信負荷が高くなるという問題がある。
【０１０７】
配信サーバーは、例えば、配信先となる複数の映像再生装置の各々から、視線方向を示す信号を受信して、通信負荷など他の状況を考慮しつつ、マッピング方法の切り替えを制御するようにすればよい。
【０１０８】
（５）負荷に応じたマッピング方法
上記の（１）〜（４）は、基本的に、映像提供装置側（若しくは、不動産の物件の内見現場）の状況、又は、映像再生装置側（若しくは、内見で撮像された全天周映像の視聴者）の状況に応じた適切なマッピング方法である。状況毎に適切なマッピング方法であっても、通信負荷の観点から、リアルタイム配信（若しくは、途切れのない映像ストリーミング）が困難な場合もある。
【０１０９】
図１に示したような構成の映像視聴システム１００では、映像提供装置１０１と配信サーバー１０３間の伝送路と、配信サーバー１０３から映像再生装置１０２への伝送路の各々で通信負荷がかかる。映像提供装置１０１と配信サーバー１０３間の伝送路は広帯域を確保する一方、配信サーバー１０３から映像再生装置１０２への伝送帯域が保証されないというシステムの運用では、配信サーバー１０３からの伝送負荷次第では、映像提供装置や映像再生装置の状況には適合しないマッピング方法を選択すべき場合も想定される。
【０１１０】
例えば、映像再生装置から立方体を用いたマッピング方法による伝送が要求されている場合であっても、配信サーバーは、より圧縮率の高い四角錐を用いたマッピング方法で全天周映像を圧縮符号化して映像再生装置に配信する場合がある。
【０１１１】
また、複数の映像再生装置からそれぞれの視線方向に底面を向けた四角錐を用いたマッピング方法により圧縮符号化したデータのユニキャストが要求されている場合であっても、全体の伝送データ量が膨大になる場合には、共通の四角錐を用いたマッピング方法により圧縮符号化したデータのマルチキャスト配信に切り替える場合もある。
【０１１２】
配信サーバーは、例えば、全天周映像の配信に用いる伝送路における通信負荷など伝送路の状況をモニタリングして、伝送路の状況に応じてマッピング方法の切り替えを適応制御するようにすればよい。配信サーバーは、例えば、パケットの再送回数を計測したり、配信先となる映像再生装置からパケット・エラー率や受信信号強度（但し、無線通信の場合）などのフィードバック情報を取得したりして、伝送路の状況をモニタリングすることができる。
【０１１３】
図２１には、全天周映像のマッピング方法を動的・適法的に切り替えるための概略的な処理手順をフローチャートの形式で示している。この処理手順は、基本的には、配信サーバーから映像再生装置に全天周映像を配信する際に実施することを想定しているが、勿論、映像提供装置から配信サーバーに全天周映像を送信する場合や、映像提供装置から（配信サーバーを介さず）映像再生装置に直接送信する場合に実施することも可能である。
【０１１４】
まず、全天周映像を配信する状況の情報を取得する（ステップＳ２１０１）。ここで言う状況には、上述したように、映像提供装置側の状況、映像再生装置側の状況、全天周映像の空間情報、複数の映像再生装置に映像を配信する場合の状況、通信負荷などが含まれる。
【０１１５】
そして、現在設定されているマッピング方法が、ステップＳ２１０１で把握した状況に適合するか否かをチェックする（ステップＳ２１０２）。
【０１１６】
現在設定されているマッピング方法が現在の状況に適合する場合には（ステップＳ２１０２のＹｅｓ）、マッピング方法を変更することなく、全天周映像の圧縮符号化（ステップＳ２１０４）、及び、映像再生装置への配信を（ステップＳ２１０５）、繰り返し実行する。
【０１１７】
一方、現在設定されているマッピング方法が現在の状況に適合しない場合には（ステップＳ２１０２のＮｏ）、現在の状況に適合するマッピング方法に切り替えて（ステップＳ２１０３）、全天周映像の圧縮符号化（ステップＳ２１０４）、及び、映像再生装置への配信を実行する（ステップＳ２１０５）。
【０１１８】
そして、映像再生装置へ全天周映像を配信している間、状況を常時モニタリングして、状況が変化する度に、適応的にマッピング方法を切り替える。
【０１１９】
ステップＳ２１０１で複数の状況を取得し、状況毎に適合するマッピング方法が異なる場合には、各状況の優先順位を決めて、優先順位の高い状況に適合するマッピング方法を適用するようにすればよい。
【０１２０】
例えば、遅延や画が途切れることなく映像再生装置で全天周映像の視聴を保証するためには、通信負荷を最優先に考慮してマッピング方法を決定するべきである。
【０１２１】
また、例えば不動産会社の営業マンによる物件の説明を優先させたいときや、現場で内見している人の意見を尊重したい場合などには、映像再生装置よりも映像提供装置における状況を優先的に考慮してマッピング方法を決定するようにすればよい。
【０１２２】
あるいは、現地に行けず物件を実際に内見できない人に自由に見てもらう場合などには、映像再生装置側の状況を優先的に考慮してマッピング方法を決定するようにすればよい。
【０１２３】
いずれのマッピング方法も、以下のような手順で全天周映像の圧縮符号化するという点で共通する。
【０１２４】
（１）全天周映像を投影する３次元モデルを、状況に基づいて適応的に選択する。
（２）３次元モデルの各側面に全天周映像の画像情報を投影する。
（３）３次元モデルを展開して、その各側面に投影された画像情報を２次元平面にＵＶマッピングする。
（４）２次元平面となった画像情報を、Ｈ．２６４などの標準的な動画データの圧縮符号化方式を用いて圧縮符号化する。
【０１２５】
また、映像再生装置など、圧縮符号化された全天周映像を受信し再生する装置側では、上記とは逆の手順で、全天周映像を復元すればよい。
【０１２６】
（１）受信した圧縮符号化映像を、Ｈ．２６４などの規定の圧縮符号化方式に従って復号する。
（２）２次元平面上の復号された画像情報を、３次元モデルの各側面に逆ＵＶマッピングする。
（３）３次元モデルの各側面にマッピングされた画像情報を、球面に逆投影して、全天周映像を復元する。
【０１２７】
常に同じ３次元モデルを使って全天周映像のＵＶマッピングを行なう場合など、圧縮符号化映像の送信側（例えば、配信サーバー）と受信側（例えば、映像再生装置）の間でマッピング方法が既知の場合には、符号化圧縮映像データだけを伝送すればよい。これに対し、さまざまな状況に応じてマッピング方法を動的に変更するようなシステムの運用の場合には、送信側でどのようなマッピング方法で全天周映像を圧縮符号化したのか、受信側からは不明となる。このため、圧縮符号化した全天周映像を伝送する際には、そのマッピング方法を通知するための情報も併せて伝送することが好ましい。
【０１２８】
図２２には、圧縮符号化した全天周映像の伝送フォーマット例を示している。各図において、参照番号２２０１で示す前半部分は、２次元平面にＵＶマッピングされた圧縮符号化映像データである。また、参照番号２２０２で示す後半部分は、全天周映像を２次元平面にマッピングする方法に関するマッピング方法データであり、ＵＶマッピング時に使用した３次元モデルの形状データを含む。
【０１２９】
また、図２３には、圧縮符号化した全天周映像のシンタックス例を示している。ｄａｔａ（Ｈ．２６４）は、圧縮符号化方式された２次元映像データである。ｍａｐｐｉｎｇ  ｄａｔａ  （ＵＶ  ｍａｐｐｉｎｇ）は、全天周映像を投影する３次元モデルを指定する情報である。［ｔｅｘｔｕｒｅ，  ｖｅｒｔｅｘ，  ＵＶ］は、テクスチャー、頂点、及び、ＵＶマップ（全天周映像のＸＹＺ座標と２次元平面のＵＶ座標の対応表）である。
【０１３０】
本明細書で開示する技術によれば、例えば不動産の物件を撮像した映像送信を好適に制御することができる。また、本明細書で開示する技術によれば、例えば不動産の物件を撮像したリアルタイム映像又はアーカイブ映像を好適に視聴することができ、物件の遠隔地からでも現実感のある内見を実現することができる。
【産業上の利用可能性】
【０１３１】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。【０１３２】
本明細書では、本明細書で開示する技術を不動産物件の内見システムに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。本明細書で開示する技術は、さまざまな産業分野における映像伝送に適用することができる。例えば、外科手術などの医療現場、土木作業などの建築現場、飛行機やヘリコプターの操縦、自動車の運転者のナビゲーション、スポーツのインストラクションやコーチングなど、さまざまな産業分野の作業支援、介護支援、人材派遣の用途に活用することができる。また、本明細書で開示する技術を、コンサートやスポーツの観戦、ＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ）に利用することもできる。【０１３３】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。【０１３４】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）３次元画像を受信する受信部と、
前記３次元画像を２次元画像にマッピングするための３次元モデルを保持する記憶部と、
前記２次元画像を送信する送信部と、
制御部と、
を具備し、
前記制御部は、ユーザーからの指示又は周辺環境に基づいて、使用する３次元モデルを決定し、前記決定した３次元モデルに基づいて前記３次元画像を２次元画像にマッピングし、前記２次元画像を前記送信部より送信する、
情報処理装置。
（２）前記受信部は、前記３次元画像として全天周映像を受信し、
前記制御部は、前記全天周映像をマッピングする形状を、円筒、立方体、四角錐、被写体の形状のうち少なくとも１つを含む、複数の３次元モデルの中で切り替え制御する、
上記（１）に記載の情報処理装置。
（３）前記受信部は、前記全天周映像を撮像する第１の装置から第１の信号を受信し、
前記制御部は、前記第１の信号に含まれる情報に基づいて前記切り替え制御を行なう、
上記（２）の記載の情報処理装置。
（４）前記制御部は、前記第１の信号に含まれるユーザーの指示に応じて前記切り替え制御を行なう、
上記（３）に記載の情報処理装置。
（５）前記制御部は、前記第１の信号に含まれる撮像時の状況を示す情報に応じて前記切り替え制御を行なう、
上記（３）に記載の情報処理装置。
（６）前記制御部は、前記第１の信号に含まれる被写体の情報に基づいて、前記被写体に底面を向けた四角錐を用いたマッピングに切り替える、
上記（３）に記載の情報処理装置。
（７）前記送信部は、前記全天周映像をマッピングした前記２次元画像を第２の装置に送信し、
前記制御部は、前記第２の装置から受信する第２の信号に含まれる情報に基づいて前記切り替え制御を行なう、
上記（２）に記載の情報処理装置。
（８）前記制御部は、前記第２の信号に含まれる被写体の情報に基づいて前記切り替え制御を行なう、
上記（７）に記載の情報処理装置。
（９）前記制御部は、前記被写体に底面を向けた四角錐を用いたマッピングに切り替える、
上記（８）に記載の情報処理装置。
（１０）前記制御部は、前記第２の信号に含まれる視線情報に基づいて、視線の方向に底面を向けた四角錐を用いたマッピングに切り替える、
上記（７）に記載の情報処理装置。
（１１）前記制御部は、前記第２の信号に含まれるユーザーの指示に応じて前記切り替え制御を行なう、
上記（７）に記載の情報処理装置。
（１２）前記送信部は前記全天周映像を複数の第２の装置に送信する送信部し、
前記制御部は、前記複数の第２の装置の各々から受信する前記第２の信号に含まれる視線情報に基づいて前記切り替え制御を行なう、
上記（２）に記載の情報処理装置。
（１３）前記制御部は、前記複数の第２の装置に対して、各々の視線の方向に底面を向けた四角錐を用いてマッピングした２次元画像をそれぞれユニキャスト送信させる、
上記（１２）に記載の情報処理装置。
（１４）前記制御部は、大部分の視線を含む領域に底面を向けた四角錐を用いてマッピングした２次元画像をマルチキャスト送信させる、
上記（１２）に記載の情報処理装置。
（１５）前記全天周映像を伝送する伝送路の状況をモニタリングするモニタリング部をさらに備え、
前記制御部は、前記伝送路の状況に基づいて前記切り替え制御を行なう、
上記（２）に記載の情報処理装置。
（１６）前記制御部は、前記マッピングに使用された３次元モデルを特定するための情報を含んだ伝送フォーマットで前記２次元画像を前記送信部より伝送させる、
上記（１）に記載の情報処理装置。
（１７）３次元画像を受信する受信ステップと、
前記３次元画像を２次元画像にマッピングするための３次元モデルを記憶部に保持する記憶ステップと、
前記２次元画像を送信する送信ステップと、
制御ステップと、
を有し、
前記制御ステップでは、ユーザーからの指示又は周辺環境に基づいて、使用する３次元モデルを決定し、前記決定した３次元モデルに基づいて前記３次元画像を２次元画像にマッピングし、前記２次元画像を前記送信ステップにおいて送信する、
情報処理方法。
（１８）３次元画像データの伝送方法であって、
３次元モデルに基づいて前記３次元画像が２次元画像にマッピングされた２次元マップ画像データと、前記マッピングに用いられた前記３次元モデルを特定するための付属データを１つのデータ・セットにするステップと、
前記データ・セットを伝送するステップと、
を有する３次元画像データの伝送方法。
【符号の説明】
【０１３５】
１００…映像視聴システム
１０１…映像提供装置、１０２…映像再生装置
２００…映像視聴システム
２０１…映像提供装置、２０２…映像再生装置
３００…映像視聴システム
３０１…映像提供装置、３０２…映像再生装置
４００…映像視聴システム
４０１…映像提供装置、４０２…映像再生装置
５００…情報処理装置（映像提供装置）
５０１…撮像部、５０３…映像符号化部
５０４…音声入力部、５０５…音声符号化部
５０６…多重化部、５０７…通信部、５０８…映像復号部
５０９…画像処理部、５１０…表示部、５１１…音声復号部
５１２…音声出力部、５１３…制御部
６００…情報処理装置（映像再生装置）
６０１…通信部、６０２…分離部（ＤＥＭＵＸ）
６０３…音声復号部、６０４…音声出力部
６０５…映像復号部、６０６…表示部
６０７…集音部、６０８…音声符号化部
６０９…センサー部、６１０…制御部
【図１】
2017187821.tif 000003
【図２】
2017187821.tif 000004
【図３】
2017187821.tif 000005
【図４】
2017187821.tif 000006
【図５】
2017187821.tif 000007
【図６】
2017187821.tif 000008
【図７】
2017187821.tif 000009
【図８】
2017187821.tif 000010
【図９】
2017187821.tif 000011
【図１０】
2017187821.tif 000012
【図１１】
2017187821.tif 000013
【図１２】
2017187821.tif 000014
【図１３】
2017187821.tif 000015
【図１４】
2017187821.tif 000016
【図１５】
2017187821.tif 000017
【図１６】
2017187821.tif 000018
【図１７】
2017187821.tif 000019
【図１８】
2017187821.tif 000020
【図１９】
2017187821.tif 000021
【図２０】
2017187821.tif 000022
【図２１】
2017187821.tif 000023
【図２２】
2017187821.tif 000024
【図２３】
2017187821.tif 000025
【国際調査報告】
2017187821.tif 000026
2017187821.tif 000027
2017187821.tif 000028
2017187821.tif 000029