(57)【要約】  本技術は、多方向通信システムにおいて空間がつながっているように感じているユーザに違和感を与えることを抑制することができるようにする多方向通信装置、多方向通信方法、およびプログラムに関する。受信部は、ユーザＢの現実の空間の様子を表す情報である現実空間情報を受信する。仮想データ生成部は、受信された現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する。制御部は、現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、ユーザＡの情報処理装置への表示を制御する。本技術は、多方向通信システムに適用することができる。
2019198542.tif 000002
【特許請求の範囲】
【請求項１】
第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信する受信部と、
受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する生成部と、
前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する表示制御部と
を備える多方向通信装置。
【請求項２】
前記表示制御部は、前記第２のユーザの状態を表す情報であるセンシング情報に基づいて、前記仮想空間の表示を制御する
請求項１に記載の多方向通信装置。
【請求項３】
前記表示制御部は、前記現実空間情報の提示が望まれる状態でなくなった場合に、前記仮想空間の表示を制御する
請求項１に記載の多方向通信装置。
【請求項４】
前記表示制御部は、ネットワークの状態が悪化している場合に、前記仮想空間の表示を制御する
請求項１に記載の多方向通信装置。
【請求項５】
前記表示制御部は、前記第２のユーザが不在であった場合に、前記第２のユーザの接近を検出したとき、前記仮想空間の表示を制御する
請求項１に記載の多方向通信装置。
【請求項６】
前記表示制御部は、前記現実空間情報が表す現実空間をフェードアウトさせながら、生成された前記仮想空間情報にスムーズに切り替えて、前記仮想空間情報が表す仮想空間の表示を制御する
請求項１に記載の多方向通信装置。
【請求項７】
前記表示制御部は、前記現実空間情報が再度利用可能である場合、前記仮想空間情報をフェードアウトさせながら、前記現実空間情報にスムーズに切り替えて、前記現実空間情報に対応する仮想空間の表示を制御する
請求項６に記載の多方向通信装置。
【請求項８】
前記表示制御部は、前記現実空間情報の提示が望まれる状態でなくなった場合に、前記現実空間情報の利用できないとき、前記仮想空間の表示を制御する
請求項３に記載の多方向通信装置。
【請求項９】
多方向通信装置が、
第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信し、
受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成し、
前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する
多方向通信方法。
【請求項１０】
第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信する受信部と、
受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する生成部と、
前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する表示制御部と
して、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、多方向通信装置、多方向通信方法、およびプログラムに関し、特に、多方向通信システムにおいて空間がつながっているように感じているユーザに違和感を与えることを抑制することができるようにした多方向通信装置、多方向通信方法、およびプログラムに関する。
【背景技術】
【０００２】
特許文献１においては、撮像する３次元空間内において、対象となるユーザや環境の状態を認識し、映像内から特定ユーザ部分をモザイク処理することにより、実際のデータと異なる映像、類似する映像、または仮想の映像の生成を行う手法が提案されている。【０００３】
一方、近年、通信技術の発達により、遠隔地で映像を介して会話を行うリアルタイム双方向通信が行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５８６７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
リアルタイム双方向通信において、通信が遮断され、映像が途切れてしまった場合に、途切れてしまった相手側の映像を仮想的に生成することは、特許文献１の技術では困難である。【０００６】
本技術はこのような状況に鑑みてなされたものであり、多方向通信システムにおいて空間がつながっているように感じているユーザに違和感を与えることを抑制することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の多方向通信装置は、第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信する受信部と、受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する生成部と、前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する表示制御部とを備える。【０００８】
本技術の一側面においては、第１のユーザの現実の空間の様子を表す情報である現実空間情報が受信され、受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報が生成される。そして、前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示が制御される。
【発明の効果】
【０００９】
本技術によれば、多方向通信システムにおいて空間がつながっているように感じているユーザに違和感を与えることを抑制するようにすることができる。【００１０】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】本技術を適用した多方向通信システムを示す図である。
【図２】出力情報の一例を示す図である。
【図３】出力情報の一例を示す図である。
【図４】情報処理装置のハードウェア構成例を示すブロック図である。
【図５】情報処理装置の機能構成例を示すブロック図である。
【図６】出力情報の一例を示す図である。
【図７】出力情報の一例を示す図である。
【図８】出力情報の一例を示す図である。
【図９】出力対象の切り替え動作について説明する図である。
【図１０】出力対象の切り替え動作について説明する図である。
【図１１】多方向通信システムの空間接続処理を説明するフローチャートである。
【図１２】多方向通信システムの空間接続処理を説明する、図１１に続くフローチャートである。
【図１３】多方向通信システムの空間接続処理の他の例を説明するフローチャートである。
【図１４】多方向通信システムの空間接続処理を説明する、図１３に続くフローチャートである。
【図１５】多方向通信システムの空間接続処理のさらに他の例を説明するフローチャートである。
【図１６】多方向通信システムの空間接続処理を説明する、図１５に続くフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．システムの概要
２．情報処理装置の構成
３．動作
４．まとめ
５．その他
【００１３】
＜１．システムの概要＞
＜多方向通信システムの構成例＞
図１は、本技術を適用した多方向通信システムを示す図である。
【００１４】
図１に示すように、多方向通信システム１は、情報処理装置１１Ａ乃至１１Ｃ、およびサーバ１２が、インターネットなどのネットワーク１３を介して接続されることによって構成される。
【００１５】
情報処理装置１１Ａ、情報処理装置１１Ｂ、および情報処理装置１１Ｃは、それぞれユーザＡの空間である地点Ａ、ユーザＢの空間である地点Ｂ、およびユーザＣの空間である地点Ｃに配置される。情報処理装置１１Ａ、情報処理装置１１Ｂ、および情報処理装置１１Ｃは、各ユーザの空間を、画像、音声、その他の情報チャンネルで接続し、ユーザに対して、あたかも各空間がつながっているかのように感じさせる装置である。
【００１６】
例えば、情報処理装置１１Ａ、情報処理装置１１Ｂ、および情報処理装置１１Ｃは、離れて暮らしている親と子に、互いの家のリビングが窓やドアに相当する表示装置を介してつながっているように見せることができる。互いのリビングがつながっているように見せることにより、ユーザＡ乃至Ｃは、他のユーザの様子（例えば、子どもの様子や親の様子など）を把握しながら生活することができる。
【００１７】
このようなつながり感の演出は、情報処理装置１１Ａ、情報処理装置１１Ｂ、および情報処理装置１１Ｃのそれぞれの間で、各空間の様子を表す情報である空間情報を送受信することによって行われる。空間情報は、カメラにより撮影して得られた空間画像情報、マイクロホンなどにより集音して得られた空間音声情報などを含む情報である。このように、情報処理装置１１Ａ、情報処理装置１１Ｂ、および情報処理装置１１Ｃは、空間情報を共有する空間情報共有装置として機能する。
【００１８】
このような構成を有する多方向通信システム１においては、通信、機器、ユーザの状態に起因して、空間情報のリアルタイム伝送が困難な場合があり得る。
【００１９】
空間情報のリアルタイム伝送が困難な場合、多方向通信システム１においては、空間情報の蓄積データを用いて仮想的な空間の様子を表す仮想空間情報を生成し、仮想空間情報によって仮想空間を表示させる処理が行われる。これにより、実際の空間の表示に代えて、近似した空間の表示を続けることができるようになされている。
【００２０】
仮想空間情報は、視覚により認知できる空間の様子を仮想的に表す仮想空間画像情報、聴覚により認知できる空間の様子を仮想的に表す仮想空間音声情報などを含む情報である。
【００２１】
仮想空間情報の生成は、リアルタイムに取得可能な、または、近い未来のこととして予測可能なコンテキスト情報を蓄積データと組み合わせて用いることによって行われる。コンテキスト情報は、センシングを行うことによって得られた、ユーザの状態を表す情報である。ユーザの状態には、ユーザの空間の状態も含まれる。
【００２２】
蓄積データだけでなくコンテキスト情報をメタデータとして用いることにより、実際の空間により近い仮想空間を表現することが可能な仮想空間情報を生成することが可能となる。
【００２３】
例えば、情報処理装置１１Ａ乃至１１Ｃは、それぞれ、多方向通信の同期処理、空間情報の送受信処理、仮想空間情報生成処理、および切り替え提示処理などを行う。これらの処理の少なくとも一部が、サーバ１２により行われるようにしてもよい。図１に示す例では、多方向通信システム１がサーバ１２を含む構成となっているが、サーバ１２を含まない構成としてもよい。
【００２４】
これにより、接続を途切れさせることがなく、ユーザにとって、違和感のない、心地よい空間のつながり感を提供することができる。つながり感とは、空間がつながっているような感覚であり、安心感や互いの存在感と言い換えることも可能である。
【００２５】
なお、多方向通信システム１は、２地点間を接続することも可能であるし、３地点以上の多地点接続を行ってもよい。
【００２６】
以下、適宜、情報処理装置１１Ａ乃至１１Ｃを区別する必要がない場合、情報処理装置１１と称する。
【００２７】
＜出力情報の例＞
図２は、出力情報の一例を示す図である。
【００２８】
図２の例においては、ユーザＢ１の空間である地点Ｂにおいて、通信先の地点Ａの空間の様子を表す空間画像情報が出力情報３１として表示されている。出力情報３１の表示は、地点Ｂに配置されている情報処理装置１１Ｂにより行われる。地点ＡにはユーザＡ１乃至Ａ３がいるものとされている。なお、空間画像情報のアスペクト比は任意である。
【００２９】
例えば、出力情報３１に映っているユーザＡ１は、子育て世代の母であり、ユーザＡ２およびユーザＡ３は、子どもたちである。図２の例においては、ユーザＡ１は、ユーザＢ１がいる地点Ｂに興味があり、ユーザＡ１の正面にある表示装置に表示されている、地点Ｂの空間画像情報を見ているものとされている。ユーザＡ１の正面にある表示装置に表示されている空間画像情報は、地点Ｂの様子を表す情報である。地点Ｂの様子を表す空間画像情報には、後述するようにユーザＢ１が映っている。なお、図２の例においては、ユーザＡ２およびユーザＡ３は、地点Ｂの空間画像情報に興味がなく、遊んでいるものとされている。
【００３０】
図３は、出力情報の一例を示す図である。
【００３１】
図３の例においては、ユーザＡ１の空間である地点Ａにおいて、通信先の地点Ｂの空間の様子を表す空間画像情報が出力情報４１として表示されている。出力情報４１の表示は、地点Ａに配置されている情報処理装置１１Ａにより行われる。地点ＢにはユーザＢ１およびユーザＢ２がいるものとされている。
【００３２】
例えば、ユーザＢ１は、ユーザＡ１の母であり、ユーザＡ２およびユーザＡ３の祖母である。ユーザＢ２は、ユーザＡ１の父であり、ユーザＡ２およびユーザＡ３の祖父である。図３の例においては、ユーザＢ１は、地点Ａに興味があり、ユーザＢ１の正面にある表示装置に表示されている、地点Ａの空間画像情報（図２の出力情報３１）を見ているものとされている。ユーザＢ２は、ドアからユーザＢ１がいる空間に入ってきたところである。
【００３３】
このような出力情報の表示がリアルタイムで続けられることにより、遠隔地にいるユーザは、お互いが、あたかも隣の部屋にいるような感覚を得ることが可能となる。
【００３４】
＜２．情報処理装置の構成＞
＜情報処理装置の構成＞
図４は、情報処理装置１１のハードウェア構成例を示すブロック図である。
【００３５】
CPU５１、ROM５２、RAM５３は、バス５４により相互に接続される。バス５４には、さらに、入出力インタフェース５５が接続される。
【００３６】
入出力インタフェース５５には、入力部５６、出力部５７、記憶部５８、通信部５９、およびドライブ６０が接続される。
【００３７】
入力部５６は、空間情報を取得する。入力部５６が取得する空間情報には、例えば、ユーザの空間の画像、音声、環境データ、テキスト、触覚、および匂いなどの情報が含まれる。ユーザの空間は、ユーザがいる空間だけではなく、ユーザに関連付けられた部屋などの空間（不在でもよい）も含まれる。
【００３８】
また、空間情報には、空間の明るさ、空間の広さ、空間の高さ、気流、温度、湿度、環境音、および情報処理装置１１の状態などの空間の様子を示す情報が含まれる。空間情報には、ユーザの位置、ユーザと出力情報の表示領域との距離、ユーザの動き、ユーザの注視点、同一空間にいるユーザの人数および構成、ユーザの姿勢などのユーザの状態を示す情報が含まれる。
【００３９】
入力部５６は、周囲の状況を撮影するカメラ、周囲の音を検出するマイク、およびセンサなどで構成される。センサは、空間内や空間周辺の各種情報を検知する。センサは、例えば、温度センサ、湿度センサ、照度センサ、匂いセンサ、人感センサ、振動センサ、気流センサ、およびドア開閉センサなどの物理センサや、ホームオートメーションシステム、建築物、および都市インフラシステムに設置されたIoTセンサにより構成される。
【００４０】
カメラ、マイク、センサは１台に限らず、複数であってもよい。情報処理装置１１に設けられるセンサの組み合わせについては任意に変更可能である。カメラ、マイク、センサが情報処理装置１１の構成として設けられるのではなく、外部のカメラ、マイク、センサにより得られた情報が入力部５６において取得されるようにしてもよい。
【００４１】
出力部５７は、ディスプレイやプロジェクタなどの表示装置、スピーカなどの音声出力装置、およびLEDランプまたはインジケータなどの通知装置よりなる。
【００４２】
記憶部５８は、ハードディスクや不揮発性のメモリなどにより構成される。記憶部５８には、CPU５１が実行するプログラムの他に、コンテキスト情報および空間情報などの各種のデータが記憶される。
【００４３】
通信部５９は、ネットワークインタフェースにより構成される。通信部５９は、無線や有線による通信を介してネットワーク１３に接続し、P2Pまたはサーバ１２経由で、他の情報処理装置１１と相互に通信を行う。
【００４４】
ドライブ６０は、リムーバブルメディア６１を駆動し、リムーバブルメディア６１に記憶されたデータの読み出し、または、リムーバブルメディア６１に対するデータの書き込みを行う。
【００４５】
図４に示す構成と同じ構成をサーバ１２も有している。
【００４６】
＜情報処理装置の機能構成＞
図５は、情報処理装置１１の機能構成例を示すブロック図である。
【００４７】
図５に示す機能構成のうちの少なくとも一部は、図４のCPU５１により所定のプログラムが実行されることによって実現される。図５の構成のうち、図４の構成と対応する部分には同じ符号が付されている。重複する説明については適宜省略する。
【００４８】
図５に示すように、情報処理装置１１においては、コンテキスト分析部８１、ＵＩ(User Interface)部８２、制御部８３、蓄積部８４、および仮想データ生成部８５が実現される。通信部５９は、送信部１０１および受信部１０２から構成される。
【００４９】
コンテキスト分析部８１は、入力部５６から供給された画像情報、音声情報、物理センサの情報、IoTセンサの情報またはそれらの少なくともいずれかの組み合わせを利用して分析し、分析結果であるコンテキスト情報を生成する。
【００５０】
画像情報は、顔、人物、動き、環境、状態などの、カメラにより得られた情報である。音声情報は、声、会話、物音、環境、音場などの、マイクにより得られた情報である。物理センサの情報は、振動、気流、熱、照度などの情報である。IoTセンサの情報は、ホームオートメーションシステム、建築物、および都市インフラシステムなどに設置されたセンサにより検出された情報である。
【００５１】
コンテキスト情報は、上述したように、センシングを行うことによって得られた、ユーザの状態を表す情報である。分析を行うことによってコンテキスト分析部８１により得られたコンテキスト情報は、制御部８３に供給される。
【００５２】
ＵＩ部８２は、リモートコントローラやコントローラなどからなり、ユーザの操作に対応する操作情報を制御部８３に出力する。
【００５３】
制御部８３は、演算処理装置および制御装置として機能し、各種プログラムに従って、情報処理装置１１の動作全般を制御する。制御部８３は、受信部１０２から供給された通信先の空間情報を蓄積部８４に蓄積させる。
【００５４】
制御部８３は、通信、機器、ユーザの状態などに基づいて、空間情報の提示が望まれる状態ではなくなったか否かを判定する。制御部８３は、空間情報の提示が望まれる状態ではなくなった場合、空間情報に代えて、仮想データ生成部８５により生成された仮想空間情報を、出力部５７を構成する表示装置に出力し、表示させる。
【００５５】
制御部８３は、通信、機器、ユーザの状態などに基づいて、通信の状態が悪化したか否かを判定する。制御部８３は、通信、機器、ユーザの状態などに基づいて、ユーザの不在状態または接近状態を判定する。制御部８３は、判定結果に応じて、空間情報に代えて、生成された仮想空間情報を表示させる。
【００５６】
制御部８３は、通信の状態などが回復したことから、実際の空間情報を再度提示できるようになった場合、仮想空間情報に代えて、通信先から伝送されてきた空間情報を、出力部５７を構成する表示装置に出力し、表示させる。
【００５７】
蓄積部８４は、ハードディスクや不揮発性のメモリなどにより構成される。蓄積部８４は、通信先から送信されてきた空間情報を蓄積する。
【００５８】
仮想データ生成部８５は、蓄積部８４に蓄積された空間情報を用いて仮想空間情報を生成し、生成した仮想空間情報を制御部８３に出力する。
【００５９】
仮想空間情報の生成には、蓄積部８４に蓄積された空間情報に含まれる、日時、地点（場所）、ユーザ情報、環境（天候、地形、構造、配置、設備）などの空間モデル情報が利用される。環境などの変動パラメータに紐付いた学習データが仮想空間情報の生成に利用されるようにしてもよい。
【００６０】
また、仮想空間情報の生成に、自己または通信先のコンテキスト情報が利用されるようにしてもよい。例えば、コンテキスト情報に含まれる、リアルタイムに取得される、または、近い未来のこととして予測可能な、時刻、天候、明るさ、などの状態を表すメタデータが仮想空間情報の生成に利用される。
【００６１】
送信部１０１は、制御部８３から供給された空間情報とコンテキスト情報を通信先の情報処理装置１１に送信する。
【００６２】
受信部１０２は、通信先の情報処理装置１１から送信されてきた空間情報とコンテキスト情報を受信し、制御部８３に出力する。受信部１０２により受信された空間情報は、通信先の情報処理装置１１が設置されている空間の様子を表し、コンテキスト情報は、センシングを行うことによって得られたユーザの状態を表す。
【００６３】
＜仮想空間情報の生成＞
次に、図６乃至図８を参照して、仮想空間情報の生成について説明する。
【００６４】
図６は、出力情報の一例を示す図である。
【００６５】
図６の例においては、ユーザＡ１の空間である地点Ａにおいて、通信先の地点Ｂの空間の様子を表す空間画像情報が出力情報１２１として表示されている。地点ＢにはユーザＢ１がいるものとされている。
【００６６】
例えば、通信の不具合などにより空間画像情報の解像度が低くなり、図６に示されるように、画像がぼやけてしまっているものとする。このような、ぼやけている空間画像情報を見ている、ユーザＡ１は、違和感を覚えることになる。
【００６７】
情報処理装置１１Ａは、地点Ａのコンテキスト情報に基づいて、ユーザＡ１の状態が、空間情報に違和感を覚えている状態にあると判断した場合、蓄積部８４に蓄積させておいた蓄積データを用いて仮想空間情報を生成する。仮想空間情報の生成には、情報処理装置１１Ｂに要求して得られる、地点Ｂのコンテキスト情報が用いられるようにしてもよい。
【００６８】
情報処理装置１１Ａは、情報処理装置１１Ｂから実際に伝送されてきた空間情報に代えて、図７に示されるように、仮想空間情報を表示させる。
【００６９】
図７は、出力情報の一例を示す図である。
【００７０】
図７の例においては、ユーザＡ１の空間である地点Ａにおいて、通信先の地点Ｂの仮想空間画像情報が出力情報１３１として表示されている。図７に示す出力情報１３１は、情報処理装置１１Ｂから実際に伝送されてきた空間情報に基づいて表示される情報ではなく、地点Ｂの様子を仮想的に表す画像として生成された情報に基づいて表示される情報である。
【００７１】
仮想空間画像情報は、伝送された地点Ｂの空間画像情報が蓄積していた蓄積データを用いて生成された情報である。
【００７２】
仮想空間画像情報に映るユーザＢ１の状態は、通信の状況が悪くなる前と同様に（図６と同様に）、ソファに座り、地点Ａが含まれる空間画像情報を見ている状態である。
【００７３】
このように、通信の状況が悪くなった場合に、地点Ｂの実際の空間画像情報に代えて仮想空間画像情報を表示させることにより、ユーザＡ１に対して、違和感を与えることなく、接続感を提供し続けることが可能となる。
【００７４】
また、情報処理装置１１Ａは、通信の状況が回復したことなどから、リアルタイムに伝送されてきた空間情報を再度提示することが可能になったと判断した場合、仮想空間情報に代えて、情報処理装置１１Ｂから実際に伝送されてきた空間情報を表示させる。
【００７５】
図８は、出力情報の一例を示す図である。
【００７６】
図８の例においては、ユーザＡ１の空間である地点Ａにおいて、通信先の地点Ｂの空間の様子を表す空間画像情報が出力情報１４１として表示されている。図８に示す出力情報１４１は、情報処理装置１１Ｂから実際に伝送されてきた空間情報に基づいて表示される情報である。
【００７７】
出力情報１４１には、ユーザＢ１とユーザＢ２が映っている。ユーザＢ１の状態は、図７と同様に、ソファに座り、地点Ａが含まれる空間画像情報を見ている状態である。
【００７８】
このように、通信の状況が回復した場合、仮想空間情報に代えて、地点Ｂの実際の空間情報を表示させることにより、ユーザＡ１に対して接続感を提供し続けることが可能となる。
【００７９】
ここで、図６の空間画像情報と図７の仮想空間画像情報には差分がある。また、図７の仮想空間画像情報と図８の空間画像情報にも差分がある。
【００８０】
このように、差分のある画像情報に表示が切り替わるとユーザに違和感を与えてしまう。情報処理装置１１Ａにおいては、図９の動作が行われることにより、違和感の軽減が図られる。
【００８１】
図９は、出力対象の切り替え動作について説明する図である。
【００８２】
例えば、図６の空間画像情報に代えて図７の仮想空間画像情報を提示させる場合、情報処理装置１１の所定の判定処理における判定結果（YES or NO）をトリガー１として、仮想空間画像情報の生成が開始されると同時に、仮想空間画像情報に対してフェードインが施される。また、仮想空間画像情報のフェードインとともに、空間画像情報に対しては、フェードアウトが施され、空間画像情報のフェードアウトの終了後、仮想空間画像情報が提示される。
【００８３】
次に、図７の仮想空間画像情報に代えて図８の空間画像情報を提示させる場合、情報処理装置１１の所定の判定処理における判定結果をトリガー２として、仮想空間画像に対してフェードアウトが施される。また、仮想空間画像情報のフェードアウトとともに、空間画像情報に対してはフェードインが施され、仮想空間画像情報のフェードアウトの終了後、仮想空間画像情報の生成が終了されるとともに、空間画像情報が提示される。
【００８４】
なお、図９には、空間画像情報の切り替え動作が示されているが、空間音声情報などの他の空間情報の切り替えについても同様にして行われてもよい。
【００８５】
以上のように、フェードアウトおよびフェードインの期間を設けて出力対象を切り替えることにより、違和感を軽減させることが可能となる。
【００８６】
なお、図９の切り替え動作は、空間画像情報の通信品質の劣化などで、仮想空間画像情報への切り替え時にユーザに違和感を与える場合の例である。
【００８７】
これに対して、省エネ・省帯域のために、仮想空間画像情報への切り替え時にユーザに違和感を与えない場合について、図１０を参照して説明する。
【００８８】
図１０は、出力対象の切り替え動作の他の例について説明する図である。
【００８９】
例えば、図６の空間画像情報に代えて図７の仮想空間画像情報を提示させる場合、情報処理装置１１の所定の判定処理における判定結果をトリガー１として、空間画像情報の提示を一時停止させる。これにより、情報処理装置１１は、画像情報の提示なしの状態になる。その後、情報処理装置１１の所定の判定処理における判定結果をトリガー３として、トリガー３から、仮想空間画像情報の生成が開始されると同時に、仮想空間画像情報が提示される。
【００９０】
次に、図１０における、図７の仮想空間画像情報に代えて図８の空間画像情報を提示させる場合については、図９の場合と同様のため、説明を省略する。
【００９１】
以上のように、違和感を軽減させる必要がない場合、フェードアウトおよびフェードインの期間は省略されてもよい。
【００９２】
＜３．動作＞
＜多方向通信システムの処理例１＞
図１１および図１２は、多方向通信システム１の空間接続処理を説明するフローチャートである。図１１および図１２では、図１０の切り替え動作の例が示されている。
【００９３】
図１１および図１２には、情報処理装置１１Ａおよび情報処理装置１１Ｂで行う空間接続処理が示されている。情報処理装置１１Ａおよび情報処理装置１１Ｂは、異なる地点に設けられた情報処理装置である。情報処理装置１１ＡのユーザはユーザＡであり、情報処理装置１１ＢのユーザはユーザＢである。
【００９４】
ステップＳ１１において、情報処理装置１１Ａの送信部１０１は、接続要求を情報処理装置１１Ｂに送信する。
【００９５】
これに対して、ステップＳ５１において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａからの接続要求を受諾する。ステップＳ１１およびＳ５１の処理により、情報処理装置１１Ａと情報処理装置１１Ｂ間のセッションが開始される。
【００９６】
ステップＳ１２において、情報処理装置１１Ａの送信部１０１は、ユーザＡの空間である地点Ａの空間情報を情報処理装置１１Ｂに送信する。
【００９７】
一方、ステップＳ５２において、情報処理装置１１Ｂの送信部１０１は、ユーザＢの空間である地点Ｂの空間情報を情報処理装置１１Ａに送信する。
【００９８】
ステップＳ１３において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきたユーザＢの空間である地点Ｂの空間情報を受信する。
【００９９】
ステップＳ５３において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａから送信されてきたユーザＡの空間である地点Ａの空間情報を受信する。
【０１００】
ステップＳ５４において、情報処理装置１１Ｂの出力部５７は、地点Ａの空間情報を提示する。受信部１０２により受信された地点Ａの空間情報は、制御部８３を介して出力部５７に対して供給されてくる。具体的には、出力部５７の表示装置は、地点Ａの空間画像情報に対応する画像を提示し、出力部５７のスピーカは、地点Ａの空間音声情報に対応する音声を提示する。
【０１０１】
また、ステップＳ１４において、情報処理装置１１Ａの制御部８３は、地点Ｂの空間情報の提示が望まれる状態でなくなったか否かを判定する。ステップＳ１４において、地点Ｂの空間情報の提示が望まれる状態であると判定された場合、処理は、ステップＳ１５に進む。
【０１０２】
ステップＳ１５において、情報処理装置１１Ａの出力部５７は、地点Ｂの空間情報を提示する。その後、ステップＳ１２に戻り、それ以降の処理が繰り返される。
【０１０３】
地点Ａにおいて地点Ｂの空間情報が提示され、地点Ｂにおいて地点Ａの空間情報が提示されることにより、地点ＡにいるユーザＡと地点ＢにいるユーザＢは、それぞれ、お互いの空間が隣接しているようなつながり感である空間隣接つながり感を得ることができる。以上のような空間情報の送受信はセッションが終了するまで継続される。
【０１０４】
一方、ステップＳ１４において、地点Ｂの空間情報の提示が望まれる状態でなくなったと判定された場合、処理は、ステップＳ１６に進む。ステップＳ１４の判定処理におけるYES判定が、図１０で上述したトリガー１である。
【０１０５】
ステップＳ１６において、情報処理装置１１Ａの制御部８３は、シームレスな切り替えが必要ないため、地点Ｂの空間情報の提示を一時停止させる。すなわち、ステップＳ１４の判定処理におけるYES判定をトリガー１として、ステップＳ１６では、空間画像情報の提示が一時停止され、画像提示がない状態になる。
【０１０６】
ステップＳ１７において、情報処理装置１１Ａの制御部８３は、情報処理装置１１Ｂに対して、リアルタイム伝送の一時停止を要求する。これにより、情報処理装置１１Ｂでは、リアルタイム伝送が一時停止される（後述するステップＳ５６）。
【０１０７】
ステップＳ１８において、情報処理装置１１Ａのコンテキスト分析部８１は、地点Ａのコンテキスト情報を分析する。
【０１０８】
ステップＳ１９において、情報処理装置１１Ａの制御部８３は、コンテキスト分析部８１の分析結果に基づいて、地点Ｂの空間情報の提示が望まれる状態になったか否かを判定する。
【０１０９】
ステップＳ１９において、地点Ｂの空間情報の提示が望まれる状態になっていないと判定された場合、ステップＳ１８に戻り、それ以降の処理が繰り返される。
【０１１０】
ステップＳ１９において、地点Ｂの空間情報の提示が望まれる状態になったと判定された場合、処理は、図１２のステップＳ２０に進む。ステップＳ１９の判定処理におけるYES判定が、図１０で上述したトリガー３である。
【０１１１】
ステップＳ２０において、情報処理装置１１Ａの制御部８３は、情報処理装置１１Ｂに対して、リアルタイム伝送の再開を要求する。
【０１１２】
ステップＳ２１において、情報処理装置１１Ａの制御部８３は、地点Ｂのコンテキスト情報を要求する。これに対して、情報処理装置１１Ｂは、地点Ｂのコンテキスト情報を送信する（後述するステップＳ５７）。
【０１１３】
ステップＳ２２において、情報処理装置１１Ａの仮想データ生成部８５は、蓄積部８４の蓄積データである空間情報を用いて、仮想空間情報を生成する。このとき、地点Ｂのコンテキスト情報が用いられてもよい。
【０１１４】
ステップＳ２３において、情報処理装置１１Ａの制御部８３は、仮想空間情報の生成が初めてであるか否かを判定する。ステップＳ２３において、仮想空間情報の生成が初めてであると判定された場合、処理は、ステップＳ２４に進む。
【０１１５】
ステップＳ２４において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている空間情報を、仮想空間情報に切り替えさせ、提示させる。
【０１１６】
すなわち、ステップＳ１８の判定処理におけるYES判定をトリガー３として、ステップＳ２２では、仮想空間画像情報の生成が開始される。また、ステップＳ１８の判定処理におけるYES判定をトリガー３として、ステップＳ２４では、仮想空間画像情報が提示される。ステップＳ２４における提示では、必要に応じて、シームレスな切り替えが可能である。
【０１１７】
ステップＳ２３において、仮想空間情報の生成が初めてではないと判定された場合、処理は、ステップＳ２５に進む。
【０１１８】
ステップＳ２５において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を更新させ、提示させる。
【０１１９】
ステップＳ２６において、情報処理装置１１Ａの送信部１０１は、地点Ａの空間情報を情報処理装置１１Ｂに送信する。
【０１２０】
情報処理装置１１Ｂより、地点Ｂの空間情報が送信されてくる（後述するステップＳ５９）。ステップＳ２７において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきた地点Ｂの空間情報を受信する。
【０１２１】
ステップＳ２８において、情報処理装置１１Ａの制御部８３は、地点Ｂの空間情報を提示できる状態であるか否かを判定する。
【０１２２】
ステップＳ２８において、地点Ｂの空間情報を提示できる状態ではないと判定された場合、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【０１２３】
ステップＳ２８において、地点Ｂの空間情報を提示できる状態であると判定された場合、処理は、ステップＳ２９に進む。ステップＳ２８の判定処理におけるYES判定が、図１０で上述したトリガー２である。
【０１２４】
ステップＳ２９において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を、地点Ｂの空間情報に切り替えて、提示させる。すなわち、ステップＳ２８の判定処理におけるYES判定をトリガー２として、ステップＳ２９では、仮想空間情報に対してフェードアウトが施される。これにより、仮想空間情報と地点Ｂの空間情報とのシームレスな切り替えが行われる。
【０１２５】
ステップＳ２９の処理の後、ステップＳ１２に戻り、それ以降の処理が繰り返される。
【０１２６】
一方、情報処理装置１１Ｂの処理は、ステップＳ５４の後、ステップＳ５５に進む。
【０１２７】
ステップＳ５５において、情報処理装置１１Ｂの制御部８３は、リアルタイム伝送の一時停止の要求を受けたか否かを判定する。ステップＳ５５において、リアルタイム伝送の一時停止の要求を受けていないと判定された場合、ステップＳ５２に戻り、それ以降の処理が繰り返される。
【０１２８】
ステップＳ５５において、リアルタイム伝送の一時停止の要求を受けたと判定された場合、処理は、ステップＳ５６に進む。
【０１２９】
ステップＳ５６において、情報処理装置１１Ｂの制御部８３は、リアルタイム伝送を一時停止する。
【０１３０】
ステップＳ５６の後、処理は、図１２のステップＳ５７に進む。
【０１３１】
また、情報処理装置１１Ａより、地点Ｂのコンテキスト情報が要求される（上述したステップＳ２１）。これに対して、ステップＳ５７において、情報処理装置１１Ｂの制御部８３は、地点Ｂのコンテキスト情報を情報処理装置１１Ａに送信する。
【０１３２】
一方、情報処理装置１１Ａより、リアルタイム伝送の再開が要求される（上述したステップＳ２０）。これに対して、ステップＳ５８において、情報処理装置１１Ｂの制御部８３は、リアルタイム伝送の再開要求を受けたか否かを判定する。ステップＳ５８において、リアルタイム伝送の再開要求を受けていないと判定された場合、ステップＳ５７に戻り、それ以降の処理が繰り返される。
【０１３３】
なお、図１１および図１２には示されていないが、実際には、情報処理装置１１Ｂのリアルタイム伝送の一時停止中も、情報処理装置１１Ａでは、地点Ａの空間情報が送信され、情報処理装置１１Ｂにおいて、地点Ａの空間情報が受信され、提示されている。
【０１３４】
ステップＳ５８において、リアルタイム伝送の再開要求を受けたと判定された場合、処理は、ステップＳ５９に進む。
【０１３５】
ステップＳ５９において、情報処理装置１１Ｂの送信部１０１は、情報処理装置１１Ａに地点Ｂの空間情報を送信する。
【０１３６】
情報処理装置１１Ａより、地点Ａの空間情報が送信されてくる（上述したステップＳ２６）。ステップＳ６０において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａから送信されてきた地点Ａの空間情報を受信する。
【０１３７】
ステップＳ６１において、情報処理装置１１Ｂの出力部５７は、受信部１０２から制御部８３を介して供給された地点Ａの空間情報を提示する。
【０１３８】
ステップＳ６１の処理の後、ステップＳ５２に戻り、それ以降の処理が繰り返される。
【０１３９】
なお、図１１および図１２では、ステップＳ１４において空間情報の提示が望まれる状態ではなくなったと判定された場合に、リアルタイム伝送を一時停止する例を説明した。これに対して、情報処理装置１１Ｂがリアルタイム伝送を一時停止した結果、情報処理装置１１Ａにおいて、空間情報の提示が望まれる状態ではなくなる場合もある。
【０１４０】
また、図１１および図１２において、ユーザＡに対して何も提示しない場合、ステップＳ１６乃至Ｓ２０、Ｓ５５、Ｓ５６、Ｓ５８の各処理は、オプションとして実施されるようにしてもよい。図９を参照して上述したように、仮想空間情報を提示する場合、ステップＳ１４のYES判定をトリガー１として、仮想空間画像情報の生成が開始されると同時に、仮想空間画像情報に対してフェードインが施される。したがって、ステップＳ１６乃至Ｓ２０、Ｓ５５、Ｓ５６、Ｓ５８の各処理は、仮想空間情報を提示する場合、不要な処理となる。
【０１４１】
＜多方向通信システムの処理例２＞
図１３および図１４は、多方向通信システム１の空間接続処理の他の例を説明するフローチャートである。図１３および図１４の例においては、通信劣化の場合の例が示されている。
【０１４２】
ステップＳ１１１において、情報処理装置１１Ａの送信部１０１は、接続要求を情報処理装置１１Ｂに送信する。
【０１４３】
これに対して、ステップＳ１５１において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａからの接続要求を受諾する。ステップＳ１１１およびＳ１５１の処理により情報処理装置１１Ａと情報処理装置１１Ｂとのセッションが開始される。
【０１４４】
次に、ステップＳ１１２において、情報処理装置１１Ａの送信部１０１は、ユーザＡの空間である地点Ａの空間情報を情報処理装置１１Ｂに送信する。
【０１４５】
一方、ステップＳ１５２において、情報処理装置１１Ｂの送信部１０１は、ユーザＢの空間である地点Ｂの空間情報を情報処理装置１１Ａに送信する。
【０１４６】
ステップＳ１１３において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきた地点Ｂの空間情報を受信する。
【０１４７】
ステップＳ１５３において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａから送信されてきた地点Ａの空間情報を受信する。
【０１４８】
ステップＳ１５４において、情報処理装置１１Ｂの出力部５７は、地点Ａの空間情報を提示する。
【０１４９】
また、ステップＳ１１４において、情報処理装置１１Ａの制御部８３は、期待する画質のデータが届かないか否かを判定する。ステップＳ１１４において、期待する画質のデータが届いていると判定された場合、処理は、ステップＳ１１５に進む。
【０１５０】
ステップＳ１１５において、情報処理装置１１Ａの出力部５７は、受信部１０２から制御部８３を介して供給された地点Ｂの空間情報を提示する。その後、ステップＳ１１２に戻り、それ以降の処理が繰り返される。
【０１５１】
地点Ａにおいて地点Ｂの空間情報が提示され、地点Ｂにおいて地点Ａの空間情報が提示されることにより、地点ＡにいるユーザＡと地点ＢにいるユーザＢは、それぞれ、お互いの空間が隣接しているようなつながり感である空間隣接つながり感を得ることができる。以上のような空間情報の送受信はセッションが終了するまで継続される。
【０１５２】
ステップＳ１１４において、期待する画質のデータが届かないと判定された場合、処理は、図１４のステップＳ１１６に進む。ステップＳ１１４の判定処理におけるYES判定が、図９で上述したトリガー１である。
【０１５３】
ステップＳ１１６において、情報処理装置１１Ａの制御部８３は、地点Ｂのコンテキスト情報を要求する。これに対して、情報処理装置１１Ｂは、地点Ｂのコンテキスト情報を送信する（後述するステップＳ１５５）。
【０１５４】
ステップＳ１１７において、情報処理装置１１Ａの仮想データ生成部８５は、蓄積部８４の蓄積データである空間情報を用いて、仮想空間情報を生成する。このとき、地点Ｂのコンテキスト情報が用いられてもよい。
【０１５５】
ステップＳ１１８において、情報処理装置１１Ａの制御部８３は、仮想空間情報の生成が初めてであるか否かを判定する。ステップＳ１１８において、仮想空間情報の生成が初めてであると判定された場合、処理は、ステップＳ１１９に進む。
【０１５６】
ステップＳ１１９において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている空間情報を、仮想空間情報に切り替えさせ、提示させる。
【０１５７】
すなわち、ステップＳ１１４の判定処理におけるYES判定をトリガー１として、ステップＳ１１７では、仮想空間画像情報の生成が開始される。また、ステップＳ１１４の判定処理におけるYES判定をトリガー１として、ステップＳ１１９では、仮想空間画像情報に対してフェードインが施される。
【０１５８】
ステップＳ１１８において、仮想空間情報の生成が初めてではないと判定された場合、処理は、ステップＳ１２０に進む。
【０１５９】
ステップＳ１２０において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を更新させ、提示させる。
【０１６０】
ステップＳ１２１において、情報処理装置１１Ａの送信部１０１は、地点Ａの空間情報を情報処理装置１１Ｂに送信する。
【０１６１】
情報処理装置１１Ｂより、地点Ｂの空間情報が送信されてくる（後述するステップＳ１５６）。ステップＳ１２２において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきた地点Ｂの空間情報を受信する。
【０１６２】
ステップＳ１２３において、情報処理装置１１Ａの制御部８３は、通信品質が回復したか否かを判定する。
【０１６３】
ステップＳ１２３において、通信品質が回復していないと判定された場合、ステップＳ１１６に戻り、それ以降の処理が繰り返される。
【０１６４】
ステップＳ１２３において、通信品質が回復したと判定された場合、処理は、ステップＳ１２４に進む。ステップＳ１２３の判定処理におけるYES判定が、図１０で上述したトリガー２である。
【０１６５】
ステップＳ１２４において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を、地点Ｂの空間情報に切り替えて、提示させる。すなわち、ステップＳ１２３の判定処理におけるYES判定をトリガー２として、ステップＳ１２４では、仮想空間情報に対してフェードアウトが施される。これにより、仮想空間情報と、地点Ｂの空間情報とにおいて、シームレスな切り替えが行われる。
【０１６６】
ステップＳ１２４の処理の後、ステップＳ１１２に戻り、それ以降の処理が繰り返される。
【０１６７】
一方、情報処理装置１１Ｂは、ステップＳ１５４の処理の後、処理は、図１４のステップＳ１５５に進む。
【０１６８】
また、情報処理装置１１Ａより、地点Ｂのコンテキスト情報が要求される（上述したステップＳ１１６）。これに対して、ステップＳ１５５において、情報処理装置１１Ｂの制御部８３は、地点Ｂのコンテキスト情報を情報処理装置１１Ａに送信する。
【０１６９】
ステップＳ１５６において、情報処理装置１１Ｂの送信部１０１は、情報処理装置１１Ａに地点Ｂの空間情報を送信する。
【０１７０】
情報処理装置１１Ａより、地点Ａの空間情報が送信されてくる（上述したステップＳ１２１）。ステップＳ１５７において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａから送信されてきた地点Ａの空間情報を受信する。
【０１７１】
ステップＳ１５８において、情報処理装置１１Ｂの出力部５７は、受信部１０２から制御部８３を介して供給された地点Ａの空間情報を提示する。
【０１７２】
ステップＳ１５８の処理の後、ステップＳ１５２に戻り、それ以降の処理が繰り返される。
【０１７３】
以上のように、通信先から送信されてくる空間情報の通信品質が低下してしまった場合にも、リアルタイムに送信されてくる空間情報の代わりに、蓄積された空間情報を用いて生成された仮想空間情報が提示される。
【０１７４】
これにより、通信品質の低下により、ユーザに対して、違和感を生じさせるのを抑制し、接続感を提供し続けることができる。
【０１７５】
すなわち、ネットワーク状態の悪化のために、クリアな画質で一時的にリアルタイム伝送ができない状態においても、本技術によれば、過去の蓄積データからクリアな画像を再現することによって、接続感を提供することができる。
【０１７６】
＜多方向通信システムの処理例３＞
図１５および図１６は、多方向通信システム１の空間接続処理のさらに他の例を説明するフローチャートである。図１５および図１６の例においては、省エネ・省帯域化の場合の例が示されている。
【０１７７】
ステップＳ２１１において、情報処理装置１１Ａの送信部１０１は、接続要求を情報処理装置１１Ｂに送信する。
【０１７８】
これに対して、ステップＳ２５１において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａからの接続要求を受諾する。ステップＳ２１１およびＳ２５１の処理により情報処理装置１１Ａと情報処理装置１１Ｂとのセッションが開始される。
【０１７９】
次に、ステップＳ２１２において、情報処理装置１１Ａの送信部１０１は、ユーザＡの空間である地点Ａの空間情報を情報処理装置１１Ｂに送信する。
【０１８０】
一方、ステップＳ２５２において、情報処理装置１１Ｂの送信部１０１は、ユーザＢの空間である地点Ｂの空間情報を情報処理装置１１Ａに送信する。
【０１８１】
ステップＳ２１３において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきた地点Ｂの空間情報を受信する。
【０１８２】
ステップＳ２５３において、情報処理装置１１Ｂの受信部１０２は、情報処理装置１１Ａから送信されてきた地点Ａの空間情報を受信する。
【０１８３】
ステップＳ２５４において、情報処理装置１１Ｂの出力部５７は、地点Ａの空間情報を提示する。
【０１８４】
また、ステップＳ２１４において、情報処理装置１１Ａの制御部８３は、ユーザＡが不在になったか否かを判定する。ステップＳ２１４において、ユーザＡが存在すると判定された場合、処理は、ステップＳ２１５に進む。
【０１８５】
ステップＳ２１５において、情報処理装置１１Ａの出力部５７は、地点Ｂの空間情報を提示する。その後、ステップＳ２１２に戻り、それ以降の処理が繰り返される。
【０１８６】
地点Ａにおいて地点Ｂの空間情報が提示され、地点Ｂにおいて地点Ａの空間情報が提示されることにより、地点ＡにいるユーザＡと地点ＢにいるユーザＢは、それぞれ、お互いの空間が隣接しているようなつながり感である空間隣接つながり感を得ることができる。以上のような空間情報の送受信はセッションが終了するまで継続される。
【０１８７】
一方、ステップＳ２１４において、ユーザＡが不在になったと判定された場合、処理は、ステップＳ２１６に進む。ステップＳ２１４の判定処理におけるYES判定が、図１０で上述したトリガー１である。
【０１８８】
ステップＳ２１６において、情報処理装置１１Ａの制御部８３は、シームレスな切り替えが必要ないため、地点Ｂの空間情報の提示を一時停止させる。すなわち、ステップＳ２１４の判定処理におけるYES判定をトリガー１として、ステップＳ２１６では、空間画像情報の提示が一時停止され、画像提示がない状態になる。
【０１８９】
ステップＳ２１７において、情報処理装置１１Ａの制御部８３は、情報処理装置１１Ｂに対して、リアルタイム伝送の一時停止を要求する。これにより、情報処理装置１１Ｂでは、リアルタイム伝送が一時停止される（後述するステップＳ２５６）。
【０１９０】
ステップＳ２１８において、情報処理装置１１Ａの制御部８３は、ユーザＡの接近を検知する。
【０１９１】
ステップＳ２１９において、情報処理装置１１Ａの制御部８３は、ユーザＡが接近しているか否かを判定する。ステップＳ２１９において、ユーザＡが接近していないと判定された場合、ステップＳ２１８に戻り、それ以降の処理が繰り返される。
【０１９２】
ステップＳ２１９において、ユーザＡが接近していると判定された場合、処理は、図１６のステップＳ２２０に進む。ステップＳ２１９の判定処理におけるYES判定が、図１０で上述したトリガー３である。
【０１９３】
ステップＳ２２０において、情報処理装置１１Ａの制御部８３は、情報処理装置１１Ｂに対して、リアルタイム伝送の再開を要求する。
【０１９４】
ステップＳ２２１において、情報処理装置１１Ａの制御部８３は、地点Ｂのコンテキスト情報を要求する。これに対して、情報処理装置１１Ｂは、地点Ｂのコンテキスト情報を送信する（後述するステップＳ２５７）。
【０１９５】
ステップＳ２２２において、情報処理装置１１Ａの仮想データ生成部８５は、蓄積部８４の蓄積データである空間情報を用いて、仮想空間情報を生成する。このとき、地点Ｂのコンテキスト情報が用いられてもよい。
【０１９６】
ステップＳ２２３において、情報処理装置１１Ａの制御部８３は、仮想空間情報の生成が初めてであるか否かを判定する。ステップＳ２２３において、仮想空間情報の生成が初めてであると判定された場合、処理は、ステップＳ２２４に進む。
【０１９７】
ステップＳ２２４において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている空間情報を、仮想空間情報に切り替えさせ、提示させる。
【０１９８】
すなわち、ステップＳ２１９の判定処理におけるYES判定をトリガー３として、ステップＳ２２２では、仮想空間画像情報の生成が開始される。また、ステップＳ２１９の判定処理におけるYES判定をトリガー３として、ステップＳ２２４では、仮想空間画像情報が提示される状態になる。なお、ステップＳ２２４における提示では、シームレスな切り替えは必要ない。
【０１９９】
ステップＳ２２３において、仮想空間情報の生成が初めてではないと判定された場合、処理は、ステップＳ２２５に進む。
【０２００】
ステップＳ２２５において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を更新させ、提示させる。
【０２０１】
ステップＳ２２６において、情報処理装置１１Ａの送信部１０１は、地点Ａの空間情報を情報処理装置１１Ｂに送信する。
【０２０２】
情報処理装置１１Ｂより、地点Ｂの空間情報が送信されてくる（後述するステップＳ２５９）。ステップＳ２２７において、情報処理装置１１Ａの受信部１０２は、情報処理装置１１Ｂから送信されてきた地点Ｂの空間情報を受信する。
【０２０３】
ステップＳ２２８において、情報処理装置１１Ａの制御部８３は、地点Ｂの空間情報が到達したか否かを判定する。
【０２０４】
ステップＳ２２８において、点Ｂの空間情報が到達していないと判定された場合、ステップＳ２２１に戻り、それ以降の処理が繰り返される。
【０２０５】
ステップＳ２２８において、点Ｂの空間情報が到達したと判定された場合、処理は、ステップＳ２２９に進む。ステップＳ２２８の判定処理におけるYES判定が、図１０で上述したトリガー２である。
【０２０６】
ステップＳ２２９において、情報処理装置１１Ａの制御部８３は、出力部５７から出力されている仮想空間情報を、地点Ｂの空間情報に切り替えて、提示させる。すなわち、ステップＳ２２８の判定処理におけるYES判定をトリガー２として、ステップＳ２２９では、仮想空間情報に対してフェードアウトが施される。これにより、仮想空間情報と地点Ｂの空間情報とのシームレスな切り替えが行われる。
【０２０７】
ステップＳ２２９の処理の後、ステップＳ２１２に戻り、それ以降の処理が繰り返される。
【０２０８】
一方、情報処理装置１１Ｂは、ステップＳ２５４の処理の後、処理は、ステップＳ２５５に進む。なお、これ以降のステップＳ２５５乃至Ｓ２６１の処理は、図１１および図１２のステップＳ５５乃至Ｓ６１の処理と基本的に同様の処理を行っている。したがって、それらの説明は繰り返しになるため省略される。
【０２０９】
以上のように、ユーザが不在になったために、リアルタイム伝送を停止していたが、ユーザが再度接近してくる場合に、送信されてくる空間情報がないことから何も表示されない状態の代わりに、蓄積された空間情報を用いて生成された仮想空間情報が提示される。
【０２１０】
これにより、ユーザに対して、違和感を生じさせるのを抑制し、接続感を提供し続けることができる。
【０２１１】
すなわち、省エネ・省帯域のために、リアルタイム伝送を一時的に中断している状態から、接続状態に復帰するまでにおいても、本技術によれば、接続先の現在の状態に近い画像を生成して提示し、スムーズに現在の画像に移行させることにより、接続感を提供し続けることができる。
【０２１２】
なお、上記３つの動作例においては、リアルタイム伝送を停止する例が示されていたが、上述したような省エネ・省帯域の目的がなければ、必ずしも、リアルタイム伝送を停止する必要はない。
【０２１３】
＜４．まとめ＞
以上のように、本技術においては、リアルタイム伝送ができない場合においても、接続感を感じているそれぞれのユーザに対して、できる限り違和感なく、それぞれの場所や端末に対応した、仮想空間情報を生成し、提示するようにした。
【０２１４】
また、本技術においては、現実の空間情報を提示する場合に、仮想空間情報から空間情報にスムーズに切り替えるようにした。
【０２１５】
したがって、ユーザに違和感を与えることなく、接続感を提供し続けることができる。
【０２１６】
なお、本技術を適用することにより、例えば、どうしても開示したくない情報がある空間情報に対しても、仮想空間情報をダミーで生成させて提示することで、対応することができる。
【０２１７】
また、上記説明においては、空間情報を相互に送る例を説明したが、空間情報の差分を相互に送るようにしてもよい。
【０２１８】
さらに、上記説明においては、空間音声情報と空間画像情報を共に仮想空間情報に置き換えている例を説明したが、仮想空間画像情報のみを提示し、実空間音声情報を提供する例や、実空間画像情報を提示し、仮想空間音声情報を提示することも可能である。
【０２１９】
本技術は、リアルタイム伝送に限定せず、タイムシフト、録画、または、単方向のシステムにも適用される。
【０２２０】
＜５．その他＞
上述したサーバの一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２２１】
インストールされるプログラムは、ドライブ６０によって駆動される、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなるリムーバブルメディア６１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM５２や記憶部５８に、あらかじめインストールしておくことができる。
【０２２２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２２３】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２２４】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２２５】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２６】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２２７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２９】
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信する受信部と、
受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する生成部と、
前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する表示制御部と
を備える多方向通信装置。
（２）
前記表示制御部は、前記第２のユーザの状態を表す情報であるセンシング情報に基づいて、前記仮想空間の表示を制御する
前記（１）に記載の多方向通信装置。
（３）
前記表示制御部は、前記現実空間情報の提示が望まれる状態でなくなった場合に、前記仮想空間の表示を制御する
前記（１）または（２）に記載の多方向通信装置。
（４）
前記表示制御部は、ネットワークの状態が悪化している場合に、前記現実空間情報に含まれる画質の低下を検出したとき、前記仮想空間の表示を制御する
前記（１）または（２）に記載の多方向通信装置。
（５）
前記表示制御部は、前記第２のユーザが不在であった場合に、前記第２のユーザの接近を検出したとき、前記仮想空間の表示を制御する
前記（１）または（２）に記載の多方向通信装置。
（６）
前記表示制御部は、前記現実空間情報が表す現実空間をフェードアウトさせながら、生成された前記仮想空間情報にスムーズに切り替えて、前記仮想空間情報が表す仮想空間の表示を制御する
前記（１）乃至（５）のいずれかに記載の多方向通信装置。
（７）
前記表示制御部は、前記現実空間情報が再度利用可能である場合、前記仮想空間情報をフェードアウトさせながら、前記現実空間情報にスムーズに切り替えて、前記現実空間情報に対応する仮想空間の表示を制御する
前記（６）に記載の多方向通信装置。
（８）
前記表示制御部は、前記現実空間情報の提示が望まれる状態でなくなった場合に、前記現実空間情報の利用できないとき、前記仮想空間の表示を制御する
前記（３）に記載の多方向通信装置。
（９）
多方向通信装置が、
第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信し、
受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成し、
前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する
多方向通信方法。
（１０）
第１のユーザの現実の空間の様子を表す情報である現実空間情報を受信する受信部と、
受信された前記現実空間情報に基づいて、仮想的な空間の様子を表す情報である仮想空間情報を生成する生成部と、
前記現実空間情報が表す現実空間の代わりに、生成された前記仮想空間情報が表す仮想空間の、第２のユーザの装置への表示を制御する表示制御部と
して、コンピュータを機能させるプログラム。
【符号の説明】
【０２３０】
１  多方向通信システム，  １１，１１Ａ乃至１１Ｃ  情報処理装置，  １２  サーバ，  １３  ネットワーク，  ５１  CPU，  ５６  入力部，  ５７  出力部，  ５８  記憶部，  ５９  通信部，  ８１  コンテキスト分析部，  ８２  ＵＩ部，  ８３  制御部，  ８４  蓄積部，  ８５  仮想データ生成部，  １０１  送信部，  １０２  受信部
【図１】
2019198542.tif 000003
【図２】
2019198542.tif 000004
【図３】
2019198542.tif 000005
【図４】
2019198542.tif 000006
【図５】
2019198542.tif 000007
【図６】
2019198542.tif 000008
【図７】
2019198542.tif 000009
【図８】
2019198542.tif 000010
【図９】
2019198542.tif 000011
【図１０】
2019198542.tif 000012
【図１１】
2019198542.tif 000013
【図１２】
2019198542.tif 000014
【図１３】
2019198542.tif 000015
【図１４】
2019198542.tif 000016
【図１５】
2019198542.tif 000017
【図１６】
2019198542.tif 000018
【国際調査報告】
2019198542.tif 000019
2019198542.tif 000020
2019198542.tif 000021
2019198542.tif 000022