(57)【要約】【課題】音声と振動を主たる情報チャネルとし、他空間の知覚対象について、よりリアリティのある実在感を提示することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】他空間においてセンシングした振動情報および音声情報を取得し、前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部を備える、情報処理装置。【選択図】図１
2019225100.tif 000002
【特許請求の範囲】
【請求項１】
他空間においてセンシングした振動情報および音声情報を取得し、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部を備える、情報処理装置。
【請求項２】
前記他空間は、通信先空間であり、
前記制御部は、前記通信先空間の振動情報および音声情報を、リアルタイムで前記知覚提示領域から出力する、請求項１に記載の情報処理装置。
【請求項３】
前記他空間は、過去空間であり、
前記制御部は、記憶された過去の振動情報および音声情報を、前記知覚提示領域から出力する、請求項１に記載の情報処理装置。
【請求項４】
前記知覚提示領域は、テーブルであり、
前記テーブルの天板には、音声出力部および振動提示部が設けられる、請求項１に記載の情報処理装置。
【請求項５】
前記振動情報および前記音声情報は、前記他空間に存在するテーブルの天板に設けられたセンサにより、当該天板で発生する前記知覚対象による実際の振動および物音を経時的にセンシングしたデータである、請求項４に記載の情報処理装置。
【請求項６】
前記他空間に存在する前記テーブルの天板の形状と、前記空間に存在する前記テーブルの天板の形状は同様である、請求項５に記載の情報処理装置。
【請求項７】
前記制御部は、
前記他空間に存在する前記テーブルの天板の形状と、前記空間に存在する前記テーブルの天板の形状に差がある場合、形状差に応じて、前記振動情報および前記音声情報を補正した上で出力するよう制御する、請求項５に記載の情報処理装置。
【請求項８】
前記知覚提示領域は、平面部と、当該平面部の両側に配置された柱部とから成る窓枠型ユニットであり、
前記平面部および柱部には、それぞれ、音声出力部および振動提示部が設けられる、請求項１に記載の情報処理装置。
【請求項９】
前記柱部には、
内側の面に、第１の音声出力部が設けられ、
手前側の面に、第２の音声出力部が設けられる、請求項８に記載の情報処理装置。
【請求項１０】
前記知覚対象は、実物体、人間、または、自然現象である、請求項１に記載の情報処理装置。
【請求項１１】
前記他空間は、通信先空間であり、
前記知覚提示領域は、テーブルであり、
前記制御部は、
前記通信先空間から取得した、前記他空間に存在する第１の知覚対象の存在を触覚および聴覚により知覚させるための前記振動情報および前記音声情報を、リアルタイムで前記テーブルの天板に設けられた音声出力部および振動提示部から出力する制御と、
前記空間に存在する前記テーブルの天板に設けられたセンサにより、当該天板で発生する第２の知覚対象による実際の振動および物音を経時的にセンシングしたデータを、前記通信先空間に送信する制御を行う、請求項５に記載の情報処理装置。
【請求項１２】
前記制御部は、
前記通信先空間から取得した前記振動情報および前記音声情報を、前記音声出力部および前記振動提示部から出力している際、前記センサによるセンシングを抑制する制御を行う、請求項１１に記載の情報処理装置。
【請求項１３】
プロセッサが、
他空間においてセンシングした振動情報および音声情報を取得することと、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行うことと、
を含む、情報処理方法。
【請求項１４】
コンピュータを、
他空間においてセンシングした振動情報および音声情報を取得し、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、映画や映像コンテンツと連動して、音声や振動を提示する手法がある。【０００３】
例えば下記特許文献１および特許文献２では、スクリーンやディスプレイ手前に設けられる椅子に関し、スクリーンやディスプレイの情景の臨場感をより高めるため、椅子を振動させる振動装置（体感音響装置用の椅子）の技術が開示されている。情景に応じて椅子が音響的に振動されることにより、観客は身体に振動を体感し、より強く臨場感を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３０６６６３７号公報
【特許文献２】特許第３４８４４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したような振動装置は、エンターテインメントを目的とした用途において、映像を主たる情報チャネルとしているものである。【０００６】
一方、従来、テレビ電話等、音声および映像を用いたコミュニケーションシステムが開示されているが、コミュニケーション相手や、通信接続先の空間の存在感や実在感といったものを、立体的、空間的に認知することは難しかった。【０００７】
また、上述した臨場感を与える振動装置を、テレビ電話等の双方向コミュニケーションに適用したとしても、画面に映る遠隔地の情景といった視覚的な情報に意識が集中しがちになり、よりリアルに、コミュニケーション相手の存在や気配、通信接続先の空間の様子といったことを、立体的、空間的に感じることは困難であった。【０００８】
そこで、本開示では、音声と振動を主たる情報チャネルとし、他空間の知覚対象について、よりリアリティのある実在感を提示することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００９】
本開示によれば、他空間においてセンシングした振動情報および音声情報を取得し、前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部を備える、情報処理装置を提案する。【００１０】
本開示によれば、プロセッサが、他空間においてセンシングした振動情報および音声情報を取得することと、前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行うことと、を含む、情報処理方法を提案する。【００１１】
本開示によれば、コンピュータを、他空間においてセンシングした振動情報および音声情報を取得し、前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部として機能させるための、プログラムを提案する。
【発明の効果】
【００１２】
以上説明したように本開示によれば、音声と振動を主たる情報チャネルとし、他空間の知覚対象について、よりリアリティのある実在感を提示することが可能となる。【００１３】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施形態による情報処理システムの概要について説明する図である。
【図２】本実施形態による情報処理システムの全体構成の一例を示す図である。
【図３】本実施形態による情報処理装置の構成の一例を示すブロック図である。
【図４】本実施形態による情報処理装置の各種センサおよびアクチュエータの配置構成の一例について説明する図である。
【図５】本実施形態による情報処理装置の各種センサおよびアクチュエータの配置構成の一例について説明する図である。
【図６】本実施形態による情報処理装置の各種センサおよびアクチュエータの配置構成の一例について説明する図である。
【図７】本実施形態による情報処理装置の各種センサおよびアクチュエータの配置構成の一例について説明する図である。
【図８】本実施形態による双方向コミュニケーション通信における出力制御処理の流れの一例を示すシーケンス図である。
【図９】本実施形態による情報処理装置の他の構成例を示す図である。
【図１０】本実施形態によるユーザ位置に応じたつながり感調整について説明する図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．情報処理装置１の構成
２−１．内部構成
２−２．外観構成
３．動作処理
４．補足
４−１．リアルタイム感の提示
４−２．エコー、ハウリングの抑制
４−３．平面の周辺空間からの情報伝達
４−４．コンテンツＭｉｘ
５．他の構成例
６．まとめ
【００１７】
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、例えばデスクやテーブルに、マイクロホン（以下、マイクと称す）、振動センサ、スピーカ、および振動提示部（振動アクチュエータ）を設けたコミュニケーション装置（情報処理装置１）を用いて、音声および振動を主な情報チャネルとした双方向コミュニケーションを実現する。
【００１８】
マイク、振動センサ、スピーカ、および振動提示部は、それぞれ複数設けられていてもよい。
【００１９】
例えば図１に示すように、空間ｂにある情報処理装置１Ｂの天板に設けられた複数のセンサ（不図示）により、ユーザＣがテーブルで食事を取っている際に発生する物音や振動を検知し（例えば水差し２０をテーブルに置く動作）、その情報を、空間ａにある情報処理装置１Ａの天板に設けられた複数のスピーカや振動提示部から出力する。この際、情報処理装置１Ａでは、物音や振動が、実際に情報処理装置１Ｂで発生した位置と同じ位置で再生されるようにする。
【００２０】
空間ａに居るユーザＡ、ユーザＢは、聴覚と、テーブルの天板上に置いた手のひら等から得る触覚（天板の振動）により、離れた場所に居るユーザの動作（例えば水差し２０をテーブルに置く動作）や、物体（例えば、水差し２０）が、あたかも目の前に実際に存在しているかのような感覚（テレプレゼンス感）を得ることができる。ペンフィールドの脳地図からも明らかなように、人間の脳の感覚野では、指、手、手首、前腕、肘等のパートが大きな割合を示すため、本実施形態による相手ユーザやモノといった知覚対象の存在感をよりリアルに感じられる部位と言える。したがって本実施形態では、手の平や腕を乗せ易いテーブル天板状の装置を用いて、ユーザが手の平、手首、腕といった部位で触覚を得ることができることで、より効果的に、相手ユーザやモノの存在感を感じることができる。
【００２１】
テーブル上で検知および再生される情報は、水差し２０をテーブルに置く動作に限定されず、例えば、コップを置く音・振動、コップに水を入れる音・振動、ナイフやフォークを用いて食事をしている際の音・振動等、様々である。相手側テーブル（情報処理装置１Ｂ）におけるこれらの様々な音や振動が経時的に検知、伝送され、ユーザ側の対応するテーブル（情報処理装置１Ｂ）で再生される。
【００２２】
かかる手法は、従来、視覚的な映像効果（例えば高解像度、高ダイナミックレンジ、色再現性、光線再現による立体表現等）に偏重しがちであったテレプレゼンス通信手法に対して、相対的に重視されてこなかった聴覚的な音声効果（３次元的な音源・音場再現、立体感の表現など）と、手のひら等を通じた触覚的な振動効果（平面上の振動分布の再現、解像感、過渡応答など）を組み合わせることで、より無意識的な、中央視野でなく周辺聴野的な感覚を通じて、相手ユーザや物体、空間の雰囲気のような感覚をリアルに感じることができる。
【００２３】
すなわち、本実施形態では、振動と音で、目には見えない対象の、大きさ、重さ、材質（素材）、質感、形状、動き等（他空間の雰囲気、相手ユーザや物体の存在）を「認知」する、すなわち、その対象を頭に思い浮かべることができる。例えば、目の前のテーブルで鉛筆が転がる音と振動が発生すると、実際には鉛筆が目に見えていなくても、鉛筆が転がっている様子が頭に思い浮かんだり、また、水差しが置かれた重たい音や振動がすると、水がたっぷり入ったガラス勢の水差しがテーブルに置かれた様子が思い浮かんだりする。これらは、その人が今まで生きてきた中で聞いたことがある音など、脳に蓄積された情報が適宜呼び出され、その情景が思い浮かぶものと考えられる。このような「認知」は、あえて「映像」の情報チャネルを遮断することで効果的に生じ得る。「映像」がある場合、「映像」に集中して脳が緊張状態となり、自身の脳で情景を思い浮かべるといったことが低減し、遠隔地の空間の情景を画面を介して見ている、といった認識を意識的にしてしまう（臨場感が損なわれる）。一方、「映像」が無い場合、意識が一点に集中してしまうことが回避され、脳がリラックスした状態となり、より周辺視野的な感覚で、音と振動から情景を思い浮かべることができる。これらの音と振動は、ユーザの目の前の実際に存在するテーブルから発生するため、目には見えないがその対象が目の前に存在しているような、よりリアルな存在感を認知することが可能となる。
【００２４】
図１に示す例の場合、例えばユーザＡは、ユーザＣが目の前に居て一緒に食事をしているような存在感、気配を感じることができる。また、ユーザＢは、ユーザＣが自分と重なって感じることができ、ユーザＣ目線での周囲の空気感を感じることが可能となる。
【００２５】
なお、空間ａの情報も、情報処理装置１Ａによりセンシングして空間ｂの情報処理装置１Ｂで再生することで、双方向コミュニケーションが実現される。
【００２６】
また、もちろん映像的な効果を組み合わせること（音源位置に物体や効果を表示するなど）も可能であるが、その効果が過度となることで上記のように人間が、“相手ユーザや物体、空間を感じやすい”状態を阻害する可能性があるため、その効果を最適にコントロールする制御が重要となる。人間の状態の検出には脳波や生体センシングを直接的に用いることも可能であるが、観測者問題も想定されるため、極力事前にそのような変化の兆しとなる挙動などを学習し、簡易な方法でパターン検出できるようにすることで、最適制御に活用できる。
【００２７】
このように、本実施形態では、音声と振動を主たる情報チャネルとし、他空間の知覚対象について、よりリアリティのある実在感を提示することが可能となる。
【００２８】
続いて、このような本実施形態による情報処理システムの全体構成について図２を参照して説明する。図２は、本実施形態による情報処理システムの全体構成の一例を示す図である。
【００２９】
図２に示すように、本実施形態による情報処理システムは、情報処理装置１Ａ、情報処理装置１Ｂ、および、サーバ２を含む。
【００３０】
情報処理装置１（１Ａ、１Ｂ）については、図１を参照して概要を説明した通りである。
【００３１】
サーバ２は、各情報処理装置１やユーザに関する情報を取得し得る。また、サーバ２は、情報処理装置１間でやり取りされたコミュニケーション内容（センシングデータ）を蓄積していてもよい。また、サーバ２は、情報処理装置１間の通信接続や切断を制御してもよいし、双方向コミュニケーションの制御を行ってもよい。
【００３２】
なお、情報処理装置１Ａと情報処理装置１Ｂが、ネットワーク３を介して直接データの送受信を行い、サーバ２の制御によらずに、双方向コミュニケーションを実現してもよい。
【００３３】
以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる情報処理装置１の具体的な構成について図面を参照して説明する。
【００３４】
＜＜２．情報処理装置１の構成＞＞
＜２−１．内部構成＞
図３は、本実施形態による情報処理装置１の構成の一例を示すブロック図である。図３に示すように、情報処理装置１は、制御部１０、通信部１１、入力部１２、出力部１３、および記憶部１４を有する。
【００３５】
制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central  Processing  Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。
【００３６】
また、本実施形態による制御部１０は、通信制御部１０１、出力制御部１０２、および、つながり感調整部１０３としても機能する。
【００３７】
通信制御部１０１は、入力部１２により取得したセンシングデータを、通信部から通信先装置に送信する制御や、通信先装置から送信されたセンシングデータを通信部から受信する等の通信制御を適宜行い、双方向コミュニケーションを実現し得る。
【００３８】
出力制御部１０２は、通信先装置から送信されたセンシングデータを、出力部１３から出力する制御を行う。コミュニケーション装置の形状（すなわち、図１に示すテーブル天板の形状）は、通信相手側と同様であることが好ましいが、通信相手側と異なる場合、出力制御部１０２は、形状差に応じて上記センシングデータを適宜補正する。また、出力制御部１０２は、双方向コミュニケーション状態において、エコーキャンセル（抑制）や（振動）ハウリングキャンセル（抑制）のため、所定のフィルタを用いた信号処理を行い得る。
【００３９】
つながり感調整部１０３は、ユーザ状態やユーザの明示的な指示等に応じて、通信相手とのつながり感を調整する制御を行う。「つながり感の調整」とは、相手ユーザの存在感、気配、物体、空間の雰囲気等を、より高臨場感で共有するか、低臨場感で共有するかの調整である。より高臨場感で共有したい場合、出力する情報（音・振動）の明瞭度や再現度を上げる。一方、低臨場感で共有したい場合、すなわち、あまり積極的なつながりではないが何となく相手側の様子が知りたい場合には、例えば会話の内容や細かな動作などは伝わらなくとも大まかに誰がいるのか、楽しそうなのかどうか（声のトーンや振動の柔らかさ）を伝えることができる程度に、出力する情報（音・振動）の明瞭度や再現度を下げる。このような出力情報の調整は、フィルタ制御や波形制御等により行い得る。
【００４０】
（通信部１１）
通信部１１は、有線または無線によりネットワーク３と接続し、ネットワーク上のサーバ２や、他の情報処理装置１（通信先装置）等の外部装置と、データの送受信を行う。通信部１１は、例えば有線／無線ＬＡＮ（Local  Area  Network）、またはＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long  Term  Evolution）、３Ｇ（第３世代の移動体通信方式））等により外部装置と通信接続する。
【００４１】
（入力部１２）
入力部１２は、情報処理装置１に対する入力情報を検出し、制御部１０に出力する。入力部１２は、振動センサ１２１およびマイク１２２を有する。振動センサ１２１は、例えばテーブルの天板に複数設けられ、天板上で発生する振動を検知する。マイク１２２は、例えばテーブルの天板に複数設けられ、天板上で発生する物音や動作音、ユーザの音声等を検知する。また、入力部１２は、ユーザによる情報処理装置１に対する操作入力を検出してもよい。
【００４２】
（出力部１３）
出力部１３は、情報処理装置１からユーザに対する出力情報を提示する。出力部１３は、振動提示部１３１およびスピーカ１３２を有する。振動提示部１３１は、例えばテーブルの天板に複数設けられ、通信先のコミュニケーション装置の天板上で発生した振動を再現する。また、スピーカ１３２は、例えばテーブルの天板に複数設けられ、通信先のコミュニケーション装置の天板上で発生した物音、動作音、ユーザの音声等を再現する。
【００４３】
（記憶部１４）
記憶部１４は、制御部１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）により実現される。
【００４４】
以上、本実施形態による情報処理装置１の構成について具体的に説明した。なお情報処理装置１の構成は、図３に示す例に限定されない。例えば、情報処理装置１の少なくとも一部の構成が外部装置にあってもよいし、制御部１０の各機能の少なくとも一部がサーバ２により実現されてもよい。
【００４５】
＜２−２．外観構成＞
続いて、本実施形態による情報処理装置１の各種センサ（振動センサ１２１、マイク１２２）および振動提示部１３１やスピーカ１３２の配置構成について、図４〜図７を参照して説明する。
【００４６】
本実施形態による情報処理装置１は、図１に示すように、一例として、デスクやテーブルといった形状のコミュ二ケーション装置により実現し、平面の天板に、各種センサおよびアクチュエータを配置している。各種センサおよび振動提示部１３１やスピーカ１３２の配置は、等間隔など、特定のパターンで配置することで、より効果的に、ユーザの動作や、物体、空間の検知および提示を可能とする。
【００４７】
ここで、具体的な装置構成および配置パターンについていくつかの実施例を示す。なお、コミュニケーション通信に用いる双方のテーブル天板の形状は、同一形状であることでより再現性が高くできるため好ましいが、異なる形状同士であってもよい。異なる形状の場合、例えばユーザ周辺の身体的相関位置を合わせる等、出力情報の位置（音源位置、振動位置）を適宜補正することで、同等の効果を得ることが可能である。
【００４８】
図４は、情報処理装置１の各種センサおよびアクチュエータの配置構成の一例について説明する図である。図４に示すように、情報処理装置１の天板が正方形の場合において、天板表面の四隅にスピーカ１３２ａ〜１３２ｄ（例えばフルレンジスピーカ）を配置し、天板裏面には、４つの振動提示部１３１ａ〜１３１ｄを均等に配置し、さらに４つの入力部１２（振動センサ１２１およびマイク１２２）を中央に配置する。４つのスピーカ１３２および入力部１２は、例えば図４に示すように、天板裏面を十字に仕切って形成された４つの各マスにそれぞれ分配して配置され得る。なお天板の材質は、木材、メタル、ガラス等、特に限定はしない。
【００４９】
天板の形状は正方形に限定されず、例えば図５に示すような長方形であってもよい。この場合、情報処理装置１−１の天板表面において、２つのスピーカ１３２ａ、１３２ｂが、長手側の一辺の角に配置され、天板裏面において、２つの振動提示部１３１ａ、１３１ｂが、２つに仕切られたマスの各中央にそれぞれ配置されると共に、２つの入力部１２ａ、１２ｂが、仕切りの一端側に、仕切りを挟んで配置される。
【００５０】
若しくは、例えば図６に示すように、情報処理装置１−２の天板表面において、２つのスピーカ１３２ａ、１３２ｂが、対角の角に配置され、天板裏面において、２つの振動提示部１３１ａ、１３１ｂが、２つに仕切られたマスの各中央にそれぞれ配置されると共に、２つの入力部１２ａ、１２ｂが、仕切りの両端側に、それぞれ仕切りを挟んで反対側に配置されるようにしてもよい。
【００５１】
さらに、図７に示すように、センサやアクチュエータの数を増やして高密度化してもよい。図７に示すように、例えば情報処理装置１−３の天板表面において、８つのスピーカ１３２ａ〜１３２ｈが均等に並べられ、天板裏面において、８つの振動提示部１３１ａ〜１３１ｈが、８つに仕切られたマスの各中央にそれぞれ配置されると共に、８つの入力部１２ａ〜１２ｈが、各マスの角にそれぞれ配置されるようにしてもよい。
【００５２】
以上いくつかの配置を例示したが、本実施形態による入力部１２と振動提示部１３１、スピーカ１３２の配置はこれに限定されない。いずれにしても、入力部１２によるＩＮＰＵＴと振動提示部１３１やスピーカ１３２によるＯＵＴＰＵＴの干渉（もれこみ）を極力低減しながらも、音声や振動の空間的分布を検知、提示できるバランスの良い配置が好ましい。なお、干渉の低減は、ハードウェア配置による対処の他、信号処理によるノイズ抑制や、複数素子間でのアレイ処理（マイクアレイ等）を組み合わせることで対処することも可能である。
【００５３】
また、テーブル天板の形状は四角形に限定されず、三角形や五角形等の多角形であってもよいし、楕円や真円等の円形であってもよいし、その他曲線を含む形状であってもよいし、曲線と直線を含む形状であってもよい。
【００５４】
＜＜３．動作処理＞＞
続いて、本実施形態による情報処理システムの動作処理について、図８を用いて具体的に説明する。図８は、本実施形態による双方向コミュニケーション通信における出力制御処理の流れの一例を示すシーケンス図である。
【００５５】
図８に示すように、まず、一方の情報処理装置１から接続要求を行い、他方の情報処理装置１で接続要求が受諾されると、両装置間での通信接続が確立する（ステップＳ１０３〜Ｓ１０６）。なお、通信接続の確率は、サーバ２を介して行うようにしてもよい。
【００５６】
次に、各情報処理装置１は、それぞれ入力部１２により音声や振動のセンシングを行い（ステップＳ１０９、Ｓ１１２）、センシングした音声情報および振動情報を、互いに送受信する（ステップＳ１１５）。
【００５７】
次いで、各情報処理装置１は、テーブル面の形状差がある場合、形状差に応じて補正を行う（ステップＳ１１８、Ｓ１２１）。具体的には、情報処理装置１の出力制御部１０２は、通信相手の装置から受信したテーブル面の形状情報に基づいて形状差を算出し、音源位置および振動位置を補正（例えばユーザとの相関位置を調整）する。
【００５８】
次に、各情報処理装置１の出力制御部１０２は、通信相手側の情報を出力部１３から出力する制御を行う（ステップＳ１２４、Ｓ１２７）。これにより、通信相手側のテーブル面で発生している振動や音が再現され、ユーザは、よりリアルに、相手ユーザの存在感や物体の実在感を感じることが可能となる。
【００５９】
次いで、各情報処理装置１は、ユーザの状態を認識し（ステップＳ１３０、Ｓ１３３）、ユーザ状態を互いに送受信する（ステップＳ１３６）。
【００６０】
次に、各情報処理装置１のつながり感調整部１０３は、相手ユーザの状態に応じて、相手側とのつながり感を調整し、通信相手側の情報の出力を制御する（ステップＳ１３９、Ｓ１４２）。つながり感、すなわち臨場感の高低は、相手ユーザの状態に応じて調整されてもよい。例えば両方のユーザが椅子に座った場合には臨場感を高くし、相手ユーザがテーブルから離れている場合は、臨場感を低く、すなわち、つながり感を低くして、アンビエントな情報を提示するようにする。さらには、本実施形態による情報処理システムは、ユーザがコミュニケーション装置であるテーブルに近付いた場合に、所定の通信相手側に接続要求を行い、相手ユーザもテーブルに近付いた際に接続受諾として通信接続を確立するようにしてもよい。
【００６１】
そして、一方の情報処理装置１から切断要求を行い、他方の情報処理装置１で切断要求が受諾されると、両装置間での通信接続が終了する（ステップＳ１４５〜Ｓ１４８）。なお、かかる通信接続の切断も、ユーザ状態に応じたつながり感調整により自動的に行ってもよい。すなわち、一方のユーザがテーブルから離れた場合、切断要求を行い、相手ユーザもテーブルから離れた場合に、切断受諾として通信接続を終了するようにしてもよい。
【００６２】
このように、本実施形態では、「つながり感調整」により接続状態を制御できる。従来のコミュニケーション装置においては、接続状態のＯＮ／ＯＦＦ操作が必要である上に、一旦接続状態となると、ユーザの状態に関係無く、全ての情報が同一のクオリティで送出されてしまうことから、ユーザの不快感につながり、無意識的な常時接続状態が維持できない。これに対し、本実施形態では、ユーザ状態に応じたつながり感調整を行うことで、特にユーザが操作をしなくても、テーブルに近付いたり座るといった積極的な行動に応じて、好ましい再現度で相手側と通信接続が行われるため、安心して無意識的な常時接続状態を維持することができる。
【００６３】
以上、本実施形態による動作処理の流れの一例を説明した。なお図８に示す動作処理は一例であって、本開示は図８に示す例に限定されない。例えば、本開示は、図８に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよいし、スキップされてもよい。
【００６４】
＜＜４．補足＞＞
＜４−１．リアルタイム感の提示＞
本実施形態による情報処理システムは、リアルタイムの双方向コミュニケーションに限定されず、一方の空間で過去に記憶された音と振動を他方の空間で再生（若しくは同じ空間の過去の記録を再生）することで、過去の人物とコミュニケーションが取れるようにする（知覚させる）ことも可能である。
【００６５】
この際、情報処理装置１は、疑似的なインタラクション効果を付加することで、リアルタイムではないコミュニケーション（異なる時間に収録された音声・振動データ）においても、リアルタイム感を提示することが可能となる。例えば過去の記録に基づいて将棋のゲームを提示する場合に、次の将棋の駒を置くまでに「間」を設けたり、（リアルの）ユーザの動作に応じて、記録された音声・振動データの出力タイミングを制御するようにしてもよい。
【００６６】
＜４−２．エコー、ハウリングの抑制＞
本実施形態による情報処理装置１では、リアルタイムでの双方向コミュニケーション通信の状態において、天板や装置構造を通じて、音声や振動情報が、マイク１２２とスピーカ１３２、振動センサ１２１と振動提示部１３１との間等で漏れこみ、増幅や共振することで、系が不安定になるため、装置内での機械的若しくは信号処理的なエコーキャンセル、共振キャンセルといったノイズ抑制処理を行うことで、高品質な通信を実現する。
【００６７】
具体的な抑制処理としては、半二重的な適応スイッチ手法や、全二重的なノイズキャンセル手法、適応フィルタによるエコー除去など、一般的な音声処理手法を最適化して適用してもよい。また、システムが持つ共振周波数によって発生する特定周波数のレベルをノッチフィルタで抑制する手法もある。また、想定される双方向通信システムとその利用環境についてそれらがどのような特性を持っているかを推測し、それに対して高速に適応フィルタを最適化していく高速Ｈ−Ｉｎｆｉｎｉｔｙフィルタ技術もある。
【００６８】
本実施形態による情報処理装置１では、空気を伝搬する振動が、振動センサ１２１にフィードバックして、ハウリングが発生し、特定の共振周波数のレベルが増幅され、騒音や異常振動が発生する場合がある。そこで、上述したような音声処理で利用されているエコーキャンセル手法を、振動センサ１２１と振動提示部１３１にも拡張し、音声のみでなく振動チャンネルにおいても適応フィルタ技術を用いて双方向高品質伝送を実現することが可能である。
【００６９】
また、情報処理装置１は、通信先からのセンシングデータを出力部１３から出力している際は（振動提示部１３１やスピーカ１３２がＯＮの時）、入力部１２によるセンシングを行わない（振動センサ１２１およびマイク１２２をＯＦＦ、若しくは検知レベルを抑制）よう制御することで（スイッチング制御）、より効果的に、エコーやハウリングキャンセルを行うことが可能となる。どちらを優先するかは、適宜判断し得る。例えば先に一定時間以上話したり物音を立てている方を優先するようにしてもよい。
【００７０】
また、図４〜図７で挙げたような特定のパターン配置によって、ノイズを抑制したり、パターン毎に最適な抑制処理を行うことも可能である。
【００７１】
＜４−３．平面の周辺空間からの情報伝達＞
上述した実施形態では、テーブル天板といった平面上に、センサやアクチュエータを配置しているが、これらの配置によっては（例えば床や天井、階段等）、テーブル天板を含むより広い周辺空間の状態（例えば２階の足音等）を伝えることも可能である。
【００７２】
これにより、従来の視覚や聴覚のみの通信機器では表現、伝達できなかった情報を相手に伝えることができ、ユーザは、より自然に場の雰囲気を感じることができるため、テーブルを介したコミュニケーションや遠隔での共同作業などにおいて、ユーザの心身のストレスなどの負荷を低減し、より自然で快適な、クリエイティブな成果につなげることができる。
【００７３】
＜４−４．コンテンツＭｉｘ＞
本実施形態による情報処理装置１は、情報提示の種類として、音声と振動を主に説明したが、本実施形態はこれに限定されず、風（暖かい風、冷たい風、強い風、弱い風）、香り、水（水滴、パラパラと吹き込んでくる雨、水蒸気等）といった環境情報の提示を行うことも可能である。
【００７４】
本実施形態による双方向コミュニケーションでは、実際に存在している空間同士の情報をよりリアルに、現実に即して検出し提示するが、場合によっては、これらの空間とは全く異なる場所（例えばリゾートホテルのラウンジや、高山の頂上等）の状況や雰囲気を組み合わせて、実際の相手空間からのセンシングデータに、他の空間の環境情報を適度に組み合わせて（例えば、浜の風や波の音、森の中のすがすがしい雰囲気や空気、香り）その場のコミュニケーションをより豊かで快適なものにすることが可能となる。
【００７５】
このような仮想的な情報の提示は、従来はＶＲ（Virtual  Reality）装置のように全てが仮想情報として提示されるか否かといった切替えしかできなかったが、本実施形態では、リアルタイムで実際に存在する情報に加えて、様々な環境（仮想環境を含む）の情報を任意のバランスで重畳することで、様々な感覚（雰囲気、状況）を提示することができる。
【００７６】
＜＜５．他の構成例＞＞
本実施形態によるコミュニケーション装置（情報処理装置１）の構成は、デスクやテーブル等の天板（平面）を中心とした構成に限定されず、建築空間における間仕切りや、柱、窓辺の窓台、窓枠等領域に振動提示部１３１やスピーカ１３２を配置し、通信相手側または仮想的な環境音と、通信相手側のリアルタイムの室内の会話や物音等を提示することも可能である。以下、図９を参照して具体的に説明する。
【００７７】
図９は、本実施形態による情報処理装置の他の構成例を示す図である。図９に示すように、情報処理装置１１０は、手を置ける程度の幅のある窓台部１１１（平面部）と、窓台部１１１の両側に配置された柱部１１２ａ、１１２ｂを含む窓枠型の構成を有する。窓台部１１１には振動提示部１３１が設けられ、上述した実施形態と同様に、窓台部１１１に置かれた手の平や腕等に対して振動を提示し、他空間の雰囲気や存在（物の振動、風の振動、車の振動等）を知覚させることが可能である。窓台部１１１には、さらにスピーカ１３２が設けられてもよい。窓台部１１１の振動提示部１３１やスピーカ１３２の配置構成は、図４〜図７を参照して説明した構成であってもよい。
【００７８】
柱部１１２ａ、１１２ｂには、振動提示部１３１およびスピーカ１３２が設けられ、音と振動の提示により、他空間の雰囲気や存在（物の振動、風の振動、車の振動、物音、風や鳥、木々等の自然の音、話し声等）を知覚させることが可能である。
【００７９】
窓台部１１１および柱部１１２ａ、１１２ｂには、さらに入力部１２も設けられ、双方向通信を可能とする。
【００８０】
また、柱部１１２ａ、１１２ｂに設けられる振動提示部１３１およびスピーカ１３２の配置は特に限定しないが、例えば柱部１１２ａ、１１２ｂには、手前側に、平面波ラインアレイスピーカ１３２ｂを設け、内側面（柱部１１２ａ、１１２ｂが向かい合う面）には、上部と下部にスピーカ１３２ａ、１３２ｂを設ける。情報処理装置１１０は、高低差のあるスピーカ１３２ａ、１３２ｂを利用してそれぞれ適切な音声出力、例えば上部のスピーカ１３２ａからは上空の環境音を出力し、下部のスピーカ１３２ｂからは室内の会話音や物音を出力するようにしてもよい。
【００８１】
また、例えば柱部１１２ａ、１１２ｂには、複数の振動提示部１３１ａ、１３１ｂを設ける。柱部１１２ａ、１１２ｂの下方に設けられている振動提示部１３１ｂからの振動は床面に伝わり、ユーザは足からも振動を感じることができる。また、柱部１１２ａ、１１２ｂの上端が天井に接している際、上方の振動提示部１３１ａによる振動は天井にも伝わり、より立体的に他空間の様子を感じさせることが可能となる。
【００８２】
入力部１２、振動提示部１３１、およびスピーカ１３２の配置は、基本的には特別な制約はなく、同一素子による幾何学的な配置、あるいは異なる素子による有機的・ランダム的な配置において、上述したような適応フィルタ等を用いた信号処理と組み合わせることによってエコー、ハウリングのキャンセルを実施し、所望の遠隔地同士における音声や振動の２次元／３次元的な分布を収録および提示（再生）することが可能である。
【００８３】
また、配置に関し、窓台部１１１等の物体表面上や、空気中の任意の領域内における特定ゾーンを定義し、そのゾーンにおける各種振動を収録し、同時に提示（再生）するためのＩＮＰＵＴ／ＯＵＴＰＵＴ素子をゾーン内若しくは周辺に設置し、それらで発生する伝送ループの中のエコー・ハウリングなどを抑制する信号処理や筐体設計の最適化を行ってもよい。
【００８４】
このように、窓枠型の情報処理装置１１０は、音や振動の提示を、平面（２次元）だけではなく、垂直に建て付けられた柱部１１２を用いて立体的に（３次元）提示することが可能となり、よりリアルに、他空間の雰囲気や気配を感じさせることが可能となる。この場合も、上記実施形態と同様に、香りや風、水等、情報チャネルを増やして、臨場感をより高めることが可能である。
【００８５】
また、窓枠型の情報処理装置１１０は、図９に示すように、実際に窓の近くに配置してもよい。ユーザが窓に近付いて、窓台部１１１に手を置いて外を眺めたりしている際に、他の空間の雰囲気が、音、振動等により提示される。窓台部１１１の幅および奥行きは時に限定せず、例えば実際の窓に合わせた幅であってもよい。
【００８６】
若しくは、柱部１１２だけを、部屋の間仕切り等のインテリアエレメントとして設置するようにしてもよい。
【００８７】
以上の構成により、本実施形態では、立体的な音と振動の空間を形成し、他空間の雰囲気や存在感を、よりリアルに再現することが可能となる。
【００８８】
（つながり感の調整）
本実施形態による情報処理装置１１０は、装置に対するユーザの相対的位置情報（距離や方位）や状態（寝ている、起きている、話し中、テレビを見ている等）に応じて、通信先とのつながり感を自動的に調整することが可能である。例えば情報処理装置１１０は、ユーザが装置から離れているときには、つながり感レベルの低い、アンビエントな情報を提示するよう制御し、ユーザが装置に徐々に接近し、窓台部１１１に手のひらを乗せたりした場合には、より高臨場感な情報提示にシフトしていくなどのインタラクティブな制御を行う。
【００８９】
図１０は、本実施形態によるユーザ位置に応じたつながり感調整について説明する図である。図１０に示すように、装置からの距離に応じてゾーンを設定し、提示する情報レベル（音、振動等）を段階的に制御することが可能である。
【００９０】
例えば図１０に示すように、ゾーン３では、あいまいな雰囲気しか把握できないが（はっきり聞こえない音、弱い振動等）、情報処理装置１１０に近づいていき、ゾーン２、ゾーン１と至近ゾーンに入っていくと、通信先の空間の音声や振動情報がより明瞭に提示され、ユーザが体感するつながり感のレベルが上がる（すなわち高臨場感を感じられる）。
【００９１】
なお、ユーザの状態センシングは、振動センサ１２１により歩く振動を検知して近付いたか否かを判断してもよいし、マイク１２２により足音やユーザの声により近付いたか否かを判断してもよい。または、赤外線による人感センサ等を設けて、ユーザの接近を検知してもよい。
【００９２】
情報処理装置１１０は、つながり感の調整を、ユーザの状態センシング結果に基づいて動的に切り替えてもよいし、装置側で、実際に領域を限定した音声（指向性スピーカやエリア限定の波面合成スピーカ等）や振動の提示を行い、複数ユーザに対して同様のインタラクティブな効果を提示することもできる（すなわち、例えばゾーン３に居るユーザに対しては臨場感を低く提示し、ゾーン１に居るユーザに対しては臨場感を高く提示する）。
【００９３】
また、上記ゾーン毎においては、相互に伝送信号が過度に干渉しないような分離処理を行ってもよい。例えば図４のテーブル天板の裏面に設けた仕切り部材のような加工を加えることで、ゾーン間の情報の過度の干渉・混合を避けることが可能である。また、適度にゾーン間をつなぐ領域での音声や振動の分布を生成することで、ゾーン間の中間領域をユーザが触れた際に、どちら側から振動が来ているか（物体が存在するのか）、或いはどれぐらいの範囲にわたって振動が広がっているかといった感覚をユーザに提示することができる。
【００９４】
本実施形態では、建築構造に固定若しくは一体化した装置形状を活用して３次元的な情報提示が可能である。従来の双方向コミュニケーションシステムでは、スマートフォンやウェアラブル端末等、基本的に独立した筐体が手持ちや身体に装着された状態で情報が提示されていたため、周辺環境や雰囲気をまとめて収録することや、再生することが困難であった。本実施形態では、テーブル型、窓枠型、柱型といった建築構造的要素を有し、基本的には情報提示場所が固定されているため、より自然かつ安定して周辺空間の収録と再生を行うことができる。
【００９５】
＜＜６．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、音声と振動を主たる情報チャネルとし、他空間の知覚対象について、よりリアリティのある実在感を提示することが可能となる。
【００９６】
また、本実施形態では、音声および振動を主たる情報チャネルとして、特にデスクやテーブル状の装置の天板（平面）に対して手のひらを置く形態を用いることで、より繊細に、リアリティのある実在感を提示することができる。
【００９７】
また、本実施形態では、音声および振動チャンネルを２次元／３次元空間に配置した複数素子群を通じて収録（センシング）して、相手側へ伝送し、再生（提示）をするため、コミュニケーションを行うユーザは、よりリアルな、立体的、空間的に相手ユーザや空間の存在感、実在感を感じることができる。
【００９８】
なお、上述した実施形態では、振動を提示する知覚提示領域として、テーブル天板といった物理的な領域を挙げたが、本開示はこれに限定されず、風や水を放出することで触覚を与える領域（非接触領域）も、知覚提示領域（より具体的には、力触覚領域）に含まれ得る。
【００９９】
また、上述した実施形態では、テーブル天板に複数の振動提示部１３１を設けて、異なる振動位置で提示することを可能としているが、本実施形態はこれに限定されず、１つの振動提示部１３１（振動素子）であってもよい。例えば天板のつなぎ目を変化させることで、１つの振動素子であっても複数個所での振動や、異なる振動を提示することが可能である。
【０１００】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０１】
例えば、上述した情報処理装置１、またはサーバ２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１、またはサーバ２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【０１０２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１０３】
なお、本技術は以下のような構成も取ることができる。
（１）
他空間においてセンシングした振動情報および音声情報を取得し、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部を備える、情報処理装置。
（２）
前記他空間は、通信先空間であり、
前記制御部は、前記通信先空間の振動情報および音声情報を、リアルタイムで前記知覚提示領域から出力する、前記（１）に記載の情報処理装置。
（３）
前記他空間は、過去空間であり、
前記制御部は、記憶された過去の振動情報および音声情報を、前記知覚提示領域から出力する、前記（１）に記載の情報処理装置。
（４）
前記知覚提示領域は、テーブルであり、
前記テーブルの天板には、音声出力部および振動提示部が設けられる、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記振動情報および前記音声情報は、前記他空間に存在するテーブルの天板に設けられたセンサにより、当該天板で発生する前記知覚対象による実際の振動および物音を経時的にセンシングしたデータである、前記（４）に記載の情報処理装置。
（６）
前記他空間に存在する前記テーブルの天板の形状と、前記空間に存在する前記テーブルの天板の形状は同様である、前記（５）に記載の情報処理装置。
（７）
前記制御部は、
前記他空間に存在する前記テーブルの天板の形状と、前記空間に存在する前記テーブルの天板の形状に差がある場合、形状差に応じて、前記振動情報および前記音声情報を補正した上で出力するよう制御する、前記（５）に記載の情報処理装置。
（８）
前記知覚提示領域は、平面部と、当該平面部の両側に配置された柱部とから成る窓枠型ユニットであり、
前記平面部および柱部には、それぞれ、音声出力部および振動提示部が設けられる、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記柱部には、
内側の面に、第１の音声出力部が設けられ、
手前側の面に、第２の音声出力部が設けられる、前記（８）に記載の情報処理装置。
（１０）
前記知覚対象は、実物体、人間、または、自然現象である、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記他空間は、通信先空間であり、
前記知覚提示領域は、テーブルであり、
前記制御部は、
前記通信先空間から取得した、前記他空間に存在する第１の知覚対象の存在を触覚および聴覚により知覚させるための前記振動情報および前記音声情報を、リアルタイムで前記テーブルの天板に設けられた音声出力部および振動提示部から出力する制御と、
前記空間に存在する前記テーブルの天板に設けられたセンサにより、当該天板で発生する第２の知覚対象による実際の振動および物音を経時的にセンシングしたデータを、前記通信先空間に送信する制御を行う、前記（５）〜（７）のいずれか１項に記載の情報処理装置。
（１２）
前記制御部は、
前記通信先空間から取得した前記振動情報および前記音声情報を、前記音声出力部および前記振動提示部から出力している際、前記センサによるセンシングを抑制する制御を行う、前記（１１）に記載の情報処理装置。
（１３）
プロセッサが、
他空間においてセンシングした振動情報および音声情報を取得することと、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行うことと、
を含む、情報処理方法。
（１４）
コンピュータを、
他空間においてセンシングした振動情報および音声情報を取得し、
前記他空間と異なる空間における知覚提示領域から、前記他空間の知覚対象の存在を触覚および聴覚により知覚させる前記振動情報および前記音声情報を出力する制御を行う制御部として機能させるための、プログラム。
【符号の説明】
【０１０４】
１、１１０    情報処理装置
１０    制御部
１０１  通信制御部
１０２  出力制御部
１０３  つながり感調整部
１１    通信部
１２    入力部
１２１  振動センサ
１２２  マイク
１３    出力部
１３１  振動提示部
１３２  スピーカ
１４    記憶部
１１１    窓台部
１１２    柱部
【図１】
2019225100.tif 000003
【図２】
2019225100.tif 000004
【図３】
2019225100.tif 000005
【図４】
2019225100.tif 000006
【図５】
2019225100.tif 000007
【図６】
2019225100.tif 000008
【図７】
2019225100.tif 000009
【図８】
2019225100.tif 000010
【図９】
2019225100.tif 000011
【図１０】
2019225100.tif 000012
【国際調査報告】
2019225100.tif 000013
2019225100.tif 000014