(57)【要約】  本開示は、より円滑にコミュニケーションを図ることができるようにするコミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステムに関する。音加工部は、映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、音を加工する。例えば、音加工部は、入力部により入力された音に対する加工を行い、音加工部により加工された音と、入力部により入力されたままの音との両方が送信される。また、音加工部は、相手側のコミュニケーション装置から送信されてくる音を受信する受信部が受信した音に対する加工を行って、出力部から出力させる。本技術は、例えば、テレプレゼンスシステムに適用できる。
2018198790.tif 000002
【特許請求の範囲】
【請求項１】
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部
を備えるコミュニケーション装置。
【請求項２】
前記音を入力する入力部と、
相手側のコミュニケーション装置に対する送信を行う送信部と
をさらに備え、
前記音加工部は、前記入力部により入力された音に対する加工を行い、
前記送信部は、前記音加工部により加工された音と、前記入力部により入力されたままの音との両方を送信する
請求項１に記載のコミュニケーション装置。
【請求項３】
相手側のコミュニケーション装置から送信されてくる音を受信する受信部と、
前記音を出力する出力部と
をさらに備え、
前記音加工部は、前記受信部が受信した音に対する加工を行って、前記出力部から出力させる
請求項１に記載のコミュニケーション装置。
【請求項４】
前記音加工部は、音量の調節、音色の変更、音程の変更、および音像の定位位置の変更のうち、少なくとも１つの加工を行う
請求項１に記載のコミュニケーション装置。
【請求項５】
前記音加工部による加工の有無を設定可能である
請求項１に記載のコミュニケーション装置。
【請求項６】
前記音に対する制御を行うための設定画面を表示する表示部
をさらに備え、
前記設定画面には、映像および音声によるコミュニケーションを行う部屋の間取りが表示され、加工を行う対象とする音の方向および幅がユーザにより設定される
請求項１に記載のコミュニケーション装置。
【請求項７】
ユーザによる音に対する設定が許容範囲内であるか否かを判定する判定部
をさらに備える請求項６に記載のコミュニケーション装置。
【請求項８】
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する
ステップを含むコミュニケーション方法。
【請求項９】
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部
を備えるテレプレゼンスシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステムに関し、特に、より円滑にコミュニケーションを図ることができるようにしたコミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステムに関する。
【背景技術】
【０００２】
従来、映像および音声を利用したコミュニケーションシステムを使用して、遠隔地に居るユーザどうしがお互いに顔を見ながら会話し、より親密なコミュニケーションを図ることが可能となっている。【０００３】
例えば、パーソナルコンピュータやタブレット型の端末など通信装置を利用した既存のビデオチャットでは、互いに通信装置のディスプレイに向かい合って会話をするというように利用される。また、近年、遠隔地に居るユーザどうしが、実際に対面しているかのように臨場感のあるコミュニケーションを図ることができるテレプレゼンスシステムの利用が提案されている。【０００４】
例えば、特許文献１には、映像中の発話者から発話されているように音像方向を定位することで、映像と音像方向とが一致するような実在感のあるテレビ会議装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−２４８９８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上述のテレプレゼンスシステムを利用することによって、それぞれのユーザは、相手側の空間が仮想的な窓を介して隣接しているような感覚で、相手の存在を自然に感じられるような自然体のコミュニケーションを図ることができる。このように、あたかも隣接する空間に相手が存在しているかのようなテレプレゼンスシステムにおいて、コミュニケーションを阻害するような音まで伝達してしまうと、コミュニケーションを円滑に行うことが困難になってしまうことも想定される。【０００７】
本開示は、このような状況に鑑みてなされたものであり、より円滑にコミュニケーションを図ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面のコミュニケーション装置は、映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部を備える。【０００９】
本開示の一側面のコミュニケーション方法またはプログラムは、映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工するステップを含む。【００１０】
本開示の一側面のテレプレゼンスシステムは、映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部を備える。【００１１】
本開示の一側面においては、映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、音が加工される。
【発明の効果】
【００１２】
本開示の一側面によれば、より円滑にコミュニケーションを図ることができる。
【図面の簡単な説明】
【００１３】
【図１】テレプレゼンスシステムの概略を説明する図である。
【図２】コミュニケーション装置の外観的な構成例を示す図である。
【図３】本技術を適用したテレプレゼンスシステムの一実施の形態の構成例を示すブロック図である。
【図４】自空間の設定画面の第１の表示例を示す図である。
【図５】自空間の設定画面の第２の表示例を示す図である。
【図６】自空間の設定画面の第３の表示例を示す図である。
【図７】自空間の設定画面の第４の表示例を示す図である。
【図８】他空間の設定画面の第１の表示例を示す図である。
【図９】他空間の設定画面の第２の表示例を示す図である。
【図１０】設定情報の一例を示す図である。
【図１１】自空間の音を加工して送信する処理を説明するフローチャートである。
【図１２】他空間の音を出力する処理を説明するフローチャートである。
【図１３】他空間の音情報を設定する処理を説明するフローチャートである。
【図１４】音情報を記憶する処理を説明するフローチャートである。
【図１５】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１５】
＜テレプレゼンスシステムの概略＞
まず、図１を参照して、テレプレゼンスシステムの概略について説明する。
【００１６】
図１に示すテレプレゼンスシステム１１において、ユーザＵ−１が居る空間Ｓ−１に配置されるコミュニケーション装置１２−１と、ユーザＵ−２が居る空間Ｓ−２に配置されるコミュニケーション装置１２−２とは、互いに映像および音声を送受信する。これにより、ユーザＵ−１およびユーザＵ−２は、テレプレゼンスシステム１１によって空間Ｓ−１と空間Ｓ−２とが互いに隣接しているかのような感覚でコミュニケーションを図ることができる。
【００１７】
例えば、コミュニケーション装置１２−１は、コミュニケーション装置１２−２により撮影された空間Ｓ−２の映像を表示するとともに、コミュニケーション装置１２−２により収音された空間Ｓ−２の音声を出力する。これにより、例えば、図１の右下に示すように、ユーザＵ−１は、コミュニケーション装置１２−１の向こう側に相対してコミュニケーション装置１２−２があるような配置で、空間Ｓ−１に対して、点線で示すように空間Ｓ−２が仮想的に重なっているように感じることができる。
【００１８】
同様に、コミュニケーション装置１２−２は、コミュニケーション装置１２−１により撮影された空間Ｓ−１の映像を表示するとともに、コミュニケーション装置１２−１により収音された空間Ｓ−１の音声を出力する。これにより、例えば、図１の左下に示すように、ユーザＵ−２は、コミュニケーション装置１２−２の向こう側に相対してコミュニケーション装置１２−１があるような配置で、空間Ｓ−２に対して、点線で示すように空間Ｓ−１が仮想的に重なっているように感じることができる。
【００１９】
従って、テレプレゼンスシステム１１によって、例えば、ユーザＵ−１は、コミュニケーション装置１２−１および１２−２を介して、あたかも隣接した空間にユーザＵ−２が存在するように、ユーザＵ−２と自然体でコミュニケーションを図ることができる。同様に、ユーザＵ２にとっても、隣接した空間にＵ−１が居るかのように自然体でコミュニケーションを図ることができる。
【００２０】
即ち、テレプレゼンスシステム１１では、自分の生活空間の中に、相手の生活空間が重なるような感覚で、お互いの存在を感じながら、積極的にコミュニケーションを図ろうと意識することなく、より円滑にコミュニケーションを図ることができる。
【００２１】
ところで、このようなテレプレゼンスシステム１１を利用するユーザによっては、コミュニケーションを阻害するような音に対する制御を行いたいと思うことがあると想定される。
【００２２】
具体的には、ユーザＵ−１が、コミュニケーション装置１２−１を配置してあるリビングＬの音はコミュニケーションの相手側に伝えてもよいが、よりプライベートなベッドルームＢの音は伝えたくないというように、音に対する制御を行いたいと思うことがあると想定される。また、ユーザＵ−２が、キッチンＫの音（例えば、水道水の流れる音や食器を重ねるときの音など）を快く思わず、その音の出力を抑制したいというように、音に対する制御を行いたいと思うことがあると想定される。
【００２３】
そこで、テレプレゼンスシステム１１は、特定の音に対する制御をユーザが任意に行うことができるように構成することができる。即ち、ユーザは、自身の居る空間（以下、適宜、自空間とも称する）の音のうち、特定の音のみが相手側に伝達される（または、特定の音のみが伝達されない）ように制御を行うことができる。また、ユーザは、コミュニケーションを図る相手側の空間（以下、適宜、他空間とも称する）の音のうち、特定の音のみが出力される（または、特定の音のみが出力されない）ように制御を行うことができる。
【００２４】
これにより、テレプレゼンスシステム１１は、コミュニケーションを阻害するような音による弊害の発生を回避して、ユーザが互いに、より円滑なコミュニケーションを図ることができるようにすることができる。
【００２５】
なお、テレプレゼンスシステム１１で用いられるコミュニケーション装置１２−１およびコミュニケーション装置１２−２は、それぞれ共通する構成とすることができ、それらを互いに区別する必要がない場合、以下、コミュニケーション装置１２と称する。
【００２６】
＜コミュニケーション装置の構成例＞
図２は、コミュニケーション装置１２の外観的な構成例を示す図である。
【００２７】
図２に示すように、コミュニケーション装置１２は、２つのマイクロフォン１３Ｌおよび１３Ｒ、カメラ１４、２つのスピーカ１５Ｌおよび１５Ｒ、ディスプレイ１６、操作信号入力部１７、並びに、制御装置１８を備えて構成される。
【００２８】
マイクロフォン１３Ｌおよび１３Ｒは、コミュニケーション装置１２が配置されている自空間の音を集音する。そして、マイクロフォン１３Ｌおよび１３Ｒにより集音された音を表す音響信号が、相手側のコミュニケーション装置１２に送信される。
【００２９】
カメラ１４は、コミュニケーション装置１２の前方の自空間を撮影する。そして、カメラ１４により撮影された映像を表す映像信号が、相手側のコミュニケーション装置１２に送信される。
【００３０】
スピーカ１５Ｌおよび１５Ｒは、相手側のコミュニケーション装置１２から送信されてくる音響信号を再生した音、即ち、相手側のコミュニケーション装置１２が配置されている他空間の音を出力する。
【００３１】
ディスプレイ１６は、相手側のコミュニケーション装置１２から送信されてくる映像信号を再生した映像、即ち、他空間におけるコミュニケーション装置１２の前方が撮影された映像を表示する。また、ディスプレイ１６は、特定の音に対する制御を行うための設定に利用される設定画面を表示することができる。
【００３２】
操作信号入力部１７は、例えば、ユーザの手元で操作されるリモートコントローラから送信される操作信号を、コミュニケーション装置１２に入力する。例えば、ユーザは、リモートコントローラを利用して、ディスプレイ１６に表示される設定画面により、特定の音に対する制御を行うための設定を行うことができ、操作信号入力部１７は、その設定を行う際の操作信号の入力を行う。
【００３３】
制御装置１８は、コミュニケーション装置１２を構成する各部に対する制御を行って、コミュニケーション装置１２によるコミュニケーションが、より円滑に行われるような制御を行う。
【００３４】
このように構成されるコミュニケーション装置１２は、自空間の映像および音を送信するとともに、他空間の映像を表示し、他空間の音を出力することができる。このとき、コミュニケーション装置１２では、他空間の等身大の映像がディスプレイ１６に表示され、他空間における音源の位置に応じた方向から聞こえるようにスピーカ１５Ｌおよび１５Ｒから音が出力される。これにより、コミュニケーション装置１２を利用して、ディスプレイ１６を仮想的な窓として自空間および他空間が隣接しているかのように、互いのユーザの存在を自然に感じるようなコミュニケーションを図ることができる。
【００３５】
なお、コミュニケーション装置１２の外観的な構成は、図２に示すような構成例に限定されることなく、様々な形態を採用することができる。
【００３６】
次に、図３を参照して、コミュニケーション装置１２の機能的な構成について説明する。図３には、コミュニケーション装置１２−１および１２−２により構成されるテレプレゼンスシステム１１の一実施の形態の構成例が示されている。
【００３７】
図３に示すように、コミュニケーション装置１２は、入力装置２１、送信装置２２、受信装置２３、出力装置２４、および音加工処理部２５を備えて構成される。
【００３８】
入力装置２１は、例えば、図２のマイクロフォン１３Ｌおよび１３Ｒや、カメラ１４、操作信号入力部１７などを有して構成され、コミュニケーション装置１２への各種の信号の入力を行う。即ち、入力装置２１は、マイクロフォン１３Ｌおよび１３Ｒによって収音された自空間の音を表す音響信号を音加工処理部２５の自空間音加工部３１へ入力したり、カメラ１４により撮影された自空間の映像を表す映像信号を送信装置２２へ入力したりする。また、入力装置２１は、後述する図４乃至図９に示すような設定画面を利用した音情報の設定を行う際に、図示しないリモートコントローラに対するユーザの操作に応じて操作信号入力部１７に入力される操作信号を、音加工処理部２５の自空間音情報設定判定部３２または他空間音情報設定判定部３５へ入力する。
【００３９】
また、入力装置２１は、コミュニケーション装置１２に組み込まれるマイクロフォン１３Ｌおよび１３Ｒに加えて、例えば、図１のキッチンＫやベッドルームＢなどのようにコミュニケーション装置１２が配置される空間Ｓ−１の各部屋に、それぞれ単独に設置されるマイクロフォン（図示せず）も有して構成することができる。この場合、それらの部屋に配置されたマイクロフォンとコミュニケーション装置１２とは無線または有線により接続することができる。
【００４０】
なお、入力装置２１は、例えば、複数のマイクロフォンがアレイ状に配置されたマイクロフォンアレイ（図示せず）や、カメラ１４により撮影される被写体までの距離を測定するデプスセンサ（図示せず）などを有して構成してもよい。
【００４１】
送信装置２２は、入力装置２１から音加工処理部２５に入力された音響信号に対して音加工処理部２５において音加工処理が施された音響信号を、例えば、インターネットなどのネットワークを介して、相手側のコミュニケーション装置１２に送信する。また、送信装置２２は、音加工処理部２５において音加工処理が施されていない音響信号、即ち、入力装置２１に入力されたままの音響信号を、相手側のコミュニケーション装置１２に送信することができる。さらに、送信装置２２は、図２のカメラ１４により撮影された映像を表す映像信号を送信したり、特定の音に対する制御を行うためにユーザにより設定された音情報を送信したりすることができる。
【００４２】
受信装置２３は、図示しないネットワークを介して、相手側のコミュニケーション装置１２から送信されてくる音響信号を受信して、音加工処理部２５に供給する。また、受信装置２３は、相手側のコミュニケーション装置１２から送信されてくる映像信号を受信して出力装置２４に供給したり、相手側のユーザにより設定された音情報を受信して音加工処理部２５の自空間音情報記憶部３３に記憶させたりする。
【００４３】
出力装置２４は、例えば、図２のスピーカ１５Ｌおよび１５Ｒやディスプレイ１６などを有して構成され、スピーカ１５Ｌおよび１５Ｒから他空間の音を出力し、ディスプレイ１６に他空間の映像を表示する。即ち、出力装置２４は、受信装置２３が受信した音響信号に対して音加工処理部２５において音加工処理が施された音響信号を再生した音を、スピーカ１５Ｌおよび１５Ｒから出力する。
【００４４】
また、出力装置２４は、コミュニケーション装置１２に組み込まれるスピーカ１５Ｌおよび１５Ｒに加えて、例えば、図１のキッチンＫやベッドルームＢなどのようにコミュニケーション装置１２が配置される各部屋に、それぞれ単独に設置されるスピーカ（図示せず）も有して構成することができる。この場合、それらの部屋に配置されたスピーカとコミュニケーション装置１２とは無線または有線により接続することができる。さらに、出力装置２４は、ディスプレイ１６の他、プロジェクタ（図示せず）により映像を表示してもよい。
【００４５】
音加工処理部２５は、入力装置２１により入力される音響信号に対して、自空間の特定の音に対するユーザによる制御に従った音加工処理を施し、送信装置２２を介して送信する。また、音加工処理部２５は、受信装置２３から供給される音響信号に対して、他空間の特定の音に対するユーザによる制御に従った音加工処理を施し、出力装置２４により出力させる。
【００４６】
図３に示すように、音加工処理部２５は、自空間音加工部３１、自空間音情報設定判定部３２、自空間音情報記憶部３３、他空間音加工部３４、他空間音情報設定判定部３５、および、他空間音情報記憶部３６を備えて構成される。
【００４７】
自空間音加工部３１は、自空間音情報記憶部３３に記憶されている自空間の音情報（自空間の特定の音に対する設定）に従って、自空間の音に対する音加工、即ち、入力装置２１により入力される音響信号に対する音加工処理を行う。
【００４８】
自空間音情報設定判定部３２は、自空間音情報記憶部３３に記憶されている自空間の音情報に対する設定を行う際に、ユーザによる設定が可能（許容範囲内）であるか否かを判定し、設定可能である場合には、その設定を行う。例えば、自空間音情報設定判定部３２は、音の位置測定ができないぐらいの細かい設定が行われた場合、即ち、ユーザによる指定が許容される範囲内でない場合、設定可能ではないと判定して、エラーを提示する。
【００４９】
自空間音情報記憶部３３は、自空間の音に対するユーザによる制御に従って、自空間の音に対して設定される各種の設定項目からなる音情報を記憶する。
【００５０】
他空間音加工部３４は、他空間音情報記憶部３６に記憶されている他空間の音情報（他空間の特定の音に対する設定）に従って、他空間の音に対する音加工、即ち、受信装置２３から供給される音響信号に対する音加工処理を行う。
【００５１】
他空間音情報設定判定部３５は、他空間音情報記憶部３６に記憶されている他空間の音情報に対する設定を行う際に、ユーザによる設定が可能（許容範囲内）であるか否かを判定し、設定可能である場合には、その設定を行う。例えば、他空間音情報設定判定部３５は、音の位置測定ができないぐらいの細かい設定が行われた場合、即ち、ユーザによる指定が許容される範囲内でない場合、設定可能ではないと判定して、エラーを提示する。
【００５２】
他空間音情報記憶部３６は、他空間の音に対するユーザによる制御に従って、他空間の音に対して設定される各種の設定項目からなる音情報を記憶する。
【００５３】
＜設定画面＞
図４乃至図９を参照して、コミュニケーション装置１２において自空間または他空間の音響を設定するのに用いられる設定画面について説明する。なお、以下では、図１に示した空間Ｓ−１を自空間とし、空間Ｓ−２を他空間として説明を行う。
【００５４】
図４には、自空間の音に対する制御を行うための設定画面の第１の表示例が示されている。
【００５５】
図４に示すように、自空間の設定画面５１−１は、自空間である空間Ｓ−１における部屋の間取り図を表示し、その間取りにおけるコミュニケーション装置１２−１を中心として任意の方向および幅で音量を制御することができる。
【００５６】
図４には、コミュニケーション装置１２−１に対してリビングＬがある方向および幅の音量は通常に設定され、コミュニケーション装置１２−１に対してキッチンＫがある方向および幅の音量は消音に設定され、それ以外の方向および幅の音量は控えめに設定されている例が示されている。即ち、ユーザは、コミュニケーション装置１２−１を中心としてキッチンＫ側の音に対して消音を設定して、キッチンＫ側の音が相手側に伝達されないようにすることができる。
【００５７】
このように音量を調節する設定の他、コミュニケーション装置１２では、コミュニケーション装置１２に対する任意の方向および幅で、例えば、音程を（例えば、音程が高い食器音を低い音に）変更する設定や、音色を変更する設定を行うことができる。または、コミュニケーション装置１２では、音圧や周波数などが変更されるような設定を行うことができる。また、ユーザによる音に対する方向および幅の指定が、例えば、コミュニケーション装置１２による制御が可能な許容範囲内でない場合には、エラーを提示して再設定を促すことや、許容範囲の限界の方向および幅での制御が行われる。
【００５８】
図５には、自空間の音に対する制御を行うための設定画面の第２の表示例が示されている。
【００５９】
図５に示すように、自空間の設定画面５１−２は、自空間である空間Ｓ−１における部屋の間取り図を表示し、その間取りにおけるコミュニケーション装置１２−１を中心として４５度ごとに音量を制御することができる。
【００６０】
図５には、コミュニケーション装置１２−１を中心として４５度ごとに、音量を表すメモリが表示されており、それらのメモリにおいてハッチングが施されている大きさで、音量が設定されている例が示されている。図５においても、図４と同様に、キッチンＫ側の音に対して消音が設定され、キッチンＫ側の音が相手側に伝達されないようにすることができる。
【００６１】
図６には、自空間の音に対する制御を行うための設定画面の第３の表示例が示されている。
【００６２】
図６に示すように、自空間の設定画面５１−３は、自空間である空間Ｓ−１における部屋の間取り図を表示し、その間取りにおいて個別にマイクロフォンが設置されている箇所に、それらのマイクロフォンが集音する音の音量を制御することができる。
【００６３】
図６には、キッチンＫに設置されているマイクロフォンの音量が１に設定され、ベッドルームＢに設置されているマイクロフォンの音量が５に設定されている例が示されている。このように、ユーザは、自空間の見取り図内のどの位置に、どの向きで、どのような性能のマイクロフォンを設置したかを入力し、それらのマイクロフォンが集音する音が他空間に伝達される際の音量を設定することができる。
【００６４】
このように、コミュニケーション装置１２では、マイクロフォンが設置されている部屋ごとに、各部屋の音に対する制御を行うことができ、自空間の設定画面５１−３により、その設定を認識することができる。
【００６５】
図７には、自空間の音に対する制御を行うための設定画面の第４の表示例が示されている。
【００６６】
図７に示すように、自空間の設定画面５１−４は、自空間である空間Ｓ−１における部屋の間取り図を表示し、その間取りにおいて、他空間側で音像が定位する位置を制御することができる。
【００６７】
図７には、コミュニケーション装置１２−１に対してキッチンＫ側の音を、キッチンＫの反対側に定位するように音像の定位位置を変更する設定が行われる例が示されている。
【００６８】
このように、コミュニケーション装置１２では、自空間の音が、他空間で定位する位置を制御することができる。同様に、コミュニケーション装置１２では、他空間の音が、自空間で定位する位置を制御するようにしてもよい。
【００６９】
図８には、他空間の音に対する制御を行うための設定画面の第１の表示例が示されている。
【００７０】
図８に示すように、他空間の設定画面６１−１は、他空間である空間Ｓ−２における部屋の間取り図を表示し、ユーザＵ−１がコミュニケーション装置１２−１に向かっている状態で、どこを向いていて、どの範囲が見えているかが示されている。
【００７１】
そして、ユーザＵ−１は、他空間の設定画面６１−１において自身の向きやコミュニケーション装置１２−１を介して見える範囲を認識し、空間Ｓ−２の間取り図に対して、図４乃至図７を参照して説明したのと同様に、他空間の音に対する制御を行うことができる。
【００７２】
なお、ユーザＵ−１が、他空間である空間Ｓ−２を把握し易くする必要があり、例えば、図８に示すような平面的な間取りではなく、立体的な間取りを表示するようにしてもよい。
【００７３】
図９には、他空間の音に対する制御を行うための設定画面の第２の表示例が示されている。
【００７４】
図９では、ユーザＳ−２が、他空間である空間Ｓ−１に対する音の設定を行う他空間の設定画面６１−２が示されている。図９に示すように、他空間の設定画面６１−２上で、ユーザＳ−２の向きを切り替えることができ、ユーザＳ−２は、他空間の設定画面６１−２Ａと他空間の設定画面６１−２Ｂとで、認識し易い方を選択することができる。即ち、他空間の設定画面６１−２Ｂのように、ヘディングアップの提示を行うことができる。
【００７５】
なお、設定画面５１−１乃至５１−４、および、設定画面６１−１乃至６１−２で表示される部屋の間取り図は、ユーザが手動でコミュニケーション装置１２に入力することができる。例えば、ユーザは、タブレット端末を利用して、タッチ操作により手書きで間取り図を入力したり、間取り図が描かれた紙などを撮影して画像認識を利用して間取り図を読み込ませたりすることができる。
【００７６】
また、図１０には、図４乃至図９を参照して説明した設定画面を使用して設定される設定情報の一例が示されている。
【００７７】
図１０には、コミュニケーション装置１２の正面を９０度としたときの各方位の音量、音程、音色、および定位位置を設定する例が示されている。
【００７８】
例えば、コミュニケーション装置１２に対して４５度の方位の音量のレベルを５に設定し、その音程を200Ｈｚ低下させるように設定することができる。また、コミュニケーション装置１２に対して２２５度の方位の音量のレベルを８に設定し、その定位位置がコミュニケーション装置１２に対して４５度の方位となるように設定することができる。この他、設定情報により、自空間音加工部３１または他空間音加工部３４による音の加工の有無を設定することができ、音に対する制御を行うか否かをユーザの意思で決定することができる。
【００７９】
＜音設定処理＞
図１１乃至図１４のフローチャートを参照して、図１のテレプレゼンスシステム１１において行われる音制御処理について説明する。
【００８０】
図１１には、自空間の音を加工して送信する処理を説明するフローチャートが示されている。
【００８１】
ステップＳ１１において、複数のマイクロフォン１３により収音された音を表す音響信号が入力装置２１から自空間音加工部３１および送信装置２２に入力される。そして、自空間音加工部３１は、それらの音を解析することによって、入力された音の方位や、音量、音程、音色などを特定することができる。
【００８２】
ステップＳ１２において、自空間音加工部３１は、自空間音情報記憶部３３に記憶されている音情報に基づいて、ステップＳ１１で入力された音響信号に対する加工を行って、送信装置２２に供給する。
【００８３】
ステップＳ１３において、送信装置２２は、ステップＳ１２で自空間音加工部３１から供給された加工された音響信号と、ステップＳ１１で入力装置２１から入力されたままの音響信号との両方を送信する。
【００８４】
図１２には、他空間の音を出力する処理を説明するフローチャートが示されている。
【００８５】
ステップＳ２１において、受信装置２３は、図１１のステップＳ１３で送信された音響信号を受信して、他空間音加工部３４に供給する。
【００８６】
ステップＳ２２において、他空間音加工部３４は、他空間音情報記憶部３６に記憶されている音情報に基づいて、ステップＳ２１で入力された音響信号に対する加工を行う。なお、自空間側で消音された音など、他空間側で加工することができない音に対しては、ステップＳ２２での処理はスキップされる。
【００８７】
ステップＳ２３において、他空間音加工部３４は、ステップＳ２２で加工された音響信号に基づいて、複数のスピーカ１５の構成に合わせて音を統合する。
【００８８】
ステップＳ２４において、出力装置２４は、ステップＳ２３で統合された音をスピーカ１５から出力させる。
【００８９】
図１３には、他空間の音情報を設定する処理を説明するフローチャートが示されている。
【００９０】
ステップＳ３１において、ユーザによる操作に従って、自空間音情報設定判定部３２は、出力装置２４に他空間の設定画面を表示する。
【００９１】
ステップＳ３２において、ユーザが音情報の設定項目（音量、音程、音色、および定位位置）を指定すると、他空間音情報設定判定部３５は、その設定項目を取得する。
【００９２】
ステップＳ３３において、他空間音情報設定判定部３５は、ステップＳ３２で取得した設定項目が設定可能な項目であるか否かを判定し、設定可能な項目でないと判定した場合には、処理はステップＳ３２に戻って、エラーを提示して再度、ユーザによる指定が行われる。
【００９３】
一方、ステップＳ３３において、他空間音情報設定判定部３５が、設定可能な項目であると判定した場合、処理はステップＳ３４に進む。ステップＳ３４において、ユーザが設定項目に対する設定内容（例えば、音量のレベルや定位位置の方向など）指定すると、他空間音情報設定判定部３５は、その設定内容を取得する。
【００９４】
ステップＳ３５において、他空間音情報設定判定部３５は、ステップＳ３４で取得した設定内容が許容範囲内であるか否かを判定し、許容範囲内でないと判定した場合には、処理はステップＳ３４に戻って、エラーを提示して再度、ユーザによる指定が行われる。
【００９５】
一方、ステップＳ３５において、他空間音情報設定判定部３５が、許容範囲内であると判定した場合、処理はステップＳ３６に進む。ステップＳ３６において、他空間音情報設定判定部３５は、その設定内容で他空間音情報記憶部３６に記憶されている音情報を更新する。
【００９６】
ステップＳ３７において、他空間音情報設定判定部３５は、ステップＳ３６で更新した音情報を相手側に送信するか否かを判定し、送信すると判定した場合、ステップＳ３８において送信装置２２により音情報を送信した後、処理は終了される。一方、ステップＳ３７において、送信しないと判定された場合、ステップＳ３８はスキップして処理は終了される。なお、自空間音情報設定判定部３２も、他空間音情報設定判定部３５と同様に、自空間の音情報を設定する処理を行って、自空間音情報記憶部３３に記憶されている音情報を更新することができる。
【００９７】
図１４には、音情報を記憶する処理を説明するフローチャートが示されている。
【００９８】
ステップＳ４１において、受信装置２３は、図１３のステップＳ３８で送信された音情報を受信する。
【００９９】
ステップＳ４２において、受信装置２３は、ステップＳ４１で受信した音情報を自空間音情報記憶部３３に供給して記憶させて、処理は終了される。
【０１００】
なお、この場合、自空間音情報記憶部３３には、自身側のユーザにより設定された情報と、相手側のユーザにより設定された情報との２種類の上方が記憶される。従って、どちらの情報を優先させるかを示す優先度合いを設定したり、システムによって優先度を予め設定しておいてもよい。
【０１０１】
なお、テレプレゼンスシステム１１では、音に対する加工を、コミュニケーション装置１２−１とコミュニケーション装置１２−２とのどちらでも行うようにすることができる。例えば、図３において破線の矢印で示すように、他空間音加工部３４−２で加工された音が、送信装置２２−２によりコミュニケーション装置１２−１へ送信され、出力されるようにすることができる。これにより、音の加工内容によっては、通信帯域を節約することができ、例えば、音量が０に設定されている方向の音は送信しないようにすることができる。また、このとき、相手がどのような加工設定をしているかを、自空間側で表示するようにしてもよい。
【０１０２】
また、コミュニケーション装置１２では、例えば、音量を消音に設定した範囲から、音量を通常に設定した範囲（例えば、図４のキッチンＫからリビングＬ）へ移動した際に、急に音が聞こえるようになることに対する違和感を抑制するためにフェードインを行うことができる。つまり、音量を消音に設定した範囲から、音量を通常に設定した範囲に向かって徐々に音量が増加するように音を制御することができる。これにより、例えば、掃除機を使用しながら、音量を消音に設定した範囲から、音量を通常に設定した範囲に移動したときに、急激に大きな掃除機音が聞こえ出さないようにすることができる。
【０１０３】
また、逆に、コミュニケーション装置１２では、フェードアウトするように、音量を通常に設定した範囲から、音量を消音に設定した範囲に向かって徐々に音量が低下するように音を制御してもよい。
【０１０４】
＜コンピュータのハードウエアの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、単一のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１０５】
また、上述した一連の処理（コミュニケーション方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【０１０６】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１０７】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１０８】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロフォンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１０９】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１０】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１１１】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１１２】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部
を備えるコミュニケーション装置。
（２）
前記音を入力する入力部と、
相手側のコミュニケーション装置に対する送信を行う送信部と
をさらに備え、
前記音加工部は、前記入力部により入力された音に対する加工を行い、
前記送信部は、前記音加工部により加工された音と、前記入力部により入力されたままの音との両方を送信する
上記（１）に記載のコミュニケーション装置。
（３）
相手側のコミュニケーション装置から送信されてくる音を受信する受信部と、
前記音を出力する出力部と
をさらに備え、
前記音加工部は、前記受信部が受信した音に対する加工を行って、前記出力部から出力させる
上記（１）または（２）に記載のコミュニケーション装置。
（４）
前記音加工部は、音量の調節、音色の変更、音程の変更、および音像の定位位置の変更のうち、少なくとも１つの加工を行う
上記（１）から（３）までのいずれかに記載のコミュニケーション装置。
（５）
前記音加工部による加工の有無を設定可能である
上記（１）から（４）までのいずれかに記載のコミュニケーション装置。
（６）
前記音に対する制御を行うための設定画面を表示する表示部
をさらに備え、
前記設定画面には、映像および音声によるコミュニケーションを行う部屋の間取りが表示され、加工を行う対象とする音の方向および幅がユーザにより設定される
上記（１）から（５）までのいずれかに記載のコミュニケーション装置。
（７）
ユーザによる音に対する設定が許容範囲内であるか否かを判定する判定部
をさらに備える上記（６）に記載のコミュニケーション装置。
（８）
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する
ステップを含むコミュニケーション方法。
（９）
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する
ステップを含む処理をコンピュータに実行させるプログラム。
（１０）
映像および音声によるコミュニケーションを行う際に、特定の音に対する設定に従って、前記音を加工する音加工部
を備えるテレプレゼンスシステム。
【０１１３】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１１４】
１１  プレゼンスシステム，  １２  コミュニケーション装置，  １３  マイクロフォン，  １４  カメラ，  １５  スピーカ，  １６  ディスプレイ，  １７  操作信号入力部，  １８  制御装置，  ２１  入力装置，  ２２  送信装置，  ２３  受信装置，  ２４  出力装置，  ２５  音加工処理部，  ３１  自空間音加工部，  ３２  自空間音情報設定判定部，  ３３  自空間音情報記憶部，  ３４  他空間音加工部，  ３５  他空間音情報設定判定部，  ３６  他空間音情報記憶部
【図１】
2018198790.tif 000003
【図２】
2018198790.tif 000004
【図３】
2018198790.tif 000005
【図４】
2018198790.tif 000006
【図５】
2018198790.tif 000007
【図６】
2018198790.tif 000008
【図７】
2018198790.tif 000009
【図８】
2018198790.tif 000010
【図９】
2018198790.tif 000011
【図１０】
2018198790.tif 000012
【図１１】
2018198790.tif 000013
【図１２】
2018198790.tif 000014
【図１３】
2018198790.tif 000015
【図１４】
2018198790.tif 000016
【図１５】
2018198790.tif 000017
【国際調査報告】
2018198790.tif 000018
2018198790.tif 000019
2018198790.tif 000020
2018198790.tif 000021