(57)【特許請求の範囲】
【請求項１】
自端末と相手端末との間でデータを通信する遠隔地間コミュニケーション装置であって、
音レベル判定部と、音周期性判定部と、結果判定処理部とを備え、
前記音レベル判定部は、
マイクロホン入力信号を取得して、当該マイクロホン入力信号をフーリエ変換するフーリエ変換手段と、
前記フーリエ変換を行ったマイクロホン入力信号を取得して、当該フーリエ変換を行ったマイクロホン入力信号の帯域別スペクトルパワーを計算するスペクトル計算手段と、
前記帯域別スペクトルパワーを取得して、当該帯域別スペクトルパワーの時間方向の最小値から帯域別推定雑音スペクトルパワーを計算するスペクトル保持手段と、
前記帯域別スペクトルパワーと前記帯域別推定雑音スペクトルパワーとを取得して、前記帯域別スペクトルパワーから前記帯域別推定雑音スペクトルパワーを差し引いて帯域別音スペクトルパワーを計算する音パワー計算手段と、
前記帯域別音スペクトルパワーを取得して、当該帯域別音スペクトルパワーが予め設定した帯域別パワーしきい値よりも大きい場合には有音と判定し、当該帯域別音スペクトルパワーが予め設定した帯域別パワーしきい値よりも小さい場合には無音と判定するパワーしきい値判定手段とを備え、
前記音周期性判定部は、
前記マイクロホン入力信号を取得して、当該マイクロホン入力信号の線形予測残差信号を計算する線形予測処理手段と、
前記線形予測残差信号を取得して、当該線形予測残差信号の自己相関値を計算する自己相関計算手段と、
前記線形予測残差信号の自己相関値を取得して、当該自己相関値を大きい順に並び替えるソート計算手段と、
前記並び替えられた自己相関値を取得して、当該並び替えられた自己相関値の予め定めた順位までの累積和を計算する累積和計算手段と、
前記累積和を取得して、当該累積和が予め定められた非定常雑音しきい値よりも大きい場合および、前記累積和が音声しきい値よりも小さい場合には物音と判定し、それ以外の場合には音声と判定する累積和しきい値判定手段とを備え、
前記結果判定処理部は、前記パワーしきい値判定手段の判定結果および前記累積和しきい値判定手段の判定結果を取得して、前記パワーしきい値判定手段の判定結果が無音である場合には無音と判定し、前記パワーしきい値判定手段の判定結果が有音であって前記累積和しきい値判定手段の判定結果が物音である場合には物音と判定し、前記パワーしきい値判定手段の判定結果が有音であって前記累積和しきい値判定手段の判定結果が音声である場合には音声と判定すること
を特徴とする遠隔地間コミュニケーション装置。
【請求項２】
請求項１に記載の遠隔地間コミュニケーション装置が、
状態判別処理部と、映像音通信処理部とをさらに備え、
前記状態判定処理部は前記判定結果処理部の判定結果と前記相手端末からのデータとを取得して、前記判定結果処理部の判定結果が音声であって前記相手端末からのデータが音声である場合に状態ＦＧに遷移し、前記判定結果処理部の判定結果が音声であって前記相手端末からのデータが音声でない場合に状態Ｐ＆Ｐに遷移し、前記判定結果処理部の判定結果が音声でなく前記相手端末からのデータが音声である場合に状態Ｐ＆Ｐに遷移し、前記判定結果処理部の判定結果が音声でなく前記相手端末からのデータが音声でない場合に状態ＢＧに遷移することを特徴とし、
前記映像音通信処理部は前記状態を取得して、当該状態がＦＧである場合のみ自端末側の音と映像とを相手端末に送信し、相手端末側の音と映像とを自端末に受信すること
を特徴とする遠隔地間コミュニケーション装置。
【請求項３】
自端末と相手端末との間でデータを通信する遠隔地間コミュニケーション方法であって、
音レベル判定ステップと、音周期性判定ステップと、結果判定処理ステップとを有し、
前記音レベル判定ステップは、
マイクロホン入力信号を取得して、当該マイクロホン入力信号をフーリエ変換するフーリエ変換サブステップと、
前記フーリエ変換を行ったマイクロホン入力信号を取得して、当該フーリエ変換を行ったマイクロホン入力信号の帯域別スペクトルパワーを計算するスペクトル計算サブステップと、
前記帯域別スペクトルパワーを取得して、当該帯域別スペクトルパワーの時間方向の最小値から帯域別推定雑音スペクトルパワーを計算するスペクトル保持サブステップと、
前記帯域別スペクトルパワーと前記帯域別推定雑音スペクトルパワーとを取得して、前記帯域別スペクトルパワーから前記帯域別推定雑音スペクトルパワーを差し引いて帯域別音スペクトルパワーを計算する音パワー計算サブステップと、
前記帯域別音スペクトルパワーを取得して、当該帯域別音スペクトルパワーが予め設定した帯域別パワーしきい値よりも大きい場合には有音と判定し、当該帯域別音スペクトルパワーが予め設定した帯域別パワーしきい値よりも小さい場合には無音と判定するパワーしきい値判定サブステップとを有し、
前記音周期性判定ステップは、
前記マイクロホン入力信号を取得して、当該マイクロホン入力信号の線形予測残差信号を計算する線形予測処理サブステップと、
前記線形予測残差信号を取得して、当該線形予測残差信号の自己相関値を計算する自己相関計算サブステップと、
前記線形予測残差信号の自己相関値を取得して、当該自己相関値を大きい順に並び替えるソート計算サブステップと、
前記並び替えられた自己相関値を取得して、当該並び替えられた自己相関値の予め定めた順位までの累積和を計算する累積和計算サブステップと、
前記累積和を取得して、当該累積和が予め定められた非定常雑音しきい値よりも大きい
場合および、前記累積和が音声しきい値よりも小さい場合には物音と判定し、それ以外の場合には音声と判定する累積和しきい値判定サブステップとを有し、
前記結果判定処理ステップは、前記パワーしきい値判定サブステップの判定結果および前記累積和しきい値判定サブステップの判定結果を取得して、前記パワーしきい値判定サブステップの判定結果が無音である場合には無音と判定し、前記パワーしきい値判定サブステップの判定結果が有音であって前記累積和しきい値判定サブステップの判定結果が物音である場合には物音と判定し、前記パワーしきい値判定サブステップの判定結果が有音であって前記累積和しきい値判定サブステップの判定結果が音声である場合には音声と判定すること
を特徴とする遠隔地間コミュニケーション方法。
【請求項４】
請求項３に記載の遠隔地間コミュニケーション方法が、
状態判別処理ステップと、映像音通信処理ステップとをさらに有し、
前記状態判定処理ステップは前記判定結果処理ステップの判定結果と前記相手端末からのデータとを取得して、前記判定結果処理ステップの判定結果が音声であって前記相手端末からのデータが音声である場合に状態ＦＧに遷移し、前記判定結果処理ステップの判定結果が音声であって前記相手端末からのデータが音声でない場合に状態Ｐ＆Ｐに遷移し、前記判定結果処理ステップの判定結果が音声でなく前記相手端末からのデータが音声である場合に状態Ｐ＆Ｐに遷移し、前記判定結果処理ステップの判定結果が音声でなく前記相手端末からのデータが音声でない場合に状態ＢＧに遷移することを特徴とし、
前記映像音通信処理ステップは前記状態を取得して、当該状態がＦＧである場合のみ自端末側の音と映像とを相手端末に送信し、相手端末側の音と映像とを自端末に受信すること
を特徴とする遠隔地間コミュニケーション方法。
【請求項５】
コンピュータを請求項１又は２に記載の遠隔地間コミュニケーション装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は遠隔地間を通信で結び、映像コミュニケーション、音声コミュニケーションを可能にする遠隔地間コミュニケーション装置、遠隔地間コミュニケーション方法、プログラムに関する。
【背景技術】
【０００２】
従来、遠隔地間のコミュニケーションにおいて、明示的に会話が行われていない場合でもお互いの存在を各種センサおよび表示装置を用いて感じさせながら、通信を行う通信システムが知られている。この通信システムは主に家庭での見守りサービスや、テレワークなどに用いられる。例えば、特許文献１ではつながり感を伝える通信端末が開示されている。特許文献１の通信端末は、相手の存在情報を知る場合に人の思考が中断されず、また相手の存在感をリアルタイムで感じることができ、人の手を煩わすことがなくつながり感を伝えることを目的としている。具体的には、送信部はセンサ部が取得したセンサ情報を通信網に送信し、受信部は通信網を介して相手装置が送信したセンサ情報を受信し、動作実行部は受信部が受信したセンサ情報に応じた動作を実行し、さらに動作実行部は遠隔地の人の動きまたは環境に関する情報に応じた動作を実行することによって、遠隔地の人の動きを半明示的に伝達することを特徴とする。しかしながら、特許文献１の通信端末においては、例えば常時通信が確立している環境では常にカメラなどの各種センサで情報が収集され相手側へ伝送されるため、ユーザは常時監視されていると感じるようになりプライバシーの問題が生じる。この問題を解決するためには送信側で相手側に送る信号を選択する方法が考えられるが、この方法はユーザにとって煩わしい操作を伴うため問題である。そこで、ユーザが操作を意識することなく、プライバシーを保ち、円滑な常時接続のコミュニケーションを行うために、例えば特許文献２の映像コミュニケーション装置が考案されている。
【０００３】
特許文献２では、自端末用カメラを具備する自端末と、相手端末用カメラを具備する相手端末との間で映像と音声とを通信する映像コミュニケーション装置が開示されている。この映像コミュニケーション装置は、検出手段が自端末のユーザの視線の方向または停留時間を検出し、受信手段が相手端末のユーザの視線の方向または停留時間を相手端末から受信し、映像信号処理手段が自端末のユーザの視線の方向または停留時間と相手端末のユーザの視線の方向または停留時間とに応じて、上記相手端末に送信する映像を処理することを特徴とする。上記映像信号処理には例えば、相手端末に送信する映像について、フレームレートを低下させる処理、遅延を付加する処理、または、各フレーム画像に対する処理として、サイズを縮小する処理、フェード加工によって鮮明度を低下させる処理などが含まれる。このように、特許文献２の映像コミュニケーション装置はユーザの視線方向に応じて、映像に各種処理を施すことでプライバシーレベルのコントロールを行うことを可能とした。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３１４７０７号公報
【特許文献２】特許第４４７５５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２の映像コミュニケーション装置を用いてプライバシーレベルの判定を行うためには複数のセンサ情報、およびセンサ情報から計算される特徴量を組み合わせる必要がある。しかしながら通信端末に複数センサを組み込めばハードウェア規模が増大し、また複数の特徴量の計算の必要からソフトウェア規模も増大してしまう。特許文献２に記載の映像コミュニケーション装置による通信を実現するためには特殊なハードウェアを備える専用端末を購入しなければならずユーザにとって参入障壁が高くなってしまう。そこで、本発明ではプライバシーレベルの判別制御を、特殊なハードウェアを必要とせず低コストで実現できる遠隔地間コミュニケーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の遠隔地間コミュニケーション装置は、自端末と相手端末との間でデータを通信することを特徴とし、音周期性判定部と、音不明瞭化処理部とを備える。音周期性判定部は、マイクロホン入力信号を取得して、当該マイクロホン入力信号の周期性に基づいて、当該マイクロホン入力信号が「音声」、「物音」の何れであるかを判定する。音不明瞭化処理部は、マイクロホン入力信号が「音声」と判定された場合には当該マイクロホン入力信号をそのままネットワークに伝送し、マイクロホン入力信号が「物音」と判定された場合には代替の信号をネットワークに伝送する。
【発明の効果】
【０００７】
本発明の遠隔地間コミュニケーション装置によれば、マイクロホン入力信号が物音／音声の何れであるかを判定することにより、マイクロホン入力信号に判定結果に応じて異なる信号処理を施すことができるため、プライバシーレベルの判別制御を、特殊なハードウェアを必要とせず低コストで実現できる。
【図面の簡単な説明】
【０００８】
【図１】実施例１に係る遠隔地間コミュニケーション装置の構成を示すブロック図。
【図２】実施例１に係る遠隔地間コミュニケーション装置の動作を示すフローチャート。
【図３】実施例２に係る遠隔地間コミュニケーション装置の構成を示すブロック図。
【図４】実施例２に係る遠隔地間コミュニケーション装置の動作を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例１】
【００１０】
＜本明細書で使用される用語の定義＞
本明細書では人間の声や物音を含むすべての音を「音」と表記し、「音」には「物音」と「音声」とが含まれるものとし、本発明の装置近傍で発話された人間の声を「音声」と表記し、「音声」以外の音を全て「物音」として表記を統一する。
＜本明細書で使用される用語の定義終わり＞
【００１１】
＜本発明のポイント＞
本発明の遠隔地間コミュニケーション装置では、ハードウェア規模の増大を避けるために１チャネルマイクロホンの入力信号を用いる。１チャネルマイクロホンは人感センサ、距離センサ等と比較して汎用端末に内蔵されていることが多く、ハードウェアのコストを低くして、ユーザの参入障壁を下げることができる。
【００１２】
遠隔地間コミュニケーションにおいて、ユーザが情報を伝えたい場合には、装置の近くではっきりと発話することが多い。そこで本発明の遠隔地間コミュニケーション装置では、装置近くではっきりと発話された声を「音声」とし、相手に伝えたい意思のある状態と判定する。遠くで発話された声や非定常雑音を「物音」とし、相手に伝えたくない状態と判定する。判定精度を上げるために「物音」と「音声」の誤検出を避ける必要がある。ここで、装置の近くではっきりと発話された声は周期性が明確に現れる。一方、装置の遠方で普通に発話された声はレベルが小さくなるため周期性が明確に現れなくなる。また、装置の遠方にて大声で発話された声は、残響が重畳するため周期性が現れにくくなる。非定常雑音は音のレベルが大きくても小さくても周期性が現れない。これらの性質を利用し、本発明の遠隔地間コミュニケーション装置では音の周期性を分析して、物音／音声の判定に用いる。また、本発明の遠隔地間コミュニケーション装置では音のレベルを分析して、有音／無音の判定に用いる。これらの少ない特徴量（周期性、レベル）の分析のみで高精度な判定を実現し、プライバシーレベルの判別制御ができる。
＜本発明のポイント終わり＞
【００１３】
図１、図２を参照して本発明の実施例１に係る遠隔地間コミュニケーション装置１００について説明する。図１は本実施例に係る遠隔地間コミュニケーション装置１００の構成を示すブロック図である。図２は本実施例に係る遠隔地間コミュニケーション装置１００の動作を示すフローチャートである。本実施例の遠隔地間コミュニケーション装置１００は、自端末と相手端末との間で音声などのデータを通信することを特徴とする。本実施例の遠隔地間コミュニケーション装置１００はマイクロホン９１、スピーカ９２、ネットワーク９３と通信可能に無線又は有線で接続されている。マイクロホン９１は１チャネルマイクロホンである。遠隔地間コミュニケーション装置１００はマイクロホン９１からのマイクロホン入力信号を入力とし、このマイクロホン入力信号に対して後述する処理を行って、当該処理済み信号をネットワーク９３に伝送する。また、相手端末がネットワーク９３に伝送した信号を受信してスピーカ９２にて再生する。相手端末についても本実施例の遠隔地間コミュニケーション装置１００が用いられるものとする。本実施例の遠隔地間コミュニケーション装置１００は、音レベル判定部１１０と、音周期性判定部１２０と、結果判定処理部１３０と、音不明瞭化処理部１４０と、音通信処理部１５０とを備える。
【００１４】
音レベル判定部１１０はマイクロホン入力信号のレベルによる有音／無音判定を目的とする。音レベル判定部１１０は、フーリエ変換手段１１１と、スペクトル計算手段１１２と、スペクトル保持手段１１３と、音パワー計算手段１１４と、パワーしきい値判定手段１１５とを備える。フーリエ変換手段１１１は、マイクロホン入力信号を取得して、当該マイクロホン入力信号をフーリエ変換する（ＳＳ１１１）。スペクトル計算手段１１２は、フーリエ変換を行ったマイクロホン入力信号を取得して、当該フーリエ変換を行ったマイクロホン入力信号を二乗して、帯域別スペクトルパワーを計算する（ＳＳ１１２）。スペクトル保持手段１１３は、帯域別スペクトルパワーを取得して、当該帯域別スペクトルパワーの時間方向の最小値を保持し、当該保持された最小値から帯域別推定雑音スペクトルパワーを計算する（ＳＳ１１３）。音パワー計算手段１１４は、帯域別スペクトルパワーと帯域別推定雑音スペクトルパワーとを取得して、帯域別スペクトルパワーから帯域別推定雑音スペクトルパワーを差し引いて帯域別音スペクトルパワーを計算する（ＳＳ１１４）。パワーしきい値判定手段１１５は、帯域別音スペクトルパワーを取得して、当該帯域別音スペクトルパワーが予め設定した帯域別パワーしきい値よりも大きい場合には有音と判定し（ＳＳ１１５、Ｓ１３１Ｙ）、当該帯域別音スペクトルパワーが予め設定した帯域別パワーしきい値よりも小さい場合には無音と判定する（ＳＳ１１５、Ｓ１３１Ｎ）。
【００１５】
音周期性判定部１２０は、マイクロホン入力信号の周期性による音声／物音判定を目的とする。音周期性判定部１２０は線形予測処理手段１２１と、自己相関計算手段１２２と、ソート計算手段１２３と、累積和計算手段１２４と、累積和しきい値判定手段１２５とを備える。線形予測処理手段１２１は、マイクロホン入力信号を取得して、当該マイクロホン入力信号の線形予測残差信号を計算する（ＳＳ１２１）。自己相関計算手段１２２は、線形予測残差信号を取得して、当該線形予測残差信号の自己相関値を計算する（ＳＳ１２２）。ソート計算手段１２３は、線形予測残差信号の自己相関値を取得して、当該自己相関値を大きい順に並び替える（ＳＳ１２３）。累積和計算手段１２４は、並び替えられた自己相関値を取得して、当該並び替えられた自己相関値の予め定めた順位までの累積和を計算する（ＳＳ１２４）。累積和しきい値判定手段１２５では二つのしきい値（非定常雑音しきい値、音声しきい値）を用いて判定を行う。ここで、非定常雑音しきい値＞音声しきい値が成り立つように設定されているものとする。ここで、二つのしきい値を求める手順について説明する。予め最大許容レベルの音声サンプルと、最小許容レベルの音声サンプルとを用意しておく。最大許容レベルの音声サンプルをマイクロホン９１から入力し、このマイクロホン入力信号についてサブステップＳＳ１２１〜ＳＳ１２４を実行して累積和を計算し、その時間平均値を非定常雑音しきい値とする。次に、最小許容レベルの音声サンプルをマイクロホン９１から入力し、このマイクロホン入力信号についてサブステップＳＳ１２１〜ＳＳ１２４を実行して累積和を計算し、その時間平均値を音声しきい値とする。累積和しきい値判定手段１２５は、累積和を取得して、当該累積和が予め定められた非定常雑音しきい値よりも大きい場合および、累積和が音声しきい値よりも小さい場合には物音と判定し（ＳＳ１２５、Ｓ１３２ＹｏｒＳ１３３Ｎ）、それ以外の場合には音声と判定する（ＳＳ１２５、Ｓ１３２ＮａｎｄＳ１３３Ｙ）。
【００１６】
結果判定処理部１３０は音レベル判定部１１０の判定結果と、音周期性判定部１２０の判定結果とから最終的な判定結果を出力することを目的とする。結果判定処理部１３０は、パワーしきい値判定手段１１５の判定結果および累積和しきい値判定手段１２５の判定結果を取得して、パワーしきい値判定手段１１５の判定結果が無音である場合には無音と判定し（Ｓ１３１Ｎ）、パワーしきい値判定手段１１５の判定結果が有音であって（Ｓ１３１Ｙ）累積和しきい値判定手段１２５の判定結果が物音である場合には物音と判定し（Ｓ１３２ＹｏｒＳ１３３Ｎ）、パワーしきい値判定手段１１５の判定結果が有音であって（Ｓ１３１Ｙ）累積和しきい値判定手段１２５の判定結果が音声である場合には音声と判定する（Ｓ１３２ＮａｎｄＳ１３３Ｙ）。ここで、結果判定処理部１３０は判定結果が物音である場合には値２を、判定結果が音声である場合には値１を、判定結果が無音である場合には値０を判定結果信号として出力する。
【００１７】
音不明瞭化処理部１４０は、マイクロホン入力信号が「音声」と判定された場合にはマイクロホン入力信号をそのままネットワーク９３に伝送し、「物音」と判定された場合には代替の信号をネットワーク９３に伝送することを目的としている。音不明瞭化処理部１４０は、切替手段１４１と物音不明瞭化手段１４２とを備える。切替手段１４１はマイクロホン９１からマイクロホン入力信号を取得し、結果判定処理部１３０から判定結果信号を取得する。当該判定結果信号が２（物音）である場合には当該判定結果信号（＝２）を物音不明瞭化手段１４２に出力する。当該判定結果信号が１（音声）である場合にはマイクロホン入力信号を音通信処理部１５０に出力する。当該判定結果信号が０（無音）である場合には何も出力せず処理フローがスタートに戻る（Ｆ１（スタート）へ）。物音不明瞭化手段１４２は、判定結果信号（＝２）を取得して、予め設定した音源信号（例えば鳥のさえずり音、川のせせらぎ音などを収録したファイル）を音通信処理部１５０に出力する（ＳＳ１４２）。一方、音通信処理部１５０はマイクロホン入力信号、もしくは音源信号を取得して、いずれかをネットワーク９３へ伝送する（Ｓ１５０）。また、音通信処理部１５０は相手端末がネットワーク９３に信号を伝送した場合には、これを取得して、スピーカ９２に出力する。スピーカ９２は入力された信号を再生する。このように、本実施例の遠隔地間コミュニケーション装置１００は相手に伝えたくない「物音」をあらかじめ設定した音源信号で遮蔽し、伝えたい「音声」はそのままネットワークに９３に伝送するためプライバシーレベルの制御を適切に行うことができる。また、本実施例の遠隔地間コミュニケーション装置１００では音の周期性および音のレベルのみを分析することでプライバシーレベルの判定を実現できるため、計算コストを下げることができる。また本実施例の遠隔地間コミュニケーション装置１００は汎用端末内蔵の１チャネルマイクロホンであるマイクロホン９１からの信号を用いるため、特殊なハードウェアを必要とせず、ハードウェアのコストを低くして、ユーザの参入障壁を下げることができる。
【実施例２】
【００１８】
次に、図３、図４を参照して自端末と相手端末の音声検出状況によって定義される「状態」に応じて映像／音の送受信動作を異ならせるように構成した実施例２に係る遠隔地間コミュニケーション装置２００について説明する。本実施例において「状態」はＦＧ（フォアグラウンド）通信、Ｐ＆Ｐ（プッシュアンドプル）通信、ＢＧ（バックグラウンド）通信の３種類定義されている。ＦＧ通信はテレビ電話状態を意味し、自端末からも相手端末からも音声が検出された場合の遷移先である。Ｐ＆Ｐ通信は呼びかけ状態を意味し、自端末と相手端末のうちいずれか一方の端末から音声は検出されたが、他方からは音声が検出されなかった場合の遷移先である。ＢＧ通信は雰囲気通信状態を意味し、自端末、相手端末の双方から音声が検出されなかった場合などの遷移先である。本実施例の遠隔地間コミュニケーション装置２００の起動時には、ＢＧ通信の状態でシステムが立ちあがることとする。図３は本実施例に係る遠隔地間コミュニケーション装置２００の構成を示すブロック図である。図４は本実施例に係る遠隔地間コミュニケーション装置２００の動作を示すフローチャートである。本実施例の遠隔地間コミュニケーション装置２００は、自端末と相手端末との間で音声、映像などのデータを通信することを特徴とする。本実施例の遠隔地間コミュニケーション装置２００はマイクロホン９１、スピーカ９２、ネットワーク９３、カメラ９４、ディスプレイ９５と通信可能に無線又は有線で接続されている。マイクロホン９１は１チャネルマイクロホンである。遠隔地間コミュニケーション装置１００はマイクロホン９１からのマイクロホン入力信号を入力とし、このマイクロホン入力信号に対して後述する処理を行って、当該処理済み信号をネットワーク９３に伝送する。また、相手端末がネットワーク９３に伝送した信号を取得してスピーカ９２にて再生する。さらに、遠隔地間コミュニケーション装置２００は一定の条件を満たした場合に限り、カメラ９４からの映像信号を入力とし、この映像信号をネットワーク９３を介して相手端末に伝送する。また、一定の条件を満たした場合に限り、相手端末から伝送された映像信号をディスプレイ９５で再生する。相手端末についても本実施例の遠隔地間コミュニケーション装置２００が用いられるものとする。本実施例の遠隔地間コミュニケーション装置２００は、信号切替部２１０と、状態判別処理部２２０と、映像音通信処理部２３０と、音レベル判定部１１０と、音周期性判定部１２０と、結果判定処理部１３０と、音不明瞭化処理部１４０と、音通信処理部１５０とを備える。本実施例と実施例１との相違点は本実施例の遠隔地間コミュニケーション装置２００が信号切替部２１０と、状態判別処理部２２０と、映像音通信処理部２３０とを有するのに対し、実施例１の遠隔地間コミュニケーション装置１００はこれを有しない点である。従って、実施例１と本実施例とで共通する構成である音レベル判定部１１０と、音周期性判定部１２０と、結果判定処理部１３０と、音不明瞭化処理部１４０と、音通信処理部１５０とが行う処理は本実施例においても実施例１において説明したものと全く同じであるため適宜説明を省略する。また、実施例１において図２のフローチャートを用いて説明した一連の処理フローをＦ１と呼ぶこととし、本説明において「Ｆ１を実行する」と表記する場合、音レベル判定部１１０と、音周期性判定部１２０と、結果判定処理部１３０と、音不明瞭化処理部１４０と、音通信処理部１５０とが図２のフローチャートの処理を全て実行することを意味する。
【００１９】
音レベル判定部１１０はマイクロホン入力信号のレベルによる有音／無音判定を行う（Ｓ１１０）。音周期性判定部１２０は、マイクロホン入力信号の周期性による音声／物音判定を行う（Ｓ１２０）。結果判定処理部１３０は音レベル判定部１１０の判定結果と、音周期性判定部１２０の判定結果とから最終的な判定結果が物音（２）／音声（１）／無音（０）の何れであるかを判定し、状態判別処理部２２０に判定結果信号（＝２ｏｒ１ｏｒ０）を出力する（Ｓ１３０）。この判定結果信号（＝２ｏｒ１ｏｒ０）は、ネットワーク９３を介して相手端末にも伝送される。状態判別処理部２２０は、結果判定処理部１３０から自端末の判定結果信号を取得し、ネットワーク９３を介して伝送された相手端末の判定結果信号を取得する。状態判別処理部２２０は、自端末の判定結果信号が１（音声検出）であって（Ｓ１３０Ｙ）、相手端末の判定結果信号が１（音声検出）であった場合には（Ｓ２２１Ｙ）ＦＧ通信に遷移する（Ｓ２２５）。自端末の判定結果信号が１（音声検出）であって（Ｓ１３０Ｙ）、相手端末の判定結果信号が２又は０（音声未検出）であった場合には（Ｓ２２１Ｎ）Ｐ＆Ｐ通信に遷移する（Ｓ２２３）。自端末の判定結果信号が２又は０（音声未検出）であって（Ｓ１３０Ｎ）、相手端末の判定結果信号が１（音声検出）であった場合には（Ｓ２２２Ｙ）Ｐ＆Ｐ通信に遷移する（Ｓ２２３）。自端末の判定結果信号が２又は０（音声未検出）であって（Ｓ１３０Ｎ）、相手端末の判定結果信号が２又は０（音声未検出）であった場合には（Ｓ２２２Ｎ）ＢＧ通信に遷移する（Ｓ２２６）。ステップＳ２２３に戻り、Ｐ＆Ｐ通信に遷移した場合には、状態判別処理部２２０は信号切替部２１０を動作させ、マイクロホン９１及びスピーカ９２と音レベル判定部１１０、音周期性判定部１２０、結果判定処理部１３０、音不明瞭化処理部１４０、音通信処理部１５０とを接続し、Ｆ１が実行される（Ｓ２１１）。ここで相手端末も同じ遠隔地間コミュニケーション装置２００であって、自端末と同じようにＰ＆Ｐ通信に遷移しているため、相手端末でもＦ１は実行される。従って、自端末、相手端末のうち音声が検出された端末についてはマイクロホン入力信号がネットワーク９３を介して伝送され、他方の音声未検出の端末については、音源信号がネットワーク９３を介して伝送されるか、もしくは何も伝送されない。ここで、予め定めた一定時間が経過してもなお、音声未検出の端末について音声未検出状態が続いた場合には（Ｓ２２４Ｙ）、ＢＧ通信に遷移して（Ｓ２２６）、再びＦ１が実行される（Ｓ２１２）。Ｆ１実行後、処理フローはスタートに戻り（Ｆ２（スタート）へ）、自端末、相手端末の音声検出が繰り返され、ＢＧに留まるか、ＦＧ、Ｐ＆Ｐの何れかに状態遷移する。ステップＳ２２４に戻り、予め定めた一定時間経過前に、音声未検出の端末について音声が検出された場合には（Ｓ２２４Ｎ）、ＦＧ通信に遷移して（Ｓ２２５）、状態判定処理部２２０は、信号切替部２１０を動作させ、マイクロホン９１及びスピーカ９２と映像音通信処理部２３０とを接続し、映像音通信処理部２３０は自端末側のマイクロホン９１からのマイクロホン入力信号、自端末側のカメラ９４からの映像信号をネットワーク９３を介して相手端末に伝送する。この時、相手端末の状態もＦＧ通信に遷移しているため、相手端末からはマイクロホン入力信号、映像信号がネットワーク９３を介して自端末に伝送される。映像音通信処理部２３０は伝送されてきた相手端末からのマイクロホン入力信号と映像信号とを取得して、マイクロホン入力信号をスピーカ９２に出力し、映像信号をディスプレイ９５に出力する（Ｓ２３０）。スピーカ９２は入力されたマイクロホン入力信号を再生し、ディスプレイ９５は入力された映像信号を再生する。ステップＳ２３０実行後、処理フローはスタートに戻り（Ｆ２（スタート）へ）、自端末、相手端末の音声検出が繰り返され、ＦＧに留まるか、ＢＧ、Ｐ＆Ｐの何れかに状態遷移する。ここで、ステップＳ２３０実行後は、明示的な通話の状態となる。この時に一旦処理フローを外れて、ユーザが明示的に切断する操作を待って、処理フローのスタートに戻ってもよい（Ｆ２（スタート）へ）。また、一旦処理フローを外れ、一定時間自端末、相手端末に音声がないことを機会に、処理フローのスタートに戻ってもよい（Ｆ２（スタート）へ）。
【００２０】
このように本実施例の遠隔地間コミュニケーション装置２００は、実施例１の効果に加えて、自端末側のユーザ、相手端末側のユーザの双方に会話意思がある場合（ＦＧ通信）に限り、映像の送受信を行い、プライバシーレベルを下げることができ、自端末側のユーザ、相手端末側のユーザの少なくともどちらか一方に会話意思がない場合（Ｐ＆Ｐ通信、ＢＧ通信）には映像の送受信を行わないことにより、プライバシーレベルを引き上げることができるため、映像におけるプライバシーレベルの制御が可能である。
【００２１】
上述では自端末の音声検出は自端末内で行い、相手端末の音声検出は相手端末内で行われることになっているがこれに限られない。音声検出をどちらかの端末が一括して行うこととしても良いし、音声検出用の別端末を仲介させても良い。また、映像音通信処理部２３０の役割を独立した装置が行うこととし、この装置が自端末と相手端末とを仲介するようにしても良い。この時、ＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ  Ｐｌｕｇ  ａｎｄ  Ｐｌａｙ）を用いても良い。ステップＳ２２４において一定時間経過後ＢＧに遷移する場合（Ｓ２２４Ｙ、Ｓ２２６）自端末、相手端末の何れか一方の呼びかけに対し他方が応じなかったことを意味している。この場合、例えばＰ＆Ｐへの遷移をトリガとして、一方の端末が映像信号の録画、マイクロホン入力信号の録音を開始して、ＢＧへの遷移をトリガとして、録画録音を終了し、録画録音データをネットワーク９３を介して他方の端末に伝送することとしても良い。このとき、録画録音データが存在するというリマインド信号のみを他方の端末に送り、他方の端末の音声検出をトリガとして、一方の端末が録画録音データの伝送および再生を行うこととしても良い。
【００２２】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００２３】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００２４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００２５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００２６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００２７】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005449230.tif 000002
【図２】
0005449230.tif 000003
【図３】
0005449230.tif 000004
【図４】
0005449230.tif 000005