(57)【要約】【課題】  所定エリア内の音を検出する場合において、所定エリア外から発せられた音を容易に除去できるようにする。【解決手段】  第１音声入力部１２０の会議用マイク接続部１２１に、会議スペース内の音を検出するための会議用マイクを接続し、第２音声入力部１３０の周辺マイク接続部１３１に、上記会議スペースの周縁部に配置する周辺マイクを接続し、音量検出部１４１が、第１音声入力部１２０から入力した音響信号の音量と第２音声入力部１３０から入力した音響信号の音量とに基づき、第１音声入力部１２０から入力した音響信号に係る音の音源位置が上記会議スペース外であると判断した場合に、消音処理部１４２に第１音声入力部１２０から入力した音響信号を消音させるようにした。【選択図】        図４
2015056676.tif 000002
【特許請求の範囲】
【請求項１】
所定エリア内の音を検出するための第１音検出手段からの音響信号を入力する第１入力手段と、
前記所定エリアの周縁部に配置された第２音検出手段からの音響信号を入力する第２入力手段と、
前記第１入力手段から入力した音響信号の音量と前記第２入力手段から入力した音響信号の音量とに基づき、前記第１入力手段から入力した音響信号に係る音の音源位置が前記所定のエリア外であると判断した場合に、前記第１入力手段から入力した音響信号を消音する消音手段とを備えたことを特徴とする音響処理装置。
【請求項２】
請求項１に記載の音響処理装置であって、
前記消音手段は、前記第１入力手段から入力した音響信号と前記第２入力手段から入力した音響信号の中で最大の音量を持つ信号が、前記第２入力手段から入力した音響信号であった場合に、前記第１入力手段から入力した音響信号に係る音の音源位置が前記所定のエリア外であると判断することを特徴とする音響処理装置。
【請求項３】
請求項１に記載の音響処理装置であって、
前記第１音検出手段及び前記第２音検出手段の配置位置を登録する登録手段と、
前記登録手段が登録した前記第１音検出手段及び前記第２音検出手段との配置位置と、前記第１入力手段から入力した音響信号及び前記第２入力手段から入力した音響信号とに基づき、該入力した音響信号に係る音の音源位置推定を行う音源位置推定手段を備え、
前記消音手段は、前記音源位置推定手段の推定結果に基づき、前記音源位置が前記所定のエリア外か否か判断することを特徴とする音響処理装置。
【請求項４】
請求項１又は２に記載の音響処理装置であって、
前記第１入力手段から入力した音響信号及び／又は前記第２入力手段から入力した音響信号に対して音声認識処理を行う音声認識手段を備え、
前記消音手段は、前記判断に際して、前記音声認識手段が人の声であると判断した音響信号のみを考慮するようにしたことを特徴とする音響処理装置。
【請求項５】
請求項１乃至４のいずれか一項に記載の音響処理装置であって、
前記第１音検出手段は、複数の音検出手段からなり、
前記第１入力手段から入力する音響信号に対してブラインド音源分離処理を行う音源分離手段と、
前記ブラインド音源分離処理により得られた分離信号のうち、音源位置が前記所定エリア内である分離信号を出力する第１出力手段とを備えることを特徴とする音響処理装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の音響処理装置であって、
発音手段に対して音響信号を出力する第２出力手段と、
前記第２入力手段から入力した音響信号が、前記発音手段が発した音に係る音響信号であるか否か判定する判定手段と、
前記判定手段が、前記発音手段が発した音であると判定した場合に、前記第２入力手段から入力する音響信号が所定の音量以下になるように、前記第２出力手段が出力する音響信号の音量を低下させる音量制御手段とを備えたことを特徴とする音響処理装置。
【請求項７】
請求項１乃至６のいずれか一項に記載の音響処理装置であって、
前記第１入力手段から入力した音響信号の音量と前記第２入力手段から入力した音響信号の音量とに基づき、前記所定のエリア内に音源を有する音の音量が過大であると判断した場合に、その旨をユーザに報知する報知手段を備えたことを特徴とする音響処理装置。
【請求項８】
請求項７に記載の音響処理装置であって、
前記報知手段は、前記第１入力手段から入力した音響信号と前記第２入力手段から入力した音響信号の中で最大の音量を持つ信号が、前記第１入力手段から入力した音響信号であり、かつ前記第２入力手段から入力した音響信号の音量が所定基準以上である場合に、前記所定のエリア内に音源を有する音の音量が過大であると判断することを特徴とする音響処理装置。
【請求項９】
所定エリア内の音を検出するための第１音検出手段からの音響信号を入力する第１入力手段と、前記所定エリアの周縁部に配置された第２音検出手段からの音響信号を入力する第２入力手段とを備えるコンピュータを、
前記第１入力手段から入力した音響信号の音量と前記第２入力手段から入力した音響信号の音量とに基づき、前記第１入力手段から入力した音響信号に係る音の音源位置が前記所定のエリア外であると判断した場合に、前記第１入力手段から入力した音響信号を消音する消音手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音響処理装置及びプログラムに関する。
【背景技術】
【０００２】
近年、持ち運び可能な遠隔会議システムが登場しており、固定の設備が設けられた会議室に捕らわれない、よりオープンな環境で遠隔地と接続した会議が行われるようになっている。
このような遠隔会議システムとしては、例えば特許文献１に記載のものが知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、オープンスペースで会議を行うと、会議参加者の声を集音するためのマイクが、周囲の音も拾ってしまい、その音も接続先に伝えてしまう。従って、周囲の話し声を意図せず会議の相手方に送信してしまうことになる。このため、意図しない情報を相手方に知られてしまうことにもなりかねないという問題があった。
このような問題を解決するためには、特許文献２に記載のような、集音指向性のあるマイクを用い、話者のいる方向の音だけを集音することも考えられる。
【０００４】
しかしながら、この手法では、話者と同じ方向から外部の雑音や話し声が発せられた場合にはその音を集音してしまい、依然として、意図しない情報を相手方に知られてしまう危険性が残る。
このような問題は、マイクで集音した音を会議以外の用途に用いる場合でも、集音した音に意図しない情報が含まれてしまう危険があるという点で、同様に生じるものである。
【０００５】
この発明は、上記の問題を解決し、所定エリア内の音を検出する場合において、所定エリア外から発せられた音を容易に除去できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
以上の目的を達成するため、この発明は、所定エリア内の音を検出するための第１音検出手段からの音響信号を入力する第１入力手段と、上記所定エリアの周縁部に配置された第２音検出手段からの音響信号を入力する第２入力手段と、上記第１入力手段から入力した音響信号の音量と上記第２入力手段から入力した音響信号の音量とに基づき、上記第１入力手段から入力した音響信号に係る音の音源位置が上記所定のエリア外であると判断した場合に、上記第１入力手段から入力した音響信号を消音する消音手段とを備えた音響処理装置を提供する。
【発明の効果】
【０００７】
上記構成によれば、所定エリア内の音を検出する場合において、所定エリア外から発せられた音を容易に除去することができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の音響処理装置の第１実施形態である遠隔会議装置の使用状態について説明するための図である。
【図２】その遠隔会議装置の使用状態について説明するための別の図である。
【図３】図１に示した遠隔会議装置のハードウェア構成を示す図である。
【図４】図１に示した遠隔会議装置の機能構成を示す図である。
【図５】図１に示した遠隔会議装置のＣＰＵが実行する処理のフローチャートである。
【図６】第２実施形態における遠隔会議装置の機能構成を示す、図４と対応する図である。
【図７】第２実施形態において遠隔会議装置のＣＰＵが実行する処理を示す、図５と対応するフローチャートである。
【図８】第３実施形態における遠隔会議装置の機能構成を示す、図４と対応する図である。
【図９】第３実施形態において遠隔会議装置のＣＰＵが実行する処理を示す、図５と対応するフローチャートである。
【図１０】第４実施形態における遠隔会議装置の機能構成を示す、図４と対応する図である。
【図１１】第４実施形態において遠隔会議装置のＣＰＵが実行する処理を示す、図５と対応するフローチャートである。
【図１２】第５実施形態における遠隔会議装置の機能構成を示す、図４と対応する図である。
【図１３】第５実施形態において遠隔会議装置のＣＰＵが実行する処理を示す、図５と対応するフローチャートである。
【図１４】第６実施形態における遠隔会議装置の機能構成を示す、図４と対応する図である。
【図１５】第６実施形態において遠隔会議装置のＣＰＵが実行する処理を示す、図５と対応するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、この発明を実施するための形態について、具体的に説明する。
ここでは、この発明を遠隔会議装置に適用した例について説明するが、この発明の適用対象がこれに限られないことは後述の通りである。
【００１０】
〔第１実施形態：図１乃至図５〕
まず図１及び図２を用いて、この発明の音響処理装置の第１実施形態である遠隔会議装置の使用状態について説明する。図１及び図２は、その説明図である。
図１に示す遠隔会議装置１０は、ネットワークを介して接続した他の遠隔会議装置との間で音声及び映像を送受信することにより、遠隔地の拠点同士を接続して互いに顔を見ながら会議ができるようにするための装置である。
【００１１】
そして、遠隔会議装置１０は、任意の会議スペースＡＲ内に設置し、１又は複数の会議用マイク（マイクロフォン）２０及び後述の電子カメラ５０を接続して用いる。会議用マイク２０は、ここでは会議用マイク２０−１，２の２個を配置している。また、図１の例では、これらの機器は会議テーブルＴＢ上に配置されている。
【００１２】
さらに、会議スペースＡＲの周縁部には、会議スペースＡＲを取り囲むように周辺マイク３０を配置し、これらも遠隔会議装置１０に接続する。ここでは、周辺マイク３０−１〜８の８個を配置している。
ここで、会議スペースＡＲは、会議を行うための所定エリアであるが、特に物理的な境界で区切られている必要はない。周辺マイク３０で囲まれた領域が所定エリアであると考えることもできる。ただし、壁や仕切り等の物理的な境界があることも妨げられない。
【００１３】
また、会議用マイク２０は、所定エリア内の音を検出するための第１音検出手段であり、会議参加者の声を集音するために用いる。特段指向性を有している必要はない。また、会議参加者全員で１つの会議用マイク２０を共用しても、１人に１つ用意しても、その中間であっても構わない。
【００１４】
周辺マイク３０は、会議用マイク２０が検出した音が所定エリア内で発せられた音か、所定エリア外から届いた音かを識別するために設けた第２音検出手段である。周辺マイク３０も、特段指向性を有している必要はない。
会議用マイク２０及び周辺マイク３０と、遠隔会議装置１０との接続は、有線無線を問わず、各マイクから遠隔会議装置１０へ検出した音の音響信号を伝送可能な任意の接続方式を用いることができる。伝送する音響信号は、アナログ信号でも、デジタル波形データでも構わない。なお、配線の便宜を考慮すると、少なくとも周辺マイク３０については無線接続が望ましい。
【００１５】
また、遠隔会議装置１０は、図２に示すように、ネットワーク４０を介して他の遠隔会議装置１０と接続されている。ネットワーク４０は、有線無線を問わず、任意の規格のものを用いることができる。そして、遠隔会議装置１０は、会議用マイクで検出した音の音響信号をネットワーク４０を介して他の遠隔会議装置１０に送信することができる。電子カメラ５０で撮影した映像のデータについても同様である。
【００１６】
また、遠隔会議装置１０は、他の遠隔会議装置１０から音響信号を受信し、これをスピーカ等の発音手段に出力して、他の遠隔会議装置１０に接続されたマイクで検出した音を発音させることができる。映像のデータについても、同様にプロジェクタやディスプレイ等の表示手段に出力して表示させることができる。
以上の構成により、遠隔会議装置１０は、会議参加者に、他の会議スペースにいる会議参加者の発言や映像を伝達し、離れた会議スペース間での会議を可能とすることができる。なお、全ての遠隔会議装置１０が同じ機種である必要はない。
【００１７】
次に、図３に、遠隔会議装置１０のハードウェア構成を示す。
図３に示すように、遠隔会議装置１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、データ入出力インタフェース（Ｉ／Ｆ）１０５、ネットワークＩ／Ｆ１０６、撮像素子Ｉ／Ｆ１０７、画像出力Ｉ／Ｆ１０８、操作部１０９、音声制御部１１０を備え、これらはシステムバス１１１により接続されている。また、遠隔会議装置１０は、音声制御部１１０に接続された音声入出力Ｉ／Ｆ１１２も備える。
【００１８】
そして、ＣＰＵ１０１が、ＲＡＭ１０３をワークエリアとしてＲＯＭ１０２又はＨＤＤ１０４に記憶されたプログラムを実行することにより、遠隔会議装置１０全体を制御し、会議用マイク２０から入力した音の消音をはじめとする、後述する各種機能を実現する。
ＨＤＤ１０４は、不揮発性記憶媒体（記憶手段）であり、ＣＰＵ１０１が実行する各種プログラムや後述する各種データを格納している。
【００１９】
データ入出力Ｉ／Ｆ１０５は、メモリカード等の着脱可能な記録媒体を接続し、その記録媒体に対してデータの読み書きを行うためのインタフェースである。
ネットワークＩ／Ｆ１０６は、ネットワーク４０を介して他の装置と通信を行うためのインタフェースである。
【００２０】
撮像素子Ｉ／Ｆ１０７は、映像を撮影するための電子カメラ５０等の撮影手段を接続し、その撮影手段を制御するためのインタフェースである。
画像出力Ｉ／Ｆ１０８は、画像を投影して表示するプロジェクタ６０等の表示手段を接続し、その表示手段を制御するためのインタフェースである。
操作部１０９は、ユーザからの操作を受け付けるためのボタンやタッチパネル等の各種操作子と、ディスプレイやランプ等の表示手段とを備えたユーザインタフェースである。
【００２１】
音声制御部１１０は、マイク等の音検出手段から入力する音響信号や、スピーカ等の発音手段へ出力する音響信号に対し、音量検出、消音等の各種処理を実行する音響信号処理手段である。
音声入出力Ｉ／Ｆ１１２は、音響信号を入出力するためのインタフェースである。そして、会議用マイク２０及び周辺マイク３０を接続し、それらのマイクが検出した音の音響信号を入力する入力手段と、スピーカ７０を接続し、スピーカに対して発音を行わせるための音響信号を出力する出力手段とを備える。なお、音声入出力Ｉ／Ｆ１１２が入出力する音響信号は、アナログ信号でも、デジタル波形データでも構わない。また、音声入出力Ｉ／Ｆ１１２と、マイクやスピーカとの接続は、有線でも無線でも、任意の接続手段を用いて行うことができる。
【００２２】
以上の遠隔会議装置において、特徴的な点の１つは、会議用マイク２０から入力した音が会議スペースＡＲの外部から発せられた音である場合に、会議用マイク２０から入力した音を消音し、ネットワーク４０に送信しないようにした点である。以下、この機能について説明する。なお、映像の送受信はこの機能に無関係であるため、以降の説明では映像に関する説明は省略する。
【００２３】
まず、図１に戻り、この消音機能の動作原理について説明する。
図１に示したように会議用マイク２０及び周辺マイク３０を配置した場合、会議参加者が発する、声等の音（以下「会議音」という）は、主に会議用マイク２０が拾う。そして、遠隔会議装置１０は、会議用マイク２０が拾った会議音をネットワーク４０を介して他の遠隔会議装置１０に送信する。他の遠隔会議装置１０はこれを受信してスピーカから出力する。このことにより、会議スペースＡＲにおける会議音を、他の会議スペースにいる会議参加者に伝えることができる。
【００２４】
しかし、会議用マイク２０は、会議音だけでなく、会議スペースＡＲの外から発せられた音（以下「外部音」という）も拾ってしまうことがある。特に、外部音の音量が大きい場合には、単なるノイズではなく他の会議スペースにいる会議参加者に伝達可能な音量で外部音を拾う可能性がある。この場合、他の会議スペースにいる会議参加者にもその音が聞こえることになる。
【００２５】
一方、周辺マイク３０は、会議参加者からある程度離れた位置に配置されるため、会議音はあまり拾わない。従って、会議スペースＡＲ内の音が会議音のみであれば、周辺マイク３０が拾う音の音量は、会議用マイク２０が拾う音の音量よりも小さくなるはずである。
しかし、外部音がある場合、少なくとも１つの周辺マイク３０（音源の方向にあるマイク）については、その音源から周辺マイク３０までの距離が、その音源から会議用マイク２０までの距離よりも近いという位置関係になる。従って、その１つの周辺マイク３０は、会議用マイク２０よりも大きな音量で外部音を拾うことになる。
【００２６】
ここで、会議で会話の途切れた時など、外部音しかない場合を考えると、この場合には、上記１つの周辺マイク３０が拾う音の音量は、会議用マイク２０が拾う音の音量よりも大きくなるはずである。
従って、会議用マイク２０と周辺マイク３０全ての中で拾った音の音量が最も大きいマイクが周辺マイク３０のいずれかであった場合、その時には会議音に比して外部音が大きく、かつ会議用マイク２０が外部音を拾っていると考えられる。そこで、遠隔会議装置１０においては、外部音を他の会議スペースに伝達してしまうことを防止するため、このような場合には会議用マイク２０が拾った音を消音するようにしている。このことにより、余分な情報が会議の相手に伝わらないようにし、機密の保持を図ることができる。
【００２７】
なお、上記の消音は、いかなる手段であれ、会議用マイク２０が拾った音が他の遠隔会議装置１０に送信されないようにすればよい。しかし、消音は緊急避難的な措置であり、基本的には会議用マイク２０が拾った音の送信を継続することが望ましい。このため、消音と消音解除を速やかに切り替えられる方法が望ましい。例えば、消音する場合に会議用マイク２０から入力した音響信号にゼロを乗算して送信したり、会議用マイク２０から入力した音響信号を送信部へ伝送する信号線のスイッチをオフにしたりすることが考えられる。
【００２８】
また、会議音と外部音の双方がある場合、その音量バランスによって、会議用マイク２０が拾う音の音量と周辺マイク３０が拾う音の音量（のうち最も大きい値）との関係が変化する。外部音が大きいほど、会議用マイク２０が拾う音に比して周辺マイク３０が拾う音の音量が大きくなる。
従って、会議音に比べて外部音がどの程度大きな音量になったら消音を行うかに応じて閾値Ｘを定め、会議用マイク２０が拾った音の音量（複数マイクがある場合そのうち最も大きい値）に比べて、周辺マイク３０が拾った音の音量のうち最も大きい値がＸ倍以上であった場合に消音を行うことも考えられる。Ｘが大きいほど、外部音の影響が大きくなるまで消音しないことになる。上記の、「音量が最も大きいマイクが周辺マイク３０」の基準は、閾値Ｘが１の場合に該当する。以下においても、説明を簡単にするため閾値Ｘが１の場合について述べる。しかし、Ｘが１でなくてもよいことは上記の通りである。
【００２９】
次に、以上説明した消音を行うための遠隔会議装置１０の機能構成について説明する。
図４はその機能構成図である。図４に示す各部の機能は、ＣＰＵ１０１が所要のプログラムを実行して図３に示した各ハードウェアの動作を制御することにより実現されるものである。
【００３０】
図４に示すように、遠隔会議装置１０は、第１音声入力部１２０、第２音声入力部１３０、音量検出部１４１、消音処理部１４２、音声送信部１４３を備える。
これらのうち、第１音声入力部１２０は、会議用マイク２０を接続するための会議用マイク接続部１２１を備え、会議用マイク２０が検出した音の音響信号を入力する第１入力手段である。ここでは、会議用マイク２０を複数接続できるように会議用マイク接続部１２１を複数設けているが、１つでも構わない。
また、第１音声入力部１２０は、各会議用マイク接続部１２１から入力した音響信号をミキシングして、あるいは複数チャンネルのまま、消音処理部１４２を介して音声送信部１４３に供給する機能も備える。
【００３１】
第２音声入力部１３０は、周辺マイク３０を接続するための周辺マイク接続部１３１を備え、周辺マイク３０が検出した音の音響信号を入力する第２入力手段である。周辺マイク３０を複数接続できるよう、周辺マイク接続部１３１を複数設けることが望ましい。ただし、会議スペースＡＲの外部から発せられた音が特定の方向からしか会議スペースＡＲに入ってこないなど、特殊な環境に対応できればよいのであれば、周辺マイク接続部１３１を１つとすることも考えられる。
【００３２】
音量検出部１４１は、各会議用マイク接続部１２１及び周辺マイク接続部１３１から入力する音響信号の音量を検出する機能を備える。また、これらの入力音響信号のうち最大の音量を持つ信号が周辺マイク接続部１３１から入力した信号である場合に、消音処理部１４２に対して消音の実行を指示する機能も備える。
消音処理部１４２は、第１音声入力部１２０から供給される音響信号に対し、音量検出部１４１からの指示に従い消音（ミュート）処理を行う機能を備える。なお、消音処理部１４２は、音量検出部１４１からの指示がない場合は、第１音声入力部１２０から供給される音響信号をそのまま通過させる。
これらの音量検出部１４１及び消音処理部１４２が消音手段に該当する。
【００３３】
音声送信部１４３は、消音処理部１４２が出力した音響信号を、予め定めた他の遠隔会議装置にネットワーク４０を介して送信する機能を備える。このとき、消音処理部１４２において消音処理がなされていれば、送信する信号は無音信号となる。そうでない場合、会議用マイク２０で検出した音の音響信号を送信することになる。
【００３４】
次に、図５に、ＣＰＵ１０１が実行する、音量検出部１４１の機能と対応する処理のフローチャートを示す。
ＣＰＵ１０１は、遠隔会議装置１０を用いた会議がスタートすると、図５のフローチャートに示す処理を開始する。
この処理において、ＣＰＵ１０１はまず、全ての会議用マイク接続部１２１及び周辺マイク接続部１３１から音響信号を読み込む（Ｓ１１）。そして、マイク接続部毎に所定サンプル数分のデータを用いて音響信号の音量（レベル）を算出する（Ｓ１２）。
【００３５】
次に、ＣＰＵ１０１は、ステップＳ１２で算出した中で音量の最も大きい音響信号が周辺マイク接続部１３１（周辺マイク３０）からの入力であるか否か判断する（Ｓ１３）。これがＹｅｓであれば、現在会議用マイク２０が検出している音（会議用マイク接続部１２１から入力する音響信号）には外部音の影響が大きいと判断し、消音処理部１４２に対して消音を指示する（Ｓ１４）。このことにより、会議用マイク２０が検出している音が外部に送信されないようにすることができる。
【００３６】
一方、ステップＳ１３でＮｏであれば、現在会議用マイク２０が検出している音は会議音であると判断し、消音処理部１４２に対して消音解除を指示する（Ｓ１５）。このことにより、会議用マイク２０が検出している音が他の遠隔会議装置１０に送信されるようにすることができる。
いずれの場合も、会議終了までの間はステップＳ１１に戻って処理を繰り返し（Ｓ１６）、会議が終了したら図５の処理を終了する。
【００３７】
遠隔会議装置１０は、以上の構成及び処理により、会議用マイク２０が会議スペースＡＲの外からの音を検出しているか否か判断し、検出している場合にこれを消音することができる。従って、会議スペースＡＲの外からの、送信を意図しない音が外部に送信されないようにすることができ、セキュリティを向上させることができる。
【００３８】
なお、ステップＳ１２の処理で用いるサンプル数は、少ない方が、処理遅延が減り、消音への切り替え時間を短縮できるため、セキュリティを向上させることができる。しかし、環境雑音により突発的に外部音の音量が増加した場合にも消音を行ってしまうなど、本来無用な消音を行ってしまう可能性が増える。サンプル数が多い場合はこの逆であり、外部音が発せられてから消音開始までの時間は長くなるが、環境雑音の影響は受けにくくなる。サンプル数は、これらの点を考慮して適当な値に定めるとよい。ユーザが選択できるようにしてもよい。
【００３９】
〔第２実施形態：図６、図７〕
次に、この発明の第２実施形態について説明する。
この第２実施形態は、マイクが検出した音のうち、音声（人の声）のみを考慮して消音要否の判断を行うようにした点が第１実施形態と異なるが、その他の点では共通する。従って、ここではこの相違点についてのみ説明する。また、以前の実施形態で説明した構成と同じ又は対応する部分には同じ符号を用いる。以後の実施形態についても同様である。
【００４０】
まず図６に、第２実施形態における、図４と対応する機能構成図を示す。
第２実施形態における遠隔会議装置１０は、音声認識部１４４を備える点が、第１実施形態と異なる。
この音声認識部１４４は、音声認識手段であり、各会議用マイク接続部１２１及び周辺マイク接続部１３１から入力する音響信号に対して音声認識を行い、その音響信号に係る入力音が人の声であるか否かを判断する機能を備える。また、各会議用マイク接続部１２１及び周辺マイク接続部１３１から入力した信号のうち、人の声の信号のみを、音量検出部１４１に出力する機能も備える。人の声でないと判断した信号は、音量検出部１４１に出力しないか、またはミュートして出力する。なお、音声認識処理については、非負値行列因子分解（ＮＭＦ）など、適宜公知の手法を採用可能である。
【００４１】
音量検出部１４１の機能は、第１実施形態の場合と同様であるが、ここに入力する信号は、音声認識部１４４において人の声の信号であると判定された音響信号のみである。そして、それらの入力音響信号のうち最大の音量を持つ信号が周辺マイク接続部１３１から入力した信号である場合に、消音処理部１４２に対して消音の実行を指示する。
従って、第２実施形態における音量検出部１４１は、音声認識部１４４が人の声であると判断した音響信号のみを考慮して、会議用マイク接続部１２１から入力した音響信号に係る音の音源位置が会議スペースＡＲ内か否かを判断することになる。
【００４２】
次に、図７に、ＣＰＵ１０１が実行する、音声認識部１４４及び音量検出部１４１の機能と対応する処理のフローチャートを示す。
ＣＰＵ１０１は、遠隔会議装置１０を用いた会議がスタートすると、図７のフローチャートに示す処理を開始する。
【００４３】
この処理において、ＣＰＵ１０１はまず、全ての会議用マイク接続部１２１及び周辺マイク接続部１３１から音響信号を読み込む（Ｓ２１）。そして、各マイク（接続部）からの音響信号を順次処理対象として、ステップＳ２３乃至Ｓ２５の処理を実行する（Ｓ２２，Ｓ２６）。
【００４４】
すなわち、ＣＰＵ１０１は、処理対象の音響信号に対して音声認識を実行し（Ｓ２３）、その音響信号に係る入力音が人の声であるか否か判断する（Ｓ２４）。そして、人の声であれば、所定サンプル数分のデータを用いて処理対象の音響信号の音量（レベル）を算出する（Ｓ２５）。人の声でなければ、音量算出は行わない。
【００４５】
全ての入力音響信号についてここまでの処理が完了すると、ＣＰＵ１０１は、ステップＳ２５で算出した中で音量の最も大きい音響信号は、周辺マイク３０（周辺マイク接続部１３１）からの入力であるか否か判断する（Ｓ２７）。これがＹｅｓであれば、消音処理部１４２に対して消音を指示する（Ｓ２８）。Ｎｏであれば、消音処理部１４２に対して消音解除を指示する（Ｓ２９）。これらのステップＳ２７乃至Ｓ２９の処理は、図５のステップＳ１３乃至Ｓ１５と同趣旨である。
そしていずれの場合も、会議終了までの間はステップＳ２１に戻って処理を繰り返し（Ｓ３０）、会議が終了したら図７の処理を終了する。
【００４６】
遠隔会議装置１０は、以上の構成及び処理により、会議用マイク２０が会議スペースＡＲの外からの人の声を検出しているか否か判断し、検出している場合にこれを消音することができる。会議を進める上では会議用マイク２０の消音はなるべく行わないことが好ましい一方、単なる雑音は外部に送信してしまってもさほど問題はないと考えられる。
そこで、送信してしまうと不都合があると想定される、外部からの人の声を検出した場合のみ会議用マイク２０を消音することにより、会議の快適さとセキュリティを両立することができる。
【００４７】
〔第３実施形態：図８、図９〕
次に、この発明の第３実施形態について説明する。
この第３実施形態は、音量の比較に代えて音源位置推定を行って会議用マイクで検出した音の音源位置を推定する点が第１実施形態と異なる。
まず図８に、第３実施形態における、図４と対応する機能構成図を示す。
第３実施形態における遠隔会議装置１０は、音量検出部１４１に代えて、同期用信号生成部１５１、マイク座標登録部１５２、音源位置推定部１５３を備える点が、第１実施形態と異なる。
【００４８】
これらのうち同期用信号生成部１５１は、各マイクが同じタイミングで検出した音の音響信号を音源位置推定部１５３に入力できるよう、音響信号間の同期を取るための同期用信号を供給する機能を備える。この同期用信号は、第１音声入力部１２０、第２音声入力部１３０及び音源位置推定部１５３に供給する。
【００４９】
マイク座標登録部１５２は、登録手段であり、音源位置推定部１５３における音源位置推定処理に用いるため、会議用マイク接続部１２１及び周辺マイク接続部１３１に接続された各マイクの配置位置を示す座標データ登録する機能を備える。この座標データは、会議開始前に予めオペレータが入力しておく。しかし、遠隔会議装置１０が指向性スピーカあるいは複数のスピーカを備える場合、それらのスピーカから所定の音を発音させ、それらの音を各マイクが検出したタイミングにより自動で各マイクの位置を検出して登録できるようにすることも考えられる。
【００５０】
音源位置推定部１５３は、音源位置推定手段であり、会議用マイク接続部１２１に接続された会議用マイク２０と、周辺マイク接続部１３１に接続された周辺マイク３０とをマイクアレイとして用いて音源位置推定処理を行う機能を備える。具体的な推定のアルゴリズムは、適宜公知のものを採用できる。例えば、音源位置推定部１５３は、各マイク接続部からの入力する音響信号の位相を算出し、その位相と、マイク座標登録部１５２が登録している各マイクの位置情報とから、会議用マイク２０を含む各マイクが検出した音の音源位置を推定することができる。
【００５１】
また、音源位置推定部１５３は、推定した音源の位置が会議スペースＡＲの外部であった場合に、消音処理部１４２に対して消音の実行を指示する機能も備える。これは、第１実施形態における消音と同趣旨である。すなわち、この場合、会議用マイク２０が検出した音は外部音であるから、その外部音を他の遠隔会議装置１０に送信しないようにするためである。
【００５２】
次に、図９に、ＣＰＵ１０１が実行する、音源位置推定部１５３の機能と対応する処理のフローチャートを示す。
ＣＰＵ１０１は、遠隔会議装置１０を用いた会議がスタートすると、図９のフローチャートに示す処理を開始する。
この処理において、ＣＰＵ１０１はまず、マイク座標登録部１５２から、会議用マイク接続部１２１及び周辺マイク接続部１３１に接続された各マイクの座標データを読み込む（Ｓ４１）。次に、同期用信号生成部１５１が生成した同期用信号を用いて、会議用マイク接続部１２１及び周辺マイク接続部１３１から入力する全ての音響信号について同期を取る（Ｓ４２）。
【００５３】
その後、ＣＰＵ１０１は全ての会議用マイク接続部１２１及び周辺マイク接続部１３１から音響信号を読み込む（Ｓ４３）。そして、会議用マイク２０と周辺マイク３０とをマイクアレイとして用いて音源位置推定処理を行い、ステップＳ４１で読み込んだ座標データとステップＳ４３で読み込んだ各マイクの音響信号とから、各マイクが検出した音の音源の位置を推定する（Ｓ４４）。
【００５４】
ＣＰＵ１０１は次に、ステップＳ４４で推定した音源の位置が会議スペースＡＲ外であるか否か判断する（Ｓ４５）。そして、これがＹｅｓであれば、現在会議用マイク２０が検出している音は外部音であると判断し、消音処理部１４２に対して消音を指示する（Ｓ４６）。このことにより、会議用マイク２０が検出している音が外部に送信されないようにすることができる。
【００５５】
一方、ステップＳ４５でＮｏであれば、現在会議用マイク２０が検出している音は会議音であると判断し、消音処理部１４２に対して消音解除を指示する（Ｓ４７）。このことにより、会議用マイク２０が検出している音が他の遠隔会議装置１０に送信されるようにすることができる。
いずれの場合も、会議終了までの間はステップＳ４３に戻って処理を繰り返し（Ｓ４７）、会議が終了したら図９の処理を終了する。
【００５６】
遠隔会議装置１０は、以上の構成及び処理により、第１実施形態の場合と同様、会議用マイク２０が会議スペースＡＲの外からの音を検出しているか否か判断し、検出している場合にこれを消音することができる。従って、会議スペースＡＲの外からの、送信を意図しない音が外部に送信されないようにすることができ、セキュリティを向上させることができる。また、音源位置推定の推定結果に基づき会議スペースＡＲの外からの音か否かの判定を行うので、会議音と外部音をより精度よく区別することができる。
【００５７】
〔第４実施形態：図１０、図１１〕
次に、この発明の第４実施形態について説明する。
この第４実施形態は、会議用マイク接続部１２１から入力する音響信号に対してブラインド音源分離を行い、得られた分離信号のうち音源位置が会議スペースＡＲ内である分離信号を出力するようにした点が第１実施形態と異なる。
【００５８】
まず図１０に、第４実施形態における、図４と対応する機能構成図を示す。
第４実施形態における遠隔会議装置１０は、音源分離部１４５を備える点が、第１実施形態と異なる。
音源分離部１４５は、音源分離手段であり、第１音声入力部１２０から供給される音響信号に対し、ブラインド音源分離処理を行い、該音響信号から、音源毎に信号を分離した分離信号を生成すると同時に各音源の位置を推定する機能を備える。そして、音源分離部１４５は、会議スペースＡＲ内にある音源に係る分離信号を、消音処理部１４２に供給して、以降の消音処理及び送信処理に供する。ブラインド音源分離処理のアルゴリズムは、独立成分分析（ＩＣＡ）など、適宜公知のものを用いることができる。
【００５９】
なお、ブラインド音源分離処理を行うためには位置の異なる複数のマイクで検出した音響信号が必要であるので、第４実施形態においては会議用マイク２０及び会議用マイク接続部１２１を複数設ける。また、第１音声入力部１２０から音源分離部１４５へは、各マイク接続部から入力する音響信号を個別に供給する。
【００６０】
音量検出部１４１は、第１実施形態の場合と同様に、入力音響信号のうち最大の音量を持つ信号が周辺マイク接続部１３１から入力した信号である場合に、消音処理部１４２に対して消音の実行を指示する。そして、消音指示を行っている場合には、ブラインド音源分離処理を行っても、処理後の信号は出力せず無駄になる。そこで、音量検出部１４１は、消音を解除するタイミングで音源分離部１４５に対してブラインド音源分離処理の開始を指示し、消音を指示するタイミングで音源分離部１４５に対してブラインド音源分離処理の停止を指示するようにしている。
音源分離部１４５は、これらの開始及び停止の指示に従って、ブラインド音源分離処理の開始及び停止を行う。ただし、常にブラインド音源分離処理を行うことも妨げられない。
【００６１】
次に、図１１に、ＣＰＵ１０１が実行する、音量検出部１４１の機能と対応する処理のフローチャートを示す。
この処理は、ステップＳ１４の後にステップＳＡを、ステップＳ１５の後にステップＳＢをそれぞれ追加した点以外は、図５の処理と同じものである。
そして、ＣＰＵ１０１は、周辺マイク接続部１３１からの入力音量が最も大きく、消音処理部１４２に消音を指示した場合（Ｓ１４）、音源分離部１４５に対し、ブラインド音源分離処理の停止を指示する（ＳＡ）。また、会議用マイク接続部１２１からの入力音量が最も大きく、消音処理部１４２に消音解除を指示した場合（Ｓ１５）、音源分離部１４５に対し、ブラインド音源分離処理の開始を指示する（ＳＢ）。
【００６２】
遠隔会議装置１０は、以上の構成及び処理により、第１実施形態と同様に、会議スペースＡＲの外からの、送信を意図しない音が外部に送信されないようにすることができる。また、ブラインド音源分離処理を行うようにしたことにより、会議音と外部音が混在し、外部音の音量が小さいため消音処理をする基準に達しないような場合でも、他の遠隔会議装置１０に送信する音から外部音を除去し、送信を意図しない音が外部に送信されないようにすることができる。
【００６３】
〔第５実施形態：図１２、図１３〕
次に、この発明の第５実施形態について説明する。
この第５実施形態は、遠隔会議装置１０に接続されたスピーカにおける発音の音量が大きすぎる場合にこれを調整する機能を設けた点が第１実施形態と異なる。
【００６４】
まず図１２に、第５実施形態における、図４と対応する機能構成図を示す。
第５実施形態における遠隔会議装置１０は、音声受信部１６１、音量調整部１６２、音声出力部１６３及びスピーカ音判定部１６４を備える点が、第１実施形態と異なる。
これらのうち音声受信部１６１は、予め定めた他の遠隔会議装置からネットワーク４０を介して送信されてくる音響信号を受信する機能を備える。
【００６５】
音量調整部１６２は、音声受信部１６１が受信した音響信号の音量を調整する機能を備える。この調整は、ユーザの操作に従って行うこともできるし、スピーカ音判定部１６４からの指示に従って行うこともできる。
音声出力部１６３は、第２出力手段であり、音量調整部１６２による音量調整後の音響信号を、スピーカ７０等の発音手段に対して出力し、その音響信号に従った発音を行わせる機能を備える。また、音声出力部１６３は、発音手段へ出力する音響信号をスピーカ音判定部１６４にも供給する。
【００６６】
スピーカ音判定部１６４は、判定手段であり、各周辺マイク接続部１３１から入力する音響信号と、音声出力部１６３から供給される音響信号等に基づき、周辺マイク３０が検出した音が上記発音手段が発した音であるか否か判定する機能を備える。例えば、周辺マイク接続部１３１から入力する音響信号の波形が、音声出力部１６３から供給される音響信号の波形と、スピーカ７０から周辺マイク３０までの距離に応じた遅延を除いて概ね同じ場合、発音手段が発した音であると判定できる。もちろん、信号の相互相関を取るなど、他のアルゴリズムを用いてもよい。
【００６７】
そして、スピーカ音判定部１６４は、周辺マイク３０が検出した音は発音手段が発した音であると判定した場合に、音量調整部１６２に対し、音声出力部１６３に供給する音響信号の音量を低下させることを指示する機能も備える。
周辺マイク３０がスピーカ７０の発した音を検出するということは、その外側の、会議スペースＡＲ外にもスピーカ７０の発した音が届いていることを意味する。これでは、会議参加者以外の人にも会議の内容が聞こえてしまう可能性がある。また、近隣のスペースで行っている会議の妨げになることも考えられる。そこで、スピーカ７０から出力する音の音量を低下させ、会議スペースＡＲの外に音が漏れないようにしたものである。
【００６８】
なお、スピーカ音判定部１６４は、各周辺マイク接続部１３１から入力する音響信号の音量値を音量検出部１４１から取得し、その音量が所定値以下になるまで、音声出力部１６３に供給する音響信号の音量を低下させるようにするとよい。周辺マイク３０は外部音も検出するため、スピーカ７０からの音が届いていないか無視できるレベルであっても、音量がゼロになるとは限らない。従って、外部音のレベルや、会議スペースＡＲ外への音漏れの許容量を考慮して適当な閾値を定めるとよい。
以上のスピーカ音判定部１６４は、音量調整部１６２と合わせて音量調整手段として機能する。
【００６９】
次に、図１３に、ＣＰＵ１０１が実行する、音量検出部１４１及びスピーカ音判定部１６４の機能と対応する処理のフローチャートを示す。
この処理は、ステップＳ１４及びＳ１５の後にステップＳＣ〜ＳＥを追加した点以外は、図５の処理と同じものである。
【００７０】
そして、ＣＰＵ１０１は、ステップＳ１４及びＳ１５にて消音の制御を行った後、周辺マイク接続部１３１から入力した音響信号が、スピーカ７０が発した音に係る音響信号であるか否か判断する（ＳＣ）。ここでＹｅｓであれば、さらに、周辺マイク接続部１３１から入力した音響信号の音量が所定基準以上であるか否か判断する（ＳＤ）。ここでもＹｅｓであれば、ＣＰＵ１０１は、音量調整部１６２に対し、出力音量を低下させるように指示する（ＳＥ）。ステップＳＣ又はＳＤでＮｏであれば、音量の調整は行わない。
【００７１】
なお、ＣＰＵ１０１は、いずれか１つの周辺マイク接続部１３１から入力した音響信号がステップＳＣ及びＳＤの条件を満たせば、音量を低下させる。
遠隔会議装置１０は、以上の構成及び処理により、スピーカの音量が大きすぎることによる会議スペースＡＲの外への音漏れを防止し、セキュリティの向上や、周囲への迷惑防止を図ることができる。
【００７２】
〔第６実施形態：図１４、図１５〕
次に、この発明の第６実施形態について説明する。
この第６実施形態は、会議参加者の声が大きすぎる場合にこれを会議参加者に報知する機能を設けた点が第１実施形態と異なる。
【００７３】
まず図１４に、第６実施形態における、図４と対応する機能構成図を示す。
第６実施形態における遠隔会議装置１０は、音量検出部１４１′に機能が追加されている点及び、報知部１７１を設けた点が、第１実施形態と異なる。
まず、音量検出部１４１′は、第１の実施形態で説明した音量検出部１４１の機能に加え、会議スペースＡＲ内に音源を有する音の音量が過大であると判断した場合に、報知部１７１にその旨の報知を行うよう指示する機能を備える。
【００７４】
具体的には、音量検出部１４１′は、入力音響信号のうち最大の音量を持つ信号が会議用マイク接続部１２１から入力した信号であり、かつ、周辺マイク接続部１３１から入力した音響信号の音量が所定基準以上である場合に、報知を行うよう指示する。
報知部１７１は、遠隔会議装置１０が備えるランプの点灯、プロジェクタ６０等の表示手段を用いたマークやメッセージの表示等により、会議参加者であるユーザに対し、音量検出部１４１′から指示された報知を行う機能を備える。
これらの音量検出部１４１′と報知部１７１が報知手段として機能する。
【００７５】
会議が盛り上がった場合など、会議参加者の声が大きくなる場合がある。しかし、あまり大きな声で話すと、会議スペースＡＲの外にも声が聞こえてしまい、話している内容が漏れたり、近隣のスペースで行っている他の会議の迷惑になったりすることが考えられる。
このように会議参加者の声が大きくなった場合、会議参加者が話していることから、周辺マイク３０が検出する音よりも会議用マイク２０が検出する音の方が音量が大きいと考えられる。しかし、周辺マイク３０にも会議参加者の声が一定のレベルで届くことが想定される。従って、この実施形態は、音量検出部１４１′がこのような状態を検出した場合に、会議参加者の声が大きすぎることを報知するようにしたものである。
【００７６】
次に、図１５に、ＣＰＵ１０１が実行する、音量検出部１４１′の機能と対応する処理のフローチャートを示す。
この処理は、ステップＳ１５の後にステップＳＦ及びＳＧを追加した点以外は、図５の処理と同じものである。
【００７７】
そして、ＣＰＵ１０１は、ステップＳ１３で会議用マイク接続部１２１からの入力音量が最も大きく、消音処理部１４２に消音解除を指示した場合（Ｓ１５）、周辺マイク接続部１３１からの入力音量が所定基準以上であるか否か判断する（ＳＦ）。そして、これがＹｅｓである場合、報知部１７１に対し、会議参加者の声が大きすぎる旨を報知するよう指示する（ＳＧ）。
【００７８】
遠隔会議装置１０は、以上の構成及び処理により、会議参加者の声が大きすぎることによる会議スペースＡＲの外への音漏れを防止し、セキュリティの向上や、周囲への迷惑防止を図ることができる。なお、ステップＳＦの処理で用いる所定基準は、図１３のステップＳＤの場合と同趣旨で定めればよい。
【００７９】
〔変形例〕
以上で実施形態の説明を終了するが、この発明において、各部の具体的な構成や処理の手順等は、実施形態で説明したものに限るものではない。
例えば、上述の実施形態では、会議用マイク２０で検出した音を他の遠隔会議装置へ送信する例について説明したが、外部への送信は行わず、録音等、遠隔会議装置１０内部の処理のみ行う構成でもよい。この場合でも、録音結果に余分な音が混じらないようにすることができるという効果が得られる。
【００８０】
また、この発明の音響処理装置の用途は、会議に限らない。特定のエリア内の音を集音し、そこにエリア外からの音が混じらないようにすることが望まれる用途であれば、任意の用途の装置に適用可能である。
また、上述した遠隔会議装置１０のハードウェアは、ＰＣ（パーソナルコンピュータ）等の汎用コンピュータに、必要なハードウェアを内蔵あるいは外付けしたものとしてもよい。また、上述した遠隔会議装置１０の機能を、複数の装置に分散して設け、それらを協働させて遠隔会議装置１０のとして機能させることも可能である。
【００８１】
この発明の実施形態であるプログラムは、１のコンピュータを、または複数のコンピュータを協働させて、上述した遠隔会議装置１０における音量検出部１４１をはじめとする各部の機能を実現させるためのプログラムである。そして、このようなプログラムをコンピュータに実行させることにより、上述したような効果を得ることができる。
【００８２】
このようなプログラムは、はじめからコンピュータに備えるＲＯＭや他の不揮発性記憶媒体（フラッシュメモリ，ＥＥＰＲＯＭ等）などに格納しておいてもよい。しかし、メモリカード、ＣＤ、ＤＶＤ、ブルーレイディスク等の任意の不揮発性記録媒体に記録して提供することもできる。それらの記録媒体に記録されたプログラムをコンピュータにインストールして実行させることにより、上述した各手順を実行させることができる。
さらに、ネットワークに接続され、プログラムを記録した記録媒体を備える外部装置あるいはプログラムを記憶手段に記憶した外部装置からダウンロードし、コンピュータにインストールして実行させることも可能である。
【００８３】
また、以上説明してきた実施形態及び変形例の構成は、相互に矛盾しない限り任意に組み合わせて実施可能であることは勿論である。
【符号の説明】
【００８４】
１０：遠隔会議装置、２０：会議用マイク、３０：周辺マイク、４０：ネットワーク、５０：電子カメラ、６０：プロジェクタ、７０：スピーカ、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ＨＤＤ、１０５：データ入出力Ｉ／Ｆ、１０６：ネットワークＩ／Ｆ、１０７：撮像素子Ｉ／Ｆ、１０８：画像出力Ｉ／Ｆ、１０９：操作部、１１０：音声制御部、１１１：システムバス、１１２：音声入出力Ｉ／Ｆ、１２０：第１音声入力部、１２１：会議用マイク接続部、１３０：第２音声入力部、１３１：周辺マイク接続部、１４１，１４１′：音量検出部、１４２：消音処理部、１４３：音声送信部、１４４：音声認識部、１４５：音源分離部、１５１：同期用信号生成部、１５２：マイク座標登録部、１５３：音源位置推定部、１６１：音声受信部、１６２：音量調整部、１６３：音声出力部、１６４：スピーカ音判定部、１７１：報知部、ＡＲ：会議スペース、ＴＢ：会議テーブル
【先行技術文献】
【特許文献】
【００８５】
【特許文献１】特開２０１２−２３４３１０号公報
【特許文献２】特開２００９−２６０９４８号公報
【図１】
2015056676.tif 000003
【図２】
2015056676.tif 000004
【図３】
2015056676.tif 000005
【図４】
2015056676.tif 000006
【図５】
2015056676.tif 000007
【図６】
2015056676.tif 000008
【図７】
2015056676.tif 000009
【図８】
2015056676.tif 000010
【図９】
2015056676.tif 000011
【図１０】
2015056676.tif 000012
【図１１】
2015056676.tif 000013
【図１２】
2015056676.tif 000014
【図１３】
2015056676.tif 000015
【図１４】
2015056676.tif 000016
【図１５】
2015056676.tif 000017