(57)【要約】【課題】  音声入力および／または音声出力機能を有する機器において、利用者の入力音声や機器の出力音声が周辺の第三者に聞かれず、かつ、第三者に不快感を与えないように、マスキング信号の出力を適切に制御する技術を提供する。【解決手段】  第三者の位置および騒音の少なくともいずれかについて測定を行い、その測定結果に基づいて、第三者に対して入力手段に入力される利用者の音声をマスクするためのマスキング信号を決定する。その後、入力手段の動作状態に基づいて（Ｓ５０１，Ｓ５０２）、決定されたマスキング信号の出力を制御する（Ｓ５０３，Ｓ５０４）。【選択図】  図５
2006215206.tif 000002
【特許請求の範囲】
【請求項１】
利用者が発声した音声を入力する入力手段から受信した音声情報を処理する音声処理装置であって、
周辺環境について測定を行う測定手段と、
前記測定手段による測定結果に基づいて、第三者に対して前記利用者が発声した音声をマスクするためのマスキング信号を決定する決定手段と、
前記入力手段の動作状態に基づいて、前記マスキング信号決定手段により決定されたマスキング信号の出力を制御する制御手段と
を備えることを特徴とする音声処理装置。
【請求項２】
前記測定手段は第三者の位置及び騒音の少なくともいずれかについて測定を行うことを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記入力手段の前記動作状態は、音声入力の開始イベントおよび終了イベントに基づいて判断されることを特徴とする請求項１に記載の音声処理装置。
【請求項４】
前記測定手段は、第三者の位置を測定するための赤外線センサまたはビデオカメラを含むことを特徴とする請求項１に記載の音声処理装置。
【請求項５】
音声を出力する出力手段を備えた音声処理装置であって、
周辺環境について測定を行う測定手段と、
前記測定手段による測定結果に基づいて、第三者に対して前記出力手段より出力される音声をマスクするためのマスキング信号を決定する決定手段と、
前記出力手段の動作状態に基づいて、前記マスキング信号決定手段により決定されたマスキング信号の出力を制御する制御手段と
を備えることを特徴とする音声処理装置。
【請求項６】
前記測定手段は第三者の位置及び騒音の少なくともいずれかについて測定を行うことを特徴とする請求項５に記載の音声処理装置。
【請求項７】
前記出力手段の前記動作状態は、音声出力の開始イベントおよび終了イベントに基づいて判断されることを特徴とする請求項５に記載の音声処理装置。
【請求項８】
前記測定手段は、第三者の位置を測定するための赤外線センサまたはビデオカメラを含むことを特徴とする請求項５に記載の音声処理装置。
【請求項９】
利用者が発声した音声を入力する入力手段から音声情報を受信する受信手段と、音声を出力する出力手段とを備えた音声処理装置であって、
周辺環境について測定を行う測定手段と、
前記測定手段による測定結果に基づいて、第三者に対して前記入力手段に入力される利用者の音声をマスクするとともに前記出力手段より出力される音声をマスクするためのマスキング信号を決定する決定手段と、
前記入力手段および前記出力手段の動作状態に基づいて、前記マスキング信号決定手段により決定されたマスキング信号の出力を制御する制御手段と
を備えることを特徴とする音声処理装置。
【請求項１０】
利用者が発声した音声を入力する入力手段から受信した音声情報を処理する音声処理装置の制御方法であって、
周辺環境について測定を行う測定ステップと、
前記測定ステップによる測定結果に基づいて、第三者に対して前記利用者が発声した音声をマスクするためのマスキング信号を決定する決定ステップと、
前記入力手段の動作状態に基づいて、前記マスキング信号決定ステップにより決定されたマスキング信号の出力を制御する制御ステップと
を有することを特徴とする音声処理装置の制御方法。
【請求項１１】
前記測定ステップは第三者の位置及び騒音の少なくともいずれかについて測定を行うことを特徴とする請求項１０に記載の音声処理装置の制御方法。
【請求項１２】
音声を出力する出力手段を備えた音声処理装置の制御方法であって、
周辺環境について測定を行う測定ステップと、
前記測定ステップによる測定結果に基づいて、第三者に対して前記出力手段より出力される音声をマスクするためのマスキング信号を決定する決定ステップと、
前記出力手段の動作状態に基づいて、前記マスキング信号決定ステップにより決定されたマスキング信号の出力を制御する制御ステップと
を有することを特徴とする音声処理装置の制御方法。
【請求項１３】
前記測定ステップは第三者の位置及び騒音の少なくともいずれかについて測定を行うことを特徴とする請求項１２に記載の音声処理装置の制御方法。
【請求項１４】
利用者が発声した音声を入力する入力手段から音声情報を受信する受信手段と、音声を出力する出力手段とを備えた音声処理装置の制御方法であって、
周辺環境について測定を行う測定ステップと、
前記測定ステップによる測定結果に基づいて、第三者に対して前記入力手段に入力される利用者の音声をマスクするとともに前記出力手段より出力される音声をマスクするためのマスキング信号を決定する決定ステップと、
前記入力手段および前記出力手段の動作状態に基づいて、前記マスキング信号決定ステップにより決定されたマスキング信号の出力を制御する制御ステップと
を有することを特徴とする音声処理装置の制御方法。
【請求項１５】
請求項１０から１４までのいずれかに記載の音声処理装置の制御方法をコンピュータによって実現するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者のプライバシー保護を考慮した音声処理装置およびその制御方法に関する。
【背景技術】
【０００２】
これまで、音声認識技術は音声認識の性能の向上を主眼とした開発が進められ、カーナビゲーションシステムや音声応答システム（Interactive Voice Response：ＩＶＲ）などにおいては、既に実用化されている。しかしながら、その一方で、パーソナルコンピュータ、複写機やファクシミリ装置などのオフィス機器、テレビや電話機などの家電製品に対しては、音声認識技術はほとんど浸透していない状況である。この理由としては、音声を使わなくとも、キーボード、リモコン、ボタンなどの他の入力手段を用いた入力・設定が可能であることが考えられるが、これらの機器は年々多機能化、複合化しており、特に、一般にキーボードを持たないパーソナルコンピュータ以外の機器に対する入力・設定は、更に複雑化していくと考えられる。すなわち、今後は、ますます直感的で分かりやすいユーザインタフェースが求められてくる。音声は、このような要求を満たすユーザインタフェースの一つ、もしくは、既存のユーザインタフェースと組み合わせたマルチモーダルユーザインタフェースにおける一つのモダリティとして期待されている。このように、音声を用いたユーザインタフェースは、直感的であり、正しく認識されれば、既存の入力手段を用いるよりも素早く入力・設定できる有用なインタフェースであると考えられる。
【０００３】
しかしながら、このような音声を用いたユーザインタフェースの普及を阻む要因として、たとえ100%に近い音声認識性能が得られたとしても、周辺に第三者が存在する場合に、機器に向かって発声している音声を聞かれるのが恥かしい、内容を聞かれたくないといったことも考えられる。また、特に、オフィスなどの状況では、機器の利用者の周辺にいる第三者にとって、機器に向かって発せられる音声は言語的（ｖｅｒｂａｌ）なものであるため、利用者の発声が気になって、業務に集中できないことも考えられる。
【０００４】
以上のような状況は、利用者が発する音声に限らず、機器からの音声出力においても同様に生じ得る。すなわち、リモコンやボタンで入力した設定内容を音声出力によっても確認できることは便利であるが、第三者にはその内容を聞かれたくないといったことや、第三者にとっても、利用者の発声と同様に、言語的な情報は気になるといった問題がある。
【０００５】
このように、音声を用いたユーザインタフェースを利用した機器では、利用者の入力音声や機器の出力音声が周辺の第三者に聞かれない仕組みを提供することが必要な場合がある。このような音声を外部に漏らさないという目的に対しては、音声入力もしくは音声出力に対して逆位相の音声波形を発生させることによって、波形をキャンセルすることが原理的には可能であるが、複数点の任意の方向、距離に対して音声をキャンセルすることは極めて困難であり、現実的にはこの方法は用いることはできない。したがって実際には、（１）設備的に工夫する、（２）利用者へ負担を強いる、（３）第三者へ負担を強いる、のいずれかの方法によって対処する必要がある。
【０００６】
（１）の設備的な工夫としては、例えば、機器の周囲に防音壁を用意するなどの方法が考えられるが、オフィスや家庭にこのような設備を設けることはスペースやコストの面で非実現的である。一方、（２）の利用者への負担を強いる方法としては、音声入力をささやき声で行う、機器の出力を確認する際にイヤホンや骨伝導スピーカを利用する方法が考えられるが、利用者にこれらの負担を強いることは、音声インタフェースの利点を損なうことになる。また、（３）の第三者へ負担を強いる方法としては、音声入力や音声出力時に別のマスキング信号をスピーカから出力することによって、利用者の発声や装置の音声出力を第三者に聞かれないようにする方法が考えられる。この方法は、コスト的には（１）の方法よりもはるかに安価であり、また、適切にマスキングがなされれば、利用者は普通に発声することができるため、（２）のように利用者への負担が生じないという特長がある。しかし、この方法によっても、マスキング信号の出力を適切に制御できない場合には、利用者の発声や装置の音声出力が第三者に聞かれたり（マスキング信号のレベルが小さい、マスキング信号の継続時間長が短い）、第三者がマスキング信号によって音声が聞こえてくる以上に不快なる（マスキング信号のレベルが大きすぎる、マスキング信号の継続時間長が長すぎる）などの問題が生じる。
【０００７】
利用者の発声に対してマスキング信号を生成する方法として、特開平９−３０５１９６号公報（特許文献１）は、音声の母音に含まれるフォルマント周波数成分を主体とする楽音信号を発声者の音声の平均レベルよりも大きな平均パワーで放射する方法を開示している。
【０００８】
【特許文献１】特開平９−３０５１９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の特許文献１で開示された技術には以下のような問題点がある。
【００１０】
まず、特許文献１では、マスキング信号として放射される楽音信号は、その平均パワーが発声者の音声の平均レベルよりも大きくなるように制御される。しかし、マイクロフォンから観測される音声の平均レベルはマイクロフォンのゲインによって変動するし、また、スピーカから放射されるマスキング信号の平均パワーもスピーカのゲインによって変動する。すなわち、マイクロフォンより取り込まれる音声の平均レベルやスピーカから放射されるマスキング信号の平均パワーの大小が、第三者に聞こえる信号レベルの大小に一致するわけではない。つまり、この制御方法によって、適切なマスキングがなされるという保証はない。
【００１１】
また、特許文献１では、第三者が存在する位置に関しては、利用者の背後に存在することが仮定されており、そのため、マスキング信号を出力するスピーカが１台だけ用意されている。しかしながら、実際のオフィスや家庭において第三者の存在位置を予め仮定することはそもそも困難であるから、１台のスピーカでは必ずしも十分とは言えない。
【００１２】
また、特許文献１では、周辺の騒音レベルに対する考慮がなされておらず、騒がしい環境、静かな環境にかかわらず、一様にマスキング信号が出力されることになる。そうすると、同様の装置が近傍に多く存在する場合や周辺の騒音レベルが高い場合には、非常に騒々しい状況となるため、利用者の入力音声がマスキングされたとしても、第三者に対して多大な不快感を与えてしまうという問題がある。
【００１３】
さらに、特許文献１では、マスキング信号の出力のタイミングについては、利用者が音声入力装置の前の所定の位置に立った場合に楽音を出力するという点が説明されるに留まっており、出力を終了するタイミングについては記載されていない。また、この方法によれば、音声を入力する／しないに関わらず絶えず楽音が出力されるため、不必要なマスキング信号が出力されるという問題もある。さらにいうと、音声入力の内容に応じてマスキング信号のレベルを変化させる点についても示唆されていない。
【００１４】
加えて、特許文献１では、音声出力に対するマスキングについては全く言及されていない。
【００１５】
本発明は上述した問題の少なくともいずれかを解決すべくなされたもので、音声入力および／または音声出力機能を有する機器において、利用者の入力音声や機器の出力音声が周辺の第三者に聞かれず、かつ、第三者に不快感を与えないように、マスキング信号の出力を適切に制御する技術を提供することを目的としている。
【課題を解決するための手段】
【００１６】
上記した課題を解決するために、例えば本発明の音声処理装置は、以下の構成を備える。すなわち、利用者が発声した音声を入力する入力手段から受信した音声情報を処理する音声処理装置であって、周辺環境について測定を行う測定手段と、前記測定手段による測定結果に基づいて、第三者に対して前記入力手段に入力される利用者の音声をマスクするためのマスキング信号を決定する決定手段と、前記入力手段の動作状態に基づいて、前記マスキング信号決定手段により決定されたマスキング信号の出力を制御する制御手段を備える。
【発明の効果】
【００１７】
本発明によれば、利用者の入力音声や機器の出力音声が周辺の第三者に聞かれず、かつ、第三者に不快感を与えないように、マスキング信号の出力が適切に制御される。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。
【００１９】
図１は、本発明が適用される音声処理装置のハードウェア構成を示すブロック図である。
【００２０】
１０１は本装置全体の制御をつかさどるＣＰＵ、１０２は各種パラメータやブートプログラム等を記憶しているＲＯＭ、１０３は、ＣＰＵ１０１に作業領域を提供するとともに、主記憶装置として機能するＲＡＭである。１０４はハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカード等の外部記憶装置であり、ここに、録音／再生を行うための録音再生プログラム１１１、音声認識処理を行うための音声認識プログラム１１２、音声合成を行うための音声合成プログラム１１２、マスキング信号１１４、そして、これらのプログラムおよびデータを統括的に処理するための制御プログラム１１０が保持されうる。なお、この外部記憶装置１０４がハードディスクの場合には、ＣＤ−ＲＯＭ等からインストールされた各種プログラムが記憶されている。外部記憶装置１０４に格納されているこれらのプログラムは、ＲＡＭ１０３にロードされ、ＣＰＵ１０１によって実行されることになる。もっとも、これらのプログラムおよびデータは外部記憶装置１０４に記憶させるのではなく、あらかじめＲＯＭ１０２に記憶させた構成であってもよい。
【００２１】
１０５はマイクロフォンであり、利用者が発声する音声の取り込みを行う。この音声の取り込みの際、マイクロフォン１０５で収集された音声信号はマイクアンプ１０５ａで増幅される。１０６は音声出力用スピーカであり、第１のスピーカアンプ１０６ａを介して、利用者に対して録音音声、合成音声等の出力を行う。１０７はマスキング信号出力用スピーカであり、第２のスピーカアンプ１０７ａを介して、この音声入出力装置の周辺に存在する第三者に対してマスキング信号を出力する。
【００２２】
１０８はディスプレイ、ボタン、テンキー、タッチパネル、マウス、キーボード、マイクロフォン、ビデオカメラ、赤外線センサ等の補助入出力装置であり、音声取り込みを開始する際のボタン押下、周辺の騒音レベルの集音、装置の周辺に存在する第三者のビデオカメラによる撮像・赤外線センサによるセンシング、メニューのディスプレイへの表示などを行う。
【００２３】
１０９は上記各部を接続するバスである。
【００２４】
以下では、第１の実施形態として、上記した音声処理装置を音声入力装置として機能させる場合について説明する。また、第２の実施形態として、上記音声処理装置を音声出力装置として機能させる場合について説明するとともに、第３の実施形態で、その変形例を説明する。さらに、第４の実施形態として、音声入力機能と音声出力機能を協働させることで上記音声処理装置を音声対話装置として機能させる場合について説明する。また、以下の説明では、利用者の音声入力装置としてマイクロフォンを、音声出力装置としてスピーカを用いているが、本発明はこれに限らず、例えば、音声入出力機能を備えるハンドセットなどを用いてもよい。
【００２５】
（第１の実施形態）
第１の実施形態では、音声処理装置を音声入力装置として機能させる場合について説明する。ここで実現される音声入力機能は例えば、録音の際あるいは音声認識の際に使用される。
【００２６】
図２は、本実施形態に係る音声入力装置の機能構成を示すブロック図である。
【００２７】
２０５は、利用者の音声を入力する音声入力部である。２０３は、音声入力部２０５の動作状態を管理する音声入力状況管理部で、ここで音声入力に関する操作等をトリガとして発行されるイベントが監視される。２０１は、音声入力装置１０５の周辺の騒音レベル、この音声入出力装置の周辺に存在する第三者の有無、第三者の位置を測定する周辺環境測定部である。２０２は、音声入力状況管理部２０３および周辺環境測定部２０１からの情報に基づき、第三者に対して入力音声をマスクするマスキング信号を決定するマスキング信号決定部である。そして、２０４は、マスキング信号決定部２０２で決定されたマスキング信号の出力を制御するマスキング信号制御部である。
【００２８】
次に、本実施形態における音声入力処理の例を、図３から図５までのフローチャートを用いて説明する。なお、本実施形態では、音声入力部２０５およびマスキング信号制御部２０４の処理をイベント駆動型の処理として説明する。対象となるイベントは、音声取り込みが開始されたことを示す「音声入力開始」イベントと、音声取り込みが終了したことを示す「音声入力終了」イベントである。
【００２９】
図３は、周辺環境測定部２０１およびマスキング信号決定部２０２の処理フローを示すフローチャートである。
【００３０】
まず、ステップＳ３０１において、マイクロフォン１０５を用いて、本装置の周辺の騒音を取り込む。なおここでは、マイクロフォン１０５ではなく、補助入力装置１０８として周辺環境測定用に用意したマイクロフォンを用いて、本装置の周辺の騒音を取り込んでもよい。取り込むタイミングとしては、システムが所定の間隔で自動的に取り込むものであってもよいし、利用者の操作に関する何らかのイベントに応じて取り込むものであってもよい。あるいは、騒音の取り込み専用に用意された操作指示に応じて騒音を取り込むようにしてもよい。
【００３１】
次に、ステップＳ３０２において、マスキング信号のレベルを決定する。このレベルの決定方法には様々な方法が考えられるが、最も好適な方法の一つとして、ステップＳ３０１で取り込まれた周辺の騒音信号ｘE（ｔ）の平均対数パワーＰEを用いて、マスキング信号ｘM（ｔ）の振幅を次式によって変更することができる。
【００３２】
ｘ’M（ｔ）＝ｆ（ＰE）・ｘM（ｔ）        （１）
【００３３】
ここで、ｆ（・）は、周辺の騒音信号ｘE（ｔ）の平均対数パワーＰEに対するマスキング信号ｘM（ｔ）の増幅の増減を制御する関数であり、任意のものを用いることが可能である。例えば、図６に示されるようなものを用いればよい。同図に示される関数ｆは、周辺の騒音信号の平均対数パワーが大きい場合にはマスキング信号を小さくし、反対に周辺の騒音信号が小さい場合にはマスキング信号を大きくするという制御を行うものである。なお、この関数は、マスキング信号ｘM（ｔ）の平均対数パワーＰM、マイクロフォン１０５の取り付け位置および方向やマイクアンプ１０５ａのマイクゲイン、マスキング信号出力用スピーカ１０７の取り付け位置および方向や第２のスピーカアンプ１０７ａのアンプゲイン、スピーカの指向特性（例えば、指向性スピーカか無指向性スピーカか）、周辺環境測定用のマイクロフォンのマイクゲインや取り付け位置および方向、第三者が存在すると想定される位置および方向などを考慮して設計する必要がある。
【００３４】
他にも、マスキング信号が複数ある場合には、周辺環境の状況に応じて、出力するマスキング信号を変更することも可能である。具体的には、平均的な音声スペクトルから周辺の騒音スペクトルを減じたスペクトルに最も近いマスキング信号を選択することが可能である。なお、マスキング信号はいかなるものであってもよいが、この音声入力装置が音声認識の目的に使用する場合には音声認識性能が低下しにくいもの、周辺の第三者や利用者に対して心地よいものが望ましい。
【００３５】
図４は、音声入力部２０５と音声入力状況管理部２０３の処理フローを示すフローチャートである。
【００３６】
まず、ステップＳ４０１において、イベント待機を行う。次に、イベントが検出された場合には、ステップＳ４０２に進み、検出したイベントの種別を判断する。ここで、音声取り込みが開始されたことを示す「音声入力開始」イベントを検出した場合にはステップＳ４０３へ進み、音声取り込みが終了したことを示す「音声入力終了」イベントを検出した場合にはステップＳ４０４へ進む。
【００３７】
ステップＳ４０３では、マイクロフォン１０５から利用者の音声の取り込みを開始し、ステップＳ４０１へ戻る。なお、ステップＳ４０１に処理が戻った後も、音声の取り込みは続けているものとする。一方のステップＳ４０４では、マイクロフォン１０５からの利用者の音声の取り込みを終了し、処理を終える。
【００３８】
ここで、「音声入力開始」および「音声入力終了」の各イベントは、利用者のボタン押下、ハンドセットを取る／置くなど利用者によって与えられるものであってもよいし、本装置が所定のタイミングや音声区間検出法における状態遷移のイベントとして発生するものであってもよい。
【００３９】
図５は、マスキング信号制御部２０４の処理フローを示すフローチャートである。
【００４０】
ここでは、図４に示した処理において利用者が発声する音声を第三者に聞かれないようにするためのマスキング信号をマスキング信号出力用スピーカ１０７から出力する。まず、ステップＳ５０１において、イベント待機を行う。次に、イベントが検出された場合には、ステップＳ５０２に進み、検出したイベントの種別を判断する。ここで、音声取り込みが開始されたことを示す「音声入力開始」イベントを検出した場合にはステップＳ５０３へ進み、音声取り込みが終了したことを示す「音声入力終了」イベントを検出した場合にはステップＳ５０４へ進む。
【００４１】
ステップＳ５０３では、ステップＳ３０２で決定されたマスキング信号の出力を開始し、ステップＳ５０１へ戻る。なお、ステップＳ５０１に処理が戻った後も、マスキング信号の出力は続けているものとする。また、ステップＳ５０４では、マスキング信号の出力を終了し、処理を終える。
【００４２】
以上の処理例では、マスキング信号の出力レベルは、利用者の音声が発声される前に、ステップＳ３０１およびステップＳ３０２で決定していたが、利用者の音声の発声レベルは予め分からないため、利用者の発声レベルを予測してマスキング信号のレベルを決定する必要がある。しかしながら、その予測よりも実際の利用者の発声レベルが小さい場合には、不必要に大きなレベルでマスキング信号を出力していることになる。また、逆に、予測よりも実際の利用者の発声レベルが大きい場合には、十分なマスキング信号が出力されておらず、第三者に利用者の発声内容を聞かれてしまう可能性が生じる。この問題を緩和するためには、利用者の発声の入力レベルに応じて動的にマスキング信号のレベルを決定すればよい。
【００４３】
図７は、音声の入力レベルを利用して動的にマスキング信号レベルを決定する処理フローを示すフローチャートである。
【００４４】
ステップＳ７０１からステップＳ７０４は、それぞれステップＳ４０１からステップＳ４０４と同じであるため説明を省略する。ステップＳ７０５では、音声取り込みが開始された後、取り込み音声の信号レベルを所定の時間単位で計測し、このレベルと予測された利用者の発話レベルと比較して、マスキング信号のレベルを適応的に変更する。具体的には、予想された利用者の発話レベルの対数パワーをＰS、ステップＳ７０５で計測された時刻ｔ（所定の短時間区間の対数パワー）における利用者の発話レベルの対数パワーをＰ’Sとすると、式（１）で得られるｘ’M（ｔ）を次式によって変更すればよい。
【００４５】
ｘ”M（ｔ）＝ｇ（Ｐ’S／ＰS）・ｘ’M（ｔ）      （２）
【００４６】
ここで、ｇ（・）は、対数パワーの比に対するマスキング信号ｘ’M（ｔ）の増幅の程度を求める関数であり、例えば、図２０に示されるようなものを用いればよい。この関数は、Ｐ’S／ＰS＞１の場合、つまりステップＳ７０５で計測された対数パワーが予想発話レベルよりも大きい場合、マスキング信号を大きくし、小さい場合はマスキング信号を小さくするものである。
【００４７】
図８は、本実施形態における音声入力装置の外観構成の一例を示す図である。
【００４８】
８０１は、図１に示したハードウェアを収容する音声入力装置の本体である。８０３は、第三者に対してマスキング信号を出力するためのマスキング信号出力用スピーカで、図１のマスキング信号出力用スピーカ１０７に相当する。この例のように、マスキング信号用スピーカが一つしかない場合や、予め第三者の存在する方向が分からない場合などでは、無指向性のスピーカを用いることが望ましい。８０２は、利用者の音声入力および周辺の騒音環境を測定するためのマイクロフォンで、図１のマイクロフォン１０５に相当する。マスキング信号用スピーカ８０３から出力される信号によって、音声入力が適切に行えるようにするために、マイクロフォン８０２はマスキング信号出力用スピーカ８０３よりも利用者に近い位置に設置することが望ましい。
【００４９】
図９は、図８の変形例を示しており、所定の方向に対するマスキング信号の出力機能を備えるものである。
【００５０】
９０１は、図１に示したハードウェアを収容する音声入力装置の本体である。９０２は、利用者の音声入力を行うためのマイクロフォンで、図１のマイクロフォン１０５に相当する。また、９０６、９０７、９０８は、第三者に対してマスキング信号を出力するためのマスキング信号出力用スピーカで、図１のマスキング信号出力用スピーカ１０７に相当する。９０３、９０４、９０５は、本装置の周辺の騒音レベルを３点で測定するためのマイクロフォンである。このように、周辺環境を測定するためのマイクロフォンやマスキング信号を出力するためのスピーカを複数設けたので、マイクロフォン９０３、９０４、９０５によって測定された個々の騒音レベル、方向、位置に応じて、マスキング信号出力用スピーカ９０６、９０７、９０８から出力する個々のマスキング信号のレベルを変化させることが可能となる。具体的には、例えば、騒音レベルの小さな方向に対しては大き目のマスキング信号を出力し、騒音レベルの大きな方向に対しては小さ目のマスキング信号を出力するといった制御を行うことができる。
【００５１】
また、この例のように、周辺環境を測定するためのマイクロフォンおよびマスキング信号用のスピーカを複数設けた場合は、指向性のマイクロフォンおよびスピーカを用いることが望ましい。また、マスキング信号用スピーカ９０６、９０７、９０８から出力される信号によって、音声入力が適切に行えるようにするために、マイクロフォン９０２はマスキング信号出力用スピーカ９０６、９０７、９０８よりも利用者に近い位置に設置することが望ましい。
【００５２】
図１０は、周辺環境測定部２０１とマスキング信号決定部２０２の処理フローの一例を示すフローチャートである。
【００５３】
ステップＳ１００１では、本装置の周辺に存在する第三者の有無、第三者の方向、第三者の位置の少なくともいずれか一つを測定する。測定の方法は様々であるが、好適な方法としては赤外線センサを用いればよい。赤外線センサを設置する位置や個数は、測定精度や第三者の想定される数や方向や位置に応じて設定する。赤外線センサに替わるその他の方法としては、ビデオカメラを用いる方法がある。この場合には、装置周辺の様子をビデオカメラによって撮像し、この画像を用いた人物判定を行ったり、第三者が存在しない場合の画像との差分画像を用いることによって、第三者の有無、第三者の方向、第三者の位置を測定することが可能となる。他にも、無線ＩＣタグや非接触ＩＣカードなど、装置周辺に存在する第三者が検知できれば、いかなる方法を用いてもよい。
【００５４】
次に、ステップＳ１００２では、第三者の存在状況に応じて、マスキング信号のレベルを決定する。第三者の存在状況とは、第三者の有無、第三者の数、本装置から第三者までの距離、本装置に対する第三者の方向である。この際、図９で示したように、複数のマスキング信号出力スピーカがある場合には、それぞれのスピーカの向きに存在する第三者の存在状況に応じて、マスキング信号のレベルをスピーカごとに決定する。また、本装置の周辺の騒音状況と第三者の存在状況の両方を考慮してマスキング信号の決定、制御を行うこともできる。例えば、騒音測定用のマイク、第三者位置測定用の赤外線センサ、マスキング信号出力用のスピーカがそれぞれ同一の方向に対して４つ（向きＡ，Ｂ，Ｃ，Ｄとする）ある場合について説明する。今，Ａでは騒音レベルが大きく、第三者がいない、Ｂでは、騒音レベルが小さく、第三者がいない、Ｃでは、騒音レベルが大きく、第三者がいる、Ｄでは、騒音レベルが小さく、第三者がいるという状況であったとする。この場合、各スピーカから出力されるマスキング信号のレベルを、Ａ＜Ｂ＜Ｃ＜Ｄと設定することによって、適切にマスキング信号出力を行うことができる。
【００５５】
以上の説明から明らかなように、本実施形態によれば、音声入力装置において、利用者の入力音声が周辺の第三者に聞かれず、かつ、第三者が不快にならないように、マスキング信号の出力を適切に制御することが可能となる。
【００５６】
（第２の実施形態）
第２の実施形態では、図１の音声処理装置を音声出力装置として機能させる場合について説明する。ここでいう音声出力とは、録音された音声の再生だけでなく音声合成処理によって合成された音声の出力も含む。
【００５７】
図１１は、本実施形態に係る音声出力装置の機能構成を示すブロック図である。
【００５８】
１１０１は、音声を出力する音声出力部である。１１０３は、音声出力部１１０１の動作状態を管理する音声出力状況管理部で、ここで音声出力に関する操作等をトリガとして発行されるイベントが監視される。１１０２は、音声出力状況管理部１１０３からの情報に基づき、第三者に対して出力音声をマスクするマスキング信号を決定するマスキング信号決定部である。１１０４は、マスキング信号決定部１１０２で決定されたマスキング信号の出力を制御するマスキング信号制御部である。
【００５９】
次に、本実施形態における音声出力処理の例を、図１２および図１３のフローチャートを用いて説明する。なお、本実施形態では、音声出力部１１０１およびマスキング信号制御部１１０４の処理をイベント駆動型の処理として説明する。対象となるイベントは、音声出力が開始されたことを示す「音声出力開始」イベントと、音声出力が終了したことを示す「音声出力終了」イベントである。
【００６０】
図１２は、音声出力部１１０１および音声出力状況管理部１１０３の処理フローを示すフローチャートである。
【００６１】
まず、ステップＳ１２０１において、イベント待機を行う。次に、イベントが検出された場合には、ステップＳ１２０２に進み、検出したイベントの種別を判断する。ここで、音声出力が開始されたことを示す「音声出力開始」イベントを検出した場合にはステップＳ１２０３へ進み、音声出力が終了したことを示す「音声出力終了」イベントを検出した場合にはステップＳ１２０４へ進む。
【００６２】
ステップＳ１２０３では、音声出力用スピーカ１０６から音声出力を開始し、ステップＳ１２０１へ戻る。なお、ステップＳ１２０１に処理が戻った後も、音声出力は続けているものとする。一方のステップＳ１２０４では、音声出力用スピーカ１０６からの音声出力を終了し、処理を終える。
【００６３】
ここで、「音声出力開始」および「音声出力終了」の各イベントは、利用者のボタン押下など利用者によって与えられるものであっても、音声出力装置が所定のタイミングとして発生するものであってもよい。
【００６４】
図１３は、マスキング信号制御部１１０４の処理フローを示すフローチャートである。
【００６５】
ここでは、図１２に示した処理において出力音声を第三者に聞かれないようにするためのマスキング信号をマスキング信号出力用スピーカ１０７から出力する。まず、ステップＳ１３０１において、イベント待機を行う。次に、イベントが検出された場合には、ステップＳ１３０２に進み、検出したイベントの種別を判断する。ここで、音声出力が開始されたことを示す「音声出力開始」イベントを検出した場合にはステップＳ１３０３へ進み、音声出力が終了したことを示す「音声出力終了」イベントを検出した場合にはステップＳ１３０４へ進む。
【００６６】
ステップＳ１３０３では、マスキング信号出力用スピーカ１０７から予め定められたマスキング信号の出力を開始し、ステップＳ１３０１へ戻る。なお、ステップＳ１３０１に処理が戻った後も、マスキング信号の出力は続けているものとする。また、ステップＳ１３０４では、マスキング信号の出力を終了し、処理を終える。
【００６７】
ここでマスキング信号のレベルは、マスキング信号ｘM（ｔ）の平均対数パワーＰM、第１のスピーカアンプ１０６ａのアンプゲインや音声出力用スピーカ１０６の取り付け位置および方向、第２のスピーカアンプ１０７ａのアンプゲインやマスキング信号出力用スピーカ１０７の取り付け位置および方向、スピーカの指向特性（例えば、指向性スピーカか無指向性スピーカか）、第三者が存在すると想定される位置および方向などを考慮して設計する必要がある。
【００６８】
なお、マスキング信号はいかなるものであってもよいが、利用者に対する出力音声が聞き取りにくくならないもの、周辺の第三者や利用者に対して心地よいものが望ましい。
【００６９】
図１４は、本実施形態における音声出力装置の外観構成の一例を示す図である。
【００７０】
１４０１は、図１に示したハードウェアを収容する音声出力装置の本体である。１４０３は、第三者に対してマスキング信号を出力するためのマスキング信号出力用スピーカで、図１のマスキング信号出力用スピーカ１０７に相当する。この例のように、マスキング信号用のスピーカが一つしかない場合や、予め第三者の存在する方向が分からない場合などでは、無指向性のスピーカを用いることが望ましい。１４０２は、利用者に対して音声出力を行うための音声出力用スピーカで、図１の音声出力用スピーカ１０６に相当する。マスキング信号用スピーカ１４０３から出力される信号によって、出力音声が利用者に聞こえにくくならないようにするために、音声出力用スピーカ１４０２はマスキング信号出力用スピーカ１４０３よりも利用者の耳に近い位置に設置することが望ましい。
【００７１】
以上の説明から明らかなように、本実施形態によれば、音声出力装置において、出力音声が周辺の第三者に聞かれず、かつ、第三者が不快にならないように、マスキング信号の出力を適切に制御することが可能となる。
【００７２】
（第３の実施形態）
上述の第２の実施形態は、出力音声に対するマスキング信号の生成、出力を、音声出力に関する操作により発行されるイベントのみに基づき行うものであったが、音声入力機能に係る第１の実施形態で説明したように、周辺環境を測定し、この情報も用いて、マスキング信号を生成、出力することもできる。
【００７３】
図１５は、本実施形態に係る音声出力装置の機能構成を示すブロック図である。これは、第２の実施形態に係る図１１の構成に、周辺環境測定部１５０５を付加した構成である。この周辺環境測定部１５０５は、この音声出力装置の周辺の騒音レベル、騒音方向、騒音位置、本装置の周辺に存在する第三者の有無、第三者の方向および位置を測定する。その他の構成要素は図１１と同様であるから、同じ参照番号を付して説明を省略する。
【００７４】
図１６は、本実施形態における音声出力装置の外観構成の一例を示す図である。
【００７５】
１６０１は、図１に示したハードウェアを収容する音声出力装置の本体である。１６０２は、利用者に対して音声出力を行うための音声出力用スピーカで、図１の音声出力用スピーカ１０６に相当する。また、１６０６、１６０７、１６０８は、第三者に対してマスキング信号を出力するためのマスキング信号出力用スピーカで、図１のマスキング信号出力用スピーカ１０７に相当する。
【００７６】
１６０３、１６０４、１６０５は、本装置の周辺の騒音レベルを３点で測定するためのマイクロフォンである。このように、周辺環境を測定するためのマイクロフォンやマスキング信号を出力するためのスピーカを複数設けたので、マイクロフォン１６０３、１６０４、１６０５によって測定された個々の騒音レベルに応じて、マスキング信号出力用スピーカ１６０６、１６０７、１６０８から出力する個々のマスキング信号のレベルを変化させることが可能となる。
【００７７】
また、この例のように、周辺環境を測定するためのマイクロフォンやマスキング信号用のスピーカを複数設ける場合には、指向性のマイクロフォンおよびスピーカを用いることが望ましい。また、マスキング信号用スピーカ１６０６、１６０７、１６０８から出力される信号によって、１６０２の音声出力が利用者に聞こえにくくならないようにするために、マスキング信号出力用スピーカ１６０６、１６０７、１６０８は、スピーカ１６０２よりも利用者から離れた位置に設置することが望ましい。
【００７８】
また、周辺環境の測定は、騒音に関するもののほか、本装置の周辺に存在する第三者の有無、第三者の方向および位置など利用者以外の人に関する測定を行うこと、あるいはそれらを組み合わせることもできる。この場合は、音声入力機能に係る第１の実施形態で説明した図１０のフローチャートと同様な方法によって実現が可能である。
【００７９】
以上の説明から明らかなように、本実施形態によれば、音声出力装置において、周辺環境の測定結果を考慮することによって、出力音声が周辺の第三者に聞かれず、かつ、第三者が不快にならないように、マスキング信号の出力を適切に制御することが可能となる。
【００８０】
（第４の実施形態）
第４の実施形態では、音声入力機能と音声出力機能を協働させることで図１の音声処理装置を音声対話装置として機能させる場合について説明する。
【００８１】
図１７は、本実施形態に係る音声対話装置の機能構成を示すブロック図である。
【００８２】
１７０５は、利用者の入力音声の認識を行う音声認識部である。１７０３は、音声認識部１７０５の動作状態を管理する音声入力状況管理部で、ここで音声認識に関するイベントが監視される。１７０１は、本装置周辺の騒音レベル、騒音方向、騒音位置、本装置の周辺に存在する第三者の有無、第三者の方向および位置を測定する周辺環境測定部である。１７０２は、音声入力状況管理部１７０３および周辺環境測定部１７０１からの情報に基づき、第三者に対して入力音声または出力音声をマスクするマスキング信号を決定するマスキング信号決定部である。１７０４は、マスキング信号決定部１７０２で決定されたマスキング信号の出力を制御するマスキング信号制御部である。１７０９は、合成音声を出力する音声出力部である。１７０７は、音声出力部１７０７の動作状態を管理する音声出力状況管理部で、ここで音声合成に関するイベントが監視される。１７０６は、音声認識部１７０５の結果を解釈する認識結果解釈部である。１７０８は、利用者との対話の状態を管理する対話管理部である。そして、１７１０は、対話状態に応じて利用者に音声出力する内容を生成する応答生成部である。
【００８３】
図１８は、本実施形態における音声対話装置の外観構成の一例を示す図である。
【００８４】
１８０１は、図１に示したハードウェアを収容する音声対話装置の本体である。１８０４は、第三者に対してマスキング信号を出力するためのマスキング信号出力用スピーカで、図１のマスキング信号出力用スピーカ１０７に相当する。この例のように、マスキング信号用のスピーカが一つしかない場合や、予め第三者の存在する方向が分からない場合などでは、無指向性のスピーカを用いることが望ましい。１８０２は、利用者の音声入力および周辺の騒音環境を測定するためのマイクロフォンで、図１のマイクロフォン１０５に相当する。マスキング信号用スピーカ１８０４から出力されるマスキング信号によって、音声入力が適切に行えるようにするために、マイクロフォン１８０２はマスキング信号出力用スピーカ１８０４よりも利用者に近い位置に設置することが望ましい。
【００８５】
１８０３は、利用者に対して音声出力を行うための音声出力用スピーカで、図１の音声出力用スピーカ１０６に相当する。マスキング信号用スピーカ１８０４から出力されるマスキング信号によって、出力音声が利用者に聞こえにくくならないようにするために、音声出力用スピーカ１８０３はマスキング信号出力用スピーカ１８０４よりも利用者の耳に近い位置に設置することが望ましい。
【００８６】
図１９は、本実施形態の音声対話装置におけるマスキング信号出力のタイミングの一例を示している。横軸は経過時間を表わしており、縦軸は、上から順に、音声対話装置の応答（Ｓｙｓｔｅｍ）、利用者の発声（Ｕｓｅｒ）、マスキング信号の出力（Ｍａｓｋ）である。この例では、まず、Ｓｙｓｔｅｍが時刻ｔ１から時刻ｔ３にかけて、「それでは氏名を入力してください」と音声出力し、これに続いて、時刻ｔ４から時刻ｔ５にかけて、Ｕｓｅｒによって「山田太郎」と発声され、さらにその後、Ｓｙｓｔｅｍが時刻ｔ８から時刻ｔ９にかけて、「山田太郎さんですね」と確認の音声出力を行っている場面が示されている。
【００８７】
このとき、マスキング信号は以下のタイミングで出力されている。まず、最初のＳｙｓｔｅｍの「それでは氏名を入力してください」という時刻ｔ１〜ｔ３での音声出力は、第三者に聞かれても構わないと考えられるため、この音声出力に対するマスキング信号は出力されない。次に、Ｕｓｅｒの「山田太郎」という発声に対しては、マスキング信号を出力する必要がある。このとき、利用者はＳｙｓｔｅｍの音声出力の終了を待たずに発声を開始することが考えられるため、図示のように、マスキング信号は、Ｓｙｓｔｅｍの音声出力の終了時刻ｔ３よりも早い時刻ｔ２から出力を開始することが好ましい。また、このマスキング信号の終了時刻は、Ｕｓｅｒの「山田太郎」という発声の終了時刻ｔ５に若干のマージンを加えた時刻ｔ６としている。
【００８８】
次に、Ｓｙｓｔｅｍの「山田太郎さんですね」という音声出力も、第三者に聞かれて欲しくない情報であると考えられるため、この出力の開始時刻ｔ８と終了時刻ｔ９に若干のマージンを考慮した時刻ｔ７から時刻ｔ１０の間でマスキング信号を出力している。
【００８９】
なお、マスキング信号の出力のタイミングはこの例に限ったものでないことは言うまでもない。他にも、利用者が装置を使用している間や装置の電源がオンになっている際には、常にマスキング信号を出力しておき、第三者に聞かせたくないと考えられる入出力のタイミングにおいて、マスキング信号のレベルを大きくしてもよい。他にも、利用者に発声を求める際のプライバシー度の高低に応じてマスキング信号のレベルを変化させてもよい。また、周辺環境を測定するためのマイクロフォンの取り付け位置や個数、マスキング信号を出力するためのスピーカの取り付け位置や個数は図１８に示したものに限らないことは言うまでもない。
【００９０】
また、前述のように、周辺環境として、赤外線センサやビデオカメラなどを用いて第三者に関する情報を測定し、これを用いてマスキング信号を決定、制御するようにしてもよい。
【００９１】
以上の説明から明らかなように、本実施形態の音声対話装置によれば、利用者の入力音声や機器の出力音声が周辺の第三者に聞かれず、かつ、第三者が不快にならないように、マスキング信号の出力を適切に制御することが可能となる。
【００９２】
（他の実施形態）
以上、本発明の実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００９３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。その場合、プログラムの機能を有していれば、その形態はプログラムである必要はない。
【００９４】
従って、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体およびそのプログラムを格納した記憶媒体も本発明を構成することになる。つまり、本発明の特許請求の範囲には、本発明の機能処理を実現するためのコンピュータプログラム自体、およびそのプログラムを格納した記憶媒体も含まれる。
【００９５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００９６】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などがある。
【００９７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、そのホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。
【００９８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００９９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１００】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１０１】
【図１】本発明が適用される音声処理装置のハードウェア構成を示すブロック図である。
【図２】第１の実施形態に係る音声入力装置の機能構成を示すブロック図である。
【図３】第１の実施形態に係る周辺環境測定部とマスキング信号決定部の処理フローの一例を示すフローチャートである。
【図４】第１の実施形態に係る音声入力部と音声入力状況管理部の処理フローの一例を示すフローチャートである。
【図５】第１の実施形態に係るマスキング信号制御部の処理フローの一例を示すフローチャートである。
【図６】第１の実施形態におけるマスキング信号のレベルを決定する際に用いる関数の一例を示す図である。
【図７】第１の実施形態における音声の入力レベルを利用して動的にマスキング信号レベルを決定する処理フローの一例を示すフローチャートである。
【図８】第１の実施形態における音声入力装置の外観構成の一例を示す図である。
【図９】第１の実施形態における音声入力装置の外観構成の別の例を示す図である。
【図１０】第１の実施形態における周辺環境測定部とマスキング信号決定部の処理フローの一例を示すフローチャートである。
【図１１】第２の実施形態に係る音声出力装置の機能構成を示すブロック図である。
【図１２】第２の実施形態における音声出力部と音声出力状況管理部の処理フローの一例を示すフローチャートである。
【図１３】第２の実施形態におけるマスキング信号制御部の処理フローの一例を示すフローチャートである。
【図１４】第２の実施形態における音声出力装置の外観構成の一例を示す図である。
【図１５】第３の実施形態に係る音声出力装置の機能構成を示すブロック図である。
【図１６】第３の実施形態における音声出力装置の外観構成の一例を示す図である。
【図１７】第４の実施形態に係る音声対話装置の機能構成を示すブロック図である。
【図１８】第４の実施形態における音声対話装置の外観構成の一例を示す図である。
【図１９】第４の実施形態の音声対話装置におけるマスキング信号出力のタイミングの一例を示す図である。
【図２０】第１の実施形態におけるマスキング信号のレベルを決定する際に用いる関数の一例を示す図である。
【図１】
2006215206.tif 000003
【図２】
2006215206.tif 000004
【図３】
2006215206.tif 000005
【図４】
2006215206.tif 000006
【図５】
2006215206.tif 000007
【図６】
2006215206.tif 000008
【図７】
2006215206.tif 000009
【図８】
2006215206.tif 000010
【図９】
2006215206.tif 000011
【図１０】
2006215206.tif 000012
【図１１】
2006215206.tif 000013
【図１２】
2006215206.tif 000014
【図１３】
2006215206.tif 000015
【図１４】
2006215206.tif 000016
【図１５】
2006215206.tif 000017
【図１６】
2006215206.tif 000018
【図１７】
2006215206.tif 000019
【図１８】
2006215206.tif 000020
【図１９】
2006215206.tif 000021
【図２０】
2006215206.tif 000022