(57)【特許請求の範囲】
【請求項１】
入力音声信号を周波数領域の信号に変換する周波数変換部と、
明瞭度を設定する明瞭度設定部と、
上記周波数領域の信号を、上記明瞭度が小さいほど分割数が大きくなり、上記明瞭度が大きいほど分割数が小さくなるように複数の周波数帯域に分割して帯域分割信号を出力する帯域分割部と、
上記帯域分割信号毎の特徴量を計算する特徴量計算部と、
上記複数の周波数帯域毎に、上記帯域分割信号の特徴量と入力音声信号以外の所定の音響周波数信号を乗算するフィルタ部と、
上記フィルタ部の出力信号を時間領域信号に変換する周波数逆変換部と、
を具備することを特徴とするコミュニケーション音声処理装置。
【請求項２】
入力音声信号を周波数領域の信号に変換する周波数変換部と、
上記周波数領域の信号を所定の周波数帯域に分割して帯域分割信号を出力する帯域分割部と、
上記帯域分割信号毎の特徴量を計算する特徴量計算部と、
上記複数の周波数帯域毎に、上記帯域分割信号の特徴量と入力音声信号以外の所定の音響周波数信号を乗算するフィルタ部と、
明瞭度を設定する明瞭度設定部と、
上記フィルタ部の出力信号の位相特性を、上記明瞭度が大きいほど上記入力音声信号の位相特性に近く、上記明瞭度が小さいほど上記入力音声信号以外の所定の音響周波数信号の位相特性に近くなるように変化させ、時間領域の信号に変換する周波数逆変換部と、
を具備することを特徴とするコミュニケーション音声処理装置。
【請求項３】
入力音声信号を周波数領域の信号に変換する周波数変換部と、
上記周波数領域の信号を所定の周波数帯域に分割して帯域分割信号を出力する帯域分割部と、
上記帯域分割信号毎の特徴量を計算する特徴量計算部と、
明瞭度を設定する明瞭度設定部と、
上記周波数変換部の出力信号と、入力音声信号以外の所定の音響周波数信号とを、上記明瞭度が大きいほど上記周波数変換部の出力信号の重みが大きくなり、上記明瞭度が小さいほど上記周波数変換部の出力信号の重みが小さくなるように重み付けして足し合わせる重み付き加算部と、
上記複数の周波数帯域毎に、上記帯域分割信号の特徴量と上記重み付き加算部の出力信号とを乗算するフィルタ部と、
上記フィルタ部の出力信号を時間領域信号に変換する周波数逆変換部と、
を具備することを特徴とするコミュニケーション音声処理装置。
【請求項４】
周波数変換部が、入力音声信号を周波数領域の信号に変換する周波数変換過程と、
明瞭度設定部が明瞭度を設定する明瞭度設定過程と、
帯域分割部が、上記周波数領域の信号を上記明瞭度が小さいほど分割数が大きくなり、上記明瞭度が大きいほど分割数が小さくなるように複数の周波数帯域に分割して帯域分割信号を出力する帯域分割過程と、
特徴量計算部が、上記帯域分割信号毎の特徴量を計算する特徴量計算過程と、
フィルタ部が、上記複数の周波数帯域毎に、上記帯域分割信号の特徴量と入力音声信号以外の所定の音響周波数信号を乗算するフィルタ過程と、
周波数逆変換部が、上記フィルタ部の出力信号を時間領域信号に変換する周波数逆変換過程と、
を含むことを特徴とするコミュニケーション音声処理方法。
【請求項５】
周波数変換部が、入力音声信号を周波数領域の信号に変換する周波数変換過程と、
帯域分割部が、上記周波数領域の信号を所定の周波数帯域に分割して帯域分割信号を出力する帯域分割過程と、
特徴量計算部が、上記帯域分割信号毎の特徴量を計算する特徴量計算過程と、
フィルタ部が、上記複数の周波数帯域毎に、上記帯域分割信号の特徴量と入力音声信号以外の所定の音響周波数信号を乗算するフィルタ過程と、
明瞭度設定部が明瞭度を設定する明瞭度設定過程と、
周波数逆変換部が、上記フィルタ部の出力信号の位相特性を、上記明瞭度が大きいほど上記入力音声信号の位相特性に近く、上記明瞭度が小さいほど上記入力音声信号以外の所定の音響周波数信号の位相特性に近くなるように変化させ、時間領域の信号に変換する周波数逆変換過程と、
を含むことを特徴とするコミュニケーション音声処理方法。
【請求項６】
周波数変換部が、入力音声信号を周波数領域の信号に変換する周波数変換過程と、
帯域分割部が、上記周波数領域の信号を所定の周波数帯域に分割して帯域分割信号を出力する帯域分割過程と、
特徴量計算部が、上記帯域分割信号毎の特徴量を計算する特徴量計算過程と、
明瞭度設定部が明瞭度を設定する明瞭度設定過程と、
重み付き加算部が、上記周波数変換部の出力信号と、入力音声信号以外の所定の音響周波数信号とを、上記明瞭度が大きいほど上記周波数変換過程の出力信号の重みが大きくなり、上記明瞭度が小さいほど上記周波数変換部の出力信号の重みが小さくなるように重み付けして足し合わせる重み付き加算過程と、
フィルタ部が、上記帯域毎の特徴量に応じて上記重み付き加算部の出力信号をフィルタリングするフィルタ過程と、
周波数逆変換部が、上記フィルタ部の出力信号を時間領域信号に変換する周波数逆変換過程と、
を含むことを特徴とするコミュニケーション音声処理方法。
【請求項７】
請求項１から３の何れかに記載されたコミュニケーション音声処理装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、遠隔地間を通信で結ぶ映像コミュニケーションと音声コミュニケーションにおける音声処理方法と、その装置と、そのプログラムに関する。
【背景技術】
【０００２】
近年、通信網の発達により、遠隔地間を常時接続の回線で結ぶ通信環境が整備されつつある。これら常時接続環境は、家庭では見守りサービスとして、或いは遠隔地間の家族のコミュニケーションに用いられる。職場においては、遠隔地を結んだ共同作業、または在宅勤務でテレワークを行う際に用いられる。しかし、常時接続環境下では、通信する双方の状況が常にマイクロホンで収音され、また各種センサで情報が収集されるので、送り手と聞き手の双方でプライバシーを侵害してしまう問題が生ずる。
【０００３】
従来、常時接続環境下において、この問題を回避しながら常時接続のコミュニケーションを行う方法として、特許文献１に開示された映像コミュニケーション装置が知られている。図２０を参照して従来の映像コミュニケーション装置を簡単に説明する。映像コミュニケーション装置１００は、通信端末であり、入力手段１０と、出力手段２０と、通信制御手段３０と、端末状況情報処理手段４０と、入出力制御処理手段５０と、音声処理手段６０と、映像処理手段７０とで構成される。入力手段１０は、撮像手段１１と、音声入力手段１２と、近接検出手段１３と、操作手段１４とを有する。近接手段１３は、赤外線や超音波等を利用した距離センサであり、映像コミュニケーション装置１００とユーザとの距離を測るものである。近接手段１３で検出した近接情報は、端末状況情報処理手段４０に入力される。端末状況情報処理手段４０は、近接情報を元に、入出力制御処理手段５０を介して映像処理手段７０と音声処理手段６０の動作を制御する。映像処理手段７０は、入出力制御処理手段５０からの制御信号によって、映像の鮮明度を低下させる処理を行なう。音声処理手段６０は、同様に音声の鮮明度を低下させる処理、または、音量を小さくする処理を行なう。ユーザと映像コミュニケーション装置１００との距離が近く、ユーザが通信相手とコミュニケーションを積極的に取りたい場合には、映像と音声の鮮明度を高くする。逆に、ユーザと映像コミュニケーション装置１００との距離が遠く、コミュニケーションを取ることについて消極的な場合には、映像と音声の鮮明度を低下させ、或いは音量を小さくするものである。
【特許文献１】特開２００６−１４０７４７号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のコミュニケーション装置の音声の鮮明度を低下させる具体的な処理については、特許文献１にその記載は無い。一般的に音声の鮮明度を低下させると聞き難くなり、聞き手は不快に感じることが多く、コミュニケーション装置として使い勝手が悪かった。また、音声を小さくする方法の場合には、聞き手が聞き耳を立てれば会話の内容が分かってしまう。このように、従来のコミュニケーション装置は、プライバシー保護と使い勝手の両面から見て不十分なものであった。
【０００５】
この発明は、このような点に鑑みてなされたものである。特に音声処理装置に着目し、プライバシーの侵害を回避しつつ、相手の状況が把握でき、且つ、聞き手も不快にならないコミュニケーション音声処理装置とその方法、及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明によるコミュニケーション音声処理装置は、周波数変換部と、明瞭度設定部と、帯域分割部と、特徴量計算部と、フィルタ部と、周波数逆変換部とを具備する。周波数変換部は、入力音声信号を周波数領域の信号に変換する。明瞭度設定部は明瞭度を設定する。帯域分割部は、入力音声信号の周波数分析を行ない所定の周波数帯域に分割された帯域分割信号を生成する。特徴量計算部は、帯域分割信号毎の特徴量を計算する。フィルタ部は、複数の周波数帯域毎に、帯域分割信号の特徴量と入力音声信号以外の所定の音響周波数信号を乗算する。周波数逆変換部は、フィルタ部の出力信号を時間領域信号に変換する。
【発明の効果】
【０００７】
この発明のコミュニケーション音声処理装置は、マイクロホン部で収音した入力音声信号の特徴量によってフィルタリングされた雑音、環境音、楽音等の音響信号を、出力信号として出力する。したがって、音響信号を聞き心地の良い音にすることにより、聞き手を不快にすることなく送り手（自己）のプライバシーを保護することが出来る。また、入力音声信号の特徴量によりフィルタリングされた音響信号によって、相手側の音声の詳細は隠蔽されるが、プライバシーを保護しながら会話を含めた状況の雰囲気を伝達することが可能である。さらに、この発明のコミュニケーション音声処理装置は、マイクロホンの入力信号のみを用いて処理を行なうので、通信装置やシステムへの組み込みが容易である。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【０００９】
図１にこの発明のコミュニケーション音声処理装置の実施例１の機能構成例を示す。その動作フローを図２に示す。コミュニケーション音声処理装置２１０は、マイクロホン部１と、帯域分割部２と、特徴量計算部３と、フィルタ部４と、明瞭度設定部５と、出力部６とを具備する。常時接続を可能にする通信制御手段と、図示しないネットワークを介して伝達される聞き手側（他方のコミュニケーション音声処理装置）からの音声を入力して再生する手段については、この発明の要部では無いので省略している。マイクロホン部１は、周囲の音を収音し、入力音声信号ｘ（ｎ）を帯域分割部２と出力部６に出力する（図２のステップＳ１）。ここで、(ｎ)は、ある所定のサンプリング間隔で離散化された離散時間を示す。図１において音声信号を離散値化するＡ/Ｄコンバータについては省略している。帯域分割部２は、入力音声信号ｘ（ｎ）を入力とし、例えばフィルタバンク分析によって周波数分析を行い、所定の周波数帯域に分割した帯域分割信号ｘｍ（ｎ）を生成する（ステップＳ２）。ｍは分割した帯域の番号を表わす。例えば、ｍ＝１６であり、１６等分された帯域分割信号ｘｍ（ｎ）を生成する。等分割でなくても、対数スケールでの分割や、聴覚特性に応じた分割を行っても良い。
ｍの値が大きいほど、後述するフィルタ部４の出力する出力信号ｘｃ（ｎ）の音声的特徴が、入力音声信号ｘ（ｎ）に近づく。帯域分割部２は、帯域分割信号ｘｍ（ｎ）を特徴量計算部３に入力する。
【００１０】
特徴量計算部３は、帯域分割信号ｘｍ（ｎ）毎の例えば平均パワーを計算し、各帯域の特徴量Ｐｍを出力する（ステップＳ３）。平均パワーの計算は、時間方向に平滑化処理を行なっても良い。平滑化することにより、時間軸での平均パワーの急激な変化を防止することが出来る。例えば、現処理フレームをｋとし、現フレームでの帯域平均パワーをＰｔｍｐ（ｋ,ｍ）とし、１フレーム前の帯域平均パワーをＰ（ｋ-１,ｍ）とする。帯域平均パワーＰ（ｋ,ｍ）を式（１）によって求めても良い。
【００１１】
Ｐ（ｋ,ｍ）＝（１−α）・Ｐｔｍｐ（ｋ,ｍ）＋α・Ｐ（ｋ-１,ｍ）        （１）
ここでαは平滑化のための時定数である。各帯域毎の特徴量Ｐｍは、フィルタ部４の一方の入力信号として入力される。フィルタ部４の他方の入力として、雑音、環境音、楽音等の音響信号ｚ（ｎ）が外部から入力される。フィルタ部４のフィルタ係数生成部４ａは、特徴量Ｐｍに応じたフィルタ係数Ｄｍを生成する。フィルタ部４は、フィルタ係数Ｄｍ毎にＤｍ＊ｚｍ（ｎ）を計算してｘｃ（ｎ）を得る（ステップＳ４）。＊は畳み込み演算を意味する。ここで、音響信号ｚ（ｎ）を、長時間聞いても不快に感じないような例えばバブル音にすると、ｘｃ（ｎ）は、帯域分割信号ｘｍ（ｎ）の平均パワー変動を持つ出力信号になる。出力部６は、入力音声信号ｘ（ｎ）と、フィルタ部４の出力信号ｘｃ（ｎ）と、制御信号ｃ（ｎ）を入力として出力信号ｙ（ｎ）を出力する（ステップＳ６）。制御
信号ｃ（ｎ）を、０〜１までの値とすると、出力信号ｙ（ｎ）は、例えば式（２）で計算される。
【００１２】
ｙ（ｎ）＝（１−ｃ（ｎ））・ｘ（ｎ）＋ｃ（ｎ）・ｘｃ（ｎ）        （２）
制御信号ｃ（ｎ）は、段階的に設定される値でも良いし、固定値でも良い。出力信号ｙ（ｎ）は、図示しない通信制御手段を介して、ネットワークの先に接続された聞き手側のコミュニケーション音声処理装置に送信される。
【００１３】
実施例１のコミュニケーション音声処理装置２１０で処理をした入力音声信号ｘ（ｎ）
と出力信号ｙ（ｎ）の信号波形を図３（ａ）と図３（ｂ）に示す。図３（ａ）,（ｂ）の横軸は、時間（秒）であり、縦軸は振幅である。図３（ａ）は、１６ｋＨｚでサンプリングされた音声データベースの女性の声の音声波形である。また、図示していない音響信号ｚ（ｎ）にはバブル音を用いた。図３（ｂ）は、制御信号ｃ（ｎ）＝１とした場合の出力信号ｙ（ｎ）の信号波形である。ｍの値は１６である。入力音声信号ｘ（ｎ）の４,８,１２秒付近の無音区間では、出力信号ｙ（ｎ）も無音区間である。また、各音声波形の時間崩落曲線の形に注目すると、出力信号ｙ（ｎ）と入力音声信号ｘ（ｎ）の波形が類似していることが分かる。この例では、制御信号ｃ（ｎ）＝１なので、出力信号ｙ（ｎ）はフィルタ部４の出力信号ｘｃ（ｎ）となる（式（２））。その出力信号は、入力音声信号ｘ（ｎ）の周波数帯域毎の平均パワー変動を持った音声信号となるので、言葉の意味は不明であるが、言葉の雰囲気は伝達することが出来る。したがって、会話の内容を隠蔽しつつ、話をしている様子を伝えることが出来る。更に出力信号ｙ（ｎ）は、バブル音を入力音声信号の特徴量でフィルタリングしたものなので長時間聞いても不快に感じない。
【００１４】
なお、帯域分割部２の周波数分析手段として、フィルタバンク分析を用いた例で説明を行ったが、短時間フーリエ変換やウェーブレット変換を用いても良い。また、音響信号ｚ（ｎ）は、外部から供給される例で説明を行ったが、図１中に破線で示す様に、コミュニケーション音声処理装置２１０内に信号保存部７を設け、音響信号ｚ（ｎ）を保存しておいても良い。
【００１５】
実施例1は、明瞭度設定部５に設定された明瞭度に応じてフィルタ部の出力信号と入力音声信号との配分を変えて出力信号ｙ（ｎ）を生成する。以降、この機能を説明の便宜上プライバシー機能と称する。実施例１では、このプライバシー機能の動作は常時行なわれ、選択の余地が無い。例えば、プライバシーの保護の必要の無い幼児の見守り等にこの発明のコミュニケーション音声処理装置を用いる場合に、実施例１の構成では使い難い場合もある。そこで、このプライバシー機能を選択的にＯＮ/ＯＦＦ出来るようにした実施例２を次に説明する。
【実施例２】
【００１６】
この発明の実施例２のコミュニケーション音声処理装置２２０の機能構成例を図４に示す。その動作フローを図５に示す。コミュニケーション音声処理装置２２０は、プライバシー機能を周波数領域の信号で処理するようにしたものである。実施例１に対して、実施例２は、スイッチ部４１と、処理制御部４２と、周波数変換部４３と、周波数逆変換部４７とが加えられ、帯域分割部４４と出力部４５の動作が変る。よって、ここでは、新たに追加された構成と、実施例１と動作が異なる部分について説明する。
【００１７】
スイッチ部４１は、各種ボタン、タッチセンサ、ダイヤル等の一般的なユーザーインターフェースを持つ入力装置であり、スイッチ信号ｐ（ｎ）を処理制御部４２と出力部４５に出力する。スイッチ信号ｐ（ｎ）は、ｐ（ｎ）＝“１”（“１,０”は論理レベルを意味する。）の時にプライバシー機能をＯＮとし、ｐ（ｎ）＝“０”の時にプライバシー機能をＯＦＦとする信号である。
【００１８】
処理制御部４２は、マイクロホン部１の出力する離散化された入力音声信号ｘ（ｎ）と、スイッチ信号ｐ（ｎ）を入力として出力を決定する。処理制御部４２は、スイッチ信号ｐ（ｎ）＝“１”の時に入力音声信号ｘ（ｎ）を周波数変換部４３に入力する（図５のステップＳ４２のＹｅｓ）。周波数変換部４３は、入力音声信号ｘ（ｎ）を例えば短時間フーリエ変換を用いて周波数領域信号Ｘ（ω）に変換する。短時間フーリエ変換は、一定の大きさの窓関数を用いて入力音声信号ｘ（ｎ）を切り出し、その信号を高速フーリエ変換（ＦＦＴ）して周波数領域信号Ｘ（ω）を計算する。ＦＦＴサイズは、例えば１６ｋＨｚサンプリング、サンプル数２５６、シフト長１/２といった値である。帯域分割部４４は、周波数領域信号Ｘ（ω）を、例えば１６等分して帯域分割信号Ｘｍ（ω）を生成する（ステップＳ４４）。特徴量計算部３は、実施例１と同じであり、各帯域の特徴量Ｐｍをフィルタ部４６の一方の入力信号として出力する。フィルタ部４６も他方の入力には、帯域分割信号Ｘｍ（ω）の分割前の周波数信号と同一周波数帯の、雑音、環境音、楽音等の音響周波数信号Ｚ（ω）が外部から入力される。フィルタ部４６は、特徴量Ｐｍの分割数に対応させて、音響周波数信号Ｚ（ω）を分割したＺｍ（ω）を生成する。そしてＺｍ（ω）を特徴量Ｐｍでフィルタリングする（ステップＳ４６）。つまり、帯域毎にＰｍ・Ｚｍ（ω）を計算してＸｃｍ（ω）を得、全帯域のＸｃｍ（ω）を足し合わせたＸｃ（ω）を周波数逆変換部４７に出力する。なお、音響周波数信号Ｚ（ω）の周波数帯域は、入力音声信号の周波数帯域と、必ずしも一致する必要は無い。所望の帯域に合わせて分割数を調整すれば良い。
【００１９】
周波数逆変換部４７は、例えば短時間フーリエ逆変換を用いて、フィルタ部４６の出力するＸｃ（ω）を時間領域の信号ｘｃ（ｎ）に変換する（ステップＳ４７）。
【００２０】
出力部４５は、制御信号ｃ（ｎ）と、スイッチ信号ｐ（ｎ）と、入力音声信号ｘ（ｎ）と、周波数逆変換部４７の出力信号ｘｃ（ｎ）を入力として出力信号ｙ（ｎ）を合成して出力する（ステップＳ４５）。出力部４５はスイッチ信号ｐ（ｎ）＝“１”の時、制御信号ｃ（ｎ）の値に応じて入力音声信号ｘ（ｎ）と、周波数逆変換部４７の出力信号ｘｃ（ｎ）の配分を変えて足し合わせて出力信号ｙ（ｎ）を合成する（ステップＳ４５１）。スイッチ信号ｐ（ｎ）＝“０”の時は、入力音声信号ｘ（ｎ）をそのまま出力信号ｙ（ｎ）（ｙ（ｎ）＝ｘ（ｎ））として出力する（ステップＳ４５２、収音信号出力処理）。つまり、プライバシー機能はＯＦＦになる。
【００２１】
このようにスイッチ部４１の出力するスイッチ信号ｐ（ｎ）によって、プライバシー機能をＯＮ/ＯＦＦすることが出来、この発明のコミュニケーション音声処理装置の使い勝手を向上させることが出来る。なお、音響周波数信号Ｚ（ω）をそのまま保存するのではなく、時間領域の音声データを記録しておき、フィルタ部４６でフィルタリングする都度、音声データを周波数分析して音響周波数信号Ｚ（ω）を生成しても良い。また、フィルタ部４６で特徴量Ｐｍの分割数に対応させて音響周波数信号Ｚ（ω）を分割したＺｍ（ω）を計算する例で説明を行ったが、予めＺｍ（ω）を記録しておいても良い。また、フィルタ部４６のフィルタ動作を、帯域毎にＰｍ・Ｚｍ（ω）を計算する例で説明を行ったが、音響周波数信号Ｚｍ（ω）に単純に特徴量Ｐｍを乗算すると、Ｘｃ（ω）が歪んでしまうことがある。その場合は、全帯域の平均パワーと、Ｘｃ（ω）の平均パワーが等しくなるように正規化する係数Ｗを導入して、帯域毎にＷ・Ｐｍ・Ｚｍ（ω）を計算するようにしても良い。
【００２２】
なお、プライバシー機能をＯＮ/ＯＦＦさせる目的は、実施例１の構成にスイッチ部４１を設け、出力部６を出力部４５に変更することでも実現出来る。
【実施例３】
【００２３】
図６にこの発明の実施例３のコミュニケーション音声処理装置２３０の機能構成例を示す。その動作フローを図７に示す。実施例３は、実施例２の明瞭度設定部５の代わりにセンサ部６１が設けられたものである。他の構成は、実施例２と同じである。ここでは、センサ部６１と出力部６２の動作を説明する。
【００２４】
センサ部６１は、周囲環境情報を検出して、コミュニケーション音声処理装置２３０と話者との距離を表わすセンサデータｓ（ｎ）を出力部６２に出力する（ステップＳ６１）。センサ部６１を構成する検出デバイスとしては、マイクロホン、ＣＣＤ撮像素子、温度センサ、超音波センサ、赤外線センサ等が利用出来る。これらのどの検出デバイスを用いても一般的な回路構成で、コミュニケーション音声処理装置２３０と話者との距離を検出することが可能である。距離を検出する方法は、従来技術で簡単に実現できるので、具体的な構成を示した説明は省略する。検出されたセンサデータｓ（ｎ）は、例えばセンサ部６１内に設けられたβ（ｎ）変換部６１ａで０〜１までの値に変換されて、出力部６２に入力される。
【００２５】
出力部６２は、β（ｎ）と、入力音声信号ｘ（ｎ）と、スイッチ信号ｐ（ｎ）と、周波数逆変換部４７の出力信号ｘｃ（ｎ）を入力として出力信号ｙ（ｎ）を合成して出力する（ステップＳ６２）。出力部６２は、出力信号ｙ（ｎ）を式（３）で計算される値に合成する（ステップＳ６２１）。
【００２６】
ｙ（ｎ）＝（１−β（ｎ））・ｘ（ｎ）＋β（ｎ）・ｘｃ（ｎ）        （３）
出力部６２のスイッチ信号ｐ（ｎ）に対する動作は、実施例２と同じである。センサ部６１を明瞭度設定部５の代わりに設けたことで、コミュニケーション音声処理装置２３０と話者との距離によって、出力信号ｙ（ｎ）の明瞭度を自動的に変えることが可能になる。話者の位置が、コミュニケーション音声処理装置２３０に近い場合はβ（ｎ）の値が小さいので、出力信号ｙ（ｎ）に占める入力音声信号ｘ（ｎ）の割合が大きくなる。したがって、出力信号ｙ（ｎ）は明瞭になる。逆に話者の位置が、コミュニケーション音声処理装置２３０から遠い場合は、フィルタリングされた周波数逆変換部４７の出力信号ｘｃ（ｎ）の割合が大きくなるので、出力信号ｙ（ｎ）は不明瞭になる。スイッチ信号ｐ（ｎ）＝“０”の時は、入力音声信号ｘ（ｎ）がそのまま出力信号ｙ（ｎ）として出力される（ステップＳ６２２）。
【００２７】
このように、センサ部６１を設けることで自動的に出力信号ｙ（ｎ）の明瞭度を可変することが可能になる。なお、β（ｎ）変換部６１ａは、出力部６２内に設けても良い。
【実施例４】
【００２８】
実施例２の変形例のコミュニケーション音声処理装置２４０を、実施例４として図８に示す。動作フローを図９に示す。実施例４は、実施例２（図４）に対して明瞭度設定部５に設定される制御信号ｃ（ｎ）が帯域分割部８１に入力される点と、出力部８２の動作が異なっている。他の部分は実施例２と同じである。
【００２９】
帯域分割部８１は、周波数変換部４３からの周波数領域信号Ｘ（ω）と、明瞭度設定部５からの制御信号ｃ（ｎ）とを入力として帯域分割信号Ｘｍ（ω）を特徴量計算部３に出力する（図９のステップＳ６１）。実施例２では、例えばｍ＝１６として説明したｍの値が、制御信号ｃ（ｎ）によって決定される。例えば、制御信号ｃ（ｎ）が０〜１までの値をとるとき、ｃ（ｎ）が小さい程、ｍの値を３２に近づけ、ｃ（ｎ）が大きい程、ｍを１６に近づける。つまり、ｍの値が大きく帯域分割数が多いと周波数逆変換部４７の出力信号ｘｃ（ｎ）のバブル音は、入力音声信号ｘ（ｎ）により近い特徴を持つ音声信号になる。逆にｍの値が小さいと、周波数逆変換部４７の出力信号ｘｃ（ｎ）は、バブル音により近くなる。出力部８２は、スイッチ信号ｐ（ｎ）＝“１”の時、周波数逆変換部４７の出力信号ｘｃ（ｎ）を出力する。スイッチ信号ｐ（ｎ）＝“０”の時は、入力音声信号ｘ（ｎ）を出力する。
【００３０】
したがって、スイッチ信号ｐ（ｎ）＝“１”で、且つ、制御信号ｃ（ｎ）の値が小さい時は、出力信号ｙ（ｎ）に重畳する周波数逆変換部４７の出力信号ｘｃ（ｎ）はよりバブル音に近いので、出力信号ｙ（ｎ）の明瞭度は低下する。ｃ（ｎ）の値が大きい時、周波数逆変換部４７の出力信号ｘｃ（ｎ）は、入力音声信号ｘ（ｎ）に近い特性を持つので、出力信号ｙ（ｎ）の明瞭度が向上する。このように実施例４の構成でも、明瞭度設定部５に設定した制御信号ｃ（ｎ）の値によって、出力信号ｙ（ｎ）の明瞭さを制御することが可能である。
【実施例５】
【００３１】
実施例３の変形例のコミュニケーション音声処理装置２５０を、実施例５として図１０に示す。動作フローを図１１に示す。実施例５は、実施例３（図６）に対してセンサ部６１の出力するセンサデータｓ（ｎ）が帯域分割部１０１に入力される点と、出力部が出力部８２である点で異なっている。他の部分は実施例３と同じである。
【００３２】
帯域分割部１０１は、周波数変換部４３からの周波数領域信号Ｘ（ω）と、センサ部６１からのセンサデータｓ（ｎ）とを入力として帯域分割信号Ｘｍ（ω）を特徴量計算部３に出力する（図１１のステップＳ１０１）。この実施例では、帯域分割信号Ｘｍ（ω）のｍの値は、センサデータｓ（ｎ）によって決定される。帯域分割部１０１は、コミュニケーション音声処理装置２５０と話者との距離が近い程、例えばｓ（ｎ）の値が小さくなるとｍの値を３２に近づけ、ｓ（ｎ）の値が大きくなればｍを１６に近い値にする。出力部８２は、実施例４（図８）で説明した出力部８２であり、入力音声信号ｘ（ｎ）と、周波数逆変換部４７の出力信号ｘｃ（ｎ）とを合成して出力信号ｙ（ｎ）を出力する。ｍの値が大きいと、周波数逆変換部４７の出力信号ｘｃ（ｎ）の音を入力音声信号ｘ（ｎ）に近づけることが出来る。ｍの値が小さいと、周波数逆変換部４７の出力信号ｘｃ（ｎ）はバブル音に近くなる。したがって、後は実施例４と同様の動作によって、出力信号ｙ（ｎ）の明瞭さを制御することが可能である。
【実施例６】
【００３３】
実施例４の変形例のコミュニケーション音声処理装置２６０を、実施例６として図１２に示す。その動作フローを図１３に示す。実施例６は、実施例４（図８）に対して明瞭度設定部５が出力する制御信号ｃ（ｎ）が、周波数逆変換部１２１に入力される点と、周波数変換部４３の出力する周波数領域信号Ｘ（ω）と音響周波数信号Ｚ（ω）とが周波数逆変換部１２１に入力されている点が異なっている。他の構成は実施例４と同じである。
【００３４】
通常、短時間フーリエ逆変換で周波数領域の信号を、時間領域の信号に変換する場合は、その周波数領域の信号の振幅特性と位相特性を用いる。しかし、この実施例の周波数逆変換部１２１は、フィルタ部４６の出力信号Ｘｃ（ω）の位相特性Ｓｃ（ω）を、制御信号ｃ（ｎ）によって可変する。周波数逆変換部１２１は、その可変された位相特性Ｓｃ（ω）に基づいて、短時間フーリエ逆変換を行いフィルタ部４６の出力信号Ｘｃ（ω）を時間領域の信号ｘｃ（ω）に変換する（図１３のステップＳ１２１）。その位相特性の可変は、周波数変換部４３の出力する周波数領域信号Ｘ（ω）の位相特性ＳＸ（ω）と、音響周波数信号Ｚ（ω）の位相特性ＳＺ（ω）の配分を式（４）に示すように変えて行う。
【００３５】
Ｓｃ（ω）＝（１−ｃ（ｎ））・ＳＸ（ω）＋ｃ（ｎ）・ＳＺ（ω）        （４）
時間領域の信号ｘｃ（ω）の位相特性Ｓｃ（ω）は、制御信号ｃ（ｎ）の値が小さければ、入力音声信号の周波数領域信号Ｘ（ω）の位相特性ＳＸ（ω）に近づく。逆にｃ（ｎ）の値が大きければ、ｘｃ（ω）は、音響周波数信号Ｚｍ（ω）の例えばバブル音の位相特性ＳＺ（ω）に近づくことになる。このように周波数逆変換部１２１において、時間領域信号に周波数領域信号を逆変換する際の位相特性を、制御信号ｃ（ｎ）で可変することでも、出力信号の明瞭度を制御することが出来る。
【実施例７】
【００３６】
実施例４の変形例のコミュニケーション音声処理装置２７０を、実施例７として図１４に示す。その動作フローを図１５に示す。実施例７は、実施例４（図８）に対してフィルタ部４６に入力される音響周波数信号Ｚ（ω）が、重み付き加算部１３１で生成された音響周波数信号Ｚａ（ω）である点で異なっている。
【００３７】
重み付き加算部１３１は、周波数変換部４３の出力する周波数領域信号Ｘ（ω）と、明瞭度設定部５に設定された制御信号ｃ（ｎ）と、音響周波数信号Ｚ（ω）を入力として音響周波数信号Ｚａ（ω）を生成する（図１５のステップＳ１３１）。音響周波数信号Ｚａ（ω）は、例えば、制御信号ｃ（ｎ）が０〜１までの値をとるとき、式（５）で計算される。
【００３８】
Ｚａ（ω）＝（１−ｃ（ｎ））・Ｘ（ω）＋ｃ（ｎ）・Ｚ（ω）        （５）
このように重み付き加算部１３１は、周波数領域信号Ｘ（ω）と音響周波数信号Ｚ（ω）を、重み付け加算して音響周波数信号Ｚａ（ω）を生成する。したがって、制御信号ｃ（ｎ）の値が小さい時の音響周波数信号Ｚ（ω）は、入力音声信号ｘ（ｎ）に近い信号になる。逆にｃ（ｎ）の値が大きい時は、音響周波数信号Ｚ（ω）を例えばバブル音とすれば、バブル音に近い信号になる。このように重み付き加算部１３１を設けた構成でも出力信号ｙ（ｎ）の明瞭度を制御することが出来る。
【実施例８】
【００３９】
実施例３の変形例のコミュニケーション音声処理装置２８０を、実施例８として図１６に示す。その動作フローを図１７に示す。実施例８は、実施例３（図６）のセンサ部６１がパワー計算部１５１に置き換えられている点と、出力部１５２とが異なる。
【００４０】
パワー計算部１５１は、周波数変換部４３の出力する周波数領域信号Ｘ（ω）を入力として、式（６）に示すパワーデータＰｓ（ｎ）を計算する（図１７のステップＳ１５１）。
【００４１】
Ｐｓ（ｎ）＝Σ（Ｘ（ω）２）        （６）
Ｐｓ（ｎ）は、周波数変換部４３が例えば短時間フーリエ変換をおこなう１フレーム内のパワーの総和である。したがって、Ｐｓ（ｎ）は、マイクロホン部１で収音した入力音声信号ｘ（ｎ）の振幅が大きい程、大きくなる値である。Ｐｓ（ｎ）の値が大きければ、コミュニケーション音声処理装置２８０と話者との距離が一般的には近く、逆にＰｓ（ｎ）の値が小さければその距離が遠いといえる。このＰｓ（ｎ）は、定性的に実施例３のセンサデータと同じように扱うことが可能である。
【００４２】
このＰｓ（ｎ）の値は、出力部１５２に入力され、出力部１５２内の正規化部１５２aで０〜１の値に変換される。例えば正規化部１５２ａは、Ｐｓ（ｎ）の最小値と最大値の幅を１として正規化する。Ｐｓ（ｎ）を正規化した後の動作は実施例２の出力部４５と同じである。また、出力部６２のスイッチ信号ｐ（ｎ）に対する動作も、実施例３と同じである。
【００４３】
よって、センサ部６１の代わりにパワー計算部１５１を設けた構成でも、コミュニケーション音声処理装置２８０と話者との距離によって、出力信号の明瞭度を自動的に変えることが可能になる。
【実施例９】
【００４４】
図１８にこの発明の実施例９のコミュニケーション音声処理装置２９０の機能構成例を示す。その動作フローを図１９に示す。実施例９は、実施例１（図１）に音声区間検出部１７１と処理制御部４２の構成を追加し、出力部を出力部４５にしたものである。
【００４５】
音声区間検出部１７１は、マイクロホン部で収音した入力音声信号ｘ（ｎ）を入力として、音声区間であるか否かを判別し、判別結果ｄ（ｎ）を処理制御部４２と出力部４５に出力する（図１９のステップＳ１７１）。判別結果ｄ（ｎ）は、例えば、入力音声信号ｘ（ｎ）の短時間パワーが、閾値を一定時間以上越えた場合に音声区間と判定しｄ（ｎ）＝“１”となる信号である。非音声区間は、ｄ（ｎ）＝“０”となる。
【００４６】
この音声区間検出部１７１の出力信号ｄ（ｎ）を、スイッチ信号ｐ（ｎ）の代わりに用いて処理制御部４２と出力部４５は、実施例２と同じように動作する。このように音声区間検出部１７１をスイッチ部４１の代わりに設けることで、自動的にプライバシー機能を動作させることが出来る。なお、実施例１（図１）に音声区間検出部１７１を設ける例で実施例９を説明した。他の実施例のスイッチ部４１を音声区間検出部１７１に置き換えることも出来る。その場合、音声区間のみでプライバシー機能を自動的に動作させることが可能になる。
【００４７】
以上、説明した実施例は、通信を行う送り手側と受け手側のコミュニケーション音声処理装置に適用される。また、この発明である装置及び方法は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能である。例えば、回線の途中に配置されるネットワークサーバーにこの発明の考えを適用しても良い。また、受け手側だけで行っても良い。また、上記して説明した実施例の構成以外にも、フィルタバンクを用いたチャネルボコーダ、ホルマントボコーダ、パターンマッチングボコーダ、相関ボコーダ、位相ボコーダ、最尤ボコーダ、ホモモルフィックボコーダ、ＡＣＯＲボコーダ、線形予測ボコーダ、ＬＳＰボコーダを用いた構成も考えられる。例えば、フィルタバンクを用いたチャネルボコーダではチャネル数を制御することにより、明瞭さを制御する。また、線形予測ボコーダでは線形予測次数を制御することにより、明瞭さを制御する。また、上記装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００４８】
また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００４９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記憶媒体に記憶しておくことができる。コンピュータで読み取り可能な記憶媒体としては、例えば、磁気記憶装置、光ディスク、光磁気記憶媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記憶装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記憶媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００５０】
また、このプログラムの流通は、例えば、そのプログラムを記憶したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記憶媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５１】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図面の簡単な説明】
【００５２】
【図１】この発明の実施例１のコミュニケーション音声処理装置２１０の機能構成例を示す図。
【図２】コミュニケーション音声処理装置２１０の動作フローを示す図。
【図３】コミュニケーション音声処理装置２１０で処理をした入力音声信号ｘ（ｎ）と出力信号ｙ（ｎ）の信号波形を示す図。
【図４】この発明の実施例２のコミュニケーション音声処理装置２２０の機能構成例を示す図。
【図５】コミュニケーション音声処理装置２２０の動作フローを示す図。
【図６】この発明の実施例３のコミュニケーション音声処理装置２３０の機能構成例を示す図。
【図７】コミュニケーション音声処理装置２３０の動作フローを示す図。
【図８】この発明の実施例４のコミュニケーション音声処理装置２４０を示す図。
【図９】コミュニケーション音声処理装置２４０の動作フローを示す図。
【図１０】この発明の実施例５のコミュニケーション音声処理装置２５０を示す図。
【図１１】コミュニケーション音声処理装置２５０の動作フローを示す図。
【図１２】この発明の実施例６のコミュニケーション音声処理装置２６０を示す図。
【図１３】コミュニケーション音声処理装置２６０の動作フローを示す図。
【図１４】この発明の実施例７のコミュニケーション音声処理装置２７０を示す図。
【図１５】コミュニケーション音声処理装置２７０の動作フローを示す図。
【図１６】この発明の実施例８のコミュニケーション音声処理装置２８０を示す図。
【図１７】コミュニケーション音声処理装置２８０の動作フローを示す図。
【図１８】この発明の実施例９のコミュニケーション音声処理装置２９０を示す図。
【図１９】コミュニケーション音声処理装置２９０の動作フローを示す図。
【図２０】従来の映像コミュニケーション装置１００の機能構成を示す図。
【図１】
0004914319.tif 000002
【図２】
0004914319.tif 000003
【図３】
0004914319.tif 000004
【図４】
0004914319.tif 000005
【図５】
0004914319.tif 000006
【図６】
0004914319.tif 000007
【図７】
0004914319.tif 000008
【図８】
0004914319.tif 000009
【図９】
0004914319.tif 000010
【図１０】
0004914319.tif 000011
【図１１】
0004914319.tif 000012
【図１２】
0004914319.tif 000013
【図１３】
0004914319.tif 000014
【図１４】
0004914319.tif 000015
【図１５】
0004914319.tif 000016
【図１６】
0004914319.tif 000017
【図１７】
0004914319.tif 000018
【図１８】
0004914319.tif 000019
【図１９】
0004914319.tif 000020
【図２０】
0004914319.tif 000021