(57)【特許請求の範囲】
【請求項１】
収音された音声に応じた音声信号が入力される入力手段と、
発音体の発音状態を検出する発音状態検出手段と、
前記発音状態検出手段によって検出された発音状態に基づいて、前記発音体による発音の有無を判定する判定手段と、
前記判定手段によって発音無しと判定された場合には、前記入力手段に入力された音声信号を出力し、前記判定手段によって発音有りと判定された場合には、前記入力手段に入力された音声信号を出力しない出力制御手段と、
前記入力手段に入力された音声信号を或る期間だけ遅延させ、且つ、当該音声信号の終期を当該或る期間だけ過去に遡った時点として前記出力制御手段に供給する遅延手段と
を備えることを特徴とする音声処理装置。
【請求項２】
前記発音状態検出手段は、前記発音体としての楽器により発せられた音に応じた値からなる波形を検出し、
前記判定手段は、前記波形の値が閾値以上の期間においては発音有りと判定し、前記波形の値が閾値を下回っている期間においては発音無しと判定する
ことを特徴とする請求項１記載の音声処理装置。
【請求項３】
前記発音状態検出手段は、前記楽器による発音時に振動する部位に取り付けられ、その部位における振動の大きさを表す波形を検出する
ことを特徴とする請求項２記載の音声処理装置。
【請求項４】
前記楽器は、発音する音を波形で表した音声信号を出力する音源手段を備えており、
前記発音状態検出手段は、前記楽器の前記音源手段から出力されてくる音声信号を受け取り、受け取った音声信号から前記波形を検出する
ことを特徴とする請求項２記載の音声処理装置。
【請求項５】
前記発音状態検出手段は、前記楽器による発音時に気体が流れる部位に取り付けられ、その部位における気体の流量ないし流速を表す波形を検出する
ことを特徴とする請求項２記載の音声処理装置。
【請求項６】
前記閾値の大きさを指示する指示手段を備え、
前記判定手段は、前記波形の値が、前記指示手段によって指示された大きさの閾値以上の期間は発音有りと判定し、前記波形の値が、前記指示手段によって指示された大きさの閾値を下回っている期間は発音無しと判定する
ことを特徴とする請求項２記載の音声処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、収音した音声を出力するための音声処理技術に関する。
【背景技術】
【０００２】
演奏者が聴衆の前で楽器の演奏と自身の語りとを交互に行う、いわゆる弾き語りを行うような場合、演奏者の発話音声はマイクロホンによって収音されてスピーカから放音される。このとき、楽器の演奏音と演奏者の発話音声とが時間的に重なってしまうと、聴衆にとっては演奏音も発話音声も聞きづらいという問題がある。マイクロホンの音量を調整する技術としては、例えば特許文献１に記載されているように、マイクロホンの感度に応じてゲインを調整するというものものがある。
【特許文献１】特開２００６−７４４０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、上述した背景に鑑みてなされたものであり、その目的は、楽器などの発音体から発せられた音声の出力期間と、その楽器以外の音声の出力期間とが、できるだけ重ならないようにすることにある。
【課題を解決するための手段】
【０００４】
上述した問題を解決するため、本発明は、収音された音声に応じた音声信号が入力される入力手段と、発音体の発音状態を検出する発音状態検出手段と、前記発音状態検出手段によって検出された発音状態に基づいて、前記発音体による発音の有無を判定する判定手段と、前記判定手段によって発音無しと判定された場合には、前記入力手段に入力された音声信号を出力し、前記判定手段によって発音有りと判定された場合には、前記入力手段に入力された音声信号を出力しない出力制御手段と、前記入力手段に入力された音声信号を或る期間だけ遅延させ、且つ、当該音声信号の終期を当該或る期間だけ過去に遡った時点として前記出力制御手段に供給する遅延手段とを備えることを特徴とする音声処理装置を提供する。
【０００５】
本発明の好ましい態様において、前記発音状態検出手段は、前記発音体としての楽器により発せられた音に応じた値からなる波形を検出し、前記判定手段は、前記波形の値が閾値以上の期間においては発音有りと判定し、前記波形の値が閾値を下回っている期間においては発音無しと判定する。この態様において、前記発音状態検出手段は、前記楽器による発音時に振動する部位に取り付けられ、その部位における振動の大きさを表す波形を検出してもよい。また、前記楽器は、発音する音を波形で表した音声信号を出力する音源手段を備えており、前記発音状態検出手段は、前記楽器の前記音源手段から出力されてくる音声信号を受け取り、受け取った音声信号から前記波形を検出するしてもよい。また、前記発音状態検出手段は、前記楽器による発音時に気体が流れる部位に取り付けられ、その部位における気体の流量ないし流速を表す波形を検出してもよい。
【０００６】
本発明の別の好ましい態様において、前記閾値の大きさを指示する指示手段を備え、前記判定手段は、前記波形の値が、前記指示手段によって指示された大きさの閾値以上の期間は発音有りと判定し、前記波形の値が、前記指示手段によって指示された大きさの閾値を下回っている期間は発音無しと判定する。
【発明を実施するための最良の形態】
【０００８】
次に、図面を参照しつつ、本発明を実施する際の最良の形態について説明する。この実施形態では、演奏者が聴衆を前にしてピアノの演奏と自身の語りとを交互に行う、いわゆる弾き語りを行うような場合を想定している。
（実施形態）
図１は、本実施形態に係る音声処理装置の構成と、当該音声処理装置とともに発音体として用いられるアップライトピアノの断面を示す図である。
アップライトピアノ１００には、棚板１１２が設けられている。この棚板１１２の上面には、筬中１１４が載置されており、筬中１１４の上方には鍵１１０が支持されている。この鍵１１０は、筬中１１４を支点として揺動自在に支持されており、演奏者が鍵１１０の前端部（図中左側）を押し下げて演奏できるように構成されている。このような鍵１１０が、図の紙面垂直方向である左右方向に８８個並設されることにより、演奏者の左右方向に広がる鍵盤が形成されている。鍵１１０の後端部の上方には、各々の鍵１１０に対応付けられたアクション機構１２０が設けられている。このアクション機構１２０の後方には、響板１３０が、アップライトピアノ１００の上下および左右方向に延在するように設けられている。響板１３０の前面には、帯状の駒１３２が載置されている。響板１３０とアクション機構１２０との間には、駒１３２に当接するように弦１３４が張られている。
【０００９】
演奏者によって鍵１１０が押下されると、アクション機構１２０が作動し、アクション機構１２０に設けられたハンマ１２２が弦１３４を打撃する。ハンマ１２２によって打撃された弦１３４は、その衝撃によって振動し、その振動が駒１３２を介して響板１３０へ伝えられる。そして、響板１３０が振動することにより、空気振動が起こって音声が発生する。このような原理で音声が発生されるため、響板１３０の振動の波形の大きさに基づいて、アップライトピアノ１００による発音状態を検出することができる。そこで、響板１３０の背面には、アップライトピアノ１００による発音状態を検出するための振動センサ１６０が設けられている。この振動センサ１６０は、例えば加速度センサであり、打弦時に生じる響板１３０の加速度を検出し、さらに、その加速度から響板１３０の変位を求めることで、響板１３０の振動の波形を検出してその検出信号を出力する。この検出信号の波形の値は、アップライトピアノ１００により発せられた音の強度におおよそ比例しているから、アップライトピアノ１００により発せられた音に応じた値からなる波形と言える。
【００１０】
弦１３４とアクション機構１２０との間には、ダンパ機構１４０が設けられている。ダンパ機構１４０は、弦１３４に当接するダンパなどから構成され、ハンマ１２２が打弦する直前に、ダンパが弦１３４から離れるようになっている。これにより、押鍵時においては、押下されていない鍵１１０に対応する弦１３４の共振を抑止し、また、離鍵時においては、打撃された弦１３４の振動を抑止する。また、アップライトピアノ１００の下方には、ダンパペダル及びソフトペダルからなるペダル群１５０が設けられている。
【００１１】
音声処理装置は、上述した振動センサ１６０のほか、収音手段としてのマイクロホン１６１と、放音手段としてのスピーカ１６２と、アップライトピアノ１００の発音状態に基づいてスピーカ１６２に対する音声信号の出力制御を司る制御ユニット１６３とを備えている。振動センサ１６０、マイクロホン１６１及びスピーカ１６２はそれぞれ、通信ケーブルなどで制御ユニット１６３と通信可能に接続されている。振動センサ１６０は、上述したような振動の大きさを表す検出信号を通信ケーブル経由で制御ユニット１６３に供給する。マイクロホン１６１は、例えばヘッドセット型マイクロホンとして構成されており、演奏者Ｐの口の近傍の位置に取り付けられている。このマイクロホン１６１は、演奏者の発話音声を収音し、その音声に応じた音声信号を生成して通信ケーブル経由で制御ユニット１６３に供給する。制御ユニット１６３は、例えばアップライトピアノ１００の背面などの、あまり目立たない場所に取り付けられている。スピーカ１６２は、制御ユニット１６３から通信ケーブル経由で供給されてくる音声信号に応じた音を放音する。
【００１２】
図２は、上記の音声処理装置１６の電気的構成を示すブロック図である。
制御ユニット１６３は、通信ケーブルのコネクタの差込口や通信回路などによって構成される入力部１６３ａと、マイクロプロセッサやメモリなどによって構成される判定部１６３ｂ及び出力制御部１６３ｃとを備えている。入力部１６３ａには、振動センサ１６０から供給される検出信号や、マイクロホン１６１から供給される音声信号が入力される。判定部１６３ｂは、振動センサ１６０から供給される検出信号に基づいて、アップライトピアノ１００による発音の有無を判定する。出力制御部１６３ｃは、判定部１６３ｂによって発音無しと判定された場合には、入力部１６３ａに入力された音声信号を増幅するなどしてからスピーカ１６２に出力する一方、判定部１６３ｂによって発音有りと判定された場合には、入力部１６３ａに入力された音声信号をスピーカ１６２に出力せずに破棄する。
【００１３】
制御ユニット１６３の具体的な動作は次のようになる。
演奏者がアップライトピアノ１００を演奏しながら発話すると、入力部１６３ａには、振動センサ１６０から供給される検出信号と、マイクロホン１６１から供給される音声信号とが入力される。振動センサ１６０から供給される検出信号は、例えば図３の上段に示すような波形となる。一方、マイクロホン１６１から供給される音声信号は、例えば図３の下段に示すような波形となる。
【００１４】
振動センサ１６０は、アップライトピアノ１００の発音に伴う振動のほか、様々な外部環境の影響による微少振動を絶えず検出しているから、まずは、この微少振動を除去する必要がある。そこで、判定部１６３ｂは、自身が備えるメモリに予め記憶された閾値ｄに基づき、振動センサ１６０から供給される検出信号から、−ｄ＜Ｎ＜＋ｄ（Ｎは検出信号の信号強度）の範囲内のレベルの検出信号をノイズとみなして除去する。そして、判定部１６３ｂは、ノイズ除去後の検出信号の値が「０」の期間、つまり振動センサ１６０によって検出された振動の大きさが閾値ｄ未満の期間（図３上段の非発音期間）においては、アップライトピアノ１００による発音が無いと判定する。一方、判定部１６３ｂは、ノイズ除去後の検出信号の値が「０」でない期間、つまり振動センサ１６０によって検出された振動の大きさが閾値ｄ以上の期間（図３上段の発音期間）においては、アップライトピアノ１００による発音が有ると判定する。判定部１６３ｂは、非発音期間にわたっては、アップライトピアノ１００による発音が無いことを意味する信号（例えばローレベル信号）を出力制御部１６３ｃに供給し、発音期間にわたっては、アップライトピアノ１００による発音が有ることを意味する信号（例えばハイレベル信号）を出力制御部１６３ｃに供給する。
【００１５】
なお、特に閾値ｄが比較的大きい場合には、ノイズ除去後の検出信号を極めて微少な期間で観察すると、発音期間においても検出信号の値が瞬間的に「０」になるときがあるが、ここでは、このような微小期間にわたって検出信号が「０」となるような状態は無視する。具体的には、判定部１６３ｂは、ノイズ除去後の検出信号が瞬間的に「０」になるような期間に比べて十分に長い所定期間において、検出信号が「０」でない期間が一度もない場合、つまり検出信号が常に「０」の場合には、その期間を「非発音期間」と判定する。一方、その所定期間において、検出信号が「０」でない期間が一度でもあった場合には、その期間を「発音期間」と判定する。
【００１６】
上記の処理と並行して、マイクロホン１６１から供給される音声信号は、入力部１６３ａ経由で出力制御部１６３ｃに供給される。出力制御部１６３ｃは、アップライトピアノ１００による発音が無いことを意味する信号（ローレベル信号）が判定部１６３ｂから供給されている期間にわたっては、この音声信号をスピーカ１６２に出力する。一方、出力制御部１６３ｃは、アップライトピアノ１００による発音が有ることを意味する信号（ハイレベル信号）が判定部１６３ｂから供給されている期間にわたっては、この音声信号をスピーカ１６２に出力せずに破棄する。これにより、図３の下段に示すように、非発音期間と同時期に入力部１６３ａに入力された音声信号だけが、スピーカ１６２からの出力対象の音声信号となる。
【００１７】
以上説明した実施形態によれば、発音体としてのアップライトピアノ１００から発音が無いと判定されている期間にわたっては、マイクロホン１６１によって収音された演奏者の発話音声がスピーカ１６２から出力され、アップライトピアノ１００から発音が有ると判定されている期間にわたっては、マイクロホン１６１によって収音された演奏者の発話音声がスピーカ１６２から出力されることはない。よって、アップライトピアノ１００から発せられた音声と、演奏者の発話音声とが重なる期間を全く無くすことができるか、或いはその期間があっても極めて短くすることができる。
【００１８】
（変形例）
上記実施形態を次のように変形してもよい。また、以下の各変形を組み合わせて実施してもよい。
（変形例１）
上記実施形態では、演奏者が聴衆を前にしてピアノの演奏と自身の語りとを交互に行う弾き語りを想定していたが、本発明の利用形態はこれに限定されない。例えば演奏者自身が楽器を演奏しながら、練習者に楽器の演奏を口頭で指導するような場合に、本発明を適用してもよい。また、例えば聴衆が演奏者から離れた位置にいる遠隔コンサートなどを目的としたものに適用してもよい。また、発音体としての楽器も、アップライトピアノのような鍵盤楽器に限定されるものではなく、弦楽器や管楽器などのその他の楽器でもよい。また、発音体が楽器以外のものであってもよい。要するに、何らかの音声を発する発音体と、その発音体から発せられる音声以外の音声とが時間的に重ならないようにする場合に、本発明を適用することが可能である。
【００１９】
（変形例２）
図３を用いて説明したように、振動センサ１６０から供給される検出信号には、ノイズに相当する微少振動を表す波形が含まれているから、判定部１６３ｂは、振動センサ１６０から供給される検出信号から、−ｄ＜Ｎ＜＋ｄの範囲内のレベルの検出信号をノイズとして除去する。このとき、ノイズの混入を確実に防止するためには、比較的大きい閾値ｄを用いることが望ましい。
しかしながら、閾値ｄを大きくすると、発音期間の始期に相当する波形が判定部１６３ｂによって検出されるタイミングが若干遅れることがある。この場合、実施形態で説明したとおり、判定部１６３ｂが発音期間の始期を検出した時点から発音期間を意味する信号を出力制御部１６３ｃに供給し、これに応じて、出力制御部１６３ｃは、音声信号をスピーカ１６２に出力せずに破棄する処理を開始するから、判定部１６３ｂによる発音期間の判定が遅れてしまうと、出力制御部１６３ｃによって音声信号が破棄されずに、スピーカ１６２からそのまま出力されることになる。例えば演奏者が発話してから或る程度の時間が経過した後に演奏を開始したときには、上記のような判定部１６３ｂによる判定の遅れが生じたとしても問題は生じないが、演奏者が発話を終了したとほぼ同時に演奏を開始したようなときには、その発話音声と演奏音とが時間的に極めて接近しているか又は短期間だけ重なっていることがあるので、上記の判定遅れにより、演奏音の発音期間中の冒頭に発話音声が重なって出力されてしまう。
そこで、入力部１６３ａによって入力された音声信号を或る期間遅延させて出力制御部１６３ｃに供給するようにしてもよい。
図４は、この変形例２に係る音声処理装置１６ａの電気的構成を示す図である。
音声処理装置１６ａは、図２に示した音声処理装置１６ａが備える各構成のほか、入力部１６３ａと出力制御部１６３ｃとの間に設けられた遅延部１６３ｄを備えている。マイクロホン１６１によって生成された音声信号は、入力部１６３ａを介してこの遅延部１６３ｄに供給される。遅延部１６３ｄは、その音声信号を所定期間だけ遅延させてから出力制御部１６３ｃに供給する。この場合、図５に示すように、出力制御部１６３ｃの出力対象となる音声信号の終期は、発音期間の始期であると判定された時点ｔ３（つまり非発音期間の終期）よりも上記所定期間だけ過去に遡った時点ｔ４となる。よって、演奏者が発話を終了したとほぼ同時に演奏を開始したような場合であっても、発話音声を演奏音とが重ならないようにすることができる。この所定期間は、上記のような演奏開始時に発話音声が重ならないように、実験的或いは計算で求められた値である。さらには、音声処理装置１６ａが、その所定期間をユーザによる指示に応じて調整する調整手段を備えていてもよい。
一方、出力制御部１６３ｃから出力される対象となる音声信号の始期は、発音期間の終期ｔ１（つまり非発音期間の始期）よりも所定期間だけ過去に遡った時点ｔ２となる。この場合、演奏音の発音期間中の最後において発話音声が出力される可能性があるので、遅延部１６３ｄは、音声信号の遅延処理を、発音期間の始期（つまり非発音期間の終期）だけに限定するようにしてもよい。
【００２０】
（変形例３）
実施形態では、振動の検出に最も適した響板に対して、発音状態検出手段である振動センサ１６０を取り付けていたが、発音状態検出手段の取り付け位置は、発音体による発音時に振動する部位であれば、どこでもよい。
また、実施形態では、発音体の発音状態を検出する発音状態検出手段として、振動センサ１６０を用いていたが、これに限らない。要するに、発音体により発せられた音に応じた値からなる波形を検出する発音状態検出手段であれば、判定手段は、その波形の値が閾値以上の期間においては発音有りと判定し、波形の値が閾値未満の期間においては発音無しと判定することができるから、そのような判定を正しく行い得る限り、発音状態検出手段はどのようなものであもよい。
【００２１】
例えば、発音体が、実施形態のようなアコースティック楽器ではなく、電子楽器である場合、音声処理装置は図６に示すような構成であってもよい。
図６に示した電子楽器１０１は、例えば電子ピアノであり、制御部１０１ａと、演奏部１０１ｂと、操作部１０１ｃと、出力部１０１ｄとを備えている。制御部１０１ａは、例えばＣＰＵなどの演算装置とＲＯＭやＲＡＭなどの各種メモリを備えており、ＣＰＵがＲＯＭや記憶部に格納されている各種プログラムを実行することで、電子楽器１０１の全体を制御する。操作部１０１ｃは複数の鍵を備えている。音声処理装置１６ｂの演奏部１０１ｂは、この電子楽器１０１における音源手段であり、ユーザの鍵操作に応じて演奏音信号を生成し、図示せぬアンプ経由でスピーカに供給して演奏音を放音させる。これとともに、演奏部１０１ｂは、上記演奏音信号を出力部１０１ｄから音声処理装置１６ｂの入力部１６３ａへと出力する。この演奏音信号は、演奏部１０１ｂが発する音を波形で表したデジタルの音声信号を含んでいる。従って、音声処理装置１６ｂの判定部１６３ｂは、入力部１６３ａ経由で演奏音信号を受け取ると、その演奏音信号から、演奏部１０１ｂが発する音を表す波形を検出し、実施形態と同様の原理に従って上記判定を行う。ただし、この場合には、実施形態の場合とは異なり、ノイズが混入する虞がほとんど無いので、判定部１６３ｂは閾値ｄとの比較を行う必要はない。
【００２２】
また、発音体としてアコースティック楽器を用いる場合であっても、その楽器の種類によって、発音状態検出手段の具体的内容は異なる。
例えば、発音体として管楽器を用いる場合、その管楽器の発音時に気体（空気）が流れる部位に、その部位における気体の流量ないし流速を表す波形を検出するセンサを、発音状態検出手段として設ける。取り付け位置として望ましいのは、管楽器の管状部材の内壁であるが、管状部材の内壁の形状によって音色が変化する虞があるので、そのセンサはできるだけ薄型であることが望ましい。そして、判定部１６３ｂは、この気体の流量ないし流速が閾値以上の場合には、管楽器における発音が有ると判定し、この気体の流量ないし流速が閾値未満の場合には、管楽器における発音が無いと判定する。
また、発音体として弦楽器を用いる場合、弦楽器において弦を指示するいわゆる駒と呼ばれる部材に、振動センサなどの発音状態検出手段を設けてもよいし、弦楽器が備える響板に設けてもよい。
【００２３】
（変形例４）
図３に示した閾値ｄの大きさを、演奏者等の操作者が自由に変更し得るようにしてもよい。この場合、音声処理装置は、例えば操作者が閾値ｄの大きさを指示するための操作子等を備えた指示手段を備えている。判定部１６３ｂは、上記指示手段によって指示された閾値ｄを自身のメモリに記憶しておき、この記憶されている閾値ｄを用いて上記判定を行う。
【００２４】
（変形例５）
音声処理装置１６による処理を全てソフトウェアモジュールで実現してもよい。この場合、その処理を記述したソフトウェアプログラムをＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などコンピュータ装置が読取り可能な記録媒体に書き込んで音声処理装置に配布するようにしてもよい。また、インターネットなどの電気通信回線を介して音声処理装置に配布するようにしてもよい。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る音声処理装置の構成と、当該音声処理装置とともに発音体として用いられるアップライトピアノの断面を示す図である。
【図２】同音声処理装置の電気的構成を示す図である。
【図３】振動センサによる検出信号と、マイクロホンによって生成される音声信号と、非発音期間及び発音期間を説明する図である。
【図４】変形例に係る音声処理装置の電気的構成を示す図である。
【図５】同変形例において、振動センサによる検出信号と、マイクロホンによって生成される音声信号と、非発音期間及び発音期間を説明する図である。
【図６】変形例に係る音声処理装置の電気的構成を示す図である。
【符号の説明】
【００２６】
１００・・・アップライトピアノ、１６・・・音声処理装置、１６０・・・振動センサ、１６１・・・マイクロホン、１６２・・・スピーカ、１６３・・・制御ユニット、１６３ａ・・・入力部、１６３ｂ・・・判定部、１６３ｃ・・・出力制御部。
【図１】
0005151401.tif 000002
【図２】
0005151401.tif 000003
【図３】
0005151401.tif 000004
【図４】
0005151401.tif 000005
【図５】
0005151401.tif 000006
【図６】
0005151401.tif 000007