(57)【要約】【課題】話者毎の発話開始位置に対して容易にアクセスすることができる音声記録装置を提供する。【解決手段】音声記録装置において、発話に基づく音声信号について、話者の特徴を表す所定の特徴量を、所定時間毎に順次検出する検出手段（ステップ３４）と、検出手段により順次前記特徴量が検出される毎にその検出値と、その前に検出された特徴量の値とを比較することにより、該特徴量において所定の変化が生じたかどうかを判定する判定手段（ステップ３５）と、判定手段により所定の変化が生じたと判定された場合に、その判定時点の所定の近傍の時点を前記音声信号における分割点とする分割手段と、分割手段により分割点とされた時点において、所定の記録単位で分割しながら、前記音声信号の記録を行う記録手段（ステップ３６）とを設ける。【選択図】図３
2008170588.tif 000002
【特許請求の範囲】
【請求項１】
発話に基づく音声信号について、話者の特徴を表す所定の特徴量を、所定時間毎に順次検出する検出手段と、
前記検出手段により順次前記特徴量が検出される毎にその検出値と、その前に検出された特徴量の値とを比較することにより、該特徴量において所定の変化が生じたかどうかを判定する判定手段と、
前記判定手段により前記所定の変化が生じたと判定された場合に、その判定時点の所定の近傍の時点を前記音声信号における分割点とする分割手段と、
前記分割手段により分割点とされた時点において、所定の記録単位で分割しながら、前記音声信号の記録を行う記録手段とを具備することを特徴とする音声記録装置。
【請求項２】
前記所定の特徴量は、前記所定時間におけるピッチ周波数の平均値であることを特徴とする請求項１に記載の音声記録装置。
【請求項３】
前記その前に検出された特徴量の値は前回又は複数回前に検出された特徴量の値であり、
前記所定の近傍の時点は前回又は複数回前に該特徴量の検出が行われた時点であることを特徴とする請求項１又は２に記載の音声記録装置。
【請求項４】
検出手段が、発話に基づく音声信号について、話者の特徴を表す所定の特徴量を、所定時間毎に順次検出する検出工程と、
判定手段が、前記検出工程により順次前記特徴量が検出される毎にその検出値と、その前に検出された特徴量の値とを比較することにより、該特徴量において所定の変化が生じたかどうかを判定する判定工程と、
分割手段が、前記判定工程により前記所定の変化が生じたと判定された場合に、その判定時点の所定の近傍の時点を前記音声信号における分割点とする分割工程と、
記録手段が、前記分割工程により分割点とされた時点において、所定の記録単位で分割しながら、前記音声信号の記録を行う記録工程とを具備することを特徴とする音声記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話に基づく音声信号を、所定の記録単位で分割しながら記録する音声記録装置及び音声記録方法に関する。
【背景技術】
【０００２】
従来、ボイスレコーディング機能を有するボイスレコーダやポータブルオーディオプレーヤ等の音声記録装置を用いて会議等の録音を行う場合、録音の区切り等は、ユーザが手動で行うことが多い。また、録音により得られた音声データをコンピュータに保存する場合には、録音データにおいて区切りが無い場合でも、特に区切りを設けることなくそのまま保存することが多い。
【０００３】
一方、自動的に区切りを生成して録音を行う技術も知られている。たとえば、特許文献１に記載された技術においては、特定の話者の音声辞書を予め登録しておき、この音声辞書に基づいてその特定話者及び他の話者による発話を区別し、区切りを設けて記録することにより、記録データの再生時に、特定話者及び他の話者についての記録を異なる速度で再生したり、指定された区切りから再生したりすることができるようにしている。
【０００４】
また、一定時間毎にデータの分割やフラグの設定等によって区切りを設けながら録音を行い、任意の区切り位置から再生を行うことができるようにした技術も知られている。
【０００５】
【特許文献１】特開２００５−０４３６２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特定話者及び他の話者による発話を区別して記録する技術によれば、予め特定話者の音声辞書を登録する必要がある。また、他の話者については、個々の話者の発話部分に対する頭出しを、区切りに基づいて行うことができない。したがって、不特定多数の者が話者となる会議や講演会の記録を行った場合、各話者の会話部分をサーチするのに非常に手間がかかる。
【０００７】
また、一定時間毎に区切りを設けながら録音を行う技術によれば、特定話者の発言を聞きたい場合には、どのタイミングで対象となる話者が発言を行ったかを覚えておき、そのタイミングが含まれる区間の先頭に対して区切りに基づいて頭出しを行った後、さらに、早送り等によって特定話者の発言の開始位置を探す必要がある。
【０００８】
本発明の目的は、このような従来技術の問題点に鑑み、話者毎の発話開始位置に対して容易にアクセスすることができる音声記録装置を提供することにある。
【課題を解決するための手段】
【０００９】
この目的を達成するため、第１の発明に係る音声記録装置は、発話に基づく音声信号について、話者の特徴を表す所定の特徴量を、所定時間毎に順次検出する検出手段と、前記検出手段により順次前記特徴量が検出される毎にその検出値と、その前に検出された特徴量の値とを比較することにより、該特徴量において所定の変化が生じたかどうかを判定する判定手段と、前記判定手段により前記所定の変化が生じたと判定された場合に、その判定時点の所定の近傍の時点を前記音声信号における分割点とする分割手段と、前記分割手段により分割点とされた時点において、所定の記録単位で分割しながら、前記音声信号の記録を行う記録手段とを具備することを特徴とする。
【００１０】
ここで、「発話に基づく音声信号」としては、たとえば、発話による音声をマイクで変換して得られる音声信号や、発話を予め録音しておき、これを再生して得られる音声信号が該当する。また、「所定の記録単位」としては、たとえば、トラック単位やファイル単位が該当する。
【００１１】
この構成において、発話に基づく音声信号について、話者の特徴を表す所定の特徴量が所定時間毎に順次検出される。このとき、発話に基づく音声信号について検出が行われるのであるから、所定時間の経過は、非発話区間を除外して判断される。この間、特徴量の検出毎にその検出値と、その前に検出された特徴量の値とが比較され、該特徴量において所定の変化が生じたかどうかが判定される。所定の変化が生じたと判定された場合に、その判定時点の所定の近傍の時点が前記音声信号における分割点とされる。分割点とされた時点において、所定の記録単位で分割しながら音声信号の記録が行われる。したがって、「所定の変化」として、話者が交代した場合に当該特徴量において生じ得る程度の変化を設定しておくことにより、話者が交代する毎に分割して音声信号の記録を行うことができる。ユーザは、記録された音声信号の再生に際しては、記録単位毎に容易にアクセスし、任意の記録単位から再生させることができる。
【００１２】
第２の発明に係る音声記録装置は、第１発明において、前記所定の特徴量は、前記所定時間におけるピッチ周波数の平均値であることを特徴とする。
【００１３】
第３の発明に係る音声記録装置は、第１又は第２発明において、前記その前に検出された特徴量の値は前回又は複数回前に検出された特徴量の値であり、前記所定の近傍の時点は前回又は複数回前に特徴量の検出が行われた時点であることを特徴とする。
【００１４】
第４の発明に係る音声記録方法は、検出手段が、発話に基づく音声信号について、話者の特徴を表す所定の特徴量を、所定時間毎に順次検出する検出工程と、判定手段が、前記検出工程により順次前記特徴量が検出される毎にその検出値と、その前に検出された特徴量の値とを比較することにより、該特徴量において所定の変化が生じたかどうかを判定する判定工程と、分割手段が、前記判定工程により前記所定の変化が生じたと判定された場合に、その判定時点の所定の近傍の時点を前記音声信号における分割点とする分割工程と、記録手段が、前記分割工程により分割点とされた時点において、所定の記録単位で分割しながら、前記音声信号の記録を行う記録工程とを具備することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、発話に基づく音声信号について、順次前記特徴量が検出される毎にその検出値と、その前に検出された特徴量の値とを比較し、該特徴量において所定の変化が生じたと判定した場合に、所定の記録単位に分割しながら記録を行うようにしたため、該所定の変化として、話者が交代した場合に該特徴量において生じ得る程度の変化を設定しておくことにより、音声信号の記録を、話者が交代する毎に分割して行うことができる。したがって、記録された音声信号を再生する場合には、話者単位で直接的にアクセスし、再生させることができる。
【００１６】
また、前記所定の特徴量を、前記所定時間におけるピッチ周波数の平均値とすることにより、この特徴量の比較によって話者の交代の有無を判定することができる。つまり、各時点でのピッチ周波数は同一話者においてもかなり変化する場合がある。しかし、所定期間におけるピッチ周波数の平均値は、話者の特徴をある程度の精度をもって示す特徴量として採用することができる。
【００１７】
また、前記その前に検出された特徴量の値を、前回又は複数回前に検出された特徴量とすることにより、同一話者における前記特徴量が比較的ゆっくりと変化してしまった場合でも、そのような変化によって前記所定の変化が生じたと誤って判定することなく、前記所定の変化の有無を極力正確に判定することができる。
【００１８】
また、前記所定の近傍の時点を、前回又は複数回前に特徴量の検出が行われた時点とすることにより、前記所定の変化が生じた直前の時点を分割点とすることができる。
【発明を実施するための最良の形態】
【００１９】
図１は、本発明の一実施形態に係る音声記録装置の構成を示すブロック図である。同図に示すように、この音声記録装置は、マイクや外部入力用の端子及びこれらの入力レベルの調整機能等を備えた入力部１１、入力部１１を経由して入力される音声信号のピッチ周波数を検出するピッチ検出部１２、該音声信号を所定形式のデータにエンコードするエンコード部１３、エンコード部１３によりエンコードされた音声データを記録するためのメモリ部１４、装置各部を制御するＣＰＵ１５、及びＣＰＵ１５に対し指示を与えるためのキー入力部１６を備える。
【００２０】
ピッチ検出部１２は、入力部１１からの音声信号をサンプリングし、たとえば２５６個のデータを１フレームとして、フレーム毎のピッチ周波数を求めるものである。フレーム毎のピッチ周波数は、フレーム毎のデータについて自己相関関数を求め、そのピークの周期に基づいて検出することができる。エンコード部１３は、入力される音声信号を、ＭＰ３やＷＭＡ等のファイル形式のデータに変換し、メモリ部１４に供給する。メモリ部１４は供給される音声データを、ＣＰＵ１５からの指示に基づき、異なるファイルに分割しながら記録する。
【００２１】
なお、エンコード部１３及びメモリ部１４間にはバッファが設けられており、このバッファを介してエンコード部１３からメモリ部１４へのデータ供給が行われるようになっている。つまり、このバッファにより、必要に応じて、エンコード部１３からメモリ部１４へのデータ供給速度が調整されるようになっている。
【００２２】
図２は図１の装置により発話を記録する際の処理を説明するための図である。図では、第１の話者が発話を行い、引き続き第２の話者が発話を行う場合について示している。Ｗ１は記録対象とされる第１話者の発話区間、Ｗ２は第２話者の発話区間である。ピッチ検出部１２から得られるフレーム毎のピッチ周波数に基づき、期間ｔ毎に、ピッチ周波数の平均値が算出される。つまり、第１話者の発話区間Ｗ１について記録が開始される時点をＴ０とし、Ｔ０から期間ｔ毎の時点をＴｉ（ｉ＝１、２・・・）とすると、Ｔｉ毎に、Ｔｉ−１からＴｉまでの区間におけるピッチ周波数の平均値Ｅｉが算出される。なお、Ｔｉにおけるｉや、Ｔｉ−１におけるｉ−１はサフィックスである。
【００２３】
算出されたピッチ周波数の平均値Ｅｉは直ちに前回算出された平均値Ｅｉ−１と比較され、Ｅｉ−１との差が所定値以上の場合には、Ｔｉ−１以後の発話は、今までとは別のファイルへ記録されることになる。話者が交代した可能性が高いからである。たとえば、今回、ピッチ周波数の平均値Ｅｎ＋１が算出され、前回の算出値Ｅｎとの差が所定値以上であるとすれば、図２のように、Ｔｎから別のファイルへ記録されることになる。
【００２４】
図３はこの処理を示すフローチャートである。この処理は、キー入力部１６における録音開始ボタンが押下されることにより開始される。処理を開始すると、ＣＰＵ１５は、まずステップ３１において、音声データを記録するためのファイルをメモリ部１４において生成し、このファイルに対して、エンコード部１３が供給する音声データの記録を開始する。次に、ステップ３２において、録音終了ボタンが押下された等により、記録を終了するかどうかを判定する。
【００２５】
記録を終了しないと判定した場合には、ステップ３３へ進み、所定時間ｔが経過したか否かの判定を行う。すなわち、ステップ３１における記録の開始時Ｔ０、又は前回の所定時間ｔの経過時Ｔｉ−１を基準とし、その時から所定時間ｔが経過したかどうかを判定する。所定時間ｔが経過していないと判定した場合には、ステップ３２へ戻る。所定時間ｔが経過したと判定した場合には、ステップ３４へ進み、ピッチ周波数の平均値Ｅｉを算出する。すなわち、今回の所定時間ｔが経過する間にピッチ検出部１２が検出した全フレームのピッチ周波数についての平均値を求める。
【００２６】
次に、ステップ３５において、今回算出したピッチ周波数の平均値Ｅｉと、前回の平均値Ｅｉ−１との差が所定値以上であるか否かの判定を行う。この差が所定値以上であるということは、話者が交代した可能性が高いことを意味する。所定値以上ではないと判定した場合にはステップ３２へ戻る。所定値以上であると判定した場合にはステップ３６へ進み、記録中のファイルをクローズするとともに、新たなファイルを生成し、このファイルに対して記録の続行を開始し、ステップ３２へ戻る。
【００２７】
ただし、クローズされる記録中のファイルへ書き込まれる最後のデータ、及び新たなファイルへ書き込まれる最初のデータはそれぞれＴｉ―１の時点に相当するデータとなるように、バッファを用いて調整される。このように調整されるので、音が途切れることなく記録されることになる。また、実際の対話の進行よりも、ファイルへの記録は所定時間ｔ及びファイルのクローズ・オープンに要する時間の程度だけ遅れて進行することになる。図２の例では、第２話者による発話区間Ｗ２の開始に起因して、ピッチ周波数の平均値Ｅｎ＋１及びＥｎの差が所定値以上となり、Ｔｎの時点に相当する音声データ、すなわち発話区間Ｗ２の開始時点のデータから新たなファイルへの書込みが行われる様子が示されている。なお、順次新たに生成されるファイルの名称としては、後でユーザがアクセスしやすいように、シーケンス番号等を付したものが用いられる。
【００２８】
ステップ３２において、記録を終了すると判定した場合には、ステップ３７へ進み、記録中のファイルをクローズし、記録動作を停止させ、記録を終了する。
【００２９】
なお、図２及び図３の例においては、簡単のため、いずれかの話者が必ず発話をしている場合について説明したが、だれも発話していない非発話区間が発生する場合には、非発話区間については、所定時間ｔに含めることなく、その間に得られるピッチ周波数を、ステップ３４における平均値算出の対象から除外するようにすればよい。つまり発話区間のみに対して図２及び図３の処理を適用すればよい。発話区間の検出は公知の方法により行うことができる。たとえば、一定時間内において，振幅レベルが所定値以上の振幅の零交差数が一定数以上になったこともって発話区間が開始したとみなすことにより行うことができる。
【００３０】
また、図２及び図３の例においては、いずれかの話者の発話における最後の所定時間ｔが経過した時点Ｔｉ（図２の例ではＴｉ＝Ｔｎ）で話者が交代する場合について説明したが、実際には、Ｔｉ−１からＴｉまでのいずれかの時点において話者が交代すると考えられる。この場合には、Ｔｉ−１からＴｉまでの所定時間ｔにおけるピッチ周波数の平均値は、その間の両話者のピッチ周波数についての平均値となるので、その平均値と前回の平均値との差が所定値を超えることがなく、話者の交代に合致した結果を得ることができないおそれがある。
【００３１】
そこでステップ３５においては、話者の交代とより合致した結果を得ることができるように、各時点Ｔｉにおいて、その時点でのピッチ周波数の平均値Ｅｉと、複数回前に算出したピッチ周波数の平均値Ｅｉ−ｓとを比較し、その差が所定値以上かどうかを判定することにより、記録先を新たなファイルに切り替えるかどうかを決定するようにしてもよい。この場合、ピッチ周波数の平均値Ｅｉ及びＥｉ−ｓの差が所定値以上であると判定した場合には、Ｔｉ−ｓからＴｉまでの間に話者の交代があった可能性が高いので、記録先の切替え時点をｓ回前のピッチ周波数の算出時点Ｔｉ−ｓとし、その時点に対応する音声データから、新たなファイルへの記録を開始するのが好ましい。複数回を表すｓは、所定時間ｔのとりうる値などに応じて、２や３などの値をとるのが好ましく、さらには自動的またはユーザ設定などにより可変可能としても良い。
【００３２】
本実施形態によれば、所定時間ｔ毎にピッチ周波数の平均値を算出し（ステップ３４）、前回又は複数回前（たとえばｓ＝２のときは前々回）の算出値との差が所定値以上であった場合に、新たなファイルへ録音を続行するようにしたため、各話者の発話を話者毎に別ファイルとして記録することができる。したがって、会議を録音した場合等において、所望の話者の発言内容を再生したい場合に、その発言内容の再生開始箇所を、ファイル単位で容易に探し出すことができる。
【００３３】
なお、本発明は上述の実施形態に限定されることなく、適宜変形して実施することができる。たとえば、上述においては、所定時間毎のピッチ周波数の平均値が所定値以上変化した場合に話者が交代した可能性が高いとして記録先を別ファイルに変更して記録を続行するようにしているが、ピッチ周波数の平均値の代わりに、話者に応じて変化する他の特徴量たとえばスペクトル包絡やケプストラムに基づき、記録先を別ファイルに変更するかどうかを判定するようにしてもよい。また、ピッチ周波数及び他の特徴量を総合的に勘案して判定するようにしてもよい。また、ピッチ抽出法においても、上述の自己相関関数のピーク値に基づくものの他、並列処理法やケプストラムに基づく方法等の種々の公知の方法の適用が考えられる。
【００３４】
また、上述においては、エンコードされた音声データをメモリ部１４において話者毎に異なるファイルとして記録するようにしているが、この代わりに、音声データをＭＤ（ミニディスク）に対し、話者毎に異なるトラック番号を付しながら記録するようにしてもよい。
【００３５】
また、上述においては、マイクや外部装置からのアナログ音声信号を入力とするボイスレコーダや録音機能付きポータブルプレーヤとして実施し得る音声記録装置について説明したが、アナログ音声信号に加え、デジタル音声信号の入力にも対応することができるようにしてもよい。その場合、既存のボイスレコーダ等において再生されるデジタル音声信号を入力とし、そのデジタル音声信号において区切りが設けられていない場合でも、本発明に従って異なるファイルに分割しながら記録を行うことができる。
【００３６】
また、上述においては、入力される音声信号のストリームに対し、ほぼリアルタイムで記録を行うようにしているが、外部の再生装置により実際の会話よりも速い速度で再生される音声信号について記録を行う場合には、対応する速い速度で記録を行うようにしてもよい。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態に係る音声記録装置の構成を示すブロック図。
【図２】図１の装置により発話を記録する際の処理を説明するための図である。
【図３】図１の装置における発話の記録処理を示すフローチャートである。
【符号の説明】
【００３８】
１１：入力部、１２：ピッチ検出部、１３：エンコード部、１４：メモリ部、１５：ＣＰＵ、１６：キー入力部。
【図１】
2008170588.tif 000003
【図２】
2008170588.tif 000004
【図３】
2008170588.tif 000005