(57)【要約】【課題】音声の種類に関わらず、ユーザにおける情報取得効率を向上させる。【解決手段】音声信号が入力される音声入力部１０と、音声入力部１０に入力された音声の特徴量を抽出して、抽出した特徴量に応じて音声信号の再生速度を設定し、設定した再生速度を出力する特徴量抽出部４０とを備えた。さらに、音声入力部１０から入力された音声信号の再生速度を、特徴量抽出部４０から出力された再生速度に変更する再生速度変更部５０と、再生速度変更部５０で変更された再生速度の音声信号を出力する音声出力部６０とを備えた。【選択図】図２
2009181044.tif 000002
【特許請求の範囲】
【請求項１】
音声信号が入力される音声入力部と、
前記音声入力部に入力された音声の特徴量を抽出して、前記抽出した特徴量に応じて前記音声信号の再生速度を設定する特徴量抽出部と、
前記音声入力部から入力された音声信号の再生速度を、前記特徴量抽出部で設定された再生速度に変更する再生速度変更部と、
前記再生速度変更部で変更された再生速度の音声信号を出力する音声出力部とを備えたことを特徴とする
音声信号処理装置。
【請求項２】
請求項１記載の音声信号処理装置において、
前記特徴量抽出部は、前記音声信号の再生速度を１倍速以上の速度に設定することを特徴とする
音声信号処理装置。
【請求項３】
請求項２記載の音声信号処理装置において、
前記特徴量抽出部は、前記音声信号の周波数成分を抽出することを特徴とする
音声信号処理装置。
【請求項４】
請求項３記載の音声信号処理装置において、
前記特徴量抽出部は、前記音声信号をフーリエ変換し、得られた係数を特徴量として出力するフーリエ変換処理部を備えたことを特徴とする
音声信号処理装置。
【請求項５】
請求項４記載の音声信号処理装置において、
前記特徴量抽出部は、前記フーリエ変換処理部から出力された係数を基に、前記音声信号の定常性の高さを判定する定常性判定部と、
前記定常性判定部で判定された定常性の高さに基づいて、前記音声信号の再生速度を設定する再生速度決定部とを備えたことを特徴とする
音声信号処理装置。
【請求項６】
請求項５記載の音声信号処理装置において、
前記再生速度決定部は、前記定常性判定部で判定された定常性が高い場合には前記再生速度が速くなり、前記定常性判定部で判定された定常性が低い場合には前記再生速度が遅くなるように前記再生速度を設定することを特徴とする
音声信号処理装置。
【請求項７】
請求項６記載の音声信号処理装置において、
前記フーリエ変換処理部から出力された係数を蓄積する係数蓄積部を備え、
前記定常性判定部は、前記フーリエ変換処理部から出力された現在の係数と前記係数蓄積部に蓄積された１つ過去の係数との相関値を求め、前記相関値が所定の閾値以上であると判定された場合には、前記１つ過去の係数として抽出した係数とさらに１つ過去の係数との相関値を求める処理を繰り返し、前記相関値が閾値以上であった場合の回数をカウントし、前記回数によって定常性の高さを判定することを特徴とする
音声信号処理装置。
【請求項８】
請求項４記載の音声信号処理装置において、
前記特徴量抽出部は、前記フーリエ変換処理部から出力された係数に基づいて前記音声信号の再生速度を設定する再生速度決定部を備え、
前記再生速度決定部はニューラルネットワークを用いた学習により、再生速度を設定することを特徴とする
音声信号処理装置。
【請求項９】
請求項８記載の音声信号処理装置において、
前記特徴量抽出部は、前記フーリエ変換処理部から出力された係数に基づいて前記音声信号を所定の音声パターンに分類して、前記分類された音声パターンを出力する音声パターン決定部を備え、
前記再生速度決定部は、前記音声パターン決定部から出力された音声パターンの種類に応じて前記音声信号の再生速度を設定することを特徴とする
音声信号処理装置。
【請求項１０】
請求項９記載の音声信号処理装置において、
前記特徴量抽出部は、前記音声パターンと前記音声信号の再生速度との対応が記載されたテーブルを備え、
前記再生速度決定部は、前記テーブルにおいて、前記音声パターン決定部から出力された音声パターンに対応付けられた再生速度を、前記音声信号の再生速度に設定することを特徴とする
音声信号処理装置。
【請求項１１】
請求項９記載の音声信号処理装置において、
前記音声パターン決定部は、ニューラルネットワークを用いた学習により、前記分類された音声パターンを出力することを特徴とする
音声信号処理装置。
【請求項１２】
請求項８記載の音声信号処理装置において、
前記特徴量抽出部は、前記音声信号の信号レベルを検出する音声レベル検出部を備え、
前記再生速度決定部は、前記高速フーリエ変換処理部から出力された係数と、前記音声レベル検出部で検出された音声信号の信号レベルに基づいて、前記音声信号の再生速度を設定することを特徴とする
音声信号処理装置。
【請求項１３】
音声信号が入力される音声入力ステップと、
前記入力された音声の特徴量を抽出する特徴量抽出ステップと、
前記抽出した特徴量に応じて前記音声信号の再生速度を設定する再生速度設定ステップと、
前記入力された音声信号の再生速度を、前記設定された再生速度に変更する再生速度変更ステップと、
前記変更された再生速度の音声信号を出力する音声出力ステップとを含むことを特徴とする
音声信号処理方法。
【請求項１４】
音声信号が入力される音声入力ステップと、
前記入力された音声の特徴量を抽出する特徴量抽出ステップと、
前記抽出した特徴量に応じて前記音声信号の再生速度を設定する再生速度設定ステップと、
前記入力された音声信号の再生速度を、前記設定された再生速度に変更する再生速度変更ステップと、
前記変更された再生速度の音声信号を出力する音声出力ステップとをコンピュータに実行させるための
プログラム。
【請求項１５】
音声信号が入力される音声入力ステップと、
前記入力された音声の特徴量を抽出する特徴量抽出ステップと、
前記抽出した特徴量に応じて前記音声信号の再生速度を設定する再生速度設定ステップと、
前記入力された音声信号の再生速度を、前記設定された再生速度に変更する再生速度変更ステップと、
前記変更された再生速度の音声信号を出力する音声出力ステップとをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な
記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理装置、音声信号処理方法、プログラム及び記録媒体に関し、特に音声信号の周波数特性に応じて当該音声信号の再生速度を変更する技術に関する。
【背景技術】
【０００２】
再生装置や記録再生装置等においては、一般的に、映像や音声を通常より早い速度で再生することができる早送り再生機能が備えられている場合が多い。この機能を用いて映像を早送り再生することで、映像の視聴者（ユーザ）は、通常の再生速度による再生映像視聴時に比べて、多くの情報を取得することができるようになる。
【０００３】
ところが、早送り再生時に映像の再生速度と同じ速度で音声を再生すると、音声のピッチが変化してしまい、ユーザが音声を聞き取りづらくなってしまうという問題があった。このため、音声を通常の音程で再生できるように、音声信号を加工するようなことも行われている。
【０００４】
例えば特許文献１には、音声信号の無音部分を削除して有音部分のみで構成される音声信号に加工することにより、音声のピッチを変えることなく、音声の再生速度を上げられるようにしたことが開示されている。また、特許文献２には、音声信号の有音部分では再生速度を１倍速とすることが開示されている。
【特許文献１】特開平１０−２４３３５１号公報
【特許文献２】特開２００１−１３４３００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した従来技術においては、早送り再生時の音声の聞き取りづらさを解消するために、音声信号の有音部分では、再生速度をあまり上げないような制御が行われている。ところが、音声信号に含まれる音声と一言で言っても、実際には、「言葉」、「歓声」、「拍手」、「効果音」といったように、様々な種類が存在する。そして、「言葉」以外の「歓声」や「拍手」等の音声については、再生速度を３倍以上等の高速にした場合でも認識が可能であることが、発明者等の行った実験により明らかとなっている。
【０００６】
これによれば、音声信号に含まれる音声が「言葉」以外の場合には、音声の種類が「言葉」である場合よりも早い再生速度で再生しても、ユーザにおける提示内容の理解度は損なわれないことになる。また、このような場合は再生速度を高速にすることで、ユーザにおける単位時間での情報の取得量も増大させることができる。
【０００７】
図１４に、再生速度と可聴音声の種類との関連をグラフで示してある。図１４に示したグラフは、発明者等が行った実験の結果に基づいて作成したものである。実験は、テレビジョン放送を通して放映されたプログラムを、再生速度を変えながら被験者に対して提示し、各再生速度において被験者が認識できた内容を記録するという形態で行われた。
【０００８】
図１４の横軸は再生速度（単位：倍速）であり、「声」、「自然音」、「人工音」の３種類の音声における再生速度毎の可聴音声の種類（と内容）が示されている。音声の種類が「声」である場合、再生速度が１倍速から３倍速であれば「言葉」の認識が可能であることが示されている。また、再生速度が５倍速以上であっても、１５倍速程度までであれば「しゃべりの雰囲気」は認識可能であることが示されている。
【０００９】
また、３５倍速程度までであれば「声の表情」を認識することができ、５２倍速程度までであれば大雑把な「話者人数」を特定することができ、６０倍速の高速再生時においても、「声」の有無の認知や、男性の声か女性の声かといった「声質」の認識はできることが示されている。
【００１０】
音声の種類が「自然音」である場合には、１０倍速程度までであれば、その音声が風による音声なのか波による音声なのかといった「音源の種類」の特定ができ、２５倍速程度までであれば、バットがボールを打つ音に代表されるような「単発音」の有無を認知可能であることが示されている。また、「歓声」であれば再生速度が６０倍速であっても認識可能であることが示されている。
【００１１】
音声の種類が「人工音」である場合には、２３倍速程度までであれば「ＢＧＭ（Back Ground Music）の雰囲気」を感じることができ、５０倍速程度までであれば、「効果音の特徴」を認知可能であり、６０倍速程度の高速においても、「効果音やＢＧＭの有無」については認識可能であることが示されている。
【００１２】
すなわち、音声信号に含まれる音声の種類が「言葉」以外である場合には、その音声を聞き取れる範囲内の再生速度であれば、３倍速以上等の高速で再生した場合にも、ユーザは音声の種類の特定や内容の認識を行うことができることが分かる。
【００１３】
また、音声の種類が何れの種類である場合にも、音声の定常性が高い区間においては、再生速度を高速にしてもその音声が有する特徴が損なわれにくいことが分かっている。図１５に、定常性の高い音声と定常性の低い音声のそれぞれを高速再生した場合の例を示してある。図１５における波形は、音声信号の周波数を示す波形であり、所定のサンプリング時間単位で区切ったものを示してある。図１５（ａ）は定常性の低い音声の波形を示したものであり、図１５（ｂ）は定常性の高い音声の波形を示したものである。
【００１４】
図１５に示した例では、ある一定の時間領域内における、周波数成分の類似する区間の長さによって、その音声での定常性の高さを判断している。図１５（ａ）の上段に示した波形は、複数種類の周波数成分を含むものであり、それぞれの周波数成分における類似性が少ない。従って、この区間における音声の定常性は低いと判断できる。このような音声波形を時間方向に圧縮することにより、再生速度を高速化した場合の例を、図１５（ａ）の下段に示してある。図１５（ａ）の下段に示された波形は、図１５（ａ）の上段に示された波形に比べて変形してしまい、音声の有する特徴も失われてしまっていることが分かる。
【００１５】
一方、図１５（ｂ）の上段に示した波形においては、類似する周波数成分が連続して登場しており、この区間における音声の定常性は高いと判断できる。図１５（ｂ）の上段に示した波形を時間方向に圧縮すると、図１５（ｂ）の下段に示したような、図１５（ｂ）の上段に示された波形とほぼ同じ特徴を有する波形となる。つまり、定常性の高い音声は、再生速度を早くしても、ユーザはその音声の有する特徴を聴き取ることができることを意味する。
【００１６】
したがって、早送り再生を行う場合に、音声の定常性が高い区間においては再生速度を高速にすることで、ユーザにおける情報取得効率を向上させることができる。
【００１７】
ところが、従来の早送り再生技術においては、人の話す「言葉」を認識可能とすることに主眼を置いているため、早送り再生時の再生速度は１．５倍〜２．０倍程度の低速な値に設定されている場合が多かった。すなわち、音声の内容が例えば「歓声」等である場合にも、音声の定常性が高い場合にも、早送り再生の速度は２．０倍速等の低い速度にされるため、ユーザによる情報取得効率を上げることができないという問題があった。
【００１８】
本発明はかかる点に鑑みてなされたものであり、音声の種類に関わらずユーザの情報取得効率を向上することを目的とする。
【課題を解決するための手段】
【００１９】
本発明は、音声信号の再生を行う音声信号処理装置において、音声信号が入力される音声入力部と、音声入力部に入力された音声の特徴量を抽出して、抽出した特徴量に応じて音声信号の再生速度を設定し、設定した再生速度を出力する特徴量抽出部とを備えた。さらに、音声入力部から入力された音声信号の再生速度を、特徴量抽出部から出力された再生速度に変更する再生速度変更部と、再生速度変更部で変更された再生速度の音声信号を出力する音声出力部とを備えるようにした。
【００２０】
このようにしたことで、音声信号の特徴量に応じて、その再生速度が適応的に調整されるようになる。
【発明の効果】
【００２１】
本発明によると、音声信号の特徴量に応じて、その再生速度が適応的に調整されるため、ユーザにおける情報取得効率の向上を図ることができる。
【発明を実施するための最良の形態】
【００２２】
（第１の実施の形態）
以下、本発明の第１の実施の形態を、図１〜図４を参照して説明する。本実施の形態では、音声信号の定常性の高さに応じて、再生速度を適応的に調整する処理を行う。図１に、定常性の検出結果に応じた再生速度の適用例を示してある。図１において、横軸は時間であり、図１の上段に、区間Ａと区間Ｂのそれぞれにおける音声信号の波形を示してある。
【００２３】
区間Ａにおいて検出された音声波形は、複数種類の周波数成分を含むものであり、それぞれの周波数成分における類似性が少ない。つまり、区間Ａにおける音声の定常性は低いと判断できる。この場合は、再生速度を遅めに設定することで、音声波形の時間方向での圧縮率を低くする。このようにして設定した最適な再生速度を適応した場合は、音声波形は、図１の下段（区間Ａ）に示したもののようになる。つまり、元の音声波形の有する特徴が保持される。
【００２４】
区間Ｂにおいて検出された音声波形は、類似した音声波形の繰り返しにより構成されるものであり、この区間における音声の定常性は高いと判断できる。この場合は、再生速度を速めに設定しても、図１の下段（区間Ｂ）に示されたように、再生速度変換後においても音声波形の特徴は保持されるようになる。
【００２５】
すなわち本例では、音声の再生速度を、音声の定常性の継続期間の長さに比例する値に設定することで、効率的な音声再生を実現する。
【００２６】
次に、図２を参照して、本例における音声信号処理装置の内部構成の例について説明する。図２に示した音声信号処理装置１００は、音声入力部１０と、符号化処理部２０と、蓄積部３０と、特徴量抽出部４０と、再生速度変更部５０と、音声出力部６０とから成る。
【００２７】
音声入力部１０は、チューナや入力端子等を介して音声信号処理装置１００内に取り込まれた音声信号の、信号レベルの変換処理等を行う。符号化・復号処理部２０は、音声入力部１０から入力された音声信号を符号化し、記録音声として蓄積部３０に蓄積する処理を行う。また、蓄積部３０に蓄積された圧縮映像データや圧縮音声データを読み出して復号し、復号した音声信号を特徴量抽出部４０と再生速度変更部５０に出力する。
【００２８】
蓄積部３０は、例えばＨＤＤ（Hard Disc Drive）やＤＶＤ（Digital Versatile Disc）等で構成してあり、符号化・復号処理部２０で符号化された映像信号や音声信号を蓄積する。もしくは、他の録画再生装置で記録された映像データや音声データを蓄積する。
【００２９】
特徴量抽出部４０は、符号化・復号処理部２０から出力された音声信号を周波数分析し、音声信号の有する特徴量として、定常性の継続期間の長さ（以下、「定常度」とも称する。）を抽出するとともに、抽出した定常度の大きさに応じた最適な再生速度を設定する。この場合の再生速度は、１倍速以上の値に設定されるものとする。そして設定した再生速度を、再生速度変更部５０に出力する。特徴量抽出部４０の構成の詳細については、次の図３を参照して説明する。
【００３０】
再生速度変更部５０は、その時点での音声信号の再生速度を、特徴量抽出部４０から出力された再生速度に変換する処理を行う。具体的には、特開２０００−９９０９７号公報に記載された技術等を用いて、音声信号の無音部分を削除したり、特徴が連続する箇所を削除することで、ピッチを変えずに音声信号の再生速度を変更する。そして、再生速度が所定の速度に変換された音声信号を、音声出力部６０を通して音声信号処理装置１００の外に出力する。
【００３１】
次に、特徴量抽出部４０の内部構成の例について、図３のブロック図を参照して説明する。図３に示した特徴量抽出部４０は、ＦＦＴ（Fast Fourier Transform:高速フーリエ変換）処理部４１、係数蓄積部４２、定常性判定部４３、再生速度決定部４４とから成る。
【００３２】
ＦＦＴ処理部４１は、符号化・復号処理部２０（図２参照）から出力された音声信号を高速フーリエ変換してＦＦＴ係数を算出し、算出したＦＦＴ係数を、係数蓄積部４２と定常性判定部４３に出力する。係数蓄積部４２は、ＦＦＴ処理部４１から出力されたＦＦＴ係数を、所定の期間分蓄積する。
【００３３】
定常性判定部４３は、ＦＦＴ処理部４１から出力されたＦＦＴ係数と、係数蓄積部４２に蓄積された過去のＦＦＴ係数との相関値を計算し、求められた相関値が所定の閾値を超えた回数を、定常度ｐとして再生速度決定部４４に出力する。本例では、閾値を０．８としてある。
【００３４】
相関値の計算には、例えば下記の式を用いるものとする。下記式において、ＮはＦＦＴ係数の数であり、ＣはＦＦＴ係数のノルムの対数値、ｔは時刻、反転ＣｔはＣｔの平均値、σｔは標準偏差である。-
【数１】
2009181044.tif 000003
【００３５】
つまり、時刻ｔにおけるＦＦＴ係数の平均値からのずれ量と、時刻ｔ−１におけるＦＦＴ係数の平均値からのずれ量とを積算したものを、ＦＦＴ係数の個数分加算し、それぞれの標準偏差を積算した値で除算することにより、比較対象となる２つのＦＦＴ係数の相関値を算出している。
【００３６】
再生速度決定部４４は、定常性判定部４３から出力された定常度ｐと、調整係数α（自然数）とを用いて、音声信号の再生速度Ｖを決定する。再生速度Ｖの算出には、例えば以下の式を用いる。
【数２】
2009181044.tif 000004
調整係数αの値は、再生速度Ｖが、音声の特徴が保持される範囲内における最高速度の再生速度となるように調整されているものとする。求めた再生速度Ｖは、再生速度変更部５０（図２参照）に出力する。
【００３７】
図４に、このように構成された特徴量抽出部４０での処理の例を、フローチャートで示してある。特徴量抽出部４０では、まず音声信号の入力を受け付けると（ステップＳ１）、ＦＦＴ処理部４１によって、その音声信号がＦＦＴ演算され、ＦＦＴ係数が算出される（ステップＳ２）。ＦＦＴ係数は係数蓄積部４２に出力されるとともに（ステップＳ３）、定常性判定部４３にも出力される（ステップＳ４）。
【００３８】
定常性判定部４３では、まず定常度を示す変数ｐに０が代入され（ステップＳ５）、次に、係数蓄積部４２から１つ過去のＦＦＴ係数が読み出される（ステップＳ６）。そして、読み出した１つ過去のＦＦＴ係数と、ＦＦＴ処理部４１から出力された現在の（その時点での）ＦＦＴ係数との相関値が計算され（ステップＳ７）、求められた相関値の値が、閾値として設定された０．８より大きいか否かの判断が行われる（ステップＳ８）。
【００３９】
相関値の大きさが０．８よりも大きかった場合には、定常度ｐの値に１を追加し（ステップＳ９）、再びステップＳ６の処理を行う。この時点では、ステップＳ６で既に取得済みのＦＦＴ係数の、さらに１つ過去のＦＦＴ係数が取得される。そして、ステップＳ６で「１つ過去のＦＦＴ係数」として読み出された係数と、それよりさらに１つ過去のＦＦＴ係数との相関値が算出され（ステップＳ７）、その相関値の大きさが閾値より大きいか否かの判断が行われる（ステップＳ８）。すなわち、相関値の大きさが閾値を超えた回数が、定常度ｐとして設定される。
【００４０】
ステップＳ８において、相関値が閾値の０．８以下であると判断された場合には、定常度ｐの値が再生速度決定部４４に出力される（ステップＳ１０）。そして、再生速度決定部４４によって、調整係数αと定常度ｐを乗算した値に１．０を加算して得られる値を、再生速度Ｖとする処理が行われる（ステップＳ１１）。再生速度Ｖは、再生速度変更部５０（図２参照）に出力され（ステップＳ１２）、その時点で、音声信号の入力が終了したか否かの判断が行われる（ステップＳ１３）。音声信号が継続して入力されている場合には、再びステップＳ１に戻って処理が続けられ、音声信号の入力は終わった場合には、特徴量抽出部４０での処理も終了となる。
【００４１】
上述した実施の形態によれば、音声信号における音の定常性が高い場合には、再生速度Ｖが速くなり、定常性が低い場合には再生速度Ｖが遅くなる。これにより、特に、定常性の高い音声が続く区間においては、ユーザが取得可能な情報の量を大幅に増大させることができる。
【００４２】
このとき、再生速度Ｖは、定常性の高さに比例した値に設定されるため、定常性の低い音声が続く期間においても、定常性の継続する期間の長さによっては、低速での早送り再生しか行えない装置を用いた場合よりも、ユーザにおける情報取得量は多くなる。
【００４３】
また、音声の定常性の高さに応じて、音声の特徴が保持される範囲内での再生速度が設定されるため、速い再生速度が選択されている場合にも、ユーザによる音声の聞き逃しは最小限に抑えられる。
【００４４】
また、再生速度Ｖの変更は、定常性判定部４３より定常度ｐが出力される都度行われるため、音声の定常性の高さに応じて自動的に再生速度が調整されるようになる。したがって、ユーザが再生速度を設定する手間を省くことができるようになる。この場合、ユーザにおける情報の理解効率も向上する。
【００４５】
（第２の実施の形態）
次に、本発明の第２の実施の形態を、図５〜図９を参照して説明する。本実施の形態では、音声信号から抽出した特徴量を元にその音声の種類を特定し、特定された種類に応じた再生速度を設定する。図５に、音声の種類に応じた再生速度の適用例を示してある。
【００４６】
図５の上段には、音声信号を構成する音声の種類を時間方向に示してあり、音声信号の内容が、時間の経過とともに「言葉」、「拍手」、「ＢＧＭ」、「言葉」、「効果音」のように変化していることが示されている。図５の下段には、音声信号の再生速度の変化を矩形波で示してあり、横軸は時間であり、縦軸は再生速度である。音声の内容が「言葉」である場合には低速に設定され、音声の内容が「拍手」のときには高速に設定されるといったように、音声の種類が変わる毎に再生速度も動的に変化している様子が示されている。また、再生速度の速さも音声の種類によって変えてあり、「効果音」のときに一番高速に、続いて「拍手」、「ＢＧＭ」、「言葉」の順に遅く設定されている。
【００４７】
この場合の再生速度を、図１４に示した実験結果に基づいて設定することで、その音声が有する特徴が損なわれない範囲内における最大の速度で、各音声が再生されるようになる。
【００４８】
次に、図６を参照して、本例における特徴量抽出部４０′の内部構成の例を説明する。特徴量抽出部４０′以外の構成は、第１の実施の形態として図２に示したものと同様の構成としてあるため、説明は省略する。図６に示した特徴量抽出部４０′は、ＦＦＴ処理部４１、音声レベル検出部４５、音声パターン決定部４６、再生速度決定部４７、ＬＵＴ（Look Up Table）４８とで構成される。
【００４９】
ＦＦＴ処理部４１は、第１の実施の形態で説明したものと同様に、符号化・復号処理部２０（図２参照）から出力された音声信号を高速フーリエ変換してＦＦＴ係数を算出し、算出したＦＦＴ係数を、音声パターン決定部４６に出力する。音声レベル検出部４５は、符号化・復号処理部２０（図２参照）から出力された音声信号の音声信号レベルを検出し、検出した音声レベルを音声パターン決定部４６に出力する。
【００５０】
音声パターン決定部４６は、ＦＦＴ処理部４１から出力されたＦＦＴ係数と音声レベル検出部４５から出力された音声レベルとに基づいて、入力された音声信号を、音声の種類を示す音声パターンのいずれかに分類する。音声パターンの種類毎に音声パターン番号を割り振ってあり、音声パターン決定部４６は、音声信号が割り振られた音声パターンの音声パターン番号を、再生速度決定部４７に出力する。音声パターン決定部４６の詳細については、図８を参照して後述する。
【００５１】
再生速度決定部４７は、音声パターン決定部４６から出力された音声パターン番号に基づいて、音声信号の再生速度を決定する。本例においては、音声パターン番号と再生速度との対応付け情報が記載されたＬＵＴ４８を備えさせてあり、再生速度決定部４７は、音声パターン決定部４６から出力された音声パターン番号に対応する再生速度をＬＵＴ４８から抽出し、その再生速度の情報を、再生速度変更部５０（図２参照）に出力する。
【００５２】
図７に、ＬＵＴ４８の構成例を示してある。図７に示したＬＵＴ４８において、左の列に音声パターン番号が記載されており、右の列に、それぞれと対応する再生速度が記載されている。図７に示した例において、音声パターン番号１は音声の種類が「言葉」であることを示す番号であり、音声パターン番号１には「２．０倍」の再生速度が対応付けられている。
【００５３】
同様に、音声パターン番号２の「拍手」には「２０．０倍」の再生速度が設定されており、音声パターン番号３の「笑い」には「１８．０倍」、音声パターン番号４の「歓声」には「４５．０倍」、音声パターン番号５の「ＢＧＭ」には「１５．０倍」、音声パターン番号６の「効果音」には「３５．０倍」の再生速度が設定されている。
【００５４】
ＬＵＴ４８は、予め固定値として設定しておいてもよく、ユーザ等によって項目や再生速度を調整可能に構成しておいてもよい。また、例えば「ＢＧＭ」という１つの種類においても、その有無だけ確認できればよいレベルでの再生速度と、雰囲気を味わえることができるレベルでの再生速度といったように、複数の再生速度を選択可能としてもよい。
【００５５】
次に、図８を参照して、音声パターン決定部４６の構成及び処理の詳細について説明する。本例においては、音声パターン決定部４６をニューラルネットワークで構成してある。図８に示したニューラルネットワークは、入力層、中間層、出力層の３層より成り、入力層はｎ＋１個のユニットで構成され、中間層はｍ＋１個のユニットで構成され、出力層はｏ＋１（６）個のユニットで構成される。なお、入力層から中間層、中間層から出力層の間では、前の層の全てのユニットと次の層の全てのユニットとが接続されているものとする。
【００５６】
入力層には、Ｃ０〜Ｃｎ（ｎは自然数）の入力信号が入力されるようにしてあり、Ｃ０〜Ｃ（ｎ−１）としては、ＦＦＴ係数を対数スケールに変換した値が入力され、Ｃｎには音声レベルの値が入力される。Ｃ０〜Ｃｎのうちのｋ番目からの入力信号をｘｋとしてあり、それぞれの入力信号に対して、結合荷重ｗが設定されている。
【００５７】
結合荷重ｗの添字は、入力層の１番目のユニットから中間層の１番目のユニットへの結合のときはｗ０，０、入力層ｎ＋１番目のユニットから中間層の１番目への結合のときはｗｎ，０のように記載される。
【００５８】
中間層を構成する各ユニットでは、結合荷重ｗ によって重み付けされた複数の入力ｘ の加重和が算出され、その値が予め設定しておいた閾値より大きかった場合に、出力層への信号の出力が行われる。中間層からの出力値をｙ０〜ｙｍ（ｍは自然数）とするとき、ｊ番目の出力値ｙｊは、下記の式により算出される。
【数３】
2009181044.tif 000005
上述した式におけるσは、一種の閾値関数であるシグモイド関数を示したものであり、σ（ｙｊ）は以下に示す式により算出される。
【数４】
2009181044.tif 000006
【００５９】
出力層においても、上述したものと同様の手法により、出力値が算出される。出力層からの出力値をｚ０〜ｚｏ（ｏは自然数）とするとき、ｉ番目の出力値ｚｉは、下記の式により算出される。下記式におけるｗ′は、中間層からの出力値に対する結合荷重である。
【数５】
2009181044.tif 000007
そして、上記式により求められた値が例えば０．８以上であれば１、０．８未満であれば０が出力されるように設定しておく。
【００６０】
図８に示した例では、音声の種類の数に対応して出力層のユニットを設けてあり、１番目のユニットからの出力値ｚ０には「言葉」を対応させてあり、以下、２番目のユニットからの出力値ｚ１には「拍手」を、３番目のユニットからの出力値ｚ２には「笑い」を、４番目のユニットからの出力値ｚ３には「歓声」を、５番目のユニットからの出力値ｚ４には「ＢＧＭ」を、６番目のユニットからの出力値ｚ５には「効果音」を対応させてある。そして、値が１である出力値に対応付けられた種類を、入力された音声信号の種類として特定する。ここでは、値が１である出力値は、２番目のユニットからの出力値ｚ１であるため、入力された音声は「拍手」であると認定される。
【００６１】
「拍手」を示す音声パターン番号は、図７に示したＬＵＴ４８に記載があるように、「２」であるため、音声パターン番号「２」が、音声パターン決定部４６から再生速度決定部４７（図６参照）に出力される。そして、再生速度決定部４７によって、音声パターン番号２に対応付けられた再生速度「２０．０倍」がＬＵＴ４８から読み出され、読み出された再生速度「２０．０倍」の情報が、再生速度変更部５０（図２参照）に出力される。すなわち、「拍手」に分類される音声が入力されたときには、再生速度は２０．０倍に設定されることになる。
【００６２】
なお、音声パターン決定部４６において、入力されるＦＦＴ係数と音声レベルに基づく正しい分類が行われるように、予め、ニューラルネットワークへの学習を行っておくものとする。具体的には、音声の種類と最適な再生速度との対応の情報を教師データとして用意しておき、出力値に基づく分類が教師データとして設定された結果と一致するように、調整を行う。学習用に用いる音声信号には、その音声の種類を示すラベルを付与しておくようにする。
【００６３】
調整は、結合荷重ｗやｗ′の値を変化させることにより行う。例えば、実際に「拍手」の音声が入力されたときには、ｚ０＝０，ｚ１＝１，ｚ２＝０，ｚ３＝０，ｚ４＝０，ｚ５＝０，ｚ６＝０の値が出力されるように、結合荷重ｗ，ｗ′の重みを調整する。
【００６４】
また、音声パターン決定部４６において、出力層から「１」の値が複数出力される場合、つまり、「拍手」を示すフラグが立っていると同時に、「歓声」のフラグも立っている場合等には、予め設定しておいたルールに基づいて再生速度を決定するようにする。例えば、「拍手」と「歓声」の両方のフラグがたった場合には、再生速度の遅い方、すなわち「拍手」に対応付けられた「２０．０倍」が選択されるように設定しておく。
【００６５】
再生速度の速い方や、その時点での再生速度と近い方を優先的に選択するように設定してもよい。もしくは、これらの複数のルールを選択肢として用意しておき、いずれのルールを用いて再生速度を決定するかを、ユーザに選択させるようにしてもよい。
【００６６】
図９に、本実施の形態における特徴量検出部４０′の処理の例を、フローチャートで示してある。特徴量抽出部４０′では、まず音声信号の入力を受け付けると（ステップＳ２１）、ＦＦＴ処理部４１によって、その音声信号がＦＦＴ演算され、ＦＦＴ係数が算出される（ステップＳ２２）。算出されたＦＦＴ係数は、音声パターン決定部４６に出力される（ステップＳ２３）。
【００６７】
ＦＦＴ処理部４１による処理と並行して、音声レベル検出部４５での音声レベル計測も行われ（ステップＳ２４）、計測された音声レベルが、同じく音声パターン決定部４６に出力される（ステップＳ２５）。続いて、ＦＦＴ係数と音声レベルに基づいて音声パターン決定部４６で音声パターン番号が決定され（ステップＳ２６）、決定された音声パターン番号に対応する再生速度が選択される（ステップＳ２７）。そして、選択された再生速度が、再生速度変更部５０（図２参照）に出力される（ステップＳ２８）。
【００６８】
そして、音声信号の入力が終了したか否かの判断が行われ（ステップＳ２９）、音声信号が継続して入力されている場合には、再びステップＳ１に戻って処理が続けられ、音声信号の入力は終わった場合には、特徴量抽出部４０′での処理も終了となる。
【００６９】
上述した第２の実施の形態によれば、入力された音声信号の種類に応じて、自動的に最適な再生速度が選択されるようになるため、ユーザにおける情報取得の効率を向上させることができる。
【００７０】
これにより、情報取得効率が一番上がる再生速度を、ユーザ自身が探す必要がなくなるため、ユーザの手間を省くことができる。
【００７１】
また、音声信号から抽出された特徴量によって音声の種類を１つに絞り込めない場合に、どのようにして再生速度を決定するかを、ユーザ選択させる構成としてあるため、音声信号の再生速度を、ユーザの好みや能力により合ったものにすることができる。
【００７２】
なお、上述した第２の実施の形態においては、音声信号の種類と最適な再生速度との対応を記述したＬＵＴ４８を用意し、ＬＵＴ４８に記載の内容に基づいて再生速度を設定する場合を例に挙げたが、ニューラルネットワークによって直接再生速度を算出する構成に適用してもよい。この場合は、数５により算出された値を閾値によって二値化することを行わず、算出された値をそのまま再生速度とするようにすればよい。
【００７３】
図１０に、この場合の特徴量抽出部４０′′の内部構成の例を示してある。図１０において、図６と対応する箇所には同一の符号を付してある。図１０に示した特徴量抽出部４０′′は、ＦＦＴ処理部４１、音声レベル検出部４５、再生速度決定部４９とで構成される。ＦＦＴ処理部４１、音声レベル検出部４５の処理については上述した各構成と同一であるため、説明を省略する。
【００７４】
再生速度決定部４９は、ニューラルネットワークで構成してあり、ＦＦＴ処理部４１から出力されたＦＦＴ係数と、音声レベル検出部４５から出力された音声レベルに基づいて、最適な再生速度を算出する。
【００７５】
図１１に、再生速度決定部４９の構成例を示してある。図１１において、図８と対応する箇所については同一の符号を付してあり、詳細な説明は省略する。図１１に示した構成は、図８に示したものと同様に、入力層、中間層、出力層とで構成してあるが、出力層を構成するユニットを１つにしてある。つまり、中間層からの出力値により、再生速度が一意に求まる構成としてある。図１１には、再生速度として「２．４」の値が算出された例が示されている。
【００７６】
再生速度決定部４９をこのように構成した場合の、特徴量抽出部４０′′の処理の例を、図１２にフローチャートで示してある。特徴量抽出部４０′′では、まず音声信号の入力を受け付けると（ステップＳ３１）、ＦＦＴ処理部４１によって、その音声信号がＦＦＴ演算され、ＦＦＴ係数が算出される（ステップＳ３２）。算出されたＦＦＴ係数は、再生速度決定部４９に出力される（ステップＳ３３）。
【００７７】
ＦＦＴ処理部４１による処理と並行して、音声レベル検出部４５での音声レベル計測も行われ（ステップＳ３４）、計測された音声レベルが、同じく再生速度決定部４９に出力される（ステップＳ３５）。続いて、ＦＦＴ係数と音声レベルに基づいて、再生速度決定部４９で音声信号の再生速度が算出され（ステップＳ３６）、算出された再生速度が、再生速度変更部５０（図２参照）に出力される（ステップＳ３７）。
【００７８】
そして、音声信号の入力が終了したか否かの判断が行われ（ステップＳ３８）、音声信号が継続して入力されている場合には、再びステップＳ１に戻って処理が続けられ、音声信号の入力は終わった場合には、特徴量抽出部４０′′での処理も終了となる。
【００７９】
このような構成及び処理を行うことで、上述した各実施の形態による効果に加えて、再生速度決定までの処理時間を短縮することができるという効果を得ることができる。
【００８０】
なお、上述した各実施の形態では、音声信号を独立して取り扱う音声信号処理装置を例に挙げたが、映像信号と音声信号とを同期して扱う音声信号処理装置に適用してもよい。
【００８１】
また、第２の実施の形態及びその変形例として示した構成においては、ＦＦＴ係数に加えて、音声信号の音声レベルの大きさも用いて再生速度を決定するようにしたが、音声レベルは考慮しない構成に適用してもよい。
【００８２】
また、上述した各実施の形態では、音声信号の有する特徴量を抽出する手法として、ＦＦＴを例に挙げたが、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficient）等の他の手法を用いるようにしてもよい。また、第２の実施の形態においては、音声パターン番号の算出にニューラルネットワークを用いたが、他の手段を採用してもよい。
【００８３】
また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【００８４】
図１３に、上述した実施の形態の一連の処理をプログラムにより実行することが可能な、パーソナルコンピュータ２００（以下、ＰＣ２００と称する）の構成例を示してある。図１３に示したＰＣ２００は、制御部１０１、メモリ１０２、通信部１０３、操作部１０４、表示部１０５、記憶部１０６、外部記憶媒体Ｉ／Ｆ部１０７、外部記憶媒体１０８とを備える。
【００８５】
制御部１０１は、ＣＰＵ（Central Processing Unit）等で構成され、メモリ１０２、または記憶部に記録されているプログラムに従って、上記一連の処理や、他の各種の処理を実行する。メモリ１０２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）で構成され、制御部１０１が実行するプログラムやデータなどが記憶される。
【００８６】
通信部１０３は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。外部記憶媒体Ｉ／Ｆ部１０７は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどの外部記憶媒体１０８が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録１０８に転送され、記録される。
【００８７】
操作部１０４は、キーボードやマウスなどより構成され、ユーザからの操作入力に応じた操作信号を生成して制御部１０１に出力する。表示部１０５は、ＣＲＴ（Cathode Ray Tube）やＬＣＤよりなるディスプレイである。記憶部１０６は、例えばハードディスクやＤＶＤ（Digital Versatile Disc）からなり、制御部１０１が実行するプログラムや各種のデータを記録する。
【００８８】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１３に示すように、外部記憶媒体１０８として構成される。外部記憶媒体１０８としては、上述した磁気ディスクのようなリムーバブルメディアの他に、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているメモリ１０２や、記憶部１０６なども含む。
【００８９】
プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１０３を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【００９０】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【００９１】
また、プログラムは、一つのコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【図面の簡単な説明】
【００９２】
【図１】本発明の第１の実施の形態による定常性検出結果に基づく再生速度変換処理の例を示す説明図である。
【図２】本発明の第１の実施の形態による音声信号処理装置の内部構成例を示すブロック図である。
【図３】本発明の第１の実施の形態による特徴量抽出部の内部構成例を示すブロック図である。
【図４】本発明の第１の実施の形態による特徴量抽出部での処理の例を示すフローチャートである。
【図５】本発明の第２の実施の形態による音声の種類に応じた再生速度変換の処理例を示す説明図である。
【図６】本発明の第２の実施の形態による特徴量抽出部の内部構成例を示すブロック図である。
【図７】本発明の第２の実施の形態によるＬＵＴの構成例を示す説明図である。
【図８】本発明の第２の実施の形態による音声パターン決定部の構成の例を示す説明図である。
【図９】本発明の第２の実施の形態による特徴量抽出部の処理の例を示すフローチャートである。
【図１０】本発明の第２の実施の形態の他の実施例による特徴量抽出部の内部構成の例を示すブロック図である。
【図１１】本発明の第２の実施の形態の他の実施例による再生速度決定部の構成例を示す説明図である。
【図１２】本発明の第２の実施の形態の他の実施例による特徴量抽出部の処理の例を示すフローチャートである。
【図１３】パーソナルコンピュータの内部構成の一例を示すブロック図である。
【図１４】再生速度と可聴音声の種類との関連性を示す説明図である。
【図１５】定常性と再生速度との関連性を示す説明図である。
【符号の説明】
【００９３】
１０…音声入力部、２０…符号化・復号処理部、３０…蓄積部、４０…特徴量抽出部、４１…ＦＦＴ処理部、４２…係数蓄積部、４３…定常性判定部、４４…再生速度決定部、４５…音声レベル検出部、４６…音声パターン決定部、４７…再生速度決定部、４８…ＬＵＴ、４９…再生速度決定部、５０…再生速度変更部、６０…音声出力部、ｐ…定常度
【図１】
2009181044.tif 000008
【図２】
2009181044.tif 000009
【図３】
2009181044.tif 000010
【図４】
2009181044.tif 000011
【図５】
2009181044.tif 000012
【図６】
2009181044.tif 000013
【図７】
2009181044.tif 000014
【図８】
2009181044.tif 000015
【図９】
2009181044.tif 000016
【図１０】
2009181044.tif 000017
【図１１】
2009181044.tif 000018
【図１２】
2009181044.tif 000019
【図１３】
2009181044.tif 000020
【図１４】
2009181044.tif 000021
【図１５】
2009181044.tif 000022