(57)【特許請求の範囲】
【請求項１】
取得された音声信号に基づいて音源を定位する音源定位部と、
前記音源定位部によって定位された定位情報に基づいて発話区間検出を行う発話区間検出部と、
を備え、
前記発話区間検出部は、前記音源定位部によって定位された音声信号に対して第１の閾値を用いて音源候補を検出し、検出された前記音源候補に対してクラスタリング処理を行い、前記クラスタリング処理によって分類されたクラスタ毎に前記第１の閾値より高い第２の閾値を用いて発話区間を検出する、音声処理装置。
【請求項２】
取得された音声信号に基づいて音源を定位する音源定位部と、
前記音源定位部によって定位された定位情報に基づいて発話区間検出を行う発話区間検出部と、
を備え、
前記発話区間検出部は、前記音源定位部によって定位された音声信号に対して第２の閾値を用いて音源候補を検出し、検出された前記音源候補に対してクラスタリング処理を行い、前記クラスタリング処理によって分類されたクラスタ毎に前記第２の閾値より低い第１の閾値を用いて発話区間を検出する、音声処理装置。
【請求項３】
前記発話区間検出部は、前記音源定位部によって定位された定位情報に基づいて、発話の開始と発話の終了を検出する、請求項１または請求項２に記載の音声処理装置。
【請求項４】
音源定位部が、取得された音声信号に基づいて音源を定位する音源定位手順と、
発話区間検出部が、前記音源定位手順によって定位された音声信号に対して第１の閾値を用いて音源候補を検出する手順と、
前記発話区間検出部が、検出された前記音源候補に対してクラスタリング処理を行うクラスタリング手順と、
前記発話区間検出部が、前記クラスタリング処手順によって分類されたクラスタ毎に前記第１の閾値より高い第２の閾値を用いて発話区間を検出する手順と、
を含む音声処理方法。
【請求項５】
音源定位部が、取得された音声信号に基づいて音源を定位する音源定位手順と、
発話区間検出部が、前記音源定位部によって定位された音声信号に対して第２の閾値を用いて音源候補を検出する手順と、
前記発話区間検出部が、検出された前記音源候補に対してクラスタリング処理を行うクラスタリング手順と、
前記発話区間検出部が、前記クラスタリング処手順によって分類されたクラスタ毎に前記第２の閾値より低い第１の閾値を用いて発話区間を検出する手順と、
を含む音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置及び音声処理方法に関する。
【背景技術】
【０００２】
従来から、複数の音源から発された混合音を、音源毎の音に分離する音源分離技術が提案されている。音源分離技術には、入力された音響信号のスペクトルパワーと所定の閾値をフレーム毎に比較することにより、当該フレームが音声または非音声の区間であるかを判定するものがある。例えば、特許文献１には、話者音源から出力された発話区間を検出し、発話区間を検出した場合、分離行列を最適化し、最適化した分離行列を用いて混合音から話者音源からの音と雑音源からの音を分離する音声信号処理装置について記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２２７５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の音声信号処理装置では、話者音源からの音と雑音源からの音を分離する前の段階において、発話区間を検出する。特許文献１に記載の技術を用いて分離された話者音源からの音について音声認識処理を行うと、分離された話者音源からの音に、非音声の区間が処理対象となる区間に含まれるために、音声認識精度が低下することがあった。
【０００５】
本発明は上記の点に鑑みてなされたものであり、音声認識精度を向上させる区間を検出することができる音声処理装置及び音声処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）上記目的を達成するため、本発明の一態様に係る音声処理装置は、取得された音声信号に基づいて音源を定位する音源定位部と、前記音源定位部によって定位された定位情報に基づいて発話区間検出を行う発話区間検出部と、を備え、前記発話区間検出部は、前記音源定位部によって定位された音声信号に対して第１の閾値を用いて音源候補を検出し、検出された前記音源候補に対してクラスタリング処理を行い、前記クラスタリング処理によって分類されたクラスタ毎に前記第１の閾値より高い第２の閾値を用いて発話区間を検出する。
（２）上記目的を達成するため、本発明の一態様に係る音声処理装置は、取得された音声信号に基づいて音源を定位する音源定位部と、前記音源定位部によって定位された定位情報に基づいて発話区間検出を行う発話区間検出部と、を備え、前記発話区間検出部は、前記音源定位部によって定位された音声信号に対して第２の閾値を用いて音源候補を検出し、検出された前記音源候補に対してクラスタリング処理を行い、前記クラスタリング処理によって分類されたクラスタ毎に前記第２の閾値より低い第１の閾値を用いて発話区間を検出する。
【０００７】
（３）また、本発明の一態様に係る音声処理装置において、前記発話区間検出部は、前記音源定位部によって定位された定位情報に基づいて、発話の開始と発話の終了を検出するようにしてもよい。
【００１３】
（４）上記目的を達成するため、本発明の一態様に係る音声処理方法は、音源定位部が、取得された音声信号に基づいて音源を定位する音源定位手順と、発話区間検出部が、前記音源定位手順によって定位された音声信号に対して第１の閾値を用いて音源候補を検出する手順と、前記発話区間検出部が、検出された前記音源候補に対してクラスタリング処理を行うクラスタリング手順と、前記発話区間検出部が、前記クラスタリング処手順によって分類されたクラスタ毎に前記第１の閾値より高い第２の閾値を用いて発話区間を検出する手順と、を含む。
（５）上記目的を達成するため、本発明の一態様に係る音声処理方法は、音源定位部が、取得された音声信号に基づいて音源を定位する音源定位手順と、発話区間検出部が、前記音源定位部によって定位された音声信号に対して第２の閾値を用いて音源候補を検出する手順と、前記発話区間検出部が、検出された前記音源候補に対してクラスタリング処理を行うクラスタリング手順と、前記発話区間検出部が、前記クラスタリング処手順によって分類されたクラスタ毎に前記第２の閾値より低い第１の閾値を用いて発話区間を検出する手順と、を含む。
【発明の効果】
【００１４】
上述した（１）、（２）、（４）、または（５）の構成によれば、音源定位情報を用いることによって、発話している区間を高精度に検出することができる。
また、上述した（３）の構成によれば、発話の開始と発話の終了を検出することで、発話している区間を高精度に検出することができる。
【００１５】
また、上述した（１）または（２）の構成によれば、２つの閾値を順に用いることで、挿入誤りと発話区間の途切れを低減することができる。
また、上述した（１）の構成によれば、第１の閾値で検出した後、検出された音源候補に対してクラスタリング処理を行い、クラスタリング処理されたクラスタ毎に第２の閾値を用いて発話区間を検出しているので、発話区間の検出において、挿入誤差を発話区間の途切れを低減することができる。
【００１６】
また、上述した（２）の構成によれば、第２の閾値で検出した後、検出された音源候補に対してクラスタリング処理を行い、クラスタリング処理されたクラスタ毎に第１の閾値を用いて発話区間を検出しているので、発話区間の検出において、挿入誤差を発話区間の途切れを低減することができる。
また、第２の閾値で検出した後、検出された音源候補に対して空間スペクトルの勾配を用いて発話区間を検出しているので、発話区間の検出において、挿入誤差を発話区間の途切れを低減することができる。
【００１７】
また、音源同定を用いることによって発話区間の検出精度をより一層向上させることができる。
また、外部装置から取得したイベント情報に基づいて生成されたマスクを用いて、空間スペクトルの音源候補に対してマスクをかけることで、精度良く発話区間を検出することができる。発話区間の途切れを防ぐことができる。また、挿入誤差と発話区間の途切れを防ぐことができる。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態に係る音声処理システムの構成を示すブロック図である。
【図２】第１実施形態に係る発話区間検出方法を示す図である。
【図３】挿入誤差と発話区間の途切れの一例を示す図である。
【図４】第１実施形態に係る音声処理システムが行う処理のフローチャートである。
【図５】第２実施形態に係る発話区間検出方法を示す図である。
【図６】第２実施形態に係る音声処理システムが行う処理のフローチャートである。
【図７】第３実施形態に係る音声処理システムの構成を示すブロック図である。
【図８】第３実施形態に係る記憶部に記憶されている勾配に対する閾値の例を示す図である。
【図９】空間スペクトルの勾配の例を示す図である。
【図１０】第３実施形態に係る音声処理システムが行う処理のフローチャートである。
【図１１】第４実施形態に係る音声処理システムの構成を示すブロック図である。
【図１２】第４実施形態に係る音声、非音声の例を示す図である。
【図１３】第４実施形態に係る音声処理システムが行う処理のフローチャートである。
【図１４】第５実施形態に係る音声処理システムの構成を示すブロック図である。
【図１５】空間スペクトラムにおけるイベント区間の例を示す図である。
【図１６】第５実施形態に係る発話区間検出方法を示す図である。
【図１７】第５実施形態に係る音声処理システムが行う処理のフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら本発明の実施形態について説明する。
【００２０】
［第１実施形態］
図１は、本実施形態に係る音声処理システム１の構成を示すブロック図である。
図１に示すように、音声処理システム１は、音声処理装置２、入力部３、および出力部４を含んで構成される。
【００２１】
入力部３は、例えば、Ｍ個の電気音響変換素子（マイクロホン）をそれぞれ異なる位置に配列したマイクロホンアレイである。なお、入力部３は、録音されたＭチャネルの音声信号を外部から取得する音声取得部であってもよい。入力部３は、入力されたＭチャネルの音声信号を音声処理装置２に出力する。入力部３は、収録した音声信号を無線で音声処理装置２に送信してもよいし、有線で送信してもよい。入力部３の位置は、固定されていてもよいし、ロボット、車両等の移動体に設置され移動可能であってもよい。入力部３は、音声処理装置２と一体化されていてもよいし、別体であってもよい。
【００２２】
出力部４は、例えば、文字、図形、画像などを表示するディスプレイ装置である。ディスプレイ装置は、発話データが示す発話内容の情報を、テキスト、画像など視認可能な形態で表示する。出力部４は、音声処理装置２が出力した発話データを出力する。なお、出力部４は、他の機器に発話データを出力するデータ出力インタフェースであってもよい。出力部４は、入力部３と一体に構成されたデータ入出力インタフェースであってもよい。
【００２３】
音声処理装置２は、記憶部２１、音源定位部２２、発話区間検出部２３、音源分離部２４、および音声認識部２５を備えている。
【００２４】
記憶部２１には、所定の間隔（例えば、５°）で分布した音源方向ψ毎の伝達関数が予め記憶されている。また、記憶部２１には、音声認識部２５によって音声認識時に用いられる音声認識モデルが予め記憶されている。なお、音声認識モデルは、音響モデルと言語モデルを含む。音響モデルは、音声特徴量から１つまたは複数の音素からなる音素列を定めるために用いられる。音響モデルは、例えば、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ、隠れマルコフモデル）である。言語モデルは、音素列から構成される語句を定めるために用いられる。言語モデルは、例えば、ｎ−グラム（ｎ−ｇｒａｍ）である。
【００２５】
音源定位部２２は、入力部３が出力したＭチャネルの音声信号に基づいて各音源の方向を予め定めた長さのフレーム（例えば、５０ｍｓ）毎に定める（音源定位）。音源定位部２２は、音源定位において、記憶部２１に記憶されている伝達関数を用いて、例えば、ＭＵＳＩＣ（Ｍｕｌｔｉｐｌｅ  Ｓｉｇｎａｌ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ；多重信号分類）法を用いて方向毎のパワーを示す空間スペクトルを算出する。なお、音源定位部２２は、ＭＵＳＩＣ法に代えて、例えば、重み付き遅延和ビームフォーミング（ＷＤＳ−ＢＦ：Ｗｅｉｇｈｔｅｄ  Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ  Ｂｅａｍ  Ｆｏｒｍｉｎｇ）法等を用いてもよい。音源定位部２２は、空間スペクトルに基づいて音源毎の音源方向を定める。なお、音源定位については、後述する。音源定位部２２は、定めた音源毎の音源方向を示す音源方向情報とＭチャネルの音声信号を発話区間検出部２３に出力する。
【００２６】
発話区間検出部２３は、閾値設定部２３１、クラスタリング部２３２、および発話開始・発話終了検出部２３３を備えている。
発話区間検出部２３には、音源定位部２２が出力した音源方向情報とＭチャネルの音声信号が入力される。発話区間検出部２３は、閾値設定部２３１が設定した第１の閾値ＴＬを用いて、音源候補を検出する。発話区間検出部２３は、クラスタリング部２３２によってクラスタリングされた音源候補に対して閾値設定部２３１が設定した第２の閾値ＴＨを用いて、発話開始・発話終了検出部２３３によって検出された発話の開始と発話の終了を用いて発話区間を検出する。なお、発話区間検出については、後述する。発話区間検出部２３は、入力された音源方向情報とＭチャネルの音声信号から、検出した発話区間内の音源方向情報とＭチャネルの音声信号をそれぞれ抽出する。発話区間検出部２３は、抽出した発話区間内の音源方向情報ψｋ（ｆ）とＭチャネル音声信号をそれぞれ音源分離部２４に出力する。なお、ｆはフレーム、ｋは音源数である。
【００２７】
音源分離部２４には、発話区間検出部２３が出力した音源方向情報とＭチャネルの音声信号が入力される。音源分離部２４は、Ｍチャネルの音声信号を音源方向情報が示す音源方向に基づいて音源毎の音声信号である音源別音声信号に分離する。音源分離部２４は、音源別音声信号に分離する際、例えば、ＧＨＤＳＳ（Ｇｅｏｍｅｔｒｉｃ−ｃｏｎｓｔｒａｉｎｅｄ  Ｈｉｇｈ−ｏｒｄｅｒ  Ｄｅｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ）法を用いる。音源分離部２４は、分離した音源毎、すなわち方位角ψｋ（ｆ）方向の分離音声信号を音声認識部２５に出力する。なお、本実施形態では、同じ方位として検出された音源は、同一の音源であるとして説明する。
【００２８】
音声認識部２５は、音源分離部２４が出力したフレームの分離音声信号の音声特徴量を算出する。音声認識部２５は、算出した音声特徴量と記憶部２１に記憶されている音声認識モデルを用いて音声認識処理を行う。音声認識部２５は、算出した音声特徴量について音声認識モデルを用いて算出した尤度が最も高い語句を認識結果として定める。音声認識部２５は、音源毎の発話内容として認識結果を示すテキストデータを出力部４に出力する。
【００２９】
＜音源定位＞
次に、音源定位の一手法であるＭＵＳＩＣ法について説明する。
ＭＵＳＩＣ法は、以下に説明する空間スペクトルのパワーＰｅｘｔ（ψ）が極大であって、所定のレベルよりも高い音源方向ψを定める手法である。音源定位部２２は、音源から各チャネルｍ（ｍは、１以上Ｍ以下の整数）に対応するマイクロホンまでの伝達関数Ｄ［ｍ］（ω）を要素とする伝達関数ベクトル［Ｄ（ψ）］を音源方向ψ毎に生成する。
【００３０】
音源定位部２２は、各チャネルｐの音響信号ｘｐ（ｔ）（ｔは、時刻）を所定のサンプル数からなるフレーム毎に周波数領域に変換することによって変換係数ｘｐ（ω）を算出する。音源定位部２２は、算出した変換係数を要素として含む入力ベクトル［ｘ（ω）］から、次式（１）に示す入力相関行列［Ｒｘｘ］を算出する。
【００３１】
【数１】
0006648377.tif 000002
【００３２】
式（１）において、Ｅ［…］は、…の期待値を示す。［…］＊は、行列又はベクトルの共役転置（ｃｏｎｊｕｇａｔｅ  ｔｒａｎｓｐｏｓｅ）を示す。
音源定位部２２は、入力相関行列［Ｒｘｘ］の固有値δｉ及び固有ベクトル［ｅｉ］を算出する。入力相関行列［Ｒｘｘ］、固有値δｉ、及び固有ベクトル［ｅｉ］は、次式（２）に示す関係を有する。
【００３３】
【数２】
0006648377.tif 000003
【００３４】
式（２）において、ｉは、１以上Ｍ以下の整数である。インデックスｉの順序は、固有値δｉの降順である。
音源定位部２２は、伝達関数ベクトル［Ｄ（ψ）］と算出した固有ベクトル［ｅｉ］に基づいて、次式（３）に示す周波数別空間スペクトルのパワーＰ（ψ）を算出する。
【００３５】
【数３】
0006648377.tif 000004
【００３６】
式（３）において、Ｋは、検出可能な音源の最大個数（例えば、２）である。Ｋは、Ｍよりも小さい予め定めた自然数である。
音源定位部２２は、空間スペクトルＰ（ψ）の総和を全帯域の空間スペクトルのパワーＰｅｘｔ（ψ）として算出して、音源方向を推定する。
音源定位部２２は、推定された音源方向の空間スペクトルＰ（ψ）をフレームｆ毎に算出し、算出したフレームｆ毎の空間スペクトルＰ（ψ、ｆ）を音源方向情報として発話区間検出部２３に出力する。
【００３７】
＜発話区間検出＞
次に、発話区間検出について説明する。
図２は、本実施形態に係る発話区間検出方法を示す図である。図２において、縦軸は音源方向ψ［ｄｅｇ］、横軸は時間フレームｆである。
図２の符号ｇ１０１が示す画像は、空間スペクトルＰ（ψ、ｆ）の一例を示す画像である。
【００３８】
閾値設定部２３１は、まず、発話区間を検出するための閾値を第１の閾値ＴＬに設定する。次に、発話区間検出部２３は、図２の符号ｇ１０２が示す画像のように、閾値設定部２３１によって設定された第１の閾値ＴＬを用いて、音源方向情報が示す音源方向について、音源毎に空間スペクトルのパワーが、所定のパワーの閾値よりも高い音源候補を検出する。図２の符号ｇ１０２が示す画像は、第１の閾値ＴＬを用いて検出された音源候補の一例を示す画像である。
【００３９】
次に、クラスタリング部２３２は、図２の符号ｇ１０３が示す画像のように、音源候補を、例えば階層的クラスタリング手法（最短距離法、最長距離法、群平均法、ウォード法）、分割最適化クラスタリング手法等を用いて、クラスタに分類する。図２の符号ｇ１０３が示す画像は、音源候補をクラスタリング処理した結果の一例を示す画像である。符号ｇ１０３が示す画像において、鎖線で囲まれた領域ｇ１１１〜ｇ１１５それぞれは、１つのクラスタとして分類されたクラスタである。
【００４０】
次に、閾値設定部２３１は、発話区間を検出するための閾値を、第１の閾値ＴＬより高い第２の閾値ＴＨに設定する。次に、発話区間検出部２３は、クラスタ毎に第２の閾値ＴＨ以上の成分が含まれているか否かを判別する。発話区間検出部２３は、図２の符号ｇ１０４が示す画像のように、第２の閾値ＴＨ以上の成分が含まれているクラスタを発話区間として検出する。図２の符号ｇ１０４が示す画像は、音源候補のうち第２の閾値ＴＨ以上の音源候補の一例を示す画像である。なお、発話区間検出部２３は、第２の閾値ＴＨ以上の成分が１つ以上含まれているクラスタを発話区間として検出する。または、発話区間検出部２３は、第２の閾値ＴＨ以上の成分が所定の割合以上含まれているクラスタを発話区間として検出するようにしてもよい。符号ｇ１０４が示す画像において、鎖線で囲まれた領域ｇ１２１は、第２の閾値ＴＨ以上の成分が含まれていたため音源として検出され、すなわち発話区間として検出された領域である。また、符号ｇ１０４が示す画像において、鎖線で囲まれた領域ｇ１２２とｇ１２３は、第２の閾値ＴＨ以上の成分が含まれていなかったため音源として検出されなかった、すなわち棄却された領域である。また、発話開始・発話終了検出部２３３は、第２の閾値ＴＨ以上が含まれていたクラスタにおいて、最も値が低いフレームｆ１を発話開始ＳＰＳとして検出し、最も値が大きいフレームｆ２を発話終了ＳＰＥとして検出する。発話区間検出部２３は、発話開始・発話終了検出部２３３によって検出された発話開始ＳＰＳと発話終了ＳＰＥの間を発話区間として検出する。
【００４１】
ここで、値の異なる２つの閾値を順に用いることで得られる効果について説明する。
図３は、挿入誤差と発話区間の途切れの一例を示す図である。図３において、縦軸は音源方向ψ［ｄｅｇ］、横軸は時間フレームｆである。画像ｇ１５１は、低い値の閾値を用いて検出した音源候補の一例の画像である。画像ｇ１６１は、高い値の閾値を用いて検出した音源候補の一例の画像である。
低い値の閾値のみを用いて発話区間を検出した場合、図３の画像ｇ１５１に示すように、雑音も音源であると判別され挿入誤りが発生する。画像ｇ１５１において、符号ｇ１５２は、挿入誤りの例である。
また、高い値の閾値のみを用いて発話区間を検出した場合、図３の画像ｇ１６１に示すように、発話区間が途切れて検出される現象が発生する。画像ｇ１６１において、フレームｆ１１〜ｆ１２が途切れの例である。この場合、発話区間は、フレームｆ１〜ｆ２で連続せずに、フレームｆ１〜ｆ１１と、フレームｆ１２〜ｆ２の２つとして検出される。
【００４２】
本実施形態によれば、まず、第１の閾値ＴＬを用いて音源候補を検出しているので、発話区間の途切れを低減できる。さらに、本実施形態によれば、音源候補に対してクラスタリング処理を行い、クラスタ毎に第２の閾値ＴＨを用いることで、挿入誤りを除去することができる。なお、第２の閾値ＴＨを用いてもクラスタ内に含まれる成分は、第１の閾値ＴＬ以上の成分であるため、発話区間の途切れを低減できる。
【００４３】
＜音源分離＞
次に、音源分離の一手法であるＧＨＤＳＳ法について説明する。
ＧＨＤＳＳ法は、２つのコスト関数（ｃｏｓｔ  ｆｕｎｃｔｉｏｎ）として、分離尖鋭度（Ｓｅｐａｒａｔｉｏｎ  Ｓｈａｒｐｎｅｓｓ）ＪＳＳ（［Ｖ（ω）］）と幾何制約度（Ｇｅｏｍｅｔｒｉｃ  Ｃｏｎｓｔｒａｉｎｔ）ＪＧＣ（［Ｖ（ω）］）が、それぞれ減少するように分離行列［Ｖ（ω）］を適応的に算出する方法である。分離行列［Ｖ（ω）］は、音源定位部２２から入力されたＰチャネルの音声信号［ｘ（ω）］に乗じることによって、Ｋチャネルの音源毎の音声信号（推定値ベクトル）［ｕ’（ω）］を算出するために用いられる行列である。ここで、［…］Ｔは、行列又はベクトルの転置を示す。
【００４４】
分離尖鋭度ＪＳＳ（［Ｖ（ω）］）、幾何制約度ＪＧＣ（［Ｖ（ω）］）は、それぞれ、次式（４）、（５）のように表される。
【００４５】
【数４】
0006648377.tif 000005
【００４６】
【数５】
0006648377.tif 000006
【００４７】
式（４）、（５）において、｜｜…｜｜２は、行列…のフロベニウスノルム（Ｆｒｏｂｅｎｉｕｓ  ｎｏｒｍ）である。フロベニウスノルムとは、行列を構成する各要素値の二乗和（スカラー値）である。φ（［ｕ’（ω）］）は、音声信号［ｕ’（ω）］の非線形関数、例えば、双曲線正接関数（ｈｙｐｅｒｂｏｌｉｃ  ｔａｎｇｅｎｔ  ｆｕｎｃｔｉｏｎ）である。ｄｉａｇ［…］は、行列…の対角成分の総和を示す。従って、分離尖鋭度ＪＳＳ（［Ｖ（ω）］）は、音声信号（推定値）のスペクトルのチャネル間非対角成分の大きさ、つまり、ある１つの音源が他の音源として誤って分離される度合いを表す指標値である。また、式（５）において、［Ｉ］は、単位行列を示す。従って、幾何制約度ＪＧＣ（［Ｖ（ω）］）とは、音声信号（推定値）のスペクトルと音声信号（音源）のスペクトルとの誤差の度合いを表す指標値である。
【００４８】
＜音声処理システム１の処理手順＞
次に、音声処理システム１が行う処理手順を説明する。
図４は、本実施形態に係る音声処理システム１が行う処理のフローチャートである。
（ステップＳ１０１）音源定位部２２は、入力部３からのＭチャネルの音声信号に基づいて方向毎のパワーを示す空間スペクトルを算出する。続けて、音源定位部２２は、算出した空間スペクトルに基づいて音源毎の音源方向を定める。
【００４９】
（ステップＳ１０２）閾値設定部２３１は、発話区間を検出するための閾値を第１の閾値ＴＬに設定する。続けて、発話区間検出部２３は、閾値設定部２３１によって設定された第１の閾値ＴＬを用いて、音源方向情報が示す音源方向について、音源毎に空間スペクトルのパワーが、所定のパワーの閾値よりも高い音源候補を検出する。
【００５０】
（ステップＳ１０３）クラスタリング部２３２は、音源候補を、例えば階層的クラスタリング手法、分割最適化クラスタリング手法等を用いて、クラスタに分類する。
（ステップＳ１０４）発話区間検出部２３は、ステップＳ１０４〜Ｓ１０８の処理をクラスタ毎に行う。発話区間検出部２３は、ステップＳ１０３で分類されたクラスタの中から１つを選択する。
【００５１】
（ステップＳ１０５）閾値設定部２３１は、発話区間を検出するための閾値を、第１の閾値ＴＬより高い第２の閾値ＴＨに設定する。続けて、発話区間検出部２３は、第２の閾値ＴＨ以上の成分が含まれているか否かを判別する。発話区間検出部２３は、第２の閾値ＴＨ以上の成分が含まれていると判別した場合（ステップＳ１０５；ＹＥＳ）、ステップＳ１０６に処理を進め、第２の閾値ＴＨ以上の成分が含まれていないと判別した場合（ステップＳ１０５；ＮＯ）、ステップＳ１０７に処理を進める。
【００５２】
（ステップＳ１０６）発話区間検出部２３は、第２の閾値ＴＨ以上の成分が含まれているクラスタを発話として検出する。続けて、発話開始・発話終了検出部２３３は、第２の閾値ＴＨ以上が含まれていたクラスタにおいて、最も値が小さいフレームを発話開始ＳＰＳとして検出し、最も値が大きいフレームｆを発話終了ＳＰＥとして検出する。続けて、発話区間検出部２３は、検出された発話開始ＳＰＳと発話終了ＳＰＥとの間を発話区間として検出する。発話区間検出部２３は、ステップＳ１０８に処理を進める。
（ステップＳ１０７）発話区間検出部２３は、第２の閾値ＴＨ以上の成分が含まれていないクラスタを棄却し、ステップＳ１０８に処理を進める。
【００５３】
（ステップＳ１０８）発話区間検出部２３は、ステップＳ１０３で分類されたクラスタの中から全てをステップＳ１０４で抽出済みである場合に、クラスタ毎の処理を終了し、ステップＳ１０９の処理に進める。
【００５４】
（ステップＳ１０９）音源分離部２４は、Ｍチャネルの音声信号を音源方向情報が示す音源方向に基づいて音源毎の音声信号である音源別音声信号に分離する。
（ステップＳ１１０）音声認識部２５は、音源分離部２４が出力したフレームの分離音声信号の音声特徴量を算出する。続けて、音声認識部２５は、算出した音声特徴量と記憶部２１に記憶されている音声認識モデルを用いて音声認識処理を行う。続けて、音声認識部２５は、算出した音声特徴量について音声認識モデルを用いて算出した尤度が最も高い語句を認識結果として定める。
以上で、音声処理システム１が行う処理を終了する。
【００５５】
以上のように、本実施形態の音声処理装置２は、取得された音声信号に基づいて音源を定位する音源定位部２２と、音源定位部によって定位された定位情報に基づいて発話区間検出を行う発話区間検出部２３と、を備える。
【００５６】
この構成によれば、音源定位情報を用いることによって、発話している区間を高精度に検出することができる。
【００５７】
また、本実施形態の音声処理装置２において、発話区間検出部２３は、音源定位部２２によって定位された定位情報に基づいて、発話の開始（例えば図２のフレームｆ１）と発話の終了（例えば図２のフレームｆ２）を検出する。
【００５８】
この構成によれば、発話の開始と発話の終了を検出することで、発話している区間を高精度に検出することができる。
【００５９】
また、本実施形態の音声処理装置２において、発話区間検出部２３は、音源定位部２２によって定位された音声信号に対して複数の閾値（例えば、第１の閾値ＴＬ、第２の閾値ＴＨ）を用いて発話区間を検出する。
【００６０】
この構成によれば、音源定位された情報に対して、第１の閾値ＴＬと第２の閾値ＴＨを、値の低い順に用いて２度検出することで、精度良く発話区間を検出することができる。本実施形態によれば、２つの閾値を順に用いることで、挿入誤りと発話区間の途切れを低減することができる。
【００６１】
また、本実施形態の音声処理装置２において、発話区間検出部２３は、音源定位部２２によって定位された音声信号に対して複数の閾値のうち第１の閾値ＴＬを用いて音源候補を検出し、検出された音源候補に対してクラスタリング処理を行い、クラスタリング処理によって分類されたクラスタ毎に複数の閾値のうち第１の閾値より高い第２の閾値ＴＨを用いて発話区間を検出する。
【００６２】
この構成によれば、第１の閾値ＴＬで検出した後、検出された音源候補に対してクラスタリング処理を行い、クラスタリング処理されたクラスタ毎に第２の閾値ＴＨを用いて発話区間を検出しているので、発話区間の検出において、挿入誤差を発話区間の途切れを低減することができる。
【００６３】
［第２実施形態］
第１実施形態では、低い値の第１の閾値ＴＬを用いて検出した後、第１の閾値ＴＬより高い値の第２の閾値ＴＨを用いて発話区間を検出する例を説明したが、本実施形態では、第２の閾値ＴＨを用いて検出した後、第１の閾値ＴＬを用いて発話区間を検出する例を説明する。
【００６４】
本実施形態の音声処理システム１の構成は、図１に示した第１実施形態の構成と同じである。第１実施形態との差異は、音声処理装置２の発話区間検出部２３の処理である。
【００６５】
発話区間検出部２３は、閾値設定部２３１が設定した第２の閾値ＴＨを用いて、音源候補を検出する。発話区間検出部２３は、クラスタリング部２３２によってクラスタリングされた音源候補に対して閾値設定部２３１が設定した第１の閾値ＴＬを用いて、発話開始・発話終了検出部２３３によって検出された発話の開始と発話の終了を用いて発話区間を検出する。発話区間検出部２３は、入力された音源方向情報とＭチャネルの音声信号から、検出した発話区間内の音源方向情報とＭチャネルの音声信号をそれぞれ抽出する。発話区間検出部２３は、抽出した発話区間内の音源方向情報ψｋ（ｆ）とＭチャネル音声信号をそれぞれ音源分離部２４に出力する。
【００６６】
＜発話区間検出＞
次に、発話区間検出について説明する。
図５は、本実施形態に係る発話区間検出方法を示す図である。図５において、縦軸は音源方向ψ［ｄｅｇ］、横軸は時間フレームｆである。
閾値設定部２３１は、まず、発話区間を検出するための閾値を第２の閾値ＴＨに設定する。次に、発話区間検出部２３は、図５の符号ｇ２０１が示す画像のように、閾値設定部２３１によって設定された第２の閾値ＴＨを用いて、音源方向情報が示す音源方向について、音源毎に空間スペクトルのパワーが、所定のパワーの閾値よりも高い音源候補を検出する。図５の符号ｇ２０１が示す画像は、第２の閾値ＴＨを用いて検出された音源候補の一例を示す画像である。この場合、符号ｇ２０１が示す画像のように、フレームｆ１１〜ｆ１２の間に発話区間の途切れが発生している。
【００６７】
次に、クラスタリング部２３２は、符号ｇ２０１が示す画像において鎖線で囲んで領域ｇ２１１のように、音源候補を、例えば階層的クラスタリング手法、分割最適化クラスタリング手法等を用いて、クラスタに分類する。鎖線で囲まれた領域ｇ２１１は、１つのクラスタとして分類されたクラスタである。
【００６８】
次に、閾値設定部２３１は、発話区間を検出するための閾値を、第２の閾値ＴＨより低い第１の閾値ＴＬに設定する。次に、発話区間検出部２３は、複数のクラスタに分類された場合、クラスタ毎に第１の閾値ＴＬ以上の成分を再検出する。発話区間検出部２３は、図５の符号ｇ２０２が示す画像のように、第１の閾値ＴＬ以上の成分が含まれているクラスタを発話区間として検出する。また、発話開始・発話終了検出部２３３は、第１実施形態と同様に、第２の閾値ＴＨ以上が含まれていたクラスタにおいて、最も値が低いフレームｆ１を発話開始ＳＰＳとして検出し、最も値が大きいフレームｆ２を発話終了ＳＰＥとして検出する。発話区間検出部２３は、発話開始・発話終了検出部２３３によって検出された発話開始ＳＰＳと発話終了ＳＰＥの間を発話区間として検出する。
【００６９】
＜音声処理システム１の処理手順＞
次に、本実施形態の音声処理システム１が行う処理手順を説明する。
図６は、本実施形態に係る音声処理システム１が行う処理のフローチャートである。なお、図４に示した第１実施形態と同じ処理については、同じ符号を用いて説明を省略する。
【００７０】
（ステップＳ２０１）ステップＳ１０１（図４）の処理終了後、閾値設定部２３１は、発話区間を検出するための閾値を第２の閾値ＴＨに設定する。続けて、発話区間検出部２３は、閾値設定部２３１によって設定された第２の閾値ＴＨを用いて、音源方向情報が示す音源方向について、音源毎に空間スペクトルのパワーが、所定のパワーの閾値よりも高い音源候補を検出する。閾値設定部２３１は、ステップＳ１０３の処理に進める。
【００７１】
（ステップＳ２０２）閾値設定部２３１は、ステップＳ１０５（図４）の処理に代えて、ステップＳ２０２の処理を行う。閾値設定部２３１は、発話区間を検出するための閾値を、第２の閾値ＴＨより低い第１の閾値ＴＬに設定する。続けて、発話区間検出部２３は、クラスタ毎に第１の閾値ＴＬ以上の成分を再検出する。閾値設定部２３１は、ステップＳ１０６に処理を進める。
【００７２】
（ステップＳ１０６）発話区間検出部２３は、ステップＳ１０４で選択されたクラスタにおいて、第１の閾値ＴＬ以上の成分が含まれているクラスタを発話として検出する。続けて、発話開始・発話終了検出部２３３は、第１の閾値ＴＬ以上が含まれていたクラスタにおいて、最も値が小さいフレームを発話開始ＳＰＳとして検出し、最も値が大きいフレームｆを発話終了ＳＰＥとして検出する。続けて、発話区間検出部２３は、検出された発話開始ＳＰＳと発話終了ＳＰＥとの間を発話区間として検出する。発話区間検出部２３は、ステップＳ１０８に処理を進める。
以上で、音声処理システム１が行う処理を終了する。
【００７３】
以上のように、本実施形態の音声処理装置２において、発話区間検出部２３は、音源定位部２２によって定位された音声信号に対して複数の閾値のうち第２の閾値ＴＨを用いて音源候補を検出し、検出された音源候補に対してクラスタリング処理を行い、クラスタリング処理によって分類されたクラスタ毎に複数の閾値のうち第２の閾値より低い第１の閾値ＴＬを用いて発話区間を検出する。
【００７４】
この構成によれば、第２の閾値ＴＨで検出した後、検出された音源候補に対してクラスタリング処理を行い、クラスタリング処理されたクラスタ毎に第１の閾値ＴＬを用いて発話区間を検出しているので、発話区間の検出において、挿入誤差を発話区間の途切れを低減することができる。
【００７５】
なお、本実施形態では、発話区間検出部２３が、第１実施形態と同様にクラスタリング部２３２を備える例を説明したが、これに限られない。発話区間検出部２３は、クラスタリング部２３２を備えていなくてもよい。この場合、発話区間検出部２３は、第２の閾値ＴＨを用いて検出された音源候補において、発話の開始と発話の終了を検出する。例えば、図５の符号ｇ２０１が示す画像において、発話区間検出部２３は、フレームｆ１１を第１の発話終了ＳＰＥ１として検出し、フレームｆ１２を第２の発話開始ＳＰＳ２として検出する。そして、発話区間検出部２３は、検出した第１の発話終了ＳＰＥ１と第２の発話開始ＳＰＳ２の区間のフレーム数が所定の値以下の場合、この第１の発話終了ＳＰＥ１と第２の発話開始ＳＰＳ２の区間の成分に対してのみ、またはた第１の発話開始ＳＰＳ１と第２の発話終了ＳＰＳ２の区間の成分に対して、第１の閾値ＴＬを用いて音源候補の再検出を行うようにしてもよい。
【００７６】
なお、第１実施形態、第２実施形態では、２つの閾値を用いる例を説明したが、閾値の数は３つ以上であってもよい。ここで、３つの閾値を、閾値Ｔｔｈ１、閾値Ｔｔｈ２、閾値Ｔｔｈ３とする。閾値の大小関係は、閾値Ｔｔｈ３が最も値が大きく、閾値Ｔｔｈ２は、閾値Ｔｔｈ１より大きく、閾値Ｔｔｈ１が最も値が小さいとする。第１実施形態では、最初に最も値が小さい閾値Ｔｔｈ１を用い、次に閾値Ｔｔｈ２または閾値Ｔｔｈ３のいずれか１つを用いるようにしてもよい。第２実施形態では、最初に最も値が大きい閾値Ｔｔｈ３を用い、次に閾値Ｔｔｈ１または閾値Ｔｔｈ２のいずれか１つを用いるようにしてもよい。
【００７７】
［第３実施形態］
第３実施形態では、第２実施形態と同様に、音源定位された情報に対して、第２の閾値ＴＨを用いて音源候補を検出した後、勾配に基づいて発話区間の途切れを防ぐ例を説明する。
【００７８】
図７は、本実施形態に係る音声処理システム１Ａの構成を示すブロック図である。なお、音声処理システム１と同じ機能を有する機能部には同じ符号を用いて、説明を省略する。音声処理システム１と音声処理システム１Ａの差異は、音声処理装置２Ａの記憶部２１Ａと発話区間検出部２３Ａである。
【００７９】
記憶部２１Ａには、記憶部２１に記憶されている情報に加えて、発話開始、発話終了（音源消失）、発話継続（音源継続）それぞれを判別するための閾値が、図８に示すように記憶されている。図８は、本実施形態に係る記憶部２１Ａに記憶されている勾配に対する閾値の例を示す図である。図８に示すように、記憶部２１Ａには、発話開始を判別するための第１の勾配閾値、発話継続を判別するための第２の勾配閾値、発話終了を判別するための第３の勾配閾値が記憶されている。なお、第２の閾値は、所定の範囲を含む値である。
【００８０】
発話区間検出部２３Ａは、閾値設定部２３１、発話開始・発話終了検出部２３３、および勾配検出部２３４を備えている。
発話区間検出部２３Ａは、閾値設定部２３１が設定した第２の閾値ＴＨを用いて、音源候補を検出する。発話開始・発話終了検出部２３３は、勾配検出部２３４によって検出された空間スペクトルの勾配に基づいて、発話区間を検出する。なお、発話区間の検出については後述する。発話区間検出部２３Ａは、入力された音源方向情報とＭチャネルの音声信号から、検出した発話区間内の音源方向情報とＭチャネルの音声信号をそれぞれ抽出する。発話区間検出部２３Ａは、抽出した発話区間内の音源方向情報ψｋ（ｆ）とＭチャネル音声信号をそれぞれ音源分離部２４に出力する。
【００８１】
＜発話区間検出＞
次に、発話区間検出について説明する。
第２実施形態で説明したように、第２の閾値ＴＨを先に用いて音源候補を検出した場合、図５の符号ｇ２０１が示す画像のように発話区間に途切れが生じる場合がある。
図９は、空間スペクトルの勾配の例を示す図である。図９において、縦軸は音源方向ψ［ｄｅｇ］、横軸は時間フレームｆである。また、画像ｇ３０１は、音源定位部２２によって算出された空間スペクトルの例である。また、画像ｇ３０１において、鎖線ｇ３１１で囲んだ領域は、第２の閾値ＴＨを用いて検出された音源候補である。
【００８２】
図９において、画像ｇ３２１は、第２の閾値ＴＨを用いて検出された音源候補の空間スペクトルを拡大した図である。画像ｇ３２１において、波形ｇ３３１は、時間フレームｆに対する音源方向ψの変化を示している。波形ｇ３３１に示すように、発話開始時の勾配（傾き）は、正の急勾配であり、発話継続（音源継続）の勾配は、負の緩やかな勾配であり、発話終了（音源消失）の勾配は、負の急勾配である。
【００８３】
勾配検出部２３４は、第２の閾値ＴＨを用いて検出された音源候補を含む区間において、勾配を検出し、検出した勾配の値を発話開始・発話終了検出部２３３に出力する。なお、勾配検出部２３４は、発話開始を検出するため、第２の閾値ＴＨ以上として検出されたフレームｆ１（図５）の前のフレームから勾配を検出し、発話終了を検出するため、第２の閾値ＴＨ以上として検出されたフレームｆ２（図５）の後のフレームを含めて勾配を検出する。
【００８４】
発話開始・発話終了検出部２３３は、勾配検出部２３４が出力した勾配の値と、記憶部２１Ａに記憶されている第１の勾配閾値〜第３の勾配閾値とを比較して、発話開始、発話終了のフレームｆを検出する。なお、発話開始・発話終了検出部２３３は、第１の勾配閾値以上になったフレームを発話開始のフレームと判別し、第３の勾配閾値以下になったフレームを発話終了のフレームと判別する。また、発話開始・発話終了検出部２３３は、第２の閾値の範囲である場合に、発話継続であると判別する。なお、発話開始・発話終了検出部２３３は、発話継続のみを検出するようにしてもよい。
【００８５】
この処理によって、発話区間検出部２３Ａは、図９に示したフレームｆ１１〜ｆ１２の発話区間の途切れを音源継続と判別し、音源区間をフレームｆ１〜ｆ２として検出する。この結果、本実施形態によっても、図５の符号ｇ２０２が示す画像のように、発話区間に途切れのない１つの発話区間として検出することができる。
【００８６】
＜音声処理システム１Ａの処理手順＞
次に、本実施形態の音声処理システム１が行う処理手順を説明する。
図１０は、本実施形態に係る音声処理システム１Ａが行う処理のフローチャートである。なお、図４、図６と同じ処理については、同じ符号を用いて説明を省略する。
【００８７】
（ステップＳ３０１）ステップＳ２０１の処理終了後、勾配検出部２３４は、第２の閾値ＴＨを用いて検出された音源候補を含む区間において、勾配を検出する。勾配検出部２３４は、ステップＳ３０２に処理を進める。
（ステップＳ３０２）発話開始・発話終了検出部２３３は、勾配検出部２３４が出力した勾配の値と、記憶部２１Ａに記憶されている第１の勾配閾値〜第３の勾配閾値とを比較して、発話開始、発話終了のフレームｆを検出する。発話開始・発話終了検出部２３３は、ステップＳ１０９に処理を進める。
【００８８】
以上のように、本実施形態の音声処理装置２Ａにおいて、発話区間検出部２３Ａは、音源定位部２２によって定位された音声信号の空間スペクトルの勾配に基づいて発話区間検出を行う。
【００８９】
この構成によれば、第２の閾値ＴＨで検出した後、検出された音源候補に対して空間スペクトルの勾配を用いて発話区間を検出しているので、発話区間の検出において、挿入誤差を発話区間の途切れを低減することができる。
また、本実施形態によれば、音源定位部２２によって定位された音声信号の空間スペクトル勾配に基づいて発話区間検出を行うので、実際の会話状態により一層即した形で発話区間検出を行うことができる。
【００９０】
なお、本実施形態においても、発話区間検出部２３Ａは、クラスタリング部２３２を備えていてもよい。この場合、勾配検出部２３４は、クラスタリング部２３２によってクラスタに分類された範囲の勾配を検出するようにしてもよい。
【００９１】
［第４実施形態］
第３実施形態では、音源定位部２２によって算出された空間スペクトルの勾配に基づいて発話継続であることを判別することで、発話区間の途切れを防ぐ例を説明した。本実施形態では、発話区間の途切れを、音源定位された結果を用いて防ぐ例を説明する。
【００９２】
図１１は、本実施形態に係る音声処理システム１Ｂの構成を示すブロック図である。なお、音声処理システム１、１Ａと同じ機能を有する機能部には同じ符号を用いて、説明を省略する。
図１１に示すように、音声処理装置２Ｂは、記憶部２１Ａ、音源定位部２２、発話区間検出部２３Ｂ、音源分離部２４Ｂ、音声認識部２５、および音源同定部２６を備えている。音声処理システム１Ａと音声処理システム１Ｂの差異は、音声処理装置２Ｂの発話区間検出部２３Ｂ、音源分離部２４Ｂ、音源同定部２６である。
【００９３】
発話区間検出部２３Ｂは、閾値設定部２３１、発話開始・発話終了検出部２３３を備えている。
発話区間検出部２３Ｂは、閾値設定部２３１が設定した第２の閾値ＴＨを用いて、音源候補を検出する。発話開始・発話終了検出部２３３は、発話区間が途切れた場合、音源同定部２６によって同定された同定結果に基づいて、発話継続か否かを判別する。発話開始・発話終了検出部２３３は、発話が開始されたフレームと発話が終了したフレームを検出することで発話区間を検出する。なお、発話区間の検出については後述する。発話区間検出部２３Ｂは、入力された音源方向情報とＭチャネルの音声信号から、検出した発話区間内の音源方向情報とＭチャネルの音声信号をそれぞれ抽出する。発話区間検出部２３Ｂは、抽出した発話区間内の音源方向情報ψｋ（ｆ）とＭチャネル音声信号をそれぞれ音源分離部２４Ｂに出力する。
【００９４】
音源分離部２４Ｂは、音響特徴量算出部２４１を備えている。
音響特徴量算出部２４１は、音源分離部２４Ｂによって分離された音源毎の音源別音声信号について所定の長さのフレーム毎に音声特徴量を算出する。音声特徴量は、例えば、ＭＦＣＣ（Ｍｅｌ−ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  ｃｏｅｆｆｉｃｉｅｎｔｓ、メル周波数ケプストラム係数）、ＭＦＬＳ（Ｍｅｌ−ｆｒｅｑｕｅｎｃｙ  Ｌｏｇ  Ｓｐｅｃｔｒｕｍ、メル周波数対数スペクトル）、等である。音響特徴量算出部２４１は、算出した音響特徴量Ｘｋ（ｆ）を、音源同定部２６にフレーム毎に出力する。
【００９５】
音源同定部２６は、音響特徴量算出部２４１が出力した音響特徴量Ｘｋ（ｆ）に基づいて、信号が音声信号であるのか非音声信号（含む雑音）であるのかを判別し、判別した結果を同定結果として発話区間検出部２３Ｂに出力する。なお、音源同定部２６による音声信号と非音声信号との判別方法については後述する。
【００９６】
＜音源同定＞
ここで、音源同定部２６が行う処理について説明する。
音源同定部２６は、記憶部２１Ａに記憶されている言語モデルである、例えばＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ、混合ガウス分布モデル）を用いて音源同定を行う。
【００９７】
ＧＭＭは、入力された音声特徴量に対する出力確率を複数の正規分布を基底として重みづけ加算することにより求めるための音響モデルの一種である。ＧＭＭのモデル変数として、混合重み係数（ｍｉｘｔｕｒｅ  ｗｅｉｇｈｔ）Ｃｉｍ、平均値（ｍｅａｎ）［μｉｍ］、及び共分散行列（ｃｏｖａｒｉａｎｃｅ  ｍａｔｒｉｘ）［Σｉｐ］を含む。ここで、ｐは個々の基底、ｉはその時点における発話状態を示す。モデル変数は、クラス毎に与えられる。尤度は、フレーム毎の出力確率を累算することにより算出される。累算とは、線形領域で順次乗算すること、対数領域で順次加算することの両者を含む。尤度の算出において、音源同定部２６は、累算した出力確率を、出力確率の累算に係るフレーム数で正規化してもよい。
【００９８】
音源同定部２６は、ｎ（ｎは１以上Ｎ以下の整数、Ｎはフレームの最大数）番目のクラスの尤度ｐ（Ｘｋ（ｆ）｜λｎ）を算出する。なお、λは音響モデルである。また、ｎが１の場合、音声であり、ｎが２の場合、非音声である。音源同定部２６は、第１の尤度ｐ（Ｘｋ（ｆ）｜λ１）が第２の尤度ｐ（Ｘｋ（ｆ）｜λ２）よりも高いフレームの場合、音声であると判別する。または、音源同定部２６は、第１の尤度ｐ（Ｘｋ（ｆ）｜λ１）が第２の尤度ｐ（Ｘｋ（ｆ）｜λ２）以下のフレームの場合、非音声であると判別する。なお、音源同定部２６は、第１の尤度ｐ（Ｘｋ（ｆ）｜λ１）と第２の尤度ｐ（Ｘｋ（ｆ）｜λ２）の個数を計数し、第１の尤度ｐ（Ｘｋ（ｆ）｜λ１）が計数した個数の比率が所定の比率（例えば、０．５）を超えるとき、音声であると判別し、計数した個数の比率が所定の比率を超えないとき、非音声であると判別するようにしてもよい。
【００９９】
図１２は、本実施形態に係る音声、非音声の例を示す図である。図１２において、縦軸は音源方向ψ［ｄｅｇ］、横軸は時間フレームｆである。
図１２に示すように、区間ｋ１０１と区間ｋ１０３が、音源同定により雑音（非音声）であると同定され、フレームｆ１１〜ｆ１２の区間は音声であると同定される。この結果、区間ｋ１０２は、音声であると同定される。この区間ｋ１０２が、発話区間である。なお、発話区間検出部２３Ｂは、第２の閾値ＴＨ以上の音声に加えて、その前後の音声信号も音源分離部２４Ｂに出力するようにしてもよい。この場合、音源同定部２６は、音声区間の前後の信号に対しても、音源同定を行うようにしてもよい。これにより、音声の発話区間を精度良く検出することができる。
【０１００】
＜発話区間検出＞
次に、発話区間検出方法について説明する。
発話開始・発話終了検出部２３３は、まず、第２の閾値ＴＨを用いて検出された音源候補に基づいて、発話が開始されたフレーム（以下、発話開始フレームともいう）を検出する。発話開始・発話終了検出部２３３は、発話開始のフレーム以後も音源候補が存在しているか確認する。発話開始・発話終了検出部２３３は、途切れた区間、すなわち音源候補が存在していない場合、音源同定部２６が出力した同定結果が音声であるか非音声であるかを判別する。発話開始・発話終了検出部２３３は、同定結果が音声である場合、発話継続（音声継続）と判別する。また、発話開始・発話終了検出部２３３は、同定結果が非音声である場合、発話終了（音声消失）であると判別する。
【０１０１】
＜音声処理システム１Ｂの処理手順＞
次に、本実施形態の音声処理システム１Ｂが行う処理手順を説明する。
図１３は、本実施形態に係る音声処理システム１Ｂが行う処理のフローチャートである。なお、図４、図６、図１０と同じ処理については、同じ符号を用いて説明を省略する。
【０１０２】
（ステップＳ４０１）ステップＳ２０１の処理終了後、発話開始・発話終了検出部２３３は、第２の閾値ＴＨを用いて検出された音源候補を用いて、発話が開始されたフレームｆを検出する。
（ステップＳ４０２）音源分離部２４は、Ｍチャネルの音声信号を音源方向情報が示す音源方向に基づいて音源毎の音声信号である音源別音声信号に分離する。続けて、音響特徴量算出部２４１は、音源分離部２４Ｂによって分離された音源毎の音源別音声信号について所定の長さのフレーム毎に音声特徴量を算出する。
【０１０３】
（ステップＳ４０３）音源同定部２６は、音響特徴量算出部２４１が出力した音響特徴量Ｘｋ（ｆ）に基づいて、信号が音声信号であるのか非音声信号（含む雑音）であるのかを判別して音源同定を行う。
（ステップＳ４０４）発話開始・発話終了検出部２３３は、音源同定部２６が出力した同定結果が音声であるか非音声であるか判別する。発話開始・発話終了検出部２３３は、同定結果が音声であると判別した場合（ステップＳ４０４；音声）、ステップＳ４０５に処理を進め、同定結果が非音声であると判別した場合（ステップＳ４０４；非音声）、ステップＳ４０６に処理を進める。
【０１０４】
（ステップＳ４０５）発話開始・発話終了検出部２３３は、ステップＳ４０１で検出した発話開始のフレーム以後も音源候補が存在しているか確認する。発話開始・発話終了検出部２３３は、音源候補が存在していなかった場合、かつ音源同定部２６が出力した同定結果が音声である場合、発話継続と判別する。発話開始・発話終了検出部２３３は、ステップＳ４０２に処理を戻す。
（ステップＳ４０６）発話開始・発話終了検出部２３３は、ステップＳ４０１で検出した発話開始のフレーム以後も音源候補が存在しているか確認する。発話開始・発話終了検出部２３３は、音源候補が存在していなかった場合、かつ音源同定部２６が出力した同定結果が非音声である場合、発話終了と判別する。発話開始・発話終了検出部２３３は、ステップＳ１１０に処理を進める。
【０１０５】
以上のように、本実施形態の音声処理装置２Ｂにおいて、取得された音声信号に基づいて音源分離をする音源分離部２４Ｂと、音源分離部によって分離された分離信号に基づいて音源同定を行う音源同定部２６と、を備え、発話区間検出部２３Ｂは、音源同定部によって同定された結果が音声である場合、発話が継続されている区間であると検出する。
【０１０６】
この構成によれば、音源同定を用いることによって発話区間の検出精度をより一層向上させることができるという効果を奏する。
【０１０７】
［第５実施形態］
本実施形態では、発話区間検出部において、閾値を用いて音源候補を検出した後、外部から取得したイベント情報に応じて、イベントが発生している区間にマスクをかけて発話区間を検出する。なお、イベントとは、例えばロボットによる自己発話、車両の各部（パワーウィンドの開閉、ドアの開閉等）の動作である。
【０１０８】
図１４は、本実施形態に係る音声処理システム１Ｃの構成を示すブロック図である。なお、音声処理システム１と同じ機能を有する機能部には同じ符号を用いて、説明を省略する。
図１４に示すように、音声処理装置２Ｃは、記憶部２１、音源定位部２２、発話区間検出部２３Ｃ、音源分離部２４、および音声認識部２５を備えている。音声処理システム１と音声処理システム１Ｃの差異は、音声処理装置２Ｃの発話区間検出部２３Ｃである。また、音声処理装置２Ｃには、イベント情報出力部５が接続されている。
【０１０９】
まず、イベント情報出力部５について説明する。
イベント情報出力部５は、自己発話情報出力部５１、ＣＡＮ情報出力部５２、自己雑音情報出力部５３を含んで構成されている。
自己発話情報出力部５１は、ロボット（不図示）が自己発話を行ったとき、ロボットが自己発話した区間を示すイベント区間情報を音声処理装置２Ｃに出力する。
ＣＡＮ情報出力部５２は、車両のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）情報を自己雑音情報出力部５３に出力する。
自己雑音情報出力部５３は、ＣＡＮ情報出力部５２が出力したＣＡＮ情報に基づいて、ノイズが発生する区間を示す情報を音声処理装置２Ｃに出力する。
【０１１０】
なお、音声処理装置２Ｃとイベント情報出力部５とは、タイミングの同期が行われている。例えば、音声処理装置２Ｃの内部で使用されている基準クロックをイベント情報出力部５に出力し、基準クロックを共有することで、タイミングの同期が行われている。そして、イベント区間情報は、例えばフレーム毎に出力される。
また、本実施形態では、ロボットの自己発話、車両によって発生するノイズの例を説明したが、これに限られない。イベント情報出力部５は、音声認識を行う上で、雑音となる音が発生する区間を示すイベント区間情報を音声処理装置２Ｃに出力する。
【０１１１】
次に、音声処理装置２Ｃについて説明する。
発話区間検出部２３Ｃは、閾値設定部２３１、発話開始・発話終了検出部２３３、イベント取得部２３５、およびマスク生成部２３６を備えている。
発話区間検出部２３Ｃは、閾値設定部２３１が設定した閾値Ｔｔｈ（例えば第１の閾値ＴＬ）を用いて、音源候補を検出する。イベント取得部２３５は、イベント情報出力部５が出力したイベント区間情報を取得し、取得したイベント区間情報をマスク生成部２３６に出力する。マスク生成部２３６は、イベント取得部２３５が出力したイベント区間情報を用いて、発話区間を検出する際に用いるマスクを生成する。なお、マスクについては、後述する。発話開始・発話終了検出部２３３は、検出された音源候補と、マスクを用いて発話開始フレームと発話終了フレームを検出する。発話区間検出部２３Ｃは、入力された音源方向情報とＭチャネルの音声信号から、検出した発話区間内の音源方向情報とＭチャネルの音声信号をそれぞれ抽出する。発話区間検出部２３Ｃは、抽出した発話区間内の音源方向情報ψｋ（ｆ）とＭチャネル音声信号をそれぞれ音源分離部２４に出力する。
なお、閾値Ｔｔｈは、閾値設定部２３１に予め記憶されている複数の閾値（例えば、第１の閾値ＴＬ、第２の閾値ＴＨ）のうちの少なくとも１つであってもよい。
【０１１２】
＜イベント区間情報＞
次に、イベント区間情報の例を説明する。
図１５は、空間スペクトラムにおけるイベント区間の例を示す図である。図１５において、縦軸は音源方向ψ［ｄｅｇ］、横軸は時間フレームｆである。
図１５において、四角で囲んだ領域ｇ４０１は、外部からの雑音によって空間スペクトルが影響を受けている領域を示している。また、鎖線四角で囲んだ領域ｇ４０２は、音声である領域を示している。
【０１１３】
＜マスク＞
次に、マスク生成部２３６が生成するマスクの例を、図１５を参照して説明する。
図１５において、鎖線四角で囲んだ領域ｇ４１１〜ｇ４１４それぞれが、マスク生成部２３６によって生成されるマスクの例である。
マスク生成部２３６は、音源候補（閾値Ｔｔｈ以上の空間スペクトル）において、イベント区間情報に基づいて、フレームｆ４１〜ｆ４２、フレームｆ４３〜ｆ４４でイベントが発生している（雑音が発生している）と判別する。次に、マスク生成部２３６は、イベントが発生している区間の音源候補に対して、例えば階層的クラスタリング手法、分割最適化クラスタリング手法等を用いて、クラスタに分類する。次に、マスク生成部２３６は、分類したクラスタに基づいて、マスクを生成する。
【０１１４】
＜発話区間検出＞
次に、発話区間検出について説明する。
図１６は、本実施形態に係る発話区間検出方法を示す図である。図１６において、縦軸は音源方向ψ［ｄｅｇ］、横軸は時間フレームｆである。
閾値設定部２３１は、まず、発話区間を検出するための閾値Ｔｔｈを設定する。次に、発話区間検出部２３Ｃは、閾値設定部２３１によって設定された閾値Ｔｔｈを用いて、音源方向情報が示す音源方向について、音源毎に空間スペクトルのパワーが、所定のパワーの閾値よりも高い区間を音源候補として検出する。図１６の符号ｇ４２１が示す画像は、閾値Ｔｔｈを用いて検出された音源候補の一例を示す画像である。
【０１１５】
発話開始・発話終了検出部２３３は、閾値Ｔｔｈを用いて検出された音源候補に対して、図１６の画像ｇ４３１に示すように、マスク生成部２３６によって生成されたマスクｇ４１４〜ｇ４１４をかける。発話開始・発話終了検出部２３３は、マスクｇ４１１〜ｇ４１４がかかっていない音源候補が存在する領域において、最も値が小さいフレームｆ１を発話開始フレームとして検出し、最も値が大きいフレームｆ２を発話終了フレームとして検出する。
発話区間検出部２３Ｃは、発話開始・発話終了検出部２３３によって検出された発話開始フレームと発話終了フレームを用いて、発話区間（フレームｆ１〜ｆ２）を検出する。図１６の符号ｇ４３１が示す画像は、マスクｇ４１１〜ｇ４１４、発話による音源候補ｇ４４２の一例を示す画像である。なお、鎖線四角で囲んだ領域ｇ４４２は、発話による音源候補を示している。
【０１１６】
＜音声処理システム１Ｃの処理手順＞
次に、音声処理システム１Ｃが行う処理手順を説明する。
図１７は、本実施形態に係る音声処理システム１Ｃが行う処理のフローチャートである。なお、図４、図６、図１０、図１３に示した処理と同じ処理については、同じ符号を用いて説明を省略する。
【０１１７】
（ステップＳ５０１）ステップＳ１０１（図４）の処理終了後、閾値設定部２３１は、発話区間を検出するための閾値Ｔｔｈを設定する。続けて、発話区間検出部２３Ｃは、閾値設定部２３１によって設定された閾値Ｔｔｈを用いて、音源方向情報が示す音源方向について、音源毎に空間スペクトルのパワーが、所定のパワーの閾値よりも高い区間を音源候補として検出する。閾値設定部２３１は、ステップＳ５０２の処理に進める。
【０１１８】
（ステップＳ５０２）イベント取得部２３５は、イベント情報出力部５が出力したイベント区間情報を取得する。
（ステップＳ５０３）マスク生成部２３６は、イベント取得部２３５が出力したイベント区間情報を用いて、発話区間を検出する際に用いるマスクを生成する。
【０１１９】
（ステップＳ５０４）発話開始・発話終了検出部２３３は、閾値Ｔｔｈを用いて検出された音源候補に対して、マスク生成部２３６によって生成されたマスクをかける。続けて、発話開始・発話終了検出部２３３は、マスクがかかっていない音源候補が存在する領域において、最も値が小さいフレームを発話開始フレームとして検出する。
（ステップＳ５０５）発話開始・発話終了検出部２３３は、最も値が大きいフレームを発話終了フレームとして検出する。続けて、発話区間検出部２３Ｃは、発話開始・発話終了検出部２３３によって検出された発話開始フレームと発話終了フレームを用いて、発話区間を検出する。発話区間検出部２３Ｃは、ステップＳ１０９に処理を進める。
【０１２０】
以上のように、本実施形態の音声処理装置２Ｃにおいて、発話区間検出部２３Ｃは、音源定位部２２によって定位された音声信号に対して閾値Ｔｔｈを用いて音源候補を検出し、音声信号に対する雑音となるイベントが発生していることを示すイベント情報（イベント区間情報）を取得し、取得したイベント情報に基づいて閾値を用いて検出された音源候補に対するマスク（例えば図１５のマスクｇ４１１〜ｇ４１４）を生成し、音源候補に対して生成した前記マスクを用いて発話区間を検出する。
【０１２１】
この構成によれば、外部装置から取得したイベント情報に基づいて生成されたマスクを用いて、空間スペクトルの音源候補に対してマスクをかけることで、精度良く発話区間を検出することができる。すなわち、本実施形態では、例えば第２実施形態と同様に、値が小さい第１の閾値ＴＬを用いて音源候補を検出する。この場合、検出された音源候補には、図３の画像ｇ１５１に示したように、挿入誤差も含まれている。本実施形態では、さらにマスクを用いて、これらの挿入誤差を棄却している。また、本実施形態において用いる閾値は、発話区間の途切れが発生しない値であることが望ましい。このため、閾値Ｔｔｈとして、例えば第１の閾値ＴＬを用いることで、発話区間の途切れを防ぐことができる。すなわち、本実施形態においても、挿入誤差と発話区間の途切れを防ぐことができる。
【０１２２】
なお、本発明における音声処理装置２（または２Ａ、２Ｂ、２Ｃ）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音源定位、発話区間の検出、音源分離、音源同定、音声認識等の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１２３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【０１２４】
１、１Ａ、１Ｂ、１Ｃ…音声処理システム、２、２Ａ、２Ｂ、２Ｃ…音声処理装置、３…入力部、４…出力部、２１…記憶部、２２…音源定位部、２３、２３Ａ、２３Ｂ、２３Ｃ…発話区間検出部、２４、２４Ｂ…音源分離部、２５…音声認識部、２６…音源同定部、２３１…閾値設定部、２３２…クラスタリング部、２３３…発話開始・発話終了検出部、２３５…イベント取得部、２３６…マスク生成部、２４１…音響特徴量算出部、５…イベント情報出力部、５１…自己発話情報出力部、５２…ＣＡＮ情報出力部、５３…自己雑音情報出力部
【図１】
0006648377.tif 000007
【図２】
0006648377.tif 000008
【図３】
0006648377.tif 000009
【図４】
0006648377.tif 000010
【図５】
0006648377.tif 000011
【図６】
0006648377.tif 000012
【図７】
0006648377.tif 000013
【図８】
0006648377.tif 000014
【図９】
0006648377.tif 000015
【図１０】
0006648377.tif 000016
【図１１】
0006648377.tif 000017
【図１２】
0006648377.tif 000018
【図１３】
0006648377.tif 000019
【図１４】
0006648377.tif 000020
【図１５】
0006648377.tif 000021
【図１６】
0006648377.tif 000022
【図１７】
0006648377.tif 000023