(57)【要約】【課題】複数の入力信号から成る会話音声を高精度に音声検出する音声検出装置、音声検出方法、およびプログラムを提供する。【解決手段】音声検出装置１００は、複数の入力信号から音声らしさを表す複数の音声スコアを時系列に算出する複数の音声スコア算出部１０２と、音声スコアと、入力信号の会話らしさを表す会話スコアを出力するための会話モデル１０４とを用いて、複数の入力信号の音声区間を判定する音声区間判定部１０６と、を備え、会話スコアは、複数話者による会話における発話状態の時系列の遷移を想定した複数の状態遷移系列の会話らしさを表し、音声区間判定部１０６は、各音声スコアに基づき音声区間を仮に複数求め、複数の入力信号の各仮の音声区間から状態遷移系列を複数想定し、想定した中から、会話モデル１０４を用いて、最も会話らしい状態遷移系列を選択し、選択した状態遷移系列に基づいて、複数の入力信号の音声区間を判定する。【選択図】図１
2014056026.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力信号から各前記入力信号の音声らしさを表す複数の音声スコアを時系列でそれぞれ算出する複数の音声スコア算出手段と、
複数の前記音声スコアと、複数の前記入力信号の会話らしさを表す会話スコアを出力するための会話モデルとを用いて、複数の前記入力信号それぞれの音声区間を判定する音声区間判定手段と、を備え、
前記会話スコアは、複数の話者による会話における発話している話者と発話していない話者の組み合わせからなる発話状態の時系列の遷移を想定した複数の状態遷移系列それぞれの会話らしさを表し、
前記音声区間判定手段は、
各前記音声スコアに基づき、各前記入力信号から各話者の音声が存在する区間を示す音声区間を仮に複数求め、
複数の前記入力信号の各仮の前記音声区間から、前記状態遷移系列を複数想定し、
想定した複数の前記状態遷移系列の中から、前記会話モデルを用いて、最も会話らしい状態遷移系列を選択し、
選択した前記状態遷移系列に基づいて、複数の前記入力信号それぞれについて前記音声区間を判定する音声検出装置。
【請求項２】
請求項１に記載の音声検出装置において、
前記会話スコアは、複数の前記入力信号の会話らしさを所定の数値範囲で数値化したものであり、複数の前記入力信号が会話らしい程、高く、
前記音声区間判定手段は、複数の前記入力信号からそれぞれ得られた複数の前記音声スコアと、複数の前記入力信号から得られた前記会話スコアとが高くなる状態遷移系列を選択することで、複数の前記入力信号それぞれについて前記音声区間を判定する音声検出装置。
【請求項３】
請求項２に記載の音声検出装置において、
前記音声区間判定手段は、複数の前記入力信号からそれぞれ得られた複数の前記音声スコアと、複数の前記入力信号から得られた前記会話スコアとの積または和が大きくなる発話状態系列を選択することで、複数の前記入力信号それぞれについて前記音声区間を判定する音声検出装置。
【請求項４】
請求項２または３に記載の音声検出装置において、
前記音声区間判定手段は、
各前記音声スコアから仮に検出される前記音声区間の検出結果が異なる結果として複数得られるような検出パラメータを用いて、各音声スコアから各前記入力信号に対する前記音声区間の複数の検出結果候補をそれぞれ求め、
得られた各入力信号に対する複数の前記検出結果候補をそれぞれ組み合わせ、前記状態遷移系列を複数想定し、
前記会話モデルを用いて、複数の前記入力信号に対する前記会話スコアを複数の組み合わせ分算出し、
算出された前記会話スコアが最も高い検出結果候補の組み合わせの前記状態遷移系列を選択し、複数の前記入力信号それぞれについて前記音声区間を判定する音声検出装置。
【請求項５】
請求項４に記載の音声検出装置において、
前記検出パラメータは、前記音声スコアの検出閾値、音声の継続時間長、または、非音声の継続時間長であり、各前記入力信号に対して異なる複数の検出結果がそれぞれ得られるように前記検出パラメータの値が複数設定される音声検出装置。
【請求項６】
請求項１乃至５いずれかに記載の音声検出装置において、
前記会話スコアは、会話に参加する各話者の発話の時間的な発生関係を示す複数の前記状態遷移系列が、会話として自然か不自然かを表す会話らしさを所定の数値範囲で数値化したものであり、会話として自然な場合は前記数値範囲の高い値をとり、会話として不自然な場合は前記数値範囲の低い値をとる音声検出装置。
【請求項７】
請求項１乃至６いずれかに記載の音声検出装置において、
前記会話スコアは、第１の所定時間に渡って複数の話者の発話が重なる状態遷移系列の場合、または、どの話者も発話していない無音が第２の所定時間以上継続する状態遷移系列の場合は、低い値をとる音声検出装置。
【請求項８】
請求項１乃至７いずれかに記載の音声検出装置において、
前記会話モデルは、会話音声における各話者の発話始終端時刻から、各話者の発話状態を検知し、複数の前記話者による複数の前記発話状態の時系列の遷移を取得して、前記会話音声における前記発話状態の出現回数または前記発話状態の遷移の回数を計測して、複数の前記状態遷移系列の会話らしさをそれぞれ求めることで、作成される音声検出装置。
【請求項９】
音声検出装置が、
複数の入力信号から各前記入力信号の音声らしさを表す複数の音声スコアを時系列でそれぞれ算出し、
複数の前記音声スコアと、複数の前記入力信号の会話らしさを表す会話スコアを出力するための会話モデルとを用いて、複数の前記入力信号それぞれの音声区間を判定し、
前記会話スコアは、複数の話者による会話における発話している話者と発話していない話者の組み合わせからなる発話状態の時系列の遷移を想定した複数の状態遷移系列それぞれの会話らしさを表し、
前記音声区間を判定する時、前記音声検出装置が、
各前記音声スコアに基づき、各前記入力信号から各話者の音声が存在する区間を示す音声区間を仮に複数求め、
複数の前記入力信号の各仮の前記音声区間から、前記状態遷移系列を複数想定し、
想定した複数の前記状態遷移系列の中から、前記会話モデルを用いて、最も会話らしい状態遷移系列を選択し、
選択した前記状態遷移系列に基づいて、複数の前記入力信号それぞれについて前記音声区間を判定する音声検出方法。
【請求項１０】
音声検出装置を実現するコンピュータに、
複数の入力信号から各前記入力信号の音声らしさを表す複数の音声スコアを時系列でそれぞれ算出する手順、
複数の前記音声スコアと、複数の前記入力信号の会話らしさを表す会話スコアを出力するための会話モデルとを用いて、複数の前記入力信号それぞれの音声区間を判定する手順を実行させ、
前記会話スコアは、複数の話者による会話における発話している話者と発話していない話者の組み合わせからなる発話状態の時系列の遷移を想定した複数の状態遷移系列それぞれの会話らしさを表し、
前記音声区間を判定する手順において、
各前記音声スコアに基づき、各前記入力信号から各話者の音声が存在する区間を示す音声区間を仮に複数求める手順、
複数の前記入力信号の各仮の前記音声区間から、前記状態遷移系列を複数想定する手順、
想定した複数の前記状態遷移系列の中から、前記会話モデルを用いて、最も会話らしい状態遷移系列を選択する手順、
選択した前記状態遷移系列に基づいて、複数の前記入力信号それぞれについて前記音声区間を判定する手順をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声検出装置、音声検出方法、およびプログラムに関し、特に、複数の入力信号から成る会話音声を対象とした、音声検出装置、音声検出方法、およびプログラムに関する。
【背景技術】
【０００２】
一般に、音声検出とは、図７に示すように、入力信号から、音声信号の含まれる区間とそれ以外の区間（非音声区間と呼ぶ）を判定する技術である。
このような音声検出装置の一例が、非特許文献１、非特許文献２に記載されている。図８に示すように、非特許文献に記載の音声検出装置は、概略、音声スコア算出部９２と、音声区間判定部９４とから構成されている。音声スコア算出部９２は、入力信号を一定区間毎（以降、一定区間をフレームと呼ぶ）に分割し、フレーム単位で、音声らしさを表す音声スコアを計算し、音声区間判定部９４に出力する。
【０００３】
音声スコアは、非特許文献１では、フレーム毎に計算した入力信号のパワー（入力信号の振幅の２乗を足し合わせた値）である。また、非特許文献２では、音声の特徴をモデル化した音声モデル、および、音声以外の音の特徴（すなわち、音声が含まれない環境雑音の特徴）をモデル化した非音声モデルと、入力信号とをフレーム毎に比較することにより計算した尤度である。
【０００４】
音声区間判定部９４は、フレーム毎に音声スコアと閾値を比較し、音声スコアが閾値以上の場合は音声区間であると判定し、閾値未満の場合は非音声区間であると判定する。
ところで、本発明が対象とする会話音声は、Ｎ（Ｎ≧２）人による会話音声、たとえば、電話による二者間の会話音声や、会議での複数人の会話音声であり、話者（会話に参加して発話する人）毎に個別に収録される。すなわち、基本的には、話者の数だけ（Ｎチャンネルの）入力信号が存在する。
【０００５】
上記文献に記載の音声検出装置は、基本的に、１チャンネルの入力信号を対象としているため、複数（Ｎ（Ｎ≧２）チャンネル）の入力信号を扱えないという問題点があった。Ｎチャンネルの入力信号を、上記文献記載の音声検出装置を用いて音声検出する場合は、チャンネル毎に音声検出をＮ回独立に実行することになる。
【０００６】
特許文献１に記載の音声検出装置は、複数のマイクで収録された複数の音声信号を解析し、各話者の音声が含まれているか否かを判定し、判定結果を音声と非音声判定結果として求める構成を有している。
【０００７】
特許文献２に記載の会議支援装置は、会議で行われた会話情報を記録して、記録した会話情報からコミュニケーション状態を、たとえば、「説明タイプ」、「討論タイプ」、または、「問題提起タイプ」等の離散クラスに分類して把握し、会議記録結果を人間の行動様式に近い自然な方法で情報を検索できる構成を有している。また、特許文献２では、発話しているユーザの変化を発話方向の変化からコミュニケーション状態を判定している。発話方向は、複数マイクの取り付け位置と、話者を撮影するビデオカメラの取り付け位置を特定しておき、音声情報と時間情報から音源方向を算出している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１２−４８１１９号公報
【特許文献２】特開２０１２−３６９８号公報
【非特許文献】
【０００９】
【非特許文献１】Norihide Kitaoka、外１５名、“Development of VAD Evaluation Framework CENSREC-1-C and Investigation of Relationship between VAD and Speech Recognition Performance”ASRU2007 (2007 IEEE Automatic Speech Recognition and Understanding Workshop)、２００７年、ｐ．６０７−６１２
【非特許文献２】Norbert Binder、外３名、“Speech Non-Speech Separation With GMMs”、日本音響学会論文集、２００１年、ｐ．１４１−１４２
【非特許文献３】鹿野清宏著、外４名、「音声認識システム」、株式会社オーム社、２００１年、ｐ．９６−１１０
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述した音声検出装置においては使用する環境によっては、必ずしも正確な音声検出結果を出力できないという問題点があった。その理由は、多種多様な音の混入に直接的に影響を受け易い、音響的な特徴のみ（音声らしさを表す音声スコアのみ）に基づいて音声検出するためである。
【００１１】
本発明の目的は、上述した課題である音声検出結果が正確に得られないという問題点を解決する音声検出装置、音声検出方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の音声検出装置は、
複数の入力信号から各前記入力信号の音声らしさを表す複数の音声スコアを時系列でそれぞれ算出する複数の音声スコア算出手段と、
複数の前記音声スコアと、複数の前記入力信号の会話らしさを表す会話スコアを出力するための会話モデルとを用いて、複数の前記入力信号それぞれの音声区間を判定する音声区間判定手段と、を備え、
前記会話スコアは、複数の話者による会話における発話している話者と発話していない話者の組み合わせからなる発話状態の時系列の遷移を想定した複数の状態遷移系列それぞれの会話らしさを表し、
前記音声区間判定手段は、
各前記音声スコアに基づき、各前記入力信号から各話者の音声が存在する区間を示す音声区間を仮に複数求め、
複数の前記入力信号の各仮の前記音声区間から、前記状態遷移系列を複数想定し、
想定した複数の前記状態遷移系列の中から、前記会話モデルを用いて、最も会話らしい状態遷移系列を選択し、
選択した前記状態遷移系列に基づいて、複数の前記入力信号それぞれについて前記音声区間を判定する音声検出装置である。
【００１３】
本発明の音声検出方法は、
音声検出装置が、
複数の入力信号から各前記入力信号の音声らしさを表す複数の音声スコアを時系列でそれぞれ算出し、
複数の前記音声スコアと、複数の前記入力信号の会話らしさを表す会話スコアを出力するための会話モデルとを用いて、複数の前記入力信号それぞれの音声区間を判定し、
前記会話スコアは、複数の話者による会話における発話している話者と発話していない話者の組み合わせからなる発話状態の時系列の遷移を想定した複数の状態遷移系列それぞれの会話らしさを表し、
前記音声区間を判定する時、前記音声検出装置が、
各前記音声スコアに基づき、各前記入力信号から各話者の音声が存在する区間を示す音声区間を仮に複数求め、
複数の前記入力信号の各仮の前記音声区間から、前記状態遷移系列を複数想定し、
想定した複数の前記状態遷移系列の中から、前記会話モデルを用いて、最も会話らしい状態遷移系列を選択し、
選択した前記状態遷移系列に基づいて、複数の前記入力信号それぞれについて前記音声区間を判定する音声検出方法である。
【００１４】
本発明のコンピュータプログラムは、
音声検出装置を実現するコンピュータに、
複数の入力信号から各前記入力信号の音声らしさを表す複数の音声スコアを時系列でそれぞれ算出する手順、
複数の前記音声スコアと、複数の前記入力信号の会話らしさを表す会話スコアを出力するための会話モデルとを用いて、複数の前記入力信号それぞれの音声区間を判定する手順を実行させ、
前記会話スコアは、複数の話者による会話における発話している話者と発話していない話者の組み合わせからなる発話状態の時系列の遷移を想定した複数の状態遷移系列それぞれの会話らしさを表し、
前記音声区間を判定する手順において、
各前記音声スコアに基づき、各前記入力信号から各話者の音声が存在する区間を示す音声区間を仮に複数求める手順、
複数の前記入力信号の各仮の前記音声区間から、前記状態遷移系列を複数想定する手順、
想定した複数の前記状態遷移系列の中から、前記会話モデルを用いて、最も会話らしい状態遷移系列を選択する手順、
選択した前記状態遷移系列に基づいて、複数の前記入力信号それぞれについて前記音声区間を判定する手順をコンピュータに実行させるためのプログラムである。
【００１５】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００１６】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【００１７】
また、本発明のデータ処理方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明のデータ処理方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
【００１８】
さらに、本発明のデータ処理方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【発明の効果】
【００１９】
本発明によれば、複数の入力信号から成る会話音声を高精度に音声検出する音声検出装置、音声検出方法、およびプログラムが提供される。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態に係る音声検出装置の構成を示す機能ブロック図である。
【図２】本発明の実施の形態に係る音声検出装置で使用する会話モデルの具体例を示す図である。
【図３】本発明の実施の形態に係る音声検出装置の動作の一例を示すフローチャートである。
【図４】本発明の実施の形態に係る音声検出装置の動作の具体例を示すフローチャートである。
【図５】本発明の実施の形態に係る音声検出装置の要部構成を示す機能ブロック図である。
【図６】本発明の実施の形態に係る音声検出装置の動作の一例を示すフローチャートである。
【図７】音声検出技術の概要を示す模式図である。
【図８】文献記載の音声検出装置の概略構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００２２】
（第１の実施の形態）
図１は、本発明の実施の形態に係る音声検出装置１００の構成を示す機能ブロック図である。
本発明の実施の形態に係る音声検出装置１００は、複数（ｎチャンネル、ここで、ｎは２以上の自然数）の入力信号（図１では、Ｉ１〜Ｉｎ）から各入力信号の音声らしさを表す複数の音声スコアを時系列（フレーム単位）でそれぞれ算出する複数の音声スコア算出部１０２（図１の音声スコア算出部Ｕ１、Ｕ２、・・・、Ｕｎ）と、複数の音声スコアと、複数の入力信号の会話らしさを表す会話スコアを出力するための会話モデル１０４（図中、「会話モデル記憶部１０４」と示す）とを用いて、複数の入力信号それぞれの音声区間を判定する音声区間判定部１０６と、を備える。
本発明において、会話スコアは、複数の話者による会話における発話している話者と発話していない話者の組み合わせからなる発話状態（たとえば、図２では４つの状態を示す。話者ＡＢの両方が発話している状態Ｓ１、話者Ａのみが発話している状態Ｓ２、話者Ｂのみが発話している状態Ｓ３、話者ＡＢの両方が発話なしの状態Ｓ４を含む。）の時系列の遷移を想定した複数の状態遷移系列それぞれの会話らしさを表す。
音声スコア算出部１０２は、各音声スコアに基づき、各入力信号から各話者の音声が存在する区間を示す音声区間を仮に複数求め、複数の入力信号の各仮の音声区間から、状態遷移系列を複数想定し、想定した複数の状態遷移系列の中から、会話モデルを用いて、最も会話らしい状態遷移系列を選択し、選択した状態遷移系列に基づいて、複数の入力信号それぞれについて音声区間を判定する。
【００２３】
会話スコアは、複数の前記入力信号の会話らしさを所定の数値範囲で数値化したものであり、複数の前記入力信号が会話らしい程、高い値をとる。
音声区間判定部１０６は、複数の入力信号からそれぞれ得られた複数の音声スコアと、複数の入力信号から得られた会話スコアとが高くなる状態遷移系列を選択することで、複数の入力信号それぞれについて音声区間を判定する。
【００２４】
なお、本発明の実施の形態に係る音声検出装置１００の各構成要素は、ＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを備える任意のコンピュータ（不図示）のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
また、以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
【００２５】
本実施形態のコンピュータプログラムは、音声検出装置１００を実現するためのコンピュータに、複数の入力信号から各入力信号の音声らしさを表す複数の音声スコアを時系列でそれぞれ算出する手順、複数の音声スコアと、複数の入力信号の会話らしさを表す会話スコアを出力するための会話モデル１０４とを用いて、複数の入力信号それぞれの音声区間を判定する手順を実行させ、会話スコアは、複数の話者による会話における発話している話者と発話していない話者の組み合わせからなる発話状態の時系列の遷移を想定した複数の状態遷移系列それぞれの会話らしさを表し、音声区間を判定する手順において、各音声スコアに基づき、各入力信号から各話者の音声が存在する区間を示す音声区間を仮に複数求める手順、複数の入力信号の各仮の音声区間から、状態遷移系列を複数想定する手順、想定した複数の状態遷移系列の中から、会話モデル１０４を用いて、最も会話らしい状態遷移系列を選択する手順、選択した状態遷移系列に基づいて、複数の入力信号それぞれについて音声区間を判定する手順、を実行させるように記述されている。
【００２６】
本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラムは、記録媒体からコンピュータのメモリにロードされてもよいし、ネットワークを通じてコンピュータにダウンロードされ、メモリにロードされてもよい。
【００２７】
本発明は、入力信号の中から、音声信号の含まれる区間（音声区間）とそれ以外の区間（非音声区間）を判定する音声検出装置や、音声検出装置をコンピュータで実現するためのプログラムといった用途に適用できる。さらに本発明は、音声区間と非音声区間で符号化品質を制御する音声符号化装置や、音声を伴う映像コンテンツから音声区間を切り出し、音声認識と組み合わせてメタデータを付与、検索するコンテンツ検索装置といった用途に適用できる。さらに、入力信号中の発話のみ（音声区間のみ）を頭出し再生する音声再生装置といった用途に適用できる。
【００２８】
具体的には、本発明の実施の形態に係る音声検出装置１００は、複数の音声スコア算出部１０２と、音声区間判定部１０６と、を備える。音声検出装置１００は、会話モデル記憶部１０４に接続され、会話モデル記憶部１０４を参照し、会話モデル記憶部１０４に記憶される会話モデルを用いることができる。会話モデル記憶部１０４は、音声検出装置１００に含まれてもよい。
【００２９】
各音声スコア算出部１０２は、入力信号をフレームに分割し、フレーム単位で音声らしさを数値化した音声スコアを計算する。音声スコアは、音声モデルの入力信号に対する尤度である。音声モデルは、音声の特徴をモデル化した確率モデルである。
たとえば、非特許文献２と同様に、公知の混合ガウス分布モデル（ＧＭＭ：Gaussian Mixture Model）でもよいし、公知の隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）でもよい。
【００３０】
ただし、音声スコアは、音声モデルの入力信号に対する尤度でなくてもよい。音声らしさを表現することができれば、たとえば、非特許文献２と同様に、音声モデルと非音声モデルから得られる尤度比でもよいし、フレーム毎に計算された入力信号のパワーでもよい。
【００３１】
なお、本実施形態では、各入力信号をフレーム単位で音声検出処理を行っているが、これに限定されるものではない。必要とされる音声区間の検出精度や、対象となる音声の品質などの条件により適宜最適な単位で処理されるのが望ましい。
複数の入力信号は、たとえば、話者の音声を入力する複数のマイクにより個別に集音された複数の音声データであってもよいし、あるいは、副音声等のように複数チャネルで同時に送信される複数の音声データであってもよい。
入力信号は、リアルタイムに集音された音声データでもよいし、予め録音された音声データでもよいし、ネットワーク経由でストリーミングデータとして配信された音声データであってもよい。
【００３２】
各音声スコア算出部１０２の機能はそれぞれ同じであり、処理する入力信号が異なるだけである。
なお、音声スコア算出部１０２は、図１では、複数のユニットとしているが、これに限定されるものではない。複数の異なる入力信号を並列に入力してそれぞれ個別に処理できる構成であれば、１つのユニットで構成されてもよい。
【００３３】
音声区間判定部１０６は、まず、各音声スコアに基づき、各入力信号から音声区間を仮に複数時系列に求める。そして、求められた、複数の入力信号の各仮の音声区間から、時系列に発話状態を仮に求める。そして、発話状態の時系列の遷移である状態遷移系列を複数想定する。想定した複数の状態遷移系列の中から、会話モデル１０４を用いて、最も会話らしい状態遷移系列を選択する。
たとえば、後述するように、話者Ａと話者Ｂが発話している状態Ｓ１（図２）が長く続くような状態遷移系列は、会話らしくない。一方、話者Ａと話者Ｂが交互に発話するような状態２（図２）と状態３（図２）を交互に遷移するような状態遷移系列の方が会話らしい。発話状態から想定された複数の状態遷移系列の中から、最も会話らしてものを選択することで、入力信号に混入する様々な雑音等を間違って音声区間と判定することを回避できることとなる。
選択した状態遷移系列に基づいて、複数の入力信号それぞれについてフレーム単位で音声区間を判定する。
音声区間判定部１０６が出力する判定結果（検出結果Ｏ１〜Ｏｎ）は、入力信号（Ｉ１〜Ｉｎ）毎に、たとえば、音声区間は１、非音声区間は０等の数値をフレーム単位で時系列に出力する。
【００３４】
会話モデル記憶部１０４は、会話モデル（以下、「会話モデル１０４」とも呼ぶ）を記憶する。
会話モデル１０４は、会話の構造をモデル化している。会話は、基本的に、ある話者の発言を受けて他の話者が発言するという時間的な繰り返しで成り立つ。会話の構造とは、このような各話者の発話の時間的な発生関係を意味する。会話モデル１０４は、各話者の発話の状態（発話しているか否か）の時系列が与えられたとき、その状態遷移系列の出現する確率を出力する確率モデルである。
【００３５】
会話スコアは、会話に参加する各話者の発話の時間的な発生関係を示す複数の状態遷移系列が、会話として自然か不自然かを表す会話らしさを所定の数値範囲で数値化したものである。そして、会話スコアは、会話として自然な場合は数値範囲の高い値をとり、会話として不自然な場合は数値範囲の低い値をとるように設定される。
【００３６】
会話スコアは、たとえば、第１の所定時間（長時間）に渡って複数の話者の発話が重なる状態遷移系列の場合、または、どの話者も発話していない無音が第２の所定時間以上継続する状態遷移系列の場合は、低い値をとるように設定される。
【００３７】
たとえば、長時間に渡って、複数の話者が同時に発話している状態系列や、いずれの話者も発話していない状態系列が出現する確率は低く設定されている。その理由は、会話として不自然であるためである。一方、ある話者が発話した後に他のある話者が発話するような状態系列が出現する確率は高く設定されている。その理由は、会話として自然であるためである。
【００３８】
会話モデル１０４は、会話音声における各話者の発話の始終端時刻（発話の開始時刻と終了時刻）を用いて、作成することができる。
会話モデル１０４は、会話音声における各話者の発話始終端時刻から、各話者の発話状態を検知し、複数の話者による複数の発話状態の時系列の遷移を取得して、会話音声における発話状態の出現回数または発話状態の遷移の回数を計測して、複数の状態遷移系列の会話らしさをそれぞれ求めることで、作成される。
【００３９】
すなわち、本発明の実施の形態に係るコンピュータプログラムは、さらに、会話音声における各話者の発話始終端時刻から、各話者の発話状態を検知する手順、複数の話者による複数の発話状態の時系列の遷移を取得して、会話音声における発話状態の出現回数または発話状態の遷移の回数を計測する手順、複数の状態遷移系列の会話らしさをそれぞれ求めることで、会話モデルを作成する手順をコンピュータに実行させるように記述されてもよい。
【００４０】
たとえば、２話者（話者Ａと話者Ｂ）の会話の場合、各話者の発話の状態は、話者Ａ、話者Ｂともに発話する状態（状態Ｓ１）、話者Ａが発話し話者Ｂが発話しない状態（状態Ｓ２）、話者Ｂが発話し話者Ａが発話しない状態（状態Ｓ３）、話者Ａ、話者Ｂともに発話しない状態（状態Ｓ４）の４状態をとる。会話モデル１０４は、これら４状態の出現回数や状態間の遷移の回数を、フレーム毎に、会話音声全体に渡って数え上げることにより作成される。
【００４１】
２話者の会話モデルの一例を図２に示す。図２は、４状態のマルコフモデルであり、状態遷移確率は、２話者の発話の状態（発話しているか否か）をフレーム毎に観測し、それぞれの状態遷移の出現回数を数えることで算出される。２話者の話者がｎ人の場合でも、状態数が増えるだけで、作成方法は同じである。
【００４２】
ただし、会話モデル１０４は、各話者の発話の状態遷移系列そのものを用いて作成されなくてもよい。会話構造の特徴を表現することができれば、たとえば、発話の重なり時間長（複数の話者が同時に発話している時間の長さ）や、無音時間長（いずれの話者も発話していない時間の長さ）等を用いてもよい。すなわち、会話モデル１０４は、各話者の発話状態と、その時間的な発生関係を示す、発話の始終端時刻を用いて作成することができる。
【００４３】
上述のような構成において、本実施の形態の音声検出装置１００による音声検出方法を以下に説明する。図３は、本実施形態の音声検出装置１００の動作の一例を示すフローチャートである。
【００４４】
本発明の実施の形態に係る音声検出方法は、音声検出装置１００が、複数の入力信号（図１では、Ｉ１〜Ｉｎ）から各入力信号の音声らしさを表す複数の音声スコアを時系列（フレーム単位）でそれぞれ算出し（ステップＳ１０１）、複数の音声スコアと、複数の入力信号の会話らしさを表す会話スコアを出力するための会話モデル１０４とを用いて、複数の入力信号それぞれの音声区間を判定し、会話スコアは、複数の話者による会話における発話している話者と発話していない話者の組み合わせからなる発話状態の時系列の遷移を想定した複数の状態遷移系列それぞれの会話らしさを表し、音声区間を判定する時、音声検出装置１００が、各音声スコアに基づき、各入力信号から各話者の音声が存在する区間を示す音声区間を仮に複数求め（ステップＳ１０３）、複数の入力信号の各仮の音声区間から、状態遷移系列を複数想定し(ステップＳ１０５)、想定した複数の状態遷移系列の中から、会話モデル１０４を用いて、最も会話らしい状態遷移系列を選択し（ステップＳ１０７）、選択した状態遷移系列に基づいて、複数の入力信号それぞれについて音声区間を判定する（ステップＳ１０９）。
【００４５】
より詳細には、図３を参照すると、まず、各音声スコア算出部１０２が、入力信号Ｉ１〜Ｉｎをそれぞれフレームに分割し、フレーム単位で音声らしさを表す音声スコアをそれぞれ算出する（ステップＳ１０１）。本実施形態では、音声スコア算出部Ｕ１〜Ｕｎと入力信号Ｉ１〜Ｉｎは一対一対応である。たとえば、音声スコア算出部Ｕ１は、入力信号Ｉ１の音声スコアを、音声スコア算出部Ｕｎは、入力信号Ｉｎの音声スコアを算出する。音声スコアは、音声モデルの入力信号に対する尤度である。
【００４６】
そして、音声区間判定部１０６が、ステップＳ１０１の処理で得られた、各入力信号の音声スコア（音声モデルの尤度）を受け取り、各入力信号の仮の音声区間を検出する（ステップＳ１０３）。そして、音声区間判定部１０６が、各入力信号の仮の音声区間から、発話状態を求め、複数の状態遷移系列を想定する（ステップＳ１０５）。そして、音声区間判定部１０６が、会話モデル記憶部１０４を参照し、会話モデルを用いて、想定された複数の状態遷移系列の中から、最も会話らしい状態遷移系列を選択する（ステップＳ１０７）。
そして、音声区間判定部１０６が、選択した状態遷移系列に基づいて、各入力信号の音声区間を判定し（ステップＳ１０９）、検出結果Ｏ１〜Ｏｎを出力する。
【００４７】
さらに、本実施形態の音声区間判定部１０６の具体的な動作の一例を図４に示す。
本実施形態の音声区間判定部１０６は、複数の入力信号からそれぞれ得られた複数の音声スコアと、複数の入力信号から得られた会話スコアとの積または和が大きくなる発話状態系列を選択することで、複数の入力信号それぞれについて音声区間を判定する。
【００４８】
具体的には、音声区間判定部１０６は、各音声スコア算出部１０２が出力した、音声スコア（音声モデルの尤度）ｎ組と、会話モデルを用いて得られる会話スコア（会話モデルの尤度）の積（対数スケールでは和）を算出する（ステップＳ１２１）。そして、音声区間判定部１０６は、求めた値が最大となるような、各話者の発話状態の系列、すなわち音声検出結果を探索して出力する（ステップＳ１２３）。探索は、たとえば、近年の音声認識装置等で広く使用されている、非特許文献３のフレーム同期ビームサーチにより実現できる。
【００４９】
以上説明したように、本発明の実施の形態の音声検出装置１００によれば、複数（ｎ（ｎ≧２）チャンネル）の入力信号（Ｉ１〜Ｉｎ）を扱え、本装置を使用する環境によらず、正確な音声検出結果（Ｏ１〜Ｏｎ）を出力できることにある。その理由は、本発明は、ｎチャンネルの入力を想定しており、各チャンネルの入力信号を独立に音声検出するのではなく、音声区間判定部１０６が、会話構造（会話モデル１０４）に基づいて各入力信号の関連を考慮して音声検出することができるためである。
【００５０】
また、本発明は、各入力信号の音響的な特徴（音声らしさを表す音声スコア）に加え、多種多様な音の混入に直接的に影響を受けない、複数の入力信号から得られる音声の会話構造の特徴（会話らしさを表す会話スコア）を用いて音声検出するためである。
このように、本発明によれば、複数（ｎ（ｎ≧２）チャンネル）の入力信号から成る会話音声を対象とし、使用する環境によらず、高精度な音声検出を実現できる、音声検出装置、音声検出方法、およびプログラムを提供することができる。
【００５１】
（第２の実施の形態）
図５は、本発明の実施の形態に係る音声検出装置２００の要部構成を示す機能ブロック図である。
本発明の実施の形態に係る音声検出装置２００は、上記実施の形態とは、各入力信号の音声スコアと閾値をフレーム毎に比較するという、従来の１チャンネルの音声検出の枠組みを利用しながら、本発明の会話モデルを用いて音声区間を判定できる点で相違する。本実施形態の音声検出装置２００は、図１の上記実施形態の音声検出装置１００と同様な音声スコア算出部１０２（図５には図示なし）を備えるとともに、さらに、音声区間判定部２０６を備える。
本実施形態の音声検出装置２００は、音声区間判定部２０６の機能のみが、上記実施形態の音声検出装置１００のものと異なる。
【００５２】
本発明の実施の形態に係る音声検出装置２００において、音声区間判定部２０６は、各音声スコアから仮に検出される音声区間の検出結果が異なる結果として複数得られるような検出パラメータを用いて、各音声スコアから各入力信号に対する音声区間の複数の検出結果候補をそれぞれ求め、得られた各入力信号に対する複数の検出結果候補をそれぞれ組み合わせ、状態遷移系列を複数想定し、会話モデル１０４を用いて、複数の入力信号に対する会話スコアを複数の組み合わせ分算出し、算出された会話スコアが最も高い検出結果候補の組み合わせの状態遷移系列を選択し、複数の入力信号それぞれについて音声区間を判定する。
【００５３】
具体的には、音声区間判定部２０６は、各音声スコア算出部１０２が出力した、フレーム毎の音声スコアｎ組と、あらかじめ保持しているｍ（ｍ≧２）個の異なる閾値を用いて、チャンネル毎に、フレーム単位で、音声スコアと閾値を比較することにより、チャンネル毎にｍ個の音声検出結果の候補（全部でｎ×ｍ個の検出候補）を算出する。さらに、音声区間判定部２０６は、会話の構造をモデル化した会話モデルを用いて、ｎ×ｍ個の検出候補の組み合わせで、各会話スコアを算出する会話スコア計算部２０８をさらに有する。そして、会話スコア計算部２０８は、ｎ×ｍ個の検出候補の中から、最も会話スコアが高くなる検出候補の組（検出候補の組み合わせは、ｍのｎ乗通り存在する）を、最終的な音声検出結果として出力する（図５）。
【００５４】
なお、音声検出結果の候補を出力するために予め保持しているのは、検出閾値でなくてもよい。異なる仮の検出結果を出力できれば、たとえば、音声の継続時間長や、非音声の継続時間長等の、検出パラメータを用いてもよい。
【００５５】
次に、図６のフローチャートを参照して本実施の形態の音声検出装置２００の全体の動作について詳細に説明する。
音声区間判定部２０６が、ステップＳ１０１の処理で得られた、各入力信号の音声スコアｎ組と、予め保持しているｍ個の異なる閾値を、チャンネル毎にフレーム単位で比較し、チャンネル毎にｍ個の音声検出結果の候補を出力する（ステップＳ２０１）。すなわち、閾値以上の音声スコアの場合は１を出力し、閾値未満の音声スコアの場合は０を出力する。
【００５６】
そして、音声区間判定部２０６の会話スコア計算部２０８が、ステップＳ２０１で得られたｎ×ｍ個の検出候補を受け取り、検出候補をそれぞれ組み合わせる。ここでは、ｎチャンネルの入力信号の異なる検出候補をそれぞれ１個ずつ選んで組み合わせ、ｎ個の検出候補の組みが、ｎ×ｍ通り求まる。そして、音声区間判定部２０６の会話スコア計算部２０８が、会話モデル記憶部１０４を参照し、会話モデル１０４を用いて、各検出候補の組みが示す複数話者の発話状態の遷移に基づいて、各検出候補の組みの会話スコアを算出する（ステップＳ２０３）。そして、音声区間判定部２０６が、ｎ×ｍ個の検出候補の組みの中から、最も会話スコアが高くなる検出候補の組みを選択し（ステップＳ２０５）、最終的な検出結果として、ｎチャンネルの入力音声のｎ個の検出結果を出力する（ステップＳ２０７）。
【００５７】
以上説明したように、本発明の実施の形態の音声検出装置２００によれば、上記実施形態と同様な効果を奏するとともに、さらに、音声区間判定部２０６が、各入力信号の音声スコアと閾値をフレーム毎に比較するという、従来の１チャンネルの音声検出の枠組みを踏襲しているため、様々な音声検出装置と組み合わせて使用することができる。つまり、上記実施形態に比べて、会話構造を考慮した（会話モデル１０４を用いた）音声検出を、既存の音声検出装置へ容易に導入することができる。
【００５８】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【００５９】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００６０】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
音声検出装置が、
複数の入力信号から各前記入力信号の音声らしさを表す複数の音声スコアを時系列でそれぞれ算出し、
複数の前記音声スコアと、複数の前記入力信号の会話らしさを表す会話スコアを出力するための会話モデルとを用いて、複数の前記入力信号それぞれの音声区間を判定し、
前記会話スコアは、複数の話者による会話における発話している話者と発話していない話者の組み合わせからなる発話状態の時系列の遷移を想定した複数の状態遷移系列それぞれの会話らしさを表し、
前記音声区間を判定する時、前記音声検出装置が、
各前記音声スコアに基づき、各前記入力信号から各話者の音声が存在する区間を示す音声区間を仮に複数求め、
複数の前記入力信号の各仮の前記音声区間から、前記状態遷移系列を複数想定し、
想定した複数の前記状態遷移系列の中から、前記会話モデルを用いて、最も会話らしい状態遷移系列を選択し、
選択した前記状態遷移系列に基づいて、複数の前記入力信号それぞれについて前記音声区間を判定する音声検出方法。
（付記２）
付記１に記載の音声検出方法において、
前記会話スコアは、複数の前記入力信号の会話らしさを所定の数値範囲で数値化したものであり、複数の前記入力信号が会話らしい程、高く、
前記音声検出装置が、複数の前記入力信号からそれぞれ得られた複数の前記音声スコアと、複数の前記入力信号から得られた前記会話スコアとが高くなる状態遷移系列を選択することで、複数の前記入力信号それぞれについて前記音声区間を判定する音声検出方法。
（付記３）
付記２に記載の音声検出方法において、
前記音声検出装置が、複数の前記入力信号からそれぞれ得られた複数の前記音声スコアと、複数の前記入力信号から得られた前記会話スコアとの積または和が大きくなる発話状態系列を選択することで、複数の前記入力信号それぞれについて前記音声区間を判定する音声検出方法。
（付記４）
付記２または３に記載の音声検出方法において、
前記音声検出装置が、
各前記音声スコアから仮に検出される前記音声区間の検出結果が異なる結果として複数得られるような検出パラメータを用いて、各音声スコアから各前記入力信号に対する前記音声区間の複数の検出結果候補をそれぞれ求め、
得られた各入力信号に対する複数の前記検出結果候補をそれぞれ組み合わせ、前記状態遷移系列を複数想定し、
前記会話モデルを用いて、複数の前記入力信号に対する前記会話スコアを複数の組み合わせ分算出し、
算出された前記会話スコアが最も高い検出結果候補の組み合わせの前記状態遷移系列を選択し、複数の前記入力信号それぞれについて前記音声区間を判定する音声検出方法。
（付記５）
付記４に記載の音声検出方法において、
前記検出パラメータは、前記音声スコアの検出閾値、音声の継続時間長、または、非音声の継続時間長であり、各前記入力信号に対して異なる複数の検出結果がそれぞれ得られるように前記検出パラメータの値が複数設定される音声検出方法。
（付記６）
付記１乃至５いずれかに記載の音声検出方法において、
前記会話スコアは、会話に参加する各話者の発話の時間的な発生関係を示す複数の前記状態遷移系列が、会話として自然か不自然かを表す会話らしさを所定の数値範囲で数値化したものであり、会話として自然な場合は前記数値範囲の高い値をとり、会話として不自然な場合は前記数値範囲の低い値をとる音声検出方法。
（付記７）
付記１乃至６いずれかに記載の音声検出方法において、
前記会話スコアは、第１の所定時間に渡って複数の話者の発話が重なる状態遷移系列の場合、または、どの話者も発話していない無音が第２の所定時間以上継続する状態遷移系列の場合は、低い値をとる音声検出方法。
（付記８）
付記１乃至７いずれかに記載の音声検出方法において、
前記会話モデルは、会話音声における各話者の発話始終端時刻から、各話者の発話状態を検知し、複数の前記話者による複数の前記発話状態の時系列の遷移を取得して、前記会話音声における前記発話状態の出現回数または前記発話状態の遷移の回数を計測して、複数の前記状態遷移系列の会話らしさをそれぞれ求めることで、作成される音声検出方法。
【００６１】
（付記９）
音声検出装置を実現するコンピュータに、
複数の入力信号から各前記入力信号の音声らしさを表す複数の音声スコアを時系列でそれぞれ算出する手順、
複数の前記音声スコアと、複数の前記入力信号の会話らしさを表す会話スコアを出力するための会話モデルとを用いて、複数の前記入力信号それぞれの音声区間を判定する手順を実行させ、
前記会話スコアは、複数の話者による会話における発話している話者と発話していない話者の組み合わせからなる発話状態の時系列の遷移を想定した複数の状態遷移系列それぞれの会話らしさを表し、
前記音声区間を判定する手順において、
各前記音声スコアに基づき、各前記入力信号から各話者の音声が存在する区間を示す音声区間を仮に複数求める手順、
複数の前記入力信号の各仮の前記音声区間から、前記状態遷移系列を複数想定する手順、
想定した複数の前記状態遷移系列の中から、前記会話モデルを用いて、最も会話らしい状態遷移系列を選択する手順、
選択した前記状態遷移系列に基づいて、複数の前記入力信号それぞれについて前記音声区間を判定する手順をコンピュータに実行させるためのプログラム。
（付記１０）
付記９に記載のプログラムにおいて、
前記会話スコアは、複数の前記入力信号の会話らしさを所定の数値範囲で数値化したものであり、複数の前記入力信号が会話らしい程、高く、
複数の前記入力信号からそれぞれ得られた複数の前記音声スコアと、複数の前記入力信号から得られた前記会話スコアとが高くなる状態遷移系列を選択することで、複数の前記入力信号それぞれについて前記音声区間を判定する手順をコンピュータに実行させるためのプログラム。
（付記１１）
付記１０に記載のプログラムにおいて、
複数の前記入力信号からそれぞれ得られた複数の前記音声スコアと、複数の前記入力信号から得られた前記会話スコアとの積または和が大きくなる発話状態系列を選択することで、複数の前記入力信号それぞれについて前記音声区間を判定する手順をコンピュータに実行させるためのプログラム。
（付記１２）
付記１０または１１に記載のプログラムにおいて、
各前記音声スコアから仮に検出される前記音声区間の検出結果が異なる結果として複数得られるような検出パラメータを用いて、各音声スコアから各前記入力信号に対する前記音声区間の複数の検出結果候補をそれぞれ求める手順、
得られた各入力信号に対する複数の前記検出結果候補をそれぞれ組み合わせ、前記状態遷移系列を複数想定する手順、
前記会話モデルを用いて、複数の前記入力信号に対する前記会話スコアを複数の組み合わせ分算出する手順、
算出された前記会話スコアが最も高い検出結果候補の組み合わせの前記状態遷移系列を選択し、複数の前記入力信号それぞれについて前記音声区間を判定する手順をコンピュータに実行させるためのプログラム。
（付記１３）
付記１２に記載のプログラムにおいて、
前記検出パラメータは、前記音声スコアの検出閾値、音声の継続時間長、または、非音声の継続時間長であり、各前記入力信号に対して異なる複数の検出結果がそれぞれ得られるように前記検出パラメータの値が複数設定されるプログラム。
（付記１４）
付記９乃至１３いずれかに記載のプログラムにおいて、
前記会話スコアは、会話に参加する各話者の発話の時間的な発生関係を示す複数の前記状態遷移系列が、会話として自然か不自然かを表す会話らしさを所定の数値範囲で数値化したものであり、会話として自然な場合は前記数値範囲の高い値をとり、会話として不自然な場合は前記数値範囲の低い値をとるように設定されるプログラム。
（付記１５）
付記９乃至１４いずれかに記載のプログラムにおいて、
前記会話スコアは、第１の所定時間に渡って複数の話者の発話が重なる状態遷移系列の場合、または、どの話者も発話していない無音が第２の所定時間以上継続する状態遷移系列の場合は、低い値をとるように設定されるプログラム。
（付記１６）
付記９乃至１５いずれかに記載のプログラムにおいて、
会話音声における各話者の発話始終端時刻から、各話者の発話状態を検知する手順、
複数の前記話者による複数の前記発話状態の時系列の遷移を取得して、前記会話音声における前記発話状態の出現回数または前記発話状態の遷移の回数を計測する手順、
複数の前記状態遷移系列の会話らしさをそれぞれ求めることで、前記会話モデルを作成する手順をコンピュータに実行させるためのプログラム。
【符号の説明】
【００６２】
１００  音声検出装置
１０２  音声スコア算出部
１０４  会話モデル記憶部
１０６  音声区間判定部
２００  音声検出装置
２０６  音声区間判定部
２０８  会話スコア計算部
【図１】
2014056026.tif 000003
【図２】
2014056026.tif 000004
【図３】
2014056026.tif 000005
【図４】
2014056026.tif 000006
【図５】
2014056026.tif 000007
【図６】
2014056026.tif 000008
【図７】
2014056026.tif 000009
【図８】
2014056026.tif 000010