(57)【特許請求の範囲】
【請求項１】
頭部の左右少なくとも一方に装着され、片側当たり少なくとも２つ以上のマイクロホンから構成されるマイクロホンアレイと、前記マイクロホンアレイを用いて前方の話者が会話相手か否かを判定する会話検出装置であって、
前記マイクロホンアレイ装着者の前方にいる話者の発話を前方向の発話として検出する前発話検出部と、
前記マイクロホンアレイ装着者の自発話を検出する自発話検出部と、
前記マイクロホンアレイ装着者の左右の少なくとも一方にいる話者の発話を横発話として検出する横発話検出部と、
前記自発話と前記横発話の検出結果に基づいて、前記自発話と前記横発話との間の会話成立度を演算する横方向会話成立度導出部と、
前発話の検出結果と横方向会話成立度の演算結果に基づいて、前方向の会話の有無を判定する前方向会話検出部と、を備え、
前記前方向会話検出部は、
前記前方向の発話が検出され、かつ、前記横方向の会話成立度が所定値よりも低い場合に、前方向に会話が行われていると判定する会話検出装置。
【請求項２】
前記自発話検出部は、振動成分の抽出を利用する、請求項１記載の会話検出装置。
【請求項３】
前記横発話検出部は、前記自発話を検出するためのパワー情報により横方向のパワー情報を補正する、請求項１記載の会話検出装置。
【請求項４】
前記自発話と前記前方向の発話の検出結果に基づいて、前記自発話と前記前方向の発話との間の会話の成立度を演算する前方向会話成立度導出部と、
前記横方向会話成立度と前記前方向会話成立度に基づき、前方向の会話成立度を合成する前方向会話成立度合成部と、を備え、
前記前方向会話検出部は、
前記前方向会話成立度合成部により合成された前方向会話成立度に基づいて、前方向の会話の有無を判定する、請求項１記載の会話検出装置。
【請求項５】
前記前方向会話成立度合成部は、
前記前方向会話成立度導出部により演算された前方向会話成立度から、前記横方向会話成立度導出部により演算された横方向会話成立度を減じる、請求項４記載の会話検出装置。
【請求項６】
請求項１乃至５のいずれかに記載の会話検出装置と、
前記前方向会話検出部により判定された会話相手方向に基づいて、前記マイクロホンアレイ装着者に聞かせる音の指向性を制御する出力音制御部と、
を備える補聴器。
【請求項７】
頭部の左右少なくとも一方に装着され、片側当たり少なくとも２つ以上のマイクロホンから構成されるマイクロホンアレイを用いて前方の話者が会話相手か否かを判定する会話検出方法であって、
前記マイクロホンアレイ装着者の前方にいる話者の発話を前方向の発話として検出するステップと、
前記マイクロホンアレイ装着者の自発話を検出するステップと、
前記マイクロホンアレイ装着者の左右の少なくとも一方にいる話者の発話を横発話として検出するステップと、
前記自発話と前記横発話の検出結果に基づいて、前記自発話と前記横発話との間の会話成立度を演算するステップと、
前発話の検出結果と横方向会話成立度の演算結果に基づいて、前方向の会話の有無を判定する前方向会話検出ステップとを有し、
前記前方向会話検出ステップでは、
前記前方向の発話が検出され、かつ、前記横方向の会話成立度が所定値よりも低い場合に、前方向に会話が行われていると判定する会話検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周囲に複数の話者がいる状況で、会話相手との会話を検出する会話検出装置、補聴器及び会話検出方法に関する。
【背景技術】
【０００２】
近年、補聴器は、複数のマイクユニットからの入力信号から感度の指向性を形成することができるようになっている（例えば、特許文献１参照）。補聴器を用いて聞きたい音源は、主として、補聴器装着者と会話を行っている相手の声である。したがって、補聴器は、指向性処理を効果的に利用するために、会話を検出する機能と連動した制御が望まれる。【０００３】
従来、会話状況をセンシングする方法としては、カメラ及びマイクを用いる方法がある（例えば、特許文献２参照）。特許文献２記載の情報処理装置は、カメラからの映像を処理して、人物の視線方向を推定する。会話が行われている場合には、視線方向に会話相手がいる場合が多いと考えられる。しかし補聴器用途では、撮像デバイスの追加が必要となるために、当該アプローチはふさわしくない。【０００４】
一方、複数のマイク（マイクロホンアレイ）により、声がどの方向から聞こえたかを推定することができるので、会議の場では当該推定結果情報から会話相手を抽出できる。ところが、音声は拡散する性質を有する。このため、喫茶店での会話のように複数の会話グループが存在する場合においては、到来方向のみによる判断によっては、自分に向けて発せられた言葉と、自分以外の者に向けて発せられた言葉とを区別することは困難である。発話を受け取る者から見た声の到来方向は、声を発した者の顔の向きを表していない。この点が、顔や視線の向きを直接的に推定できる映像入力と異なるため、音入力ベースの会話相手検出へのアプローチは難しい。【０００５】
妨害音の存在を考慮した音入力ベースの従来の会話相手検出装置としては、例えば特許文献３に記載の音声信号処理装置がある。特許文献３記載の音声信号処理装置は、マイクロホンアレイからの入力信号を処理して音源分離を行い、２つの音源間の会話成立度合いを演算することにより会話が成立しているかを判定する。【０００６】
特許文献３記載の音声信号処理装置は、複数音源からの複数の音声信号が混在して入力される環境下で会話が成立している有効音声を抽出する。この音声信号処理装置は、発話の時系列から、会話が「言葉のキャッチボール」である性質を考慮した数値化を行っている。【０００７】
図１は、特許文献３記載の音声信号処理装置の構成を示す図である。【０００８】
図１に示すように、音声信号処理装置１０は、マイクロホンアレイ１１と、音源分離部１２と、音源ごとの発話検出部１３、１４、１５と、２音源ごとの会話成立度演算部１６、１７、１８と、有効音声抽出部１９と、を備える。【０００９】
音源分離部１２は、マイクロホンアレイ１１から入力された複数音源を分離する。【００１０】
発話検出部１３、１４、１５は、各音源の有声／無声を判定する。【００１１】
会話成立度演算部１６、１７、１８は、２音源ごとの会話成立度を演算する。【００１２】
有効音声抽出部１９は、２音源ごとの会話成立度から会話成立度が最も大きい音声を有効音声として抽出する。【００１３】
音源分離の方式としては、ＩＣＡ（Independent Component Analysis：独立成分分析）による方式や、ＡＢＦ（Adaptive Beamformer：適応的ビームフォーマ）による方式が知られている。また、両者の動作原理が類似していることも知られている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】米国特許第２００２／００４１６９５ Ａ１号明細書
【特許文献２】特開２０００−３５２９９６号公報
【特許文献３】特開２００４−１３３４０３号公報
【非特許文献】
【００１５】
【非特許文献１】牧野昭二他著「独立成分分析に基づくブラインド音源分離」電子情報通信学会技術研究報告．ＥＡ，応用音響 １０３(１２９)，１７−２４，２００３−０６−１３
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、このような従来の音声信号処理装置にあっては、会話成立度の有効性が低くなり、前方の話者が会話相手か否かを高精度に判定することができないという課題を有していた。なぜなら、ウエアラブル・マイクロホンアレイ（頭部装着型のマイクロホンアレイ）の場合には、マイクロホンアレイ装着者の自発話と、装着者の前方にいる会話相手の発話が、両方とも装着者から見て同じ方向（前方）に放射されることになる。このために、従来の音声信号処理装置では、これらの発話の分離が困難となるからである。【００１７】
例えば、片耳に２個ずつのマイクユニットを配置した両耳補聴器の計４個のマイクユニットで、マイクロホンアレイを構成した場合は、装着者の頭部を中心として、周囲の音響信号に対して、音源分離処理を実行できる。しかし、前方にいる話者の発話と装着者自身の発話のように音源の方向が同じ場合には、ＡＢＦによってもＩＣＡによっても音源分離は困難である。このことは、各音源の有音／無音判定精度に影響し、それに基づく会話成立判定の精度にも影響する。【００１８】
本発明の目的は、頭部装着型のマイクロホンアレイを使用し、前方の話者が会話相手か否かを高精度に判定することができる会話検出装置、補聴器及び会話検出方法を提供することである。
【課題を解決するための手段】
【００１９】
本発明の会話検出装置は、頭部の左右少なくとも一方に装着され、片側当たり少なくとも２つ以上のマイクロホンから構成されるマイクロホンアレイと、前記マイクロホンアレイを用いて前方の話者が会話相手か否かを判定する会話検出装置であって、前記マイクロホンアレイ装着者の前方にいる話者の発話を前方向の発話として検出する前発話検出部と、前記マイクロホンアレイ装着者の自発話を検出する自発話検出部と、前記マイクロホンアレイ装着者の左右の少なくとも一方にいる話者の発話を横発話として検出する横発話検出部と、前記自発話と前記横発話の検出結果に基づいて、前記自発話と前記横発話との間の会話成立度を演算する横方向会話成立度導出部と、前発話の検出結果と横方向会話成立度の演算結果に基づいて、前方向の会話の有無を判定する前方向会話検出部と、を備え、前記前方向会話検出部は、前記前方向の発話が検出され、かつ、前記横方向の会話成立度が所定値よりも低い場合に、前方向に会話が行われていると判定する構成を採る。【００２０】
本発明の補聴器は、上記会話検出装置と、前記前方向会話検出部により判定された会話相手方向に基づいて、前記マイクロホンアレイ装着者に聞かせる音の指向性を制御する出力音制御部と、を備える構成を採る。【００２１】
本発明の会話検出方法は、頭部の左右少なくとも一方に装着され、片側当たり少なくとも２つ以上のマイクロホンから構成されるマイクロホンアレイを用いて前方の話者が会話相手か否かを判定する会話検出方法であって、前記マイクロホンアレイ装着者の前方にいる話者の発話を前方向の発話として検出するステップと、前記マイクロホンアレイ装着者の自発話を検出するステップと、前記マイクロホンアレイ装着者の左右の少なくとも一方にいる話者の発話を横発話として検出するステップと、前記自発話と前記横発話の検出結果に基づいて、前記自発話と前記横発話との間の会話成立度を演算するステップと、前発話の検出結果と横方向会話成立度の演算結果に基づいて、前方向の会話の有無を判定する前方向会話検出ステップとを有し、前記前方向会話検出ステップでは、前記前方向の発話が検出され、かつ、前記横方向の会話成立度が所定値よりも低い場合に、前方向に会話が行われていると判定する。
【発明の効果】
【００２２】
本発明によれば、自発話の影響を受けやすい前方向の会話成立度演算の結果を用いることなしに前方向の発話の有無を検出することができる。その結果、自発話の影響を受けずに前方向の会話を高い精度で検出することができ、前方の話者が会話相手かどうかを判定することができる。
【図面の簡単な説明】
【００２３】
【図１】従来の音声信号処理装置の構成を示す図
【図２】本発明の実施の形態１に係る会話検出装置の構成を示す図
【図３】上記実施の形態１に係る会話検出装置の会話の状態判定及び指向性制御を示すフロー図
【図４】発話重なり分析値Ｐｃの求め方を説明するための図
【図５】上記実施の形態１に係る会話検出装置の複数の会話グループがある場合の話者の配置パターンの例を示す図
【図６】上記実施の形態１に係る会話検出装置の会話成立度の時間変化の一例を示す図
【図７】上記実施の形態１に係る会話検出装置の評価実験による発話検出正解率をグラフにして示す図
【図８】上記実施の形態１に係る会話検出装置の評価実験による会話検出正解率をグラフにして示す図
【図９】本発明の実施の形態２に係る会話検出装置の構成を示す図
【図１０】上記実施の形態２に係る会話検出装置の会話成立度の時間変化の一例を示す図
【図１１】上記実施の形態２に係る会話検出装置の評価実験による会話検出正解率をグラフにして示す図
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２５】
（実施の形態１）
図２は、本発明の実施の形態１に係る会話検出装置の構成を示す図である。本実施の形態の会話検出装置は、出力音制御部（指向性制御部）を備える補聴器に適用可能である。
【００２６】
図２に示すように、会話検出装置１００は、マイクロホンアレイ１０１、Ａ／Ｄ（Analog to Digital）変換部１２０、音声検出部１４０、横方向会話成立度導出部（横方向会話成立度演算部）１０５、前方向会話検出部１０６、及び出力音制御部（指向性制御部）１０７を備える。
【００２７】
マイクロホンアレイ１０１は、左右両耳に２個ずつ、計４個のマイクユニットから構成される。片耳のマイクユニット間の距離は、１ｃｍ程度である。左右のマイクユニット間の距離は、１５〜２０ｃｍ程度である。
【００２８】
Ａ／Ｄ変換部１２０は、マイクロホンアレイ１０１からの音信号をデジタル信号に変換する。そして、Ａ／Ｄ変換部１２０は、変換後の音信号を、自発話検出部１０２、前発話検出部１０３、横発話検出部１０４、及び出力音制御部１０７に出力する。
【００２９】
音声検出部１４０は、横発話検出部１０４は、マイクロホンアレイ１０１からの４ｃｈの音響信号（Ａ／Ｄ変換部１２０によりデジタル信号に変換された後の信号）を入力する。そして、音声検出部１４０は、この音響信号から、マイクロホンアレイ１０１装着者（以下、補聴器装着者）の自発話、前方向の発話、および横方向の発話を、それぞれ検出する。音声検出部１４０は、自発話検出部１０２、前発話検出部１０３、および横発話検出部１０４を有する。
【００３０】
自発話検出部１０２は、補聴器装着者の自発話を検出する。自発話検出部１０２は、振動成分の抽出を利用することにより自発話を検出する。詳細には、自発話検出部１０２は、音響信号を入力とする。そして、自発話検出部１０２は、前後のマイク間での無相関な信号成分を抽出することにより得られる自発話パワー成分から自発話の有無を逐次的に判定する。無相関な信号成分の抽出は、ローパスフィルタや減算型のマイクアレイ処理を利用して実現することができる。
【００３１】
前発話検出部１０３は、補聴器装着者の前方にいる話者の発話を前方向の発話として検出する。詳細には、前発話検出部１０３は、マイクロホンアレイ１０１からの４ｃｈの音響信号を入力とする。そして、前発話検出部１０３は、前向きに指向性を形成し、そのパワー情報から前方に発話の有無を逐次的に判定する。自発話検出部１０２は、このパワー情報を、自発話の影響を低減するために自発話検出部１０２で得られた自発話パワー成分の値で割ってもよい。
【００３２】
横発話検出部１０４は、補聴器装着者の左右の少なくとも一方の発話を横発話として検出する。詳細には、横発話検出部１０４は、マイクロホンアレイ１０１からの４ｃｈの音響信号を入力とする。そして、横発話検出部１０４は、横方向に指向性を形成し、そのパワー情報から横方向の発話の有無を逐次的に判定する。横発話検出部１０４は、このパワー情報を、自発話の影響を低減するために自発話検出部１０２で得られた自発話パワー成分の値で割ってもよい。また、横発話検出部１０４は、自発話や前方向の発話との分離度を上げるために、左右のパワー差を利用してもよい。
【００３３】
横方向会話成立度導出部１０５は、自発話と横発話の検出結果に基づいて、自発話と横発話との間の会話成立度を演算する。詳細には、横方向会話成立度導出部１０５は、自発話検出部１０２の出力及び横発話検出部１０４の出力を取得する。そして、横方向会話成立度導出部１０５は、自発話及び横発話の有無の時系列から、横方向会話成立度を演算する。ここで、横方向会話成立度は、補聴器装着者とその横方向の発話者との間で会話が為されている度合いを表す値である。
【００３４】
横方向会話成立度導出部１０５は、横発話重なり継続長分析部１５１、横沈黙継続長分析部１５２、及び横方向会話成立度演算部１６０を有する。
【００３５】
横発話重なり継続長分析部１５１は、自発話検出部１０２により検出された自発話と、横発話検出部１０４により検出された横発話との間の、発話重なり区間の継続長（以下「発話重なり継続長分析値」という）を求め分析する。
【００３６】
横沈黙継続長分析部１５２は、自発話検出部１０２により検出された自発話と、横発話検出部１０４により検出された横発話との間の、沈黙区間の継続長（以下「沈黙継続長分析値」という）を求め分析する。
【００３７】
すなわち、横発話重なり継続長分析部１５１及び横沈黙継続長分析部１５２は、日常会話の特徴量を示す識別パラメータとして、発話重なり継続長分析値及び沈黙継続長分析値を抽出する。識別パラメータは、会話相手を判定（識別）し、会話成立度を算出する際に用いられるものである。なお、識別パラメータ抽出部１５０における発話重なり分析値及び沈黙分析値の算出方法については、後述する。
【００３８】
横方向会話成立度演算部１６０は、横発話重なり継続長分析部１５１により算出された発話重なり継続長分析値と、横沈黙継続長分析部１５２により算出された沈黙継続長分析値とに基づいて、横方向会話成立度を算出する。横方向会話成立度演算部１６０における横方向会話成立度の算出方法については、後述する。
【００３９】
前方向会話検出部１０６は、前発話の検出結果と横方向会話成立度の演算結果とに基づいて、前方向の会話の有無を検出する。詳細には、前方向会話検出部１０６は、前発話検出部１０３の出力及び横方向会話成立度導出部１０５の出力を入力し、予め設定された閾値との大小比較により、補聴器装着者と前方向の発話者との間の会話の有無を判定する。さらに、前方向会話検出部１０６は、前方向の発話が検出され、横方向の会話成立度が低い場合に、前方向に会話が行われている判定する。
【００４０】
このように、前方向会話検出部１０６は、前方向の発話の有無を検出する機能と、前方向の発話が検出され、横方向の会話成立度が低い場合に、前方向に会話が行われている判定する会話相手方向判定機能と、を備える。かかる観点から、前方向会話検出部１０６は、会話状態判定部と呼称してもよい。また、前方向会話検出部１０６は、この会話状態判定部と別ブロックで構成してもよい。
【００４１】
出力音制御部１０７は、前方向会話検出部１０６により判定された会話状態に基づいて、補聴器装着者に聞かせる音の指向性を制御する。すなわち、出力音制御部１０７は、前方向会話検出部１０６において判定された会話相手の声が聞き取りやすくなるように、出力音を制御して出力する。具体的には、出力音制御部１０７は、Ａ／Ｄ変換部１２０から入力された音信号に対して、非会話相手である音源方向を抑圧する指向性制御を行う。
【００４２】
上記各ブロックの検出、演算及び制御は、ＣＰＵにより実行される。また、ＣＰＵで全ての処理を行うのではなく、一部の信号処理を行うＤＳＰ（Digital Signal Processor）を用いてもよい。
【００４３】
以下、上述のように構成された会話検出装置１００の動作について説明する。
【００４４】
図３は、会話検出装置１００の会話の状態判定及び指向性制御を示すフローチャートである。本フローは、ＣＰＵにより所定タイミングで実行される。図中のＳは、フローの各ステップを示す。
【００４５】
本フローがスタートすると、ステップＳ１において、自発話検出部１０２は、自発話の有無を検出する。自発話がない場合（Ｓ１：ＮＯ）は、ステップＳ２に進み、自発話がある場合（Ｓ１：ＹＥＳ）は、ステップＳ３に進む。
【００４６】
ステップＳ２において、前方向会話検出部１０６は、自発話がないので、補聴器装着者は会話をしていないと判定する。出力音制御部１０７は、補聴器装着者が会話をしていないという判定結果に従って、前方向への指向性を広指向に設定する。
【００４７】
ステップＳ３において、前発話検出部１０３は、前発話の有無を検出する。前発話がない場合（Ｓ３：ＮＯ）は、ステップＳ４に進み、前発話がある場合（Ｓ３：ＹＥＳ）は、ステップＳ５に進む。前発話がある場合は、補聴器装着者と前方向の話者とが会話を行っている可能性がある場合である。
【００４８】
ステップＳ４において、前方向会話検出部１０６は、前発話がないので、補聴器装着者は、前方の話者と会話を行っているのではないと判定する。出力音制御部１０７は、補聴器装着者は前方の話者と会話を行っているのではないという判定結果に従って、前方向への指向性を広指向に設定する。
【００４９】
ステップＳ５において、横発話検出部１０４は、横発話の有無を検出する。横発話がない場合（Ｓ５：ＮＯ）は、ステップＳ６に進み、横発話がある場合（Ｓ５：ＹＥＳ）は、ステップＳ７に進む。
【００５０】
ステップＳ６において、前方向会話検出部１０６は、自発話と前発話があり横発話がないので、補聴器装着者は前方の話者と会話を行っていると判定する。出力音制御部１０７は、補聴器装着者と前方の話者とが会話を行っているという判定結果に従って、前方向への指向性を狭指向に設定する。
【００５１】
ステップＳ７において、前方向会話検出部１０６は、横方向会話成立度導出部１０５の出力に基づき、補聴器装着者が前方向の話者と会話を行っているか否かを判定する。出力音制御部１０７は、補聴器装着者が前方向の話者と会話を行っているかの判定結果に従って、前方向への指向性を狭指向と広指向とで切り替える。
【００５２】
なお、前方向会話検出部１０６が入力する横方向会話成立度導出部１０５の出力は、上述の通り、横方向会話成立度導出部１０５が算出した横方向会話成立度である。ここで、横方向会話成立度導出部１０５の動作について説明する。
【００５３】
横方向会話成立度導出部１０５の横発話重なり継続長分析部１５１及び横沈黙継続長分析部１５２は、音信号Ｓ１と音信号Ｓｋとの、発話の重なり及び沈黙の区間の継続長を求める。
【００５４】
ここで、音信号Ｓ１は、ユーザの声であり、音信号Ｓｋは、横方向ｋから到来する音である。
【００５５】
そして、横発話重なり継続長分析部１５１及び横沈黙継続長分析部１５２は、フレームｔにおける発話重なり分析値Ｐｃ及び沈黙分析値Ｐｓをそれぞれ算出し、これらを横方向会話成立度演算部１６０に出力する。
【００５６】
次に、発話重なり分析値Ｐｃ及び沈黙分析値Ｐｓの算出方法について説明する。始めに、発話重なり分析値Ｐｃの算出方法について、図４を参照しながら説明する。
【００５７】
図４Ａにおいて、四角で示された区間は、自発話検出部１０２により生成される音声／非音声の検出結果を示す音声区間情報に基づいて、音信号Ｓ１が音声と判定された発話区間を示している。図４Ｂにおいて、四角で示された区間は、横発話検出部１０４により音信号Ｓｋが音声と判定された発話区間を示している。そして、横発話重なり継続長分析部１５１は、これらの区間が重なる部分を発話重なりと定義する（図４Ｃ）。
【００５８】
横発話重なり継続長分析部１５１における具体的な動作は、次の通りである。フレームｔにおいて、発話重なりが開始する場合、横発話重なり継続長分析部１５１は、当該フレームを始端フレームとして記憶しておく。そして、フレームｔにおいて、発話重なりが終了した場合、横発話重なり継続長分析部１５１は、これをひとつの発話重なりとみなし、始端フレームからの時間長を発話重なりの継続長とする。
【００５９】
図４Ｃにおいて、楕円で囲んだ部分は、フレームｔ以前の発話重なりを表している。そして、フレームｔにおいて、発話重なりが終了した場合、横発話重なり継続長分析部１５１は、フレームｔ以前の発話重なりの継続長に関する統計量を求め、記憶しておく。さらに、横発話重なり継続長分析部１５１は、この統計量を用いて、フレームｔにおける発話重なり分析値Ｐｃを算出する。発話重なり分析値Ｐｃは、発話重なりの中で、その継続長が短い場合が多いのか長い場合が多いのかを表すパラメータであることが望ましい。
【００６０】
次に、沈黙分析値Ｐｓの算出方法について説明する。
【００６１】
まず、本実施の形態では、自発話検出部１０２および横発話検出部１０４により生成される音声区間情報に基づいて、音信号Ｓ１が非音声と判定された区間と、音信号Ｓｋが非音声と判定された区間とが重なる部分を沈黙と定義する。発話重なりの分析度と同様にして、横沈黙継続長分析部１５２は、沈黙区間の継続長を求め、フレームｔ以前の沈黙区間の継続長に関する統計量を求め記憶しておく。さらに、横沈黙継続長分析部１５２は、この統計量を用いて、フレームｔにおける沈黙分析値Ｐｓを算出する。沈黙分析値Ｐｓは、沈黙の中でその継続長が短い場合が多いのか、あるいは長い場合が多いのかを表すパラメータであることが望ましい。
【００６２】
次に、具体的な発話重なり分析値Ｐｃ及び沈黙分析値Ｐｓの算出方法を説明する。
【００６３】
横沈黙継続長分析部１５２は、フレームｔにおいて、継続長に関する統計量を、それぞれ記憶・更新する。継続長に関する統計量は、フレームｔ以前の（１）発話重なりの継続長の和Ｗｃ、（２）発話重なりの個数Ｎｃ、（３）沈黙の継続長の和Ｗｓ、及び（４）沈黙の個数Ｎｓを含む。そして、横発話重なり継続長分析部１５１及び横沈黙継続長分析部１５２は、フレームｔ以前の発話重なりの平均継続長Ａｃ、及び、フレームｔ以前の沈黙区間の平均継続長Ａｓを式（１−１）、（１−２）により、それぞれ求める。
【数１】
0005581329.tif 000002
【００６４】
Ａｃ、Ａｓは、値が小さいほどそれぞれ短い発話重なり、短い沈黙が多いことを表す。そこで、大小関係をあわせるためにＡｃ、Ａｓの符号を反転させて発話重なり分析値Ｐｃ及び沈黙分析値Ｐｓは、次の式（２−１）、（２−２）ように定義する。
【数２】
0005581329.tif 000003
【００６５】
なお、発話重なり分析値Ｐｃ及び沈黙分析値Ｐｓの他にも、継続長が短い会話が多いか長い会話が多いかを表すパラメータとしては、次のようなパラメータも考えられる。
【００６６】
パラメータの算出は、発話重なり及び沈黙の継続長が閾値Ｔ（例えばＴ＝１秒）より短い会話と、Ｔ以上の長い会話とに分けて、それぞれの出現個数又は継続長和を求める。次に、パラメータの算出は、フレームｔ以前に出現する継続長の短い会話の出現個数又は継続長和に対する割合を求める。すると、この割合は、値が大きいほど短い継続長の会話が多いことを表すパラメータとなる。
【００６７】
なお、これらの統計量は、ひとつの会話のまとまりの性質を表すように、沈黙が一定時間続いた時点で初期化する。あるいは、統計量は、一定時間（例えば２０秒）ごとに初期化するようにしてもよい。また、統計量は、常に過去一定時間窓内の発話重なり、沈黙継続長の統計量を用いるようにしてもよい。
【００６８】
そして、横方向会話成立度演算部１６０は、音信号Ｓ１と音信号Ｓｋとの会話成立度を計算し、横方向会話成立度として、会話相手判定部１７０に出力する。
【００６９】
フレームｔにおける会話成立度Ｃ1,k(t)は、例えば、式（３）のように定義される。
【数３】
0005581329.tif 000004
【００７０】
なお、発話重なり分析値Ｐｃの重みｗ１及び沈黙分析値Ｐｓの重みｗ２は、実験によりあらかじめ最適値を求めておく。
【００７１】
フレームｔは、全ての方向の音源に対して無音が一定時間続いた時点で初期化する。そして、横方向会話成立度演算部１６０は、どれかの方向の音源にパワーがあったときにカウントを始める。なお、会話成立度は、遠い過去のデータを忘却させて最新の状況に適応させる時定数を用いて求めてもよい。
【００７２】
また、横発話重なり継続長分析部１５１および横沈黙継続長分析部１５２は、計算量削減のため、横方向から音声が一定時間検出されなかった場合には、横方向には人がいないものとして、次に音声が検出されるまで上記処理を行わないようにしてもよい。この場合、横方向会話成立度演算部１６０は、例えば、会話成立度Ｃ1,k(t)＝０を、前方向会話検出部１０６へ出力すればよい。
【００７３】
以上で、横方向会話成立度導出部１０５の動作についての説明を終える。なお、横方向会話成立度の導出手法は、上述の内容に限定されるものではない。横方向会話成立度導出部１０５は、例えば特許文献３記載の手法により、会話成立度を算出してもよい。
【００７４】
このように、ステップＳ５において、横発話がある場合には、自発話と前発話と横発話とがすべて存在するので、前方向会話検出部１０６により会話の状況を詳しく判断し、出力音制御部１０７は、その結果に応じて指向性を制御する。
【００７５】
一般的には、補聴器装着者から見て、会話相手は前方向にいる場合が多い。しかし、テーブル席などでは、会話相手が横方向にいる場合もあり、その際、椅子が固定されている、食事中であるなどの理由で体を前に向けていると、お互いの顔を見ないで、真横や斜め横方向から声を聞きながら、会話を進めることになる。会話相手が後ろにいることは、車椅子に座っている場合などかなり限定された状況である。したがって、補聴器装着者から見た会話相手の位置は、通常、ある程度の幅を許容した前方向と横方向に大別できる。
【００７６】
一方、耳掛け型などの補聴器上に配置したマイクロホンアレイ１０１では、左右のマイクユニット間距離は１５〜２０ｃｍ程度、前後のマイクユニット間距離が１ｃｍ程度になる。したがって、音声帯域の指向性パターンは、ビームフォーミングの周波数特性から、前方向には鋭くできるが、横方向には鋭くできない。したがって、補聴器では、前方向に指向性を狭めるか広げるかという制御に限定すれば、前に会話相手がいるか否かの判定を行えばよく、前と横に発話者がいても、前の話者との間だけの会話成立を判定すればいいように思われる。
【００７７】
しかし、他方で、会話成立の判定を行うのに必要な発話の検出という観点では、別の結論が導かれる。補聴器によって聞きたい声は、会話相手の声であるが、会話においては補聴器装着者の自発話も存在する。この自発話は、補聴器装着者の口から前方に放射されるため、前方の話者の発話と同方向の音源となり、前方向に向けたビームフォーマ内に混在することになる。したがって、自発話は、前方の話者の発話を検出する際に妨げとなる。
【００７８】
一方で、自発話の放射パワーは横方向については弱まるため、ビームフォーマを利用して横方向の話者の発話の検出を行う方が、自発話の影響が少ない分、前発話の検出よりも有利となる。また、会話成立は、横方向と会話が成立していなければ前方向と会話を行っているという推定が成り立つ。したがって、前と横に発話者がいる状況で、前方向の指向性を狭めるかどうかの判断は、上記推定の下、前か横かに大別した会話相手の位置の中からの消去法で行うことが、前方向との会話成立性を直接判断するよりも有利である。
【００７９】
このような考察に基づき、前方向会話検出部１０６は、前発話の検出結果と横方向会話成立度の演算結果に基づき、前方向の会話の有無を検出する。そして、前方向会話検出部１０６は、前方向の発話が検出され、横方向の会話成立度が低い場合に、前方向に会話が行われている判定する。すなわち、前方向会話検出部１０６は、前発話検出部１０３の出力として前発話が検出されていることを前提に、横方向会話成立度が低い場合に、補聴器装着者とその前方向の発話者との間の会話が有ると判定する。
【００８０】
かかる構成によれば、前方向会話検出部１０６は、前方向会話検出部１０６が、横方向の会話成立度が低い場合に、補聴器装着者とその前方向の発話者との間の会話が有ると判定するとする。これにより、前方向会話検出部１０６は、自発話の影響で高い精度が得られない前方向の会話成立度を用いずに、前方向の会話を検出することができる。
【００８１】
ここで、本発明者らは、実際に日常会話を収録して、会話検出の評価実験を行った結果について説明する。
【００８２】
図５は、複数の会話グループがある場合の話者の配置パターンの例を示す図である。図５Ａは、補聴器装着者が会話相手と向き合うパターンＡ、図５Ｂは、補聴器装着者と会話相手とが横並びのパターンＢを示す。
【００８３】
データ量は、１０分×２座席配置パターン×２話者セットとした。座席配置パターンは、図５に示すように、会話相手が向き合わせになるパターンＡと会話相手が横並びになるパターンＢとの２通りである。そして、本評価実験では、これら２通りの座席配置パターンについて、会話の収録を行っている。図中、矢印は、会話を行っている話者ペアを表している。また、本評価実験では、２名ずつの会話グループが同時に会話を行っており、自分の会話相手以外の声が妨害音となっているため、被験者からはうるさくて話しづらいという感想を得た。本評価実験では、図中、楕円で示した話者ペアごとに発話検出結果に基づく会話成立度を求め、会話検出を行った。
【００８４】
式(４)は、会話成立を検証する各話者ペアの会話成立度を求める式を示す。
【００８５】
会話成立度  Ｃ１＝Ｃ０−ｗｖ×avelen_ＤＶ−ｗｓ×avelen_ＤＵ  …（４）
ここで、上記式（４）のＣ０は特許文献３に開示されている会話成立度の演算式である。Ｃ０は、当該話者ペアが一人ずつ発話する時には数値が大きくなり、二人同時に発話した時と二人同時に黙った時には数値が小さくなる。また、avelen_ＤＶは、当該話者ペアの同時発話区間の長さの平均値、avelen_ＤＵは、当該話者ペアの同時沈黙区間の長さの平均値である。avelen_ＤＶ及びavelen_ＤＵは、会話相手とは同時発話区間や同時沈黙区間の期待値が短いという知見を利用する。ｗｖとｗｓは、重みであり、実験的に最適化している。
【００８６】
図６は、本評価実験における会話成立度の時間変化の一例を示す図である。図６Ａは、前方向の会話成立度、図６Ｂは、横方向の会話成立度である。
【００８７】
図６Ａ及び図６Ｂは、共に、（１）と（３）のデータは横並びで会話を行い、（２）と（４）のデータは向き合って会話を行っている。
【００８８】
図６Ａにおいては、前の話者が会話相手の場合（（２）、（４）参照）と、前の話者が非会話相手の場合（（１）、（３）参照）とを分けるように閾値θを設定する。この例では、θ＝−０．５とすることで、比較的うまく分かれるが、上記（２）のケースで会話成立度が上がらず、会話相手と非会話相手の分離が困難となっている。
【００８９】
図６Ｂにおいては、横の話者が会話相手の場合（（１）、（３）参照）と、横の話者が非会話相手の場合（（２）、（４）参照）とを分けるように閾値θを設定する。この例では、θ＝０．４５とすることで、比較的うまく分かれる。図６Ａと図６Ｂの比較では、図６Ｂの方が、閾値による分離がうまくいっている。
【００９０】
評価基準としては、会話相手の組の場合には閾値θを超えていた場合に正解とし、非会話相手の組の場合には閾値θを下回っていた場合に正解とした。また、会話検出正解率は、会話相手を正しく検出する割合と、非会話相手を正しく棄却する割合との平均値と定義した。
【００９１】
図７及び図８は、本評価実験による発話検出正解率及び会話検出正解率をグラフにして示す図である。
【００９２】
まず、図７は、自発話の検出結果と前発話の検出結果と横発話の検出結果の発話検出正解率を示す。
【００９３】
図７に示すように、自発話検出正解率は７１％、前発話検出正解率は６５％、横発話検出正解率は６８％であった。すなわち、本評価実験により、横発話の方が前発話よりも自発話の影響を受けにくく、検出に有利という考察が妥当であることが確認された。
【００９４】
次に、図８は、自発話と前発話の検出結果を用いた前方向会話成立度による会話検出の正解率（平均）と、自発話と横発話の検出結果を用いた横方向会話成立度による会話検出の正解率（平均）を示す。
【００９５】
図８に示すように、前方向の会話成立度による会話検出正解率７６％に対して、横方向会話成立度による会話検出正解率８０％が上回った。すなわち、本評価実験により、横発話の検出の有利さが、横方向の会話成立度による会話検出の有利さに反映されていることが確認された。
【００９６】
以上からわかるように、前方向に狭い指向性を向けるかどうかの判断は、本評価実験により、横発話の検出を利用することが効果的あるということが確認された。
【００９７】
以上、本実施の形態の会話検出装置１００は、補聴器装着者の自発話を検出する自発話検出部１０２と、補聴器装着者の前方にいる話者の発話を前方向の発話として検出する前発話検出部１０３と、補聴器装着者の左右の少なくとも一方にいる話者の発話を横発話として検出する横発話検出部１０４とを備える。また、会話検出装置１００は、自発話と横発話の検出結果に基づいて、自発話と横発話との間の会話成立度を演算する横方向会話成立度導出部１０５と、前発話の検出結果と横方向会話成立度の演算結果に基づいて、前方向の会話の有無を検出する前方向会話検出部１０６と、判定された会話相手方向に基づいて、補聴器装着者に聞かせる音の指向性を制御する出力音制御部１０７とを備える。
【００９８】
このように、会話検出装置１００は、横方向会話成立度導出部１０５と前方向会話検出部１０６とを備え、横方向の会話成立度が低い場合に前方向に会話が行われているという推定を行う。これにより、会話検出装置１００は、自発話の影響を受けずに前方向の会話を高い精度で検出することができる。
【００９９】
また、これにより、会話検出装置１００は、自発話の影響を受けやすい前方向の会話成立度演算の結果を用いることなしに、前方向の発話の有無を検出することができる。その結果、会話検出装置１００は、自発話の影響を受けずに前方向の会話を高い精度で検出することができる。
【０１００】
なお、本実施の形態において、出力音制御部１０７は、前方向会話検出部１０６により０／１化した出力により広指向／狭指向を切り替えるようにしたが、これに限定されない。出力音制御部１０７は、会話成立度に基づいて、中間的な指向性を形成するようにしてもよい。
【０１０１】
ここで、横方向とは、右又は左のどちらか一方である。両方に話者がいると判断した場合、会話検出装置１００は、それぞれについての検証を行って判断するように拡張すればよい。
【０１０２】
（実施の形態２）
図９は、本発明の実施の形態２に係る会話検出装置の構成を示す図である。図２と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１０３】
図９に示すように、会話検出装置２００は、マイクロホンアレイ１０１、自発話検出部１０２、前発話検出部１０３、横発話検出部１０４、横方向会話成立度導出部１０５、前方向会話成立度導出部２０１、前方向会話成立度合成部２０２、前方向会話検出部２０６、及び出力音制御部１０７を備える。
【０１０４】
前方向会話成立度導出部２０１は、自発話検出部１０２の出力と前発話検出部１０３の出力とを入力とする。そして、前方向会話成立度導出部２０１は、自発話及び前発話の有無の時系列から補聴器装着者とその前方向の発話者との間で、会話が為されている度合いを表す前方向会話成立度を演算する。
【０１０５】
前方向会話成立度導出部２０１は、前発話重なり継続長分析部２５１、前沈黙継続長分析部２５２、及び前方向会話成立度演算部２６０を有する。
【０１０６】
前発話重なり継続長分析部２５１は、横発話重なり継続長分析部１５１と同様の処理を、前方向からの音声に対して行う。
【０１０７】
前沈黙継続長分析部２５２は、横沈黙継続長分析部１５２と同様の処理を、前方向からの音声に対して行う。
【０１０８】
前方向会話成立度演算部２６０は、横方向会話成立度演算部１６０と同様の処理を行う。前方向会話成立度演算部２６０は、前発話重なり継続長分析部２５１により算出された発話重なり継続長分析値と、前沈黙継続長分析部２５２により算出された沈黙継続長分析値とに基づいて行う。すなわち、前方向会話成立度演算部２６０は、前方向についての会話成立度を算出し、これを出力する。
【０１０９】
前方向会話成立度合成部２０２は、前方向会話成立度導出部２０１の出力と横方向会話成立度導出部１０５の出力とを合成する。さらに、前方向会話成立度合成部２０２は、自発話と前方発話と横発話の発話状況をすべて利用して、補聴器装着者とその前方向の発話者との間で会話が為されている度合いを出力する。
【０１１０】
前方向会話検出部２０６は、前方向会話成立度合成部２０２の出力に基づいて、閾値処理により補聴器装着者とその前方向の発話者との間の会話の有無を判定する。また、前方向会話検出２０６は、合成された前方向会話成立度が高い場合に、前方向に会話が行われている判定する。
【０１１１】
出力音制御部１０７は、前方向会話検出部２０６により判定された会話の状態に基づいて、補聴器装着者に聞かせる音の指向性を制御する。
【０１１２】
本発明の実施の形態２における会話検出装置２００の基本的な構成及び動作は、実施の形態１と同様である。
【０１１３】
実施の形態１で述べたように、自発話が検出され、かつ、前発話が検出され、かつ、横発話が検出された場合には、自発話と前発話と横発話とがすべて存在することになる。したがって、会話検出装置２００は、前方向会話検出部２０６により前方向と会話の有無を検出する。出力音制御部１０７は、その検出結果に応じて指向性を制御する。
【０１１４】
前と横に発話者がいるのであれば、会話検出装置２００は、前方向との会話成立性と横方向の会話成立性の両方を利用することにより、不完全な情報を補って、会話検出の精度を高めることができる。具体的には、会話検出装置２００は、前方向の会話成立度（前方話者の発話と自発話に基づく会話成立度）と、横方向の会話成立度（横方向話者の発話と自発話に基づく会話成立度）との減算値を用い、前方向に合成した会話成立度を計算する。
【０１１５】
合成された会話成立度では、前方向の話者か横方向の話者のどちらか一方のみが会話相手であることを前提に、元の２つの会話成立度の符号が異なっている。このことから、前方へ会話成立度は、２つの会話成立度の値が強めあうことになる。つまり、会話相手が前方にいる場合には、合成した値が大きくなり、会話相手が前方にいない場合には合成した値が小さくなる。
【０１１６】
前方向会話成立度合成部２０２は、このような考察に基づき、前方向会話成立度導出部２０１の出力と横方向会話成立度導出部１０５の出力とを合成する。
【０１１７】
前方向会話検出部２０６は、前方向に合成した会話成立度が高い場合に、補聴器装着者とその前方向の発話者との間の会話が有ると判定する。
【０１１８】
かかる構成によれば、前方向会話検出部２０６は、前方向と横方向とで合成した会話成立度が高い場合、補聴器装着者とその前方向の発話者との間の会話の有ると判断する。このことにより、前方向会話検出部２０６は、自発話の影響で高い精度が得られない前方向の単独の会話成立度の精度を補って、前方向の会話を検出することができる。
【０１１９】
次に、本発明者らは、実際に日常会話を収録して、会話検出の評価実験を行った結果について説明する。
【０１２０】
データは、実施の形態１と同じであり、自発話、前発話、横発話の発話検出正解率も同じである。
【０１２１】
図１０は、会話成立度の時間変化の一例を示す図である。図１０Ａは、前方向の会話成立度単独の場合、図１０Ｂは、合成した会話成立度である。
【０１２２】
図１０Ａ及び図１０Ｂは、共に、（１）と（３）のデータは横並びで会話を行い、（２）と（４）のデータは向き合って会話を行っている。
【０１２３】
図１０Ａ及び図１０Ｂにおいて、本評価実験では、前の話者が会話相手の場合（（２）、（４）参照）と、前の話者が非会話相手の場合（（１）、（３）参照）とを分けるように閾値θを設定する。図１０Ａに示すように、本評価実験の例では、θ＝−０．５とすることで、比較的うまく分かれるが、上記（２）のケースで会話成立度が上がらず、会話相手と非会話相手の分離が困難となっている。図１０Ｂに示すように、本評価実験の例では、θ＝−０．４５とすることで、比較的うまく分かれる。図１０Ａと図１０Ｂの評価実験の比較では、図１０Ｂの方が、閾値による分離が著しくうまくいっている。
【０１２４】
図１１は、評価実験による会話検出正解率をグラフにして示す図である。
【０１２５】
図１１は、自発話および前発話の検出結果を用いた、単独の前方向会話成立度による会話検出の正解率（平均）を示している。また、図１１は、自発話および前発話の検出結果を用いた単独の前方向会話成立度と、自発話および横発話の検出結果を用いた横方向会話成立度とを合成した、前方向会話成立度による会話検出の正解率（平均）を示している。
【０１２６】
図１１に示すように、本評価実験では、単独の前方向会話成立度による会話検出正解率７６％に対して、合成した前方向会話成立度による会話検出正解率９３％が上回った。すなわち、本評価実験により、横発話の検出を利用することで精度を高められることが確認された。
【０１２７】
以上からわかるように、本実施形態は、前方向に狭い指向性を向けるかどうかの判断に横発話の検出を利用することが効果的である。
【０１２８】
以上の説明は、本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【０１２９】
例えば、上記実施の形態では、本発明をウエアラブル・マイクロホンアレイを用いた補聴器に適用する場合を例に説明したが、これに限定されない。本発明は、ウエアラブル・マイクロホンアレイを利用した音声レコーダなどに適用することができる。また、本発明は、頭部の近傍で用いる（自発話の影響を受ける）マイクロホンアレイを搭載したデジタルスチルカメラ、ムービーなどにも適用することができる。音声レコーダ、デジタルスチルカメラ、ムービーなどのデジタル記録機器では、判定したい会話以外の他人の会話などの妨害音を抑圧したり、会話成立度が高くなる組み合わせの会話を抽出し、所望の会話を再生したりすることも可能である。抑圧や抽出の処理は、オンラインで行ってもよいし、オフラインで行ってもよい。
【０１３０】
また、本実施の形態では、会話検出装置、補聴器及び会話検出方法という名称を用いたが、これは説明の便宜上であり、装置は会話相手抽出装置、音声信号処理装置、方法は会話相手判定方法等であってもよい。
【０１３１】
以上説明した会話検出方法は、この会話検出方法を機能させるためのプログラム（つまり、会話検出方法の各ステップをコンピュータに実行させるためのプログラム）でも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。
【０１３２】
２０１０年６月３０日出願の特願２０１０−１４９４３５の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１３３】
本発明に係る会話検出装置、補聴器及び会話検出方法は、ウエアラブル・マイクロホンアレイを有する補聴器等として有用である。また、本発明に係る会話検出装置、補聴器及び会話検出方法は、ライフログや活動計等の用途にも応用できる。さらに、本発明に係る会話検出装置、補聴器及び会話検出方法は、音声レコーダ、デジタルスチルカメラ、ムービー、電話会議システムなどさまざまな分野における信号処理装置及び信号処理方法として有用である。
【符号の説明】
【０１３４】
１００，２００  会話検出装置
１０１  マイクロホンアレイ
１０２  自発話検出部
１０３  前発話検出部
１０４  横発話検出部
１０５  横方向会話成立度導出部
１０６，２０６  前方向会話検出部
１０７  出力音制御部
１５１  横発話重なり継続長分析部
１５２  横沈黙継続長分析部
１６０  横方向会話成立度演算部
１２０  Ａ／Ｄ変換部
２０１  前方向会話成立度導出部
２０２  前方向会話成立度合成部
２５１  前発話重なり継続長分析部
２５２  前沈黙継続長分析部
２６０  前方向会話成立度演算部
【図１】
0005581329.tif 000005
【図２】
0005581329.tif 000006
【図３】
0005581329.tif 000007
【図４】
0005581329.tif 000008
【図５】
0005581329.tif 000009
【図６】
0005581329.tif 000010
【図７】
0005581329.tif 000011
【図８】
0005581329.tif 000012
【図９】
0005581329.tif 000013
【図１０】
0005581329.tif 000014
【図１１】
0005581329.tif 000015