(57)【要約】【課題】信号取得手段により取得された音声が、信号発生源からの信号であるかそれ以外の信号であるかを識別する際に、誤判定が生じにくい信号解析装置等を提供する。【解決手段】第１マイクロフォン１１および第２マイクロフォン１２により生成されたそれぞれの音声に関する情報から周波数スペクトルを求め、この周波数スペクトルから装着者の発話音声を強調した目的方向強調スペクトルとして第１の目的方向強調スペクトルを求めるとともに目的方向強調スペクトルとして別の方法で第２の目的方向強調スペクトルを求め、これらの相関性を算出することで第１マイクロフォン１１および第２マイクロフォン１２により取得された音声が装着者の発話音声であるか、他者の発話音声であるかを識別する音声解析部１５。【選択図】図１
2015127768.tif 000002
【特許請求の範囲】
【請求項１】
信号発生源から異なる距離にて配され、当該信号発生源から発した信号を取得する、第１の信号取得手段および第２の信号取得手段により生成された信号に関する情報をそれぞれ取得する信号情報取得部と、
前記第１の信号取得手段および前記第２の信号取得手段により生成されたそれぞれの信号に関する情報から、周波数と強度との関係を表わす周波数スペクトルとして、第１の周波数スペクトルおよび第２の周波数スペクトルをそれぞれ求める周波数スペクトル算出部と、
前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第１の抽出スペクトルを抽出する第１の抽出部と、
前記第１の抽出部とは異なる処理により、前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第２の抽出スペクトルを抽出する第２の抽出部と、
前記第１の周波数スペクトルおよび前記第２の周波数スペクトルから、前記信号発生源から発した信号を抑圧した抑圧スペクトルを抽出する第３の抽出部と、
前記第１の抽出スペクトルから前記抑圧スペクトルを減算し、フロアリング処理を行なうことで第１の強調スペクトルを求めるとともに、前記第２の抽出スペクトルから当該抑圧スペクトルを減算することで第２の強調スペクトルを求める強調スペクトル算出部と、
前記第１の強調スペクトルと前記第２の強調スペクトルに対する相関性を算出する相関性算出部と、
を備えることを特徴とする信号解析装置。
【請求項２】
前記第１の抽出部は、前記第１の周波数スペクトルと前記第２の周波数スペクトルとの差をとることで、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理を行う
ことを特徴とする請求項１に記載の信号解析装置。
【請求項３】
前記第２の抽出部は、前記第１の周波数スペクトルと前記第２の周波数スペクトルを加算することで、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理を行う
ことを特徴とする請求項１または２に記載の信号解析装置。
【請求項４】
前記第１の信号取得手段および前記第２の信号取得手段は、前記信号発生源、当該第１の信号取得手段および当該第２の信号取得手段がほぼ一直線上になるように配されることを特徴とする請求項１乃至３の何れか１項に記載の信号解析装置。
【請求項５】
前記第３の抽出部は、前記第１の周波数スペクトルと前記第２の周波数スペクトルについて、前記信号発生源と前記第１の信号取得手段および前記第２の信号取得手段との距離差により生じ前記信号が到達するまでの時間差を調整した上で、それぞれの差を求めることで前記抑圧スペクトルを抽出することを特徴とする請求項１乃至４の何れか１項に記載の信号解析装置。
【請求項６】
前記第２の抽出部は、前記第１の周波数スペクトルと前記第２の周波数スペクトルについて、前記信号発生源と前記第１の信号取得手段および前記第２の信号取得手段との距離差により生じ前記信号が到達するまでの時間差を調整した上で、それぞれを加算することで前記第２の抽出スペクトルを抽出することを特徴とする請求項３に記載の信号解析装置。
【請求項７】
前記信号発生源が動くことにより生じる、当該信号発生源と前記第１の信号取得手段および前記第２の信号取得手段との間の角度の変化を考慮して前記時間差を決めることを特徴とする請求項５または６に記載の信号解析装置。
【請求項８】
前記信号は、音声であることを特徴とする請求項１乃至７の何れか１項に記載の信号解析装置。
【請求項９】
前記周波数スペクトル算出部は、前記第１の信号取得手段および前記第２の信号取得手段により生成されたそれぞれの信号に関する情報をフーリエ変換することで、前記第１の周波数スペクトルおよび前記第２の周波数スペクトルをそれぞれ求め、
前記相関性算出部は、前記第１の強調スペクトルと前記第２の強調スペクトルを逆フーリエ変換した後でそれぞれの相関性を算出することを特徴とする請求項１乃至８の何れか１項に記載の信号解析装置。
【請求項１０】
信号発生源から異なる距離にて配され、当該信号発生源から発した信号を取得する、第１の信号取得手段および第２の信号取得手段により生成された信号に関する情報から、周波数と強度との関係を表わす周波数スペクトルとして、第１の周波数スペクトルおよび第２の周波数スペクトルをそれぞれ求める周波数スペクトル算出部と、
前記第１の周波数スペクトルおよび前記第２の周波数スペクトルから、前記信号発生源から発した信号である目的方向信号を強調した強調スペクトルとして、第１の強調スペクトルおよび第２の強調スペクトルを別々の方法にて求める強調スペクトル算出部と、
前記第１の強調スペクトルと前記第２の強調スペクトルに対する相関性を算出する相関性算出部と、
を備えることを特徴とする信号解析装置。
【請求項１１】
信号発生源から異なる距離にて配され、当該信号発生源から発した信号を取得する、第１の信号取得手段および第２の信号取得手段からなる信号取得手段と、
前記信号発生源から発した信号である目的方向信号と当該信号発生源から発した信号以外の信号である目的外方向信号とを識別する識別手段と、
を備え、
前記識別手段は、
前記第１の信号取得手段および前記第２の信号取得手段により生成された信号に関する情報をそれぞれ取得する信号情報取得部と、
前記第１の信号取得手段および前記第２の信号取得手段により生成されたそれぞれの信号に関する情報から、周波数と強度との関係を表わす周波数スペクトルとして、第１の周波数スペクトルおよび第２の周波数スペクトルをそれぞれ求める周波数スペクトル算出部と、
前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第１の抽出スペクトルを抽出する第１の抽出部と、
前記第１の抽出部とは異なる処理により、前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第２の抽出スペクトルを抽出する第２の抽出部と、
前記第１の周波数スペクトルおよび前記第２の周波数スペクトルから、前記信号発生源から発した信号を抑圧した抑圧スペクトルを抽出する第３の抽出部と、
前記第１の抽出スペクトルから前記抑圧スペクトルを減算し、フロアリング処理を行なうことで第１の強調スペクトルを求めるとともに、前記第２の抽出スペクトルから当該抑圧スペクトルを減算することで第２の強調スペクトルを求める強調スペクトル算出部と、
前記第１の強調スペクトルと前記第２の強調スペクトルに対する相関性を算出する相関性算出部と、
を備えることを特徴とする信号解析システム。
【請求項１２】
コンピュータに、
信号発生源から異なる距離にて配され、当該信号発生源から発した信号を取得する、第１の信号取得手段および第２の信号取得手段により生成された信号に関する情報をそれぞれ取得する機能と、
前記第１の信号取得手段および前記第２の信号取得手段により生成されたそれぞれの信号に関する情報から、周波数と強度との関係を表わす周波数スペクトルとして、第１の周波数スペクトルおよび第２の周波数スペクトルをそれぞれ求める機能と、
前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第１の抽出スペクトルを抽出する機能と、
前記第１の抽出部とは異なる処理により、前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第２の抽出スペクトルを抽出する機能と、
前記第１の周波数スペクトルおよび前記第２の周波数スペクトルから、前記信号発生源から発した信号を抑圧した抑圧スペクトルを抽出する機能と、
前記第１の抽出スペクトルから前記抑圧スペクトルを減算し、フロアリング処理を行なうことで第１の強調スペクトルを求めるとともに、前記第２の抽出スペクトルから当該抑圧スペクトルを減算することで第２の強調スペクトルを求める機能と、
前記第１の強調スペクトルと前記第２の強調スペクトルに対する相関性を算出する機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号解析装置、信号解析システム、プログラムに関する。
【背景技術】
【０００２】
従来、一般サイドローブキャンセラと呼ばれる目的方向の音声を抽出し、目的方向外の音声を抑圧する技術が存在する。
また特許文献１には、互いに到来方向が異なる複数の音声のうち目的とする目的音声を抽出して収集する音声収集システムであって、少なくとも第１及び第２のマイクロフォンを備え第１及び第２のマイクロフォンを所定の距離離して配置したマイクロフォンアレイを有し、第１及び第２のマイクロフォンで受けた音声の信号をそれぞれ離散フーリエ変換して、音声の到来方向に関連する複数のＣＳＰ係数を求め、複数のＣＳＰ係数より複数の音声の信号を検出し、そして、求めた複数のＣＳＰ係数から、第１及び第２のマイクロフォンを結ぶ線分と到来方向のなす角度に応じて規定された音声方向インデックスを検出し、検出した音声方向インデックスにより、検出した複数の音声の信号から目的音声の信号を抽出するものが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２６３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
信号取得手段により取得された信号が、信号発生源からの信号であるか、それ以外の信号であるかを識別する際に、誤判定が生じにくくすることが望ましい。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、信号発生源から異なる距離にて配され、当該信号発生源から発した信号を取得する、第１の信号取得手段および第２の信号取得手段により生成された信号に関する情報をそれぞれ取得する信号情報取得部と、前記第１の信号取得手段および前記第２の信号取得手段により生成されたそれぞれの信号に関する情報から、周波数と強度との関係を表わす周波数スペクトルとして、第１の周波数スペクトルおよび第２の周波数スペクトルをそれぞれ求める周波数スペクトル算出部と、前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第１の抽出スペクトルを抽出する第１の抽出部と、前記第１の抽出部とは異なる処理により、前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第２の抽出スペクトルを抽出する第２の抽出部と、前記第１の周波数スペクトルおよび前記第２の周波数スペクトルから、前記信号発生源から発した信号を抑圧した抑圧スペクトルを抽出する第３の抽出部と、前記第１の抽出スペクトルから前記抑圧スペクトルを減算し、フロアリング処理を行なうことで第１の強調スペクトルを求めるとともに、前記第２の抽出スペクトルから当該抑圧スペクトルを減算することで第２の強調スペクトルを求める強調スペクトル算出部と、前記第１の強調スペクトルと前記第２の強調スペクトルに対する相関性を算出する相関性算出部と、を備えることを特徴とする信号解析装置である。
請求項２に記載の発明は、前記第１の抽出部は、前記第１の周波数スペクトルと前記第２の周波数スペクトルとの差をとることで、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理を行うことを特徴とする請求項１に記載の信号解析装置である。
請求項３に記載の発明は、前記第２の抽出部は、前記第１の周波数スペクトルと前記第２の周波数スペクトルを加算することで、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理を行うことを特徴とする請求項１または２に記載の信号解析装置である。
請求項４に記載の発明は、前記第１の信号取得手段および前記第２の信号取得手段は、前記信号発生源、当該第１の信号取得手段および当該第２の信号取得手段がほぼ一直線上になるように配されることを特徴とする請求項１乃至３の何れか１項に記載の信号解析装置である。
請求項５に記載の発明は、前記第３の抽出部は、前記第１の周波数スペクトルと前記第２の周波数スペクトルについて、前記信号発生源と前記第１の信号取得手段および前記第２の信号取得手段との距離差により生じ前記信号が到達するまでの時間差を調整した上で、それぞれの差を求めることで前記抑圧スペクトルを抽出することを特徴とする請求項１乃至４の何れか１項に記載の信号解析装置である。
請求項６に記載の発明は、前記第２の抽出部は、前記第１の周波数スペクトルと前記第２の周波数スペクトルについて、前記信号発生源と前記第１の信号取得手段および前記第２の信号取得手段との距離差により生じ前記信号が到達するまでの時間差を調整した上で、それぞれを加算することで前記第２の抽出スペクトルを抽出することを特徴とする請求項３に記載の信号解析装置である。
請求項７に記載の発明は、前記信号発生源が動くことにより生じる、当該信号発生源と前記第１の信号取得手段および前記第２の信号取得手段との間の角度の変化を考慮して前記時間差を決めることを特徴とする請求項５または６に記載の信号解析装置である。
請求項８に記載の発明は、前記信号は、音声であることを特徴とする請求項１乃至７の何れか１項に記載の信号解析装置である。
請求項９に記載の発明は、前記周波数スペクトル算出部は、前記第１の信号取得手段および前記第２の信号取得手段により生成されたそれぞれの信号に関する情報をフーリエ変換することで、前記第１の周波数スペクトルおよび前記第２の周波数スペクトルをそれぞれ求め、前記相関性算出部は、前記第１の強調スペクトルと前記第２の強調スペクトルを逆フーリエ変換した後でそれぞれの相関性を算出することを特徴とする請求項１乃至８の何れか１項に記載の信号解析装置である。
請求項１０に記載の発明は、信号発生源から異なる距離にて配され、当該信号発生源から発した信号を取得する、第１の信号取得手段および第２の信号取得手段により生成された信号に関する情報から、周波数と強度との関係を表わす周波数スペクトルとして、第１の周波数スペクトルおよび第２の周波数スペクトルをそれぞれ求める周波数スペクトル算出部と、前記第１の周波数スペクトルおよび前記第２の周波数スペクトルから、前記信号発生源から発した信号である目的方向信号を強調した強調スペクトルとして、第１の強調スペクトルおよび第２の強調スペクトルを別々の方法にて求める強調スペクトル算出部と、前記第１の強調スペクトルと前記第２の強調スペクトルに対する相関性を算出する相関性算出部と、を備えることを特徴とする信号解析装置である。
請求項１１に記載の発明は、信号発生源から異なる距離にて配され、当該信号発生源から発した信号を取得する、第１の信号取得手段および第２の信号取得手段からなる信号取得手段と、前記信号発生源から発した信号である目的方向信号と当該信号発生源から発した信号以外の信号である目的外方向信号とを識別する識別手段と、を備え、前記識別手段は、前記第１の信号取得手段および前記第２の信号取得手段により生成された信号に関する情報をそれぞれ取得する信号情報取得部と、前記第１の信号取得手段および前記第２の信号取得手段により生成されたそれぞれの信号に関する情報から、周波数と強度との関係を表わす周波数スペクトルとして、第１の周波数スペクトルおよび第２の周波数スペクトルをそれぞれ求める周波数スペクトル算出部と、前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第１の抽出スペクトルを抽出する第１の抽出部と、前記第１の抽出部とは異なる処理により、前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第２の抽出スペクトルを抽出する第２の抽出部と、前記第１の周波数スペクトルおよび前記第２の周波数スペクトルから、前記信号発生源から発した信号を抑圧した抑圧スペクトルを抽出する第３の抽出部と、前記第１の抽出スペクトルから前記抑圧スペクトルを減算し、フロアリング処理を行なうことで第１の強調スペクトルを求めるとともに、前記第２の抽出スペクトルから当該抑圧スペクトルを減算することで第２の強調スペクトルを求める強調スペクトル算出部と、前記第１の強調スペクトルと前記第２の強調スペクトルに対する相関性を算出する相関性算出部と、を備えることを特徴とする信号解析システムである。
請求項１２に記載の発明は、コンピュータに、信号発生源から異なる距離にて配され、当該信号発生源から発した信号を取得する、第１の信号取得手段および第２の信号取得手段により生成された信号に関する情報をそれぞれ取得する機能と、前記第１の信号取得手段および前記第２の信号取得手段により生成されたそれぞれの信号に関する情報から、周波数と強度との関係を表わす周波数スペクトルとして、第１の周波数スペクトルおよび第２の周波数スペクトルをそれぞれ求める機能と、前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第１の抽出スペクトルを抽出する機能と、前記第１の抽出部とは異なる処理により、前記第１の周波数スペクトルと前記第２の周波数スペクトルとから、前記信号発生源から発した信号が当該信号発生源とは異なる方向から発した信号より大きくなる処理をした第２の抽出スペクトルを抽出する機能と、前記第１の周波数スペクトルおよび前記第２の周波数スペクトルから、前記信号発生源から発した信号を抑圧した抑圧スペクトルを抽出する機能と、前記第１の抽出スペクトルから前記抑圧スペクトルを減算し、フロアリング処理を行なうことで第１の強調スペクトルを求めるとともに、前記第２の抽出スペクトルから当該抑圧スペクトルを減算することで第２の強調スペクトルを求める機能と、前記第１の強調スペクトルと前記第２の強調スペクトルに対する相関性を算出する機能と、を実現させるプログラムである。
【発明の効果】
【０００６】
請求項１の発明によれば、本構成を採用しない場合に比較して、信号取得手段により取得された音声が、信号発生源からの信号であるかそれ以外の信号であるかを識別する際に、誤判定が生じにくい信号解析装置が提供できる。
請求項２の発明によれば、本構成を採用しない場合に比較して、第１の抽出スペクトルをより容易に抽出することができる。
請求項３の発明によれば、本構成を採用しない場合に比較して、第２の抽出スペクトルをより容易に抽出することができる。
請求項４の発明によれば、本構成を採用しない場合に比較して、誤判定がさらに生じにくくなる。
請求項５の発明によれば、本構成を採用しない場合に比較して、抑圧スペクトルをより容易に求めることができる。
請求項６の発明によれば、本構成を採用しない場合に比較して、第２の抽出スペクトルをより精度よく求めることができる。
請求項７の発明によれば、信号発生源が動く場合でも対応することができる。
請求項８の発明によれば、本構成を採用しない場合に比較して、信号解析装置を装着している装着者の発話音声であるか他者の発話音声であるかを識別する際に、誤判定が生じにくい信号解析装置が提供できる。
請求項９の発明によれば、本構成を採用しない場合に比較して、第１の周波数スペクトルおよび第２の周波数スペクトルを求めるのがより容易になるとともに、相関性算出部の相関性の算出がより容易となる。
請求項１０の発明によれば、本構成を採用しない場合に比較して、信号取得手段により取得された音声が、信号発生源からの信号であるかそれ以外の信号であるかを識別する際に、誤判定が生じにくい信号解析装置が提供できる。
請求項１１の発明によれば、本構成を採用しない場合に比較して、信号取得手段により取得された音声が、信号発生源からの信号であるかそれ以外の信号であるかを識別する際に、誤判定が生じにくい信号解析システムが提供できる。
請求項１２の発明によれば、本構成を採用しない場合に比較して、信号取得手段により取得された音声が、信号発生源からの信号であるかそれ以外の信号であるかを識別する際に、誤判定が生じにくくなる機能をコンピュータにより実現できる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態による音声解析システムの構成例を示す図である。
【図２】（ａ）〜（ｂ）は、本実施形態における端末装置の構成例を示す図である。
【図３】装着者および他者の口（発声部位）と、マイクロフォンとの位置の関係を示す図である。
【図４】本実施形態における音声解析部の機能構成例を示した図である。
【図５】本実施形態における端末装置の動作を示すフローチャートである。
【図６】音声解析部における信号処理のプロセスについて説明した図である。
【図７】音声情報取得手段で取得された音声信号の一例を示した図である。
【図８】（ａ）〜（ｂ）は、第１の周波数スペクトルと第２の周波数スペクトルとの差をとったときに、装着者の発声部位から発した音声と他者の音声とでどのようなスペクトルが抽出されるかを説明した図である。ここでは説明をわかりやすくするために周波数スペクトルではなく、フーリエ変換前の音声信号について説明を行なう。そのため（ａ）〜（ｂ）において横軸は、時間（ｓ）を表し、縦軸は、音声信号の強度を表す。
【図９】（ａ）〜（ｂ）は、第１の周波数スペクトルと第２の周波数スペクトルとを加算したときに、装着者の発声部位から発した音声と他者の音声とでどのようなスペクトルが抽出されるかを説明した図である。ここでは説明をわかりやすくするために周波数スペクトルではなく、フーリエ変換前の音声信号について説明を行なう。そのため（ａ）〜（ｂ）において横軸は、時間（ｓ）を表し、縦軸は、音声信号の強度を表す。
【図１０】（ａ）〜（ｂ）は、第１の周波数スペクトルと第２の周波数スペクトルについて、装着者の発声部位と第１マイクロフォンおよび第２マイクロフォンとの距離差により生じ音声が到達するまでの時間差を調整した上で、それぞれの差を求めたときに装着者の発声部位から発した音声と他者の音声とでどのようなスペクトルが抽出されるかを説明した図である。ここでは説明をわかりやすくするために周波数スペクトルではなく、フーリエ変換前の音声信号について説明を行なう。そのため（ａ）〜（ｂ）において横軸は、時間（ｓ）を表し、縦軸は、音声信号の強度を表す。
【図１１】装着者の発話音声についての第１の目的方向強調スペクトルおよび第２の目的方向強調スペクトルの例である。
【図１２】他者の発話音声についての第１の目的方向強調スペクトルおよび第２の目的方向強調スペクトルの例である。
【図１３】装着者の発話音声と他者の発話音声の双方がマイクロフォンにより取得されたときの第１の目的方向強調スペクトルおよび第２の目的方向強調スペクトルの例である。
【図１４】図７で示した音声信号に対し、図４以降で説明を行なった処理を行なった結果を示した図である。
【図１５】本実施形態の端末装置をそれぞれ装着した複数の装着者が会話している状況を示す図である。
【図１６】図１５の会話状況における各端末装置の発話情報の例を示す図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。ここでは、信号として音声を例示し、信号解析システムの一例として音声解析システムの説明を行なう。
＜システム構成例＞
図１は、本実施形態による音声解析システムの構成例を示す図である。
図１に示すように、本実施形態の音声解析システム１は、端末装置１０と、ホスト装置２０とを備えて構成される。端末装置１０とホスト装置２０とは、無線通信回線を介して接続されている。無線通信回線の種類としては、Ｗｉ−Ｆｉ（Wireless Fidelity）、Bluetooth（登録商標）、ZigBee、ＵＷＢ（Ultra Wideband）等の既存の方式による回線を用いて良い。また、図示の例では、端末装置１０が１台のみ記載されているが、端末装置１０は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置１０が用意される。以下、端末装置１０を装着した使用者を装着者と呼ぶ。
【０００９】
端末装置１０は、音声を取得するための音声取得手段（信号取得手段）として、複数のマイクロフォン（第１マイクロフォン１１（第１の信号取得手段）および第２マイクロフォン１２（第２の信号取得手段）と、増幅器（第１増幅器１３および第２増幅器１４）とを備える。また、端末装置１０は、取得した音声を解析する音声解析部１５と、解析結果をホスト装置２０に送信するためのデータ送信部１６とを備え、さらに電源部１７を備える。
【００１０】
第１マイクロフォン１１と第２マイクロフォン１２は、装着者の口（発声部位、信号発生源）からの距離が異なる位置に配される。ここでは、第１マイクロフォン１１は装着者の口（発声部位）から近い位置（例えば、１０ｃｍ程度）に配置され、第２マイクロフォン１２は装着者の口（発声部位）に遠い位置（例えば、３５ｃｍ程度）に配置されるものとする。本実施形態の第１マイクロフォン１１および第２マイクロフォン１２として用いられるマイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものを用いて良い。とくに無指向性のＭＥＭＳ（Micro Electro Mechanical Systems）型マイクロフォンが好ましい。
【００１１】
第１増幅器１３および第２増幅器１４は、それぞれ第１マイクロフォン１１および第２マイクロフォン１２が取得した音声に応じて出力する電気信号（音声信号）を増幅する。本実施形態の第１増幅器１３および第２増幅器１４として用いられる増幅器としては、既存のオペアンプ等を用いて良い。
【００１２】
音声解析部１５は、第１増幅器１３および第２増幅器１４から出力された音声信号を解析する。そして、第１マイクロフォン１１および第２マイクロフォン１２で取得した音声が端末装置１０を装着した装着者自身が発話した音声か、他者の発話による音声かを識別する。音声識別のための具体的な処理の内容については後述する。音声解析部１５は、詳しくは後述するが、装着者の口（発声部位、信号発生源）から発した音声（信号）である目的方向信号と装着者の口から発した音声以外の音声である目的外方向信号とを識別する識別手段（信号解析装置）として機能する。
【００１３】
データ送信部１６は、音声解析部１５による解析結果を含む取得データと端末ＩＤを、上記の無線通信回線を介してホスト装置２０へ送信する。ホスト装置２０へ送信する情報としては、ホスト装置２０において行われる処理の内容に応じて、上記の解析結果の他、例えば、第１マイクロフォン１１および第２マイクロフォン１２による音声の取得時刻、取得音声の音圧等の情報を含めて良い。また端末装置１０に音声解析部１５による解析結果を蓄積するデータ蓄積部を設け、一定期間の保存データを一括送信しても良い。なお有線回線で送信しても良い。
【００１４】
電源部１７は、上記の第１マイクロフォン１１、第２マイクロフォン１２、第１増幅器１３、第２増幅器１４、音声解析部１５およびデータ送信部１６に電力を供給する。電源としては、例えば乾電池や充電池等の既存の電源が用いられる。また、電源部１７は、必要に応じて、電圧変換回路および充電制御回路等の周知の回路を含む。
【００１５】
ホスト装置２０は、端末装置１０から送信されたデータを受信するデータ受信部２１と、受信したデータを蓄積するデータ蓄積部２２と、蓄積したデータを解析するデータ解析部２３と、解析結果を出力する出力部２４とを備える。このホスト装置２０は、例えばパーソナルコンピュータ等の情報処理装置により実現される。また、上記のように本実施形態では複数台の端末装置１０が使用され、ホスト装置２０は、その複数台の端末装置１０の各々からデータを受信する。
【００１６】
データ受信部２１は、上記の無線回線に対応しており、各端末装置１０からデータを受信してデータ蓄積部２２へ送る。
データ蓄積部２２は、例えばパーソナルコンピュータの磁気ディスク装置等の記憶装置により実現され、データ受信部２１から取得した受信データを発話者別に蓄積する。ここで、発話者の識別は、端末装置１０から送信される端末ＩＤと、あらかじめホスト装置２０に登録されている発話者名と端末ＩＤの照合により行う。また、端末装置１０から端末ＩＤのかわりに装着者状態を送信するようにしてもよい。
【００１７】
データ解析部２３は、例えばパーソナルコンピュータのプログラム制御されたＣＰＵにより実現され、データ蓄積部２２に蓄積されたデータを解析する。具体的な解析内容および解析手法は、本実施形態のシステムの利用目的や利用態様に応じて種々の内容および手法を取り得る。例えば、端末装置１０の装着者同士の対話頻度や各装着者の対話相手の傾向を分析したり、対話における個々の発話の長さや音圧の情報から対話者の関係を類推したりすることが行われる。
【００１８】
出力部２４は、データ解析部２３による解析結果を出力したり、解析結果に基づく出力を行ったりする。この解析結果等を出力する手段は、システムの利用目的や利用態様、解析結果の内容や形式等に応じて、ディスプレイ表示、プリンタによる印刷出力、音声出力等、種々の手段を取り得る。
【００１９】
＜端末装置の構成例＞
図２（ａ）〜（ｂ）は、端末装置１０の構成例を示す図である。このうち図２（ａ）は、装着者が端末装置１０を実際に装着したときの状態を装着者のほぼ正面から見た図であり、図２（ｂ）は、この状態を側面から見た図である。
上記のように、端末装置１０は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置１０は、図２（ａ）〜（ｂ）に示すように、装置本体３０と、装置本体３０に接続された提げ紐４０とを備えた構成とする。図示の構成において、使用者は、提げ紐４０に首を通し、装置本体３０を首から提げて装着する。
【００２０】
装置本体３０は、金属や樹脂等で形成された薄い直方体のケース３１に、少なくとも第１増幅器１３、第２増幅器１４、音声解析部１５、データ送信部１６および電源部１７を実現する回路と電源部１７の電源（電池）とを収納して構成される。ケース３１には、装着者の氏名や所属等のＩＤ情報を表示したＩＤカード等を挿入するポケットを設けても良い。また、ケース３１自体の表面にそのようなＩＤ情報等を印刷したり、ＩＤ情報等を記載したシールを貼り付けたりしても良い。
【００２１】
提げ紐４０には、第１マイクロフォン１１および第２マイクロフォン１２が設けられる（以下、第１マイクロフォン１１と第２マイクロフォン１２とを区別しない場合には、マイクロフォン１１、１２と記載）。マイクロフォン１１、１２は、提げ紐４０の内部を通るケーブル（電線等）により、装置本体３０に収納された第１増幅器１３、第２増幅器１４に接続される。提げ紐４０の材質としては、革、合成皮革、木綿その他の天然繊維や樹脂等による合成繊維、金属等、既存の種々の材質を用いて良い。また、シリコン樹脂やフッ素樹脂等を用いたコーティング処理が施されていても良い。
【００２２】
この提げ紐４０は、筒状の構造を有し、提げ紐４０の内部にマイクロフォン１１、１２を収納している。マイクロフォン１１、１２を提げ紐４０の内部に設けることにより、マイクロフォン１１、１２の損傷や汚れを防ぎ、対話者がマイクロフォン１１、１２の存在を意識することが抑制される。なお、装着者の口（発声部位）から遠い位置に配置される第２マイクロフォン１２は、装置本体３０に設けても良い。本実施形態では、第２マイクロフォン１２が提げ紐４０に設けられる場合を例として説明する。
【００２３】
図２（ａ）〜（ｂ）を参照すると、第１マイクロフォン１１は、提げ紐４０の装置本体３０に接続される端部から離れた位置（例えば、接続部位から２０ｃｍ〜３０ｃｍ程度の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第１マイクロフォン１１は、装着者の首元（例えば鎖骨に当たる位置）に位置し、装着者の口（発声部位）から約１０ｃｍから２０ｃｍ程度離れた位置に配置される。
【００２４】
第２マイクロフォン１２は、提げ紐４０の装置本体３０に接続される端部（例えば、接続部位から１０ｃｍ以内の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第２マイクロフォン１２は、装着者の口（発声部位）から約３０ｃｍから４０ｃｍ程度離れた位置に配置される。なお、第２マイクロフォン１２が装置本体３０に設けられた場合も、装着者の口（発声部位）から第２マイクロフォン１２までの距離は同程度である。
【００２５】
本実施の形態では、図２（ｂ）に示すように、第１マイクロフォン１１および第２マイクロフォン１２を、第１マイクロフォン１１、第２マイクロフォン１２および装着者の口（発声部位）が、ほぼ一直線上になるように配する。またここでは第１マイクロフォン１１および第２マイクロフォン１２に対し、装着者の口（発声部位）の方向を「目的方向」と言うものとし、それ以外の方向を「目的外方向」と言うものとする。
【００２６】
なお、本実施形態の端末装置１０は、図２（ａ）〜（ｂ）に示す構成に限定されるものではない。例えば、マイクロフォン１１、１２は、第２マイクロフォン１２から装着者の口（発声部位）までの音波到達経路の距離が第１マイクロフォン１１から装着者の口（発声部位）までの音波到達経路の距離の数倍程度となるように、第１マイクロフォン１１と第２マイクロフォン１２の位置関係が特定されれば良い。また、マイクロフォン１１、１２は、上記のように提げ紐４０に設ける構成に限らず、種々の方法で装着者に装着して良い。例えば、第１マイクロフォン１１と第２マイクロフォン１２の各々を、個別にピン等を用いて衣服に固定するように構成しても良い。また、第１マイクロフォン１１と第２マイクロフォン１２の位置関係が所望の位置で固定されるようにデザインされた専用の装着具を用意して装着しても良い。
【００２７】
また、装置本体３０は、図２（ａ）〜（ｂ）に示したように、提げ紐４０に接続されて装着者の首から提げられる構成に限らず、携帯することが容易な装置として構成されていれば良い。例えば、本実施形態のような提げ紐ではなく、クリップやベルトにより衣服や体に装着するように構成しても良いし、単にポケット等に納めて携帯するような構成としても良い。また、携帯電話その他の既存の携帯型電子情報端末に、マイクロフォン１１、１２からの音声信号を受け付けて増幅し、解析する機能を実現させても良い。
【００２８】
さらにまた、マイクロフォン１１、１２と装置本体３０（あるいは音声解析部１５）を有線で接続するのではなく、無線通信により接続しても良い。第１増幅器１３、第２増幅器１４、音声解析部１５、データ送信部１６および電源部１７は、上記の構成例では単一のケース３１に収納されることとしたが、複数の個体として構成しても良い。例えば、電源部１７をケース３１に収納せず、外部電源に接続して使用する構成としても良い。
【００２９】
＜取得音声の非言語情報に基づく発話者（自他）の識別＞
本実施形態のシステムは、端末装置１０に設けられた２つのマイクロフォン１１、１２により取得された音声の情報を用いて、端末装置１０の装着者自身の発話音声と他者の発話音声とを識別する。言い換えれば、本実施形態は、取得音声の発話者に関して自他の別を識別（自他識別）する。また、本実施形態では、取得音声の情報のうち、形態素解析や辞書情報を用いて得られる言語情報ではなく、非言語情報に基づいて発話者を識別する。言い換えれば、言語情報により特定される発話内容ではなく、非言語情報により特定される発話状況から音声の発話者を識別する。
【００３０】
図３は、装着者および他者の口（発声部位）と、マイクロフォン１１、１２との位置の関係を示す図である。
図３に示す関係において、装着者の口（発声部位）である音源ａと第１マイクロフォン１１との間の距離をＬａ１、音源ａと第２マイクロフォン１２との間の距離をＬａ２とする。また、他者の口（発声部位）である音源ｂと第１マイクロフォン１１との間の距離をＬｂ１、音源ｂと第２マイクロフォン１２との間の距離をＬｂ２とする。この場合、次の関係が成り立つ。
Ｌａ１＜Ｌａ２（Ｌａ２≒１．５×Ｌａ１〜４×Ｌａ１）
Ｌｂ１≒Ｌｂ２
【００３１】
このとき音圧は、マイクロフォン１１、１２と音源との間の距離に応じて距離減衰する。
よってＬａ１とＬａ２、およびＬｂ１とＬｂ２の距離差に応じて生ずる第１マイクロフォン１１と第２マイクロフォン１２の音圧の差を利用して装着者の発話音声であるか他者の発話音声であるかの自他識別の判定を行なうことが考えられる。
しかしながらこの方法では、装着者の発話音声に抑揚があったり、または装着者が腕組みをしたり、机に座ったりするような動作をする場合、想定通りの音圧を得ることができずに、自他識別について誤判定を起こすことがある。また、近くで他者が発話をする場合など周囲音声の大きさによっても誤判定を起こすことがある。
【００３２】
また一般サイドローブキャンセラによる方法により自他識別を行なった場合、目的方向の音声が設定方向からずれると、目的外方向の音声の抑制効果が小さくなり、装着者の音声にもかかわらず、他者の発話音声と判定されることが多くなる。また装着者の発話音声に抑揚があると、装着者の発話音声が小さい箇所で、他者の発話音声と判定されることが多くなる。
【００３３】
＜音声解析部の説明＞
そこで本実施形態では、音声解析部１５を以下の構成とすることで、この問題の抑制を図っている。
図４は、本実施形態における音声解析部１５の機能構成例を示した図である。
図示するように音声解析部１５は、音声情報取得部１５１と、周波数スペクトル算出部１５２と、第１の目的方向信号スペクトル抽出部１５３と、第２の目的方向信号スペクトル抽出部１５４と、目的外方向信号スペクトル抽出部１５５と、目的方向強調スペクトル算出部１５６と、相関性算出部１５７と、自他識別部１５８とを備える。
【００３４】
音声情報取得部１５１は、信号情報取得部の一例であり、第１マイクロフォン１１および第２マイクロフォン１２により生成された音声に関する情報を取得する。本実施形態では音声情報取得部１５１は、マイクロフォン１１、１２により出力され、第１増幅器１３および第２増幅器１４を介して増幅された音声信号を音声に関する情報として取得する。
【００３５】
周波数スペクトル算出部１５２は、第１マイクロフォン１１および第２マイクロフォン１２により生成されたそれぞれの音声に関する情報をフーリエ変換し、周波数と強度との関係を表わす周波数スペクトルとして、第１の周波数スペクトルおよび第２の周波数スペクトルをそれぞれ求める。即ち、第１マイクロフォン１１および第２マイクロフォン１２からの音声信号に対しフーリエ変換を行い、周波数スペクトルをそれぞれについて求める。
【００３６】
第１の目的方向信号スペクトル抽出部１５３は、第１の抽出部の一例であり、第１の周波数スペクトルと第２の周波数スペクトルとの差をとることで装着者の発声部位から発した音声を表す第１の目的方向信号スペクトル（第１の抽出スペクトル）を抽出する。この第１の目的方向信号スペクトルは、装着者の発声部位から発した信号が装着者の発声部位とは異なる方向から発した信号より大きくなる処理をしたものとなる。
【００３７】
第２の目的方向信号スペクトル抽出部１５４は、第２の抽出部の一例であり、第１の周波数スペクトルと第２の周波数スペクトルとを加算することで装着者の発声部位から発した音声を表す第２の目的方向信号スペクトル（第２の抽出スペクトル）を抽出する。この第２の目的方向信号スペクトルも、装着者の発声部位から発した信号が装着者の発声部位とは異なる方向から発した信号より大きくなる処理をしたものとなる。
第１の目的方向信号スペクトルおよび第２の目的方向信号スペクトルについては後述する。
【００３８】
目的外方向信号スペクトル抽出部１５５は、第３の抽出部の一例であり、第１の周波数スペクトルおよび第２の周波数スペクトルから、第１マイクロフォン１１および第２マイクロフォン１２により生成された音声に関する情報に含まれ、装着者の発声部位から発した音声以外の信号を表す目的外方向信号スペクトル（抑圧スペクトル）を抽出する。目的外方向信号スペクトルは、装着者の発声部位から発した信号を抑圧したものとなる。目的外方向信号スペクトルを抽出する具体的な方法については後述する。
【００３９】
目的方向強調スペクトル算出部１５６は、強調スペクトル算出部の一例であり、第１の目的方向信号スペクトルから目的外方向信号スペクトルを減算する（スペクトルサブストラクション処理）。さらにフロアリング処理を行なうことで装着者の発声部位から発した音声である目的方向信号を強調した目的方向強調スペクトルとして第１の目的方向強調スペクトルを求める。さらに目的方向強調スペクトル算出部１５６は、第２の目的方向信号スペクトルから目的外方向信号スペクトルを減算する（スペクトルサブストラクション処理）ことで目的方向強調スペクトルとして第２の目的方向強調スペクトルを求める。ここで行なわれるスペクトルサブストラクション処理、フロアリング処理等については後述する。
【００４０】
相関性算出部１５７は、第１の目的方向強調スペクトルおよび第２の目的方向強調スペクトルを逆フーリエ変換し相関性を算出する。
【００４１】
自他識別部１５８は、相関性算出部１５７により算出された相関性の情報を基に、マイクロフォン１１、１２により取得された音声が、装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別する。
【００４２】
＜端末装置の動作例＞
図５は、本実施形態における端末装置１０の動作を示すフローチャートである。また図６は、音声解析部１５における信号処理のプロセスについて説明した図である。以下、図２、図４〜図６を使用して、端末装置１０の動作について説明を行なう。
図５に示すように、端末装置１０のマイクロフォン１１、１２が音声を取得すると、各マイクロフォン１１、１２から取得音声に応じた電気信号（音声信号）が第１増幅器１３および第２増幅器１４へ送られる（ステップ１０１）。第１増幅器１３および第２増幅器１４は、マイクロフォン１１、１２からの音声信号を取得すると、信号を増幅して音声解析部１５へ送る（ステップ１０２）。
【００４３】
音声解析部１５の音声情報取得部１５１は、増幅された音声信号を取得する（ステップ１０３）。
【００４４】
図７は、音声情報取得部１５１で取得された音声信号の一例を示した図である。図７では、横軸は時間（ｓ）を表し、縦軸は音声信号の強度を表す。
図示した例では、０ｓ〜約５ｓの間に装着者が発話を行なう自己発話区間が存在する。そして約５ｓ〜約１０ｓの間に装着者以外の他者が発話を行なう他者発話区間が存在し、さらにその後の約１０ｓ〜約１５ｓの間に装着者および他者の双方が発話を行なう自他発話区間が存在する。
【００４５】
音声情報取得部１５１は、この音声信号に対し、一定の時間単位（例えば、数十分の一秒〜数百分の一秒）毎に、各マイクロフォン１１、１２の取得音声における平均音圧を求める（ステップ１０４）。そして、平均音圧がある閾値以上であるか否か（利得が有るか否か）を判断する（ステップ１０５）。
【００４６】
音声情報取得部１５１は、ステップ１０５で求めた各マイクロフォン１１、１２における平均音圧の利得が有る場合（ステップ１０５でＹｅｓ）、発話音声がある（発話が行われた）と判断する。
【００４７】
そして周波数スペクトル算出部１５２が、第１マイクロフォン１１および第２マイクロフォン１２からの音声信号に対しフーリエ変換を行い、周波数スペクトルをそれぞれについて求める（ステップ１０６）。これは図８では、２箇所の「ＦＦＴ（Fast Fourier Transform）」として図示している。これにより第１マイクロフォン１１からの音声信号を基に第１の周波数スペクトルが求められ、第２マイクロフォン１２からの音声信号を基に第２の周波数スペクトルが求められる。周波数スペクトル算出部１５２により音声信号は、時間領域から周波数領域に変換される。
【００４８】
次に第１の目的方向信号スペクトル抽出部１５３が、第１の周波数スペクトルと第２の周波数スペクトルとの差をとることで装着者の発声部位から発した音声を表す第１の目的方向信号スペクトルを抽出する（ステップ１０７）。
【００４９】
図８（ａ）〜（ｂ）は、第１の周波数スペクトルと第２の周波数スペクトルとの差をとったときに、装着者の発話音声と他者の発話音声とでどのようなスペクトルが抽出されるかを説明した図である。ここでは説明をわかりやすくするために周波数スペクトルではなく、フーリエ変換前の音声信号について説明を行なう。そのため図８（ａ）〜（ｂ）において横軸は、時間（ｓ）を表し、縦軸は、音声信号の強度を表す。
【００５０】
図８（ａ）では、装着者の発話音声がマイクロフォン１１、１２のそれぞれで取得されたときの音声信号を図示している。ここで第２マイクロフォン１２は、第１マイクロフォン１１より装着者の発声部位から遠い位置にあるため、音声信号は、第２マイクロフォン１２の方が第１マイクロフォン１１より時間的に遅れて到達する。よってこれらの音声信号の差をとったときは、これらの音声信号は両方ともそのまま残ることになる。
【００５１】
一方、図８（ｂ）では、他者の発話音声がマイクロフォン１１、１２のそれぞれで取得されたときの音声信号を図示している。
ここで他者の音声等は、第１マイクロフォン１１および第２マイクロフォン１２に到達するまでの距離がほぼ同じとなるため、第１マイクロフォン１１と第２マイクロフォン１２とでほぼ同じ時に到達する。よってこれらの音声信号の差をとったときは、互いに相殺され振幅が小さくなる。
【００５２】
このように第１の周波数スペクトルと第２の周波数スペクトルとの差をとったときには、装着者の発声部位から発した音声についての周波数スペクトルはそのまま残る一方で、その他の信号は、振幅が小さくなる。即ち、第１の周波数スペクトルと第２の周波数スペクトルとの差をとることで求められる第１の目的方向信号スペクトルは、装着者の発声部位から発した音声を表すものがより大きな部分を占める。即ち、装着者の発声部位から発した音声を抽出することができる。
なお以降、このようにして求められた第１の目的方向信号スペクトルを「α１」と言うことがある。
【００５３】
次に第２の目的方向信号スペクトル抽出部１５４が、第１の周波数スペクトルと第２の周波数スペクトルとを加算することで装着者の発声部位から発した音声を表す第２の目的方向信号スペクトルを抽出する（ステップ１０８）。
このとき第２の周波数スペクトルは、図６の「ｄｅｌａｙ」で示した遅延回路を通過させることが好ましい。このとき遅延回路で調整される時間としては、装着者の発声部位と第１マイクロフォン１１および第２マイクロフォン１２との距離差により生じる音声が到達するまでの時間差となるようにする。つまりこれにより装着者の発声部位からの音声は、発声部位と第１マイクロフォン１１および第２マイクロフォン１２との距離差にかかわらず、ほぼ同じ時に到達したものとして扱うことができる。
【００５４】
図９（ａ）〜（ｂ）は、第１の周波数スペクトルと第２の周波数スペクトルとを加算したときに、装着者の発話音声と他者の発話音声とでどのようなスペクトルが抽出されるかを説明した図である。なおここでも説明をわかりやすくするために周波数スペクトルではなく、フーリエ変換前の音声信号について説明を行なう。そのため図９（ａ）〜（ｂ）において横軸は、時間（ｓ）を表し、縦軸は、音声信号の強度を表す。
【００５５】
図９（ａ）では、装着者の音声信号がマイクロフォン１１、１２のそれぞれで取得されたときの音声信号を図示している。ここで第２マイクロフォン１２からの音声信号は、上述の遅延回路により調整され、見かけ上第１マイクロフォン１１からの音声信号とほぼ同じ時に到達するようになっている。図９（ａ）では、この時間を「Δ」として図示している。この場合、第１の周波数スペクトルと第２の周波数スペクトルとを加算すると、その振幅が増幅され、より大きくなる。
【００５６】
一方、図９（ｂ）では、他者の発話音声がマイクロフォン１１、１２のそれぞれで取得されたときの音声信号を図示している。
ここで他者の音声等は、第１マイクロフォン１１および第２マイクロフォン１２に到達するまでの距離がほぼ同じとなるため、第１マイクロフォン１１と第２マイクロフォン１２とでほぼ同じ時に到達する。しかし第２マイクロフォン１２からの音声信号は、上述の遅延回路により調整されるため、時間Δのずれが生じる。よって第１の周波数スペクトルと第２の周波数スペクトルとを加算すると、これらの音声信号は両方ともそのまま残ることになる。
【００５７】
このように第１の周波数スペクトルと第２の周波数スペクトルとを加算したときには、装着者の発話音声についての周波数スペクトルは増幅される一方で、他者の発話音声についての周波数スペクトルは、そのまま残るが増幅はされない。即ち、第１の周波数スペクトルと第２の周波数スペクトルとを加算することで求められる第２の目的方向信号スペクトルは、装着者の発声部位から発した音声を表すものがより大きな部分を占める。即ち、装着者の発声部位から発した音声を抽出することができる。
なお以降、このようにして求められた第２の目的方向信号スペクトルを「α２」と言うことがある。
【００５８】
次に目的方向強調スペクトル算出部１５６が、第１の周波数スペクトルおよび第２の周波数スペクトルから、目的外方向信号スペクトルを抽出する（ステップ１０９）。
より具体的には、目的外方向信号スペクトル抽出部１５５は、第１の周波数スペクトルと第２の周波数スペクトルについて、装着者の発声部位と第１マイクロフォン１１および第２マイクロフォン１２との距離差により生じ音声が到達するまでの時間差を調整した上で、それぞれの差を求めることで目的外方向信号スペクトルを抽出する。
【００５９】
図１０（ａ）〜（ｂ）は、第１の周波数スペクトルと第２の周波数スペクトルについて、装着者の発声部位と第１マイクロフォン１１および第２マイクロフォン１２との距離差により生じ音声が到達するまでの時間差を調整した上で、それぞれの差を求めたときに装着者の発話音声と他者の発話音声とでどのようなスペクトルが抽出されるかを説明した図である。なおここでも説明をわかりやすくするために周波数スペクトルではなく、フーリエ変換前の音声信号について説明を行なう。そのため図１０（ａ）〜（ｂ）において横軸は、時間（ｓ）を表し、縦軸は、音声信号の強度を表す。
【００６０】
図１０（ａ）では、装着者の音声信号がマイクロフォン１１、１２のそれぞれで取得されたときの音声信号を図示している。ここで第２マイクロフォン１２からの音声信号は、上述の遅延回路により調整され、見かけ上第１マイクロフォン１１からの音声信号とほぼ同じ時に到達するようになっている。図１０（ａ）では、この時間を「Δ」として図示している。この場合、第１の周波数スペクトルと第２の周波数スペクトルとの差を求めると、互いに相殺され振幅が小さくなる。
【００６１】
一方、図１０（ｂ）では、他者の発話音声がマイクロフォン１１、１２のそれぞれで取得されたときの音声信号を図示している。
ここで他者の音声は、第１マイクロフォン１１および第２マイクロフォン１２に到達するまでの距離がほぼ同じとなるため、第１マイクロフォン１１と第２マイクロフォン１２とでほぼ同じ時に到達する。しかし第２マイクロフォン１２からの音声信号は、上述の遅延回路により調整されるため、時間Δのずれが生じる。よって第１の周波数スペクトルと第２の周波数スペクトルとの差を求めると、これらの音声信号は両方ともそのまま残ることになる。
【００６２】
よってこの場合、装着者の発話音声についての周波数スペクトルは振幅が小さくなる一方で、他者の発話音声についての周波数スペクトルは、そのまま残る。即ち、この場合は、装着者の発声部位から発した音声以外の信号を表すものがより大きな部分を占める。即ち、装着者の発声部位から発した音声以外の信号を抽出することができる。
なお以降、このようにして求められた目的外方向信号スペクトルを「β」と言うことがある。
【００６３】
次に目的方向強調スペクトル算出部１５６は、第１の目的方向信号スペクトルα１から目的外方向信号スペクトルβを減算し、さらにフロアリング処理を行なうことで装着者の発声部位から発した音声である目的方向信号を強調した目的方向強調スペクトルとして第１の目的方向強調スペクトルを求める（ステップ１１０）。
【００６４】
つまりここでは、まず「α１−β」の周波数スペクトルを求めることになる（スペクトルサブストラクション処理）。このとき装着者の発話音声については、概念的には、図８（ａ）の結果から図１０（ａ）の結果の差をとるものとなるため、α１−β＞０となる。対して他者の発話音声については、概念的には、図８（ｂ）の結果から図１０（ｂ）の結果の差をとるものとなるため、α１−β＜０となる。
【００６５】
またフロアリング処理とは、実データに含まれる小さな値をそのまま用いずに適当な数値に置き換える処理を言う。置き換える値の例としては、例えば、「０」や「０．１」等の数値となるが、本実施の形態では、本実施の形態では、「０」に置き換えるものとする。
【００６６】
本実施の形態では、このフロアリング処理をα１−β＜０の場合に適用する。そうすると「α１−β」の周波数スペクトルは、装着者の発話音声については、そのまま「α１−β」の値となり、他者の発話音声については、０となる。結局、この周波数スペクトルは、装着者の発声部位から発した音声である目的方向信号を強調した目的方向強調スペクトルとなる。
なお以降、このようにして求められた第１の目的方向強調スペクトルを「ＳＳ１」と言うことがある。
【００６７】
さらに目的方向強調スペクトル算出部１５６は、第２の目的方向信号スペクトルα２から目的外方向信号スペクトルβを減算することで目的方向強調スペクトルとして第２の目的方向強調スペクトルを求める（ステップ１１１）。
【００６８】
つまりここでは、「α２−β」の周波数スペクトルを求めることになる（スペクトルサブストラクション処理）。このとき装着者の発声部位から発した音声については、概念的には、図９（ａ）の結果から図１０（ａ）の結果の差をとるものとなる。またそれ以外の信号については、概念的には、図９（ｂ）の結果から図１０（ｂ）の結果の差をとるものとなる。こちらではフロアリング処理は、行なわないため、双方とも「α２−β」の値となる。
【００６９】
ただし、図９（ａ）の結果から図１０（ａ）の結果の差と、図９（ｂ）の結果から図１０（ｂ）の結果の差を比較した場合、前者の方が大きい振幅となる。結局、この周波数スペクトルについても、装着者の発声部位から発した音声である目的方向信号を強調した目的方向強調スペクトルとなる。
なお以降、このようにして求められた第２の目的方向強調スペクトルを「ＳＳ２」と言うことがある。
【００７０】
このように本実施の形態では、周波数スペクトルにおいてスペクトルサブストラクション処理を行なうことで、装着者の発声部位から発した音声を表す目的方向信号を強調するとともに、他者の音声を表す目的外方向信号を抑制した目的方向強調スペクトルを２つ作成する。周波数スペクトルでこのような処理を行なうことで、音声信号をそのまま処理するより、目的方向信号をより強調し、目的外方向信号をより抑制することができる。これは複数の音声が混合していても、周波数領域で見ると信号のエネルギーがまばらにしか存在しないというスパーツ性を利用している。
【００７１】
次に相関性算出部１５７が、第１の目的方向強調スペクトルＳＳ１および第２の目的方向強調スペクトルＳＳ２をそれぞれ逆フーリエ変換する（ステップ１１２）。これは図６では、２箇所の「ＩＦＦＴ（Inverse Fast Fourier Transform）」として図示している。これにより第１の目的方向強調スペクトルＳＳ１および第２の目的方向強調スペクトルＳＳ２は、音声信号に戻ることになる。これにより第１の目的方向強調スペクトルＳＳ１および第２の目的方向強調スペクトルＳＳ２は、周波数領域から時間領域に変換される。
【００７２】
そして相関性算出部１５７は、第１の目的方向強調スペクトルと第２の目的方向強調スペクトルに対する相関性を算出する（ステップ１１３）。なおここでは、この算出は逆フーリエ変換を行なった後で行なっているが、逆フーリエ変換を行なわずに行なってもよい。
【００７３】
そして相関性算出部１５７が、予め定められた閾値と比較して、この両者の相関性が高いと算出した場合（ステップ１１３でＹｅｓ）、自他識別部１５８は、マイクロフォン１１、１２により取得された音声が、装着者の発話音声であると判定する（ステップ１１４）。また相関性算出部１５７が、この両者の相関性が低いと算出した場合（ステップ１１３でＮｏ）、自他識別部１５８は、装着者の発話音声ではなく、他者の発話音声であると判定する（ステップ１１５）。なおステップ１０４で求めた各マイクロフォン１１、１２における平均音圧の利得が無い場合（ステップ１０５でＮｏ）、自他識別部１５８は、発話音声が無い（発話が行われていない）と判断する（ステップ１１６）。なお、相関性の高低を定める閾値は、相関性算出部１５７が定めても良いし、一度、第１の目的方向強調スペクトルと第２の目的方向強調スペクトルについて算出した相関値を解析者に提示して、解析者に閾値を定めさせても良い。
【００７４】
図１１〜図１３は、第１の目的方向強調スペクトルＳＳ１および第２の目的方向強調スペクトルＳＳ２について示した具体例である。
このうち図１１は、装着者の発話音声についての第１の目的方向強調スペクトルＳＳ１および第２の目的方向強調スペクトルＳＳ２の例である。図示するようにこの両者の相関性は高いことがわかる。
【００７５】
また図１２は、他者の発話音声についての第１の目的方向強調スペクトルＳＳ１および第２の目的方向強調スペクトルＳＳ２の例である。ここでは第１の目的方向強調スペクトルＳＳ１は、フロアリング処理が行なわれているため、振幅が０となる。そのためこの両者の相関性は、低いことがわかる。
【００７６】
さらに図１３は、装着者の発話音声と他者の発話音声の双方がマイクロフォン１１、１２により取得されたときの第１の目的方向強調スペクトルＳＳ１および第２の目的方向強調スペクトルＳＳ２の例である。このときも図１１の場合と同様にこの両者の相関性は高いことがわかる。
【００７７】
以下の事項をまとめると下記の表１のようになる。
【００７８】
【表１】
2015127768.tif 000003
【００７９】
相関性算出部１５７において相関性を求めるためには、既存の方法を使用することができる。例えば、第１の目的方向強調スペクトルＳＳ１および第２の目的方向強調スペクトルＳＳ２について相互相関係数を求め、この相関係数の値により両者の相関性を算出する。また相互相関関数を使用する方法でもよい。ただし、相互相関係数よりも相互相関関数を使用した場合の方が、自他識別の精度がより向上する。
【００８０】
図１４は、図７で示した音声信号に対し、図４以降で説明を行なった処理を行なった結果を示した図である。図１４では、横軸は時間（ｓ）を表し、縦軸は相互相関係数の値を標準化して表している。
０ｓ〜約５ｓの間の装着者が発話を行なう自己発話区間では、相互相関係数の値は高く、この区間では、マイクロフォン１１、１２により取得された音声が、装着者の発声音声であると判定できる。また約５ｓ〜約１０ｓの間の他者発話区間では、相互相関係数の値は低く、この区間では、マイクロフォン１１、１２により取得された音声が、装着者の発声音声であると判定できる。さらにその後の約１０ｓ〜約１５ｓの間の自他発話区間では、相互相関係数の値は高く、この区間では、マイクロフォン１１、１２により取得された音声に、装着者の発声音声が含まれていることが判定できる。
【００８１】
この後、音声解析部１５は、データ送信部１６を介して、ステップ１０４〜ステップ１１６の処理で得られた情報を解析結果としてホスト装置２０へ送信する。この解析結果としては、例えば、発話の有無、装着者の情報（端末ＩＤ）、マイクロフォン１１、１２により取得された音声が装着者の発話音声であるか装着者以外の他者の発話音声であるかを識別した情報である自他識別情報等である。またこのとき、発話者毎（装着者自身または他者）の発話時間の長さや平均音圧の利得の値、その他の付加情報を解析結果と共にホスト装置２０へ送信させてもよい。
【００８２】
本実施の形態では、装着者の発声部位から発した音声を表す目的方向信号を強調し、他者の音声を表す目的外方向信号を抑制した目的方向強調スペクトルを２つ作成する（第１の目的方向強調スペクトル、第２の目的方向強調スペクトル）。そしてこれらの相関性によりマイクロフォン１１、１２により取得された音声の自他識別を行なう。この手法によれば、音声の強弱ではなく波形の類似性により装着者の発話音声であるか他者の発話音声であるかの判定を行なう。即ち、装着者の発話音声に抑揚があるような場合でも、この判定をより精度よく行なうことが可能となる。よって図３〜図５で説明を行なった音圧を利用する場合や一般サイドローブキャンセラによる方法よりも自他識別の精度が、より向上する。そして自己発話区間とそれ以外の区間とを区別することが、より容易となる。即ち、装着者の発話音声に抑揚等がある場合でも、連続して自己発話区間を特定することができる。対して図３〜図５で説明を行なった音圧を利用する場合や一般サイドローブキャンセラによる方法では、自己発話区間内でも他者発話区間が存在するものと判定されることが多いため、自己発話区間が細かく分断され、自己発話区間を正確に把握することができない。
【００８３】
本実施の形態では、自他識別の精度が、例えば、正解率が８０％となる。なお上述した第１の目的方向強調スペクトルおよび第２の目的方向強調スペクトルの一方のみを使用して、自他識別を行なう方法では、正解率が低下する。さらに図３〜図５で説明を行なった方法では、さらに正解率が低下し、正解率が、例えば、３０％となる。
【００８４】
なお装着者の発声部位は、装着者が顔の向きを変化させる等により動くことがある。この場合、装着者の顔の可動範囲内で装着者の発声部位と第１マイクロフォン１１および第２マイクロフォンとの間の角度θが変化し、これに応じて装着者の音声が第１マイクロフォン１１および第２マイクロフォンに到達するまでの時間差Δが変化する。よってこれに対応するには、この角度θに応じた上記時間差Δを何通りか（例えば、３通り）求めておき、そして目的外方向信号スペクトルβが最も小さくなるときの時間差Δを採用する。
【００８５】
＜システムの適用例とホスト装置の機能＞
本実施形態のシステムでは、複数の端末装置１０により上記のようにして得られた発話に関する情報（以下、発話情報）がホスト装置２０に集められる。ホスト装置２０は、複数の端末装置１０から得られた情報を用いて、例えば、装着者同士の会話関係を解析する。
【００８６】
図１５は、本実施形態の端末装置１０をそれぞれ装着した複数の装着者が会話している状況を示す図である。図１６は、図１５の会話状況における各端末装置１０Ａ、１０Ｂの発話情報の例を示す図である。
図１５に示すように、端末装置１０をそれぞれ装着した二人の装着者Ａ、装着者Ｂが会話している場合を考える。このとき、装着者Ａの端末装置１０Ａにおいて装着者の発話として認識される音声は、装着者Ｂの端末装置１０Ｂでは他者の発話として認識される。反対に、端末装置１０Ｂにおいて装着者の発話音声として認識される音声は、端末装置１０Ａでは他者の発話音声として認識される。
【００８７】
端末装置１０Ａおよび端末装置１０Ｂからは、それぞれ独立に、発話情報がホスト装置２０に送られる。このとき、端末装置１０Ａから取得した発話情報と、端末装置１０Ｂから取得した発話情報とは、図１６に示すように、発話者（装着者と他者）の識別結果は反対になるが、発話時間の長さや発話者が切り替わったタイミング等の発話状況を示す情報は近似する。そこで、本実施例のホスト装置２０は、端末装置１０Ａから取得した情報と端末装置１０Ｂから取得した情報とを比較することにより、これらの情報が同じ発話状況を示していると判断し、装着者Ａと装着者Ｂとが会話していることを認識する。ここで、発話状況を示す情報としては、少なくとも、上述した発話者ごとの個々の発話における発話時間の長さ、個々の発話の開始時刻と終了時刻、発話者が切り替わった時刻（タイミング）等のように、発話に関する時間情報が用いられる。なお、特定の会話に係る発話状況を判断するために、これらの発話に関する時間情報の一部のみを用いても良いし、他の情報を付加的に用いても良い。
【００８８】
このように端末装置１０の装着者同士の会話関係を解析することで、装着者のグループ全体におけるコミュニケーションの傾向を分析することができる。具体的には、例えば、会話参加者の数、会話が行われた時間、対話度、活性度などの値と会話の発生頻度との相関関係を調べることで、装着者のグループにおいてどのような態様の会話が行われる傾向があるかが判断される。
【００８９】
＜プログラムの説明＞
なお本実施形態における端末装置１０の音声解析部１５が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、端末装置１０に設けられた制御用コンピュータ内部の図示しないＣＰＵが、端末装置１０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。
【００９０】
よって端末装置１０の音声解析部１５が行なう処理は、コンピュータに、装着者の発声部位から異なる距離にて配され、装着者の発声部位から発した音声を取得する、第１マイクロフォン１１および第２マイクロフォン１２により生成された音声に関する情報をそれぞれ取得する機能と、第１マイクロフォン１１および第２マイクロフォン１２により生成されたそれぞれの音声に関する情報をフーリエ変換し、周波数と強度との関係を表わす周波数スペクトルとして、第１の周波数スペクトルおよび第２の周波数スペクトルをそれぞれ求める機能と、第１の周波数スペクトルと第２の周波数スペクトルとから、装着者の発声部位から発した信号が装着者の発声部位とは異なる方向から発した信号より大きくなる処理をした第１の抽出スペクトルを抽出する機能と、第１の抽出部とは異なる処理により、第１の周波数スペクトルと第２の周波数スペクトルとから、装着者の発声部位から発した信号が装着者の発声部位とは異なる方向から発した信号より大きくなる処理をした第２の抽出スペクトルを抽出する機能と、第１の周波数スペクトルおよび第２の周波数スペクトルから、装着者の発声部位から発した信号を抑圧した抑圧スペクトルを抽出する機能と、第１の抽出スペクトルから抑圧スペクトルを減算し、フロアリング処理を行なうことで第１の強調スペクトルを求めるとともに、第２の抽出スペクトルから抑圧スペクトルを減算することで第２の強調スペクトルを求める機能と、第１の強調スペクトルおよび第２の強調スペクトルを逆フーリエ変換し相関性を算出する機能と、を実現させるプログラムとして捉えることもできる。
【００９１】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００９２】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【００９３】
例えば、上述した例では、自他識別の判断を端末装置１０で行なっていたが、これに限られるものではなく、ホスト装置２０の方で行なってもよい。この形態における音声解析システム１としては、音声解析部１５で行なっていた処理を、例えば、ホスト装置２０のデータ解析部２３で行なう。この音声解析システム１においては、ホスト装置２０のデータ解析部２３が、信号解析装置（識別手段）として機能する。
【００９４】
また上述した例では、目的外方向から到来する信号を他者の発話音声としていたが、これに限られるものではない。例えば、ノイズ等であってもよい。
【００９５】
さらに上述した例では、信号が音声の場合を例示したが、これに限られるものではない。例えば、信号として光、赤外線、電波等の電磁波や、地震波等の振動波であってもよい。この場合、信号取得手段は、マイクロフォンではなく、これらの電磁波や振動波を捉えるセンサ等となる。
【符号の説明】
【００９６】
１…音声解析システム、１０…端末装置、１１…第１マイクロフォン、１２…第２マイクロフォン、１５…音声解析部、２０…ホスト装置、１５１…音声情報取得部、１５２…周波数スペクトル算出部、１５３…第１の目的方向信号スペクトル抽出部、１５４…第２の目的方向信号スペクトル抽出部、１５５…目的外方向信号スペクトル抽出部、１５６…目的方向強調スペクトル算出部、１５７…相関性算出部、１５８…自他識別部
【図１】
2015127768.tif 000004
【図２】
2015127768.tif 000005
【図３】
2015127768.tif 000006
【図４】
2015127768.tif 000007
【図５】
2015127768.tif 000008
【図６】
2015127768.tif 000009
【図７】
2015127768.tif 000010
【図８】
2015127768.tif 000011
【図９】
2015127768.tif 000012
【図１０】
2015127768.tif 000013
【図１１】
2015127768.tif 000014
【図１２】
2015127768.tif 000015
【図１３】
2015127768.tif 000016
【図１４】
2015127768.tif 000017
【図１５】
2015127768.tif 000018
【図１６】
2015127768.tif 000019