(57)【要約】【課題】複数の装着者の音声取得手段で取得される音声に関する情報から、装着者相互の会話関係を把握することができる音声解析装置等を提供する。【解決手段】装着者の口（発声部位）からの距離が異なる位置に配され音声を取得するための複数のマイクロフォン１１、１２を備える端末装置１０から音声の音声信号に関する情報を受信するデータ受信部２１と、複数のマイクロフォン１１、１２により取得された音声の音圧差により音声が装着者のものであるか装着者以外の他者のものであるかを識別した情報である自他識別情報を使用して、複数の端末装置１０からデータ受信部２１にて受信した音声の同調性を判別することで、装着者の会話関係を判定する会話関係判定部と、を備えたことを特徴とするホスト装置２０。【選択図】図１
2013140534.tif 000002
【特許請求の範囲】
【請求項１】
装着者の発声部位からの距離が異なる位置に配され音声を取得するための複数の音声取得手段を備える端末装置から音声の音声信号に関する情報を受信する音声情報受信部と、
複数の前記音声取得手段により取得された音声の音圧差により音声が装着者のものであるか装着者以外の他者のものであるかを識別した情報である自他識別情報を使用して、複数の前記端末装置から前記音声情報受信部にて受信した音声の音声信号に関する情報より音声の同調性を判別することで、装着者の会話関係を判定する会話関係判定部と、
を備えたことを特徴とする音声解析装置。
【請求項２】
前記会話関係判定部は、複数の装着者から取得した音声の重複時間の長さおよび空隙時間の長さの少なくとも一方が予め定められた範囲内であるか否かで前記同調性を判別することを特徴とする請求項１に記載の音声解析装置。
【請求項３】
前記会話関係判定部にて使用される自他識別情報は、前記音声情報受信部により受信される音声の音声信号に関する情報に含まれることを特徴とする請求項１または２に記載の音声解析装置。
【請求項４】
装着者の発声部位からの距離が異なる位置に配され音声を取得するための複数の音声取得手段を備える端末装置と、
複数の前記音声取得手段により取得された音声の音圧差により音声が装着者のものであるか装着者以外の他者のものであるかを識別した情報である自他識別情報を導出する自他識別部と、
前記自他識別部により導出された自他識別情報を使用して、前記音声取得手段にて受信した音声の同調性を判別することで、装着者の会話関係を判定する会話関係判定部と、
を備えたことを特徴とする音声解析システム。
【請求項５】
前記自他識別情報を含む音声の音声信号に関する情報を送信する音声情報送信部と、当該音声情報送信部により送信された音声の音声信号に関する情報を受信する音声情報受信部と、をさらに備えることを特徴とする請求項４に記載の音声解析システム。
【請求項６】
コンピュータに、
装着者の発声部位からの距離が異なる位置に配され音声を取得するための複数の音声取得手段を備える端末装置から音声の音声信号に関する情報を受信する機能と、
複数の前記音声取得手段により取得された音声の音圧差により音声が装着者のものであるか装着者以外の他者のものであるかを識別した情報である自他識別情報を使用して、複数の前記端末装置から前記音声情報受信部にて受信した音声の音声信号に関する情報より音声の同調性を判別することで、装着者の会話関係を判定する機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声解析装置、音声解析システム、プログラムに関する。
【背景技術】
【０００２】
特許文献１には、ユーザを識別するユーザＩＤと、端末で取得された音声と、音声の発話期間とを端末から受付ける音声受付部と、複数の端末から受付けた音声間の相関関係を表す相関値を算出して予め定められた第１閾値と比較し、相関値が第１閾値より大きい場合に、相関値を算出した音声を受付けた複数の端末が互いに近接すると判定する近接判定部と、対話の検出対象とする任意の対象期間内における、近接すると判定された複数の端末から受付けた発話期間の関係が、予め定められた規則に適合するか否かを判定し、規則に適合すると判定されたときの対象期間と、近接すると判定された複数の端末から受付けたユーザＩＤとを含む対話情報を検出する対話検出部と、を備えた対話検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２４２３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、複数の装着者の音声取得手段で取得される音声に関する情報から、装着者相互の会話関係を把握することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、装着者の発声部位からの距離が異なる位置に配され音声を取得するための複数の音声取得手段を備える端末装置から音声の音声信号に関する情報を受信する音声情報受信部と、複数の前記音声取得手段により取得された音声の音圧差により音声が装着者のものであるか装着者以外の他者のものであるかを識別した情報である自他識別情報を使用して、複数の前記端末装置から前記音声情報受信部にて受信した音声の音声信号に関する情報より音声の同調性を判別することで、装着者の会話関係を判定する会話関係判定部と、を備えたことを特徴とする音声解析装置である。
【０００６】
請求項２に記載の発明は、前記会話関係判定部は、複数の装着者から取得した音声の重複時間の長さおよび空隙時間の長さの少なくとも一方が予め定められた範囲内であるか否かで前記同調性を判別することを特徴とする請求項１に記載の音声解析装置である。
請求項３に記載の発明は、前記会話関係判定部にて使用される自他識別情報は、前記音声情報受信部により受信される音声の音声信号に関する情報に含まれることを特徴とする請求項１または２に記載の音声解析装置である。
【０００７】
請求項４に記載の発明は、装着者の発声部位からの距離が異なる位置に配され音声を取得するための複数の音声取得手段を備える端末装置と、複数の前記音声取得手段により取得された音声の音圧差により音声が装着者のものであるか装着者以外の他者のものであるかを識別した情報である自他識別情報を導出する自他識別部と、前記自他識別部により導出された自他識別情報を使用して、前記音声取得手段にて受信した音声の同調性を判別することで、装着者の会話関係を判定する会話関係判定部と、を備えたことを特徴とする音声解析システムである。
【０００８】
請求項５に記載の発明は、前記自他識別情報を含む音声の音声信号に関する情報を送信する音声情報送信部と、当該音声情報送信部により送信された音声の音声信号に関する情報を受信する音声情報受信部と、をさらに備えることを特徴とする請求項４に記載の音声解析システムである。
【０００９】
請求項６に記載の発明は、コンピュータに、装着者の発声部位からの距離が異なる位置に配され音声を取得するための複数の音声取得手段を備える端末装置から音声の音声信号に関する情報を受信する機能と、複数の前記音声取得手段により取得された音声の音圧差により音声が装着者のものであるか装着者以外の他者のものであるかを識別した情報である自他識別情報を使用して、複数の前記端末装置から前記音声情報受信部にて受信した音声の音声信号に関する情報より音声の同調性を判別することで、装着者の会話関係を判定する機能と、を実現させるプログラムである。
【発明の効果】
【００１０】
請求項１の発明によれば、複数の装着者の音声取得手段で取得される音声に関する情報から、装着者相互の会話関係を把握することができる音声解析装置を提供できる。
請求項２の発明によれば、本構成を採用しない場合に比較して、同調性の判定がより容易になる。
請求項３の発明によれば、本構成を採用しない場合に比較して、音声を直接送信する必要がなくセキュリティを向上させることができる。
請求項４の発明によれば、複数の装着者の音声取得手段で取得される音声に基づき、装着者のコミュニケーション関係が把握できるシステムを構築できる。
請求項５の発明によれば、音声取得手段を装着者により容易に装着することができるとともに、装着者相互の会話関係を把握する処理を一元的に行なうことができる。
請求項６の発明によれば、複数の装着者の音声取得手段で取得される音声に関する情報から、装着者相互の会話関係を把握することができる機能をコンピュータにより実現できる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態による音声解析システムの構成例を示す図である。
【図２】本実施形態における端末装置の構成例を示す図である。
【図３】装着者および他者の口（発声部位）と、マイクロフォンとの位置の関係を示す図である。
【図４】マイクロフォンと音源との間の距離と音圧（入力音量）との関係を示す図である。
【図５】装着者自身の発話音声と他者の発話音声の識別方法を示す図である。
【図６】本実施形態における端末装置の動作を示すフローチャートである。
【図７】本実施形態におけるホスト装置の動作を示すフローチャートである。
【図８】本実施形態の端末装置をそれぞれ装着した複数の装着者が会話している状況を示す図である。
【図９】図８の会話状況における各端末装置の発話情報の例を示す図である。
【図１０】（ａ）〜（ｂ）は、本実施形態における音声の同調性を判別する方法をさらに具体的に説明した図である。
【図１１】（ａ）〜（ｂ）は、実際に使用される端末装置の具体例を示した図である。
【図１２】実施例１による実験方法と実験結果を示した図である。
【図１３】比較例による実験方法と実験結果を示した図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
＜システム構成例＞
図１は、本実施形態による音声解析システムの構成例を示す図である。
図１に示すように、本実施形態の音声解析システム１は、端末装置１０と、音声解析装置の一例であるホスト装置２０とを備えて構成される。端末装置１０とホスト装置２０とは、無線通信回線を介して接続されている。無線通信回線の種類としては、Ｗｉ−Ｆｉ（Wireless Fidelity）、Bluetooth（登録商標）、ZigBee、ＵＷＢ（Ultra Wideband）等の既存の方式による回線を用いて良い。また、図示の例では、端末装置１０が１台のみ記載されているが、詳しくは後述するように、端末装置１０は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置１０が用意される。以下、端末装置１０を装着した使用者を装着者と呼ぶ。
【００１３】
端末装置１０は、音声を取得するための音声取得手段として、複数のマイクロフォン（第１マイクロフォン１１および第２マイクロフォン１２）と、増幅器（第１増幅器１３および第２増幅器１４）とを備える。また、端末装置１０は、取得した音声を解析する音声解析部１５と、解析結果をホスト装置２０に送信するためのデータ送信部１６とを備え、さらに電源部１７とを備える。
【００１４】
第１マイクロフォン１１と第２マイクロフォン１２は、装着者の口（発声部位）からの距離が異なる位置に配される。ここでは、第１マイクロフォン１１は装着者の口（発声部位）から遠い位置（例えば、３５ｃｍ程度）に配置され、第２マイクロフォン１２は装着者の口（発声部位）に近い位置（例えば、１０ｃｍ程度）に配置されるものとする。本実施形態の第１マイクロフォン１１および第２マイクロフォン１２として用いられるマイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものを用いて良い。とくに無指向性のＭＥＭＳ（Micro Electro Mechanical Systems）型マイクロフォンが好ましい。
【００１５】
第１増幅器１３および第２増幅器１４は、それぞれ第１マイクロフォン１１および第２マイクロフォン１２が取得した音声に応じて出力する電気信号（音声信号）を増幅する。本実施形態の第１増幅器１３および第２増幅器１４として用いられる増幅器としては、既存のオペアンプ等を用いて良い。
【００１６】
音声解析部１５は、第１増幅器１３および第２増幅器１４から出力された音声信号を解析する。そして、第１マイクロフォン１１および第２マイクロフォン１２で取得した音声が端末装置１０を装着した装着者自身が発話した音声か、他者の発話による音声かを識別する。音声識別のための具体的な処理の内容については後述する。
【００１７】
データ送信部１６は、音声解析部１５による解析結果を含む取得データと端末ＩＤを、上記の無線通信回線を介してホスト装置２０へ送信する。ホスト装置２０へ送信する情報としては、ホスト装置２０において行われる処理の内容に応じて、上記の解析結果の他、例えば、第１マイクロフォン１１および第２マイクロフォン１２による音声の取得時刻、取得音声の音圧等の情報を含めて良い。また端末装置１０に音声解析部１５による解析結果を蓄積するデータ蓄積部を設け、一定期間の保存データを一括送信しても良い。なお有線回線で送信しても良い。本実施形態ではデータ送信部１６は、音声の音声信号に関する情報を送信する音声情報送信部として機能する。
【００１８】
電源部１７は、上記の第１マイクロフォン１１、第２マイクロフォン１２、第１増幅器１３、第２増幅器１４、音声解析部１５およびデータ送信部１６に電力を供給する。電源としては、例えば乾電池や充電池等の既存の電源が用いられる。また、電源部１７は、必要に応じて、電圧変換回路および充電制御回路等の周知の回路を含む。
【００１９】
ホスト装置２０は、端末装置１０から送信されたデータを受信するデータ受信部２１と、受信したデータを蓄積するデータ蓄積部２２と、蓄積したデータを解析するデータ解析部２３と、解析結果を出力する出力部２４とを備える。このホスト装置２０は、例えばパーソナルコンピュータ等の情報処理装置により実現される。また、上記のように本実施形態では複数台の端末装置１０が使用され、ホスト装置２０は、その複数台の端末装置１０の各々からデータを受信する。
【００２０】
データ受信部２１は、上記の無線回線に対応しており、各端末装置１０からデータを受信してデータ蓄積部２２へ送る。本実施形態ではデータ受信部２１は、データ送信部１６により送信された音声の音声信号に関する情報を受信する音声情報受信部として機能する。データ蓄積部２２は、例えばパーソナルコンピュータの磁気ディスク装置等の記憶装置により実現され、データ受信部２１から取得した受信データを発話者別に蓄積する。ここで、発話者の識別は、端末装置１０から送信される端末ＩＤと、あらかじめホスト装置２０に登録されている発話者名と端末ＩＤの照合により行う。また、端末装置１０から端末ＩＤのかわりに装着者状態を送信するようにしてもよい。
【００２１】
データ解析部２３は、例えばパーソナルコンピュータのプログラム制御されたＣＰＵにより実現され、データ蓄積部２２に蓄積されたデータを解析する。具体的な解析内容および解析手法は、本実施形態のシステムの利用目的や利用態様に応じて種々の内容および手法を取り得る。例えば、端末装置１０の装着者どうしの対話頻度や各装着者の対話相手の傾向を分析したり、対話における個々の発話の長さや音圧の情報から対話者の関係を類推したりすることが行われる。
【００２２】
出力部２４は、データ解析部２３による解析結果を出力したり、解析結果に基づく出力を行ったりする。この解析結果等を出力する手段は、システムの利用目的や利用態様、解析結果の内容や形式等に応じて、ディスプレイ表示、プリンタによる印刷出力、音声出力等、種々の手段を取り得る。
【００２３】
＜端末装置の構成例＞
図２は、端末装置１０の構成例を示す図である。
上記のように、端末装置１０は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置１０は、図２に示すように、装置本体３０と、装置本体３０に接続された提げ紐４０とを備えた構成とする。図示の構成において、使用者は、提げ紐４０に首を通し、装置本体３０を首から提げて装着する。
【００２４】
装置本体３０は、金属や樹脂等で形成された薄い直方体のケース３１に、少なくとも第１増幅器１３、第２増幅器１４、音声解析部１５、データ送信部１６および電源部１７を実現する回路と電源部１７の電源（電池）とを収納して構成される。ケース３１には、装着者の氏名や所属等のＩＤ情報を表示したＩＤカード等を挿入するポケットを設けても良い。また、ケース３１自体の表面にそのようなＩＤ情報等を印刷したり、ＩＤ情報等を記載したシールを貼り付けたりしても良い。
【００２５】
提げ紐４０には、第１マイクロフォン１１および第２マイクロフォン１２が設けられる（以下、第１マイクロフォン１１と第２マイクロフォン１２とを区別しない場合には、マイクロフォン１１、１２と記載）。マイクロフォン１１、１２は、提げ紐４０の内部を通るケーブル（電線等）により、装置本体３０に収納された第１増幅器１３、第２増幅器１４に接続される。提げ紐４０の材質としては、革、合成皮革、木綿その他の天然繊維や樹脂等による合成繊維、金属等、既存の種々の材質を用いて良い。また、シリコン樹脂やフッ素樹脂等を用いたコーティング処理が施されていても良い。
【００２６】
この提げ紐４０は、筒状の構造を有し、提げ紐４０の内部にマイクロフォン１１、１２を収納している。マイクロフォン１１、１２を挙げ紐４０の内部に設けることにより、マイクロフォン１１、１２の損傷や汚れを防ぎ、対話者がマイクロフォン１１、１２の存在を意識することが抑制される。なお、装着者の口（発声部位）から遠い位置に配置される第１マイクロフォン１１は、装置本体３０に設けても良い。本実施形態では、第１マイクロフォン１１が提げ紐４０に設けられる場合を例として説明する。
【００２７】
図２を参照すると、第１マイクロフォン１１は、提げ紐４０の装置本体３０に接続される端部（例えば、接続部位から１０ｃｍ以内の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第１マイクロフォン１１は、装着者の口（発声部位）から約３０ｃｍから４０ｃｍ程度離れた位置に配置される。なお、第１マイクロフォン１１が装置本体３０に設けられた場合も、装着者の口（発声部位）から第１マイクロフォン１１までの距離は同程度である。
【００２８】
第２マイクロフォン１２は、提げ紐４０の装置本体３０に接続される端部から離れた位置（例えば、接続部位から２０ｃｍ〜３０ｃｍ程度の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第２マイクロフォン１２は、装着者の首元（例えば鎖骨に当たる位置）に位置し、装着者の口（発声部位）から約１０ｃｍから２０ｃｍ程度離れた位置に配置される。
【００２９】
なお、本実施形態の端末装置１０は、図２に示す構成に限定されるものではない。例えば、マイクロフォン１１、１２は、第１マイクロフォン１１から装着者の口（発声部位）までの音波到達経路の距離が第２マイクロフォン１２から装着者の口（発声部位）までの音波到達経路の距離の数倍程度となるように、第１マイクロフォン１１と第２マイクロフォン１２の位置関係が特定されれば良い。したがって、第１マイクロフォンを首の後ろ側の提げ紐４０に設けても良い。また、マイクロフォン１１、１２は、上記のように提げ紐４０に設ける構成に限らず、種々の方法で装着者に装着して良い。例えば、第１マイクロフォン１１と第２マイクロフォン１２の各々を、個別にピン等を用いて衣服に固定するように構成しても良い。また、第１マイクロフォン１１と第２マイクロフォン１２の位置関係が所望の位置で固定されるようにデザインされた専用の装着具を用意して装着しても良い。
【００３０】
また、装置本体３０は、図２に示したように、提げ紐４０に接続されて装着者の首から提げられる構成に限らず、携帯することが容易な装置として構成されていれば良い。例えば、本実施形態のような提げ紐ではなく、クリップやベルトにより衣服や体に装着するように構成しても良いし、単にポケット等に納めて携帯するような構成としても良い。また、携帯電話その他の既存の携帯型電子情報端末に、マイクロフォン１１、１２からの音声信号を受け付けて増幅し、解析する機能を実現させても良い。
【００３１】
さらにまた、マイクロフォン１１、１２と装置本体３０（あるいは音声解析部１５）を有線で接続するのではなく、無線通信により接続しても良い。第１増幅器１３、第２増幅器１４、音声解析部１５、データ送信部１６および電源部１７は、上記の構成例では単一のケース３１に収納されることとしたが、複数の個体として構成しても良い。例えば、電源部１７をケース３１に収納せず、外部電源に接続して使用する構成としても良い。
【００３２】
＜取得音声の非言語情報に基づく発話者（自他）の識別＞
次に、本実施形態における発話者の識別方法について説明する。
本実施形態のシステムは、端末装置１０に設けられた２つのマイクロフォン１１、１２により取得された音声の情報を用いて、端末装置１０の装着者自身の発話音声と他者の発話音声とを識別する。言い換えれば、本実施形態は、取得音声の発話者に関して自他の別を識別する。また、本実施形態では、取得音声の情報のうち、形態素解析や辞書情報を用いて得られる言語情報ではなく、音圧（マイクロフォン１１、１２への入力音量）等の非言語情報に基づいて発話者を識別する。言い換えれば、言語情報により特定される発話内容ではなく、非言語情報により特定される発話状況から音声の発話者を識別する。
【００３３】
図１および図２を参照して説明したように、本実施形態において、端末装置１０の第１マイクロフォン１１は装着者の口（発声部位）から遠い位置に配置され、第２マイクロフォン１２は装着者の口（発声部位）に近い位置に配置される。すなわち、装着者の口（発声部位）を音源とすると、第１マイクロフォン１１と音源との間の距離と、第２マイクロフォン１２と音源との間の距離が大きく異なる。具体的には、第１マイクロフォン１１と音源との間の距離は、第２マイクロフォン１２と音源との間の距離の１．５〜４倍程度である。ここで、マイクロフォン１１、１２における取得音声の音圧は、マイクロフォン１１、１２と音源との間の距離が大きくなるにしたがって減衰（距離減衰）する。したがって、装着者の発話音声に関して、第１マイクロフォン１１における取得音声の音圧と第２マイクロフォン１２における取得音声の音圧とは大きく異なる。
【００３４】
一方、装着者以外の者（他者）の口（発声部位）を音源とした場合を考えると、その他者が装着者から離れているため、第１マイクロフォン１１と音源との間の距離と、第２マイクロフォン１２と音源との間の距離は、大きく変わらない。装着者に対する他者の位置によっては、両距離の差は生じ得るが、装着者の口（発声部位）を音源とした場合のように、第１マイクロフォン１１と音源との間の距離が第２マイクロフォン１２と音源との間の距離の数倍となることはない。したがって、他者の発話音声に関して、第１マイクロフォン１１における取得音声の音圧と第２マイクロフォン１２における取得音声の音圧とは、装着者の発話音声の場合のように大きく異なることはない。
【００３５】
図３は、装着者および他者の口（発声部位）と、マイクロフォン１１、１２との位置の関係を示す図である。
図３に示す関係において、装着者の口（発声部位）である音源ａと第１マイクロフォン１１との間の距離をＬａ１、音源ａと第２マイクロフォン１２との間の距離をＬａ２とする。また、他者の口（発声部位）である音源ｂと第１マイクロフォン１１との間の距離をＬｂ１、音源ｂと第２マイクロフォン１２との間の距離をＬｂ２とする。この場合、次の関係が成り立つ。
Ｌａ１＞Ｌａ２（Ｌａ１≒１．５×Ｌａ２〜４×Ｌａ２）
Ｌｂ１≒Ｌｂ２
【００３６】
図４は、マイクロフォン１１、１２と音源との間の距離と音圧（入力音量）との関係を示す図である。
上述したように、音圧は、マイクロフォン１１、１２と音源との間の距離に応じて距離減衰する。図４において、距離Ｌａ１の場合の音圧Ｇａ１と距離Ｌａ２の場合の音圧Ｇａ２とを比較すると、音圧Ｇａ２は、音圧Ｇａ１の４倍程度となっている。一方、距離Ｌｂ１と距離Ｌｂ２とが近似するため、距離Ｌｂ１の場合の音圧Ｇｂ１と距離Ｌｂ２の場合の音圧Ｇｂ２とは、ほぼ等しい。そこで、本実施形態では、この音圧比の差を用いて、取得音声における装着者自身の発話音声と他者の発話音声とを識別する。なお、図４に示した例では、距離Ｌｂ１、Ｌｂ２を６０ｃｍとしたが、ここでは音圧Ｇｂ１と音圧Ｇｂ２とがほぼ等しくなることに意味があり、距離Ｌｂ１、Ｌｂ２は図示の値に限定されない。
【００３７】
図５は、装着者自身の発話音声と他者の発話音声の識別方法を示す図である。
図４を参照して説明したように、装着者自身の発話音声に関して、第２マイクロフォン１２の音圧Ｇａ２は、第１マイクロフォン１１の音圧Ｇａ１の数倍（例えば４倍程度）である。また、他者の発話音声に関して、第２マイクロフォン１２の音圧Ｇａ２は、第１マイクロフォン１１の音圧Ｇａ１とほぼ等しい（１倍程度）。そこで、本実施形態では、第２マイクロフォン１２の音圧と第１マイクロフォン１１の音圧との比に閾値を設定する。そして、音圧比が閾値よりも大きい音声は装着者自身の発話音声と判断し、音圧比が閾値よりも小さい音声は他者の発話音声と判断する。図５に示す例では、閾値を２とし、音圧比Ｇａ２／Ｇａ１は閾値２を超えるので装着者自身の発話音声と判断され、音圧比Ｇｂ２／Ｇｂ１は閾値２よりも小さいので他者の発話音声と判断されている。
【００３８】
ところで、マイクロフォン１１、１２により取得される音声には、発話音声の他に、環境音等のいわゆる雑音（ノイズ）が含まれる。この雑音の音源とマイクロフォン１１、１２との間の距離の関係は、他者の発話音声の場合と類似する。すなわち、図４、図５に示した例によれば、雑音の音源ｃと第１マイクロフォン１１との間の距離をＬｃ１とし、雑音の音源ｃと第２マイクロフォン１２との間の距離をＬｃ２とすると、距離Ｌｃ１と距離Ｌｃ２とは近似する。そして、マイクロフォン１１、１２の取得音声における音圧比Ｇｃ２／Ｇｃ１は、閾値２よりも小さくなる。しかし、このような雑音は、バンドパスフィルタやゲインフィルタ等を用いた既存の技術によるフィルタリング処理を行うことにより発話音声から分離され、除去される。
【００３９】
＜端末装置の動作例＞
図６は、本実施形態における端末装置１０の動作を示すフローチャートである。
図６に示すように、端末装置１０のマイクロフォン１１、１２が音声を取得すると、各マイクロフォン１１、１２から取得音声に応じた電気信号（音声信号）が第１増幅器１３および第２増幅器１４へ送られる（ステップ１０１）。第１増幅器１３および第２増幅器１４は、マイクロフォン１１、１２からの音声信号を取得すると、信号を増幅して音声解析部１５へ送る（ステップ１０２）。
【００４０】
音声解析部１５は、第１増幅器１３および第２増幅器１４で増幅された信号に対してフィルタリング処理を行い、信号から環境音等の雑音（ノイズ）の成分を除去する（ステップ１０３）。次に、音声解析部１５は、雑音成分が除かれた信号に対し、一定の時間単位（例えば、数十分の一秒〜数百分の一秒）毎に、各マイクロフォン１１、１２の取得音声における平均音圧を求める（ステップ１０４）。そして、第１マイクロフォン１１における平均音圧と第２マイクロフォン１２における平均音圧との比（音圧比）を求める（ステップ１０５）。
【００４１】
次に、音声解析部１５は、ステップ１０４で求めた各マイクロフォン１１、１２における平均音圧の利得が有る場合（ステップ１０５でＹｅｓ）、発話音声が有る（発話が行われた）と判断する。そして、ステップ１０６で求めた音圧比が閾値よりも大きい場合（ステップ１０７でＹｅｓ）、音声解析部１５は、発話音声は装着者自身の発話による音声であると判断する（ステップ１０８）。また、ステップ１０５で求めた音圧比が閾値よりも小さい場合（ステップ１０７でＮｏ）、音声解析部１５は、発話音声は他者の発話による音声であると判断する（ステップ１０９）。一方、ステップ１０４で求めた各マイクロフォン１１、１２における平均音圧の利得が無い場合（ステップ１０５でＮｏ）、音声解析部１５は、発話音声が無い（発話が行われていない）と判断する（ステップ１１０）。
【００４２】
この後、音声解析部１５は、データ送信部１６を介して、ステップ１０４〜ステップ１１０の処理で得られた情報（発話の有無、発話者の情報）を解析結果としてホスト装置２０へ送信させる（ステップ１１１）。このとき、発話者毎（装着者自身または他者）の発話時間の長さや平均音圧の利得の値、その他の付加情報を解析結果と共にホスト装置２０へ送信させても良い。
【００４３】
なお、本実施形態では、第１マイクロフォン１１の音圧と第２マイクロフォン１２の音圧とを比較することにより、発話音声が装着者自身の発話による音声か他者の発話による音声かを判断した。しかし、本実施形態による発話者の識別は、マイクロフォン１１、１２により取得された音声信号そのものから抽出される非言語情報に基づいて行うものであれば良く、音圧の比較には限定されない。例えば、第１マイクロフォン１１における音声取得時刻（音声信号の出力時刻）と第２マイクロフォン１２における音声取得時刻とを比較しても良い。この場合、装着者自身の発話音声は、装着者の口（発声部位）から第１マイクロフォン１１までの距離と、装着者の口（発声部位）から第２マイクロフォン１２までの距離との差が大きいため、音声取得時刻にある程度の差（時間差）が生じる。一方、他者の発話音声は、装着者の口（発声部位）から第１マイクロフォン１１までの距離と、装着者の口（発声部位）から第２マイクロフォン１２までの距離との差が小さいため、装着者の発話音声の場合よりも音声取得時刻の時間差が小さい。そこで、音声取得時刻の時間差に対して閾値を設定し、音声取得時刻の時間差が閾値よりも大きい場合には装着者自身の発話と判断し、音声取得時刻の時間差が閾値よりも小さい場合には他者の発話と判断するようにしても良い。
【００４４】
そしてホスト装置２０のデータ受信部２１では、マイクロフォン１１、１２により取得された音声が装着者のものであるか装着者以外の他者のものであるかの自他識別情報を含む音声の音声信号に関する情報を受信する。そしてホスト装置２０のデータ受信部２１では、音声の音声信号に関する情報を受信する。ここでデータ受信部２１により受信される音声の音声信号に関する情報には、マイクロフォン１１、１２により取得された音声が装着者のものであるか装着者以外の他者のものであるかを識別した情報である自他識別情報が含まれる。そしてホスト装置２０のデータ解析部２３において、この音声の音声信号に関する情報より音声の同調性を判別することで、装着者の会話関係を判定する。即ち本実施の形態では、データ解析部２３は、装着者の会話関係を判定する会話関係判定部として機能する。
【００４５】
＜ホスト装置の動作例＞
図７は、本実施形態におけるホスト装置２０の動作を示すフローチャートである。
以下、図１、図７を使用して本実施形態のホスト装置２０の動作を説明する。
まずデータ受信部２１が、複数の端末装置１０から自他識別情報を含む音声の音声信号に関する情報を受信する（ステップ２０１）。そしてこの情報は、いったんデータ蓄積部２２に蓄積される（ステップ２０２）。
【００４６】
次にこの情報は、データ解析部２３に送られ、データ解析部２３において複数の端末装置１０から送られた音声の同調性が判別される（ステップ２０３）。
【００４７】
複数の装着者の何れについても同調性がないと判断した場合（ステップ２０３でＮｏ）、ステップ２０１に戻る。一方、複数の装着者の何れかについて同調性があると判断された場合（ステップ２０３でＹｅｓ）、これらの装着者は、会話関係にあると判定される（ステップ２０４）。
【００４８】
以下、データ解析部２３で行なわれる音声の同調性を判別する方法について説明する。
図８は、本実施形態の端末装置１０をそれぞれ装着した複数の装着者が会話している状況を示す図である。図９は、図８の会話状況における各端末装置１０Ａ、１０Ｂの発話情報の例を示す図である。
図８に示すように、端末装置１０をそれぞれ装着した二人の装着者Ａ、装着者Ｂが会話している場合を考える。このとき、装着者Ａ、装着者Ｂの発話音声は、装着者Ａの端末装置１０Ａと装着者Ｂの端末装置１０Ｂの双方に捉えられる。
【００４９】
端末装置１０Ａおよび端末装置１０Ｂからは、それぞれ独立に、発話情報がホスト装置２０に送られる。このとき、端末装置１０Ａから取得した発話情報と、端末装置１０Ｂから取得した発話情報とは、図９に示すように、発話時間の長さや発話者が切り替わったタイミング等の発話状況を示す情報は近似する。そこで、本適用例のホスト装置２０は、端末装置１０Ａから取得した情報と端末装置１０Ｂから取得した情報とを比較することにより、これらの情報が同じ発話状況を示していると判断し、装着者Ａと装着者Ｂとが会話していることを認識する。即ち、装着者Ａと装着者Ｂの音声の同調性が判断できる。ここで、発話状況を示す情報としては、少なくとも、上述した発話者ごとの個々の発話における発話時間の長さ、個々の発話の開始時刻と終了時刻、発話者が切り替わった時刻（タイミング）等のように、発話に関する時間情報が用いられる。なお、特定の会話に係る発話状況を判断するために、これらの発話に関する時間情報の一部のみを用いても良いし、他の情報を付加的に用いても良い。
【００５０】
ここで装着者Ａの端末装置１０Ａにおいて装着者の発話として認識される音声は、装着者Ｂの端末装置１０Ｂでは他者の発話として認識される。反対に、端末装置１０Ｂにおいて装着者の発話として認識される音声は、端末装置１０Ａでは他者の発話として認識される。そのため端末装置１０Ａから取得した発話情報と、端末装置１０Ｂから取得した発話情報とは、図８に示すように、発話者（装着者と他者）の識別結果は反対になるが、発話時間の長さや発話者が切り替わったタイミング等の発話状況を示す情報は近似する。そこで、本適用例のホスト装置２０は、端末装置１０Ａから取得した情報と端末装置１０Ｂから取得した情報とを比較することにより、これらの情報が同じ発話状況を示していると判断し、装着者Ａと装着者Ｂとが会話していることを認識することができる。
【００５１】
このように本実施の形態では、上述した自他識別情報を使用して、複数の端末装置１０からマイクロフォン１１、１２にて受信した音声の音声信号の同調性を判別する。これにより同調性の判定の精度をさらに向上させることができる。
つまり自他識別情報が付与されることで、取得された音声が装着者自信によるものであるのか、装着者以外の他者のものであるのかが予め判別できているため、発話者が切り替わったタイミングなどが明確に把握できる。そしてこのタイミングにおいて発話者が逆転する装着者同士を見つければ、この装着者同士が会話をしていると判断できる。
【００５２】
図１０（ａ）〜（ｂ）は、本実施形態における音声の同調性を判別する方法をさらに具体的に説明した図である。
図１０（ａ）に示すように、４人の装着者である装着者Ａ、装着者Ｂ、装着者Ｃ、装着者Ｄは、同じ室内におり、そして互いの音声が届く範囲内に位置している。そしてこのうち装着者Ａと装着者Ｂとが会話を行なっている場合を想定している。そして図１０（ｂ）では、装着者Ａ、装着者Ｂ、装着者Ｃ、装着者Ｄの各装着者自身で発話しているときの発話情報を抜き出して示している。これは上記の自他識別情報を用いることで、各装着者の端末装置１０により取得された音声の音声信号の中から抽出が可能な情報である。
【００５３】
本実施の形態では、同調性を判別するのに、予め基準となる装着者を選択し、予め定められた時間内におけるこの基準となる装着者と他の装着者の発話情報の重複時間、および空隙時間を算出する。ここで重複時間とは、予め定められた装着者と他の装着者の発話情報が重なる時間である。また空隙時間とは、予め定められた装着者と他の装着者の双方の発話情報がない時間である。
【００５４】
図１０（ｂ）では、一例として装着者Ａを基準となる装着者とし、装着者Ａと他の装着者である装着者Ｂ、装着者Ｃ、装着者Ｄとの間のそれぞれの重複時間を領域Ｉとして図示している。また装着者Ａと他の装着者である装着者Ｂ、装着者Ｃ、装着者Ｄとの間のそれぞれの空隙時間を領域ＩＩとして図示している。
【００５５】
ここで装着者Ａの発話情報と装着者Ｂの発話情報とを比較すると、図示した時間内において重複時間および空隙時間の双方が非常に少ないことがわかる。つまりこの場合、重複時間が少ないことから、装着者Ａと装着者Ｂとは、同時に発話している時間がより短いということが言える。さらに空隙時間が少ないことから装着者Ａと装着者Ｂとは、同時に発話していない時間がより短いということが言える。即ち装着者Ａと装着者Ｂとは、ほぼ交互に発話していると言える。よってこの場合、装着者Ａと装着者Ｂとは会話関係にあると判定できる。
【００５６】
また装着者Ａの発話情報と装着者Ｃの発話情報とを比較すると、図示した時間内において重複時間が非常に多いことがわかる。つまりこの場合、装着者Ａと装着者Ｃとは、同時に発話している時間がより長いということが言える。この場合、装着者Ａと装着者Ｃとは会話が成り立っているとは考えにくく、会話関係はないと判定できる。
【００５７】
さらに装着者Ａの発話情報と装着者Ｄの発話情報とを比較すると、図示した時間内において空隙時間が非常に多いことがわかる。つまりこの場合、装着者Ａと装着者Ｄとは、双方とも発話していない時間がより長いということが言える。この場合、装着者Ａと装着者Ｄとは会話が成り立っているとは考えにくく、会話関係はないと判定できる。
【００５８】
このように予め定められた時間内の各装着者同士の発話情報の重複時間および空隙時間を算出することで、この時間内における各装着者同士の会話関係を判定することができる。
【００５９】
なお上述した例では、複数の装着者の中での２人の会話関係を判定していたが、３人以上の装着者の会話関係を判定することも可能である。また上述した例では、重複時間および空隙時間の双方を使用して、各装着者同士の会話関係を判定していたが、何れか一方を使用して各装着者同士の会話関係を判定することも可能である。つまり本実施の形態では、データ解析部２３は、複数の装着者から取得した音声の重複時間の長さおよび空隙時間の長さの少なくとも一方が予め定められた範囲内であるか否かで同調性を判別する。
【００６０】
以上詳述したようにして端末装置１０を装着する装着者相互の会話関係を把握することができるため、装着者のグループ全体におけるコミュニケーションの傾向を分析することができる。また、特定の装着者に対して上記のような解析を行うことにより、装着者個人のコミュニケーションの傾向を分析することができる。
【００６１】
＜端末装置の具体例＞
図１１（ａ）〜（ｂ）は、実際に使用される端末装置１０の具体例を示した図である。
このうち図１１（ａ）は、図２に示した端末装置１０とほぼ同様の構成をとり、第１マイクロフォン１１、第２マイクロフォン１２の２つのマイクロフォンを配したものである。ただし、第１マイクロフォン１１は、装置本体３０に配置されている。そして第１マイクロフォン１１と第２マイクロフォン１２との距離を３５ｃｍとしている。
【００６２】
また図１１（ｂ）は、第１マイクロフォン１１、第２マイクロフォン１２の他に、第３マイクロフォン１８の３つのマイクロフォンを配したものである。そして第１マイクロフォン１１と第２マイクロフォン１２との距離、第１マイクロフォン１１と第３マイクロフォン１８の距離を共に３５ｃｍとしている。そして第３マイクロフォン１８と第２マイクロフォン１２の距離は、１０ｃｍとしている。
【００６３】
図１１（ｂ）のようにマイクロフォンが３箇所以上に配された端末装置１０を使用することで、別々のマイクロフォンの組を使用して、上述した会話関係の判断を行なうことができる。図１０（ｂ）で示した端末装置１０では、第１マイクロフォン１１、第２マイクロフォン１２の組、および第１マイクロフォン１１と第３マイクロフォン１８の組が選択できる。このように複数の組のマイクロフォンを使用することで、データ解析部２３での複数の装着者の会話関係の判断をより精度良く行なうことができる。
【００６４】
＜プログラムの説明＞
なお図７で説明を行った本実施形態におけるホスト装置２０が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、ホスト装置２０に設けられた制御用コンピュータ内部の図示しないＣＰＵが、ホスト装置２０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。
【００６５】
よって図７で説明を行ったホスト装置２０が行なう処理は、コンピュータに、装着者の口（発声部位）からの距離が異なる位置に配され音声を取得するための複数のマイクロフォンを備える端末装置１０から音声の音声信号に関する情報を受信する機能と、複数のマイクロフォンにより取得された音声の音圧差により音声が装着者のものであるか装着者以外の他者のものであるかを識別した情報である自他識別情報を使用して、複数の端末装置１０からデータ受信部２１にて受信した音声の音声信号に関する情報より音声の同調性を判別することで、装着者の会話関係を判定する機能と、を実現させるプログラムとして捉えることもできる。
【実施例】
【００６６】
＜実験方法＞
(実施例１)
装着者Ａ、装着者Ｂ、装着者Ｃ、装着者Ｄを図１２（ａ）に示すように配置した。そして装着者Ａと装着者Ｂとの間で、４０回の会話を行ない、さらに同じ時間帯において装着者Ｃと装着者Ｄとの間で、２０回の会話を行なった。なお各装着者は、互いの音声が届く範囲内に位置している。
そしてこの状況の下で、図７〜図１０で示した手法を用いて、各装着者間の会話関係を判定した。
【００６７】
(比較例１)
装着者Ａ、装着者Ｂ、装着者Ｃ、装着者Ｄを図１３（ａ）に示すように配置した。これは図１２（ａ）の配置と同一の配置である。ただし端末装置としてマイクロフォンが１つのものを用いた（例えば、図２に示した端末装置１０に対し、マイクロフォン１２のみを配置し、マイクロフォン１１を配置しなかったものを使用）。そしてこれを用いて自他識別情報を出力したこと以外は、実施例１と同様にして各装着者の会話関係を判定した。この場合、１つのマイクロフォンにより自他識別情報を出力するのに、このマイクロフォンにより取得された音圧と予め定められた閾値と比較することで行なった。即ちマイクロフォンにより取得された音圧が予め定められた閾値より大きい場合は装着者の音声とし、予め定められた閾値より小さい場合を装着者以外の他者の音声であるとした。
【００６８】
＜実験結果＞
実施例１の結果を図１２（ｂ）に示し、比較例１の結果を図１３（ｂ）に示す。
図１２（ｂ）および図１３（ｂ）に示した表において、各装着者間について行と列が交差する箇所に記載された数字は、会話関係があると判定された回数を示している。
図１２（ｂ）に示した表から、実施例１において、装着者Ａと装着者Ｂとの会話関係があると判定された回数は、３６回であり、装着者Ｃと装着者Ｄとの会話関係があると判定された回数は、１７回であったことがわかる。また他の装着者間に会話関係があると判定された回数は、何れも０回であったことがわかる。
一方、図１３（ｂ）に示した表から、比較例１において、装着者Ａと装着者Ｂとの会話関係があると判定された回数は、２０回であり、装着者Ｃと装着者Ｄとの会話関係があると判定された回数は、１０回であったことがわかる。比較例１では、他の装着者間では会話は行なわなかったが、何れの装着者間においても表に示したように会話関係があると判定された。
【００６９】
実施例１と比較例１とを比較すると、実施例１の方が、会話関係の判定の結果がより良好であることがわかる。比較例１について会話関係の判定の結果が悪化した原因としては、自他識別が良好に行なわれなかったことが挙げられる。即ち、マイクロフォンを１つだけ使用し、上記の方法により自他識別を行なった場合、例えば、装着者の発話でない大きな音がマイクロフォンに入った場合でも、装着者の音声であると判断される。また装着者が小声で発話した場合は、装着者の音声ではなく他者の音声であると判断される。さらに他者が大声で発話した場合は、他者の音声ではなく装着者の音声であると判断される。このように自他識別の情報の精度が悪化することで、装着者間の会話関係の判定の精度が悪化したことが一因として考えられる。
【符号の説明】
【００７０】
１…音声解析システム、１０…端末装置、１１…第１マイクロフォン、１２…第２マイクロフォン、１５…音声解析部、１６…データ送信部、１８…第３マイクロフォン、２０…ホスト装置、２１…データ受信部、２３…データ解析部、３０…装置本体、４０…提げ紐
【図１】
2013140534.tif 000003
【図２】
2013140534.tif 000004
【図３】
2013140534.tif 000005
【図４】
2013140534.tif 000006
【図５】
2013140534.tif 000007
【図６】
2013140534.tif 000008
【図７】
2013140534.tif 000009
【図８】
2013140534.tif 000010
【図９】
2013140534.tif 000011
【図１０】
2013140534.tif 000012
【図１１】
2013140534.tif 000013
【図１２】
2013140534.tif 000014
【図１３】
2013140534.tif 000015