(57)【要約】【課題】事前の作業を不要とし、より簡便に話者を特定することを目的とする。【解決手段】話者特定装置５０は、複数の対象者にそれぞれ対応して設けられた複数のマイクロフォンによって取得された複数の音声データを用いて、話者を特定する話者特定装置５０を備える。話者特定装置５０は、音声データ毎に、音の大きさに関する特徴を示す代表値を所定の第１期間毎に取得する代表値取得部５２と、異なる２つの音声データから取得された２つの代表値同士を第１期間毎に比較し、比較結果を第１期間毎に得る比較部５４と、第１期間よりも長い第２期間に得られた複数の比較結果を用いて、第２期間における話者を特定する特定部５５とを備える。【選択図】図４
2020190669.tif 000002
【特許請求の範囲】
【請求項１】
複数の対象者にそれぞれ対応して設けられた複数のマイクロフォンによって取得された複数の音声データを用いて、話者を特定する話者特定装置であって、
前記音声データ毎に、音の大きさに関する特徴を示す代表値を所定の第１期間毎に取得する代表値取得部と、
異なる２つの前記音声データから取得された２つの前記代表値同士を前記第１期間毎に比較し、比較結果を前記第１期間毎に得る比較部と、
前記第１期間よりも長い第２期間に得られた複数の前記比較結果を用いて、前記第２期間における話者を特定する特定部と
を具備する話者特定装置。
【請求項２】
前記代表値を前記音声データ間で標準化した標準化代表値を算出する標準化処理部を備え、
前記比較部は、前記標準化代表値を前記代表値として用いて、前記比較結果を得る請求項１に記載の話者特定装置。
【請求項３】
前記比較部は、異なる２つの前記音声データから取得された２つの前記代表値同士の差分を前記第１期間毎に算出し、
前記特定部は、前記差分を前記第２期間毎に平均化した差分平均値を算出し、前記差分平均値の正負に基づいて話者を特定する請求項１または２に記載の話者特定装置。
【請求項４】
前記特定部は、前記差分平均値の正負を判定し、同じ符号が所定回数または所定期間連続した場合に、その符号に対応する話者が発話していると判定する請求項３に記載の話者特定装置。
【請求項５】
前記比較部は、前記マイクロフォンが３台以上設置されている場合に、異なる２台の前記マイクロフォンからなる組み合わせをそれぞれ生成し、生成した各前記組み合わせに対応する２つの前記音声データから取得された前記代表値同士を前記第１期間毎に比較して、比較結果を得、
前記特定部は、それぞれの前記組み合わせにおいて、前記第２期間に得られた複数の前記比較結果を用いて、前記第２期間における話者を特定する請求項１から４のいずれかに記載の話者特定装置。
【請求項６】
前記第１期間は、前記音声データに基づく音波波形の一周期よりも長い期間に設定されている請求項１から５のいずれかに記載の話者特定装置。
【請求項７】
前記音声データのサンプリング周波数は４４．１ｋＨｚであり、
前記第１期間は、１ｍｓ以上３０ｍｓ以下の範囲内に設定されている請求項１から６のいずれかに記載の話者特定装置。
【請求項８】
前記第２期間は、前記第１期間の５倍以上の期間に設定されている請求項１から７のいずれかに記載の話者特定装置。
【請求項９】
複数の対象者にそれぞれ対応して設けられた複数のマイクロフォンによって取得された複数の音声データを用いて、話者を特定する話者特定方法であって、
前記音声データ毎に、音の大きさに関する特徴を示す代表値を所定の第１期間毎に取得する代表値取得工程と、
異なる２つの前記音声データから取得された２つの前記代表値同士を前記第１期間毎に比較し、比較結果を前記第１期間毎に得る比較工程と、
前記第１期間よりも長い第２期間に得られた複数の前記比較結果を用いて、前記第２期間における話者を特定する特定工程と
をコンピュータが実行する話者特定方法。
【請求項１０】
複数の対象者にそれぞれ対応して設けられた複数のマイクロフォンによって取得された複数の音声データを用いて、話者を特定するための話者特定プログラムであって、
前記音声データ毎に、音の大きさに関する特徴を示す代表値を所定の第１期間毎に取得する代表値取得処理と、
異なる２つの前記音声データから取得された２つの前記代表値同士を前記第１期間毎に比較し、比較結果を前記第１期間毎に得る比較処理と、
前記第１期間よりも長い第２期間に得られた複数の前記比較結果を用いて、前記第２期間における話者を特定する特定処理と
をコンピュータに実行させるための話者特定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者特定装置、話者特定方法、及び話者特定プログラムに関するものである。
【背景技術】
【０００２】
近年、音声認識技術の発展に伴い、面接や会議等における話者の音声を自動的に文字データ化し、議事録を自動作成するシステムが開発されている。このような文字認識を行う際、マイクロフォンによって取得された音声データが誰によって発話されたのかを特定する必要がある。
【０００３】
話者を特定する方法として、例えば、特許文献１に開示される方法が知られている。特許文献１には、話者が発した音声の特徴量を予め記憶しておき、マイクロフォンで取得された音声データの特徴量と予め記憶しておいた話者の特徴量とを比較することにより、話者を特定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４５１６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された発明では、予め話者の特徴量を記憶する必要があり、利便性が低い。また、特徴量が記憶されていない話者については特定することができないため、汎用性に乏しい。
また、話者の声が似ている場合、特徴量の比較では区別しにくく、精度が低い。
【０００６】
本発明は、このような事情に鑑みてなされたものであって、事前の作業を不要とし、より簡便に話者を特定することのできる話者特定装置、話者特定方法、及び話者特定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第一態様は、複数の対象者にそれぞれ対応して設けられた複数のマイクロフォンによって取得された複数の音声データを用いて、話者を特定する話者特定装置であって、前記音声データ毎に、音の大きさに関する特徴を示す代表値を所定の第１期間毎に取得する代表値取得部と、異なる２つの前記音声データから取得された２つの前記代表値同士を前記第１期間毎に比較し、比較結果を前記第１期間毎に得る比較部と、前記第１期間よりも長い第２期間に得られた複数の前記比較結果を用いて、前記第２期間における話者を特定する特定部とを具備する話者特定装置である。
【０００８】
上記話者特定装置によれば、代表値取得部によって各音声データにおける代表値が第１期間毎に取得され、比較部によって、第１期間毎に、異なる２つの音声データから取得された２つの代表値が比較されて、比較結果が得られる。そして、特定部によって、第１期間よりも長い第２期間に得られた複数の比較結果を用いて、第２期間における話者が特定される。このように、サンプリングされた全ての音声データを用いるのではなく、各第１期間における代表値を取得することとしたので、音声データに含まれるノイズを低減することができるとともに、処理するデータ量を低減することができる。
また、本態様によれば、第１期間毎に異なる音声データから取得された代表値同士を比較し、第１期間よりも長い第２期間内における複数の比較結果を用いて話者を特定する。音声データにはノイズが含まれているため、例えば、第１期間毎に話者を特定してしまうと、ノイズの影響によって話者が頻繁に切り替わってしまうおそれがある。これに対し、本態様によれば、第１期間よりも長い第２期間内に得られた複数の比較結果を用いて第２期間における話者を特定するので、話者が頻繁に切り替えられることを抑制することができ、話者の特定精度を向上させることが可能となる。
【０００９】
本発明の第二態様は、複数の対象者にそれぞれ対応して設けられた複数のマイクロフォンによって取得された複数の音声データを用いて、話者を特定する話者特定方法であって、前記音声データ毎に、音の大きさに関する特徴を示す代表値を所定の第１期間毎に取得する代表値取得工程と、異なる２つの前記音声データから取得された２つの前記代表値同士を前記第１期間毎に比較し、比較結果を前記第１期間毎に得る比較工程と、前記第１期間よりも長い第２期間に得られた複数の前記比較結果を用いて、前記第２期間における話者を特定する特定工程とをコンピュータが実行する話者特定方法である。
【００１０】
本発明の第三態様は、複数の対象者にそれぞれ対応して設けられた複数のマイクロフォンによって取得された複数の音声データを用いて、話者を特定するための話者特定プログラムであって、前記音声データ毎に、音の大きさに関する特徴を示す代表値を所定の第１期間毎に取得する代表値取得処理と、異なる２つの前記音声データから取得された２つの前記代表値同士を前記第１期間毎に比較し、比較結果を前記第１期間毎に得る比較処理と、前記第１期間よりも長い第２期間に得られた複数の前記比較結果を用いて、前記第２期間における話者を特定する特定処理とをコンピュータに実行させるための話者特定プログラムである。
【発明の効果】
【００１１】
本発明によれば、事前の作業を不要とし、より簡便に話者を特定することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る話者特定システムにおいて、対象者が２名の場合を想定した構成を概略的に示した図である。
【図２】本発明の一実施形態に係る話者特定システムにおいて、対象者が２名の場合を想定した場合のマイクと対象者との対応関係について説明するための図である。
【図３】本発明の一実施形態に係る話者特定装置のハードウェア構成の一例を示した概略構成図である。
【図４】本発明の一実施形態に係る話者特定装置が有する機能を模式的に示した機能ブロック図である。
【図５】本発明の一実施形態に係るマイクによって取得された音声データの波形の一例を模式的に示した図である。
【図６】本発明の一実施形態に係る代表値取得部によって実現される処理について説明するための図である。
【図７】本発明の一実施形態に係る特定部によって実現される処理について説明するための図である。
【図８】本発明の一実施形態に係る話者特定方法の手順の一例を示したフローチャートである。
【図９】本発明の一実施形態に係る話者特定システムにおいて、対象者が３名の場合を想定した構成を概略的に示した図である。
【図１０】本発明の一実施形態に係る話者特定システムにおいて、対象者が３名の場合を想定した場合のマイクと対象者との対応関係について説明するための図である。
【図１１】本発明の一実施形態に係る特定部によって実現される処理について説明するための図である。
【発明を実施するための形態】
【００１３】
以下に、本発明に係る話者特定装置、話者特定方法、及び話者特定プログラムの一実施形態について、図面を参照して説明する。以下、説明の便宜上、まず最初に、人物が２名の場合を例示して説明し、次に、人物が３名の場合を例示して説明する。
【００１４】
図１は、本発明の一実施形態に係る話者特定システム１の構成を概略的に示した図である。図１に示すように、本実施形態に係る話者特定システム１は、複数のマイクロフォン（以下、単に「マイク」という。）１０、２０と、マイク１０、２０によって取得された音声データに基づいて話者を特定する話者特定装置５０とを備えている。
【００１５】
マイク１０、２０は、例えば、図２に示すように、人物Ａ、Ｂに対応して設けられる。図２において、人物Ａに対応してマイク１０が、人物Ｂに対応してマイク２０が設けられている。マイク１０は、人物Ａからの距離Ｌａ１０と人物Ｂからの距離Ｌｂ１０とが異なる位置に配置されている。同様に、マイク２０は、人物Ａからの距離Ｌａ２０と人物Ｂからの距離Ｌｂ２０とが異なる位置に配置されている。なお、各マイク１０、２０は、各人物Ａ、Ｂに装着されていてもよい。
【００１６】
図２において、マイク１０は、人物Ｂよりも人物Ａに近い位置に配置され、マイク２０は、人物Ａよりも人物Ｂに近い位置に配置されている。すなわち、各人物Ａ、Ｂからマイク１０、２０までの距離には、以下の（１）、（２）式に示す関係が成立している。
【００１７】
Ｌａ１０＜Ｌｂ１０      （１）
Ｌｂ２０＜Ｌａ２０      （２）
【００１８】
図３は、話者特定装置５０のハードウェア構成の一例を示した概略構成図である。図３に示すように、話者特定装置５０は、例えば、ＣＰＵ１１、ＣＰＵ１１が実行するプログラム及びこのプログラムにより参照されるデータ等を記憶するための補助記憶装置１２、各プログラム実行時のワーク領域として機能する主記憶装置１３、外部機器（例えば、マイク１０、２０等）やネットワークに接続するための少なくとも一つの通信インターフェース１４等を備えている。また、話者特定装置５０は、例えば、キーボード、マウス、ポインティングデバイス等のユーザインタフェースとして機能する入力部１５、液晶ディスプレイ等の表示部１６等を備えていてもよい。
これら各部は、例えば、バス１８を介して接続されている。補助記憶装置１２は、例えば、ＨＤＤ（Hard  Disk  Drive）などの磁気ディスク、光磁気ディスク、ＳＳＤ（Solid  State  Drive）等の半導体メモリ等が一例として挙げられる。
【００１９】
後述する各種機能を実現するための一連の処理は、一例として、プログラム（例えば、話者特定プログラム）の形式で補助記憶装置１２に記憶されており、このプログラムをＣＰＵ１１が主記憶装置１３に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、補助記憶装置１２に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等である。
【００２０】
図４は、本実施形態に係る話者特定装置５０が有する機能を模式的に示した機能ブロック図である。図４に示すように、話者特定装置５０は、例えば、音声データ記憶部５１、代表値取得部５２、標準化処理部５３、比較部５４、及び特定部５５を備えている。
【００２１】
音声データ記憶部５１には、マイク１０、２０によって取得された音声データＤ１、Ｄ２が格納される。
例えば、マイク１０、２０と話者特定装置５０とが有線回線または無線回線を介して接続されている場合、話者特定装置５０は、マイク１０、２０から出力される音声データを有線回線又は無線回線を介して取得し、音声データ記憶部５１に格納する。また、話者特定装置５０とマイク１０、２０とは他の端末等を介して間接的に接続されていてもよい。
【００２２】
例えば、マイク１０、２０によって取得された音声データをマイク１０、２０に接続される記憶媒体に一旦記憶しておき、その後、所定のタイミングで、記憶媒体に格納されている音声データを通信媒体を介して話者特定装置５０に転送することとしてもよい。この場合、マイク１０、２０と記憶媒体とは個別に設けられていてもよいし、ボイスレコーダのように、音声取得機能と記憶媒体とが一体化された装置とされていてもよい。また、話者特定装置５０は、クラウド上に存在していてもよい。
【００２３】
また、上記例は一例であり、マイク１０、２０によって取得された音声データを話者特定装置５０が取得する手法については、多種多様な公知の手法を採用することが可能である。
上記の通り、音声データ記憶部５１には、マイク１０によって取得された音声データＤ１、マイク２０によって取得された音声データＤ２が格納される。
図５は、マイク１０によって取得される音声データＤ１及びマイク２０によって取得される音声データＤ２の波形の一例を模式的に示した図である。
【００２４】
代表値取得部５２は、音声データ記憶部５１に格納されている音声データＤ１、Ｄ２毎に音の大きさに関する特徴を示す代表値を所定の第１期間毎に取得する。図６は、図５に示した音声データＤ１の時間軸を拡大して示した図である。図６に示すように、音声データＤ１は、少なくとも音声が取得された時刻に関連付けられた音声強度を含むデータである。
【００２５】
代表値取得部５２は、例えば、音声データＤ１から所定の第１期間ＴＷｉ（ｉ＝１〜ｎ）毎に代表値Ｕｉをそれぞれ取得する。第１期間ＴＷｉは、例えば、音声データに基づく音波波形の一周期よりも長い期間に設定されている。一例として、音声データのサンプリング周波数が４４．１ｋＨｚに設定されている場合、第１期間ＴＷｉは、１ｍｓ以上３０ｍｓ以下の範囲内、好ましくは、５ｍｓ以上２０ｍｓ以下の範囲内に設定されている。
【００２６】
このような範囲に第１期間ＴＷｉを設定することにより、適切な代表値を取得することが可能となる。なお、第１期間ＴＷｉに含まれるサンプリングデータの数は、話者の声の高さに応じて変化する。声が高ければ第１期間ＴＷｉに含まれるサンプリングデータ数は多くなる。したがって、例えば、事後的に話者の特定処理を行う場合には、取得した音声データＤ１、Ｄ２の周波数に応じて、第１期間ＴＷｉに含まれるデータ数がほぼ均等になるように、第１期間ＴＷｉを動的に変化させることとしてもよい。
【００２７】
代表値は、例えば、各第１期間ＴＷｉにおける最大値である。また、代表値は、最大振幅値であってもよいし、最小強度値と最大強度値との差分であってもよい。また、例えば、各音声強度の絶対値のうち、所定の閾値以上の値を抽出し、抽出した値の平均値を代表値としてもよい。このように、代表値は、各第１期間ＴＷｉにおいて音の大きさの特徴を示す特徴量であればよく、具体的な決定手法については適宜設定することが可能である。なお、以下においては、説明の便宜上、最大値を代表値として採用する場合を例示して説明する。
【００２８】
上記のように、代表値取得部５２は、音声データＤ１において、各第１期間ＴＷｉにおける最大値Ｕｉを代表値として取得する。また、代表値取得部５２は、音声データＤ２においても同様に、各第１期間ＴＷｉ（ｉ＝１〜ｎ）における最大値Ｖｉを代表値として取得する。
【００２９】
標準化処理部５３は、代表値取得部５２によって取得された代表値Ｕｉ、Ｖｉを標準化する。例えば、話者の声の大きさが異なる場合、各マイク１０、２０によって取得される音波の強度に不均衡が生じることとなる。標準化処理部５３は、話者の声の大きさによる音声強度のアンバランスを解消するため、標準化処理を行う。
【００３０】
例えば、標準化処理は以下のように行われる。
まず、標準化処理部５３は、音声データＤ１の代表値Ｕｉ（ｉ＝１〜ｎ）の平均値Ｘ、音声データＤ２の代表値Ｖｉ（ｉ＝１〜ｎ）の平均値Ｙを算出する。
【００３１】
【数１】
2020190669.tif 000003
【００３２】
（３）、（４）式において、ｎは音声データＤ１、Ｄ２における代表値の数、換言すると、第１期間ＴＷｉの数である。
【００３３】
続いて、標準化処理部５３は、上記代表値の平均値Ｘ、Ｙを用いて、各代表値Ｕｉ（ｉ＝１〜ｎ）、Ｖｉ（ｉ＝１〜ｎ）を標準化した標準化代表値Ｕｉ＿ｓｔ（ｉ＝１〜ｎ）、Ｖｉ＿ｓｔ（ｉ＝１〜ｎ）を算出する。標準化処理の演算式は以下の通りである。
【００３４】
【数２】
2020190669.tif 000004
【００３５】
比較部５４は、異なる各音声データＤ１、Ｄ２から取得された２つの標準化代表値同士を第１期間ＴＷｉ毎に比較し、第１期間ＴＷｉ毎に比較結果を得る。
具体的には、比較部５４は、同じ第１期間ＴＷｉ（ｉ＝１〜ｎ）に得られた標準化代表値Ｕｉ＿ｓｔ、Ｖｉ＿ｓｔの差分ｄｉ（ｉ＝１〜ｎ）を演算する。演算式は以下の（７）式で表される。
【００３６】
ｄｉ＝Ｕｉ＿ｓｔ−Ｖｉ＿ｓｔ      （７）
【００３７】
特定部５５は、第１期間ＴＷｉよりも長い第２期間ＴＹｊ（ｊ＝１〜ｍ）毎に、第２期間ＴＹｊ内に得られた複数の比較結果ｄｉを用いて話者を特定する。
例えば、特定部５５は、第２期間ＴＹｊ毎に差分ｄｉの平均値である差分平均値ｄｊ＿ａｖｅを算出する。
【００３８】
例えば、第２期間ＴＹｊは、第１期間ＴＷｉの５倍以上の期間に設定される。本実施形態では、一例として、第２期間ＴＹｊは、２５０ｍｓに設定されている。例えば、第１期間ＴＷｉが１０ｍｓに設定されている場合、各第２期間ＴＹｊには２５個の差分ｄｉが存在することとなるので、それら２５個の差分ｄｉの平均値ｄｊ＿ａｖｅを算出する。
ここで、上記２５０ｍｓは第２期間ＴＹｊの一例であり、例えば、要求精度を満足する精度で話者を特定できるような範囲に設定されていればよい。具体的には、第２期間ＴＹｊは、第１期間の５倍以上の期間に設定される。
【００３９】
続いて、特定部５５は、差分平均値ｄｊ＿ａｖｅが正の値（すなわち、ｄｊ＿ａｖｅ＞０）か負の値（ｄｊ＿ａｖｅ＜０）かを判別する。なお、差分平均値の絶対値が所定の閾値以下の場合には、ゼロと判定する。すなわち、この場合には、誰も発話していないか、もしくはノイズであると判定する。そして、図７に示すように、同じ正負の符号またはゼロが所定回数（図７では、６回）または所定期間以上連続した場合に、その符号に応じた人物が話者であると特定する。
【００４０】
例えば、図７に示すように、第２期間ＴＹｊにおける正負の符号が、正が６回、負が２回、０（ゼロ）が２回、負が１回、正が７回、負が１回、正が２回、負が８回、正が１回、０（ゼロ）が６回のように現れた場合を想定する。このような場合、正が６回現れた後に、負またはゼロが６回連続して現れるまでは、話者が人物Ａと特定される。そして、例えば、負の符号が６回続いた場合には、話者が人物Ａから人物Ｂに切り替わったと判定し、その負の符号が最初に現れた時点から話者が人物Ｂであると特定される。そして、次に、正の符号またはゼロが６回以上続かない限り、話者は人物Ｂであると特定される。また、例えば、ゼロが６回続いた場合には、いずれの話者も発話していないと判定される。
この結果、例えば、図７に例示するように話者Ａ、話者Ｂ、発話なしが特定されることとなる。
このように、正、負、またはゼロの符号が所定回数または所定期間以上連続した場合に、話者が切り替わった、または、いずれの話者も発話していないと判定することにより、ノイズの影響による話者の誤った判別を抑制することができる。
【００４１】
次に、上述した本実施形態に係る話者特定方法について、図８を参照して簡単に説明する。
まず、マイク１０、２０によって人物Ａ、Ｂが発話した音声データＤ１、Ｄ２が取得され、話者特定装置５０の音声データ記憶部５１に格納される（ＳＡ１）。
続いて、音声データＤ１、Ｄ２のそれぞれにおいて、第１期間ＴＷｉ毎の代表値Ｕｉ、Ｖｉを取得し（ＳＡ２）、更に、各代表値Ｕｉ、Ｖｉを標準化した標準化代表値Ｕｉ＿ｓｔ、Ｖｉ＿ｓｔを算出する（ＳＡ３）。
続いて、第１期間ＴＷｉ毎の標準化代表値の差分ｄｉを算出し（ＳＡ４）、第１期間ＴＷｉよりも長い第２期間ＴＹｊ毎に差分平均値ｄｊ＿ａｖｅを算出する（ＳＡ５）。
【００４２】
続いて、第２期間ＴＹｊ毎に差分平均値ｄｊ＿ａｖｅの正負を判定し（ＳＡ６）、正負の連続状況に応じて、例えば、同じ符号が所定回数（例えば、６個）連続した場合に、その正負に応じた話者による発話が行われていると特定する（ＳＡ７）。例えば、本実施形態では、上述した（７）式に示したように、差分ｄｉを算出するときに、音声データＤ１の標準化代表値Ｕｉ＿ｓｔから音声データＤ２の標準化代表値Ｖｉ＿ｓｔを差し引いているため、符号が正の場合には音声データＤ１に対応する人物Ａが発話していると判定し、符号が負の場合には音声データＤ２に対応する人物Ｂが発話していると判定する。
【００４３】
以上説明してきたように、本実施形態に係る発話特定装置、発話特定方法、及び発話特定プログラムによれば、代表値取得部５２によって各音声データＤ１、Ｄ２における代表値Ｕｉ、Ｖｉが第１期間ＴＷｉ毎に取得され、標準化処理部５３によって代表値Ｕｉ、Ｖｉが標準化される。そして、比較部５４によって、第１期間ＴＷｉ毎に、異なる２つの音声データＤ１、Ｄ２から取得された２つの標準化代表値Ｕｉ＿ｓｔ、Ｖｉ＿ｓｔが比較されて、比較結果が得られる。そして、特定部５５によって、第１期間ＴＷｉよりも長い第２期間ＴＹｊに得られた複数の比較結果を用いて、第２期間ＴＹｊにおける話者が特定される。このように、サンプリングされた全ての音声データＤ１、Ｄ２を用いるのではなく、各第１期間ＴＷｉにおける代表値Ｕｉ、Ｖｉを取得して話者の特定に用いることとしたので、音声データＤ１、Ｄ２に含まれるノイズを低減することができるとともに、処理するデータ量を低減することができる。
【００４４】
更に、代表値Ｕｉ、Ｖｉを標準化することとしたので、音声データ間における音声強度のアンバランスを抑制することが可能となる。
また、比較部５４によって、第１期間ＴＷｉ毎に得られた２つの標準化代表値Ｕｉ＿ｓｔ、Ｖｉ＿ｓｔの差分ｄｉを第２期間ＴＹｊにおいて平均化した差分平均値ｄｊ＿ａｖｅを用いて第２期間ＴＹｊにおける話者を特定するので、音声データＤ１、Ｄ２に含まれるノイズの影響によって話者が頻繁に切り替えられることを抑制することができ、話者の特定精度を向上させることが可能となる。
【００４５】
更に、本実施形態によれば、特定部５５は、差分平均値ｄｊ＿ａｖｅの正負を判定し、同じ符号が所定回数または所定期間連続した場合に、その符号に対応する話者が発話していると判定するので、話者の頻繁な切替を更に抑制することが可能となる。すなわち、本実施形態では、第２期間ＴＹｊを２５０ｍｓに設定しているが、話者が２５０ｍｓ単位で切り替えられることはあまり現実的ではない。本実施形態によれば、第２期間ＴＹｊ毎に得られた差分平均値ｄｊ＿ａｖｅにおいて同じ正負符号が所定回数または所定期間以上連続した場合に、その符号に対応する人物が発話していると判定するので、話者の特定精度を更に向上させることができる。なお、この特定手法は一例であり、例えば、話者の特定精度は低下するが、第２期間ＴＹｊ毎に話者を特定することも可能である。
【００４６】
なお、上記実施形態では、標準化された代表値Ｕｉ＿ｓｔ、Ｖｉ＿ｓｔを用いて比較結果を得たが、標準化は必須ではなく、比較部５４は、標準化されていない代表値Ｕｉ、Ｖｉを用いて差分ｄｉを得ることとしてもよい。
【００４７】
次に、本発明の一実施形態に係る発話特定装置、発話特定方法、及び発話特定プログラムについて、人物が３名の場合を例示して説明する。なお、以下の説明については、上述した話者が２名の場合と共通する点については説明を省略し、異なる点について主に説明する
【００４８】
図９は、話者が３名の場合における話者特定システム１´の構成を概略的に示した図である。図９に示すように、話者特定システム１´は、図１に示した構成に加えて、人物Ｃに対応するマイクロフォン（マイク）３０が追加され、マイク３０によって取得された音声データＤ３が話者特定装置５０に入力されるようになっている。
【００４９】
図１０は、各人物Ａ〜Ｃと各マイク１０、２０、３０との配置について示した図である。図１０において、人物Ｃに対応してマイク３０が設けられている。マイク１０は、人物Ａからの距離ＬＡ１０と人物Ｂからの距離Ｌｂ１０と人物Ｃからの距離Ｌｃ１０とが異なる位置に配置されている。同様に、マイク２０は、人物Ａからの距離Ｌａ２０と、人物Ｂからの距離Ｌｂ２０と、人物Ｃからの距離Ｌｃ２０とが異なる位置に配置されている。また、マイク３０は、人物Ａからの距離Ｌａ３０と、人物Ｂからの距離Ｌｂ３０と、人物Ｃからの距離Ｌｃ３０とが異なる位置に配置されている。
なお、各マイク１０、２０、３０は、各人物Ａ〜Ｃにそれぞれ装着されていてもよい。
【００５０】
図１０において、マイク１０は、いずれの人物Ｂ、Ｃよりも人物Ａに近い位置に配置され、マイク２０は、いずれの人物Ａ、Ｃよりも人物Ｂに近い位置に配置され、マイク３０は、いずれの人物Ａ、Ｂよりも人物Ｃに近い位置に配置されている。すなわち、各人物Ａ、Ｂ、Ｃからマイク１０、２０、３０までの距離には、以下の（８）〜（１３）式に示す関係が成立している。
【００５１】
Ｌａ１０＜Ｌｂ１０      （８）
Ｌａ１０＜Ｌｃ１０      （９）
Ｌｂ２０＜Ｌａ２０      （１０）
Ｌｂ２０＜Ｌｃ２０      （１１）
Ｌｃ３０＜Ｌａ３０      （１２）
Ｌｃ３０＜Ｌｂ３０      （１３）
【００５２】
次に、マイク１０、２０、３０によって取得された音声データＤ１〜Ｄ３に基づいて話者を特定する方法について説明する。なお、話者特定装置５０が備える機能ブロックは図４に示した機能と同様であるが、各部が音声データＤ３についても同様の処理を行う点及び特定部５５における話者の特定手法が多少異なる。
【００５３】
まず、音声データ記憶部５１には、マイク１０によって取得された音声データＤ１、マイク２０によって取得された音声データＤ２、及びマイク３０によって取得された音声データＤ３が格納される。
【００５４】
代表値取得部５２は、上述した２名の話者の場合と同様の手法で、各音声データＤ１〜Ｄ３について、第１期間ＴＷｉ毎に代表値を取得する。例えば、代表値取得部５２は、音声データＤ１について、各第１期間ＴＷｉ（ｉ＝１〜ｎ、以下同様）における最大値Ｕｉを代表値として取得し、音声データＤ２において、各第１期間ＴＷｉにおける最大値Ｖｉを代表値として取得し、音声データＤ３において、各第１期間ＴＷｉにおける最大値Ｗｉを代表値として取得する。
【００５５】
標準化処理部５３は、代表値取得部５２によって取得された代表値Ｕｉ、Ｖｉ、Ｗｉを標準化し、標準化代表値Ｕｉ＿ｓｔ＿ｕｖ、Ｕｉ＿ｓｔ＿ｕｗ、Ｖｉ＿ｓｔ＿ｕｖ、Ｖｉ＿ｓｔ＿ｖｗ、Ｗｉ＿ｓｔ＿ｕｗ、Ｗｉ＿ｓｔ＿ｖｗをそれぞれ取得する。例えば、標準化処理は以下のように行われる。
まず、標準化処理部５３は、音声データＤ１の代表値Ｕｉ（ｉ＝１〜ｎ）の平均値Ｘ、音声データＤ２の代表値Ｖｉ（ｉ＝１〜ｎ）の平均値Ｙ、音声データＤ３の代表値Ｗｉ（ｉ＝１〜ｎ）の平均値Ｚを算出する。
【００５６】
【数３】
2020190669.tif 000005
【００５７】
（１４）〜（１６）式において、ｎは音声データＤ１、Ｄ２、Ｄ３における代表値の数、換言すると、第１期間ＴＷｉの数である。
【００５８】
続いて、標準化処理部５３は、上記代表値の平均値Ｘ、Ｙ、Ｚを用いて、音声データＤ１と音声データＤ２との組み合わせ、音声データＤ１と音声データＤ３との組み合わせ、及び音声データＤ２と音声データＤ３との組み合わせのそれぞれについて標準化代表値を算出する。
【００５９】
例えば、音声データＤ１と音声データＤ２との組み合わせにおけるデータ標準化は以下の通りである。
【００６０】
【数４】
2020190669.tif 000006
【００６１】
例えば、音声データＤ１と音声データＤ３との組み合わせにおけるデータ標準化は以下の通りである。
【００６２】
【数５】
2020190669.tif 000007
【００６３】
例えば、音声データＤ２と音声データＤ３との組み合わせにおけるデータ標準化は以下の通りである。
【００６４】
【数６】
2020190669.tif 000008
【００６５】
次に、比較部５４は、第１期間ＴＷｉ毎に、異なる各音声データＤ１、Ｄ２、Ｄ３からそれぞれ取得された標準化代表値のうち、音声データＤ１と音声データＤ２との間の標準化代表値の差分ｄｉ＿ｕｖ、音声データＤ１と音声データＤ３との間の標準化代表値の差分ｄｉ＿ｕｗ、音声データＤ２と音声データＤ３との間の標準化代表値の差分ｄｉ＿ｖｗをそれぞれ算出する。演算式は以下の通りである。
【００６６】
ｄｉ＿ｕｖ＝Ｕｉ＿ｓｔ＿ｕｖ−Ｖｉ＿ｓｔ＿ｕｖ      （２３）
ｄｉ＿ｕｗ＝Ｕｉ＿ｓｔ＿ｕｗ−Ｗｉ＿ｓｔ＿ｕｗ      （２４）
ｄｉ＿ｖｗ＝Ｖｉ＿ｓｔ＿ｖｗ−Ｗｉ＿ｓｔ＿ｖｗ      （２５）
【００６７】
特定部５５は、第１期間ＴＷｉよりも長い第２期間ＴＹｊ毎に、第２期間ＴＹｊ内に得られた複数の比較結果を用いて話者を特定する。
例えば、特定部５５は、第２期間ＴＹｊ毎に差分ｄｉ＿ｕｖ、ｄｉ＿ｕｗ、ｄｉ＿ｖｗの平均値である差分平均値ｄｊ＿ｕｖ＿ａｖｅ、ｄｊ＿ｕｗ＿ａｖｅ、ｄｊ＿ｖｗ＿ａｖｅを算出する。
【００６８】
続いて、特定部５５は、差分平均値ｄｊ＿ｕｖ＿ａｖｅ、ｄｊ＿ｕｗ＿ａｖｅ、ｄｊ＿ｖｗ＿ａｖｅが正の値か負の値かを判定する。なお、差分平均値の絶対値が所定の閾値以下の場合には、ゼロと判定する。すなわち、この場合には、差分を算出するのに使用した音声データに対応する話者以外の話者が発話していると判定する。
【００６９】
なお、人物が３名の場合にも、図１１に示すように、同じ符号が所定数以上連続して（または、所定期間以上連続して）発生した場合に、その符号に応じた人物を話者として特定する。また、いずれの組み合わせ（ｄｊ＿ｕｖ＿ａｖｅ、ｄｊ＿ｕｗ＿ａｖｅ、ｄｊ＿ｖｗ＿ａｖｅ）においてもゼロが所定数以上連続して発生した場合には、いずれの人物も発話していないと判定する。これにより、図１１に示すように、話者が人物Ａであるのか、人物Ｂであるのか、人物Ｃであるのか、あるいは、いずれの人物も発話していないこと（発話なし）を特定することができる。
【００７０】
以上説明したように、３名以上の人物がいる場合には、比較部５４は、異なる２つの音声データの組み合わせを生成し、生成した組み合わせにおける音声データの標準化代表値の差分をそれぞれ算出する。そして、特定部５５は、各音声データの組合せにおいて、算出した標準化代表値の差分を第２期間ＴＹｊ毎に平均することで差分平均値を算出し、その差分平均値の正、負、ゼロの状況を総合的に判断して、話者を特定する。
【００７１】
以上説明してきたように、人物が３名以上存在する場合においても、異なる２つの音声データからなる組み合わせを複数作成し、各組合わせにおいてそれぞれの差分平均値を算出し、その差分平均値の符号の状況を総合的に判断することで、話者を特定することが可能となる。
【００７２】
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。
また、上記実施形態で説明した話者特定処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【符号の説明】
【００７３】
１、１´            ：話者特定システム
１０                ：マイクロフォン（マイク）
１１                ：ＣＰＵ
１２                ：補助記憶装置
１３                ：主記憶装置
１４                ：通信インターフェース
１５                ：入力部
１６                ：表示部
１８                ：バス
２０                ：マイクロフォン（マイク）
３０                ：マイクロフォン（マイク）
５０                ：話者特定装置
５１                ：音声データ記憶部
５２                ：代表値取得部
５３                ：標準化処理部
５４                ：比較部
５５                ：特定部
【図１】
2020190669.tif 000009
【図２】
2020190669.tif 000010
【図３】
2020190669.tif 000011
【図４】
2020190669.tif 000012
【図５】
2020190669.tif 000013
【図６】
2020190669.tif 000014
【図７】
2020190669.tif 000015
【図８】
2020190669.tif 000016
【図９】
2020190669.tif 000017
【図１０】
2020190669.tif 000018
【図１１】
2020190669.tif 000019