(57)【要約】【課題】  任意の人物に対して、音声と、必ずしも発話中に撮像されていない人物の画像から、話者推定を行う話者推定方法および話者推定装置を提供することを目的とする。【解決手段】  音声と画像から話者を推定する話者推定方法であって、音声を入力するステップと、入力した音声から声質を表す特徴量を抽出するステップと、画像を入力するステップと、入力された画像から各人物の人物領域の検出を行うステップと、検出されたそれぞれの人物領域から声質を表す特徴量を推定するステップと、人物が検出されない場合に別の位置や角度からの画像を入力するように変更するステップと、音声から抽出した声質を表す特徴量と画像の人物領域から推定した声質を表す特徴量の類似度を算出するステップと、算出した類似度から話者を推定するステップを有する。【選択図】図３
2019152737.tif 000002
【特許請求の範囲】
【請求項１】
音声と画像から話者を推定する話者推定方法であって、
音声を入力するステップと、
前記入力した音声から声質を表す特徴量を抽出するステップと、
画像を入力するステップと、
前記入力された画像から各人物の人物領域の検出を行うステップと、
検出されたそれぞれの前記人物領域から声質を表す特徴量を推定するステップと、
人物が検出されない場合に別の位置や角度からの画像を入力するように変更するステップと、
音声から抽出した声質を表す特徴量と画像の人物領域から推定した声質を表す特徴量の類似度を算出するステップと、
該算出した類似度から話者を推定するステップ、
を有することを特徴とする話者推定方法。
【請求項２】
請求項１に記載の話者推定方法であって、
前記算出した類似度の最大値が閾値よりも小さい場合に画像を入力する位置や向きを変更するステップを有することを特徴とする話者推定方法。
【請求項３】
請求項１または２に記載の話者推定方法であって、
前記算出した類似度の最大値が閾値よりも小さい場合に、話者を同定するための音声や動作を出力するステップを有することを特徴とする話者推定方法。
【請求項４】
請求項３に記載の話者推定方法であって、
閾値以上の前記算出した類似度の値が２つ以上ある場合に、話者を同定するための音声や動作を出力するステップを有することを特徴とする話者推定方法。
【請求項５】
請求項１から４の何れか１項に記載の話者推定方法であって、
前記音声から音源方向を推定するステップと、
前記推定した音源方向と前記画像における人物検出方向から各人物に対して話者である確率である音源スコアを算出するステップと、
前記算出した類似度と前記音源スコアから話者を推定するステップ、
を有することを特徴とする話者推定方法。
【請求項６】
音声と画像から話者を推定する話者推定装置であって、
音声を入力する音声入力装置と、
画像を入力する画像入力装置と、
前記画像入力装置の画像を入力する位置や角度を制御する画像入力制御装置と、
前記音声入力装置と画像入力装置と画像入力制御装置を制御する制御装置とを有し、
前記制御装置は、
前記音声入力装置から入力された音声から声質を表す特徴量を抽出し、
前記画像入力装置から入力された画像から各人物の人物領域を検出し、
検出されたそれぞれの前記人物領域から声質を表す特徴量を推定し、
人物が検出されない場合に、前記画像入力制御装置を制御して別の位置や角度からの画像を入力するように変更し、
音声から抽出した声質を表す特徴量と画像の人物領域から推定した声質を表す特徴量の類似度を算出し、
該算出した類似度から話者を推定する
ことを特徴とする話者推定装置。
【請求項７】
請求項６に記載の話者推定装置であって、
前記制御装置は、
前記算出した類似度の最大値が閾値よりも小さい場合に前記画像入力制御装置を制御して画像を入力する位置や向きを変更することを特徴とする話者推定装置。
【請求項８】
請求項６または７に記載の話者推定装置であって、
音声や動作を出力する出力装置を備え、
前記制御装置は、
前記算出した類似度の最大値が閾値よりも小さい場合に、前記出力装置により話者を同定するための音声や動作を出力することを特徴とする話者推定装置。
【請求項９】
請求項８に記載の話者推定装置であって、
前記制御装置は、
閾値以上の前記算出した類似度の値が２つ以上ある場合に、前記出力装置により話者を同定するための音声や動作を出力することを特徴とする話者推定装置。
【請求項１０】
請求項６から９の何れか１項に記載の話者推定装置であって、
前記音声入力装置は音声入力部が複数台で構成され、
前記制御装置は、
前記音声入力装置から入力された複数の音声から音源方向を推定し、
前記推定した音源方向と前記画像における人物検出方向から各人物に対して話者である確率である音源スコアを算出し、
前記算出した類似度と前記音源スコアから話者を推定する
ことを特徴とする話者推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者推定方法およびそれを用いた話者推定装置に関する。
【背景技術】
【０００２】
対話ロボットなどの対話装置において、誰が話しかけてきたのかを認識する話者推定は、適切な応対を行う機能を実現する上で重要である。
【０００３】
従来、話者推定には主に音声が用いられており、指向性マイクや複数のマイクを並べたマイクアレイを使って音源の方向を推定することで話者を検出していた。しかし、複数人物が同じ方向にいる場合、どちらが話者なのかを判定することは難しい。この問題に対処するために、音声だけでなく画像を用いて話者推定を行う背景技術として、特許文献１、２がある。
【０００４】
特許文献１には、音声を用いた話者推定と、画像を用いた認識を両方行い、その結果を統合する手法が開示されている。また、特許文献２には、音声発話中に人物の口元の画像から抽出した特徴量を用いて、任意の人物に対して適用できる画像からの話者推定手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−６７０９８号公報
【特許文献２】特開２０１１−１８６３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、話者推定は、あらかじめデータベースに話者の音声と画像を登録しておき、それらを参照することによって行っている。そのため、推定可能な話者は、データベースに登録された人物に限定されてしまうという課題がある。
【０００７】
また、特許文献２では、発話中の画像を取得する必要があるので、音声と画像を同時に取得する必要があるという課題がある。
【０００８】
すなわち、例えば公共の空間で不特定多数を相手に対話を行うロボットにおいて、推定可能な話者を限定することは現実的でない。また、発話中の画像を必要とすることは、撮像装置の死角から話しかけられた場合に話者推定を行うことができないことを意味する。
【０００９】
本発明はこのような点に鑑みてなされたものであり、任意の人物に対して、音声と、必ずしも発話中に撮像されていない画像から、話者推定を行う話者推定方法および話者推定装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、音声と画像から話者を推定する話者推定方法であって、音声を入力するステップと、入力した音声から声質を表す特徴量を抽出するステップと、画像を入力するステップと、入力された画像から各人物の人物領域の検出を行うステップと、検出されたそれぞれの人物領域から声質を表す特徴量を推定するステップと、人物が検出されない場合に別の位置や角度からの画像を入力するように変更するステップと、音声から抽出した声質を表す特徴量と画像の人物領域から推定した声質を表す特徴量の類似度を算出するステップと、算出した類似度から話者を推定するステップを有する。
【発明の効果】
【００１１】
本発明によれば、任意の人物に対して、発話音声と、必ずしも発話中に撮像されていない人物の画像から、話者推定を行うことが可能な話者推定方法および話者推定装置を提供できる。
【図面の簡単な説明】
【００１２】
【図１】実施例１における話者推定装置のハードウェア構成図である。
【図２】実施例１における話者推定装置の処理構成図である。
【図３】実施例１における話者推定装置の処理フローチャートである。
【図４】実施例２における話者推定装置の処理構成図である。
【図５】実施例２における話者推定装置の処理フローチャートである。
【図６】実施例３における話者推定装置のハードウェア構成図である。
【図７】実施例３における話者推定装置の処理構成図である。
【図８】実施例３における話者推定装置の処理フローチャートである。
【図９】実施例４における話者推定装置の処理構成図である。
【図１０】実施例４における話者推定装置の処理フローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について、図面を用いて詳細に説明する。
【実施例１】
【００１４】
図１は、本実施例における話者推定装置１０００のハードウェア構成図である。図１に示すように、話者推定装置１０００は、ＣＰＵ１１、メモリ１２、ハードディスクドライブ等のストレージ１３、マイク等の音声入力装置１４、カメラ等の画像入力装置１５、画像入力装置１５の位置や角度を制御して向きを変えるなどの制御を行う画像入力制御装置１６を有する。これらの構成要素は、全てバス１０を通して互いに接続されており、互いにデータの入出力を行う。ＣＰＵ１１は、メモリ１２に記憶したプログラムを実行するソフトウェア処理によって各構成要素を制御し、以降説明する各種の処理を行う。なお、音声入力装置１４は複数台で構成されていてもよい。
【００１５】
図２は、本実施例における話者推定装置１０００の処理構成図である。図２に示すように、話者推定装置１０００は、音声入力部１００１と、音声入力部１００１から入力された音声から発話を検出する発話検出部１００２と、発話検出部１００２で検出された発話から声質を抽出する声質抽出部１００３と、画像入力部１００４と、画像入力部１００４から入力された画像から各人物の人物領域を検出する人物検出部１００５と、人物検出部１００５で検出された各人物領域から声質を推定する声質推定部１００６と、音声から抽出した声質と画像の各人物領域から推定した声質の類似度を計算する声質類似度計算部１００７と、声質類似度計算部１００７で計算した声質の類似度が最も高い人物を話者と判定する話者推定部１００８から構成される。
【００１６】
図３は、本実施例における話者推定装置１０００の処理フローチャートである。図２を参照して、話者推定装置１０００の動作例を以下説明する。
【００１７】
図３において、Ｓ２００１は、音声入力部１００１および発話検出部１００２により音声入力装置１４を通じて入力された音声から発話を検出する。音声からの発話検出は、例えば音声パワーが一定の閾値を超えた区間を抽出するなどの方法で行うことができる。音声からの発話検出は、音声入力装置から音声が入力されている間は常に行われている。
【００１８】
Ｓ２００２は、Ｓ２００１において発話が検出されたかどうかを判断する。発話が検出された場合には、以降のステップへと進む。
【００１９】
Ｓ２００３では、入力音声から発話が検出された場合に、声質抽出部１００３により発話から声質を表す声質特徴量２０５０を抽出する。声質特徴量２０５０としては、例えば基本周波数やフォルマント周波数を要素に持つベクトル、GMMスーパーベクトル、HMMスーパーベクトル，i-vectorなどを用いることもでき、またこれらに限るものではない。
【００２０】
Ｓ２００４では、画像入力部１００４と人物検出部１００５により画像入力装置１５を通じて入力された画像から人物を検出する。画像からの人物検出は、例えば画像の勾配ヒストグラムを用いて行うことができる。人物検出は話者推定装置１０００の稼働中常に行われていてもよいし、発話が検出され始めた時点から検出を開始してもよい。
【００２１】
Ｓ２００５では、Ｓ２００２で発話が検出された場合に、発話区間中に人物が検出されていたかを判定する。
Ｓ２００６では、Ｓ２００４とＳ２００５で人物が検出されなかった場合に、画像入力装置１５の位置や向きを変更し、もう一度人物検出処理を行う。例えば、画像入力部１００４が水平画角αのカメラであった場合には、鉛直線を軸に画像入力装置１５を時計回りにαだけ回転させる。この処理により、万が一話者が発話時に画像入力装置１５の死角にいたとしても、話者推定装置１０００は話者を探し出すことができる。なお、Ｓ２００６の処理回数に上限を設け、一定回数検出できなかった場合には全ての処理を打ち切ってもよい。これにより、周囲に人物がいないのに誤って発話を検出してしまった場合などに処理が無限ループに入ってしまうことを防ぐことができる。
【００２２】
Ｓ２００７では、人物が検出された場合に、図２の声質推定部１００６により検出された人物の各人物領域から声質を表す声質特徴量２０５１を推定する。この推定する声質特徴量２０５１としては、声質特徴量２０５０と同様にi-vectorを用いる。なおこの声質特徴量２０５１は声質特徴量２０５０で選択した特徴と同一であればi-vectorに限らず用いることができる。人物領域は、全身であってもよいし、上半身のみや顔領域のみなど一部であってもよい。また、これらのうちの複数を組み合わせて用いてもよい。
【００２３】
Ｓ２００７で用いる人物画像からの声質推定器を学習するためには、人物の画像と、その人物の音声から抽出した声質特徴量の組を用いる。このデータの収集のために、人を集めて音声を収録してもよい。また、既存の講演動画などを用いて、動画から検出した人物画像と、動画に含まれる音声から抽出した声質特徴量を用いてもよい。この方法によって、より容易に学習用データセットを構築することができる。これらの学習用データセットが準備できれば、声質推定器は、例えば次のように構築することができる。まず人物の画像xから、カラーヒストグラムを特徴量として抽出する。画像からのカラーヒストグラムの抽出方法は公知であるから、ここでは詳細な説明は省略する。次にそのカラーヒストグラムから声質を表す特徴量を推定する回帰モデルを学習する。回帰モデルの学習は，例えばサポートベクターマシンを用いて行うことができる。なお、ここでは画像から抽出する特徴量としてカラーヒストグラムを用いたが、勾配ヒストグラム、SIFT特徴量などであってもよい。また、回帰モデルとしてサポートベクターマシンを挙げたが、ニューラルネットワークなどの手法であってもよい。また、特徴抽出と回帰は、ニューラルネットワークを用いて同時に最適化を行ってもよい。
【００２４】
Ｓ２００８では、声質類似度計算部１００７により、音声から抽出した声質特徴量２０５０と画像の各人物領域から推定した声質特徴量２０５１の類似度を計算する。そして、話者推定部１００８により、その類似度が最も高くなった特徴量に対応する人物を話者と推定する。類似度としては、例えばL2ノルムを用いることができる。音声から抽出した声質特徴量をv_audio、画像からN人の人物が検出された場合に、画像から推定した各人の声質特徴量をv^1_image、v^2_image、…、v^N_imageとする。音声から抽出した声質特徴量と、i番目の人物の画像から推定した声質特徴量の類似度sim_iは、次式（１）で与えられる。
【００２５】
【数１】
2019152737.tif 000003
【００２６】
なお、類似度の尺度はL2ノルムに限らず、コサイン類似度などを用いることもできる。
【００２７】
また、Ｓ２００８で計算した類似度に閾値を設けて、類似度が閾値を下回った場合には話者推定不能と判断してもよい。これにより、発話が誤検出だった場合に偶々画像入力装置に写っていた人物を話者と判断することを防ぐことができる。
【実施例２】
【００２８】
図４は、本実施例における話者推定装置１１００の処理構成図である。なお、本実施例におけるハードウェア構成図は、図１と同一であるため省略する。また、図４において、図２と同様の機能については同じ符号を付し、その説明は省略する。図４において、図２と異なる点は、話者存在判定部１００９を有する点である。話者存在判定部１００９は、声質類似度計算部１１０７で求めた類似度が所定の値以上でない場合は、話者が存在しないと判断する処理である。詳細は、図５の処理フローチャートで説明する。
【００２９】
図５は、本実施例における話者推定装置１１００の処理フローチャートである。図５において、図３と同様の機能については同じ符号を付し、その説明は省略する。図５において、図３と異なる点は、図３のＳ２００８では、音声から抽出した声質特徴量２０５０と画像の各人物領域から推定した声質特徴量２０５１の類似度を計算し、その類似度が最も高くなった特徴量に対応する人物を話者と推定する処理であったが、図５では、Ｓ２１０８で、Ｓ２００８の類似度計算までを行なう。そして、Ｓ２１０９で、図４の話者存在判定部１００９により、Ｓ２１０８において算出した類似度２１５２の最大値が、あらかじめ定めた閾値よりも大きいか否かを判断する。大きい場合には、Ｓ２１１０で、その類似度に対応する人物を話者と推定して終了する。Ｓ２１０９で、類似度２１５２の最大値があらかじめ定めた閾値よりも小さかった場合には、再びＳ２００６のステップを行って人物を検出し直す。これにより、実際には話者は画像入力装置の死角に存在するにも関わらず、画像入力装置に写っている非話者を話者と判定してしまうことを防ぐことができる。また、発話が誤検出だった場合に偶々画像入力装置に写っていた人物を話者と判断することを防ぐことができる。
【００３０】
なお、Ｓ２１０９における閾値は、Ｓ２１０９を実行するたびに小さくしていってもよい。これにより、画像から推定した声質が実際の声質と乖離していた場合においても、話者を探して画像入力装置の位置や向きを変更し続ける無限ループに入ってしまうことを防ぐことができる。
【実施例３】
【００３１】
図６は、本実施例における話者推定装置１２００のハードウェア構成図である。図６において、図１と同様の機能については同じ符号を付し、その説明は省略する。図６において、図１と異なる点は、出力装置２７を有する点である。出力装置２７は、スピーカーなどの音声出力や、話者推定装置１２００を搭載したロボットの動作出力などを含む。
【００３２】
図７は、本実施例における話者推定装置１２００の処理構成図である。図７において、図２と同様の機能については同じ符号を付し、その説明は省略する。図７において、図２と異なる点は、音声・動作出力部１２０９を有する点である。音声・動作出力部１２０９は、声質類似度計算部１２０７で算出した類似度の最大値があらかじめ定めた閾値よりも小さい場合に、話者同定のための音声や動作を出力する処理である。詳細は、図８の処理フローチャートで説明する。
【００３３】
図８は、本実施例における話者推定装置１２００の処理フローチャートである。図８において、図５と同様の機能については同じ符号を付し、その説明は省略する。図８において、図５と異なる点は、Ｓ２１０９以降の処理である。
【００３４】
図８において、Ｓ２１０９では、Ｓ２１０８において算出した類似度２１５２の最大値があらかじめ定めた閾値よりも小さい場合に、Ｓ２１１１において図７の音声・動作出力部１２０９によって話者同定のための音声や動作を出力する。これにより、話者であると十分な確信が得られない場合には、十分な確証が得られるような確認動作を行って、話者推定の精度を向上させることができる。Ｓ２１０９で、類似度２１５２の最大値が閾値よりも大きかった場合には、Ｓ２１１２へと進む。なお、これは画像中に話者の候補が1人以上存在するか否かを判断できれば、その判断手法は類似度２１５２の最大値と閾値の比較に限るものではない。
【００３５】
Ｓ２１１２では、類似度２１５２の最大値と２番目に大きい値の差があらかじめ定めた閾値よりも小さい場合に、Ｓ２１１１において話者同定のための音声や動作を出力する。これにより、話者推定結果を１人に絞り込めない場合には、十分な確証が得られるような確認動作を行って、話者推定の精度を向上させることができる。なお、これは、あらかじめ定めた閾値以上の類似度２１５２の値が２つ以上ある場合として、画像中に話者の候補が２人以上存在するか否かを判断できれば、その判断手法は類似度２１５２の最大値と２番目に大きい値との差と閾値の比較に限らず、例えば類似度２１５２のうち２番目に大きい値と閾値の比較によって判断してもよい。また、Ｓ２１０９とＳ２１１２はどちらか一方のみが実行されてもよい。
【００３６】
Ｓ２１１１における出力は、例えば最も類似度の高い人物に対して「何か御用ですか」などの質問音声を出力するものであってもよい。この質問音声に対する返答によって、その人物が話者であったかを確かめることができる。また、装置がロボットである場合には、周囲を見回すなどの話者が特定できていないことを周囲にアピールするような動作を出力してもよい。それによって、手を振るなどの自分が話者であることをアピールするような動作を話者から引き出すことができれば、話者を特定することができる。
【００３７】
Ｓ２１１１で話者同定のための音声や動作を出力した後は、再びＳ２００１とＳ２００４から話者を推定してもよいし、音声方向推定などの結果を用いて話者を推定してもよい。
【実施例４】
【００３８】
本実施例における話者推定装置１３００のハードウェア構成図は、図１に示した第１の実施例におけるハードウェア構成図と同一であるため、説明を省略する。ただし、本実施例においては、音声入力装置１４は複数台で構成されている必要がある。
【００３９】
図９は、本実施例における話者推定装置１３００の処理構成図である。図９において、図２と同様の機能については同じ符号を付し、その説明は省略する。図７において、図２と異なる点は、音声入力部１３０１が複数台で構成される音声入力装置１４による処理部である点と、音源スコア計算部１３０９を有する点と、話者推定部１３０８が声質類似度計算部１００７の結果だけでなく音源スコア計算部１３０９の結果も用いるという点である。詳細は、図１０の処理フローチャートで説明する。
【００４０】
図１０は、本実施例における話者推定装置１３００の処理フローチャートである。図１０において、図５と同様の機能については同じ符号を付し、その説明は省略する。図１０において、図５と異なる点は、Ｓ２１０８以降の処理、および、発話の音源方向を推定する処理Ｓ２３０９、各人物に対する音源らしさのスコアを計算する処理Ｓ２３１０、及び、声質特徴量の類似度と、音源スコアから話者を推定する処理Ｓ２３１１を有する点である。すなわち、話者推定部１３０８が声質類似度計算部の結果だけでなく音源スコア計算部の結果も用いるという点において異なる。
【００４１】
図１０において、Ｓ２３０９では、音声入力部１３０１からの複数チャネル音声入力から発話の音源方向を推定する。音声からの音源方向推定は、例えばチャネルごとの観測信号の位相差を用いて行うことができる。なお、この処理は、図９の音源スコア計算部１３０９で行なうが、この処理を切り分けて新たな音源方向推定部の処理としてもよい。
【００４２】
Ｓ２３１０では、Ｓ２３０９で推定した音源方向と、Ｓ２００５による人物検出結果を用いて、図９の音源スコア計算部１３０９により、各人物に対して話者である確率である、
各人物に対する音源らしさの音源スコア２１５３を計算する。音源スコア２１５３は、例えば、推定された音源方向をa、検出された人物pの方向をbpとすると、人物pの音源スコアｓpは、aとbpのコサイン類似度として、下記式（２）で与えることができる。
【００４３】
【数２】
2019152737.tif 000004
【００４４】
この音源スコアはコサイン類似度に限らず、例えばaとbpのなす角をそのまま用いることもできるし、これに限らない。
【００４５】
Ｓ２３１１では、Ｓ２１０８で各人に対して計算した声質特徴量の類似度r（２１５２）と、Ｓ２３１０で各人に対して計算した音源スコアs（２１５３）から、話者を推定する。この推定は、例えばrとsの重み付け和によって以下の式（３）のように行うことができる。
【００４６】
【数３】
2019152737.tif 000005
【００４７】
ここで、rp、ｓpはそれぞれ人物pの声質類似度と音源スコア、wrおよびwsはそれぞれ声質特徴量の類似度rpと音源スコアｓpに対する重み、pspeakerは推定された話者である。
【００４８】
このように、本実施例によれば、声質類似度の結果だけでなく音源方向の情報用いて話者推定するので、より、高精度に話者推定できるという効果がある。
【００４９】
以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
【符号の説明】
【００５０】
１４：音声入力装置、１５：画像入力装置、１６：画像入力制御装置、２７：出力装置、１０００、１１００、１２００、１３００：話者推定装置、１００１、１３０１：音声入力部、１００２：発話検出部、１００３：声質抽出部、１００４：画像入力部、１００５：人物検出部、１００６：声質推定部、１００７：声質類似度計算部、１００８、１３０８：話者推定部、１２０９：音声・動作出力部、１３０９：音源スコア計算部、２０５０、２０５１：声質特徴量、２１５２：類似度、２１５３：音源スコア
【図１】
2019152737.tif 000006
【図２】
2019152737.tif 000007
【図３】
2019152737.tif 000008
【図４】
2019152737.tif 000009
【図５】
2019152737.tif 000010
【図６】
2019152737.tif 000011
【図７】
2019152737.tif 000012
【図８】
2019152737.tif 000013
【図９】
2019152737.tif 000014
【図１０】
2019152737.tif 000015