(57)【要約】  画像データで示される画像から、人の顔に対応する部分である顔画像を検出する顔検出部（１１０）と、顔画像から、人の唇の上下方向における開口幅を取得する開口幅取得部（１２１）と、顔画像から、人の鼻の長さを取得する鼻長取得部（１２４）と、鼻の長さに対する、開口幅の相対的な長さを示す開口度を算出する開口度算出部（１２８）とを備える。
2020065706.tif 000002
【特許請求の範囲】
【請求項１】
画像データで示される画像から、人の顔に対応する部分である顔画像を検出する顔検出部と、
前記顔画像から、前記人の唇の上下方向における開口幅を取得する開口幅取得部と、
前記顔画像から、前記人の鼻の長さを取得する鼻長取得部と、
前記鼻の長さに対する、前記開口幅の相対的な長さを示す開口度を算出する開口度算出部と、を備えること
を特徴とする情報処理装置。
【請求項２】
前記開口幅取得部は、前記顔画像から、前記唇における上唇の内側の下端点と、前記唇における下唇の内側の上端点とを検出し、前記下端点と前記上端点との間の距離を前記開口幅とすること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記鼻長取得部は、前記顔画像から、前記人の右の目の目尻又は目頭に対応する端点である右端点と、前記人の左の目の目尻又は目頭に対応する端点である左端点とを検出し、前記右端点及び前記左端点との間の中点を特定し、前記顔画像から前記鼻の下端点を検出し、前記中点と、前記鼻の下端点との間の距離を前記鼻の長さとすること
を特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記開口度算出部は、前記開口幅を前記鼻の長さで除算することで、前記開口度を算出すること
を特徴とする請求項１から３の何れか一項に記載の情報処理装置。
【請求項５】
前記開口度を用いて、前記人が発話を行っているか否かの判定を行う発話者判定部をさらに備えること
を特徴とする請求項１から４の何れか一項に記載の情報処理装置。
【請求項６】
前記顔検出部は、前記画像から、複数の前記人の各々の前記顔に対応する前記顔画像を検出することで、前記複数の人の各々の顔に各々が対応する前記複数の顔画像を検出し、
前記開口幅取得部は、前記複数の顔画像から、複数の前記開口幅を取得し、
前記鼻長取得部は、前記複数の顔画像から、複数の前記鼻の長さを取得し、
前記開口度算出部は、前記複数の人の各々に各々が対応する複数の前記開口度を算出すること
を特徴とする請求項１から４の何れか一項に記載の情報処理装置。
【請求項７】
前記複数の開口度を用いて、前記複数の人の各々が発話を行っているか否かの判定を行う発話者判定部をさらに備えること
を特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記発話者判定部は、前記判定の結果に応じて、前記人からの音声を集めるマイク装置の制御を行うこと
を特徴とする請求項５又は７に記載の情報処理装置。
【請求項９】
音声信号で示される音声を認識する音声認識部と、
前記複数の開口度から、前記複数の人から、前記認識された音声を発した人を判定する発話者判定部と、をさらに備えること
を特徴とする請求項６に記載の情報処理装置。
【請求項１０】
画像データで示される画像から、人の顔に対応する部分である顔画像を検出し、
前記顔画像から、前記人の唇の上下方向における開口幅を取得し、
前記顔画像から、前記人の鼻の長さを取得し、
前記鼻の長さに対する、前記開口幅の相対的な長さを示す開口度を算出すること
を特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
近年のカーナビゲーションシステムは、音声で操作するための音声認識機能を備えたものが多い。音声認識機能は、目的地の設定等に活用され、発話内容を認識し、コマンドに変換することで操作を実現している。【０００３】
しかしながら、自動車の車内では車外の騒音等、ノイズ源が多くあったり、複数の乗員が同時に発話したりすることで、音声認識が困難になるケースがある。このため、ノイズ成分を低減する必要がある。発話認識技術の従来技術としては、特許文献１に記載された技術が知られている。【０００４】
特許文献１に記載された技術は、表情認識を目的に口の開き度合いを算出している。特許文献１では、右目の右端から口の右端までの右目−口間距離をＤｒ、左目の左端から口の左端までの左目−口間距離をＤｌ、右目の右端から左目の左端までの距離をＷｅとして、下記の（１）式により、口開き状態を示す特徴量Ｖ３として算出している。
Ｖ３＝（Ｄｒ＋Ｄｌ）÷Ｗｅ                                  （１）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２９３５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の技術は、ドライバーのふり向き等により、顔の向きが変化することでその特徴量Ｖ３が変化するため、口の開き状態を示すには十分とは言えない。【０００７】
そこで、本発明の１又は複数の態様は、顔のふり向きに対してロバストな開口度を算出できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の１態様に係る情報処理装置は、画像データで示される画像から、人の顔に対応する部分である顔画像を検出する顔検出部と、前記顔画像から、前記人の唇の上下方向における開口幅を取得する開口幅取得部と、前記顔画像から、前記人の鼻の長さを取得する鼻長取得部と、前記鼻の長さに対する、前記開口幅の相対的な長さを示す開口度を算出する開口度算出部と、を備えることを特徴とする。【０００９】
本発明の１態様に係る情報処理方法は、画像データで示される画像から、人の顔に対応する部分である顔画像を検出し、前記顔画像から、前記人の唇の上下方向における開口幅を取得し、前記顔画像から、前記人の鼻の長さを取得し、前記鼻の長さに対する、前記開口幅の相対的な長さを示す開口度を算出することを特徴とする。
【発明の効果】
【００１０】
本発明の１又は複数の態様によれば、顔のふり向きに対してロバストな開口度を算出することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１に係る発話者判定装置の構成を概略的に示すブロック図である。
【図２】実施の形態１における、発話者判定装置、撮像装置及びマイク装置の配置例を示す概略図である。
【図３】顔画像から、開口幅及び鼻長を算出する例を示す概略図である。
【図４】発話者判定装置のハードウェア構成例を示すブロック図である。
【図５】実施の形態１に係る発話者判定方法を示すフローチャートである。
【図６】実施の形態２に係る発話者判定装置の構成を概略的に示すブロック図である。
【図７】実施の形態２における、発話者判定装置、撮像装置及びマイク装置の配置例を示す概略図である。
【図８】実施の形態２に係る発話者判定方法を示すフローチャートである。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１は、実施の形態１に係る情報処理装置である発話者判定装置１００の構成を概略的に示すブロック図である。
発話者判定装置１００は、顔検出部１１０と、開口度取得部１２０と、発話者判定部１３０とを備える。
発話者判定装置１００は、撮像装置１６０から入力される画像データで示される画像から、発話者を判定する。そして、発話者判定装置１００は、その判定結果をマイク装置１７０に与える。
【００１３】
撮像装置１６０は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサといった撮像素子を備え、撮像された画像の画像データを出力する。例えば、撮像装置１６０は、カメラにより実現することができる。
マイク装置１７０は、音を電気信号に変換するマイクを備える装置である。実施の形態１では、マイク装置１７０は、マイクの電源をオン又はオフにすることができ、発話者判定装置１００からの判定結果に応じて、マイクの電源をオン又はオフにする。言い換えると、マイク装置１７０は、音の電気信号への変換する機能をオン又はオフにすることができる。また、マイク装置１７０は、例えば、単一指向性を有するマイクを備え、発話者判定装置１００からの判定結果に応じて、集音する方向を変更できるようになっていてもよい。
【００１４】
図２は、発話者判定装置１００、撮像装置１６０及びマイク装置１７０の配置例を示す概略図である。
図２に示されているように、車両１８０の内部に、発話者判定装置１００、撮像装置１６０及びマイク装置１７０が配置されている。
【００１５】
撮像装置１６０は、対象者である乗員の顔を撮像する。そして、撮像装置１６０は、発話者判定装置１００と接続されており、撮像された画像の画像データを発話者判定装置１００に送る。なお、撮像装置１６０は、ワイヤハーネス等の配線を介して発話者判定装置１００と接続されてもよく、また、無線により発話者判定装置１００と接続されてもよい。
【００１６】
撮像装置１６０は、ＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）カメラ、ＩＲ（ＩｎｆＲａｒｅｄ）カメラ、ステレオカメラ又はＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）カメラ等、口の形状が検出できるものであればどのような形式の装置であってもよい。なお、「ＲＧＢカメラ」は、異なった３本のケーブル等を用いて、赤、緑及び青の３色の信号を通信するカメラであり、一般に３つの独立したＣＣＤセンサを用いる。「ＩＲカメラ」は、赤外線カメラであり、赤外線領域の波長に感度をもつカメラである。
【００１７】
マイク装置１７０は、発話者の音声を収集する装置である。発話者判定装置１００で特定された発話状態にある対象者の音声を収集する。マイク装置１７０は、指向性を持たせるために、指向性マイク又はマイクアレイの構成とする。
【００１８】
図１に戻り、顔検出部１１０は、撮像装置１６０から与えられた画像データで示される画像から、人の顔に対応する部分である顔画像を検出する。顔検出部１１０は、検出された顔画像の位置を示す位置情報を、画像データとともに、開口度取得部１２０及び発話者判定部１３０に与える。なお、画像から複数の顔画像が検出された場合には、位置情報は、複数の顔画像の位置を示す。
【００１９】
開口度取得部１２０は、画像データで示される画像から検出された顔画像における口の開き具合を示す開口度を取得する。なお、開口度取得部１２０は、複数の顔画像が検出されている場合には、複数の顔画像の各々について、開口度を取得する。
開口度取得部１２０は、開口幅取得部１２１と、鼻長取得部１２４とを備える。
【００２０】
開口幅取得部１２１は、顔検出部１１０により検出された顔画像から、唇の上下方向における開口幅を取得する。例えば、開口幅取得部１２１は、顔画像から、上唇の内側の下端点と、下唇の内側の上端点とを検出して、これらの間の距離を開口幅とすることができる。
開口幅取得部１２１は、唇検出部１２２と、開口幅算出部１２３とを備える。
【００２１】
唇検出部１２２は、画像データで示される画像において、顔検出部１１０において検出された顔に対応する部分の画像である顔画像より上唇内側の端点である上端点と、下唇内側の端点である下端点とを検出する。
【００２２】
図３に示されているように、顔画像Ｆｉｍにおいて、唇の上端点Ｐ１は、顔の中心線上の上唇内側の端点であり、唇の下端点Ｐ２は、顔の中心線上の下唇内側の端点である。
例えば、唇検出部１２２は、パターンマッチングにより顔画像Ｆｉｍから唇の画像部分である唇画像を検出し、唇画像のエッジを検出することで、上唇の内側を示す線Ｌ１及び下唇の内側を示す線Ｌ２をそれぞれ検出することができる。そして、顔画像Ｆｉｍの縦方向における中心線と、検出されたそれぞれの線Ｌ１、Ｌ２との交点により、唇の上端点Ｐ１及び下端点Ｐ２を検出することができる。
【００２３】
なお、唇検出部１２２は、検出された唇の上端点及び下端点の位置を示す唇情報を開口幅算出部１２３に与える。なお、唇情報は、複数の顔画像が検出されている場合には、複数の顔画像のそれぞれから検出された唇の上端点及び下端点の位置を示す。
【００２４】
開口幅算出部１２３は、唇情報で示される唇の上端点及び下端点の位置により、唇の上端点及び下端点の間の距離を、開口幅として算出する。
例えば、開口幅算出部１２３は、図３に示されているように、唇の上端点Ｐ１及び下端点Ｐ２のユークリッド距離を、開口幅Ｄ１として算出する。
そして、開口幅算出部１２３は、算出された開口幅を示す開口幅情報を開口度算出部１２８に与える。なお、開口幅情報は、複数の顔画像が検出されている場合には、複数の顔画像のそれぞれから算出された開口幅を示す。
【００２５】
鼻長取得部１２４は、顔検出部１１０により検出された顔画像から、鼻の長さを取得する。例えば、鼻長取得部は、顔画像から、人の右の目の目尻又は目頭の端点である右端点と、人の左の目の目尻又は目頭の端点である左端点とを検出し、右端点及び左端点との間の中点を特定する。また、鼻長取得部１２４は、顔画像から鼻の下端点を検出する。そして、鼻長取得部１２４は、特定された中点と、検出された下端点との間の距離を鼻の長さとする。
鼻長取得部１２４は、目検出部１２５と、鼻検出部１２６と、鼻長算出部１２７と、開口度算出部１２８とを備える。
【００２６】
目検出部１２５は、顔画像から、左右の目尻端点を検出して、それらの端点から左右の目の中点を検出する。
図３に示されているように、左右の目の中点Ｐ５は、左目の端点Ｐ３と、右目の端点Ｐ４との間の中央の点である。
【００２７】
例えば、目検出部１２５は、パターンマッチングにより顔画像Ｆｉｍから左の目の画像部分である左目画像、及び、右の目の画像部分である右目画像を検出し、左目画像及び右目画像のそれぞれにおいて、エッジを検出することで、左目及び右目の外側の線をそれぞれ検出することができる。そして、左目の外側の線の最も左にある点を左目の端点Ｐ３とし、右目の外側の線の最も右にある点を右目の端点Ｐ４とすることで、それらの中点Ｐ５を検出することができる。
なお、目検出部１２５は、検出された中点の位置を示す目情報を鼻長算出部１２７に与える。目情報は、複数の顔画像が検出されている場合には、複数の顔画像のそれぞれから検出された中点の位置を示す。
【００２８】
鼻検出部１２６は、顔画像より左右の鼻孔の間にあたる、鼻下端点を検出する。
図３に示されているように、鼻下端点Ｐ６は、顔画像Ｆｉｍに含まれている鼻の最も下にある点となる。
【００２９】
例えば、鼻検出部１２６は、パターンマッチングにより顔画像Ｆｉｍから鼻の画像部分である鼻画像を検出し、鼻画像における最も下にある点により、鼻下端点Ｐ６を検出することができる。
鼻検出部１２６は、検出された鼻下端点の位置を示す鼻情報を鼻長算出部１２７に与える。なお、鼻情報は、複数の顔画像が検出されている場合には、複数の顔画像のそれぞれから検出された鼻下端点の位置を示す。
【００３０】
鼻長算出部１２７は、目情報で示される、左右の目の中点と、鼻情報で示される鼻下端点との間の距離を、鼻の長さである鼻長として算出する。
例えば、鼻長算出部１２７は、図３に示されているように、左右の目の中点Ｐ５と、鼻下端点Ｐ６との間のユークリッド距離を、鼻長Ｄ２として算出する。
そして、鼻長算出部１２７は、算出された鼻長を示す鼻長情報を開口度算出部１２８に与える。なお、鼻長情報は、複数の顔画像が検出されている場合には、複数の顔画像のそれぞれから算出された鼻長を示す。
【００３１】
開口度算出部１２８は、鼻長情報で示される鼻長に対する、開口幅情報で示される開口幅の相対的な長さである開口度を算出する。例えば、開口度算出部１２８は、開口幅を鼻長で割ることで、開口度を算出する。
開口度算出部１２８は、算出された開口度を示す開口度情報を発話者判定部１３０に与える。なお、開口度情報は、複数の顔画像が検出されている場合には、複数の顔画像のそれぞれから算出された開口度を示す。
【００３２】
発話者判定部１３０は、顔検出部１１０から与えられる位置情報で示される、顔画像が検出された位置と、開口度算出部１２８から与えられる開口度情報で示される、顔画像毎に算出された開口度から、対象者が発話を行っているか否かを判定する。なお、発話者判定部１３０は、複数の顔画像が検出されている場合には、複数の顔画像から算出された複数の開口度を用いて、複数の対象者の各々が発話を行っているか否かを判定する。
【００３３】
例えば、発話者判定部１３０は、開口度情報で示されるいずれの開口度も予め定められた閾値以下である場合には、発話者がいないと判定する。
また、発話者判定部１３０は、開口度情報で示されるいずれかの開口度が予め定められた閾値を超えている場合には、その開口度に対応する顔画像が検出された位置の対象者が発話者であると判定する。
そして、発話者判定部１３０は、発話者がいないと判定した場合には、その旨を判定結果とし、発話者を判定した場合には、対応する顔画像が検出された位置を判定結果として、その判定結果を示す判定結果情報をマイク装置１７０に送る。
【００３４】
マイク装置１７０は、発話者判定部１３０からの判定結果情報に従って、マイクの制御を行う。例えば、マイク装置１７０は、発話者がいないことを判定結果が示している場合には、マイクの電源をオフにする。また、マイク装置１７０は、発話者の位置を判定結果が示している場合には、マイクの集音方向がその方向に向くように、マイクの位置、又は、マイクアレイのゲインを制御する。
【００３５】
図４は、実施の形態１に係る発話者判定装置１００のハードウェア構成を示すブロック図である。
発話者判定装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、プログラムメモリ１２と、データメモリ１３と、インターフェース（Ｉ／Ｆ）１４と、これらを接続するバス１５とを備える。
Ｉ／Ｆ１４は、撮像装置１６０及びマイク装置１７０を接続し、これらとの間で通信を行うための接続インターフェースである。このため、Ｉ／Ｆ１４は、図１には図示されていないが、撮像装置１６０から画像データの入力を受ける入力部として機能する。また、Ｉ／Ｆ１４は、図１には図示されていないが、マイク装置１７０に、判定結果情報又はコマンドを出力する出力部として機能する。
【００３６】
ＣＰＵ１１は、プログラムメモリ１２に記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリ１３に記憶させる。
例えば、顔検出部１１０、開口度取得部１２０及び発話者判定部１３０は、ＣＰＵ１１がプログラムを実行することで実現することができる。
【００３７】
このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
【００３８】
なお、発話者判定装置１００のハードウェア構成は、図４に示されている構成に限定されるものではなく、例えば、顔検出部１１０、開口度取得部１２０及び発話者判定部１３０の一部又は全部が、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の処理回路で構成することもできる。
【００３９】
図５は、実施の形態１に係る情報処理方法である発話者判定方法を示すフローチャートである。
まず、顔検出部１１０は、撮像装置１６０から、車の中の乗員を対象者として撮像された画像を示す画像データを取得する（Ｓ１０）。ここでは、撮像範囲は、車の中の乗員を含む範囲であるが、撮像範囲は、対象となる人が映る可能性のある場所であればよく、エレベータの中、電車の車内、路上又は店内等であってもよい。
【００４０】
顔検出部１１０は、画像データを取得すると、画像データで示される画像から対象者の顔に対応する部分である顔画像を検出する（Ｓ１１）。顔を検出する方法については、特に問わない。例えば、一般的なＨａａｒ−ｌｉｋｅ特徴量を使ったＡｄａＢｏｏｓｔベースの検出器が用いられてもよい。なお、Ｈａａｒ−ｌｉｋｅ特徴量は、画像の明暗差により特徴を捉える特徴量であり、画素値をそのまま特徴量として用いる場合と比べて、照明条件の変動及びノイズの影響を受けにくい特徴がある。また、ＡｄａＢｏｏｓｔは、Ａｄａｐｔｉｖｅ  Ｂｏｏｓｔｉｎｇの略で、弱い分類器を複数組み合わせて利用することで、パフォーマンスを改善した機械学習アルゴリズムである。
【００４１】
唇検出部１２２は、ステップＳ１１で検出された顔の位置に対応する顔画像より上唇内側の端点である上端点の位置（座標）を検出する（Ｓ１３）。
また、唇検出部１２２は、ステップＳ１１で検出された顔の位置に対応する顔画像より下唇内側の端点である下端点の位置（座標）を検出する（Ｓ１４）。
なお、ステップＳ１３及びＳ１４における、唇の端点の座標取得方法は、例えば、「黒田勉、渡辺富夫『ＨＳＶ表現法に基づく顔画像の唇抽出方法』、日本機械学会論文集６１巻５９２号、１９９５年１２月、Ｎｏ９５−０２１」に示されているように、ＲＧＢ色空間又はＨＳＶ（Ｈｕｅ  Ｓａｔｕｒａｔｉｏｎ  Ｌｉｇｈｔｎｅｓｓ  Ｖａｌｕｅ）色空間を使ったものでもよく、ＡＡＭ（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ）等のように、モデルベースの顔画像の特徴点を検出するアルゴリズムが使用されてもよい。また、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇが用いられてもよい。Ｄｅｅｐ  Ｌｅａｒｎｉｎｇは、４層以上の多層のニューラルネットワークによる機械学習手法であり、近年学習に必要な計算機の高速化及び学習手法の研究が進んだことで、高い性能を示している。
【００４２】
そして、開口幅算出部１２３は、ステップＳ１３で検出された上端点及びステップＳ１４で検出された下端点との間のユークリッド距離を、開口幅として算出する（Ｓ１４）。
【００４３】
また、目検出部１２５は、ステップＳ１１で検出された顔の位置に対応する顔画像より、左右の目の目尻の端点の位置（座標）を検出し、検出された位置の中点の位置（座標）を検出する（Ｓ１５）。
鼻検出部１２６は、ステップＳ１１で検出された顔の位置に対応する顔画像より、鼻下端点を検出する（Ｓ１６）。
【００４４】
そして、鼻長算出部１２７は、ステップＳ１５で算出された、左右の目尻端点の中点と、ステップＳ１６で算出された鼻下端点との間のユークリッド距離を、鼻長として算出する（Ｓ１７）。
【００４５】
次に、開口度算出部１２８は、ステップＳ１４で算出された開口幅を、ステップＳ１７で算出された鼻長で除算することにより、開口度を算出する（Ｓ１８）。開口幅と、鼻長とは同軸上にあるため、これらにより算出された開口度は、顔向きの変化により影響を受けにくい。
【００４６】
次に、発話者判定部１３０は、ステップＳ１９で算出された開口度が、閾値を超えているかを判定する（Ｓ１９）。なお、マイク装置１７０は、ステップＳ１９での判定結果に応じて、マイクを制御する。例えば、発話者が検出されていない場合には、マイクをオフにすることで、騒音、ノイズ、又は、特定の話者以外の発話等による影響を制限することができる。
【００４７】
以上のように、実施の形態１によれば、特定の対象者の発話状態を判定することができる。判定結果に応じたマイクの制御を行うことで、対象者が発話状態でないときの誤動作を防止することができる。
【００４８】
実施の形態２
図６は、実施の形態２に係る情報処理装置である発話者判定装置２００の構成を概略的に示すブロック図である。
発話者判定装置２００は、顔検出部１１０と、開口度取得部１２０と、発話者判定部２３０と、音声認識部２４０とを備える。
実施の形態２における顔検出部１１０及び開口度取得部１２０は、実施の形態１の顔検出部１１０及び開口度取得部１２０と同様である。
【００４９】
図７は、発話者判定装置２００、撮像装置１６０及びマイク装置２７０の配置例を示す概略図である。
図７に示されているように、室内に、発話者判定装置２００、撮像装置１６０及びマイク装置２７０が配置されている。
実施の形態２における撮像装置１６０は、実施の形態１における撮像装置１６０と同様である。
【００５０】
マイク装置２７０は、発話者の音声を収集する装置である。マイク装置２７０は、１つのマイクを備えていてもよく、複数のマイクを組み合わせたアレイマイクを備えていてもよい。マイク装置２７０は、発話者判定装置２００に接続され、発話者判定装置２００からの制御を受けるとともに、収集された音声を示す音声信号を発話者判定装置２００に与える。
【００５１】
図６に戻り、音声認識部２４０は、マイク装置２７０より入力される音声信号で示される音声を認識する。例えば、音声認識部２４０は、マイク装置２７０から入力される音声信号で示される音声を自然言語化することで、認識する。音声認識部２４０は、認識された音声を示す音声情報を発話者判定部２３０に与える。
【００５２】
発話者判定部２３０は、顔検出部１１０から与えられる位置情報で示される、顔画像が検出された位置と、開口度算出部１２８から与えられる開口度情報で示される、算出された顔毎の開口度と、から、音声認識部２４０から与えられる音声情報で示される音声を発した対象者を判定する。
【００５３】
例えば、室内に３名の対象者がいるものとして説明する。３名の対象者を、対象者Ａ、対象者Ｂ及び対象者Ｃとする。
発話者判定部２３０には、開口度が０％の場合は、無言、開口度が３０％の場合は、母音が「オ」の音、開口度が７０％の場合は、母音が「ア」の音といったように、開口度に応じて、母音を示す判定ルールが予め定められている。
【００５４】
このため、発話者判定部２３０は、位置情報及び開口度情報により、対象者Ａの開口度が０％、対象者Ｂの開口度が３０％、及び、対象者Ｃの開口度が７０％であると判定した場合、対象者Ａは、無言、対象者Ｂは、音声情報で示される、母音が「オ」の音声、対象者Ｃは、音声情報で示される、母音が「ア」の音声を発していると判定することができる。
以上により、音声情報で示される音声を、複数の発話者の何れかに割り当てることができる。
【００５５】
実施の形態２における発話者判定装置２００も、実施の形態１と同様に、図４に示されているような、ハードウェアにより構成することができる。例えば、音声認識部２４０も、ＣＰＵ１１がプログラムを実行することで実現することができる。なお、音声認識部２４０は、図示されていない処理回路で実現することもできる。
なお、実施の形態２では、Ｉ／Ｆ１４は、マイク装置１７０から音声信号を入力する入力部としても機能する。
【００５６】
図８は、実施の形態２に係る情報処理方法である発話者判定方法を示すフローチャートである。
なお、図８に示されているステップの内、図５に示されているステップと同様のステップについては、図５と同様の符号を付し、詳細な説明を省略する。
【００５７】
図８のステップＳ１０〜Ｓ１８までの処理については、図５のステップＳ１０〜Ｓ１８までの処理と同様である。但し、ステップＳ１８の処理の後は、処理はステップＳ２２に進む。
【００５８】
ステップＳ１０〜Ｓ１８での処理とは別に、音声認識部２４０は、マイク装置２７０から、例えば、室内の対象者の音声を示す音声信号を取得する（Ｓ２０）。音声を取得する場所は、車内又は屋外等、特に限定しない。
【００５９】
次に、音声認識部２４０は、ステップＳ２０で取得された音声信号で示される音声の認識処理を実施する（Ｓ２１）。そして、処理はステップＳ２２に進む。
【００６０】
なお、音声認識方法は、例えば、古くから研究されている確率モデルとして隠れマルコフモデルを導入したものでもよく、リカレントニューラルネットワークを使用した手法でもよい。
隠れマルコフモデルは、時系列的に変動するデータを確率的なモデルで表現したものである。また、リカレントニューラルネットワークは、既存のニューラルネットワークを前後の時系列情報まで扱えるように拡張したネットワークを指す。連続的な情報を利用できる点で自然言語処理の分野に向いているとされている。
【００６１】
ステップＳ２２では、発話者判定部２３０は、ステップＳ１１で顔画像が検出された位置と、顔画像毎にステップＳ１８で算出された開口度とから、ステップＳ２１で認識された音声を発した対象者を判定する。
【００６２】
以上のように、実施の形態２によれば、音声認識処理により認識された音声が誰の発話かを判定することができる。具体的には、複数の対象者が同時に音声コマンドを入力した場合、それらを聞き分けてそれぞれ対象の人物に適応することができる。
【００６３】
以上に記載された実施の形態１では、発話者判定部１３０から判定結果をマイク装置１７０に送り、マイク装置１７０が判定結果に応じて、マイク装置１７０がマイクの制御を行っているが、実施の形態１は、このような例に限定されない。例えば、発話者判定部１３０は、判定結果に従って、マイクを制御するためのコマンドをマイク装置１７０に送り、このようなコマンドに応じて、マイク装置１７０がマイクの制御を行ってもよい。
【符号の説明】
【００６４】
１００，２００  発話者判定装置、  １１０  顔検出部、  １２０  開口度取得部、  １２２  唇検出部、  １２３  開口幅算出部、  １２５  目検出部、  １２６  鼻検出部、  １２７  鼻長算出部、  １２８  開口度算出部、  １３０，２３０  発話者判定部、  ２４０  音声認識部、  １６０  撮像装置、  １７０，２７０  マイク装置。
【図１】
2020065706.tif 000003
【図２】
2020065706.tif 000004
【図３】
2020065706.tif 000005
【図４】
2020065706.tif 000006
【図５】
2020065706.tif 000007
【図６】
2020065706.tif 000008
【図７】
2020065706.tif 000009
【図８】
2020065706.tif 000010
【国際調査報告】
2020065706.tif 000011
2020065706.tif 000012
2020065706.tif 000013
2020065706.tif 000014