(57)【特許請求の範囲】
【請求項１】
音声認識の対象となる利用者を撮影した画像をカメラから取得し、前記画像を用いて前記利用者を特定する顔認識手段と、
予め記憶された個人毎の口の動きの特徴量を記憶した口の動きデータベースを有し、前記画像から利用者の口の状態を検出し、前記口の動きデータベースに記憶された前記利用者に対応する口の動きの特徴量と前記画像から得られた前記利用者の口の動きの特徴量とを比較し、前記利用者が話しているかどうかを判定する口の動き判定手段と、
前記利用者が話していると判定された場合、前記利用者の音声を取得するための音声入力手段に前記利用者の位置を通知する指向方向決定手段と、
前記音声を取得し音声認識を行う音声認識手段とを備えた
ことを特徴とする音声認識システム。
【請求項２】
音声認識手段は、
個人毎の音声に関する特徴を予め記憶した個別ユーザ辞書データベースを有し、前記個別ユーザ辞書データベースに記憶された利用者に対応する音声に関する特徴に基づいて、音声入力手段から取得した前記利用者の音声認識を行う
請求項１記載の音声認識システム。
【請求項３】
音声認識手段が認識して得たテキスト情報を取得し、前記テキスト情報を解析し文が完結しているかどうか判定し、文が完結していると判定した場合、顔認識手段に顔認識をさせる文終了判定手段を備えた
請求項１または請求項２記載の音声認識システム。
【請求項４】
音声入力手段から音声データが取得されたかどうかを判定する音声入力有無判定手段を備え、
音声データが取得されていない場合、音声認識手段は音声認識を行わず、顔認識手段は画像を用いて利用者を特定する
請求項１から請求項３のうちのいずれか１項に記載の音声認識システム。
【請求項５】
音声認識の対象となる利用者を撮影した画像をカメラから取得し、前記画像を用いて前記利用者を特定し、
予め記憶された個人毎の口の動きの特徴量を記憶した口の動きデータベースを有し、前記画像から利用者の口の状態を検出し、前記口の動きデータベースに記憶された前記利用者に対応する口の動きの特徴量と前記画像から得られた前記利用者の口の動きの特徴量とを比較し、前記利用者が話しているかどうかを判定し、
前記利用者が話していると判定された場合、前記利用者の音声を取得するための音声入力手段に前記利用者の位置を通知し、
前記音声を取得し音声認識を行う
ことを特徴とする音声認識方法。
【請求項６】
コンピュータに、
音声認識の対象となる利用者を撮影した画像をカメラから取得し、前記画像を用いて前記利用者を特定する顔認識処理と、
予め記憶された個人毎の口の動きの特徴量を記憶した口の動きデータベースを有し、前記画像から利用者の口の状態を検出し、前記口の動きデータベースに記憶された前記利用者に対応する口の動きの特徴量と前記画像から得られた前記利用者の口の動きの特徴量とを比較し、前記利用者が話しているかどうかを判定する口の動き判定処理と、
前記利用者が話していると判定された場合、前記利用者の音声を取得するための音声入力手段に前記利用者の位置を通知する指向方向決定処理と、
前記音声を取得し音声認識を行う音声認識処理と
を実行させるための音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識技術を利用した音声認識システムに関する。
【背景技術】
【０００２】
音声認識は、有望な技術であり、スマートデバイスなどでも活用され始めている。音声認識技術を用いることにより、例えば、メモの作成、検索またはシステムの操作など、今まで手動の操作で行われ手間がかかっていた作業をより簡単に行うことが可能である。
【０００３】
音声認識の認識精度向上のために、雑音処理を施したり、音声辞書を整備したりするなどの様々な対策が行われているが、認識精度が１００％に達することは難しい。しかし、音声認識を利用する顧客は、ほぼ１００％の認識精度を期待しており、現状ではそのニーズに応えることができていない。そのため、認識精度向上のための技術やソリューションを開発するために、今なお研究が行われている。
【０００４】
音声認識を実施するための一般的な構成は、音声を収集するマイクロフォン（以下、マイクという）および得られたデータを解析しテキスト化を行う認識エンジン部分に大別される。そして、音声を認識する精度は、収集された音声データの質や、認識エンジン部分で利用する音声辞書に大きく依存する。ここで音声収集に注目すると、例えば、マイクにより認識対象者の周囲の雑音や認識対象者以外の話し声が収集されることにより、音声データの質が下がり、認識精度が下がってしまうという課題がある。
【０００５】
そのような課題を解決するための技術として、例えば特許文献１には、認識対象者が発する音声を強調して入力し集音能力を高めるために、指向性マイクを活用し、撮像画像における被写体の占める範囲に基づいて、音声入力部の指向性を制御する技術が記載されている。また、特許文献１には、口が開いていると認識された顔の人物が声を発している可能性が高いと判断し、その人物の顔が占める範囲から入力される音声を強調する指向性で音声を入力する技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−６１４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、話をする際の口の動かし方には、個人によって特徴があるので、特許文献１に記載された技術を用いたとしても、認識対象者である話者の確実な特定ができない場合がある。そのため、話者に対する音声収集がうまくいかず、周囲の雑音等を収集してしまい音声データの質が下がり、音声認識の精度が下がってしまう場合がある。
【０００８】
そこで、本発明は、音声認識の精度を向上させることができる音声認識システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明による音声認識システムは、音声認識の対象となる利用者を撮影した画像をカメラから取得し、前記画像を用いて前記利用者を特定する顔認識手段と、予め記憶された個人毎の口の動きの特徴量を記憶した口の動きデータベースを有し、前記画像から利用者の口の状態を検出し、前記口の動きデータベースに記憶された前記利用者に対応する口の動きの特徴量と前記画像から得られた前記利用者の口の動きの特徴量とを比較し、前記利用者が話しているかどうかを判定する口の動き判定手段と、前記利用者が話していると判定された場合、前記利用者の音声を取得するための音声入力手段に前記利用者の位置を通知する指向方向決定手段と、前記音声を取得し音声認識を行う音声認識手段とを備えたことを特徴とする。
【００１０】
本発明による音声認識方法は、音声認識の対象となる利用者を撮影した画像をカメラから取得し、前記画像を用いて前記利用者を特定し、予め記憶された個人毎の口の動きの特徴量を記憶した口の動きデータベースを有し、前記画像から利用者の口の状態を検出し、前記口の動きデータベースに記憶された前記利用者に対応する口の動きの特徴量と前記画像から得られた前記利用者の口の動きの特徴量とを比較し、前記利用者が話しているかどうかを判定し、前記利用者が話していると判定された場合、前記利用者の音声を取得するための音声入力手段に前記利用者の位置を通知し、前記音声を取得し音声認識を行うことを特徴とする。
【００１１】
本発明による音声認識プログラムは、コンピュータに、音声認識の対象となる利用者を撮影した画像をカメラから取得し、前記画像を用いて前記利用者を特定する顔認識処理と、予め記憶された個人毎の口の動きの特徴量を記憶した口の動きデータベースを有し、前記画像から利用者の口の状態を検出し、前記口の動きデータベースに記憶された前記利用者に対応する口の動きの特徴量と前記画像から得られた前記利用者の口の動きの特徴量とを比較し、前記利用者が話しているかどうかを判定する口の動き判定処理と、前記利用者が話していると判定された場合、前記利用者の音声を取得するための音声入力手段に前記利用者の位置を通知する指向方向決定処理と、前記音声を取得し音声認識を行う音声認識処理とを実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、音声認識の精度を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明による音声認識システムの実施形態の構成を示すブロック図である。
【図２】本発明による音声認識システムの実施形態の動作を示すシーケンス図である。
【図３】本発明による音声認識システムの実施形態の動作を示すフローチャートである。
【図４】特定人物に対する口の動きの判定機能の動作を示す説明図である。
【図５】特定人物に対する音声認識機能の動作を示す説明図である。
【図６】文終了判定機能の動作を示す説明図である。
【図７】本発明による音声認識システムの主要部を示すブロック図である。
【発明を実施するための形態】
【００１４】
図１は、本発明による音声認識システムの実施形態の構成を示すブロック図である。図１に示すように、本実施形態の音声認識システムは、顔認識機能（顔認識部）３０、口の動き判定機能（口の動き判定部）４０、音声データ入力有無判定機能（音声データ入力有無判定部）５０、指向方向決定機能（指向方向決定部）６０、音声認識機能（音声認識部）７０、および文終了判定機能（文終了判定部）８０を備える。また、文終了判定機能８０以外の上記各機能は、ネットワーク２０を介して利用者が使用する機器１０に接続され、データの送受信を行う。また、機器１０は、カメラ１１および指向性マイクを含む。
【００１５】
顔認識機能３０は、特徴量抽出手段３１、ＤＢ（Ｄａｔａ  Ｂａｓｅ：データベース）照合手段３２および顔ＤＢ（Ｄａｔａ  Ｂａｓｅ：データベース）３３を含む。顔認識機能３０は、カメラ１１から得られる画像を入力する。特徴量抽出手段３１は、入力した画像の特徴量を抽出する。ＤＢ照合手段３２は、特徴量と顔ＤＢ３３に予め記憶された顔の特徴量との照合を行い、利用者の人物特定を行う。
【００１６】
口の動き判定機能４０は、口の状態検出手段４１、特定ユーザのＤＢ（Ｄａｔａ  Ｂａｓｅ：データベース）設定手段４２、個別の口の動きＤＢ（Ｄａｔａ  Ｂａｓｅ：データベース）４３、および発話中の口の動き判定手段４４を含む。口の状態検出手段４１は、カメラ１１から得られた画像から、口の状態を検出する。発話時の口の動き判定手段４４は、特定ユーザのＤＢ設定手段４２により設定された個別の口の動きＤＢ４３のデータと、カメラ１１から得られた画像とを比較する。
【００１７】
音声データ入力有無判定機能５０は、音声データ取得手段５１および音声データ有無判定手段５２を含む。音声データ取得手段５１は、機器１０から音声データを取得する。音声データ有無判定手段５２は、音声データの有無を判定する。音声データ有無判定手段５２は、例えば、取得された音声データの音量が所定の値を超えていれば音声データが入っていると判定する。
【００１８】
指向方向決定機能６０は、検索結果取得手段６１、対象人物の画像位置判定手段６２および方向決定手段６３を含む。検索結果取得手段６１は、顔認識機能３０および口の動き判定機能４０が出力した結果を取得する。対象人物の画像位置判定手段６２は、取得された結果に基づいて、認識対象となる人物の位置を判定する。方向決定手段６３は、人物の位置から方向を決定する。
【００１９】
音声認識機能７０は、特定ユーザ辞書設定手段７１、音声認識（テキスト化）手段７２、個別ユーザ辞書ＤＢ（Ｄａｔａ  Ｂａｓｅ：データベース）７３および認識結果ＤＢ（Ｄａｔａ  Ｂａｓｅ：データベース）７４を含む。特定ユーザ辞書設定手段７１は、個別ユーザ辞書ＤＢ７３のうち認識対象となる人物専用のＤＢを使用する設定を行う。音声認識（テキスト化）手段７２は、設定された辞書ＤＢを利用して、マイク１２から得られた音声データを音声認識（テキスト化）する。
【００２０】
文終了判定機能８０は、テキスト取得手段８１および文終了判定手段８２を含む。テキスト取得手段８１は、音声認識機能７０から送信されたテキスト情報を取得する。文終了判定手段８２は、得られたテキスト情報を解析し、文が完結しているかどうかを判定する。
【００２１】
なお、本実施形態の音声認識システムにおける顔認識機能３０、口の動き判定機能４０、音声データ入力有無判定機能５０、指向方向決定機能６０、音声認識機能７０、および文終了判定機能８０は、プログラムに基づいて処理を実行するＣＰＵで実現可能である。また、上記各機能に含まれるＤＢ（Ｄａｔａ  Ｂａｓｅ：データベース）は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の記憶装置に記憶される。
【００２２】
以下、本実施形態の音声認識システムの動作を説明する。図２は、本発明による音声認識システムの実施形態の動作を示すシーケンス図である。図３は、本発明による音声認識システムの実施形態の動作を示すフローチャートである。
【００２３】
利用者により機器１０の電源がＯＮにされると（ステップＳ１００）、機器１０が有するカメラ１１は、利用者を撮影し、顔認識機能３０および口の動き判定機能４０に画像を送信する（ステップＳ１）。顔認識機能３０は、カメラ１１から得られた画像を入力して顔認識を行う（ステップＳ１０１、ステップＳ２）。具体的には、ＤＢ照合手段３２は、特徴量抽出手段３１が抽出した画像の特徴量と顔ＤＢ３３に予め記憶された顔の特徴量との照合を行い、利用者の人物特定を行う。顔認識において人物が特定できなかった場合（ステップＳ１０２のＮＯ）、再度、顔認識を行う（ステップＳ１０１）。
【００２４】
顔認識機能３０は、顔認識において人物が特定できた場合（ステップＳ１０２のＹＥＳ）、認識結果を口の動き判定機能４０および音声認識機能７０へ送信し（ステップＳ３）、顔認識を一時停止する。
【００２５】
口の動き判定機能４０には、カメラ１１から得られた画像が定期的に送信される（ステップＳ５）。口の状態検出手段４１は、カメラ１１から得られた画像から口の状態を検出する。特定ユーザＤＢ設定４２は、個別の口の動きデータベース４３を用いて、顔認識機能３０が認識した人物に対応する口の動き特徴量を設定する（ステップＳ１０３、ステップＳ４）。発話時の口の動き判定手段４４は、その画像の特徴量と、個別の口の動きデータベース４３に記憶された特徴量との比較を行い、利用者が話しているかどうかを判定する（ステップＳ１０４、ステップＳ６）。利用者が話していないと判定された場合、顔認識機能３０を稼動させ、再度顔認識を行う（ステップＳ１０１）。
【００２６】
図４は、特定人物に対する口の動き判定機能４０の動作を示す説明図である。図４に示すように、個別の口の動きデータベース４３は、個人毎の個別のＤＢを含む。図４に示す例では、個別の口の動きデータベース４３は、Ａさん専用のデータベース４３ａとＢさん専用のデータベース４３ｂとを含む。発話中の口の動き判定手段４４は、ステップＳ１０１においてカメラ１１から得られた画像がＡさんであると認識された場合、画像の特徴量とＡさん専用のデータベース４３ａに記憶された特徴量とを比較してＡさんが話しているかどうか判定する。
【００２７】
口の動き判定機能４０により、個人毎の口の動きの特徴量データを予め記憶しておき、そのデータを用いて利用者が話しているかどうか判定するので、送られた画像のみを基に話しているかどうかを判定するよりも、より精度良く判定することができる。
【００２８】
口の動き判定機能４０は、ステップＳ１０４において利用者が話していると判定した場合、顔認識機能３０から得た顔認識結果と、口の動きの判定結果とを指向方向決定機能６０へ送信する（ステップＳ７）。指向方向決定機能６０は、送信された結果に基づいて、利用者までの距離がどれくらいか、どの方向にマイク１２の指向性を向ければよいかを判定する（ステップＳ１０５）。具体的には、検索結果取得手段６１が、顔認識機能３０および口の動き判定機能４０の結果を取得する。取得された結果に基づいて、対象人物の画像位置判定手段６２は、認識対象となる人物の位置および距離を判定する。また、方向決定手段６３は、位置から方向を決定する。判定された指向方向は、機器１０へと通知される（ステップＳ８）。機器１０は、マイク１２がその方向へと指向性を高めるように自動で制御する（ステップＳ１０６）。
【００２９】
また、ステップＳ１０４で、利用者が話していると判定された場合、音声認識機能７０は、音声認識の対象となる人物の音声認識対象辞書を設定する（ステップＳ１０７）。具体的には、本実施例において顔認識機能３０が特定した利用者はＡさんだったので、特定ユーザ辞書設定手段７１は、個別ユーザ辞書ＤＢ７３のうちＡさん専用の辞書を使用する設定を行う。
【００３０】
機器１０は、マイク１２から収集された音声データを、音声データ入力有無判定機能５０へ送信する（ステップＳ９）。音声データ取得手段５１は、機器１０から音声データを取得する。音声データ有無判定手段５２は、音声データの有無を判定する（ステップＳ１０８、ステップＳ１０）。音声データ有無判定手段５２は、例えば、取得された音声データの音量が所定の値を超えていれば音声データが入っていると判定する。ステップＳ１０８において、音声データが入っていないと判定された場合は、顔認識機能３０を稼動させ、再びステップＳ１０１の顔認識を実施する。
【００３１】
ステップＳ１０８において音声データが入っていると判定された場合、音声データ入力有無判定機能５０は、音声認識を行う音声認識機能７０へ音声データを送信する（ステップＳ１１）。音声認識機能７０は、送信された音声データに対して音声認識を実行する（ステップＳ１０９、ステップＳ１２）。
【００３２】
音声データ入力有無判定機能５０により、音声データが入っていないと判定された場合は、音声認識を行わないため、音声認識機能７０が無駄な処理を行う可能性を低減できる。
【００３３】
図５は、特定人物に対する音声認識機能７０の動作を示す説明図である。個別ユーザ辞書ＤＢ７３は、個人毎の声の質やよく言う言葉などの音声に関する特徴を記憶している。個別ユーザ辞書ＤＢ７３は、図５に示す例においては、Ａさん専用辞書ＤＢ７３ａとＢさん専用辞書ＤＢ７３ｂとを含む。ステップＳ１０７において、特定ユーザ辞書設定手段７１によりＡさん専用の辞書を使用する設定が行われている。そのため、音声認識（テキスト化）手段７２は、Ａさん専用辞書７３ａを利用して、マイク１２から得られた音声データの音声認識（テキスト化）を行う（ステップＳ１０９、ステップＳ１２）。
【００３４】
音声認識機能７０は、予め記憶した個人毎の声の質やよく言う言葉などの音声に関する特徴を用いて音声認識を行うので、個人を特定せずに音声認識する場合と比べて、より精度良く音声認識を行うことができる。
【００３５】
音声認識機能７０は、音声認識（テキスト化）されたデータ（テキスト情報）を、認識結果ＤＢ７４へ蓄積し、文終了判定機能８０へ送信する（ステップＳ１３）。テキスト取得手段８１は、音声認識機能７０から送信されたテキスト情報を取得する。そして、文終了判定手段８２は、得られたテキスト情報を解析し、文が完結しているかどうかを判定する（ステップＳ１４）。
【００３６】
図６は、文終了判定機能８０の動作を示す説明図である。図６に示すように、文終了判定機能８０は、音声認識機能７０から得たテキスト情報を解析し文の終わりを判別する。例えば、「です」や「しましょう」など文末に使用されることが多い語句を得たら、その語句が文末であると判断する。
【００３７】
文終了判定機能８０の判定において、文が完結していると判定された場合（ステップＳ１１０のＹＥＳ）、Ａさんの話が一旦終了すると判断し、次に話す人を特定するために顔認識機能３０を再稼動させ顔認識を再度行う（ステップＳ１０１、ステップＳ１５）。文終了判定機能８０の判定において、文が完結していないと判定された場合（ステップＳ１１０１のＮＯ）、ステップＳ１０６の処理に戻る。また、音声を認識した後、一定時間音声入力が無い場合にもその人物の発話が終了したと判断を行い、次に話す人を特定するために顔認識機能３０を再稼動させ顔認識を再度行ってもよい（ステップＳ１０１、ステップＳ１５）。
【００３８】
文終了判定機能８０は、文の終わりを判断することができるので、話者が話し終わったかどうかの判断ができる。そして、話者が話終わったと判断した場合、再度、顔認識を行い別の人が話し始めたらその人に指向を向けるので、例えば会議等で複数人が話し出した場合でも、より精度良く話者に指向を向けることができる。
【００３９】
本発明によれば、予め記憶した個人毎の口の動きの特徴量データを用いて話をしているかどうかを判定し、話をしている可能性が高い人物への指向性を高め、音声データを収集することができるので音声認識の精度を向上させることができる。また、予め記憶した個人毎の専用辞書を利用して音声認識を行うので、音声認識の精度を向上させることができる。また、話者の話の終わりを判断し、話者が話終わったと判断した場合、再度、顔認識を行い指向性の制御を行うので、音声認識の精度を向上させることができる。
【００４０】
図７は、本発明による音声認識システムの主要部を示すブロック図である。図７に示すように音声認識システムは、主要な構成要素として、音声認識の対象となる利用者を撮影した画像をカメラから取得し、画像を用いて利用者を特定する顔認識手段１と、予め記憶された個人毎の口の動きの特徴量を記憶した口の動きデータベースを有し、画像から利用者の口の状態を検出し、口の動きデータベースに記憶された利用者に対応する口の動きの特徴量と画像から得られた利用者の口の動きの特徴量とを比較し、利用者が話しているかどうかを判定する口の動き判定手段２と、利用者が話していると判定された場合、利用者の音声を取得するための音声入力手段に利用者の位置を通知する指向方向決定手段３と、音声を取得し音声認識を行う音声認識手段４とを備える。
【００４１】
また、上記の各実施形態では、以下の（１）〜（４）に示すような音声認識システムも開示されている。
【００４２】
（１）音声認識の対象となる利用者（例えば、利用者Ｘ）を撮影した画像をカメラ（例えば、カメラ１１）から取得し、画像を用いて利用者を特定する顔認識手段（例えば、顔認識機能３０）と、予め記憶された個人毎の口の動きの特徴量を記憶した口の動きデータベース（例えば、個別の口の動きＤＢ４３）を有し、画像から利用者の口の状態を検出し、口の動きデータベースに記憶された利用者に対応する口の動きの特徴量と画像から得られた利用者の口の動きの特徴量とを比較し、利用者が話しているかどうかを判定する口の動き判定手段（例えば、口の動き判定機能４０）と、利用者が話していると判定された場合、利用者の音声を取得するための音声入力手段（例えば、マイク１２）に利用者の位置を通知し、利用者への指向性を高めさせる指向方向決定手段（例えば、指向方向決定機能６０）と、音声を取得し音声認識を行う音声認識手段（例えば、音声認識機能７０）とを備えた音声認識システム。
【００４３】
（２）音声認識システムは、音声認識手段が、個人毎の音声に関する特徴を予め記憶した個別ユーザ辞書データベースを有し、個別ユーザ辞書データベースに記憶された利用者に対応する音声に関する特徴に基づいて、音声入力手段から取得した利用者の音声認識を行うように構成されていてもよい。
【００４４】
（３）音声認識システムは、音声認識手段が認識して得たテキスト情報を取得し、テキスト情報を解析し文が完結しているかどうか判定し、文が完結していると判定した場合、顔認識手段に顔認識をさせる文終了判定手段（例えば、文終了判定機能８０）を備えるように構成されていてもよい。
【００４５】
（４）音声認識システムは、音声入力手段から音声データが取得されたかどうかを判定する音声入力有無判定手段（例えば、音声データ入力有無判定機能５０）を備え、音声データが取得されていない場合、音声認識手段は音声認識を行わず、顔認識手段は画像を用いて利用者を特定するように構成されていてもよい。
【産業上の利用可能性】
【００４６】
本発明は、スマートフォンを用いた音声認識、テレビ会議における音声認識、または打合せもしくは講演会での音声認識などに適用可能である。
【符号の説明】
【００４７】
１０  機器
２０  ネットワーク
３０  顔認識機能
４０  口の動き判定機能
５０  音声データ入力有無判定機能
６０  指向方向決定機能
７０  音声認識機能
８０  文終了判定機能
【図１】
0005849761.tif 000002
【図２】
0005849761.tif 000003
【図３】
0005849761.tif 000004
【図４】
0005849761.tif 000005
【図５】
0005849761.tif 000006
【図６】
0005849761.tif 000007
【図７】
0005849761.tif 000008