(57)【要約】【課題】  雑音がある環境であっても正確に単語を認識するために、音声自体に頼ることなく、画像認識技術を利用して単語を認識する単語認識装置を提供する。  【解決手段】  話者の口唇を画像処理して認識するに際し、所定の単位時間ごとに口唇を含む画像を取り込み、時間経過による画像の差分を計算することにより１音が発声された状態を検出し、母音と「ん」からなる文字列として認識し、あらかじめ認識したい複数の単語データを、母音と「ん」の文字列として格納した単語辞書とマッチングにより比較して単語を認識する。【選択図】  図１
2005165887.tif 000002
【特許請求の範囲】
【請求項１】
話者の口唇を撮像して撮像画像を１ピクセルのビット数が２ビット以上の階調画像データに変換する撮像手段と、
前記階調画像データの２フレーム分を格納できる画像メモリ手段と、
前記撮像手段から出力される前記階調画像データを単位時間ごとに前記画像メモリ手段の２つのフレーム格納部分に交互に格納する画像取り込み手段と、
前記画像メモリ手段に格納されている２フレームの画像データ間の差分を計算し、その差分が所定の差分閾値より小さいことを判定する画像差分手段と、
前記画像差分手段により前記差分が前記差分閾値より小さいと判定された場合、前記画像メモリ手段が備える２つのフレーム格納部分のどちらか一方の画像データを選択し、選択した画像データの各ピクセルを所定のピクセル閾値にて判別して２値の画像データに変換することで前記撮像画像中の口唇領域を抽出して２値の口唇領域画像データを出力する領域分割手段と、
前記領域分割手段から出力された前記２値の口唇領域画像データを１フレーム格納できる口唇領域メモリ手段と、
母音の口唇パターンデータと、「ん」を発生した閉口状態の口唇パターンデータが格納されているパターンデータ格納手段と、
前記口唇領域メモリ手段に格納された２値の口唇領域画像データと、前記パターンデータ格納手段のパターンデータとマッチングを行い、その結果得られた母音と「ん」の音を文字データとして出力するパターンマッチング手段と、
前記パターンマッチング手段から順次出力された前記母音と「ん」を表す文字データを文字列として蓄積する文字列バッファ手段と、
認識すべき複数の単語のそれぞれから、各単語の「ん」を抽出して文字列として格納してある母音辞書データ手段と、
前記母音辞書データ手段に格納されている母音と「ん」の文字列と、前記文字列バッファ手段から出力された文字列を比較して、対応する単語を出力する母音辞書データ検索手段とを、
有する単語認識装置。
【請求項２】
話者の口唇を撮像して撮像画像を１ピクセルのビット数が２ビット以上の階調画像データに変換する撮像手段と、
前記階調画像データの１フレーム分を格納できる画像メモリ手段と、
前記撮像手段から出力される前記階調画像データを単位時間ごとに前記画像メモリ手段に格納する画像取り込み手段と、
前記画像メモリ手段に格納された画像データの各ピクセルを所定のピクセル閾値にて判別して２値の画像データに変換することで前記撮像画像中の口唇領域を抽出して２値の口唇領域画像データを出力する領域分割手段と、
前記領域分割手段から出力された前記２値の口唇領域画像データを２フレーム格納する口唇領域メモリ手段と、
前記口唇領域メモリ手段に格納されている２フレームの画像データの差分を計算し、その差分が所定の差分閾値より小さいことを判定する画像差分手段と、
母音の口唇パターンデータと、「ん」を発声したときの閉口状態の口唇パターンデータが格納されているパターンデータ格納手段と、
前記画像差分手段により前記差分が前記差分閾値より小さいと判定された場合、前記口唇領域メモリ手段が備える２つのフレーム格納部分のどちらか一方の画像データを選択し、選択した画像データと前記パターンデータ格納手段のパターンデータとの間でマッチングを行い、その結果得られた母音と「ん」の音を文字データとして出力するパターンマッチング手段と、
前記パターンマッチング手段から順次出力された母音と「ん」を表す文字データを文字列として蓄積する文字列バッファ手段と、
認識すべき複数の単語のそれぞれから、各単語の「ん」を抽出して格納して文字列として格納してある母音辞書データ手段と、
前記母音辞書データ手段に格納されている母音と「ん」の文字列と、前記文字列バッファ手段から出力された文字列を比較して、対応する単語を出力する母音辞書データ検索手段とを、
有する単語認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単語認識装置に関し、特に話者の口唇画像をパターンマッチングにより音声を認識して単語を認識する技術の改良に関する。
【背景技術】
【０００２】
人の発声する単語を認識する従来の方法としては、音声をマイクによりピックアップして、音声信号を解析し、発音を文字として認識し単語認識を行っていた。また、下記の特許文献１に開示された技術では顔画像を認識して、単語認識の開始を検出している。さらに下記の特許文献２に開示された技術では、文節の終了を検出している。
【特許文献１】特願平１０−１４９１０３号公報
【特許文献２】特願平０８−２４７９３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、音声をマイクなどでピックアップして認識する従来の方法では、雑音に非常に弱いという問題があった。そのため、話者は非常に静かな環境において、発音を認識するための発声を行う必要があるなど実用性に欠けていた。このような点から、雑音がある環境においても、話者の発した単語が認識できる装置が望まれている。また、特許文献１に記載の技術では、単語認識の開始点が検出されるだけであり、単語自体を画像で認識しているわけではない。また特許文献２に記載の技術では、文節の終了が検出されるだけであり、これまた単語自体を画像で認識しているわけではない。
【０００４】
したがって本発明は、雑音がある環境であっても正確に単語を認識するために、音声自体に頼ることなく、画像認識技術を利用して単語を認識する単語認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため本発明では、話者の口唇を画像処理して認識するに際し、所定の単位時間ごとに口唇を含む画像を取り込み、時間経過による画像の差分を計算することにより１音が発声された状態を検出し、母音と「ん」からなる文字列として認識し、あらかじめ認識したい複数の単語データを、母音と「ん」の文字列として格納した単語辞書とのマッチングにより比較して単語を認識するようにしている。
【０００６】
すなわち本発明によれば、話者の口唇を撮像して撮像画像を１ピクセルのビット数が２ビット以上の階調画像データに変換する撮像手段と、
前記階調画像データの２フレーム分を格納できる画像メモリ手段と、
前記撮像手段から出力される前記階調画像データを単位時間ごとに前記画像メモリ手段の２つのフレーム格納部分に交互に格納する画像取り込み手段と、
前記画像メモリ手段に格納されている２フレームの画像データ間の差分を計算し、その差分が所定の差分閾値より小さいことを判定する画像差分手段と、
前記画像差分手段により前記差分が前記差分閾値より小さいと判定された場合、前記画像メモリ手段が備える２つのフレーム格納部分のどちらか一方の画像データを選択し、選択した画像データの各ピクセルを所定のピクセル閾値にて判別して２値の画像データに変換することで前記撮像画像中の口唇領域を抽出して２値の口唇領域画像データを出力する領域分割手段と、
前記領域分割手段から出力された前記２値の口唇領域画像データを１フレーム格納できる口唇領域メモリ手段と、
母音の口唇パターンデータと、「ん」を発生した閉口状態の口唇パターンデータが格納されているパターンデータ格納手段と、
前記口唇領域メモリ手段に格納された２値の口唇領域画像データと、前記パターンデータ格納手段のパターンデータとマッチングを行い、その結果得られた母音と「ん」の音を文字データとして出力するパターンマッチング手段と、
前記パターンマッチング手段から順次出力された前記母音と「ん」を表す文字データを文字列として蓄積する文字列バッファ手段と、
認識すべき複数の単語のそれぞれから、各単語の「ん」を抽出して文字列として格納してある母音辞書データ手段と、
前記母音辞書データ手段に格納されている母音と「ん」の文字列と、前記文字列バッファ手段から出力された文字列を比較して、対応する単語を出力する母音辞書データ検索手段とを、
有する単語認識装置が提供される。
【０００７】
また本発明によれば、話者の口唇を撮像して撮像画像を１ピクセルのビット数が２ビット以上の階調画像データに変換する撮像手段と、
前記階調画像データの１フレーム分を格納できる画像メモリ手段と、
前記撮像手段から出力される前記階調画像データを単位時間ごとに前記画像メモリ手段に格納する画像取り込み手段と、
前記画像メモリ手段に格納された画像データの各ピクセルを所定のピクセル閾値にて判別して２値の画像データに変換することで前記撮像画像中の口唇領域を抽出して２値の口唇領域画像データを出力する領域分割手段と、
前記領域分割手段から出力された前記２値の口唇領域画像データを２フレーム格納する口唇領域メモリ手段と、
前記口唇領域メモリ手段に格納されている２フレームの画像データの差分を計算し、その差分が所定の差分閾値より小さいことを判定する画像差分手段と、
母音の口唇パターンデータと、「ん」を発声したときの閉口状態の口唇パターンデータが格納されているパターンデータ格納手段と、
前記画像差分手段により前記差分が前記差分閾値より小さいと判定された場合、前記口唇領域メモリ手段が備える２つのフレーム格納部分のどちらか一方の画像データを選択し、選択した画像データと前記パターンデータ格納手段のパターンデータとの間でマッチングを行い、その結果得られた母音と「ん」の音を文字データとして出力するパターンマッチング手段と、
前記パターンマッチング手段から順次出力された母音と「ん」を表す文字データを文字列として蓄積する文字列バッファ手段と、
認識すべき複数の単語のそれぞれから、各単語の「ん」を抽出して格納して文字列として格納してある母音辞書データ手段と、
前記母音辞書データ手段に格納されている母音と「ん」の文字列と、前記文字列バッファ手段から出力された文字列を比較して、対応する単語を出力する母音辞書データ検索手段とを、
有する単語認識装置が提供される。
【発明の効果】
【０００８】
本発明の単語認識装置によれば、顔画像データ、特に口唇の画像データだけで単語認識が可能となるので、周辺の雑音が大きい環境においても、単語を認識することができる。また、音声データは必要ないので、逆に声を出すことができない環境においても、口を動かすだけで単語を認識することができるという効果を得ることができる。
【発明を実施するための最良の形態】
【０００９】
本発明では、所定の単位時間ごとに口唇を含む画像を取り込み、時間経過による画像の差分を計算することにより１音が発声された状態を検出し、母音と「ん」からなる文字列として認識し、あらかじめ認識したい複数の単語データを、母音と「ん」の文字列として格納した単語辞書とマッチングにより比較して単語を認識するようにしている。以下、本発明の好ましい実施の形態について説明する。
【００１０】
＜第１の実施の形態＞
図１は、本発明の口唇画像による単語認識装置の第１の実施の形態を示すブロック図である。撮像手段１０１は、話者の口唇を１ピクセル当たり２ビット以上の情報を持つ映像データに変換するものであり、例えばＣＣＤなどの撮像素子である。このような、１ピクセル当たり２ビット以上の情報を持つ多階調の画像データとしては、輝度情報や色情報が挙げられる。画像取り込み手段１０２は、撮像手段１０１から読み出した口唇を含む多階調の画像データを単位時間ごとに、画像メモリ手段１０５が備える２つのフレームメモリ（図中のフレーム１、フレーム２）に交互に格納した後、画像差分手段１０３に対して処理要求を出力する。画像差分手段１０３は、画像取り込み手段１０２から処理要求が入力されると、画像メモリ手段１０５に格納されている２フレームの多階調の画像データに対して差分処理を行って、２フレーム間の誤差累積を算出し、その誤差累積が設定された閾値より小さい場合は、領域分割手段１０４に処理要求を出力する。
【００１１】
領域分割手段１０４は、画像差分手段１０３から処理要求が入力されると、画像メモリ手段１０５のフレーム１に格納される多階調の画像データに対して平滑フィルタ処理でノイズを除去した後、輝度情報あるいは色情報に対して閾値処理を行って、口唇の領域を抽出して２値画像に変換を行う。そして、抽出した２値の口唇画像データを口唇領域メモリ手段１０６に格納して、パターンマッチング手段１０７に処理要求を通知する。パターンマッチング手段１０７は、領域分割手段１０４から処理要求が通知されると、口唇領域メモリ手段１０６に格納されている２値の口唇画像データと、テンプレートデータ１０８に格納されている母音「あ」「い」「う」「え」「お」と「ん」に対応する唇のテンプレートデータ１０８を比較して、一致する母音データを出力する。文字列バッファ手段１０９は、パターンマッチング手段１０７から出力された母音データを格納して、文字列として保持する。母音辞書データ検索手段１１０は、文字列バッファ手段１０９から入力された母音の文字列と、母音辞書データ１１１に格納されている単語データベースを比較して、一致する単語を認識結果として出力する。
【００１２】
具体的に説明すると本発明は、人が言葉を発声するとき、１音を発声すると短時間であるが口唇の形が母音を発生した形で停止することを利用して、単語の認識を行う装置である。まず、図１の撮像手段１０１によって変換された多階調の口唇を含む画像データは、画像取り込み手段１０２によって、単位時間ごとに画像メモリ手段１０５の２つのフレームメモリに交互に格納される。ここで、本発明の単語認識装置は、２つのフレームに格納された単位時間の差がある口唇を含む画像データを比較する。そして、画像データに変化がない場合は、口唇の形が母音を発生している状態、あるいは閉口している状態（無音か、「ん」を発声している）と判断する。
【００１３】
以上の処理を実現するために、画像差分手段１０３は、画像メモリ手段１０５に格納される２つの口唇を含む多階調画像データの差分累積を計算する。そして、単位時間の画像の差分累積が設定された閾値以下になった場合、すなわち唇の形が変化していない場合は、母音を発声していると判断する。例えば、単位時間が２００ミリ秒とすれば、２００ミリ秒の間、画像に変化がなければ、その画像は母音を発生している口唇を含む。
【００１４】
図２は、母音、あるいは「ん」を発声している画像を検出するための、画像差分手段１０３の処理フローチャートである。画像差分手段１０３は、detecting（ディテクティング：検出中）とdetected（ディテクテッド：検出済）を内部ステートとして持つ。内部ステートがdetectingである場合は、母音を発声している画像を検出している状態であり、内部ステートがdetectedの場合は、母音を発声している画像を検出した状態である。
【００１５】
図２のフローチャートに沿って動作を説明する。まず、画像差分手段１０３は、ステップＳ２０で、内部ステートを初期値のdetectingにする。次に、ステップＳ２１で画像取り込み手段１０２が口唇を含む画像データを取り込むのを待つ。画像取り込み手段１０２は、口唇を含む画像データを取り込むと、画像差分手段１０３に対して処理要求の通知を行う。これにより、画像差分手段１０３はステップＳ２１において画像取り込みを待つ状態から、ステップＳ２２に遷移する。画像差分手段１０３は、ステップＳ２２で画像メモリ手段１０５のフレーム１とフレーム２の口唇を含む画像データの誤差累積を計算する。ステップＳ２３で、ステップＳ２２で算出した誤差累積が、設定された閾値以下であるか確認を行う。
【００１６】
誤差累積が設定された閾値よりも大きい場合は、唇の形状が変化している状態であり、母音を発声していない状態と判断し、ステップＳ２４で内部ステートをdetectingに遷移させて、ステップＳ２１に戻る。ステップＳ２３で誤差累積が設定された閾値以下の場合は、唇の形状が単位時間だけ変化していない状態であり、母音を発声している状態と判断して、ステップＳ２５に進む。ステップＳ２５では、内部ステートを確認してdetectingでない場合（内部ステートがdetectedの場合）は、すでに画像メモリ手段１０５に格納されている画像データの処理を行ったと判断し、ステップＳ２１に戻る。内部ステートがdetectingの場合、ステップＳ２６で内部ステートをdetectedに遷移させて、ステップＳ２７で領域分割手段１０４に対して通知を行い、口唇の画像データの２値化とパターンマッチング処理の要求を行う。なお、内部ステートがdetectedになった場合は、次に口の形状が変化したと判断されるまで内部ステートが変化することはない。具体的にはステップＳ２２で算出した誤差が設定された閾値より大きくならないと、detectingにはならない。
【００１７】
以上説明した画像差分手段１０３のフローチャートに従って、画像差分手段１０３で母音を発声している画像が検出されると、次に領域分割手段１０４によって、口唇を含む多階調の画像データから、口唇部分だけを抽出した２値の画像データを生成する処理を行う。口唇部分の領域分割は、まず、口唇を含む多階調の画像データに対して平滑フィルタによるノイズの除去を行う。その後、輝度情報あるいは色情報に対して閾値による領域分割処理を行うことで２値の口唇だけの画像を得ることができる。２値画像は、その後パターンマッチングするために、テンプレートデータ１０８と同じ解像度に正規化する。本実施例では、テンプレートデータ１０８は１６×１６であるので、２値画像を１６×１６で正規化する。図３は、領域分割手段１０４によって処理された２値画像の例である。
【００１８】
以上説明した画像差分手段１０３で生成した、口唇の２値画像データは、パターンマッチングで母音あるいは「ん」のデータに変換される。パターンマッチング手段１０７は、「あ」「い」「う」「え」「お」と「ん」に対応する唇画像のテンプレートデータ１０８を備えている。図４は、１６×１６画素の「あ」に対応するテンプレートデータ例である。もちろん、本データ例では１６×１６のテンプレートで説明しているが、母音データのテンプレートは、必要があればもっと大きな画素を用意してもよい。領域分割手段１０４で生成された唇領域の２値画像は、パターンマッチング手段１０７で「あ」「い」「う」「え」「お」と「ん」のテンプレートデータ１０８と差分処理を行い、もっとも誤差の少ないものを出力する。
【００１９】
次に、文字列バッファ手段１０９について説明する。文字列バッファ手段１０９は、パターンマッチング手段１０７から出力される母音データと「ん」を格納するものである。ここで蓄積された文字列は、パターンマッチング手段１０７から所定の時間入力がないと、クリアされる。
【００２０】
次に、母音辞書データ検索手段１１０について説明する。母音辞書データ検索手段１１０は、文字列バッファ手段１０９から出力された文字列と、母音辞書データ１１１の内容とを比較する。母音辞書データ１１１は、例えば、図５に示すように認識したい単語（図中「認識単語」と記す）が母音データと対で記憶されている。母音データは、認識したい単語から、母音と「ん」を抽出したものである。文字列バッファ手段１０９に保持されている文字列と、母音辞書データの母音データが一致するものがあれば、認識単語を出力する。
【００２１】
図５の母音データは、説明の都合上、「あ」「い」「う」「え」「お」「ん」の文字から選択された文字で表現しているが、実際はアスキー文字列のＡ、Ｉ、Ｕ、Ｅ、Ｏ、Ｎでデータに格納してもよいし、別のビットを割り当ててもよい。基本的には、６つの情報が表現できればよいので、最低３ビットあれば母音データは表現可能である。
【００２２】
＜第２の実施の形態＞
図６は、本発明の口唇画像による単語認識装置の第２の実施の形態を示すブロック図である。第２の実施の形態は、先に２値の口唇画像データを生成して、２値の口唇画像データの差分を計算する点で第１の実施の形態と異なる。撮像手段６０１は、話者の口唇を１ピクセル当たり２ビット以上の情報を持つ映像データに変換するものであり、例えばＣＣＤなどの撮像素子である。このような、１ピクセル当たり２ビット以上の情報を持つ多階調の画像データとしては、輝度情報や色情報が挙げられる。画像取り込み手段６０２は、撮像手段６０１から読み出した口唇を含む多階調の画像データを単位時間ごとに画像メモリ手段６０５のフレームメモリに格納した後、領域分割手段６０４に対して処理要求を出力する。
【００２３】
領域分割手段６０４は、画像取り込み手段６０２から処理要求が入力されると、画像メモリ手段６０５に格納される多階調の画像データに対して平滑フィルタ処理でノイズを除去した後、輝度情報あるいは色情報に対して閾値処理を行って、口唇の領域を抽出した２値画像を生成し、口唇領域メモリ手段６０６に口唇の２値画像データを格納した後、画像差分手段６０３に処理要求を出力する。口唇領域メモリ手段６０６は、２フレームの２値画像データの格納メモリを備えており、領域分割手段６０４は、２フレームのメモリに対して単位時間ごとに交互に画像データを格納する。
【００２４】
画像差分手段６０３は、領域分割手段６０４から処理要求が入力されると、口唇領域メモリ手段６０６に格納されている２フレームの２値の画像データに対して差分処理を行って、２フレーム間の誤差累積を算出し、その誤差累積が設定された閾値より小さい場合は、パターンマッチング手段６０７に処理要求を出力する。パターンマッチング手段６０７は、画像差分手段６０３から処理要求が入力されると、口唇領域メモリ手段６０６のフレーム２に格納されている口唇を含む２値の画像データと、テンプレートデータ６０８に格納されている母音「あ」「い」「う」「え」「お」と「ん」に対応する唇のテンプレートデータ６０８を比較して、一致する母音データを出力する。文字列バッファ手段６０９は、パターンマッチング手段６０７から出力された母音データを格納して、文字列として保持する。母音辞書データ検索手段６１０は、文字列バッファ手段６０９から入力された母音の文字列と、母音辞書データ６１１に格納されている単語データベースを比較して、一致する単語を認識結果として出力する。
【００２５】
具体的に説明すると第２の実施の形態では、第１の実施の形態の単語認識装置と同様に人が言葉を発声するとき、１音を発声すると短時間であるが口唇の形が母音を発生した形で停止することを利用して、単語の認識を行う装置である。まず、図６の撮像手段６０１によって変換された多階調の口唇を含む画像データは、画像取り込み手段６０２によって、単位時間ごとに画像メモリ手段６０５の１つのフレームメモリに格納される。画像メモリ手段６０５に格納された多階調の画像データは、領域分割手段６０４で口唇部分だけを抽出した２値の画像データに変換されて、口唇領域メモリ手段６０６の２つのフレームに交互に格納される。
【００２６】
領域分割手段６０４は、まず、口唇を含む多階調の画像データに対して平滑フィルタによるノイズの除去を行い、その後、輝度情報あるいは色情報に対して閾値による領域分割処理を行うことで２値の口唇だけの画像を生成する。そして、画像差分手段６０３は、口唇メモリ手段６０６に格納された２つの単位時間の差がある２値の口唇画像データを比較する。そして、画像データに変化がない場合は、口唇の形が母音を発生している状態、あるいは閉口している状態（無音か、「ん」を発声している）と判断する。
【００２７】
以上の処理を実現するために、画像差分手段６０３は、口唇領域メモリ手段６０６に格納される２つの２値の口唇画像データの差分累積を計算する。そして、単位時間の画像の差分累積が設定された閾値以下になった場合、すなわち唇の形が変化していない場合は、母音を発声していると判断する。例えば、単位時間が２００ミリ秒とすれば、２００ミリ秒の間、画像に変化がなければ、その画像は母音を発生している口唇を含む。
【００２８】
図７は、母音、あるいは「ん」を発声している画像を検出するための、画像差分手段６０３の処理フローチャートである。第１の実施の形態の単語認識装置の説明で使用した図２のフローチャートとの違いは、母音を発生している画像を検出したときの通知先がパターンマッチング手段６０７となっている部分（ステップＳ２８）だけであるので説明は省略する。画像差分手段６０３によって、母音の２値画像データが出力された後のパターンマッチング処理は、第１の実施の形態と同様である。
【００２９】
本発明によれば、特許請求の範囲に記載された発明の他、下記の単語認識装置が提供される。
【００３０】
話者の口唇を画像データに変換する撮像手段と、
前記画像データが２フレーム格納できる画像メモリ手段と、
前記画像メモリ手段に前記撮像手段から出力される画像データを単位時間ごとに格納する画像取り込み手段と、
前記画像メモリに格納されている２フレームの画像データの差分を算出し、その差分データが所定の閾値よりも小さい場合は、前記画像メモリに格納される画像データを所定の閾値による分割で口唇領域を抽出する領域分割手段と、
前記領域分割手段が検出した口唇領域を、母音の口唇パターンデータとマッチングを行うパターンマッチング手段と、
前記パターンマッチング手段から出力された母音データを文字列として蓄積する文字列バッファ手段と、
認識すべき単語から、その母音と「ん」を抽出して格納してある母音辞書データ手段と、
前記母音辞書データ手段の内容と、前記文字列バッファ手段から出力された文字列を比較して、対応する単語を出力する母音辞書データ検索手段とで構成される単語認識装置。
【００３１】
また本発明によれば、前記文字列バッファ手段は、タイマ手段を備え、前記パターンマッチング手段から入力されてからの経過時間を前記タイマ手段で計測し、前記タイマ手段で計測した経過時間が設定された時間以上の場合、文字列バッファをクリアするよう構成することができる。
【産業上の利用可能性】
【００３２】
本発明では上記のように顔画像データ、特に口唇の画像データだけで単語認識が可能となるので、周辺の雑音が大きい環境においても、単語を認識することができ、また、音声データは必要ないので、逆に声を出すことができない環境においても、口を動かすだけで単語を認識することができるという効果を得ることができるので、簡単な命令などを単語認識する装置や発声が困難な人への支援装置などを含む単語認識装置に有用である。
【図面の簡単な説明】
【００３３】
【図１】本発明の単語認識装置の第１の実施の形態を示すブロック図である。
【図２】図１中の画像差分手段の動作を示すフローチャートである。
【図３】図１中の領域分割手段の処理結果を示す図である。
【図４】図１中の母音辞書データに格納されているテンプレートデータの一例を示す図である。
【図５】母音辞書データの内容例を示す図である。
【図６】本発明の単語認識装置の第２の実施の形態を示すブロック図である。
【図７】図６中の画像差分手段の動作を示すフローチャートである。
【符号の説明】
【００３４】
１０１、６０１  撮像手段
１０２、６０２  画像取り込み手段
１０３、６０３  画像差分手段
１０４、６０４  領域分割手段
１０５、６０５  画像メモリ手段
１０６、６０６  口唇領域メモリ手段
１０７、６０７  パターンマッチング手段
１０８、６０８  テンプレートデータ
１０９、６０９  文字列バッファ手段
１１０、６１０  母音辞書データ検索手段
１１１、６１１  母音辞書データ
【図１】
2005165887.tif 000003
【図２】
2005165887.tif 000004
【図３】
2005165887.tif 000005
【図４】
2005165887.tif 000006
【図５】
2005165887.tif 000007
【図６】
2005165887.tif 000008
【図７】
2005165887.tif 000009