(57)【要約】【課題】認識率を向上できる文字入力装置、文字入力方法、文字入力システム、文字入力サーバー及び端末を提供する。【解決手段】カメラにより口唇部を撮影し唇画像データを抽出する撮影抽出手段１０と、前記唇画像データから母音、撥音及び長音を認識する母音認識手段２０と、前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成する文字認識手段３０と、前記文字認識手段に接続され、前記文字データを出力する出力手段４０と、を備える。【選択図】図１
2010026731.tif 000002
【特許請求の範囲】
【請求項１】
カメラにより口唇部を撮影し唇画像データを抽出する撮影抽出手段と、前記唇画像データから母音、撥音及び長音を認識する母音認識手段と、前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成する文字認識手段と、前記文字認識手段に接続され、前記文字データを出力する出力手段と、を備えることを特徴とする文字入力装置。
【請求項２】
前記撮影抽出手段は、撮影画像の振動又はカメラの振動を検出して同期信号を出力する検出手段を備え、前記同期信号に同期して前記唇画像データを検出することを特徴とする請求項１記載の文字入力装置。
【請求項３】
音響を集音し音声データを抽出する音声抽出手段と、前記音声データから文字を認識して文字データを生成する音声認識手段と、を備え、前記出力手段は、前記音声認識手段に接続され、前記音声認識手段が文字データを生成した場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段が生成する文字データを出力することを特徴とする請求項１ないし２の何れかの請求項記載の文字入力装置。
【請求項４】
音響を集音し音声データを抽出する音声抽出手段と、前記音声データから文字を認識して文字データを生成する音声認識手段と、を備え、前記出力手段は、前記音声認識手段に接続され、前記音声認識手段が文字データを生成した場合、前記文字データの母音、撥音及び長音が、前記母音認識手段が認識した母音、撥音及び長音と所定割合以上一致した場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段が生成する文字データを出力することを特徴とする請求項１ないし２の何れかの請求項記載の文字入力装置。
【請求項５】
音響を集音し音声データを抽出する音声抽出手段と、前記音声データから文字を認識して文字データを生成する音声認識手段と、を備え、前記出力手段は、前記音声認識手段に接続され、前記音声認識手段が文字データを生成した場合、前記文字データの母音、撥音及び長音に、前記母音認識手段で認識した母音、撥音又は長音に対応する欠落又は不一致があった場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段の欠落又は不一致の母音、撥音又は長音に、前記母音認識手段が認識した前記母音、撥音及び長音をそれぞれ付加又は置き換えた文字データを出力することを特徴とする請求項１ないし２の何れかの請求項記載の文字入力装置。
【請求項６】
カメラにより口唇部を撮影し唇画像データを抽出する第１のステップと、前記唇画像データから母音、撥音及び長音を認識する第２のステップと、前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成する第３のステップと、前記文字データを出力する第４のステップと、からなることを特徴とする文字入力方法。
【請求項７】
前記第１のステップは、撮影画像の振動又はカメラの振動を検出して同期信号を出力し、前記同期信号に同期して前記唇画像データを検出することを特徴とする請求項６記載の文字入力方法。
【請求項８】
音響を集音し音声データを抽出する第５のステップと、前記音声データから文字を認識して文字データを生成する第６のステップと、を含み、前記第６のステップが文字データを生成した場合に、前記第４のステップは、前記第３のステップで出力する文字データに代えて、前記第６のステップで生成した文字データを出力することを特徴とする請求項６ないし７の何れかの請求項記載の文字入力方法。
【請求項９】
音響を集音し音声データを抽出する第５のステップと、前記音声データから文字を認識して文字データを生成する第６のステップと、を含み、前記第６のステップで認識した文字の母音、撥音及び長音が、前記第２のステップで認識した母音、撥音及び長音と所定割合以上一致した場合に、前記第４のステップは、前記第３のステップで出力する文字データに代えて、前記第６のステップで生成した文字データを出力することを特徴とする請求項６ないし７の何れかの請求項記載の文字入力方法。
【請求項１０】
音響を集音し音声データを抽出する第５のステップと、前記音声データから文字を認識して文字データを生成する第６のステップと、を含み、前記第６のステップは、認識した文字の母音、撥音及び長音に、前記第２のステップで認識した母音、撥音又は長音に対応する欠落又は不一致があった場合に、前記第３のステップで出力する文字データに代えて、前記第６のステップの欠落又は不一致の母音又は撥音に、前記第２のステップで認識した前記母音、撥音及び長音をそれぞれ付加又は置き換えた文字データを出力することを特徴とする請求項６ないし７の何れかの請求項記載の文字入力方法。
【請求項１１】
カメラにより口唇部を撮影し唇画像データを抽出する撮影抽出手段を備え、唇画像データを送信する端末と、前記唇画像データを受信し、該唇画像データから母音、撥音及び長音を認識する母音認識手段と、前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成する文字認識手段と、前記文字認識手段に接続され、前記文字データを出力する出力手段と、を備えるサーバーとを有することを特徴とする文字入力システム。
【請求項１２】
前記端末の前記撮影抽出手段は、撮影画像の振動又はカメラの振動を検出して同期信号を出力する検出手段を備え、前記同期信号に同期して前記唇画像データを検出することを特徴とする請求項１１記載の文字入力システム。
【請求項１３】
前記端末は、音響を集音し音声データを抽出する音声抽出手段を備え、前記サーバーは、前記音声データから文字を認識して文字データを生成する音声認識手段を備え、前記出力手段は、前記音声認識手段に接続され、前記音声認識手段が文字データを生成した場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段が生成する文字データを出力することを特徴とする請求項１１ないし１２の何れかの請求項記載の文字入力システム。
【請求項１４】
前記端末は、音響を集音し音声データを抽出する音声抽出手段を備え、前記サーバーは、前記音声データから文字を認識して文字データを生成する音声認識手段を備え、前記出力手段は、前記音声認識手段に接続され、前記音声認識手段が文字データを生成した場合、前記文字データの母音、撥音及び長音が、前記母音認識手段が認識した母音、撥音及び長音と所定割合以上一致した場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段が生成する文字データを出力することを特徴とする請求項１１ないし１２の何れかの請求項記載の文字入力システム。
【請求項１５】
前記端末は、音響を集音し音声データを抽出する音声抽出手段を備え、前記サーバーは、前記音声データから文字を認識して文字データを生成する音声認識手段を備え、前記出力手段は、前記音声認識手段に接続され、前記音声認識手段が文字データを生成した場合、前記文字データの母音、撥音及び長音に、前記母音認識手段で認識した母音、撥音又は長音に対応する欠落又は不一致があった場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段の欠落又は不一致の母音、撥音又は長音に、前記母音認識手段が認識した前記母音、撥音及び長音をそれぞれ付加又は置き換えた文字データを出力することを特徴とする請求項１１ないし１２の何れかの請求項記載の文字入力システム。
【請求項１６】
カメラにより口唇部を撮影し唇画像データを抽出する撮影抽出手段を備える端末から、前記唇画像データを受信し、文字データを出力する文字入力サーバーであって、
受信した前記唇画像データから母音、撥音及び長音を認識する母音認識手段と、前記母音、撥音及び長音から前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成する文字認識手段と、前記文字認識手段に接続され、前記文字データを出力する出力手段と、を備えることを特徴とする文字入力サーバー。
【請求項１７】
前記端末の前記撮影抽出手段は、撮影画像の振動又はカメラの振動を検出して同期信号を出力する検出手段を備え、前同期信号に同期して前記唇画像データを検出することを特徴とする請求項１６記載の文字入力サーバー。
【請求項１８】
前記端末は、音響を集音し音声データを抽出する音声抽出手段を備え、
前記端末から前記音声データを受信し、該音声データから文字を認識して文字データを生成する音声認識手段を備え、前記出力手段は、前記音声認識手段が文字データを生成した場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段が生成する文字データを出力することを特徴とする請求項１６ないし１７の何れかの請求項記載の文字入力サーバー。
【請求項１９】
前記端末は、音響を集音し音声データを抽出する音声抽出手段を備え、
前記端末から前記音声データを受信し、該音声データから文字を認識して文字データを生成する音声認識手段を備え、前記出力手段は、前記音声認識手段が文字データを生成した場合、前記文字データの母音、撥音及び長音が、前記母音認識手段が認識した母音、撥音及び長音と所定割合以上一致した場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段が生成する文字データを出力することを特徴とする請求項１６ないし１７の何れかの請求項記載の文字入力サーバー。
【請求項２０】
前記端末は、音響を集音し音声データを抽出する音声抽出手段を備え、
前記端末から前記音声データを受信し、該音声データから文字を認識して文字データを生成する音声認識手段を備え、前記出力手段は、前記音声認識手段が文字データを生成した場合、前記文字データの母音、撥音及び長音に、前記母音認識手段で認識した母音、撥音又は長音に対応する欠落又は不一致があった場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段の欠落又は不一致の母音、撥音又は長音に、前記母音認識手段が認識した前記母音、撥音及び長音をそれぞれ付加又は置き換えた文字データを出力することを特徴とする請求項１６ないし１７の何れかの請求項記載の文字入力サーバー。
【請求項２１】
唇画像データを受信し、前記唇画像データから母音、撥音及び長音を認識する母音認識手段と、前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成する文字認識手段と、前記文字認識手段に接続され、前記文字データを出力する出力手段と、を備える文字入力サーバーに対し、前記唇画像データを送信する端末であって、
カメラにより口唇部を撮影するとともに、撮影画像の振動又はカメラの振動を検出して同期信号を出力し、前記同期信号に同期して前記唇画像データを抽出する撮影抽出手段と、を備えることを特徴とする端末。
【請求項２２】
前記文字入力サーバーは、音声データから文字を認識して文字データを生成する音声認識手段を備え、前記出力手段は、前記音声認識手段が生成した文字データを受信した場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段が生成する文字データを出力し、
端末は音響を集音し音声データを抽出する音声抽出手段を備えることを特徴とする請求項２１記載の端末。
【請求項２３】
前記文字入力サーバーは、前記音声データから文字を認識して文字データを生成する音声認識手段を備え、前記出力手段は、前記音声認識手段が生成した文字データを受信した場合、前記文字データの母音、撥音及び長音が、前記母音認識手段が認識した母音、撥音及び長音と所定割合以上一致した場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段が生成する文字データを出力し、
端末は音響を集音し音声データを抽出する音声抽出手段を備えることを特徴とする請求項２１記載の端末。
【請求項２４】
前記文字入力サーバーは、前記音声データから文字を認識して文字データを生成する音声認識手段を備え、前記出力手段は、前記音声認識手段が生成した文字データを受信した場合、前記文字データの母音、撥音及び長音に、前記母音認識手段で認識した母音、撥音又は長音に対応する欠落又は不一致があった場合に、前記文字認識手段が出力する文字データに代えて、前記音声認識手段の欠落又は不一致の母音、撥音又は長音に、前記母音認識手段が認識した前記母音、撥音及び長音をそれぞれ付加又は置き換えた文字データを出力し、
端末は音響を集音し音声データを抽出する音声抽出手段を備えることを特徴とする請求項２１記載の端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラにより撮影した口唇部の画像データに基づいて文字入力を行う文字入力装置、文字入力方法、文字入力システム、文字入力サーバー及び端末に関する。
【背景技術】
【０００２】
唇の形状により文字を認識する装置（読唇装置）として、唇の形の標準的なパターンと比較する等の処理により、高い確率で文字が認識（識別）できることがわかっている。
【０００３】
本発明の関連技術として、撮像により得た口唇画像のデータと口唇画像のテンプレートデータとのパターンマッチングにより前記口唇画像から母音系列データを生成し、前記生成した母音系列データにより、予め母音系列データと単語データとを対応させた母音辞書を検索して、生成した前記母音系列データから単語を認識する単語認識装置が特許文献１に記載されている。
【特許文献１】特開２００５−１６５８８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の単語認識装置では、母音及び「ん」に対応する口唇画像により母音辞書を参照して母音（あ、い、う、え、お）及び撥音（ん）の文字列を認識し、該文字列から子音を含む文字列を認識するものであるが、認識する口唇の形状が限定的であるため子音を含む文字列の認識率（認識効率、精度）が不十分であって、子音を含む文字列の認識も１対１等、限られた文字列の認識を可能とするものである。
【０００５】
また、単語認識装置に比べ、音声認識装置は高い認識率が期待できることから、音声信号を出力する端末と、音声信号から文字変換するサーバーと、によりメール音声入力を行うサービスが知られているが、このシステムは環境音に対して小さな声の場合の音声認識率や、音声情報の欠落や、企業秘密などの発声内容によっては使えない場所や、音を出すことが禁止された場所では使用できない場合があった。
【０００６】
本発明の目的は、前記課題を解決するものであり認識率を向上できる文字入力装置、文字入力方法、文字入力システム、文字入力サーバー及び端末を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の文字入力装置は、カメラにより口唇部を撮影し唇画像データを抽出する撮影抽出手段と、前記唇画像データから母音、撥音及び長音を認識する母音認識手段と、前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成する文字認識手段と、前記文字認識手段に接続され、前記文字データを出力する出力手段と、を備えることを特徴とする。
【０００８】
本発明の第１の文字入力方法は、カメラにより口唇部を撮影し唇画像データを抽出する第１のステップと、前記唇画像データから母音、撥音及び長音を認識する第２のステップと、前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成する第３のステップと、前記文字データを出力する第４のステップと、からなることを特徴とする。
【０００９】
本発明の第１の文字入力システムは、カメラにより口唇部を撮影し唇画像データを抽出する撮影抽出手段を備え、唇画像データを送信する端末と、前記唇画像データを受信し、該唇画像データから母音、撥音及び長音を認識する母音認識手段と、前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成する文字認識手段と、前記文字認識手段に接続され、前記文字データを出力する出力手段と、を備えるサーバーとを有することを特徴とする。
【００１０】
本発明の第１の文字入力サーバーは、カメラにより口唇部を撮影し唇画像データを抽出する撮影抽出手段を備える端末から、前記唇画像データを受信し、文字データを出力する文字入力サーバーであって、
受信した前記唇画像データから母音、撥音及び長音を認識する母音認識手段と、前記母音、撥音及び長音から前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成する文字認識手段と、前記文字認識手段に接続され、前記文字データを出力する出力手段と、を備えることを特徴とする。
【００１１】
本発明の第１の端末は、唇画像データを受信し、前記唇画像データから母音、撥音及び長音を認識する母音認識手段と、前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成する文字認識手段と、前記文字認識手段に接続され、前記文字データを出力する出力手段と、を備える文字入力サーバーに対し、前記唇画像データを送信する端末であって、
カメラにより口唇部を撮影するとともに、撮影画像の振動又はカメラの振動を検出して同期信号を出力し、前記同期信号に同期して前記唇画像データを抽出する撮影抽出手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、口唇による文字認識を母音や撥音のみではなく長音をも認識することにより、母音の認識数が増加するから子音を含む文字列の認識率を向上させることができる。
【発明を実施するための最良の形態】
【００１３】
本発明の文字入力装置、文字入力方法、文字入力システム、文字入力サーバー及び端末の実施形態について説明する。
【００１４】
（第１の実施形態）
（構成の説明）
図１は本発明の第１の実施形態の基本構成を示す図である。本実施の形態は、図１（ａ）に示すように口唇画像による唇認識処理系として、撮影抽出手段１０と、母音認識手段２０と、文字認識手段３０と、出力手段４０と、で構成される。また、文字認識手段３０は、図１（ｂ）に示すように子音群推測手段３１と辞書３２等で構成される。各部の機能は以下のとおりである。
【００１５】
撮影抽出手段１０は、カメラを備え、少なくとも話者の唇とその周囲（口唇）を撮影して唇画像のデータ（唇画像データ）を出力する。ここで唇画像データの生成には、カメラ等の振動や撮影画像の振動を検出して口唇の画像の区切りを示す同期信号（タイミング情報）を生成して利用することができる。
【００１６】
つまり、撮影抽出手段１０では撮影された唇画像から前記同期信号等を利用して、母音（あ、い、う、え、お）と長音（あー、いー、うー、えー、おー）（以下、「母音群」という）及び撥音（ん）を認識するために特徴となる唇の形状等の情報を唇画像データとして抽出する。
【００１７】
母音認識手段２０は、撮影抽出手段１０から入力した母音群及び撥音の唇画像データに対し、あらかじめ標準の母音群及び撥音の唇の形状等の情報を辞書化した唇識別辞書を参照しながら話者の発した母音群及び撥音として認識する。
【００１８】
例えば、入力した個々の唇の形状（正規化形状）と、唇識別辞書の母音群及び撥音の唇の形状等とをそれぞれ個別に比較し、形状の一致率のデータを生成し、一番大きい形状の一致率に対応する母音、撥音及び長音の情報を文字認識手段３０に出力する。
【００１９】
なお、母音及び撥音は唇の形状の情報により識別でき、その長音はその形状の継続時間で識別できる。話速が一定と仮定すれば、「あ、い、う、え、お」は識別でき、長音は通常の発音の１．５倍程度とすれば、その形状を示した時間軸を監視するだけで区別することができる。
【００２０】
文字認識手段３０は、単一又は複数の母音群及び撥音からなる文字列等、予めその組み合わせに対応する複数の単語等を出現頻度等とともに辞書３２に格納しておき、子音群推測手段３１で辞書３２を参照して適切な文字列等の候補を推測する方法が採用できる。他に母音群及び撥音に結び付けられる子音候補を組み合わせ、よく使われる語彙や日本語の文脈から候補を推測する方法が採用できる。
【００２１】
出力手段４０は、文字認識手段３０から出力される文字列等をユーザーの選択等により使用頻度順に入力し、意図した文字列等を出力する。
【００２２】
図２は、第１の実施形態の動作のフローチャートを示す図である。  
本実施形態の文字認識方法は、カメラにより口唇部を撮影し唇画像データを抽出し（ステップｓ１）、前記唇画像データから母音、撥音及び長音を認識し（ステップｓ２）、前記母音、撥音及び長音に基づいて子音を探索可能な辞書により文字を認識し文字データを生成し（ステップｓ３）、文字データを出力する（ステップｓ４）。
【００２３】
以上の構成及び動作により、口唇による文字認識を母音及び撥音に加えて長音をも認識することにより、母音群の認識数が増加し、子音を含む文字列の認識率（認識効率、精度）を向上させることができる。
【００２４】
（第２の実施形態）
本発明の第２の実施形態について説明する。
【００２５】
図３は本発明の第２の実施形態の基本構成を示す図である。本実施形態は、第１の実施形態と同様に唇認識処理系として、撮影抽出手段１０と、母音認識手段２０と、文字認識手段３０と、出力手段７０と、を備える。また、音声認識処理系として、音声抽出手段５０と、音声認識手段６０と、を備える。
【００２６】
第２の実施形態の唇認識処理系の機能は第１の実施形態と同様であるが、母音認識手段２０は、撮影抽出手段１０から入力した母音群及び撥音の唇画像データに対し、あらかじめ標準の母音群及び撥音の唇の形状等の情報の辞書を参照し、形状の一致率により話者の発した母音群及び撥音として認識し、一番大きい形状の一致率に対応する母音、撥音及び長音を文字認識手段３０に出力し、必要により前記母音群及び撥音の前記一致率の情報をも音声認識手段６０に出力する。
【００２７】
音声抽出手段５０はマイクを備え、マイクで周囲の音を拾い集め、前記同期信号により音声認識で特徴となる情報を抽出して出力する。音声認識手段６０は、あらかじめ音声の特徴を辞書化した辞書を参照しながら音声認識を行う。その際、前記同期信号を参考とすることができる。
【００２８】
また、音声認識手段６０は、音声認識により文字列が認識された場合、又は、母音認識手段２０において並行処理された唇画像からの認識結果である前記母音群及び撥音とその一致率を母音認識手段２０から入力し、音声認識で認識した文字の情報と比較し、比較結果、音声認識手段６０で認識した文字列の母音群及び撥音と一致した場合、又は、前記比較結果、所定割合以上が一致した場合、又は、母音認識手段２０が出力する前記母音群及び撥音（前記形状の一致率が所定値以上の母音群及び撥音等）と音声認識手段６０で認識した文字列の母音群及び撥音とが一致した場合、音声認識手段６０は出力手段７０に当該文字列を文字認識手段３０の出力に優先して出力するための制御信号を出力する。そして、出力手段７０は音声認識手段６０から前記制御信号を入力すると音声認識手段６０から入力した文字列を優先的に出力する。
【００２９】
以上の構成及び動作により、口唇による文字認識を母音及び撥音に加えて長音をも認識することにより、母音群の認識数が増加し、子音を含む文字列の認識率を向上させることができるとともに、音声認識で文字認識が可能な場合に、認識率の高い音声認識処理系を優先して使用することにより認識率を向上させることができる。
【００３０】
（第３の実施形態）
次に、本発明のより具体的な実施形態について以下説明する。
【００３１】
図４は本発明の第３の実施形態を示す図である。本実施形態は、唇から文字を認識する唇認識処理系と音声から文字を認識する音声認識処理系とから構成される。
【００３２】
唇認識処理系は撮影抽出手段１０と、母音認識手段２０と、文字認識手段３０と、出力手段７０と、で構成される。
【００３３】
撮影抽出手段１０は、唇撮像手段１１、画像前処理手段１２、画像特徴抽出手段１３、振動検出手段１４及び顔振動検出手段１５を備える。母音認識手段２０は、唇特徴識別手段２１及び唇識別辞書２２を備える。文字認識手段３０は、子音群推測手段３１及び子音群推測辞書３２を備える。出力手段７０は、切替え手段７１、かな漢字変換手段７２、変換辞書７３及び認識結果出力手段７４を備える。
【００３４】
唇撮像手段１１はカメラ等を備えており、少なくとも話者の唇とその周囲を撮影して唇画像のデータを出力する。画像前処理手段１２は撮影された唇画像のデータをＡ／Ｄ変換し、ハードウェアの特性等による必要に応じてフィルタ処理を行い、唇画像データとして出力する。
【００３５】
振動検出手段１４は、加速度センサー等を備え、カメラ等の振動（縦振りなど）を検出し、顔振動検出手段１５は、話者の唇の位置の移動量や移動周期、顔とカメラの相対的な位置変化により画像の振動（顔の縦振り等）を検出し、カメラの振動や顔画像の振動を認識の区切り情報である同期信号を生成して画像特徴抽出手段１３及び後述する音声特徴抽出手段５３に出力する。
【００３６】
画像特徴抽出手段１３は撮影された唇画像と前記同期信号等により、唇画像の母音群（母音（あ、い、う、え、お）と長音（あー、いー、うー、えー、おー）及び撥音（ん）を認識するために特徴となる唇の形状等の情報を唇画像データとして抽出し、唇特徴識別手段２１に出力する。
【００３７】
唇特徴識別手段２１は、画像特徴抽出手段１３から入力した唇画像データに対し、あらかじめ標準の母音群及び撥音の唇の形状等の情報を辞書化した唇識別辞書２２を参照しながら話者の発した母音群及び撥音を認識する。この際、唇特徴識別手段２１は認識率向上のため前記同期信号を使用する構成とすることができる。
【００３８】
例えば、入力した個々の唇の形状（正規化形状）と、唇識別辞書２２の母音群及び撥音の唇の形状等とをそれぞれ個別にパターンマッチング等により比較し、形状の一致率のデータを生成し、一番大きい形状の一致率に対応する母音、撥音及び長音と、それぞれの一致率を文字認識手段３０と、音声認識処理系の音声認識手段６０に出力する。
【００３９】
なお、母音及び撥音は唇の形状の情報により識別でき、その長音はその形状の継続時間で識別できる。話速が一定と仮定すれば、「あ、い、う、え、お」は識別でき、長音は通常の発音の１．５倍程度とすれば、その形状を示した時間軸を監視するだけで区別することができる。
【００４０】
次に、子音群推測手段３１は、単一又は複数の母音群及び撥音からなる文字列等、予め単一又はその組み合わせ（文字列）の情報に対応する複数の単語等を出現頻度等とともに格納した唇識別辞書３２を使用し、唇特徴識別手段２１からの入力に対し該唇識別辞書３２を参照しながら探索アルゴリズムを繰り返し、適切な文字列等の候補を推測していく方法が採用できる。他に母音群、撥音に結び付けられる子音候補を組み合わせ、よく使われる語彙や日本語の文脈から候補を推測する方法が採用できる。
【００４１】
例えば、単一の母音「あ」から文字を推測する場合の候補は、
「あ」「か」「さ」「た」「な」「は」「ま」「や」「ら」「わ」
「ぁ」
「が」「ざ」「だ」「ば」「ぱ」
「あっ」「かっ」「さっ」「たっ」「なっ」「はっ」「まっ」「やっ」「らっ」「わっ」
「がっ」「ざっ」「だっ」「ばっ」「ぱっ」
「きゃ」「しゃ」「ちゃ」「ひゃ」「りゃ」
「ぎゃ」「じゃ」「ぢゃ」「びゃ」「ぴゃ」
とすることができる。この例では辞書の簡略化のため「かぁ」については「かー（長音）」、「きぁ」については母音「い」、母音「あ」の２音として識別する。
【００４２】
この子音群推測手段３１での推測方法は、携帯電話機で用いられているＴ９（登録商標）入力方式と呼ばれる子音指定入力で用いられる方式（「あ」のボタンであれば「あ、い、う、え、お」、「か」のボタンであれば「か、き、く、け、こ」であると推測してよく使われる語彙や日本語の文脈からひらがな文字列を推測し、必要によりかな漢字変換を行い、文字列候補をいくつか挙げる方式）と比較すると、前記子音指定入力では１語につき５通りの組み合わせのみ考慮すればよいが、母音「あ」の場合４１通りの組み合わせとなる。
【００４３】
子音群推測手段３１には単一の母音に対しては以上の対応関係で文字を辞書化して格納することで、良く使われる文字を推測することができる。
【００４４】
次に、単音単位で入力したひらがな文から良く使われる語彙や日本語の文脈から入力されたひらがな文が一部含まれる変換候補をいくつか挙げることで推測することもできる。
【００４５】
複数の母音群、撥音からなる文字列が認識された場合は、予めその組み合わせに対応する１ないし複数の単語を出現頻度等とともに子音群推測辞書３２に格納しておき、当該辞書３２を参照しながら探索アルゴリズムを繰り返し、適切な候補を推測していく方法が採用できる。
【００４６】
例えば、音声の「テーブル」（ＴＥ−ＢＵＲＵ）の口唇画像が唇特徴識別手段２１で識別された結果、唇特徴識別手段２１から「Ｅ−ＵＵ」と出力された場合、予め子音群推測辞書３２に「Ｅ−ＵＵ」に対し、ケーブル（ＫＥ−ＢＵＲＵ）、テーブル（ＴＥ−ＢＵＲＵ）、ネーブル（ＮＥ−ＢＵＲＵ）等がそれぞれの使用頻度の情報とともに格納されているとすると、子音群推測手段３１は、「Ｅ−ＵＵ」の入力により子音群推測辞書３２を検索し、使用頻度の高い順に、例えばネーブル（ＮＥ−ＢＵＲＵ）、テーブル（ＴＥ−ＢＵＲＵ）、ケーブル（ＫＥ−ＢＵＲＵ）等の順に読み出し、出力手段７０に出力する。
【００４７】
また例えば、音声の「こーか」（ＫＯ−ＫＡ）の口唇画像が唇特徴識別手段２１で識別された結果、唇特徴識別手段２１から「Ｏ−Ａ」と出力された場合、予め子音群推測辞書３２に「Ｏ−Ａ」に対し、例えば、こうか（ＫＯ−ＫＡ）、そうは（ＳＯ−ＨＡ）、ドーハ（ＤＯ−ＨＡ）等をそれぞれの使用頻度の情報とともに格納されているとすると、子音群推測手段３１は「Ｏ−Ａ」の入力により子音群推測辞書３２を検索し、使用頻度の高い順に、例えば、そうは（ＳＯ−ＨＡ）、こうか（ＫＯ−ＫＡ）、ドーハ（ＤＯ−ＨＡ）等の順に読み出し、出力手段９１に出力する。このように母音群や撥音のみではなく長音をも認識して利用することにより、おや（ＯＹＡ）、こや（ＫＯＹＡ）、もや（ＭＯＹＡ）等との区別が可能となり、長音の認識文字の増加により絞り込みにより認識率（認識効率、精度）が向上する。
【００４８】
出力手段７０の切換え出力手段７１は、子音群推測手段３１又は音声特徴識別手段６１の出力の何れかを認識結果出力手段７４又はかな漢字変換手段７２に切り替えて出力する。
【００４９】
切換え出力手段７１が例えば子音群推測手段３１から使用頻度の高い順に出力される文字列の何れかをそのまま出力する場合は、直接、認識結果出力手段７４に確定して出力する。また、切換え出力手段７１が例えば子音群推測手段３１から出力される文字列を仮名漢字変換して出力する場合は、かな漢字変換手段７２を介して認識結果出力手段７４に出力する。
【００５０】
子音群推測手段３１の出力を認識結果出力手段７４に出力する場合は、子音群推測手段３１から使用頻度の高い順に出力される文字列を一旦表示手段９０に表示し、ユーザーが表示手段９０の文字列を視認しながら操作手段８０で選択することにより順次出力される文字列の何れかを認識結果出力手段７４に確定、出力する。
【００５１】
かな漢字変換手段７２を介して出力する場合は、切替え出力手段７１から出力される文字列をかな漢字変換手段７２で変換した文字列を一旦表示手段９０に表示し、同様にユーザーが表示手段９０で変換後の文字列を視認しながら操作手段８０で選択することにより認識結果出力手段７４に確定して出力する。
【００５２】
音声の「こーか」（ＫＯ−ＫＡ）の口唇画像の例では、子音群推測手段３１は「Ｏ−Ａ」の入力により使用頻度の高い順に、例えば、そうは（ＳＯ−ＨＡ）、こうか（ＫＯ−ＫＡ）、ドーハ（ＤＯ−ＨＡ）等の順に子音群推測辞書３２から読み出すとし、操作手段８０の操作により切替え出力手段７１から、例えば、「こうか」（ＫＯ−ＫＡ）が確定して出力される。
【００５３】
この場合、「こうか」（ＫＯ−ＫＡ）をひらがなのまま認識結果出力７４として確定して出力するか、又はかな漢字変換手段７２で、漢字変換して出力するかは、操作手段８０によるユーザーの操作により選択できる。
【００５４】
ユーザーが漢字変換を選択した場合、「こうか」（ＫＯ−ＫＡ）の文字列を漢字変換手段７２に出力し、漢字変換手段７２では、変換辞書７３に格納されている「高価」、「効果」、「硬貨」等を出現頻度の順に出力し、操作手段８０の操作により何れかを認識結果出力手段７４に確定して出力する。
【００５５】
一方、音声認識処理系は、音声抽出手段５０と、音声認識手段６０と、出力手段７０とで構成され、音声抽出手段５０は、音声集音手段５１、音声前処理手段５２、音声特徴抽出手段５３及び環境音集音手段５４を備え、音声認識手段６０は声特徴識別手段６１及び声識別辞書６２を備える。
【００５６】
音声集音手段５１はマイクを備え、話者の発音を拾い集める。環境音集音手段５４はマイクで周囲の音を拾い集める。一般には音声集音手段５１とは反対側に向けて設置される。音声前処理手段５２によりＡ／Ｄ変換、ハードウェアの特性や必要に応じてフィルタ処理を行い、話者の発した音声から環境音の影響を除去する。音声特徴抽出手段５３は音声前処理手段５２の出力と顔振動検出手段１５からの前記同期信号を入力し、音声認識で特徴となる情報を抽出して出力する。
【００５７】
声特徴識別手段６１は、あらかじめ音声の特徴を辞書化した声識別辞書６２を参照しながら音声認識を行う。その際、声特徴識別手段６１は認識率向上のため前記同期信号を参考とするように構成することができる。
【００５８】
また、声特徴識別手段６１は、音声認識により文字列が認識された場合、又は、唇特徴識別手段２１において並行処理された唇画像からの認識結果である前記母音群及び撥音とその一致率を唇特徴識別手段２１から入力し、音声認識で認識した文字の情報とを比較し、比較結果、声特徴識別手段６１で認識した文字列の母音群及び撥音と一致した場合、又は、前記比較結果、所定割合以上が一致した場合、又は、唇特徴識別手段２１が出力する前記母音群及び撥音（前記形状の一致率が所定値以上の母音群及び撥音等）と声特徴識別手段６１で認識した文字列の母音群及び撥音とが一致した場合、声特徴識別手段６１は切替え出力手段７１に当該文字列を子音群推測手段７１の出力に優先して、認識結果出力手段７４又はかな漢字変換手段７２の何れかに出力する制御信号を出力する。そして、切替え出力手段７１は声特徴識別手段６１から前記制御信号を入力すると声特徴識別手段６１から入力した文字列を認識結果出力手段７４又はかな漢字変換手段７２の何れかに出力する。
【００５９】
（動作の説明）
本発明の第３の実施形態の主に唇特徴識別手段と声特徴抽出手段及び切替え出力手段の動作について説明する。  
最初に、声は出さずに「テーブル」という唇の動きを行って文字入力する場合の本実施形態の動作を説明する。  
図５は第３の実施形態について発声しない場合の動作例を示す図である。
【００６０】
唇認識処理系では、唇撮像手段１１から得られた画像のデータが、画像前処理手段１２、画像特徴抽出手段１３を経由して、唇画像データとして唇特徴識別手段２１に出力される。なお、このとき音声認識処理系は、音声を認識できないので、音声信号による認識結果は出力されない。
【００６１】
唇特徴識別手段２１は、唇識別辞書２２を参照し、図５に示すように「テーブル」の唇画像データから母音群の「Ｅ」、「−」（Ｅ長音）、「Ｕ」、「Ｕ」（「Ｅ−ＵＵ」）を認識し、子音群推測手段３１に出力する。
【００６２】
子音群推測手段３１は入力した認識文字列に基づいて子音群推測辞書３２を参照して「Ｅ−ＵＵ」と子音の組み合わせに対応する複数の文字列、例えば「ケーブル（ＫＥ−ＢＵＲＵ）」、「テーブル（ＴＥ−ＢＵＲＵ）」、「ネーブル（ＮＥ−ＢＵＲＵ）」等のうち使用頻度の高い「ネーブル（ＮＥ−ＢＵＲＵ）、テーブル（ＴＥ−ＢＵＲＵ）、ケーブル（ＫＥ−ＢＵＲＵ）」の順に読み出し、順次切替え出力手段７１に出力する。
【００６３】
切替え出力手段７１は、子音群推測手段３１の出力を順次表示手段９０に出力して表示させ、ユーザーは操作手段８０を操作し、２番目の「テーブル」（ＴＥ−ＢＵＲＵ）を選択し、切替え出力手段７１は、認識結果出力手段７４に文字列「テーブル」（ＴＥ−ＢＵＲＵ）を確定、出力する。
【００６４】
次に、声を出した「テーブル」という唇の動きより文字入力する場合の本実施形態の動作を説明する。
【００６５】
図６及び図７は、第３の実施形態について発声した場合の動作例を示す図である。  
【００６６】
この場合、唇認識処理系では、前述と同様の動作が行われる。つまり、唇特徴識別手段２１は、唇識別辞書２２を参照し、図６に示すように「テーブル」の唇画像データから母音群の「Ｅ」、「−」（Ｅ長音）、「Ｕ」、「Ｕ」（「Ｅ−ＵＵ」）を認識する。
【００６７】
また、音声認識処理系では、図６に示すように音声集音手段５１から得られた音声信号が音声前処理手段５２、声特徴抽出手段５３を経由して、音声データとして声特徴識別手段６１に出力される。
【００６８】
声特徴識別手段６１は、音声識別辞書６２を参照し、音声データから子音を含む文字列「ＴＥ」、「−」（Ｅ長音）、「ＢＵ」、「ＲＵ」を認識する。声特徴識別手段６１は文字列を認識すると、当該文字列と制御信号（点線）を切替え出力手段７１に出力し、切替え出力手段７１は、前記制御信号により子音群推測手段３１の出力に優先して声特徴識別手段６１が認識した文字列を出力する。
【００６９】
また、声特徴識別手段６１は、文字列（「ＴＥ」、「−」（Ｅ長音）、「ＢＵ」、「ＲＵ」）を認識した場合、唇特徴識別手段２１で認識した母音群を確認した上で当該文字列と前記制御信号を切替え出力手段７１に出力するように動作させることができる。
【００７０】
この場合、声特徴識別手段６１は、唇画像データから認識した母音群の「Ｅ」、「−」（Ｅ長音）、「Ｕ」、「Ｕ」（「Ｅ−ＵＵ」）を唇特徴識別手段２１から取得し、声特徴識別手段６１の音声認識による母音群「Ｅ」、「−」（Ｅ長音）、「Ｕ」、「Ｕ」（「Ｅ−ＵＵ」）と比較し、図７（ａ）に示すように、全て一致又は所定割合（８５％以上等）が一致している場合に、当該文字列と前記制御信号を切替え出力手段７１に出力する。
【００７１】
また、声特徴識別手段６１は、唇特徴識別手段２１で認識した母音群との比較の際、不一致の文字を唇特徴識別手段２１の個々の文字で置き換えて出力するように動作させることができる。
【００７２】
例えば、図７（ｂ）に示すように、声特徴識別手段６１は、音声から認識した「ＴＥ−ＢＥＲＵ」の母音の「Ｅ」、「−」（Ｅ長音）、「Ｅ」、「Ｕ」と、唇特徴識別手段２１で認識した「Ｅ」、「−」（Ｅ長音）、「Ｕ」、「Ｕ」とを比較し、不一致の３番目の「Ｅ」を「Ｕ」に置き換え、置き換えた文字列と前記制御信号を切替え出力手段７１に出力する。
【００７３】
また、声特徴識別手段６１が置き換え操作を行う母音群又は撥音としては、唇特徴識別手段２１での前記形状の一致率が所定値以上（９０％以上等）の母音群又は撥音に限定することができる。
【００７４】
切替え出力手段７１は、前記制御信号を入力すると子音群推測手段３１が出力する文字列に代えて、声特徴識別手段６１が出力する音声認識結果を認識結果出力７４又はかな漢字変換手段７２に出力する。この場合、前記制御信号により子音群推測手段３１の動作を停止させるように構成することができる。
【００７５】
第３の実施形態によれば、音声認識で文字認識が可能な場合に認識率の高い音声認識処理系を優先して使用することにより認識率を向上させることができる。
【００７６】
また、音声認識で認識率の低かった母音群の情報を読唇結果から得ているので、それぞれの認識率を向上させることができる。
【００７７】
更に、読唇や音声認識において、認識、推測、しづらかった文字列を文節、単語、一声単位に、子供や乳幼児等に言葉を教えるように、発音と同時にカメラ（端末）や顔をリズミカルに振るだけで容易に区切ることができるので、認識率を向上させることができる。
【００７８】
また、環境音に対して小さな声の場合や、音声認識装置内での音声情報が欠如する場合、発声内容によっては使えない場所や、音を出すことを禁止された場所においても、適用可能である。
【００７９】
（第４の実施形態）
本発明の文字入力装置は文字入力の操作を行う端末２と、端末２から通信路を介して入力した情報により文字認識を行うサーバー３と、からなる文字入力システムとして構成できる。
【００８０】
図８は本発明の第４の実施形態の構成を示す図である。
【００８１】
本実施形態では、以上の実施形態における撮影抽出手段１０、音声抽出手段５０、操作手段８０及び表示手段９０について、ネットワークを介してサーバー３に接続可能な携帯端末等の端末２に設け、母音認識手段２０、文字認識手段３０、音声認識手段６０及び切替え出力手段７０を前記サーバー３に設けて構成される。
【００８２】
本実施形態では、端末２のカメラにより顔画像を撮影し、マイクにより音声を集音し、それぞれの信号から唇画像データ又は／及び音声データをサーバー３に送信し、サーバー３では唇画像データ又は／及び音声データにより前述の処理を行い文字列等を認識する。サーバー３での認識結果は端末２に返却して表示手段９０に表示し、端末２の操作手段８０の操作により、文字列等を選択して文字入力を行う。
【００８３】
第４の実施形態では前述の第３の実施形態と同様の効果を奏するとともに、通信網の使用、使用コストを必要とするものの、サーバー３の大規模な処理機能を利用することにより、端末２側の処理機能を簡略化することができ、低規模ハードの端末でも高度な文字認識が可能となる。
【００８４】
従って、唇や声の特徴点のデータをサーバー３側に送信し、サーバー３側で文字に変換し、テキストデータ等として端末２に送信するという、携帯電話機等のメール音声入力サービスに代えて、口唇によるメール入力サービス等への適用が可能である。
【００８５】
（他の実施形態）
以上の実施形態では加速度センサー等の振動検出手段１４を用いる例を示したが、唇撮影手段１５から得られる画像処理により同期信号を生成することが可能であるから振動検出手段１４は必須の構成ではない。
【００８６】
また顔振動検出手段１５によって、口唇画像や音声の文節等を区切った例を示したが、唇特徴識別手段２１で識別した類似画像区間により区切るように構成することができる。また、環境音等のノイズや、伝送路での欠落等による精度上の問題がなければ、同様に声特徴識別手段５３で得られた音声の特徴から区切ることができる。
【００８７】
以上のように本発明は、具体的にはカメラを使った読唇処理において、母子音全ての個別認識をせず、母音、撥音に加え長音をも認識し、子音群推測辞書を用いて母子音の推測を行い、また、顔や唇の動きや携帯電話機等の端末の動きを検出して認識区間を区切り、更に音声認識装置と組み合わせ、音声認識における認識漏れ等を補って、認識率を向上させたものである。
【産業上の利用可能性】
【００８８】
本発明は、口唇画像からの文字認識の認識精度の向上が可能であるから、口唇からの文字変換を行う読唇装置、読唇による文字入力装置、レコーダ機器、音声認識装置、文字入力サービス等に適用可能である。
【図面の簡単な説明】
【００８９】
【図１】本発明の第１の実施形態の基本構成を示す図である。
【図２】第１の実施形態の動作のフローチャートを示す図である。
【図３】本発明の第２の実施形態の基本構成を示す図である。
【図４】本発明の第３の実施形態を示す図である。
【図５】第３の実施形態について発声しない場合の動作例を示す図である。
【図６】第３の実施形態について発声した場合の動作例を示す図である。
【図７】第３の実施形態について発声した場合の他の動作例を示す図である。
【図８】本発明の第４の実施形態の構成を示す図である。
【符号の説明】
【００９０】
１  文字入力装置
２  端末（携帯端末）
３  サーバー
１０  撮影抽出手段
１１  唇撮影手段
１２  画像処理前手段
１３  画像特徴抽出手段
１４  振動検出手段
１５  顔振動検出手段
２０  母音認識手段
２１  唇特徴識別手段
２２  唇識別辞書
３０  文字認識手段
３１  子音群推測手段
３１  子音群推測辞書
４０、７０  出力手段
５０  音声抽出手段
５１  音声集音手段
５２  音声前処理手段
５３  音声特徴抽出手段
５４  環境音集音手段
６０  音声認識手段
６１  声特徴識別手段
６２  声識別辞書
７１  切替え出力手段
７２  かな漢字変換手段
７３  変換辞書
７４  認識結果出力手段
８０  操作手段
９０  表示手段
【図１】
2010026731.tif 000003
【図２】
2010026731.tif 000004
【図３】
2010026731.tif 000005
【図４】
2010026731.tif 000006
【図５】
2010026731.tif 000007
【図６】
2010026731.tif 000008
【図７】
2010026731.tif 000009
【図８】
2010026731.tif 000010