(57)【要約】【課題】文字入力の操作性の向上を図る。【解決手段】画像処理部は、口の形状の画像を入力して口形状画像データを生成する。口形状画像照合データベースは、母音および撥音を含む母音情報と、個々の母音情報に対応する口形状画像データとを登録する。単語変換辞書データベースは、母音情報に関連する単語候補を登録する。制御部は、文字入力制御を行う。また、制御部は、画像入力された口形状変化から生成される口形状画像データを母音情報に変換し、変換後の母音情報に関連する単語候補を検索する。【選択図】図１
2011186994.tif 000002
【特許請求の範囲】
【請求項１】
口の形状の画像を入力して口形状画像データを生成する画像処理部と、
母音および撥音を含む母音情報と、個々の前記母音情報に対応する前記口形状画像データとを登録する口形状画像照合データベースと、
前記母音情報に関連する単語候補を登録する単語変換辞書データベースと、
文字入力制御を行う制御部とを備え、
前記制御部は、前記口形状画像データを前記母音情報に変換し、変換後の前記母音情報に関連する前記単語候補を検索する、
ことを特徴とする文字入力装置。
【請求項２】
前記制御部は、前記母音情報を含む前記単語候補の中に該当単語候補がない場合には、前記母音情報と入力された子音情報とから、前記単語候補を検索することを特徴とする請求項１記載の文字入力装置。
【請求項３】
前記母音情報に関連するアルファベット候補を登録するアルファベット変換辞書データベースをさらに有し、
前記制御部は、アルファベットの文字入力モードが設定された場合、前記口形状画像データを前記母音情報に変換し、変換後の前記母音情報に関連する前記アルファベット候補を検索する、
ことを特徴とする請求項１記載の文字入力装置。
【請求項４】
前記制御部は、画像入力時の口形状を画面に表示させることを特徴とする請求項１記載の文字入力装置。
【請求項５】
文字入力方法において、
口の形状の画像を入力して口形状画像データを生成し、
母音および撥音を含む母音情報と、個々の前記母音情報に対応する前記口形状画像データとをデータベースに登録し、
前記母音情報に関連する単語候補を前記データベースに登録し、
前記口形状画像データを前記母音情報に変換して、変換後の前記母音情報に関連する前記単語候補を検索する、
ことを特徴とする文字入力方法。
【請求項６】
文字入力をコンピュータに実行させる文字入力制御プログラムにおいて、
前記コンピュータに、
口の形状の画像を入力して口形状画像データを生成し、
母音および撥音を含む母音情報と、個々の前記母音情報に対応する前記口形状画像データとをデータベースに登録し、
前記母音情報に関連する単語候補を前記データベースに登録し、
前記口形状画像データを前記母音情報に変換して、変換後の前記母音情報に関連する前記単語候補を検索する、
処理を実行させることを特徴とする文字入力制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字入力を行う文字入力装置および文字入力方法に関する。
【背景技術】
【０００２】
携帯電話機の普及に伴い、携帯電話機を使って文字を入力して文章を作成する機会が増えており、文字入力の操作性、効率性が求められている。
携帯電話機のような入力キーの少ない機器では、１つのキーを複数回押下することによって、文字を変化させて入力することが一般的に行われている。また、携帯電話機に搭載されているマイクを使って音声を入力し、音声認識により文字を入力するといったことも行われている。
【０００３】
上記のような１つのキーを複数回押して文字入力をする場合、キーの数を減らせるので機器を小型化できるが、同一キーを複数回押さないと、希望する文字を入力できないので、操作回数が増大し、ユーザ操作が煩雑になる。
【０００４】
例えば、「０〜９」のテンキーしかない携帯電話機で、「こ」という文字を入力したい場合、テンキーの「２」を５回押下したりするなど、操作が面倒である。
一方、マイクを使って、音声認識により文字を入力する場合は、キー操作の煩雑さは解消できる。しかし、周りの雑音による認識不良の発生、または音声を発するために、入力しようとする文字が他人に聞こえてしまうなどの不都合があった。
【０００５】
これに対し、近年になって、携帯電話機に搭載されているカメラを用いて、口（口唇）の動きで文字を入力する機器が開発されている。これは、ユーザの口元の画像をカメラで取り込み、口の形状認識により文字入力を行うものである。口の形状認識により文字入力を行う従来技術としては、例えば、特許文献１〜３が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３０９９５２号公報
【特許文献２】特開２００５−１０８０７９号公報
【特許文献３】特開２００２−２６９５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
口の形状認識により文字入力を行う場合、口の動きから判別できる入力文字は、母音情報になるので、子音情報は、他手段を用いて別途入力することになる。上記の特許文献１、２では、携帯電話機に搭載されているカメラで口形状の画像を入力して、入力文字の母音情報を口の形状で画像解析し、子音情報は、キー操作で入力を行っている。
【０００８】
しかし、特許文献１、２では、１文字ずつ母音に合わせて子音を入力しているので、１文字入力する度に、口の動きとキーの入力操作とを連動する必要があり、操作タイミングを逸しやすい。このため、正確かつスムーズに文字を入力することが容易ではなく、操作性が良好であるものとはいえない。
【０００９】
また、特許文献３では、キー操作が難しい人において、眼や顔の動きにより文字の指定を可能としているが、１文字を入力する毎に口と眼や顔の動きとを連動させる必要があるので、この場合も文字入力の操作が煩雑である。
【００１０】
本発明はこのような点に鑑みてなされたものであり、口の形状認識による文字入力において操作性の向上を図った文字入力装置を提供することを目的とする。
また、本発明の他の目的は、口の形状認識による文字入力において操作性の向上を図った文字入力方法を提供することである。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、文字入力装置が提供される。この文字入力装置は、口の形状の画像を入力して口形状画像データを生成する画像処理部と、母音および撥音を含む母音情報と、個々の前記母音情報に対応する前記口形状画像データとを登録する口形状画像照合データベースと、前記母音情報に関連する単語候補を登録する単語変換辞書データベースと、文字入力制御を行う制御部とを備える。また、前記制御部は、前記口形状画像データを前記母音情報に変換し、変換後の前記母音情報に関連する前記単語候補を検索する。
【発明の効果】
【００１２】
操作性の向上を図ることが可能になる。
【図面の簡単な説明】
【００１３】
【図１】文字入力装置の構成例を示す図である。
【図２】携帯電話機の外観構成を示す図である。
【図３】携帯電話機の機能ブロックを示す図である。
【図４】文字入力画面の表示例を示す図である。
【図５】「あ」の口の画像を取り込んだ状態の画面表示例を示す図である。
【図６】単語候補の画面表示例を示す図である。
【図７】入力文字を選択する際の画面表示を示す図である。
【図８】入力文字を確定した場合の画面表示を示す図である。
【図９】口形状画像照合ＤＢの登録データを示す図である。
【図１０】単語変換辞書ＤＢの登録データを示す図である。
【図１１】単語候補の画面表示例を示す図である。
【図１２】入力文字を選択する場合の画面表示を示す図である。
【図１３】入力文字を確定した場合の画面表示を示す図である。
【図１４】文字入力画面の表示例を示す図である。
【図１５】日本語文字入力動作のフローチャートを示す図である。
【図１６】文字入力画面の表示例を示す図である。
【図１７】アルファベット変換辞書ＤＢの登録データを示す図である。
【図１８】アルファベット文字候補の画面表示例を示す図である。
【図１９】入力文字を選択する際の画面表示を示す図である。
【図２０】入力文字を確定する画面表示を示す図である。
【図２１】アルファベットの全角／半角の切替を示す図である。
【図２２】入力文字を確定する画面表示を示す図である。
【図２３】アルファベット文字入力動作のフローチャートを示す図である。
【図２４】携帯電話機の外観構成を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面を参照して説明する。図１は文字入力装置の構成例を示す図である。文字入力装置１は、ユーザインタフェース部１０、画像処理部２０、口形状画像照合データベース３１、単語変換辞書データベース３２ａおよび制御部４０を備え、例えば、携帯電話機などの文字入力が行われる通信機器などに該当する。
【００１５】
ユーザインタフェース部１０は、キー操作および画面表示を行う。画像処理部２０は、音声を発する際の口の形状の画像を入力して口形状画像データを生成する。口形状画像照合データベース３１は、母音および撥音を含む母音情報と、個々の母音情報に対応する口形状画像データとを登録する。単語変換辞書データベース３２ａは、母音情報に関連する単語候補を登録する。制御部４０は、文字入力制御を行う。
【００１６】
ここで、制御部４０は、画像入力された口形状変化から生成される１つまたは複数の口形状画像データを、口形状画像照合データベース３１に登録されている母音情報と照合し、一括して母音情報に変換する。
【００１７】
例えば、画像入力された口形状の変化が１つであれば、１つの口形状画像データが生成される。そして、１つの該当口形状画像データを口形状画像照合データベース３１に登録されている母音情報と照合して、対応する１つの母音情報に変換する。
【００１８】
または、画像入力された口形状の変化として、例えば、互いに異なる３つの変化があったとすれば、３つの口形状画像データが生成される。そして、３つの該当口形状画像データを口形状画像照合データベース３１に登録されている母音情報とそれぞれ照合して、対応する３つの母音情報にそれぞれ変換する。
【００１９】
口形状画像データを母音情報に変換した後は、変換後の母音情報に関連する単語候補について、単語変換辞書データベース３２ａを利用して検索して、画面に表示する。
このとき、該当単語候補があればユーザによって確定されるが、変換後の母音情報を含む単語候補の中に該当単語候補がない場合には、ユーザは子音情報を入力し、制御部４０は、母音情報と入力された子音情報とから、関連する単語候補を検索する。なお、詳細動作については具体例を挙げて後述する。
【００２０】
次に文字入力装置１を携帯電話機に適用した場合の構成および動作について詳しく説明する。図２は携帯電話機の外観構成を示す図であり、図３は携帯電話機の機能ブロックを示す図である。携帯電話機１ａは、ユーザインタフェース部１０、画像処理部２０、メモリ部３０および制御部４０を備える。
【００２１】
ユーザインタフェース部１０は、画面表示部（ＬＣＤ：Liquid Crystal Display（液晶ディスプレイ））１１と入力操作部１２を含み、入力操作部１２は、テンキー１２ａ、選択キー１２ｂおよび確定キー１２ｃを含む。画像処理部２０は、カメラ２１と画像データ生成部２２を含む。
【００２２】
メモリ部３０は、フラッシュメモリ等に該当し、口形状画像照合データベース（ＤＢ）３１、単語変換辞書ＤＢ３２ａおよびアルファベット変換辞書ＤＢ３２ｂを含む。制御部４０は、ＣＰＵ（Central Processing Unit）４１、ＲＡＭ（Random Access Memory）４２およびＲＯＭ（Read Only Memory）４３を含む。
【００２３】
カメラ２１は、画像を入力する。口形状認識による文字入力を行う場合は、ユーザの口領域の画像を入力する。画像データ生成部２２は、入力画像をデータ化する。口領域の画像が入力された場合には、口形状画像をデータ化して口形状画像データを生成する。
【００２４】
口形状画像照合ＤＢ３１は、母音（「あ」、「い」、「う」、「え」、「お」）および撥音（「ん」）を含む母音情報と、個々の母音情報に対応する口形状画像データとを登録する。
【００２５】
単語変換辞書ＤＢ３２ａは、母音情報に関連する単語候補を登録する。アルファベット変換辞書ＤＢ３２ｂは、母音情報に関連するアルファベット候補を登録する。なお、単語変換辞書ＤＢ３２ａは、日本語（仮名）文字入力モード時に使用され、アルファベット変換辞書ＤＢ３２ｂは、アルファベット入力モード時に使用される。
【００２６】
制御部４０は、生成された口形状画像データから、口形状画像照合ＤＢ３１を用いて、単語単位に母音および「ん」の形状を認識する。そして、得られた母音および「ん」の母音情報にもとづき、単語変換辞書ＤＢ３２ａから該当母音情報に関連する単語候補を抽出する。
【００２７】
画面表示部１１は、抽出された単語候補を表示する。ユーザは、選択キー１２ｂを用いて、表示された単語候補の中から入力したい単語を選ぶ。選択キー１２ｂは、ユーザ操作にもとづいて、複数の単語候補の中から所望の単語を選択するためのキーである。また、確定キー１２ｃは、ユーザ操作によって、選択された単語を確定し、入力したい単語を決定するためのキーである。
【００２８】
なお、表示された単語候補の中に、入力したい単語がない場合は、ユーザは、入力したい単語の子音情報の１文字目を、テンキー１２ａを用いて入力する。テンキー１２ａは、ユーザ操作にもとづいて、子音情報を入力するためのキーである。
【００２９】
制御部４０では、単語変換辞書ＤＢ３２ａから、先に抽出した単語候補に対して、１文字目の子音情報を加味して再び検索し、その結果の単語候補を抽出し、画面表示部１１は抽出された単語候補を表示する。この状態でも入力したい単語が表示されていない場合は、さらに２文字目の子音情報を入力することで、さらに単語候補を検索していく。
【００３０】
次に具体的な例を挙げて携帯電話機１ａの文字入力動作について詳しく説明する。最初に日本語文字入力の一例として、「愛（あい）」という単語を入力する場合について説明する。
【００３１】
図４は文字入力画面の表示例を示す図である。メール本文を作成する際の画面１１−１上には、確定した入力文字を表示する確定入力文字表示部１１ａ（メール本文に該当）、ユーザにキー操作をガイダンスするためのキー操作ガイダンス部１１ｂおよび入力文字候補を表示する候補文字表示部１１ｃが表示される。
【００３２】
まず、ユーザは、携帯電話機１ａを持ちカメラ２１に向かって、「あ」の口を動かして口形状画像を入力する。図５は「あ」の口の画像を取り込んだ状態の画面表示例を示す図である。口形状画像照合ＤＢ３１から、入力された口形状画像データに該当する母音が照合されて、「ａ」の母音が入力されたことを認識する。
【００３３】
画面１１−２において、候補文字表示部１１ｃには、「あ」の口の画像から認識される文字として、ひらがな大文字の「あ」、カタカナ大文字の「ア」、ひらがな小文字の「あ」、カタカナ小文字の「ア」が表示される。また、確定前の入力文字を表示する確定前入力文字表示部１１ｄには、「あ」が表示される。
【００３４】
次にユーザは「い」の口を動かす。図６は単語候補の画面表示例を示す図である。ユーザが「い」の口を動かして、カメラ２１に向かって口の動きを止める。すると、口形状画像照合ＤＢ３１から、入力された口形状画像データに該当する母音が照合されて、「ｉ」の母音が入力されたことを認識する。そして、単語変換辞書ＤＢ３２ａから、「あい」に対する関連する単語候補が抽出される。
【００３５】
画面１１−３において、抽出された単語が候補文字表示部１１ｃに表示される。図６の場合は６個の単語が抽出されて表示されている。また、確定前入力文字表示部１１ｄには、「あい」が表示される。
【００３６】
図７は入力文字を選択する場合の画面表示を示す図である。ここでは「愛」という文字が画面１１−４の候補文字表示部１１ｃに表示されているので、画面１１−４において、選択キー１２ｂを下方に２回押下して「愛」という文字を選択する。
【００３７】
図８は入力文字を確定した場合の画面表示を示す図である。図７のようにして入力文字を選択した後、確定キー１２ｃを１回押下することで、画面１１−５における確定入力文字表示部１１ａのメール本文内に「愛」の文字が展開される。
【００３８】
次に口形状画像照合ＤＢ３１と単語変換辞書ＤＢ３２ａについて説明する。図９は口形状画像照合ＤＢ３１の登録データを示す図である。口形状画像照合ＤＢ３１は、ａ（あ）、ｉ（い）、ｕ（う）、ｅ（え）、ｏ（お）の母音およびｎ（ん）を含む母音情報と、各母音情報に対応する口形状画像データとが登録される。
【００３９】
また、文字を発音するときの口の形状の画像データである口形状画像データは、システム標準データとユーザ登録データに分けられる。システム標準データは、口形状画像照合ＤＢ３１にあらかじめ登録設定されているシステム標準の口形状画像データである。ユーザ登録データは、ユーザ個人が自身の口形状をカメラで入力して登録する口形状画像データである。
【００４０】
このように、携帯電話機１ａを利用する複数のユーザを想定し、システム標準の他に、ユーザ自身が口形状画像データを登録できるようにして、複数ユーザの各々の口形状画像データを母音情報に対応させて保存する構成とした。これにより、母音情報と口形状画像データとの照合の精度を向上させることが可能になる。
【００４１】
ここで、カメラ２１を通じて画像入力して生成した口形状画像データから、「あ」〜「お」の母音または「ん」の母音情報に変換する際には、入力された口形状画像データと一致する母音情報を口形状画像照合ＤＢ３１から検出する。そして、口形状画像データを母音情報に変換して、該当母音文字を候補文字表示部１１ｃに表示する。
【００４２】
図１０は単語変換辞書ＤＢ３２ａの登録データを示す図である。母音および「ん」の母音情報から単語候補（日本語）を表示するための登録データ例を示している。登録項目としては、“母音情報”、“読み”、“キー”、“表示”がある。なお、“キー”の欄に示される数字をテンキー１２ａで押下することで“表示”に記載されている該当文字が表示される。
【００４３】
次に「下位（かい）」という単語を入力する場合について説明する。ユーザは、携帯電話機１ａを持ちカメラ２１に向かって、「か」、「い」の口を動かして、口形状画像を入力する。「下位」という単語の母音は、「あい」であるので、「か」の口形状は母音「あ」に変換され、「い」の口形状は母音「い」に変換される。画面の操作については、上述の図６まで同じ画面操作となる。
【００４４】
図６の候補文字表示部１１ｃには、入力したい「下位」という文字が表示されていないので、ユーザは、「下位」の１文字目の子音である「か」の入力を行うため、テンキー１２ａの「２」のキーを１回押下する。
【００４５】
図１１は単語候補の画面表示例を示す図である。制御部４０は、単語変換辞書ＤＢ３２ａから、母音「あい」と１文字目の子音「か」に関連する単語を検索し、画面１１−６において、検索した単語候補を候補文字表示部１１ｃに表示する。図の場合、６個の単語候補が表示されている。
【００４６】
図１２は入力文字を選択する場合の画面表示を示す図である。入力したい「下位」という文字が候補文字表示部１１ｃに存在しているため、画面１１−７において、選択キー１２ｂを下方に４回押下して選択する。
【００４７】
図１３は入力文字を確定した場合の画面表示を示す図である。図１２のようにして入力文字を選択した後、確定キー１２ｃを１回押下することで、画面１１−８における確定入力文字表示部１１ａのメール本文内に「下位」の文字が展開される。
【００４８】
なお、図１１の単語候補が表示される状態のときに、入力したい単語が表示されない場合は、さらに２文字目の子音情報をテンキー１２ａで入力して単語変換辞書ＤＢ３２ａを検索し、候補文字表示部１１ｃに入力したい文字を表示する。
【００４９】
次に画面表示の変形例について説明する。図１４は文字入力画面の表示例を示す図である。図５のように、口の動きを入力している段階において、画面１１−２ａの空きスペースに、カメラ２１で画像入力した口形状画像ｄ１を表示する。このような表示を行うことで、ユーザは、自分の口の動きを確認しながら操作をすることができるため、母音および「ん」の認識率を向上させることが可能になる。
【００５０】
次に文字入力動作についてフローチャートを用いて説明する。図１５は日本語文字入力動作のフローチャートを示す図である。
〔Ｓ１〕ユーザは、カメラ２１を用いて、口の動きを１文字ずつ画像入力する。
【００５１】
〔Ｓ２〕入力された口の動きから口形状画像照合ＤＢ３１を用い、口形状画像データを母音情報に変換する。
〔Ｓ３〕口形状が一定時間の間に動いているか否か（変化しているか否か）を判断する。一定時間の間、口の動きがない場合はステップＳ５へいき、一定時間の間に口が動く場合はステップＳ４へいく。
【００５２】
〔Ｓ４〕カメラ２１から次の１文字を入力する。ステップＳ２へ戻る。
〔Ｓ５〕口の動きから解析したｍ個の母音情報から、単語変換辞書ＤＢ３２ａを用いて、母音または「ん」に関連する単語候補ｎ個を候補文字表示部１１ｃに表示する。
【００５３】
〔Ｓ６〕キー入力待ち状態とする。
〔Ｓ７〕入力されたキーを認識する。選択キー１２ｂの場合はステップＳ８ａへいき、テンキー１２ａの場合はステップＳ８ｂへいき、確定キー１２ｃの場合はステップＳ８ｃへいく。また、文字入力を終了する場合は終了とする。
【００５４】
〔Ｓ８ａ〕選択キー１２ｂが入力された場合は、該当の方向にカーソルを移動し、ステップＳ６へ戻り、キー入力待ち状態となる。
〔Ｓ８ｂ〕テンキー１２ａが入力された場合は、該当単語に対して、入力された子音情報を加味して、単語変換辞書ＤＢ３２ａから関連する単語候補検索し、検索結果を候補文字表示部１１ｃに表示する。ステップＳ６へ戻って、キー入力待ち状態となる。
【００５５】
〔Ｓ８ｃ〕確定キー１２ｃが入力された場合は、確定文字を確定入力文字表示部１１ａに表示する。
〔Ｓ８ｃ−１〕単語変換辞書ＤＢ３２ａは、確定される単語の頻度の高い順に画面の上位位置に表示されるように登録順を更新する。
【００５６】
以上説明したように、文字入力装置１を適用した携帯電話機１ａは、日本語入力において、文字または単語レベルで口の動きの画像を取り込み、該当単語の母音および「ん」を解析する。そして、単語変換辞書ＤＢ３２ａから、口の動きで入力された母音および「ん」の母音情報に関連する単語候補を検索してディスプレイに表示する。
【００５７】
ディスプレイに表示した母音情報だけの単語候補の中に、入力したい単語が含まれていれば、選択キー１２ｂと確定キー１２ｃにより、入力文字を選択・確定する。また、ディスプレイに表示した単語候補の中に入力したい単語が含まれていない場合は、該当する子音を例えば、「０〜９」のテンキー１２ａで入力し、候補が出るまで子音を順次追加入力して検索を行う。
【００５８】
このように、母音情報だけを単語単位に先に入力して、まず母音情報だけで単語変換辞書ＤＢ３２ａを検索し、該当文字があれば確定し、なければ子音情報をキー操作で入力することになる。
【００５９】
このような構成により、１文字ずつ母音に合わせて子音を入力するといった操作が不要となる。したがって、１文字入力する度に、口形状の画像入力とキーの入力操作とを連動する必要がないため、操作が容易となり、正確かつスムーズに文字を入力することが可能になる。
【００６０】
次にアルファベットの文字入力について説明する。アルファベット入力の一例として、「ｇ」を入力する場合について説明する。
図１６は文字入力画面の表示例を示す図である。画面１１−１ａにおいて、キー操作ガイダンス部１１ｂに示される文字切替キー１１ｂ−１を押下することで、文字入力モードをアルファベット入力モードに切り替える。
【００６１】
ここでは、「ｇ」という文字を入力するため、ユーザは、口の形状を「じー」として、カメラ２１から口の動きを入力し、上述の口形状画像照合ＤＢ３１から、該当口形状画像データに対応する母音情報「ｉ」を得る。
【００６２】
次に「ｉ」に該当するアルファベット情報を得るため、アルファベット変換辞書ＤＢ３２ｂを用いて、候補となるアルファベットを抽出して、候補文字表示部１１ｃに表示する。
【００６３】
図１７はアルファベット変換辞書ＤＢ３２ｂの登録データを示す図である。母音情報からアルファベット候補を表示するための登録データ例を示している。登録項目としては、“母音情報”、“読み”、“キー”、“表示”がある。なお、“表示”には、全小（全角小文字）、全大（全角大文字）、半小（半角小文字）および半大（半角大文字）がある。
【００６４】
図１８はアルファベット文字候補の画面表示例を示す図である。画面１１−２ａにおいて、母音「ｉ」に対応するアルファベットは「ｂ」、「ｅ」、「ｇ」、「ｐ」、「ｔ」、「ｚ」と複数候補が表示されている。
【００６５】
図１９は入力文字を選択する際の画面表示を示す図である。画面１１−３ａにおいて、入力したい「ｇ」に該当するテンキー１２ａの「４」を押下することで、候補文字表示部１１ｃに「ｇ」のみを表示する。または、画面１１−２ａの状態で選択キー１２ｂを３回押下してカーソルを下方に移動して「ｇ」を選択する。
【００６６】
図２０は入力文字を確定する画面表示を示す図である。図１９のようにして入力文字を選択した後、確定キー１２ｃを押下することで、画面１１−４ａにおいて、確定入力文字表示部１１ａのメール本文内に「ｇ」の文字が展開される。
【００６７】
図２１はアルファベットの全角／半角の切替を示す図である。図１９の状態で、全半大小ボタン１１ｂ−２を押下することで、アルファベット変換辞書ＤＢ３２ｂにある“表示”の文字を切替える。これにより、アルファベットの「全角／半角」および「大文字／小文字」の切替えを可能とする。画面１１−５ａでは、全半大小ボタン１１ｂ−２を１度押下した状態の例であり、「ｇ」の文字が「Ｇ」となっていることを表している。
【００６８】
図２２は入力文字を確定する画面表示を示す図である。図２１のようにして入力文字を選択した後、確定キー１２ｃを押下することで、画面１１−６ａにおいて、確定入力文字表示部１１ａのメール本文内に「Ｇ」の文字が展開される。
【００６９】
次に文字入力動作についてフローチャートを用いて説明する。図２３はアルファベット文字入力動作のフローチャートを示す図である。
〔Ｓ１１〕ユーザは、カメラ２１を用いて、口の動きを１文字ずつ画像入力する。
【００７０】
〔Ｓ１２〕入力された口の動きから口形状画像照合ＤＢ３１を用い、口形状画像データを母音情報に変換する。
〔Ｓ１３〕口形状が一定時間の間に動いているか否かを判断する。一定時間の間、口が動かない場合はステップＳ１５へいき、一定時間の間に口が動く場合はステップＳ１４へいく。
【００７１】
〔Ｓ１４〕カメラ２１から次の１文字を入力する。ステップＳ１２へ戻る。
〔Ｓ１５〕口の動きから解析したｍ個の母音情報から、アルファベット変換辞書ＤＢ３２ｂを用いて、関連するアルファベット候補ｎ個を候補文字表示部１１ｃに表示する。
【００７２】
〔Ｓ１６〕キー入力待ち状態とする。
〔Ｓ１７〕入力されたキーを認識する。選択キー１２ｂの場合はステップＳ１８ａへいき、テンキー１２ａの場合はステップＳ１８ｂへいき、確定キー１２ｃの場合はステップＳ１８ｃへいく。また、文字入力を終了する場合は終了とする。
【００７３】
〔Ｓ１８ａ〕選択キー１２ｂが入力された場合は、該当の方向にカーソルを移動し、ステップＳ１６へ戻り、キー入力待ち状態となる。
〔Ｓ１８ｂ〕テンキー１２ａが使用された場合は、キー情報（アルファベット変換辞書ＤＢ３２ｂの“キー”に該当）にもとづき、アルファベットの候補を特定して入力して、候補文字表示部１１ｃに表示する。ステップＳ１６へ戻り、キー入力待ち状態となる。
【００７４】
〔Ｓ１８ｃ〕確定キー１２ｃが入力された場合は、確定文字を確定入力文字表示部１１ａに表示する。
〔Ｓ１８ｃ−１〕アルファベット変換辞書ＤＢ３２ｂは、確定されるアルファベットの頻度の高い順に画面の上位位置に表示されるように登録順を更新する。
【００７５】
以上説明したように、文字入力装置１を適用した携帯電話機１ａは、アルファベット入力モードを有し、１つのアルファベット毎に口の動きの画像を取り込み、該当アルファベットの母音情報を解析する。そして、アルファベット変換辞書ＤＢ３２ｂから口の動きで入力された母音情報に関連するアルファベット１文字をディスプレイに表示する。
【００７６】
ディスプレイに表示したアルファベットの候補の中に入力したいアルファベットが含まれていれば、選択キー１２ｂと確定キー１２ｃにより、入力文字を確定する（またはテンキー１２ａでアルファベットを直接特定する）。
【００７７】
ディスプレイに表示した候補の中に、入力したいアルファベットが含まれていない場合は、該当するアルファベットを例えば、「０〜９」のテンキー１２ａで入力することで、アルファベットの候補を特定して入力する。このように、日本語入力だけでなく、アルファベット入力も行うことが可能である。
【００７８】
図２４は携帯電話機の外観構成を示す図である。上記の携帯電話機１ａでは、入力操作をテンキー等のキーで行ったが、タッチパネル１１０のような入力手段を有する携帯電話機１ｂを使用してもよい。基本構成は携帯電話機１ａと同じなので説明は省略する。
【００７９】
以上説明したように、文字入力装置１では、個々の母音情報に対応する口形状画像データを登録する口形状画像照合ＤＢ３１と、母音情報に関連する単語候補を登録する単語変換辞書ＤＢ３２ａとを備えて、口形状画像データを母音情報に変換し、変換後の母音情報に関連する単語候補を検索する構成とした。
【００８０】
従来の口形状認識による文字入力では、１文字単位で、口形状認識による母音入力とキー操作等による子音入力とを連動して文字を入力していたため、操作性が悪く、文字入力の効率性が低かった。
【００８１】
これに対し、文字入力装置１では、最初に口形状認識によって口形状画像データを母音情報に一括して変換し、母音入力だけを例えば、単語単位に先に入力しておき、単語変換辞書ＤＢ３２ａを用いて、入力した母音情報に関連する単語候補を検索する。そして、所望の単語が存在しない場合には、子音情報をキー操作で入力して、単語候補を再検索して、所望の単語を入力する構成とした。
【００８２】
このように、母音情報だけでは所望の単語が表示されない場合に、子音情報を順次入力して検索精度を高めていくとした構成を有するので、従来のような１文字単位で口の動きとキー操作を行って文字を入力するといった煩わしさがなくなり、従来の文字入力と比べて、操作性を格段に向上させることが可能になる。
【００８３】
また、「０〜９」のテンキーしかないような携帯端末機器においても、文字入力装置１の口形状認識文字入力機能によって、人混みでも必要最小限のキー操作により、アルファベットも含めた操作性の容易な文字入力が可能になる。
【００８４】
なお、上記の文字入力装置１の処理機能は、コンピュータによって実現することができる。その場合、文字入力装置１が有すべき機能の処理内容を記述したプログラム（文字入力制御プログラム）が提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。
【００８５】
コンピュータは、ＣＰＵによって装置全体が制御される。ＣＰＵには、バスを介してＲＡＭ、ハードディスクドライブ（ＨＤＤ）、通信インタフェース、グラフィック処理装置、および入出力インタフェースが接続される。
【００８６】
ＲＡＭには、ＣＰＵに実行させるＯＳ（Operating System）のプログラムや、文字入力制御を行うためのプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭには、ＣＰＵによる処理に必要な各種データが格納される。ＨＤＤメッセージには、ＯＳやアプリケーションプログラムが格納される。
【００８７】
通信インタフェースは、ネットワークに接続されている。通信インタフェースは、ネットワークを介して、他のコンピュータとの間でデータの送受信を行う。グラフィック処理装置は、モニタが接続されている。グラフィック処理装置は、ＣＰＵからの命令にしたがって画像をモニタの画面に表示させる。
【００８８】
入出力インタフェースには、キーボードとマウスとが接続されている。入出力インタフェースは、キーボードやマウスから送られてくる信号を、バスを介してＣＰＵに送信する。また、入出力インタフェースは、外部記憶媒体への情報の書き込みおよび外部記憶媒体への情報の読出しが可能な外部記憶媒体インタフェースと接続可能になっている。
【００８９】
文字入力装置１は、各機能の処理内容を記述した文字入力制御プログラムをコンピュータで実行することにより実現することができる。すなわち、図１のユーザインタフェース部１０、画像処理部２０、口形状画像照合データベース３１、単語変換辞書データベース３２ａおよび制御部４０に対応する処理内容をプログラムとして記述する。ここで、記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。
【００９０】
コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disc）などがある。
【００９１】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００９２】
また、上記の処理機能の少なくとも一部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現することもできる。
【００９３】
プログラムを実行するコンピュータは、例えば、外部記憶媒体に記録されたプログラムまたはサーバプログラムから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、外部記憶媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次受け取ったプログラムにしたがった処理を実行することもできる。
【００９４】
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。なお、上記では、文字入力装置１を携帯電話機に適用した例を示したが、携帯電話機に限らず、カメラが搭載されて文字入力を行う装置全般に対して適用可能である。
【符号の説明】
【００９５】
１  文字入力装置
１０  ユーザインタフェース部
２０  画像処理部
３１  口形状画像照合データベース
３２ａ  単語変換辞書データベース
４０  制御部
【図１】
2011186994.tif 000003
【図２】
2011186994.tif 000004
【図３】
2011186994.tif 000005
【図４】
2011186994.tif 000006
【図５】
2011186994.tif 000007
【図６】
2011186994.tif 000008
【図７】
2011186994.tif 000009
【図８】
2011186994.tif 000010
【図９】
2011186994.tif 000011
【図１０】
2011186994.tif 000012
【図１１】
2011186994.tif 000013
【図１２】
2011186994.tif 000014
【図１３】
2011186994.tif 000015
【図１４】
2011186994.tif 000016
【図１５】
2011186994.tif 000017
【図１６】
2011186994.tif 000018
【図１７】
2011186994.tif 000019
【図１８】
2011186994.tif 000020
【図１９】
2011186994.tif 000021
【図２０】
2011186994.tif 000022
【図２１】
2011186994.tif 000023
【図２２】
2011186994.tif 000024
【図２３】
2011186994.tif 000025
【図２４】
2011186994.tif 000026