(57)【要約】【課題】  電子機器への文字入力に際して、キー操作の負担を軽減する方法として口の形状認識を利用する方法が提案されている。これらは口の形状認識に、ある程度のキー操作を組み合わせたり、視線を併用したりするが、手指の細かな動きが困難な利用者に対して、必ずしも負担の少ない文字入力方法を提供するものではない。【解決手段】  口の形状認識によって、表示画面に入力文字候補を順次表示させ、簡単な顔の動きで所望の文字決定することで入力文字を選択する方法およびシステムを提供する。【選択図】図１
2009169464.tif 000002
【特許請求の範囲】
【請求項１】
電子機器に対して文字を入力する方法であって、口の形状を認識する工程と、前記口の形状に基づいて入力文字の候補群を選択する工程と、前記候補群に属する文字を順に表示する工程と、前記文字を表示する度に口又は鼻の動きを検出する工程と、前記口又は鼻の動きに基づいて前記候補群又は前記表示中の文字に対する処理を選択する工程とを含む文字入力方法。
【請求項２】
前記選択される処理には前記表示中の文字を入力文字とする処理を含む請求項１に記載された文字入力方法。
【請求項３】
前記選択される処理には前記候補群を他の候補群に置き換える処理を含む請求項１に記載された文字入力方法。
【請求項４】
前記選択される処理には前記候補群から表示される文字の表示の順を変更する処理を含む請求項１に記載された文字入力方法。
【請求項５】
前記口の形状を認識する工程の前に、口の動きを検出する工程と、前記口の動きに基づき既に入力文字とした文字を削除する工程とを更に含む請求項１に記載された文字入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子機器への文字入力方法であって、入力者の口の形状および口と鼻の動きを利用して入力文字を決定する方法に関する。
【背景技術】
【０００２】
コンピュータや携帯電話などの機器の普及により、多くの人がこれらの機器を使う機会が増えている。これらの機器を操作するための一般的なインタフェースは、キーボードやマウス、ボタンなどの手で操作する手段である。
【０００３】
しかし、すべての人がキーボードやマウスなどを巧みに操作して文字を入力できるとは限らない。このことは高齢化社会を迎える上で、次第に重要視される問題であると考えられる。また手指に障害をもつ人もキーボードやマウスなどの操作は難しい。
【０００４】
手指を使わないインタフェースとして、音声認識が考えられる。音声認識技術は古くから取り組まれている分野であり、少しずつ普及しつつあるが、周囲の騒音に影響を受ける問題がある。また音声ではなく、視線を利用するインタフェースが開発されているが、意図的に視線をかえるのは利用者に負担を強いる問題がある。
【０００５】
また、視線を用いるのは、単に対象物に注視した状態と、装置に対する何らかの意図をもって見ているのかを判別することが難しいなどの問題もある。
【０００６】
画像情報を用いて発話内容を認識する読唇に関する研究も取り組まれているが、音声認識に比べ認識率が低く、まだ実用段階にあるとはいえない。
【０００７】
例えば、特許文献１では、口の形状とキー操作を併用したテキスト入力システムを提案している。日本語のかな５０音表の異なる子音に対してはキーを、母音に対しては口の形状を対応させることによりテキスト入力を実現している。
【０００８】
また、特許文献２では、特許文献１のキー操作を目の動きに置き換えるシステムを提案している。
【特許文献１】特開２００５−３０９９５２号公報
【特許文献２】特開２００２−２６９５４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１は、口の形状とキー操作を利用することにより早いテキスト入力を実現しているが、テキストを入力するためにキー操作が必要であり、手指の細かな動きが必要となる。
【００１０】
また、特許文献２は、口の形状と目の動きを利用するテキスト入力を提案しているが、処理の詳細が記述されておらず、目の動きと口の形状のどのタイミングで文字の入力が実現できるか不明である。また、文字を入力するために、意図的に目を素早く動かすことは使用者に負担を強いる。
【００１１】
このように様々な文字入力方法が提案されているが、手指の細かな動きが困難な利用者に対して、必ずしも負担の少ない文字入力方法を提供するものではない。
【課題を解決するための手段】
【００１２】
上記の課題に鑑み、本発明では、手指の細かな動きが困難な利用者に対して、負担の少ない入力方法として口の動きと簡単な顔の動きのみで文字を入力する方法を提供するものである。つまり、本発明の目的は、コンピュータや携帯電話などの携帯端末などの機器を操作するのに、手指を用いずに口部形状を利用して文字を入力する方法を提供することである。
【００１３】
すなわち、本発明の第１の局面は、電子機器に対して文字を入力する方法であって、口の形状を認識する工程と、前記口の形状に基づいて入力文字の候補群を選択する工程と、前記候補群に属する文字を順に表示する工程と、前記文字を表示する度に口又は鼻の動きを検出する工程と、前記口又は鼻の動きに基づいて前記候補群又は前記表示中の文字に対する処理を選択する工程とを含む文字入力方法を提供するものである。
【００１４】
また、本発明の第２の局面は、前記選択される処理には前記表示中の文字を入力文字とする処理を含む第１の局面に記載された文字入力方法を提供するものである。
【００１５】
また、本発明の第３の局面は、前記選択される処理には前記候補群を他の候補群に置き換える処理を含む第１の局面に記載された文字入力方法を提供するものである。
【００１６】
また、本発明の第４の局面は、前記選択される処理には前記候補群から表示される文字の表示の順を変更する処理を含む第１の局面に記載された文字入力方法を提供するものである。
【００１７】
また、本発明の第５の局面は、前記口の形状を認識する工程の前に、口の動きを検出する工程と、前記口の動きに基づき既に入力文字とした文字を削除する工程とを更に含む第１の局面に記載された文字入力方法を提供するものである。
【発明の効果】
【００１８】
本発明の文字入力方法は、キー操作を利用する方法などに比べ、文字の入力速度は早くないが、口の動きと簡単な顔の動きだけで文字を入力することができる。しかも、口の動きを発話に基づく動きと対応付けることで、人の自然なコミュニケーション手段である発話を意識した口の動きで文字の入力を実現することができる。
【発明を実施するための最良の形態】
【００１９】
＜構成＞
図１に本発明の文字入力方法を実現するシステムの構成を示す。本発明の文字入力のためのシステムは、撮像手段１００とコンピュータ２００と表示装置３００を含む。
【００２０】
領域抽出手段２、形状特徴量計測手段３、母音ＤＢ４、動き計測手段６、母音判断手段７、動き判断手段９、文字入力手段１１はコンピュータ２００内の構成、機能および処理される項目である。これらは主としてソフトウェアで実現されるが、複数のＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ）とプログラム若しくは専用のハードウェアを用いて実現してもよい。本発明の文字入力方法によって決定された入力文字は文字入力手段１１に蓄えられ、例えば文章作成ソフトやメール作成ソフトなどの他のアプリケーションソフトのために使用される。
【００２１】
特徴量表示手段５、入力候補文字表示手段８、入力文字表示手段１０、動き表示手段１２は利用者に表示する表示装置３００であり、ディスプレイでよい。なお、これらの手段はディスプレイに表示する情報を加工し、表示のための書式なども作成するので、コンピュータ側に実装されるプログラムであってもよい。また、ディスプレイ自体にＭＰＵを搭載させ、コンピュータから受け取った情報に基づいてディスプレイ自体が情報を加工し表示を行っても良い。
【００２２】
本発明の文字入力方法では、撮像手段１で入力者の顔を撮影し、その画像および画像の動きに基づいて入力文字を決定する。入力者は表示装置３００に示された入力候補から所望の文字を選択するため、表示装置３００は必要な構成要素となる。
【００２３】
撮像手段１００は撮像装置１であり、具体的には画像データを出力するカメラが該当する。これは入力者の顔、特に口と鼻の画像データを取得するため、少なくとも顔下半分をカバーできる視野を有する必要がある。また、口と鼻の位置や形状を得られた画像データより画像処理によって評価するため、これらの部位が画面の中で小さすぎても十分な評価を行うことができない。カメラの画角、焦点距離、倍率等はシステムを使用する状況に応じて適宜設計されるものである。
【００２４】
領域抽出手段２は撮像装置１によって取得した入力者の顔の画像Ｐｓから、鼻孔領域と口内領域の２領域の画像データを抽出する手段である。鼻孔領域とは、少なくとも鼻の穴を含む領域である。鼻の穴は鼻の動きを検出する基準とできるからである。また口内領域とは唇で囲まれた領域である。
【００２５】
なお、口内領域には唇を含んでいても良い。鼻孔領域及び口内領域それぞれの領域の画像データをＰｎ、Ｐｍとする。鼻孔領域および口内領域の画像データＰｎおよびＰｍの抽出は入力者の顔の画像Ｐｓから画像処理で抽出するが、抽出する画像処理の方法は特に限定されるものではない。
【００２６】
形状特徴量計測手段３は抽出された口内領域の画像データＰｍより形状特徴量（口内領域の面積Ｓと縦横比Ａｓｐ：以後これらをまとめてＱｃとも呼ぶ）を計測する手段である。形状特徴量Ｑｃの計測は画像処理によって行う。例えば口内領域の画像データＰｍの画素数をカウントすることで面積Ｓを求めるなどである。また縦横比Ａｓｐは、画像データＰｍの縦と横の画素数をカウントしその比を求めるなどである。もちろん、これ以外の方法を用いてもよい。
【００２７】
母音ＤＢ４は計測された形状特徴量Ｑｃを、形状特徴量に応じた入力文字候補群Ｃｓａと関連づけて登録する母音ＤＢである。入力文字候補群Ｃｓａは入力されるべき文字を所定の規則に基づいてグループ分けしたものであり、１つの入力文字候補群には複数の候補文字Ｃｔｘが含まれる。ここで関連付けられた面積Ｓと縦横比Ａｓｐは、以後の文字入力モードでは入力文字候補群Ｃｓａを選択する基準となるので、基準面積ＳＳおよび基準縦横比ＳＡとする。なお、基準面積ＳＳと基準縦横比ＳＡをまとめて基準形状特徴量ＳＱｃとも呼ぶ。
【００２８】
特徴量表示手段５は形状特徴量計測手段３で計測された形状特徴量Ｑｃを表示する。ここでは、現在入力者が示している鼻や口部から得られる形状特徴量Ｑｃだけでなく、予め登録した基準形状特徴量ＳＱｃも合わせて表示してよい。利用者は母音ＤＢで登録されているこれら基準となる形状特徴量の位置にあわせて口部形状を変化させることにより、容易に入力文字の母音形状を作ることができる。
【００２９】
動き計測手段６は領域抽出手段２で抽出された鼻孔領域の画像データＰｎより鼻孔位置Ｎｘｙの時間的変化を顔の動きとして計測し、口内領域の画像データＰｍの縦幅Ｌｍの時間的変化より口の開閉動作を計測する手段である。鼻孔位置に動きがあった場合は動き信号Ｍｎを出力し、口の開閉動作は動き信号Ｍｍを出力する。また、縦幅Ｌｍと鼻孔位置Ｎｘｙの最新データを動き表示手段１２へ出力する。
【００３０】
動き計測手段６では、時間的な変化を検出するので、一定時間前の画像データＰｎとＰｍを記憶しておき、現時点での画像データＰｎとＰｍとを比較する。若しくは、画像データ自身を記憶するのではなく、それぞれの画像データから必要なパラメータだけを抽出しそのパラメータ同士を比較してもよい。
【００３１】
例えば、鼻孔位置Ｎｘｙと口内領域の縦幅Ｌｍを時間毎に記憶しておき、過去の値と比較することで時間変化があったか否かを判断するなどである。
【００３２】
動き表示手段１２は、動き計測手段６から鼻孔位置Ｎｘｙと口内領域の縦幅Ｌｍを受け取り、それを表示する。この表示は所定時間間隔のデータを表示するものとしておけば入力者が鼻や口の動きを認識しやすく好適である。
【００３３】
母音判断手段７は計測された形状特徴量Ｑｃ（面積Ｓと縦横比Ａｓｐ）と母音ＤＢ４に登録された基準形状特徴量ＳＱｃ（基準面積ＳＳと基準縦横比ＳＡ）を比較し、形状特徴量と関連づけられた入力候補群Ｃｓａを呼び出して候補文字Ｃｔｘを順次、入力候補文字表示手段８へ表示させる。母音判断手段７は動き判断手段からの制御信号に従って、候補文字Ｃｔｘの表示順序を変更したり、入力候補群Ｃｓａを取得しなおしたりする。
【００３４】
動き判断手段９は、動き計測手段６からの動き信号ＭｎおよびＭｍを受信し、動きに応じた処理を行う。例えば、現在候補文字Ｃｔｘが入力候補文字表示手段８に表示されている場合であって、下向きの鼻の動きがあった場合は、その候補文字Ｃｔｘを入力文字として入力手段へ送ると共に入力文字表示手段１０にも表示させる。
【００３５】
また、候補文字Ｃｔｘが表示されていない場合であって、口の開閉動作があった場合は入力文字表示手段に表示している文字Ｃｔｘを１文字削除する。この場合は１文字削除のための制御信号Ｓｃｄを入力文字表示手段１０に送信する。また、文字入力手段１１にも制御信号Ｓｃｄを送り入力文字を１文字削除する。
【００３６】
また、候補文字Ｃｔｘが表示されている場合であって、口の開閉動作があった場合は、入力候補文字群Ｃｓａを別の入力候補文字群に変更する。これは同じ基準形状特徴量ＳＱｃ（基準面積ＳＳと基準縦横比ＳＡ）に対応付けられる入力文字候補群が複数種類ある場合があるからである。例えば同じ口部の形に対して、日本語５０音の「あ」行という入力文字候補群と、濁点などの特殊文字からなる入力文字候補群の２つが対応付けられる場合である。この場合は、母音判断手段７若しくは母音ＤＢ４に制御信号Ｓｃａを送信する。
【００３７】
また、候補文字Ｃｔｘが表示されている場合であって、横向きの鼻の動きがあった場合は、入力候補文字群Ｃｓａから候補文字Ｃｔｘを表示する順番を逆転させる。すなわち、入力候補文字群Ｃｓａの１番目の候補文字Ｃｔｘから順に表示させるのを、１番目の候補文字に向かって表示させるようにする。この場合は、母音判断手段７に制御信号Ｓｃｓを送信する。
【００３８】
また、候補文字Ｃｔｘが表示されている場合であって、上向きの鼻の動きがあった場合は、入力候補文字表示手段８の表示を消し、入力候補文字群Ｃｓａの選択をやり直す。すなわち、形状特徴量計測手段３からの特徴量である面積Ｓと縦横比Ａｓｐを取得し、基準面積ＳＳおよび基準縦横比ＳＡとの比較を行い入力候補文字群Ｃｓａを取得しなおす。この場合は、母音判断手段７に制御信号Ｓｃｒを送信する。
【００３９】
動き判断手段９はこの他、口および鼻の動きに対応して定義した制御信号を各構成手段に送信することにしてもよい。また、本構成の説明では、手段から手段へ制御信号やデータを送受信するようにハードウェアのように説明を行ったが、それぞの手段をソフトウェアで実現する場合は、制御データや値としてそれぞれの処理ルーチンへ受け渡すようにしてもよい。
【００４０】
＜処理の流れ＞
本発明は入力者の口の形状を、予め登録しておいた口の形状のパターンと比較することで認識する。そのため文字を入力するモードだけでなく、口部形状の登録モードを有する。これらのモードの変更方法については特に限定されるものではないが、例えば専用のスイッチを用いたり、何かのボタンを２度連続で押下するなどの方法が考えられる。
【００４１】
また、図１で示したシステムが有する画像処理を用いて、鼻若しくは口の形や位置や動きなどでモードの変更を行っても良い。いずれにしても、モードの変更は１人の入力者に対しては１度行えば足りるものであるので、多少手間がかかっても本発明の趣旨に反するものではない。
【００４２】
口部形状の登録モードと文字の入力モードの処理の流れを図２および３にそれぞれ示す。システム構成は図１に示したものであり、文章で示すことなく図１の構成を適宜参照しながら説明する。
【００４３】
図２は口部形状の登録モードの処理の流れを示す。この処理がスタートすると、利用者に対して、登録する入力文字候補群Ｃｓａの先頭の文字を表示する（ステップＳ１）。利用者個人の特徴量を抽出しやすくするために、利用者による特徴量を予め登録するためである。そこで利用者は登録する口部パターン形状をカメラの前で作る。ここでは日本語５母音（‘あ’、‘い’、‘う’、‘え’、‘お’）の５形状を考える。
【００４４】
利用者の口部パターン形状は、カメラより画像として取得する（ステップＳ２）。ここで取得した画像データＰｓは領域抽出手段２に送られ特徴量の計測が行われる（ステップＳ３）。具体的には、取得画像から二つの鼻孔領域画像データＰｎと口内領域画像データＰｍを抽出し、二つの鼻孔間の中点の座標Ｎｘｙと口内領域の面積Ｓと縦横比Ａｓｐ（アスペクト比）を計測する。
【００４５】
次に動き計測手段６で計測した動きがゼロ、若しくは所定の許容量以下であった場合、すなわち動きがなかったと判断できる場合（ステップＳ４のＹ分岐）は、動き判断手段９が母音ＤＢ４に制御信号Ｓｃｃを送り、そのときの面積Ｓと縦横比Ａｓｐを基準面積ＳＳおよび基準縦横比ＳＡとして入力文字候補群Ｃｓａと関連付けて母音ＤＢへ記録する（ステップＳ５）。
【００４６】
動きがあった場合（ステップＳ４のＮ分岐）は、ステップＳ１に戻り再び登録処理をやり直す。なお、この際に戻るステップはステップＳ２の画像の取得までであってもよい。以上の口部形状の登録モードにより本システムは入力者の口の形状の特徴の認識率を高めることができる。利用者の唇の形や口腔内の状態発音時の癖などは利用者それぞれで異なるからである。
【００４７】
図３は文字の入力モードの処理の流れを示している。文字の入力モードでは、口部パターン形状と顔の動きより利用者の意図を推測する。すなわち口部パターン形状より入力したい文字の段、顔の動きより、文字の入力、入力のキャンセル、文字種の変換、文字の取り消しを判断する。
【００４８】
まずステップＳ１１で口の２回の開閉動作を判断する。これは動き計測手段６からの動き信号Ｍｍで動き判断手段９が判断する。開閉の動きがあれば（ステップＳ１１のＹ分岐）、最後に入力された文字を取り消す（ステップＳ１２）。これは動き判断手段９が文字入力手段１１に制御信号Ｓｃｄを送信することで行われる。
【００４９】
開閉の動きが検出されない場合（ステップＳ１１のＮ分岐）は、特徴量表示手段５に利用者の登録した口部パターン形状と現在の利用者の口部の形状を表示させる（ステップＳ１３）。利用者は、画面に表示されている登録した口部パターン形状の特徴量の位置を参考にしながら、入力したい文字の段の口部パターン形状を作る。
【００５０】
次に口内領域の形状が一定時間（ここでは１秒間）同じ形状であれば（ステップＳ１４のＹ分岐）、形状認識処理を行う（ステップＳ１５）。そうでなければ（ステップＳ１４のＮ分岐）、ステップＳ１１に戻る。口内領域の形状が一定時間同じ形状であるか否かは、動き計測手段６の動き信号Ｍｍによって動き判断手段９が判断する。一定時間同じ形状であった場合は、動き判断手段９が母音判断手段７に制御信号Ｓｃｒを送信し、母音判断手段７をリセットする。
【００５１】
母音判断手段７はリセットされると形状特徴量計測手段３から形状特徴量を入手し、特徴量空間のユークリッド距離が最も近い形状の基本面積および基本縦横比に関連付けられる入力文字候補群Ｃｓａの最初の文字を表示する。これが形状認識処理である。
【００５２】
なお、特徴量空間のユークリッド距離とはこの場合、形状特徴量Ｑｃ（口内領域の面積Ｓと縦横比Ａｓｐ）と基本形状特徴量ＳＱｃ（基本面積ＳＳと基本縦横比ＳＡ）との差の２乗根をいう。より具体的には特徴量空間のユークリッド距離ＳＲは次の１式で表される。
【数１】
2009169464.tif 000003
・・・・・・（１）
【００５３】
形状認識処理の結果が正しい場合、利用者はさらに口部形状を一定時間（ここでは１秒間）同じ形状に保つ。認識結果が間違っていれば（ステップＳ１７のＮ分岐）、利用者は口部形状を変えることによりステップＳ１１に戻る。口部形状が一定時間同じ形状であれば（ステップＳ１７のＹ分岐）、システムは入力文字候補群を表示する（ステップＳ１８）。
【００５４】
ここで一定時間同じ形状であったか否かについては、動き計測手段６の動き信号Ｍｍを用いて動き判断手段９が判断する。動き判断手段９は、母音判断手段７に入力文字候補群Ｃｓａの中の候補文字Ｃｔｘを順次表示させる制御信号Ｓｃｔを出力する。母音判断手段７は、制御信号Ｓｃｔによって入力候補文字表示手段８に候補文字Ｃｔｘを順次表示させる。
【００５５】
ステップＳ１７の同じ形状維持においては、認識結果が正しくとも、文字の入力をやめたい場合は口部形状を換えることによりステップＳ１１に戻ることができる。ステップＳ１８は、入力文字候補群Ｃｓａの中の候補文字Ｃｔｘを順次表示させる制御信号Ｓｃｔを出力するのであるが、具体的には認識された母音に属する段の文字リストを画面に表示する。文字リストは一定間隔（ここでは１秒）に強調表示される文字が変わる。利用者は強調表示されている文字が入力したい文字であれば、下向き動作を検出することで（ステップＳ１９）、文字が入力される（ステップＳ２０）。
【００５６】
また文字の入力をキャンセルしたい場合は、上を向く動き（上向き動作）をすることにより文字入力がキャンセルされてステップＳ１１に戻る（ステップＳ２１）。また利用者は濁音や半濁音などの文字を入力したい場合は口の２回開閉動作を行うこと（ステップＳ２２のＹ分岐）により入力文字候補群を切り替えられる（ステップＳ２３）。
【００５７】
なお、ステップＳ１３（口部形状表示）やステップＳ１９、Ｓ２１、Ｓ２２に関連する動き検出については、常に継続して処理を行うようにしてもよい。すなわち、図３のフローのタイミングで口部形状を表示するだけでなく、口部の形状は常時表示するようにしてもよい。また、「下を向く動き」があったか否かについては、ステップＳ１９のタイミングで動きを検出しにいくのではなく、動き検出は常に動きを検知しており、動き判断手段９はいつでも動きがあったか否かについて情報を得られるようにしておいてもよい。
【００５８】
具体的には、図１の構成図において、領域抽出手段２、形状特徴量計測手段３、動き計測手段６については、母音判断手段７及び動き判断手段９とは別のＭＰＵと制御プログラムによって常時動作を行うことで実現できる。また、これらの処理をソフトウェア的に行う場合は、プログラムのバックグランド処理を行いリアルタイム性を確保するなどの方法で実現できる。
【実施例】
【００５９】
本発明では、実際に口部形状パターンを利用した文字入力システムを構築し、被験者実験によりその効果を検討した。
【００６０】
＜入力可能な文字＞
図４に本システムで入力可能な文字の一覧表を示す。本システムでは濁音、半濁音などを含むかな８１文字としているが、この表を変更することは可能であり、例えばカタカナ文字やアルファベット、数字などの入力も可能となる。本システムでは、例えば“さ”を入力したい場合は、利用者は“あ”の口部パターン形状を作り、認識結果が正しければ、入力候補文字リストとして‘あ’、‘か’、‘さ’、‘た’、‘な’、‘は’、‘ま’、‘や’、‘ら’、‘わ’、‘ん’が表示される。
【００６１】
１秒間隔で“あ”から順に強調表示され、利用者は‘さ’が強調表示されるときに「下向き動作」をすることにより‘さ’を入力することができる。また、例えば‘べ’を入力したい場合は、利用者は“え”の口部パターン形状を作り、認識結果が正しければ、入力候補文字リストとして‘え’、‘け’、‘せ’、‘て’、‘ね’、‘へ’、‘め’、‘れ’が表示される。次に利用者は「口を２回開閉する動き」をすることにより、入力候補文字リストは図４の（２）表の“げ”、‘ぜ’、‘で’、‘べ’、‘ぺ’、‘ぇ’が表示される。利用者は“べ”が強調表示されるときに「下向き動作」をすることにより‘べ’を入力することができる。
【００６２】
＜画面構成＞
図５〜図７に本システムの画面の表示例を示す。図５は初期の画面を示しており、（１）カメラ画像、（２）口内領域画像、（３）口内領域の縦幅の変化、（４）鼻孔位置の変化、（５）特徴量の推移がそれぞれ表示される。これらの表示はリアルタイムで更新される。（１）カメラ画像には抽出された鼻孔と口内領域が上書き表示される。（２）口内領域画像ではサイズと回転に対して正規化された口内領域画像が表示される。
【００６３】
（３）口内領域の縦幅の変化では、正規化された口内領域の縦幅の時間的変化を示しており、口を閉じると上側に、口を開けると下側にプロットされる。右側が現在時刻であり、左側ほど過去の値を示している。２本の水平線は、口の開閉動作を判断するためのしきい値の線である。
【００６４】
（４）鼻孔位置の変化は、抽出された鼻孔間の中点座標を表しており、水平方向の線はｙ座標の変化、垂直方向の線はｘ座標の変化を示している。例えば、中点が下側に移動すると、水平方向の線は下側にプロットされる。水平方向の線は（３）と同様に右側が現在時刻であり、左側ほど過去の値を示している。また、垂直方向の線は下側が現在時刻であり、上側ほど過去の値を示している。
【００６５】
（５）特徴量の推移とは入力者の口内領域より計測される形状特徴量を計測時間毎にプロットしたものである。この表示は縦軸をアスペクト比、横軸を面積とした表示領域内に表示される。十字の交点が現在時刻での形状特徴量を表す位置である。入力者の口の形状が変化する毎にこの十字の交点はその時々のアスペクト比と面積の位置に移動する。形状特徴量の変化を視覚化するために、十字の交点の位置は所定時間の間表示位置にとどまり、時間の経過に従って薄い色に変化する。このようにすることで、形状特徴量の変化を視覚化できる。
【００６６】
また、この表示領域には母音ＤＢに登録した‘あ’、‘い’、‘う’、‘え’、‘お’の口部形状パターンの特徴量を示す。これらは、それぞれ色を違えた点を表示させることで示す。入力者は形状特徴量を示す十字の交点の移動を見ながら自分の口の形を変え、上記の登録された口部形状パターンの特徴量の点に十字の交点を近づける。このようにすることでシステムが入力者の口の形状を認識する確度を高めることができる。
【００６７】
図６は利用者が‘あ’の口部形状パターンを作り、‘あ’と正しく認識された状態を示している。認識結果は（６）の位置に表示される。また（７）は入力可能文字の一覧表（図５に対応するもの）を表示している。
【００６８】
図７は利用者が認識結果は正しいと判断したあと、さらに口部形状を一定時間同じ状態を保ったときに（８）の位置に入力候補の文字リストが表示されている状態を示している。ここで入力候補の文字リストとは入力文字候補群若しくはその一部をいう。中央の文字５０が強調表示されている文字であり、利用者は入力したい文字が強調表示されるときに「下向き動作」をすることにより文字を入力できる。すなわち、強調表示されている文字が候補文字Ｃｔｘである。文字リストは７文字表示しているが、この文字数の変更は可能である。また（９）の位置に入力された文が表示される。この例では“さいとう”と入力されている様子を示している。なお、強調表示とは、太線や大文字、文字の色を変えるなど、他の文字との違いが視認できればよい。
【００６９】
＜認識モードの動作例＞
図８は５形状（５母音）の認識結果例を示している。利用者は‘あ’、‘い’、‘う’、‘え’、‘お’の順で口部形状を変化させている。その動きに伴い特徴量が推移していることが確認できる。また、認識結果が正しく表示されていることも確認できる。
【００７０】
＜入力候補文字リストの表示モードの動作例＞
図９は入力候補文字リストの表示例を示している。ここでは最上段で‘あ’の認識結果が表示されている。その後、利用者は口部形状を一定に保つことにより入力候補文字リストを表示するモードに変わり、‘あ’の段の１１字５１が順に強調表示されている。
【００７１】
＜文字の入力例＞
図１０は２文字（‘さ’と‘い’）を入力する例を示している。入力は前述の通り、下向き動作で実現するが、１段目から２段目で下を向き、３段目で再び同じ位置（正面）に戻していることが画像より確認できる。この動きに伴い、鼻孔位置変化の水平方向の線が「谷」の形５３となり、文字が入力されている。なお、丸で囲んだ文字は強調表示される文字である。
【００７２】
＜リスト表示順序の変換例＞
図１１ではリストの表示順序の変換例を示している。初期の状態では、例えば‘あ’の段では、‘あ’、‘か’、‘さ’、‘た’、‘な’、‘は’、‘ま’、‘や’、‘ら’、‘わ’、‘ん’の順序で強調表示される。この順序の変更は顔を左右に動かす動き（左向き動作、右向き動作）で実現するが、１段目から２段目で左（または右）を向き、３段目で再び同じ位置（正面）に戻していることが画像より確認できる。この動きに伴い、鼻孔位置変化の垂直方向の線が符号５４の部分で凹（または凸）の形となり、順序が変更されている。なお、丸で囲んだ文字は強調表示される文字である。
【００７３】
＜文字入力のキャンセル例＞
図１２の１段目は２文字（「さい」）が入力され、‘あ’の段の入力候補文字リストが表示されている。‘あ’の段の入力をキャンセルする動きを図１２で示しているが、文字入力のキャンセルは前述の通り、上向き動作で実現する。画像より１段目から２段目で上を向き、３段目で再び同じ位置（正面）に戻していることが確認できる。この動きに伴い、鼻孔位置変化の水平方向の線が「山」の形５５となり、入力候補文字リストが表示されていないことが確認できる。
【００７４】
＜文字の取り消し例＞
図１３では文字の取り消し例を示している。前述の通り、文字の取り消しは口の２回の開閉動作で実現できる。画像より２段目から６段目にかけて口の開閉動作を２回行っていることが確認できる。この動きに伴い、口内領域の縦幅の変化のグラフが６段目の丸の部分５６で２回振幅があり、最後に入力した‘み’（符号５７）が６段目で消えていることが確認できる。
【００７５】
＜文字種の変換例＞
図１４では文字種の変換例を示している。前述の通り、濁音や半濁音などの文字種の変換は入力候補文字リストの表示モードにおいて、口の２回の開閉動作で実現できる。画像より１段目から５段目にかけて口の開閉動作を２回行っていることが確認できる。この動きに伴い、口内領域の縦幅の変化のグラフが５段目の丸の部分５８で２回振幅があり、４段目から５段目にかけて入力候補文字リストが‘ら’、‘わ’、‘ん’、‘あ’、‘か’、‘さ’、‘た’（符号６０）から‘ゃ’、‘ー’、‘が’、‘ざ’、‘だ’、‘ば’、‘ぱ’（符号６１）に変更されていることが確認できる。
【００７６】
＜文章入力実験＞
被験者１０名（男性健常者９名、女性健常者１名）に対して５文の入力実験を行った。５文は下記の通りである。
「とっとりだいがく」
「おはようございます」
「おなかがすきました」
「きょうはにちようびです」
「わたしはだいがくせいです」
【００７７】
８〜１２文字で構成された一般的な文章である。入力する前に、被験者毎に口部パターン形状の登録を行った。登録は各形状で５個ずつとした。その後に入力実験を行った。入力実験は５回行い、全て異なる日時で行った。その結果を図１５に示す。
【００７８】
図１５では、縦軸が平均入力文字数（ｋｐｍ；  ｋａｎａ  ｐｅｒ  ｍｉｎｕｔｅ）を表し、１分間に入力した文字数の平均を示す。また横軸は実験の回数を表す。
【００７９】
１回目の実験では１分間あたりの平均入力文字数は１０人の平均で４．７ｋｐｍであった。試行回数が増えるたびに文字の入力速度があがり、５回目では６．８ｋｐｍであった。入力速度に個人差があるものの、試行回数５回程度で操作に十分慣れたことが実験結果より推測できる。
【００８０】
また最も早い被験者は５回目で７．７ｋｐｍであった。また被験者実験のログを解析することにより、文字の入力ミスは１回目では１４．１％であったが、５回目では４．３％と低下しており、操作に慣れることにより入力ミスがほとんどなくなることを確認した。
【産業上の利用可能性】
【００８１】
本発明は、携帯電話やパソコンに代表される電子機器への文字入力として利用することができる。
【図面の簡単な説明】
【００８２】
【図１】本発明の文字入力方法を実現するシステムの構成の一例を示す図。
【図２】口部形状を登録する際の処理のフローを示す図。
【図３】文字入力をする際の処理のフローを示す図。
【図４】本発明の入力可能な文字の一覧を例示する図。
【図５】本発明のシステムの表示手段上への表示例を示す図。
【図６】「あ」を入力している場合の画面の一例を示す図。
【図７】本発明のシステムの表示手段上への表示例を示す図。
【図８】５つの母音を入力した際の画面表示の一例を示す図。
【図９】「あ」段の入力文字候補群を例示する図。
【図１０】２文字（‘さ’と‘い’）を入力する例を示す図。
【図１１】リストの表示順序の変換例を示す図。
【図１２】入力をキャンセルする動きを示す図。
【図１３】文字の取り消し例を示す図。
【図１４】文字種の変換例を示す図。
【図１５】被験者１０名に対する５文の入力実験の結果を示す図。
【符号の説明】
【００８３】
１  撮像装置
２  領域抽出手段
３  形状特徴量計測手段
４  母音ＤＢ
５  特徴量表示手段
６  動き計測手段
７  母音判断手段
８  入力候補文字表示手段
９  動き判断手段
１０  入力文字表示手段
１１  文字入力手段
１２  動き表示手段
【図１】
2009169464.tif 000004
【図２】
2009169464.tif 000005
【図３】
2009169464.tif 000006
【図４】
2009169464.tif 000007
【図５】
2009169464.tif 000008
【図６】
2009169464.tif 000009
【図７】
2009169464.tif 000010
【図８】
2009169464.tif 000011
【図９】
2009169464.tif 000012
【図１０】
2009169464.tif 000013
【図１１】
2009169464.tif 000014
【図１２】
2009169464.tif 000015
【図１３】
2009169464.tif 000016
【図１４】
2009169464.tif 000017
【図１５】
2009169464.tif 000018