(57)【要約】【課題】空間における手書き入力の認識精度を向上させる。【解決手段】入力取得装置（１）は、往路の軌跡および復路の軌跡が存在した場合に、往路の軌跡と、復路の軌跡と、往路の軌跡および復路の軌跡の近傍の領域との少なくともいずれかを含む軌跡候補のうちの１つの軌跡候補を、手書き入力として認識すべき認識対象軌跡として特定する軌跡特定部（４３３）を備えている。【選択図】図１
2016057994.tif 000002
【特許請求の範囲】
【請求項１】
空間における手書き入力を取得することが可能な入力取得装置であって、
ユーザ操作により描かれた軌跡において、往路の軌跡と、当該往路の軌跡に対する復路の軌跡とが存在した場合に、上記往路の軌跡と、上記復路の軌跡と、上記往路の軌跡および上記復路の軌跡の近傍の領域との少なくともいずれかを含む軌跡候補のうちの１つの軌跡候補を、上記手書き入力として認識すべき認識対象軌跡として特定する軌跡特定手段を備えることを特徴とする入力取得装置。
【請求項２】
上記ユーザ操作により描かれた軌跡において屈曲している屈曲点を特定する屈曲点特定手段を備え、
上記軌跡特定手段は、上記屈曲点特定手段が特定した複数の上記屈曲点の間に、上記往路の軌跡および上記復路の軌跡が存在する場合に、上記認識対象軌跡の特定を行うことを特徴とする請求項１に記載の入力取得装置。
【請求項３】
上記屈曲点特定手段が新たに特定した屈曲点と、上記屈曲点特定手段が前回特定した屈曲点との間に形成された軌跡を上記復路の軌跡としたとき、
上記軌跡特定手段は、上記前回特定した屈曲点と、上記屈曲点特定手段が前々回に特定した屈曲点との間に形成された軌跡が、上記往路の軌跡に該当する場合に、上記認識対象軌跡の特定を行うことを特徴とする請求項２に記載の入力取得装置。
【請求項４】
上記屈曲点特定手段は、上記屈曲点から所定の距離内に軌跡が存在し、かつ、当該所定の距離内に存在する軌跡に上記屈曲点が存在しないと判定した場合に、当該所定の距離内に存在する軌跡の一点を、上記屈曲点であるとみなすことを特徴とする請求項２または３に記載の入力取得装置。
【請求項５】
上記ユーザ操作により描かれた軌跡、および、上記軌跡特定手段が特定した上記認識対象軌跡を表示する表示部を備えることを特徴とする請求項１から４のいずれか１項に記載の入力取得装置。
【請求項６】
上記軌跡特定手段が特定した上記認識対象軌跡に対して、文字認識処理を行う文字認識処理手段を備えることを特徴とする請求項１から５のいずれか１項に記載の入力取得装置。
【請求項７】
空間における手書き入力を取得することが可能な入力取得装置の制御方法であって、
ユーザ操作により描かれた軌跡において、往路の軌跡と、当該往路の軌跡に対する復路の軌跡とが存在した場合に、上記往路の軌跡と、上記復路の軌跡と、上記往路の軌跡および上記復路の軌跡の近傍の領域との少なくともいずれかを含む軌跡候補のうちの１つの軌跡候補を、上記手書き入力として認識すべき認識対象軌跡として特定する軌跡特定ステップを含むことを特徴とする入力取得装置の制御方法。
【請求項８】
請求項１から６のいずれか１項に記載の入力取得装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項９】
請求項８に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間における手書き入力を取得することが可能な入力取得装置等に関する。
【背景技術】
【０００２】
近年、コンピューティングデバイスに対する入力方法として、空間上での腕、手または指等によるジェスチャ（ハンドジェスチャ）入力によるものが注目を浴びており、ジェスチャ入力を実現するための様々な手法が提案されている。例えば、空間上での３次元のジェスチャをカメラで撮像し、撮像されたジェスチャに対して認識処理を行ったものを入力情報として用いる方法がある。この方法により、フリック操作等の簡単な操作に基づくジェスチャ入力の実用化が図られている。
【０００３】
また、空間上でのジェスチャ入力に基づく手書き入力を取得する様々な手法も開発されている。この手法の一例が、特許文献１または２に開示されている。
【０００４】
特許文献１の技術では、仮想平面の法線方向の電子ペンの移動量、移動速度、加速度等に基づいて、仮想平面からの電子ペンの離れ具合を判断して、その判断結果からストロークの切れ目を検出している。これにより、文字または図形を描いたときの線の切れ目を判断している。
【０００５】
特許文献２の技術では、なぞり書きによって得られる手書き図形の代わりに、整形された図形（整形図形）を表示する。この整形図形は、線種および線の色の少なくとも一方が手書き図形のものとは異なるように表示される。これにより、なぞり書きされた図形を見易くする表示できる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−３９６１号公報（２０１３年１月７日公開）
【特許文献２】特許５３７７７４３号（２０１３年１０月４日登録）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ペンを用いてノートへの記述を行う場合、ノートからペンを大きく離すことなく移動させるのが一般的である。そのため、空間上で手書き入力を行う場合でも、上記法線方向の移動はそれほど発生しない可能性がある。したがって、特許文献１の技術では、ストロークの切れ目を正確に判断できず、文字の誤認識が生じる可能性がある。
【０００８】
また、特許文献２には、上記ストロークの切れ目を正確に判断するための技術については、開示されていない。なお、特許文献２の技術は、なぞり書きされたときの軌跡を、手書き入力として有効な軌跡であると判断して、文字認識するものではない。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、空間における手書き入力の認識精度を向上させることが可能な入力取得装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明の一態様に係る入力取得装置は、
空間における手書き入力を取得することが可能な入力取得装置であって、
ユーザ操作により描かれた軌跡において、往路の軌跡と、当該往路の軌跡に対する復路の軌跡とが存在した場合に、上記往路の軌跡と、上記復路の軌跡と、上記往路の軌跡および上記復路の軌跡の近傍の領域との少なくともいずれかを含む軌跡候補のうちの１つの軌跡候補を、上記手書き入力として認識すべき認識対象軌跡として特定する軌跡特定手段を備えている。
【００１１】
また、上記の課題を解決するために、本発明の一態様に係る入力取得装置の制御方法は、
空間における手書き入力を取得することが可能な入力取得装置の制御方法であって、
ユーザ操作により描かれた軌跡において、往路の軌跡と、当該往路の軌跡に対する復路の軌跡とが存在した場合に、上記往路の軌跡と、上記復路の軌跡と、上記往路の軌跡および上記復路の軌跡の近傍の領域との少なくともいずれかを含む軌跡候補のうちの１つの軌跡候補を、上記手書き入力として認識すべき認識対象軌跡として特定する軌跡特定ステップを含んでいる。
【発明の効果】
【００１２】
本発明の一態様によれば、空間における手書き入力の認識精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態１に係る入力取得装置の構成の一例を示すブロック図である。
【図２】上記入力取得装置の概略構成の一例を示す図である。
【図３】位置情報テーブルの一例を示す図である。
【図４】ストロークテーブルの一例を示す図である。
【図５】上記入力取得装置で実現可能な処理の概要について説明するための図であり、（ａ）はユーザ操作により得られた軌跡例、（ｂ）は（ａ）に示す軌跡に対する屈曲点の特定例、（ｃ）は（ａ）に示す軌跡に基づく認識対象軌跡の特定例、（ｄ）は（ｃ）に示す認識対象軌跡に対する文字認識処理の結果の一例を示すものである。
【図６】上記入力取得装置における処理の一例を示すフローチャートである。
【図７】（ａ）〜（ｆ）は、ユーザ操作により得られた軌跡の表示、および軌跡認識結果の表示の遷移例を示す図である。
【図８】（ａ）〜（ｂ）は、ＵＮＤＯ操作が行われたときの表示の遷移例を示す図である。
【図９】上記入力取得装置における認識対象軌跡の決定処理前後の表示例を示す図であり、（ａ）は認識対象軌跡の決定処理前の表示例を示す図であり、（ｂ）は認識対象軌跡の決定処理後の表示例を示す図である。
【図１０】上記入力取得装置における認識対象軌跡の具体的な決定処理の一例を説明するための図である。
【図１１】本発明の実施形態２に係る図であり、上記入力取得装置が備える表示部における表示画面の一例を示す図である。
【図１２】本発明の実施形態２に係る図であり、上記入力取得装置が備える表示部における表示画面の別例を示す図である。
【図１３】本発明の実施形態３に係る図であり、上記入力取得装置における屈曲点のみなし処理の一例を示す図であり、（ａ）および（ｃ）は認識対象軌跡の決定処理前の表示例を示す図であり、（ｂ）は認識対象軌跡の決定処理後の表示例を示す図である。
【図１４】本発明の実施形態３に係る図であり、上記入力取得装置における屈曲点のみなし処理の別例を示す図であり、（ａ）は認識対象軌跡の決定処理前の表示例を示す図であり、（ｂ）は認識対象軌跡の決定処理後の表示例を示す図である。
【発明を実施するための形態】
【００１４】
〔実施形態１〕
本発明の一実施形態について、図１〜図１０を参照して以下に説明する。
【００１５】
＜入力取得装置１の概要＞
まず、図２に基づき、入力取得装置１の概要について説明する。図２は、入力取得装置１の概略構成の一例を示す図である。
【００１６】
図２に示すように、入力取得装置１は、空間における手書き入力を取得して、当該手書き入力に対する文字認識処理を行うものであり、ジェスチャ認識モジュール２および表示部３を備えている。入力取得装置１は、例えばスマートフォン等の携帯通信端末、パーソナルコンピュータ、表示装置等に適用可能である。
【００１７】
ジェスチャ認識モジュール２は、撮像した画像を解析することにより、空間（３Ｄ空間）における、ユーザの身振り、手振り、または、指先や電子ペンの動き等のユーザ操作を取得可能なものである。例えば、上記動きを認識し、当該動きによって形成される軌跡（空間上の仮想座標系における位置座標）をユーザ操作として保存するオブジェクトを決定する。
【００１８】
ジェスチャ認識モジュール２としては、例えば、仮想平面（表示部３の表示画面に略平行な平面）上のユーザ操作だけでなく、当該仮想平面に略垂直な奥行き方向のユーザ操作も取得（計測）可能な距離画像カメラや、Ｋｉｎｎｅｃｔ（登録商標）、Ｌｅａｐｍｏｔｉｏｎ（登録商標）等のモジュールを用いることができる。これにより、入力取得装置１は、空間における手書き入力を取得することが可能となる。すなわち、入力取得装置１は、撮像画像を取得し、当該撮像画像に対してデータ処理を行うことにより、空間における手書き入力を取得するものである。
【００１９】
表示部３は、各種情報を表示する部材であり、例えば液晶パネルから構成される。表示部３は、例えば、ユーザが空間上で描いた軌跡（空間上のユーザ操作）をリアルタイムに表示する。また、ユーザが空間上に描いた軌跡のうち、後述するストローク区切り判別部４３によって、入力取得装置１が手書き入力として認識すべき認識対象軌跡（ストローク）と判別された軌跡を表示する。また、当該認識対象軌跡に対する文字認識処理の結果を表示する。表示部３に表示される表示画面例については、実施形態２において説明する。
【００２０】
＜入力取得装置１の具体的構成＞
次に、図１、図３〜図５を用いて、入力取得装置１の詳細について説明する。図１は、入力取得装置１の構成の一例を示すブロック図である。図３および図４は、記憶部５に記憶されるテーブルの一例を示す図である。図５は、入力取得装置１で実現可能な処理の概要について説明するための図である。
【００２１】
図１に示すように、入力取得装置１は、主として、ジェスチャ認識モジュール２、表示部３、制御部４および記憶部５を備えている。制御部４は、入力取得装置１を統括的に制御するものであり、入力検出部４１、入力位置判定部４２、ストローク区切り判別部４３、文字認識部４４（文字認識処理手段）、ジェスチャ検出部４５、処理実行部４６、および表示制御部４７を備えている。
【００２２】
入力検出部４１は、ジェスチャ認識モジュール２が取得した撮像画像の解析結果を記憶部５に保存する。例えば、入力検出部４１は、ジェスチャ認識モジュール２が取得したユーザ操作（ポインティング入力）を示す位置座標を検出し、記憶部５の座標情報保存部５１に保存する。入力検出部４１は、解析結果を保存した旨を、入力位置判定部４２およびジェスチャ検出部４５に通知する。
【００２３】
入力位置判定部４２は、ユーザ操作が表示部３の上の特定領域内で行われたものであるか否かの判定を行う。例えば、入力検出部４１によって検出された位置座標を座標情報保存部５１から読み出し、当該位置座標が表示部３の上の特定領域内にあるか否かを判定する。特定領域内にあると判定された場合には、その判定結果を表示制御部４７に通知することにより、表示制御部４７が、ユーザ操作によって描かれた軌跡を、表示部３に表示させる。また、上記判定結果は、ストローク区切り判別部４３に通知される。一方、特定領域内に存在しないと判定した場合には、表示制御部４７に上記軌跡の表示を中止させるとともに、文字認識部４４に当該判定結果を通知する。
【００２４】
なお、入力位置判定部４２は、ジェスチャ認識モジュール２が解析した撮像画像に基づき、ユーザ操作が特定領域内で行われているか否かを判定してもよい。この場合、入力位置判定部４２は、ユーザ操作が特定領域内で行われていると判定した場合に、当該判定結果を入力検出部４１に通知して、ユーザ操作を示す位置座標を座標情報保存部５１に保存させてもよい。
【００２５】
上記特定領域は、ジェスチャ認識モジュール２がユーザ操作を取得する空間上の仮想座標系のうち、ユーザ操作により描かれた軌跡を取得する領域を示すものである。この領域は、例えば図１１に示すユーザ操作表示領域３１の大きさと対応付けられている。なお、特定領域と仮想座標系との範囲が一致していてもよく、この場合、入力検出部４１が位置座標を検出している間、当該位置座標が特定領域内にあると判定されてもよい。
【００２６】
ストローク区切り判別部４３は、ユーザ操作により描かれた軌跡の区切り位置を判別するとともに、ストロークとしての認識対象軌跡を特定するものであり、屈曲点特定部４３１（屈曲点特定手段）、軌跡重畳判定部４３２（軌跡判定手段）、および軌跡特定部４３３（軌跡特定手段）を備えている。本実施形態において、ストロークとは、往路の軌跡および復路の軌跡に基づいて特定された結果を指す。
【００２７】
屈曲点特定部４３１は、ユーザ操作により描かれた軌跡において屈曲している屈曲点（変節点）を特定し、その旨を軌跡重畳判定部４３２に通知する。
【００２８】
屈曲点は、例えば図５の（ｂ）に示した丸印の箇所（符号Ｐ）であり、ユーザ操作により描かれた軌跡の角度が所定の閾値よりも大きい位置であり、当該軌跡が急激に変化している位置である。上記角度は、例えば、（１）今回取得した位置座標を終点、前回取得した位置座標を始点としたベクトルと、（２）前回取得した位置座標を終点、前々回取得した位置座標を始点としたベクトルとのなす角度を指す。また、所定の閾値は、ユーザが意図的に軌跡の方向を変更した位置を屈曲点として判別できる程度に設定されていればよく、例えば角度が数度程度に設定されている。
【００２９】
屈曲点特定部４３１は、例えば、各位置座標を取得するたびに上記角度を算出し、当該角度が所定の閾値よりも大きいか否かを判定することにより、上記位置座標が屈曲点と成りうるかを判定する。
【００３０】
軌跡重畳判定部４３２は、ユーザ操作により描かれた軌跡において、往路の軌跡と、当該往路の軌跡に対して重畳するとみなされる復路の軌跡とが存在するか否かを判定する。軌跡重畳判定部４３２は、往路の軌跡および復路の軌跡が存在すると判定した場合には、その判定結果を軌跡特定部４３３に通知する。一方、存在しないと判定した場合には、その判定結果を入力位置判定部４２に通知する。
【００３１】
軌跡重畳判定部４３２は、より具体的には、屈曲点特定部４３１が特定した複数の屈曲点の間に、往路の軌跡および復路の軌跡が存在するか否かを判定する。本実施形態では、軌跡重畳判定部４３２は、新たに特定された屈曲点（今回特定された屈曲点）と、前回特定された屈曲点との間に形成された軌跡を復路の軌跡としたとき、前回特定された屈曲点と、前々回に特定された屈曲点との間に形成された軌跡が、当該復路の軌跡に対して往路の軌跡に該当するか否かを判定する。
【００３２】
なお、往路の軌跡および復路の軌跡が重畳するか否かは、２つの軌跡の対応する位置座標の間の距離が所定の距離内にあるか否かによって判定される。この所定の距離は、１つの軌跡に対して、ユーザが意図的に重畳させるように描いた軌跡であると判別できる程度に設定されていればよく、例えば数ピクセル程度に設定されている。
【００３３】
軌跡特定部４３３は、軌跡重畳判定部４３２によって、往路の軌跡および復路の軌跡が存在すると判定された場合に、（１）往路の軌跡と、（２）復路の軌跡と、（３）往路の軌跡および復路の軌跡の近傍の領域との少なくともいずれかを含む軌跡候補のうちの１つの軌跡候補を、認識対象軌跡として特定するものである。すなわち、軌跡特定部４３３は、往路の軌跡と、当該往路の軌跡に対する復路の軌跡とが存在した場合に、上記１つの軌跡候補を認識対象軌跡として特定する。軌跡特定部４３３は、認識対象軌跡を示す位置座標を、座標情報保存部５１に保存するとともに、認識対象軌跡を特定した旨を表示制御部４７に通知する。表示制御部４７は、この通知を受けて、認識対象軌跡を表示部３に表示させる。
【００３４】
ここで、上記軌跡候補は、上記（１）〜（３）のいずれか、または、上記（１）〜（３）のうちの２個あるいは３個の組合せの７つの領域（軌跡）からなるものである。軌跡特定部４３３は、その７つの領域からなる軌跡候補（７つの軌跡候補）のうちから、１つの軌跡候補を認識対象軌跡として特定する。
【００３５】
軌跡特定部４３３は、より具体的には、屈曲点特定部４３１が特定した複数の屈曲点の間に、往路の軌跡および復路の軌跡が存在した場合に、認識対象軌跡の特定を行う。本実施形態では、新たに特定された屈曲点と前回特定された屈曲点との間に形成された軌跡を復路の軌跡としたとき、前回および前々回に特定された軌跡が往路の軌跡に該当する場合に、認識対象軌跡の特定を行う。
【００３６】
なお、屈曲点特定部４３１における屈曲点の特定、軌跡重畳判定部４３２における、２つの軌跡が重畳しているか否かの判定（類似度判定）において、奥行き方向のユーザ操作を考慮してもよい。一方、奥行き方向を考慮しない場合、上記特定および判定のための処理が簡素化される。
【００３７】
文字認識部４４は、入力位置判定部４２から、位置座標が特定領域内に存在しないという判定結果の通知を受けたときに、軌跡特定部４３３が特定した認識対象軌跡を示す位置座標を座標情報保存部５１から読み出すことにより、当該認識対象軌跡に対して、文字認識処理を行うものである。文字認識処理の結果は、記憶部５に保存されるとともに、その旨が処理実行部４６に通知される。
【００３８】
文字認識処理は、例えば、軌跡特定部４３３が特定した認識対象軌跡に対して、記憶部５に保存されている文字認識パターンを用いてパターンマッチングを行うことによって行われる。これに限らず、一般的に行われている文字認識処理が適用可能である。
【００３９】
ジェスチャ検出部４５は、入力検出部４１が検出した位置座標が軌跡ではなく、ジェスチャ入力を示すものであるかどうかを判別し、ジェスチャ入力であると判別した場合には、その旨を処理実行部４６に通知する。ジェスチャ認識モジュール２が取得し、ジェスチャ検出部４５が検出するジェスチャ入力は、手振りや身振りの他、視線の変化であってもよい。
【００４０】
処理実行部４６は、ジェスチャ検出部４５によって検出されたジェスチャ入力に基づき、当該ジェスチャ入力に対応付けられた処理を実行する。ジェスチャ入力に対応付けられた処理としては、文字入力開始に係る処理、文字消去処理、ＵＮＤＯ操作に対する処理、変換候補の選択に係る処理、文字編集処理等が挙げられる。
【００４１】
処理実行部４６は、例えば、ＵＮＤＯ操作に対する処理の場合には、軌跡特定部４３３によって特定された認識対象軌跡の全て、または当該認識対象軌跡のうち、最後に特定された認識対象軌跡を消去する。変換候補の決定に係る処理の場合には、表示部３に表示する当該文字の変換候補の決定処理、および、表示された変換候補の中から１つの変換候補を選択する選択処理を行う。文字編集処理を行う場合には、当該文字に対する編集処理を行う。そして、処理が完了すると、その旨を表示制御部４７に通知する。
【００４２】
表示制御部４７は、入力位置判定部４２、軌跡特定部４３３、および処理実行部４６からの通知を受けて、それぞれの通知に対応する画像を、表示部３に表示させる。
【００４３】
記憶部５は、制御部４が実行する各種の制御プログラム等を記憶するものである。記憶部５は、例えばハードディスク、フラッシュメモリなどの不揮発性の記憶装置によって構成される。記憶部５は、入力検出部４１が検出した撮像画像の解析結果および位置座標、認識対象軌跡を示す位置座標、文字認識パターン、ジェスチャ入力に対応付けられた各種処理内容等が保存される。特に、位置座標については、座標情報保存部５１に保存される。
【００４４】
座標情報保存部５１には、例えば、図３および図４に示すようなテーブルが保存されている。
【００４５】
図３は、ジェスチャ認識モジュール２が取得した位置座標が保存される位置座標テーブルＴ１の一例である。入力検出部４１は、検出した位置座標（ｘ、ｙ、ｚ座標）に対して検出順にindex番号を割り当て、位置座標テーブルＴ１に保存する。また、屈曲点特定部４３１は、屈曲点として特定した位置座標であるか否かを示す識別記号を、位置座標テーブルＴ１に記録していく。本実施形態では、識別記号として、屈曲点として特定された位置座標には「true」、それ以外の位置座標には「false」が与えられる。図３の例では、取得した位置座標のうち、index番号「i00003」が屈曲点として特定されている。なお、このindex番号は、ジェスチャ認識モジュール２または入力検出部４１が位置座標を取得した時刻を示す時刻情報であってもよい。
【００４６】
図４は、認識対象軌跡を示す位置座標が保存されるストロークテーブルＴ２の一例である。軌跡特定部４３３は、認識対象軌跡を特定するたびに、特定順にindex番号を割り当て、認識対象軌跡を示す位置座標と、１つの認識対象軌跡を識別するためのストロークＩＤとを対応付けて、ストロークテーブルＴ２に保存する。同じストロークＩＤを有する位置座標は、１つの認識対象軌跡に含まれている。このため、ＵＮＤＯ操作を受け付けた場合、同じストロークＩＤを有するindex番号ごとに、ストロークテーブルＴ２からデータを消去することにより、最後に特定された認識対象軌跡から順に消去することが可能となる。
【００４７】
また、ストロークテーブルＴ２の関係入力軌跡座標情報には、各認識対象軌跡を示す位置座標を算出するときに使用される、図３に示す位置座標テーブルＴ１に保存された位置座標を示すindex番号が記録されている。例えば、図４では、ｘ、ｙ、ｚ座標には、各認識対象軌跡の端部を示す位置座標が記録され、関係入力軌跡座標情報には、これらの端部に対応する位置座標（すなわち、屈曲点を示す位置座標）を示す、図３に示す位置座標テーブルＴ１のindex番号が記録される。
【００４８】
なお、関係入力軌跡座標情報として記録される位置座標テーブルＴ１のindex番号またはその数は、屈曲点を示す位置座標に限られず、例えば、認識対象軌跡の算出方法等によって異なる。
【００４９】
＜入力取得装置１における処理概要＞
次に、図５を用いて、入力取得装置１で実現可能な処理の概要について説明する。
【００５０】
入力検出部４１によって、空間におけるユーザ操作として、図５の（ａ）に示すような軌跡を検出された場合、屈曲点特定部４３１によって、屈曲点Ｐ（Ｐａ〜Ｐｂを含む）が抽出される。図５の例では、図５の（ｂ）に示すように、丸印で示された位置が屈曲点Ｐとして特定されるとともに、特定された各屈曲点Ｐの間に存在する軌跡は、認識対象軌跡（ストローク）候補となる。
【００５１】
次に、軌跡重畳判定部４３２によって、１つの軌跡の進行方向とは逆方向で、かつ当該軌跡と類似する位置座標を有する他の軌跡が存在するか探索される。すなわち、屈曲点Ｐの間に、重畳し、かつ、進行方向が互いに逆向きである２つの軌跡（往路の軌跡および復路の軌跡）が存在するか否かの判定が行われる。上記２つの軌跡が存在する場合には、当該２つの軌跡を形成する３つの屈曲点Ｐのうちの最も早くに特定された屈曲点Ｐと、さらに前に特定された屈曲点Ｐとの間に形成された軌跡についても、上記判定を行う。この処理は、上記のような２つの軌跡が存在しないと判定されるまで繰り返し（再帰的に）行われる。そして、この処理が終了するまでの屈曲点Ｐ間の軌跡すべてが、軌跡特定部４３３によって１つの認識対象軌跡として特定される。一方、上記２つの軌跡が存在しない場合には、認識対象軌跡の間の移動とみなされる。
【００５２】
例えば、図５の（ｂ）では、屈曲点Ｐｂと屈曲点Ｐｃとの間の軌跡Ｌ１が往路の軌跡、屈曲点Ｐｃと屈曲点Ｐｄとの間の軌跡Ｌ２が復路の軌跡として判定される。そのため、さらに前の屈曲点ＰａおよびＰｂ間に形成されている軌跡Ｌ３についても、同様の判定が行われる。軌跡Ｌ３には、重畳する軌跡が存在しないため、軌跡特定部４３３によって軌跡Ｌ１、軌跡Ｌ２、および、軌跡Ｌ１、Ｌ２の近傍の領域の少なくともいずれかを含む軌跡候補のうちの１つの軌跡候補が、図５の（ｃ）に示すように、１つの認識対象軌跡ＲＬとして特定される。つまり、軌跡Ｌ３は、認識対象軌跡の間の移動であるとみなされる。
【００５３】
換言すれば、入力取得装置１は、（１）上記２つの軌跡を形成し、かつ近傍に存在する２つの屈曲点Ｐ（上記例では、屈曲点Ｐｂ、Ｐｄ）を軌跡の開始点とし、（２）上記２つの軌跡を形成し、かつ当該２つの屈曲点とは異なる屈曲点Ｐ（上記例では、屈曲点Ｐｃ）を当該軌跡の終了点とした場合、開始点から終了点へと移動した後、終了点から開始点へと戻す軌跡が存在しているときのみ、ストロークとして抽出する。
【００５４】
このように、図５の（ｂ）に示す軌跡について、軌跡特定部４３３が認識対象軌跡として特定した結果が、図５の（ｃ）に示されている。そして、図５の（ｄ）に示すように、文字認識部４４によって、軌跡特定部４３３が特定した認識対象軌跡のみに対して、文字認識処理が行われる。
【００５５】
上記処理のうち、特に図５（ｂ）および（ｃ）の処理が、入力取得装置１における主たる処理である。この処理は主として、ストローク区切り判別部４３で行われる。すなわち、ストローク区切り判別部４３（特に軌跡特定部４３３）によって、入力取得装置１の基本構成が形成されている。さらに言い換えれば、本実施形態では、入力取得装置１が文字認識処理を行い、その結果を表示するものとして説明するが、文字認識処理および表示処理は、入力取得装置１と通信可能な別の装置で行われてもよい。
【００５６】
＜入力取得装置１での具体的な処理フロー＞
次に、図６を用いて、入力取得装置１での具体的な処理フロー（入力取得装置１の制御方法）について説明する。図６は、入力取得装置１における処理の一例を示すフローチャートである。
【００５７】
入力検出部４１は、ジェスチャ認識モジュール２が取得したユーザ操作を示す位置座標を検出する（Ｓ１）。入力位置判定部４２は、入力検出部４１によって検出されたユーザ操作が、特定領域内で検出されたものであるか否かを判定する（Ｓ２）。ユーザ操作が特定領域内で検出されている場合（Ｓ２でＹＥＳ）、入力位置判定部４２は、表示制御部４７に、ユーザ操作によって描かれた軌跡の表示を開始させる（Ｓ３）。
【００５８】
次に、屈曲点特定部４３１は、上記位置座標が屈曲点であるか否かを判定し（Ｓ４）、屈曲点であると判定した場合には（Ｓ４でＹＥＳ）、当該位置座標を屈曲点として特定する（Ｓ５）。軌跡重畳判定部４３２は、屈曲点特定部４３１によって今回特定された屈曲点の１つ前に特定された屈曲点があるか否かを判定し（Ｓ６）、当該屈曲点が存在すると判定した場合には（Ｓ６でＹＥＳ）、当該２つの屈曲点の間に形成された軌跡と逆向きの軌跡が存在するか否かを判定する（Ｓ７；軌跡重畳判定ステップ）。すなわち、往路の軌跡および復路の軌跡が存在するか否かが判定される。
【００５９】
２つの屈曲点の間に形成された軌跡と逆向きの軌跡が存在すると判定された場合であって（Ｓ７でＹＥＳ）、入力位置判定部４２によって、さらに、特定領域内におけるユーザ操作を示す位置座標があると判定された場合には、ストローク区切り判別部４３は、Ｓ７で判定された以外の屈曲点間において、往路の軌跡および復路の軌跡が存在するか否かの確認を行う。つまり、Ｓ７でＹＥＳの場合には、認識対象軌跡の再帰的な探索を行うかどうかの判定が行われる。例えば、次のような処理が行われる。
【００６０】
この場合、屈曲点特定部４３１は、座標情報保存部５１を参照して、Ｓ５において特定された最新の屈曲点から、所定の距離において検出された位置座標までの間に、逆方向の軌跡があるか否かを判定する（Ｓ８）。
【００６１】
逆方向の軌跡があると判定された場合（Ｓ８でＹＥＳ）、次に屈曲点が特定された場合に、Ｓ５において特定された屈曲点（現時点で最新の屈曲点）と、次に特定される屈曲点（次の屈曲点）との間においても、往路の軌跡および復路の軌跡が存在する可能性がある。一方、逆方向の軌跡がないと判定された場合（Ｓ８でＮＯ）、次に屈曲点が特定されたとしても、上記最新の屈曲点と上記次の屈曲点との間に、さらに、往路の軌跡および復路の軌跡が存在しない。そのため、Ｓ８の処理を行って、最新の屈曲点から所定の距離までの間に、逆方向の軌跡があるか否かを判定することにより、再帰的に、往路の軌跡および復路の軌跡を探索する処理が可能となる。一方、逆方向の軌跡がないと判定された場合には即座に、それまでに往路の軌跡および復路の軌跡が存在すると判定された屈曲点間について、認識対象軌跡を表示部３に表示させることができる。
【００６２】
なお、ここでの所定の距離とは、Ｓ８でＮＯの場合の、Ｓ１１への移行タイミングがユーザにとって遅いと判断されない程度に設定されていればよく、例えば数ピクセル程度に設定されている。
【００６３】
Ｓ８でＹＥＳの場合、屈曲点特定部４３１は、次の屈曲点と成りうる位置座標があるか否かを判定し、当該位置座標があった場合には、当該位置座標を新たな屈曲点として特定する（Ｓ９）。軌跡重畳判定部４３２は、上記新たな屈曲点と、当該新たな屈曲点の１つ前に特定された屈曲点との間に形成された軌跡と、逆向きの軌跡が存在するか否かを判定する（Ｓ１０；軌跡重畳判定ステップ）。当該逆向きの軌跡が存在すると判定された場合（Ｓ１０でＹＥＳ）、Ｓ８の処理に戻る。そして、上記新たな屈曲点から所定の距離において位置座標が検出された場合に、当該新たな屈曲点から当該位置座標までの間に逆方向の軌跡がないと判定されるか（Ｓ８でＮＯ）、または、Ｓ１０において逆向きの軌跡が存在しないと判定される（Ｓ１０でＮＯ）まで、Ｓ８〜Ｓ１０の処理が繰り返される。
【００６４】
Ｓ８でＮＯ、またはＳ１０でＮＯの場合には、軌跡特定部４３３は、往路の軌跡、復路の軌跡、および、これらの軌跡の近傍の領域の少なくともいずれかを含む軌跡候補のうちの１つの軌跡候補を、１つの認識対象軌跡（ストローク）として特定する。Ｓ８〜Ｓ１０の処理が繰り返された場合には、軌跡重畳判定部４３２によって、往路の軌跡および復路の軌跡の組が連続して複数存在すると判定されることになる。この場合、Ｓ１１では、軌跡特定部４３３は、その連続した複数の組を、１つの認識対象軌跡として特定する。そして、表示制御部４７により、特定された認識対象軌跡が軌跡認識結果として、表示部３に表示される（Ｓ１１；軌跡特定ステップ）。
【００６５】
また、Ｓ４で屈曲点が存在しないと判定された場合（Ｓ４でＮＯ）、Ｓ６で、今回特定された屈曲点の１つ前に特定された屈曲点が存在しないと判定された場合（Ｓ６でＮＯ）、または、Ｓ７で逆向きの軌跡が存在しないと判定された場合（Ｓ７でＮＯ）、Ｓ２の処理に戻る。さらに、Ｓ１１の処理後もＳ２の処理に戻る。すなわち、ユーザ操作が特定領域内で検出される限り、Ｓ３〜Ｓ１１の処理が繰り返し行われ、認識対象軌跡の特定が行われる。
【００６６】
Ｓ１１において認識対象軌跡が特定された後、入力位置判定部４２によって、ユーザ操作が特定領域内で検出されない（特定領域から出た）と判定された場合には（Ｓ２でＮＯ）、処理実行部４６は、ＵＮＤＯ操作が行われたか否かを判定する（Ｓ１２）。処理実行部４６は、ＵＮＤＯ操作が行われたと判定した場合には（Ｓ１２でＹＥＳ）、ＵＮＤＯ操作に係る処理（１つの認識対象軌跡を消去する処理）を実行する（Ｓ１３）。
【００６７】
その後、文字認識部４４によって、認識対象結果（特定された認識対象軌跡）に対する文字認証処理が行われると（Ｓ１４）、処理実行部４６は、当該文字認証処理の結果に基づいて、当該結果から推定される変換候補を決定する。そして、表示制御部４７は、上記結果と変換候補とを表示部３に表示させる（Ｓ１５）。その後、ユーザは、この変換候補を確認することにより、変換候補（文字列）の選択を行う（Ｓ１６）。
【００６８】
なお、図示していないが、認識対象軌跡を特定できないうちに、ユーザ操作が特定領域内で検出できなくなった場合（Ｓ２でＮＯとなった場合）には、Ｓ１２の処理に移行せず、例えばすべての表示を消去して、Ｓ１の処理に戻ってもよい。
【００６９】
＜表示フロー＞
次に、図７および図８を用いて、図６の処理が行われた場合の表示例について説明する。図７は、ユーザ操作により得られた軌跡の表示、および軌跡認識結果の表示の遷移例を示す図である。
【００７０】
図７の（ａ）に示すように、特定領域内にユーザ操作が入ると、ユーザ操作の表示が開始される。そして、ユーザ操作によって描かれた軌跡が表示される。図７の（ｂ）では、ユーザ操作として、１つの軌跡に対して逆向きの軌跡が描かれている状態が表示されている。
【００７１】
図７の（ａ）および（ｂ）では、図６のＳ１〜Ｓ７の処理が行われる。すなわち、図７の（ａ）では、ストローク区切り判別部４３は、所定の位置座標を屈曲点として特定し、当該屈曲点の１つ前に特定された屈曲点との間に逆向きの軌跡があるか否かを判定する。その間、ユーザ操作は表示部３に表示される。しかし、図７の（ａ）の状態では屈曲点ＰＡが、図７の（ｂ）の状態では屈曲点ＰＡおよびＰＢが特定されているが、屈曲点ＰＣが特定されていない。そのため、図６のＳ７において逆向きの軌跡が存在するとは判定されない。したがって、Ｓ１１の処理に移行せず、屈曲点ＰＡおよびＰＢ間の軌跡が、認識対象軌跡として特定されることはない。すなわち、図７の（ａ）および（ｂ）においては、軌跡認識結果が表示されていない。
【００７２】
図７の（ｃ）の状態となると、ストローク区切り判別部４３は、屈曲点ＰＡの近傍に屈曲点ＰＣが特定される。そして、屈曲点ＰＡおよび屈曲点ＰＢの間の軌跡ＬＡと、屈曲点ＰＢおよび屈曲点ＰＣの間の軌跡ＬＢとが重畳するとみなされ、かつ、互いに逆向きであると判定される。すなわち、Ｓ７において逆向きの軌跡があると判定される。このとき、軌跡ＬＡが往路の軌跡となり、軌跡ＬＢが復路の軌跡となる。
【００７３】
また、図７の（ｃ）においてＰＣから下方に延びる軌跡は、軌跡ＬＢに対して逆方向の軌跡とは判定されない。したがって、図７の（ｃ）では、Ｓ８でＮＯと判定された後、Ｓ１１の処理に移行し、上記往路の軌跡ＬＡおよび復路の軌跡ＬＢに基づく軌跡が、認識対象軌跡として特定され、軌跡認識結果として表示される。その後、図７の（ｄ）〜（ｆ）においても、図６のＳ２〜Ｓ１１の処理が行われ、Ｓ１１の処理を経て特定された認識対象軌跡が、軌跡認識結果として表示される。
【００７４】
また、図７の（ｆ）に示すように、ユーザ操作によって描かれた軌跡が特定領域を出ると、認識対象軌跡の特定が終了する。この状態になって初めて、文字認識処理が実行可能な状態となる。
【００７５】
次に、図８を用いて、ＵＮＤＯ操作が行われたときの表示の遷移例について説明する。図８は、ＵＮＤＯ操作が行われたときの表示の遷移例を示す図である。
【００７６】
ストローク区切り判別部４３は、図８の（ａ）に示すように認識対象軌跡の特定が終了した後の状態において、ＵＮＤＯ操作を受け付けると、ストロークテーブルＴ２において最後に記録されたストロークＩＤを有するすべてのindex番号のデータを消去する。これにより、図８の（ｂ）に示すように、最後に特定された認識対象軌跡が消去される。また、ストローク区切り判別部４３は、ストロークテーブルＴ２の関係入力軌跡座標情報に記録されたindex番号に基づいて、位置座標テーブルＴ１において、上記最後に特定された認識対象軌跡に対応するユーザ操作によって描かれた軌跡を形成する位置座標のデータを消去する。例えば、関係入力軌跡座標情報に記録されたindex番号が屈曲点を示す場合には、当該index番号のデータと、その間に存在する全てのindex番号のデータとを、位置座標テーブルＴ１から消去する。これにより、図８の（ｂ）に示すように、最後に特定された認識対象軌跡に対応するユーザ操作も消去される。
【００７７】
＜認識対象軌跡の決定例＞
次に、図９および図１０を用いて、軌跡特定部４３３における認識対象軌跡の決定処理の一例について説明する。図９は、認識対象軌跡の決定処理前後の表示例を示す図である。図１０は、認識対象軌跡の具体的な決定処理の一例を説明するための図である。
【００７８】
認識対象軌跡の決定方法としては、例えば、以下のようなものが挙げられる。
（１）復路の軌跡（図９では軌跡ＬＢ）を消去し、往路の軌跡（図９では軌跡ＬＡ）を認識対象軌跡として決定する。すなわち、軌跡候補のうちの１つである往路の軌跡を、認識対象軌跡として決定する。
（２）往路の軌跡（図９では軌跡ＬＡ）を消去し、復路の軌跡（図９では軌跡ＬＢ）を認識対象軌跡として決定する。すなわち、軌跡候補のうちの１つである復路の軌跡を、認識対象軌跡として決定する。
（３）往路の軌跡と復路の軌跡との間の領域（例えば、屈曲点ＰＡ、ＰＢおよびＰＣで囲まれた領域）全体を、認識対象軌跡として決定する。すなわち、軌跡候補のうちの１つである、往路の軌跡、復路の軌跡、および、当該２つの軌跡の近傍の領域の全て（当該２つの軌跡とその近傍の領域との組合せ）を、認識対象軌跡として決定する。
（４）往路の軌跡と復路の軌跡との間の所定の位置（例えば中間点）を結ぶ線分（近傍の領域）を、認識対象軌跡として決定する。すなわち、軌跡候補のうちの１つである、往路の軌跡と復路の軌跡との近傍の領域を、認識対象軌跡として特定する。ここでは、（４）の処理について、図９および図１０を用いて説明する。
【００７９】
図９は、図７の（ｃ）を示す図である。上述したように、ストローク区切り判別部４３は、図９の（ａ）に示すように、屈曲点ＰＡの近傍に屈曲点ＰＣを特定し、互いに重畳する逆向きの軌跡である軌跡ＬＡおよびＬＢが存在すると判定すると、図９の（ｂ）に示すように、軌跡ＬＡおよびＬＢの間に、認識対象軌跡として擬似軌跡ＬＶを特定する。その結果、擬似軌跡ＬＶが、軌跡認識結果として表示部３に表示される。
【００８０】
より具体的には、図１０に示すように、屈曲点ＰＡ、ＰＢおよびＰＣのindex番号を、それぞれｉ、ｊ、ｋとする。ここで、index番号：ｉにおける位置座標と、index番号：ｊにおける位置座標との間（屈曲点ＰＡおよびＰＢの間）の任意の位置に存在する、軌跡ＬＡ上の位置座標のindex番号をａ（ｉ≦ａ≦ｊ）とする。このとき、軌跡特定部４３３は、index番号：ａの位置座標に対応する、index番号：ｊにおける位置座標と、index番号：ｋにおける位置座標のとの間（屈曲点ＰＢおよびＰＣの間）の任意の位置に存在する、軌跡ＬＢ上の位置座標のindex番号（図１０の「？」）を算出する。
【００８１】
例えば、index番号：ａに対応する軌跡ＬＢにおけるindex番号（図１０の「？」）は、軌跡ＬＢをａ−ｉ：ｊ−ａ（軌跡ＬＡにおける比）で内分した値として算出される。この場合、算出されるindex番号は、ｊ（ａ＋ｋ−ｉ）／（ｊ−ｉ）となる。すなわち、軌跡特定部４３３は、上記比を用いて、index番号：ｊ（ａ＋ｋ−ｉ）／（ｊ−ｉ）における位置座標を算出する。そして、軌跡特定部４３３は、index番号：ａにおける位置座標と、index番号：ｊ（ａ＋ｋ−ｉ）／（ｊ−ｉ）における位置座標との中間点の位置座標を算出する。
【００８２】
このように、軌跡特定部４３３は、軌跡ＬＡの任意の位置のindex番号に対応する、軌跡ＬＢのindex番号（当該index番号に対応する軌跡ＬＢ上の位置座標）を、複数箇所において算出することにより、当該複数箇所に対応する中間点の位置座標を算出することができる。そして、軌跡特定部４３３は、算出された複数の中間点を結んだ線分を、認識対象軌跡（軌跡ＬＶ）として決定する。
【００８３】
＜効果＞
入力取得装置１は、往路の軌跡および復路の軌跡があった場合に、往路の軌跡および復路の軌跡に基づく認識対象軌跡を特定する。すなわち、往路の軌跡および復路の軌跡がない状態では、たとえ軌跡を取得していても、当該軌跡に基づく認識対象軌跡を特定することはない。
【００８４】
空間におけるユーザ操作によって手書き入力が行われる場合、軌跡の切れ目（ストロークの切れ目）をどのように正確に判断するかが、主たる問題となる。当該切れ目を正確に判断できないと、その後の文字認識処理の結果が、ユーザが意図するものと異なってしまい、利便性が低下してしまうからである。
【００８５】
上記切れ目を判断する技術としては、特許文献１の技術のように、仮想平面の法線方向の電子ペンの移動量や加速度等を用いる手法や、軌跡の入力を行っている手、または当該入力を行っていない手の形状を変化させる（開いたり閉じたりする等）手法などが挙げられる。しかし、紙にペンで文字を記載する感覚と同様の感覚で、空間上での軌跡の入力が行われることが予想されるため、特許文献１の技術では、上記切れ目を判断するほどに十分な移動量および加速度が得られない可能性がある。また、軌跡の入力を行いながら、手の形状を変化させる手法は、ユーザ操作としては高度であり、ユーザがその方法を習得するのには、時間を要する可能性がある。
【００８６】
これらの手法は、紙またはタブレット等に文字を記載する場合と同様、軌跡を記載しながら上記切れ目を判断するというものである。本発明者は、これまでの手法において着想がなかった、一度描いた軌跡を逆方向になぞって戻ることにより切れ目を判断する手法を実現すべく、入力取得装置１の処理方法を構築した。そして、この処理方法の構築により、簡単な方法で、確実に、かつ正確に上記切れ目を判断することを可能にした。
【００８７】
すなわち、入力取得装置１によれば、往路の軌跡および復路の軌跡が存在するように、空間においてユーザに意図的な操作を行わせることにより、空間において手書き入力を行う場合に判別が困難となる上記切れ目を、従来よりも正確に判別することが可能となる。それゆえ、当該切れ目の誤認識を少なくすることができ、空間における手書き入力の認識精度を向上させることが可能となる。
【００８８】
さらに、入力取得装置１によれば、軌跡において屈曲している屈曲点を特定することにより、往路の軌跡および復路の軌跡の特定を行う場合、当該２つの軌跡を精度よく特定することができる。
【００８９】
〔実施形態２〕
本発明の他の実施形態について、図１１〜図１２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００９０】
＜表示例１＞
まず、図１１を用いて、表示部３における表示画面の一例について説明する。図１１は、表示部３における表示画面の一例を示す図である。
【００９１】
図１１に示すように、表示部３には、例えば、検索サイト表示領域３０、ユーザ操作表示領域３１、軌跡認識結果表示領域３２、文字認識結果表示領域３３、ＵＮＤＯ操作ボタン３４、および変換候補表示領域３５が表示される。
【００９２】
検索サイト表示領域３０には、インターネット上に公開されているウェブページを検索する検索サイトが表示される。変換候補表示領域３５に表示された変換候補の中から、ユーザによって選択された変換候補が、検索対象文字として検索サイト表示領域３０に入力される。図１１では、検索候補から「小林」が選択された例を示している。
【００９３】
なお、検索サイト表示領域３０の代わりに、検索対象文字を挿入可能な辞書または辞典の見出し語検索領域が表示されてもよい。また、例えば、文書作成ソフトや表計算ソフト等のアプリケーションに直接入力される場合には、検索サイト表示領域３０が表示されなくてもよい。また、検索サイト表示領域３０は、ユーザ操作表示領域３１等とは異なるウィンドウで表示されてもよい。
【００９４】
ユーザ操作表示領域３１には、ユーザが空間上で描いた軌跡（ユーザ操作）がリアルタイムに表示される。軌跡認識結果表示領域３２には、認識対象軌跡と判定された軌跡が随時表示される。文字認識結果表示領域３３には、ユーザによる軌跡入力後に行われる、認識対象軌跡に対する文字認識処理の結果が表示される。すなわち、これらの領域には、ストローク区切り判別部４３の処理結果が表示される。
【００９５】
ＵＮＤＯ操作ボタン３４は、ＵＮＤＯ操作の実行を可能とするものである。軌跡入力後に、ＵＮＤＯ操作ボタン３４に対するユーザ操作（ジェスチャ入力）を取得することにより、ＵＮＤＯ操作が実行される。
【００９６】
変換候補表示領域３５には、文字認識処理の結果として表示された文字（文字列）から推測される変換候補が表示される。図１１の例では、文字認識処理の結果が「こば」である場合に推測される変換候補として、「小林」、「小判」、「拒む」が表示されている。例えば、記憶部５に格納された辞書機能を用いて、表示される変換候補が決定される。
【００９７】
ユーザは、変換候補表示領域３５に変換候補が表示されると、検索サイト表示領域３０に表示させる文字（すなわち、検索対象文字）を選択する。この選択方法としては、例えば以下のような方法が挙げられる。
（１）選択したい変換候補に対応する番号を指で表現する。すなわち、「１」、「２」、「３」、「４」等の指を立てる動作を行う。
（２）選択したい変換候補を丸で囲む動作を行う。
（３）選択したい変換候補に視線を向ける動作を行う。
【００９８】
ジェスチャ検出部４５が、例えば上記（１）〜（３）に示すジェスチャ入力のいずれかを検出すると、処理実行部４６は、検出されたジェスチャ入力と、そのジェスチャ入力の位置座標とに基づいて、ユーザが選択した変換候補を決定する。
【００９９】
なお、（１）および（２）のようなジェスチャ入力を、軌跡の入力を行う手と反対の手で行った場合、または、（３）の場合、ユーザ操作として、軌跡の入力とジェスチャ入力との両方を同時に取得することができる。すなわち、ユーザは、軌跡の入力を行いながら、ジェスチャ入力を行うことができる。この場合、例えば、軌跡の入力を行っている（すなわち、特定領域内で作業を行っている）途中で、当該入力を行っている手とは反対の手で、ＵＮＤＯ操作ボタン３４に対してジェスチャ入力を行うことができる。そのため、例えば、軌跡の入力途中に意図しない軌跡が認識対象軌跡として特定された場合であっても、軌跡の入力を中断することなく、その意図しない認識対象軌跡を消去することができる。
【０１００】
＜表示例２＞
次に、図１２を用いて、表示部３における表示画面の一例について説明する。図１２は、表示部３における表示画面の別例を示す図である。
【０１０１】
図１２に示すように、表示部３には、例えば、検索サイト表示領域３０、ユーザ操作表示領域３１、軌跡認識結果表示領域３２、文字認識結果表示領域３３、およびＵＮＤＯ操作ボタン３４が表示される。
【０１０２】
表示例１は、複数のひらがなが入力された場合の一例を示したものであるが、本表示例は、漢字が入力された場合の一例を示したものである。複数のひらがなの入力の場合には、文字認識結果表示領域３３に文字認識処理の結果として複数のひらがなが表示され、変換候補表示領域３５に変換候補が表示されていた。一方、本表示例では、ユーザ操作表示領域３１（すなわち、特定領域）が表示例１の場合と比べ小さく、一字入力対応となっている。そして、一字の漢字が入力されたときに、文字認識処理の結果として複数の認識候補が表示されている。図１２では、認識候補から「漢」が選択された例を示している。
【０１０３】
＜効果＞
入力取得装置１は、表示部３のユーザ操作表示領域３１に、ユーザ操作により描かれた軌跡を表示させる。そのため、ユーザは、ユーザ操作表示領域３１を見ながら軌跡を入力することができるので、手書き入力として認識させたい軌跡を容易に重畳させることができる。
【０１０４】
また、入力取得装置１は、表示部３の軌跡認識結果表示領域３２に、軌跡特定部４３３が特定した認識対象軌跡を表示させる。そのため、ユーザは、軌跡認識結果表示領域３２を見ることにより、自身が描いた軌跡が、意図どおりに手書き入力として認識されているかを確認することができる。
【０１０５】
したがって、ユーザ操作表示領域３１および軌跡認識結果表示領域３２への表示により、入力取得装置１による軌跡入力方法の容易な実現を可能とする。
【０１０６】
なお、入力取得装置１は、上記表示例１および２に示すひらがな、漢字以外の記号（例えば、カタカナ、アルファベット等の日本語以外の言語、数字、符号等）についても、ユーザが一度描いた軌跡をなぞるという操作を行うだけで、ひらがな、漢字と同様に、精度よく軌跡の切れ目を判断することができる。
【０１０７】
〔実施形態３〕
本発明の他の実施形態について、図１３〜図１４に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１０８】
＜屈曲点のみなし処理例１＞
まず、図１３を用いて、ストローク区切り判別部４３による屈曲点のみなし処理の一例について説明する。図１３は、屈曲点のみなし処理の一例を示す図である。
【０１０９】
実施形態１では、図６のフローチャートを用いて説明したように、ストローク区切り判別部４３は、新たに特定された屈曲点と、その１つ前に特定された屈曲点との間に逆向きの軌跡があるか否かを判定し、当該２つの屈曲点の間に逆向きの軌跡があると判定された場合に、認識対象軌跡を特定する。つまり、ストローク区切り判別部４３は、屈曲点を特定した上で、往路の軌跡および復路の軌跡が存在するかを判定している。そのため、ユーザが一度描いた軌跡をなぞるように当該軌跡とは逆方向の軌跡を描いたとしても、屈曲点が特定されていないために、認識対象軌跡として特定されない可能性がある。
【０１１０】
例えば、図７の（ｃ）では、屈曲点ＰＡ、ＰＢおよびＰＣが特定されているので、屈曲点ＰＡおよびＰＢの間の軌跡ＬＡに対して、屈曲点ＰＢおよびＰＣの間の軌跡ＬＢが逆向きの軌跡であると判定できる。しかし、図１３の（ａ）では、屈曲点ＰＢおよび屈曲点ＰＣが特定されているが、屈曲点ＰＡが特定されていない。一方、図１３の（ｃ）では、屈曲点ＰＡおよび屈曲点ＰＢが特定されているが、屈曲点ＰＣが特定されていない。
【０１１１】
なお、ＰＡ’およびＰＣ’は、実施形態１で述べた手法により特定された屈曲点ではなく、本実施形態の処理よって屈曲点とみなされる点である。
【０１１２】
特に、１文字目の１画目を記載する場合、ユーザ操作は、１画目の延長線上から特定領域に入ってくる可能性がある。この場合、例えば図１３の（ａ）に示すように、屈曲点ＰＡが特定されないことになる。また、記載の仕方（例えば急いで記載する等）によっては、現在の字画から次の字画へ進むときの軌跡が丸みを帯びてしまい、本来特定したい位置座標が屈曲点として特定されない可能性がある。この場合、例えば図１３の（ｃ）に示すように、屈曲点ＰＣが特定されないことになる。さらに、最終画を記載した後も、ユーザ操作は、最終画の延長線上に沿って、特定領域から出ていく可能性がある。この場合も、最後の屈曲点が特定されないこととなる。
【０１１３】
本実施形態の屈曲点特定部４３１は、実施形態１で説明した処理に加え、屈曲点から所定の距離内に軌跡が存在し、かつ、当該所定の距離内に存在する軌跡に屈曲点が存在しないと判定した場合に、当該所定の距離内に存在する軌跡の一点を、擬似的に屈曲点であるとみなす。この処理は、例えば、図６のＳ７でＮＯの場合に行われる。また、ここでの所定の距離は、１つの軌跡に対して、ユーザが意図的に重畳させるように描いた軌跡が判別できる程度に設定されていればよく、例えば数ピクセル程度に設定されている。
【０１１４】
例えば、図１３の（ａ）において、屈曲点ＰＣの所定の距離内に、軌跡ＬＡが存在している。また、所定の距離内において、軌跡ＬＡには屈曲点が存在しない。そのため、屈曲点特定部４３１は、所定の距離内に存在する軌跡ＬＡの一点を、屈曲点ＰＡ’（図７の（ｃ）の屈曲点ＰＡに相当）であるとみなす。結果として、屈曲点ＰＣの近傍に屈曲点ＰＡ’が特定される。すなわち、軌跡ＬＢに対して向きが反対の類似する軌跡ＬＡ上に、屈曲点ＰＣに対応する屈曲点ＰＡ’が設定される。
【０１１５】
これにより、軌跡重畳判定部４３２は、屈曲点ＰＢおよびＰＣの間の軌跡ＬＢに対して、屈曲点ＰＡ’およびＰＢの間の軌跡ＬＡが逆向きの軌跡であると判定できる。それゆえ、図１３の（ｂ）に示すように、軌跡特定部４３３は、軌跡ＬＡおよび軌跡ＬＢに基づいて、認識対象軌跡を特定することができる。
【０１１６】
同様に、図１３の（ｃ）において、屈曲点ＰＡの所定の距離内に、軌跡ＬＢが存在している。また、所定の距離内において、軌跡ＬＢには屈曲点が存在しない。そのため、屈曲点特定部４３１は、所定の距離内に存在する軌跡ＬＢの一点を、屈曲点ＰＣ’（図７の（ｃ）の屈曲点ＰＣに相当）であるとみなす。結果として、屈曲点ＰＡの近傍に屈曲点ＰＣ’が特定される。これにより、軌跡特定部４３３は、図１３の（ａ）の場合と同様、図１３の（ｂ）に示すように、軌跡ＬＡおよび軌跡ＬＢに基づいて、認識対象軌跡を特定することができる。
【０１１７】
＜屈曲点のみなし処理例２＞
まず、図１４を用いて、ストローク区切り判別部４３による屈曲点のみなし処理の別例について説明する。図１４は、屈曲点のみなし処理の別例を示す図である。処理例２では、往路の軌跡および復路の軌跡の存在を再帰的に探索する場合を例に挙げている。
【０１１８】
図１４の（ｂ）のような「く」の字状の認識対象軌跡を取得したい場合、実施形態１で説明した処理によれば、全部で５か所の屈曲点が特定されないと、当該認識対象軌跡を特定できない可能性がある。図１４の（ａ）の場合を例に挙げて説明すれば、屈曲点ＰＱの近傍に屈曲点ＰＴがなく、屈曲点ＰＱおよびＰＲの軌跡ＬＱと、屈曲点ＰＲおよびＰＴの軌跡ＬＲとは、互いに長さも経路も異なるので、軌跡ＬＲが、軌跡ＬＱに対して復路の軌跡として特定されないためである。
【０１１９】
例えば、図１４の（ａ）では、屈曲点ＰＱの所定の距離内に、軌跡ＬＲが存在している。また、所定の距離内において、軌跡ＬＲには屈曲点が存在しない。そのため、屈曲点特定部４３１は、所定の距離内に存在する軌跡ＬＲの一点を、屈曲点ＰＴ’として特定する。
【０１２０】
また、屈曲点特定部４３１は、ＰＴ’を屈曲点とみなすことにより、屈曲点ＰＲの次に特定された屈曲点を屈曲点ＰＴ’とみなし、屈曲点ＰＲの次に実際に特定された屈曲点ＰＳを、屈曲点ＰＴ’の次の屈曲点とみなす。結果として、屈曲点ＰＱの近傍に屈曲点ＰＴ’が特定される。
【０１２１】
これにより、軌跡重畳判定部４３２は、屈曲点ＰＲおよびＰＴ’の間の軌跡ＬＲ１に対して、屈曲点ＰＱおよびＰＲの間の軌跡ＬＱが逆向きの軌跡であると判定できる。続いて、屈曲点ＰＴ’およびＰＳの間の軌跡ＬＲ２に対して、屈曲点ＰＰおよびＰＱの間の軌跡ＬＰが逆向きの軌跡であると判定できる。なお、軌跡ＬＲ１＋軌跡ＬＲ２が軌跡ＬＲである。そして、軌跡特定部４３３は、この判定にしたがって、図１４の（ｂ）に示すように、軌跡ＬＰ、ＬＱ、ＬＲ１およびＬＲ２に基づいて、「く」の字状の認識対象軌跡を特定することができる。
【０１２２】
＜効果＞
実施形態１で説明したように、入力取得装置１は、特定した屈曲点間の軌跡が、往路の軌跡および復路の軌跡の関係にあるのかを判定することにより、認識対象軌跡を特定する。上述のように、ユーザの軌跡の入力方法によっては、本来往路の軌跡および復路の軌跡の関係にあると判定されるべき軌跡が、当該関係にないと判定される可能性もある。
【０１２３】
本実施形態によれば、上記の条件を満たす場合には、所定の位置座標を屈曲点とみなすので、屈曲点が正確に認識できなかった場合であっても、往路の軌跡および復路の軌跡を特定することが可能となる。そのため、ユーザの軌跡の入力方法の自由度が増し、利便性を向上させることができる。
【０１２４】
〔実施形態４〕
入力取得装置１の制御ブロック（特に、制御部４の入力検出部４１、入力位置判定部４２、ストローク区切り判別部４３（屈曲点特定部４３１、軌跡重畳判定部４３２、軌跡特定部４３３）、文字認識部４４、ジェスチャ検出部４５、処理実行部４６、表示制御部４７）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【０１２５】
後者の場合、入力取得装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１２６】
〔まとめ〕
本発明の態様１に係る入力取得装置（１）は、
空間における手書き入力を取得することが可能な入力取得装置であって、
ユーザ操作により描かれた軌跡（Ｌ１〜Ｌ３、ＬＡ、ＬＢ、ＬＰ〜ＬＲ、ＬＲ１、ＬＲ２）において、往路の軌跡と、当該往路の軌跡に対する復路の軌跡とが存在した場合に、上記往路の軌跡と、上記復路の軌跡と、上記往路の軌跡および上記復路の軌跡の近傍の領域との少なくともいずれかを含む軌跡候補のうちの１つの軌跡候補を、上記手書き入力として認識すべき認識対象軌跡（ＲＬ、擬似軌跡ＬＶ）として特定する軌跡特定手段（軌跡特定部４３３）を備えている。
【０１２７】
上記構成によれば、往路の軌跡および復路の軌跡が存在した場合に、当該往路の軌跡、当該復路の軌跡、および、その近傍の領域の少なくともいずれかを含む軌跡候補のうちの１つの軌跡候補が、上記認識対象軌跡として特定される。そのため、上記往路の軌跡および復路の軌跡が存在するように、空間においてユーザが意図的に操作を行った部分を、手書き入力として取得することができる。したがって、空間において手書き入力を行う場合に判別が困難となるストロークの切れ目を、従来よりも正確に判別することが可能となる。それゆえ、空間における手書き入力の認識精度を向上させることが可能となる。
【０１２８】
さらに、本発明の態様２に係る入力取得装置は、態様１において、
上記ユーザ操作により描かれた軌跡において屈曲している屈曲点（Ｐ、Ｐａ〜Ｐｄ、ＰＡ〜ＰＣ、ＰＡ’、ＰＣ’、ＰＰ〜ＰＳ、ＰＴ’）を特定する屈曲点特定手段（屈曲点特定部４３１）を備え、
上記軌跡特定手段は、上記屈曲点特定手段が特定した複数の上記屈曲点の間に、上記往路の軌跡および上記復路の軌跡が存在する場合に、上記認識対象軌跡の特定を行ってもよい。
【０１２９】
上記構成によれば、屈曲点を特定することにより、往路の軌跡および復路の軌跡を精度よく特定することができる。
【０１３０】
さらに、本発明の態様３に係る入力取得装置は、態様２において、
上記屈曲点特定手段が新たに特定した屈曲点と、上記屈曲点特定手段が前回特定した屈曲点との間に形成された軌跡を上記復路の軌跡としたとき、
上記軌跡特定手段は、上記前回特定した屈曲点と、上記屈曲点特定手段が前々回に特定した屈曲点との間に形成された軌跡が、上記往路の軌跡に該当する場合に、上記認識対象軌跡の特定を行ってもよい。
【０１３１】
上記構成によれば、屈曲点の間に形成された軌跡を、往路の軌跡であるかどうかを容易に特定することができる。すなわち、往路の軌跡および復路の軌跡を容易に特定することができる。
【０１３２】
さらに、本発明の態様４に係る入力取得装置は、態様２または３において、
上記屈曲点特定手段は、上記屈曲点から所定の距離内に軌跡が存在すると判定し、かつ、当該所定の距離内に存在する軌跡に上記屈曲点が存在しないと判定した場合に、当該所定の距離内に存在する軌跡の一点を、上記屈曲点（ＰＡ’、ＰＣ’、ＰＴ’）であるとみなしてもよい。
【０１３３】
上記構成によれば、屈曲点から所定の距離内に軌跡が存在する場合に、当該所定の距離内に存在する軌跡の一点を屈曲点とみなすので、屈曲点が正確に認識できなかった場合であっても、往路の軌跡および復路の軌跡を特定することが可能となる。
【０１３４】
さらに、本発明の態様５に係る入力取得装置は、態様１から４のいずれかにおいて、
上記ユーザ操作により描かれた軌跡、および、上記軌跡特定手段が特定した上記認識対象軌跡を表示する表示部（３）を備えていてもよい。
【０１３５】
上記構成によれば、ユーザは、表示部を見ながら軌跡を入力することができる。したがって、手書き入力として認識させたい軌跡を容易に重畳させることができる。また、ユーザは、表示部を見ることにより、自身が描いた軌跡が、意図どおりに手書き入力として認識されているかを確認することができる。
【０１３６】
さらに、本発明の態様６に係る入力取得装置は、態様１から５のいずれかにおいて、
上記軌跡特定手段が特定した上記認識対象軌跡に対して、文字認識処理を行う文字認識処理手段（文字認識部４４）を備えていてもよい。
【０１３７】
上記構成によれば、精度よく文字認識処理を行うことができる。
【０１３８】
さらに、本発明の態様７に係る入力取得装置の制御方法は、
空間における手書き入力を取得することが可能な入力取得装置の制御方法であって、
ユーザ操作により描かれた軌跡において、往路の軌跡と、当該往路の軌跡に対する復路の軌跡とが存在した場合に、上記往路の軌跡と、上記復路の軌跡と、上記往路の軌跡および上記復路の軌跡の近傍の領域との少なくともいずれかを含む軌跡候補のうちの１つの軌跡候補を、上記手書き入力として認識すべき認識対象軌跡として特定する軌跡特定ステップを含んでいる。
【０１３９】
上記態様１と同様、空間における手書き入力の認識精度を向上させることが可能となる。
【０１４０】
さらに、本発明の態様８に係る入力取得装置は、態様１から６のいずれかにおいて、
上記往路の軌跡および上記復路の軌跡が存在するか否かを判定する軌跡判定手段（軌跡重畳判定部４３２）を備え、
上記軌跡特定手段は、上記軌跡判定手段によって、上記往路の軌跡および上記復路の軌跡が存在すると判定された場合に、上記認識対象軌跡の特定を行ってもよい。
【０１４１】
上記構成によれば、上記往路の軌跡および上記復路の軌跡の存在が、軌跡判定手段による判定によって確認される。そのため、当該判定処理に従って、認識対象軌跡を特定することができる。
【０１４２】
本発明の各態様に係る入力取得装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記入力取得装置が備える各手段として動作させることにより上記入力取得装置をコンピュータにて実現させる入力取得装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１４３】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【０１４４】
本発明は、ジェスチャ認識モジュールを備えた携帯通信端末、パーソナルコンピュータ、表示装置等に好適に利用することができる。また、文字認識処理を行うことが可能な装置にも好適に利用できる。
【符号の説明】
【０１４５】
１  入力取得装置
３  表示部
４４  文字認識部（文字認識処理手段）
４３１  屈曲点特定部（屈曲点特定手段）
４３３  軌跡特定部（軌跡特定手段）
ＬＶ  擬似軌跡（認識対象軌跡）
ＲＬ  認識対象軌跡
Ｌ１〜Ｌ３、ＬＡ、ＬＢ、ＬＰ〜ＬＲ、ＬＲ１、ＬＲ２              軌跡
Ｐ、Ｐａ〜Ｐｄ、ＰＡ〜ＰＣ、ＰＡ’、ＰＣ’、ＰＰ〜ＰＳ、ＰＴ’  屈曲点
【図１】
2016057994.tif 000003
【図２】
2016057994.tif 000004
【図３】
2016057994.tif 000005
【図４】
2016057994.tif 000006
【図５】
2016057994.tif 000007
【図６】
2016057994.tif 000008
【図７】
2016057994.tif 000009
【図８】
2016057994.tif 000010
【図９】
2016057994.tif 000011
【図１０】
2016057994.tif 000012
【図１１】
2016057994.tif 000013
【図１２】
2016057994.tif 000014
【図１３】
2016057994.tif 000015
【図１４】
2016057994.tif 000016