(57)【要約】本発明は、ユーザが、３Ｄ空間において、何も触らずに、また、パッド又はタブレットといった物理媒体を必要とせず言葉又は文字を自由に書くことを可能にする３Ｄ手書き認識システムを提供する。ユーザの３Ｄ空間における手書き入力は、システムの入力装置により追跡され、入力装置は、対応３Ｄ動作データを生成し、この３Ｄ動作データをシステムの認識装置にワイヤレスに転送する。３Ｄ動作データは変換され、２Ｄ面上にマッピングされ、手書き認識のための対応２Ｄ画像を生成する。このようにして、ユーザの入力は、任意の画面、パッド、又は平面に決して制限されることなく、ユーザは、より多くの柔軟性とより楽しい書込み経験を有することになる。
2006500680.tif 000002
【特許請求の範囲】
【請求項１】
３次元（３Ｄ）動作に応答して３Ｄ動作データを生成するよう構成される３Ｄ動作検出センサを有する入力装置と、
前記入力装置と通信し、前記３Ｄ動作データを受信し、前記３Ｄ動作データに基づいて手書き認識のための対応２次元（２Ｄ）画像を導き出すよう構成される認識装置と、
を有する手書き認識システム。
【請求項２】
前記認識装置は、前記２Ｄ画像に基づいて２Ｄ手書き認識を行う手段を有する請求項１記載のシステム。
【請求項３】
前記認識装置は、
前記３Ｄ動作データに基づいて対応３Ｄ座標を計算する手段と、
前記３Ｄ座標に基づいて対応３Ｄトラックを構成する手段と、
前記３Ｄトラックから前記対応２Ｄ画像を導き出す手段と、
を有する請求項１記載のシステム。
【請求項４】
前記対応２Ｄ画像を導き出す手段は、手書き認識のための前記２Ｄ画像を導き出すために前記３Ｄトラックを２Ｄ面上にマッピングする手段を有する請求項３記載のシステム。
【請求項５】
前記認識装置は、前記２Ｄ画像に基づいて２Ｄ手書き認識を行う手段を有する請求項３記載のシステム。
【請求項６】
前記対応３Ｄ座標を計算する手段は、前記３Ｄ動作データと選択されたサンプリングレートとに基づいて各サンプリングポイントの前記対応３Ｄ座標を計算する請求項４記載のシステム。
【請求項７】
前記認識装置は更に、前記動作の速度に基づいて前記サンプリングレートを動的に調整する手段を有する請求項６記載のシステム。
【請求項８】
前記対応２Ｄ画像を導き出す手段は、各サンプリングポイントの二乗の距離の和が最小である平面として前記２Ｄ面を導き出す手段を有する請求項６記載のシステム。
【請求項９】
前記入力装置は更に、ユーザのコマンドに応答し、言葉又は文字の書込みの完了を示すために前記認識装置に伝送するための制御信号を生成するよう構成される制御回路を有する請求項３記載のシステム。
【請求項１０】
前記動作検出センサは、前記３Ｄ動作データを生成するためにＸ、Ｙ、及びＺ軸方向における前記３Ｄ動作の加速度を測定する請求項３記載のシステム。
【請求項１１】
前記手書き認識の最終結果を表示する出力装置を更に有する請求項５記載のシステム。
【請求項１２】
前記入力装置は更に、ユーザのコマンドに応答し、言葉又は文字の書込みの完了を示すために前記認識装置に伝送するための制御信号を生成するよう構成される制御回路を有する請求項１記載のシステム。
【請求項１３】
前記動作検出センサは、前記３Ｄ動作データを生成するためにＸ、Ｙ、及びＺ軸方向における前記３Ｄ動作の加速度を測定する請求項１記載のシステム。
【請求項１４】
前記入力装置は、前記３Ｄ動作データを前記認識装置にワイヤレスで伝送する請求項１記載のシステム。
【請求項１５】
前記認識装置は、前記２Ｄ画像に基づいて２Ｄ手書き認識を行う手段を有する請求項１記載のシステム。
【請求項１６】
メモリと、
３次元（３Ｄ）動作に応答して３Ｄ動作データを生成するよう構成される３Ｄ動作検出センサを有する入力装置と、
前記メモリに動作可能に結合され且つ前記入力装置と通信し、前記３Ｄ動作データを受信し、前記３Ｄ動作データに基づいて手書き認識のための対応２次元（２Ｄ）画像を導き出すよう構成される認識装置と、
を有するコンピュータシステム。
【請求項１７】
前記認識装置は、前記２Ｄ画像に基づいて２Ｄ手書き認識を行う手段を有する請求項１６記載のシステム。
【請求項１８】
前記認識装置は、
前記３Ｄ動作データに基づいて対応３Ｄ座標を計算する手段と、
前記３Ｄ座標に基づいて対応３Ｄトラックを構成する手段と、
前記３Ｄトラックから前記対応２Ｄ画像を導き出す手段と、
を有する請求項１６記載のシステム。
【請求項１９】
前記対応２Ｄ画像を導き出す手段は、手書き認識のための前記２Ｄ画像を導き出すために前記３Ｄトラックを２Ｄ面上にマッピングする手段を有する請求項１８記載のシステム。
【請求項２０】
３Ｄ動作に応答して３Ｄ動作データを生成する段階と、
前記３Ｄ動作データに基づいて手書き認識のための対応２次元（２Ｄ）画像を導き出す段階と、
を有する手書き認識方法。
【請求項２１】
前記２Ｄ画像に基づいて２Ｄ手書き認識を行う段階を更に有する請求項２０記載の方法。
【請求項２２】
前記３Ｄ動作データに基づいて対応３Ｄ座標を計算する段階と、
前記３Ｄ座標に基づいて対応３Ｄトラックを構成する段階と、
前記３Ｄトラックから前記対応２Ｄ画像を導き出す段階と、
を更に有する請求項２０記載の方法。
【請求項２３】
前記対応２Ｄ画像を導き出す段階は、手書き認識のための前記２Ｄ画像を導き出すために前記３Ｄトラックを２Ｄ面上にマッピングする段階を有する請求項２２記載の方法。
【請求項２４】
前記２Ｄ画像に基づいて２Ｄ手書き認識を行う段階を更に有する請求項２２記載の方法。
【請求項２５】
各サンプリングポイントの前記対応３Ｄ座標は、前記３Ｄ動作データと選択されたサンプリングレートとに基づいて計算される請求項２３記載の方法。
【請求項２６】
前記動作の速度に基づいて前記サンプリングレートを動的に調整する段階を更に有する請求項２５記載の方法。
【請求項２７】
前記対応２Ｄ画像を導き出す段階は、各サンプリングポイントの二乗の距離の和が最小である平面として前記２Ｄ面を導き出す段階を更に有する請求項２５記載の方法。
【請求項２８】
ユーザのコマンドに基づいて、言葉又は文字の書込みの完了を示す指示を生成する段階を更に有する請求項２２記載の方法。
【請求項２９】
Ｘ、Ｙ、及びＺ軸方向における前記３Ｄ動作の加速度を測定する段階を更に有し、
前記３Ｄ動作データは、前記Ｘ、Ｙ、及びＺ軸方向における前記３Ｄ動作の前記加速度に基づいて生成される請求項２２記載の方法。
【請求項３０】
前記手書き認識の最終結果を表示する段階を更に有する請求項２４記載の方法。
【請求項３１】
前記３Ｄ動作データをワイヤレスで伝送する段階と、
前記３Ｄ座標を計算するために前記３Ｄ動作データをワイヤレスで受信する段階と、
を更に有する請求項２０記載の方法。
【請求項３２】
Ｘ、Ｙ、及びＺ軸方向における前記３Ｄ動作の加速度を測定する段階を更に有し、
前記３Ｄ動作データは、前記Ｘ、Ｙ、及びＺ軸方向における前記３Ｄ動作の前記加速度に基づいて生成される請求項２０記載の方法。
【請求項３３】
前記３Ｄ動作データをワイヤレスで伝送する段階と、
前記３Ｄ座標を計算するために前記３Ｄ動作データをワイヤレスで受信する段階と、
を更に有する請求項２０記載の方法。
【請求項３４】
前記２Ｄ画像に基づいて２Ｄ手書き認識を行う段階を更に有する請求項２０記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、手書き認識技術に係わり、より具体的には、３次元（３Ｄ）手書き認識方法及びシステムに係る。
【背景技術】
【０００２】
手書き認識は、手によって書かれた文字及び他の記号をインテリジェンスシステムが認識することを可能にする技術である。この技術は、ユーザをキーボードから解放し、ユーザがより自然な方法で書いたり描いたりすることを可能にするので非常に人気がある。ユーザからの要求の増加と共に、現在では多くの装置が手書き認識システムを内蔵し、それにより、ユーザに自然な入力経験を与えている。手書き認識は、例えば、漢字といった従来のキーボードを用いた入力では非常に時間のかかる複雑な構造を有する言葉の手書き認識を与える様々な手持ち式装置において特に人気である。
【０００３】
手書き入力装置は、ユーザにフレンドリな情報入力方法を与える。現在において、入力装置に対する最小要件は、マウスである。マウスで文字を書くには、ユーザは、１次マウスボタンを押さえ付け、次に、言葉又は文字の一筆を形成するようマウスポインタを動かし、最終的な言葉又は文字を生成する必要がある。ペンスタイラス及びタブレットといった人気のある手書き入力装置は、ＰＤＡといった従来の手持ち式装置に用いられるか、又は、シリアル又はＵＳＢポートを介してコンピュータに接続される。手持ち式装置は、しばしばペンスタイラスとパッドとしてのタッチスクリーンを用い、それにより、ユーザが認識機能を実行することを可能にする。ＰＤＡといった多くの手持ち式装置は、このような種類の入力装置が具備されている。
【０００４】
別の種類の手書き入力装置としては、適当な紙の上に自然な手書きで書いたり又は描いたりすることによって、携帯電話、ＰＣＤ、又はＰＣといった受信ユニットにユーザがデータを転送することを可能にするペンが挙げられる。
【０００５】
現在のところ、全ての従来の手書き入力装置は、２次元入力方法を採用している。ユーザは、タブレット、タッチスクリーン、又はメモ帳といった物理媒体上に文字を書かなければならない。これは、ユーザにとって利用可能な選択肢を制限してしまう。例えば、ユーザが、プレゼンテーション又は講義の間に意見を書きたい場合、ユーザは、まず、例えば、机、メモ帳等といった物理媒体を見つける必要がある。これは、プレゼンテーション又は講義をしている間に部屋内に立っているユーザにとっては非常に不都合である。更に、自動車、バス、又は地下鉄内といったように移動環境では、スタイラスを用いて物理媒体上に「書く」ことは非常に不都合である。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従って、ユーザにより多くの柔軟性及び利便性を与え、また、２次元手書き認識では必要とされる物理媒体からユーザを解放する改良された手書き認識システムを提供する必要がある。
【課題を解決するための手段】
【０００７】
本発明によると、入力装置と、入力装置と通信する認識装置を有する手書き認識システムを提供する。入力装置は、３次元（３Ｄ）動作に応答して３Ｄ動作データを生成するよう構成される３Ｄ動作検出センサを有する。１つの実施例では、動作検出センサは、３Ｄ動作データを生成するために、Ｘ、Ｙ、及びＺ軸方向における３Ｄ動作の加速度を測定する。認識装置は、入力装置から３Ｄ動作データを（例えば、ワイヤレス手段により）受信し、その３Ｄ動作データに基づいて手書き認識のための対応２次元（２Ｄ）画像を導き出すよう構成される。
【０００８】
本発明の１つの実施例によると、認識装置は、３Ｄ動作データに基づいて対応３Ｄ座標を計算し、３Ｄ座標に基づいて対応３Ｄトラックを構成し、そして、３Ｄトラックを手書き認識のために２Ｄ面上にマッピングすることにより３Ｄトラックから対応２Ｄ画像を導き出す。
【０００９】
本発明の他の目的及び成果は、本発明の完全な理解と共に、添付図面と共に考慮される以下の説明及び特許請求の範囲を参照することにより明らか且つ理解されるであろう。
【発明を実施するための最良の形態】
【００１０】
本発明を、例示的に、添付図面を参照しながら更に説明する。
【００１１】
全図において、同じ参照番号は、同様の又は対応する特徴又は機能を示す。
【００１２】
図１は、本発明の１つの実施例による３次元手書き認識システム１０を示す。図示するように、システム１０は、手書き入力装置２０、認識装置３０、及び出力装置４０を有する。入力装置２０は、３Ｄ動作検出センサ２２、制御回路２６、及び通信インタフェース２８を有する。認識装置３０は、プロセッサ３２、メモリ３４、記憶装置３６、及び通信インタフェース３８を有する。簡略化のために、他の従来技術の構成要素は、図１には示さない。
【００１３】
動作時には、ユーザは、入力装置２０を自由に動かして、例えば、空中である３Ｄ空間において自由に言葉又は文字を書く。動作検出センサ２２は、３Ｄ動作を検出し、次に、ブルートゥース、ジグビー、ＩＥＥＥ８０２．１１、赤外線、又はＵＳＢポートといった通信インタフェース２８を介して、３Ｄ動作データとサンプリングレートを、手書き認識のために認識装置３０に通信する。サンプリングレートは、システムの処理能力といったファクタに基づきエンドユーザ又は製造業者により設定された所定値であり得る。或いは、サンプリングレートは、例えば、動作の速度に基づいて動的に決定及び調整されてもよい。これは、例えば、手書きに関連付けられる初期動作の速度を最初に決定することにより行われることが可能である。次に、認識装置は、最後のサンプリングポイントにおける動作の速度に基づいてサンプリングレートを動的に調整することが可能である。速度が速いほどサンプリングレートも高い。また、速度が遅いほどサンプリングレートも低い。サンプリングレートを動的に調整することにより、手書き認識の精度は改善することが可能である。というのは、言葉又は文字を構成するために最適のサンプリングポイント数のみが用いられるからである。更に、低電力消費量も必要である。
【００１４】
入力装置２０からの動作データ及びサンプリングレートに基づいて、プロセッサ３２は、Ｘ、Ｙ、及びＺ軸上の対応３Ｄ座標を計算し、この座標を、記憶装置３６内に格納する。プロセッサ３２は、計算された座標を用いて、対応３Ｄトラックを構成する。３Ｄトラックは、２Ｄ画像を形成するよう２Ｄ面上に投影され、その２Ｄ画像は、従来の手書き認識ソフトウェアを用いて認識される。最終的な結果が、出力装置４０上に表示される。
【００１５】
３Ｄ手書きは、連続的な過程であるので、入力装置２０の制御回路２６は、ユーザにより与えられる外部入力に応じて、インタフェース２８を介して、認識装置３０に、個々の言葉又は文字の分離を示す制御信号を供給する。例えば、ユーザは、制御ボタンを押して、制御回路２６に、言葉又は文字の書込みの完了後、制御信号を生成させてもよい。
【００１６】
本発明の１つの特定の実施例では、動作検出センサ２２は、Ｘ、Ｙ、及びＺ軸に沿っての動作の加速度を測定することにより３Ｄ動作を検出する。一例として、日立金属（東京、日本）から販売されるピエゾ抵抗型３軸加速度センサを、動作検出センサ２２として用いてもよい。このＩＣチップ形状の加速度センサは、３軸方向（Ｘ、Ｙ、及びＺ）における加速度を同時に検出する能力を有する。このセンサは、非常に敏感で且つ衝撃耐性があり、また、非常に小さく且つ薄い半導体型の３軸加速度センサである。この加速度センサに関する詳細な情報は、ウェブサイトhttp://www.Hitachi-  metals.co.jp/e/prod/prod06/p06_10.htmlを参照されたい。このウェブサイトは本願に参考として組み込む。
【００１７】
図２は、本発明の１つの実施例による、認識装置３０により行われる認識処理１００を説明するフローチャートである。図２において、認識装置３０は、３Ｄ動作データ（例えば、Ｘ、Ｙ、及びＺ方向における動作の加速度データ）とサンプリングレートを、入力装置２０から受信する（段階１０２）。受信した情報に基づいて、プロセッサ３２は、動作の開始点を起点として用いて各サンプリングポイントに対しＸ、Ｙ、及びＺ軸上の対応３Ｄ座標を計算する（段階１０６）。各サンプリングポイントも、後続のサンプリングポイントの座標を計算するための基準点として用いられる。
【００１８】
３Ｄ座標の計算は、プロセッサ３２が制御信号の受信を検出するまで、入来３Ｄ動作データに基づいて連続的に行われる（段階１１２）。制御信号は、言葉又は文字の書込みの完了を示す。対応３Ｄトラックが、３Ｄ座標を用いて構成され（段階１１６）、次に、そのトラックは、２Ｄ面上にマッピングされる（段階１２２）。その後、従来の２Ｄ手書き認識が行われる（段階１２６）。
【００１９】
上述した認識処理１００において、段階１２２において３Ｄトラックを２Ｄ面上にマッピングするためには、最初に適切な２Ｄ投影面を見つける必要がある。本発明の１つの好適な実施例では、適切な２Ｄ投影面は、各言葉又は文字に対し別々に導き出される。
【００２０】
幾何学的な原則によると、適切な２Ｄ投影面とは、各サンプリングポイントの二乗の距離の和が、最小である平面である。ｎ個のサンプリングポイントの座標は、（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２），・・・（ｘｎ，ｙｎ，ｚｎ）として既知であり、平面の式は、Ａｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０として既知であり、ただし、
【００２１】
【数１】
2006500680.tif 000003
であるとする。ここで、Ａ、Ｂ、Ｃ、Ｄの値を決定する必要がある。１つの点（ｘ１，ｙ１，ｚ１）から平面への距離は、
【００２２】
【数２】
2006500680.tif 000004
として与えられ、Ｆ（Ａ，Ｂ，Ｃ，Ｄ）により表される和
【００２３】
【数３】
2006500680.tif 000005
は、以下の通り表現される。
【００２４】
【数４】
2006500680.tif 000006
Ａ、Ｂ、Ｃ、Ｄの値は、中国においてフダン・ユニバーシティ・プレス（Fudan  University  Press）により出版されたOuyang  Guangzhongによる「Mathematics  Analysis」に記載されるラグランジ（Lagrange）乗算方法を以下のように用いて決定することが可能である。この出版物は本願に参考として組み込む。従って、Ａ２＋Ｂ２＋Ｃ２＝１の制約下で、
【００２５】
【数５】
2006500680.tif 000007
となる。この式から、以下の式が導き出される。
【００２６】
【数６】
2006500680.tif 000008
ただし、λは、ラグランジ乗数であり、定数である。次に、偏微分関数を、Ａ、Ｂ、Ｃ、及びＤに対し、Ｇ（Ａ，Ｂ，Ｃ，Ｄ）に以下の通り行う。
【００２７】
【数７】
2006500680.tif 000009
上の４つの式から、以下の式が得られる。
【００２８】
【数８】
2006500680.tif 000010
式（４）は、以下のように書き換えることが可能である。
【００２９】
【数９】
2006500680.tif 000011
式（６）を式（１）、（２）、及び（３）に組み込むことにより、以下が得られる。
【００３０】
【数１０】
2006500680.tif 000012
従って、上述の式から、Ａ、Ｂ、Ｃ、及びＤの値が得られる。
【００３１】
１つの例として、全部で１３のサンプリングポイントに対し以下の３Ｄ座標が、１つの漢字に対して得られた。
【００３２】
【数１１】
2006500680.tif 000013
上述したラグランジ乗算方法を用いることにより、以下が得られる。
【００３３】
【数１２】
2006500680.tif 000014
上の式から、Ａ、Ｂ、Ｃ、及びＤの値は、以下の通り決定される。
【００３４】
Ａ＝０．００４５  Ｂ＝０．００２３  Ｃ＝０．９９９９  Ｄ＝−０．０１７７７
従って、２Ｄ投影面の式は、０．００４５ｘ＋０．００２３ｙ＋０．９９９９ｙ−０．０１７７７＝０である。投影面の式Ａｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０と、投影面に対し垂直な線の式
【００３５】
【数１３】
2006500680.tif 000015
から、以下の式が導き出せる。
【００３６】
【数１４】
2006500680.tif 000016
これらの式は、各３Ｄサンプリングポイントに対する対応２Ｄ座標を得るのに用いることができる。この例では、以下の対応２Ｄ座標が得られた。
【００３７】
【数１５】
2006500680.tif 000017
これらの２Ｄ座標に基づいて、対応２Ｄ画像が、２Ｄ投影面上に投影される。この漢字の結果を図３Ａに示す。最終的な結果は、図３Ｂに示すように、従来の２Ｄ手書き認識処理を用いて生成される。
【００３８】
上記では、Ａ、Ｂ、Ｃ、及びＤの値を得るために、ラグランジ乗算方法を用いた。線形回帰方法といった他の方法を用いてもよい。
【００３９】
図４は、本発明の１つの実施例による３Ｄ手書き入力装置２００の外部設計を示す。図４に示すように、入力装置２００は、装置の電子部品部（例えば、３Ｄ動作検出センサＩＣチップ）を有するハウジング２１０、ユーザが言葉又は文字の書込みの終了を示すための制御信号を入力することを可能にする制御ボタン２１２、及び、入力装置２００をユーザの指に取付けるためのバンド２２０を有する。
【００４０】
図５は、入力装置２００が取付けられる様子を示す。図５では、装置２００は、ユーザの手２３０の指２３２に取付けられる。装置２００を指に取付けることによって、ユーザは単純に指を動かして３Ｄ空間内に任意の言葉又は文字を書くことができる。３Ｄ動作データは、手書き認識のために、ワイヤレスで認識装置に伝送される。
【００４１】
本発明では、入力装置及び認識装置は、上述した方法と同じように動作する単一のユニット（例えば、ペン）として一体にされることが可能である。最終認識結果は、ＰＤＡ、ラップトップコンピュータ、ＰＣ等のインテリジェント装置に伝送される。
【００４２】
本発明は更に、ユーザが選択する場合には、２Ｄ面上で用いることも可能である。そのような場合、計算される座標は、２Ｄ面に対してのものであり、３Ｄトラックを２Ｄ面上にマッピングする段階は省略される。
【００４３】
本発明は、特定の実施例と共に説明したが、多くの代替、変更、及び変形が、上述の説明により当業者には明らかであることは明確であろう。従って、本願はそのような全ての代替、変更、及び変形を、それらが本発明の精神及び特許請求の範囲内にある限り含むものとする。
【図面の簡単な説明】
【００４４】
【図１】本発明の１つの実施例による３次元手書き認識システムを示す図である。
【図２】本発明の１つの実施例による認識処理を説明するフローチャートである。
【図３Ａ】３Ｄトラックを２Ｄ投影面にマッピングすることにより導き出される漢字の２Ｄ画像を示す図である。
【図３Ｂ】図３Ａにおける２Ｄ画像に基づいた手書き認識処理の最終結果を示す図である。
【図４】本発明の１つの実施例による３Ｄ手書き入力装置の外部設計を示す図である。
【図５】入力装置が取付けられる様子を示す図である。
【図１】
2006500680.tif 000018
【図２】
2006500680.tif 000019
2006500680.tif 000020
【図４】
2006500680.tif 000021
【図５】
2006500680.tif 000022
【国際調査報告】
2006500680.tif 000023
2006500680.tif 000024