(57)【要約】【課題】手書き入力用の方法、装置、およびコンピュータ記録媒体である。【解決手段】本発明は、特殊マーク（特殊な色のポイントまたは光ポイント）を有するスタイラスを使用してユーザが書き込み面上に書き込むときに、原ストロークを含む画像をデジタルカメラで取り込み、書き込み音をマイクで受信するステップであって、画像および音にはタイム・スタンプが付される、ステップと、取り込まれた画像をスタイラス上の特殊マークと比較することによって、原ストロークの画像を抽出するステップと、受信された書き込み音を使用することによって原ストロークから「有効ストローク」を取り出すステップとによって実施される。さらに、本発明は、埋め込みデジタル・カメラを搭載したコンピュータ・システム（ノート型コンピュータおよびＰＤＡなど）のために設けられたタッチ・センサなしでユーザが紙の上に書き込みができるようにする、手書き入力のための低コストの無線方法および装置を開示している。【選択図】図２
2009522631.tif 000002
【特許請求の範囲】
【請求項１】
特殊マークを有するスタイラスを使用してユーザが書き込み面上に書き込むときに、原ストロークを含む画像を取り込んで、書き込み音を受信するステップであって、前記画像および音にはタイム・スタンプが付される、ステップと、
前記取り込まれた画像を前記スタイラス上の前記特殊マークと比較することによって、原ストロークの画像を抽出するステップと、
前記受信された書き込み音を使用することによって前記原ストロークから有効ストロークを取り出すステップと
を含む、ビデオ・ベースの手書き入力方法。
【請求項２】
前記書き込み面上に手書きをするための対象領域を規定する予備ステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記原ストロークから有効ストロークを取り出す前記ステップは、音のない期間に対応するストロークを削除して有効ストロークを残す、請求項１または２に記載の方法。
【請求項４】
前記原ストロークから有効ストロークを取り出す前記ステップは、音のない期間に対応するストロークを削除して有効ストロークを残すためにタイム・スタンプを揃えることによって、原ストロークの前記タイム・スタンプが付された画像を前記タイム・スタンプが付された音と比較する、請求項３に記載の方法。
【請求項５】
原ストロークを含む画像を取り込む前記ステップは、デジタル・カメラによって行われる、請求項１または２に記載の方法。
【請求項６】
書き込み音を受信する前記ステップは、マイクによって行われる、請求項１または２に記載の方法。
【請求項７】
前記スタイラスは、基本的には、特殊マークを有するペンであって、実際の紙の上に書くことができないものか、または、特殊マークを有するプラスチック製スタイラスであって、インク跡を残すように実際の紙の上に書くことができないものである、請求項１または２に記載の方法。
【請求項８】
前記特殊マークは、書き込み環境の色とは異なる特殊色を有するポイントであり、前記特殊色は変更可能である、請求項７に記載の方法。
【請求項９】
前記特殊色を有する前記ポイントは、前記スタイラスの先端に位置する、請求項８に記載の方法。
【請求項１０】
前記特殊マークは、光ポイントである、請求項１または２に記載の方法。
【請求項１１】
手書きのための対象領域を規定する前記予備ステップは、前記対象領域の画像を矩形に変換するステップを含む、請求項２に記載の方法。
【請求項１２】
前記画像の取り込みを行う場合に、前記原ストロークの画像の傾きを補正するために、前記原ストロークのタイム・スタンプが付された画像を変換および正規化するための原ストロークの画像の数学的変換および正規化ステップをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記有効ストロークを手書き認識エンジンに与えて認識に供するステップをさらに含む、請求項１または２に記載の方法。
【請求項１４】
前記スタイラスは、マイクロスイッチと、ブザーとをさらに備える、請求項１または２に記載の方法。
【請求項１５】
特殊マークを有するスタイラスを使用してユーザが書き込み面上に書き込むときに、有効ストロークを含む画像を取り込んで、書き込み音を受信するステップであって、前記画像および音にはタイム・スタンプが付される、ステップと、
音のない期間に対応する画像データを削除して、残りの画像データを記録するステップと、
前記記録された画像を前記スタイラス上の前記特殊マークと比較することによって、有効ストロークを取り出すステップと
を含む、ビデオ・ベースの手書き入力方法。
【請求項１６】
前記書き込み面上に手書きをするための対象領域を規定する予備ステップをさらに含む、請求項１５に記載の方法。
【請求項１７】
音のない期間に対応する画像データを削除する前記ステップは、音のない期間に対応する画像を削除するためにタイム・スタンプを揃えることによって、前記タイム・スタンプが付された画像を前記タイム・スタンプが付された音と比較する、請求項１５または１６に記載の方法。
【請求項１８】
有効ストロークを含む画像を取り込む前記ステップは、デジタル・カメラによって行われる、請求項１５または１６に記載の方法。
【請求項１９】
書き込み音を受信する前記ステップは、マイクによって行われる、請求項１５または１６に記載の方法。
【請求項２０】
前記スタイラスは、基本的には、特殊マークを有するペンであって、実際の紙の上に書くことができないものか、または、特殊マークを有するプラスチック製スタイラスであって、インク跡を残すように実際の紙の上に書くことができないものである、請求項１５または１６に記載の方法。
【請求項２１】
前記特殊マークは、書き込み環境の色とは異なる特殊色を有するポイントであり、前記特殊色は変更可能である、請求項２０に記載の方法。
【請求項２２】
前記特殊色を有する前記ポイントは、前記スタイラスの先端に位置する、請求項２１に記載の方法。
【請求項２３】
前記特殊マークは、光ポイントである、請求項１５または１６に記載の方法。
【請求項２４】
手書きのための対象領域を規定する前記予備ステップは、前記対象領域の画像を矩形に変換するステップを含む、請求項１６に記載の方法。
【請求項２５】
前記デジタル・カメラが画像を撮影する場合に、前記有効ストロークの画像の傾きを補正するために、前記有効ストロークのタイム・スタンプが付された画像を変換および正規化するための有効ストロークの画像の数学的変換および正規化ステップをさらに含む、請求項２４に記載の方法。
【請求項２６】
前記有効ストロークを手書き認識エンジンに与えて認識に供するステップをさらに含む、請求項１５または１６に記載の方法。
【請求項２７】
前記スタイラスは、マイクロスイッチと、ブザーとをさらに備える、請求項１５または１６に記載の方法。
【請求項２８】
特殊マークを有するスタイラスと、
原ストロークを含む画像を取り込むためのデジタル画像取り込み手段であって、前記画像にはタイム・スタンプが付される、手段と、
特殊マークを有する前記スタイラスを使用してユーザが書き込み面上に書き込むときに、書き込み音を受信するための書き込み音受信手段であって、前記音にはタイム・スタンプが付される、手段と、
前記取り込まれた画像を前記スタイラス上の前記特殊マークと比較することによって、原ストロークの画像を抽出するための原ストローク画像抽出手段と、
前記受信された書き込み音を使用することによって前記原ストロークから有効ストロークを取り出すための有効ストローク取り出し手段と
を備える、ビデオ・ベースの手書き入力装置。
【請求項２９】
前記書き込み面上に手書きをするための対象領域を規定する手段をさらに備える、請求項２８に記載の手書き入力装置。
【請求項３０】
前記有効ストローク取り出し手段は、音のない期間に対応するストロークを削除して有効ストロークを残す、請求項２８または２９に記載の手書き入力装置。
【請求項３１】
前記有効ストローク取り出し手段は、音のない期間に対応するストロークを削除して有効ストロークを残すためにタイム・スタンプを揃えることによって、原ストロークの前記タイム・スタンプが付された画像を前記タイム・スタンプが付された音と比較する、請求項３０に記載の手書き入力装置。
【請求項３２】
前記デジタル画像取り込み手段は、デジタル・カメラである、請求項２８または２９に記載の手書き入力装置。
【請求項３３】
前記書き込み音受信手段は、マイクである、請求項２８または２９に記載の手書き入力装置。
【請求項３４】
前記スタイラスは、基本的には、特殊マークを有するペンであって、実際の紙の上に書くことができないものか、または、特殊マークを有するプラスチック製スタイラスであって、インク跡を残すように実際の紙の上に書くことができないものである、請求項２８または２９に記載の手書き入力装置。
【請求項３５】
前記特殊マークは、書き込み環境の色とは異なる特殊色を有するポイントであり、前記特殊色は変更可能である、請求項３４に記載の手書き入力装置。
【請求項３６】
前記特殊色を有する前記ポイントは、前記スタイラスの先端に位置する、請求項３５に記載の手書き入力装置。
【請求項３７】
前記特殊マークは、光ポイントである、請求項２８または２９に記載の手書き入力装置。
【請求項３８】
手書きのための対象領域を規定する前記手段は、前記対象領域の画像を矩形に変換する手段を含む、請求項２９に記載の手書き入力装置。
【請求項３９】
前記デジタル・カメラが画像を撮影する場合に、前記原ストロークの画像の傾きを補正するために、前記原ストロークのタイム・スタンプが付された画像を変換および正規化するための原ストロークの画像の数学的変換および正規化手段をさらに備える、請求項３８に記載の手書き入力装置。
【請求項４０】
前記有効ストロークの認識のための手書き認識エンジンをさらに備える、請求項２８または２９に記載の手書き入力装置。
【請求項４１】
前記スタイラスは、マイクロスイッチと、ブザーとをさらに備える、請求項２８または２９に記載の手書き入力装置。
【請求項４２】
特殊マークを有するスタイラスと、
有効ストロークを含む画像を取り込むためのデジタル画像取り込み手段であって、前記画像にはタイム・スタンプが付される、手段と、
特殊マークを有する前記スタイラスを使用してユーザが書き込み面上に書き込むときに、書き込み音を受信するための書き込み音受信手段であって、前記音にはタイム・スタンプが付される、手段と、
音がない期間に対応する画像データを削除することによって残りの画像データを記録するための画像データ記録手段と、
前記記録された画像を前記スタイラス上の前記特殊マークと比較することによって、有効ストロークを取り出すための有効ストローク取り出し手段と
を備える、ビデオ・ベースの手書き入力装置。
【請求項４３】
前記書き込み面上に手書きをするための対象領域を規定する手段をさらに備える、請求項４２に記載の手書き入力装置。
【請求項４４】
前記画像データ記録手段は、前記音のない期間に対応するストロークを削除するためにタイム・スタンプを揃えることによって、前記タイム・スタンプが付された画像を前記タイム・スタンプが付された音と比較する、請求項４２または４３に記載の手書き入力装置。
【請求項４５】
前記デジタル画像取り込み手段は、デジタル・カメラである、請求項４２または４３に記載の手書き入力装置。
【請求項４６】
前記書き込み音受信手段は、マイクである、請求項４２または４３に記載の手書き入力装置。
【請求項４７】
前記スタイラスは、基本的には、特殊マークを有するペンであって、実際の紙の上に書くことができないものか、または、特殊マークを有するプラスチック製スタイラスであって、インク跡を残すように実際の紙の上に書くことができないものである、請求項４２または４３に記載の手書き入力装置。
【請求項４８】
前記特殊マークは、書き込み環境の色とは異なる特殊色を有するポイントであり、前記特殊色は変更可能である、請求項４７に記載の手書き入力装置。
【請求項４９】
前記特殊色を有する前記ポイントは、前記スタイラスの先端に位置する、請求項４８に記載の手書き入力装置。
【請求項５０】
前記特殊マークは、光ポイントである、請求項４２または４３に記載の手書き入力装置。
【請求項５１】
手書きのための対象領域を規定する前記手段は、前記対象領域の画像を矩形に変換する手段を含む、請求項４３に記載の手書き入力装置。
【請求項５２】
前記デジタル・カメラが画像を撮影する場合に、前記有効ストロークの画像の傾きを補正するために、前記有効ストロークのタイム・スタンプが付された画像を変換および正規化するための有効ストロークの画像の数学的変換および正規化手段をさらに備える、請求項５１に記載の手書き入力装置。
【請求項５３】
前記有効ストロークの認識のための手書き認識エンジンをさらに備える、請求項４２または４３に記載の手書き入力装置。
【請求項５４】
前記スタイラスは、マイクロスイッチと、ブザーとをさらに備える、請求項４２または４３に記載の手書き入力装置。
【請求項５５】
特殊マークを有するスタイラスを使用してユーザが書き込み面上に書き込むときかつ前記スタイラスが前記書き込み面に接触するときに、有効ストロークを含む画像を取り込むためのデジタル画像取り込み手段を使用可能にするステップであって、前記画像にはタイム・スタンプが付される、ステップと、
前記スタイラスが前記書き込み面から持ち上げられたときに、前記デジタル画像取り込み手段を使用不可能にするステップと、
前記取り込まれた画像を前記スタイラス上の前記特殊マークと比較することによって、有効ストロークを抽出するステップと
を含む、ビデオ・ベースの手書き入力方法。
【請求項５６】
前記書き込み面上に手書きをするための対象領域を規定する予備ステップをさらに含む、請求項５５に記載の方法。
【請求項５７】
前記スタイラスは、基本的には、特殊マークを有するペンであって、実際の紙の上に書くことができないものか、または、特殊マークを有するプラスチック製スタイラスであって、インク跡を残すように実際の紙の上に書くことができないものである、請求項５５または５６に記載の方法。
【請求項５８】
前記特殊マークは、書き込み環境の色とは異なる特殊色を有するポイントであり、前記特殊色は変更可能である、請求項５７に記載の方法。
【請求項５９】
前記特殊色を有する前記ポイントは、前記スタイラスの先端に位置する、請求項５８に記載の方法。
【請求項６０】
前記特殊マークは、光ポイントである、請求項５５または５６に記載の方法。
【請求項６１】
手書きのための対象領域を規定する前記予備ステップは、前記対象領域の画像を矩形に変換するステップを含む、請求項５６に記載の方法。
【請求項６２】
前記デジタル・カメラが画像を撮影する場合に、前記有効ストロークの画像の傾きを補正するために、前記有効ストロークのタイム・スタンプが付された画像を変換および正規化するための有効ストロークの画像の数学的変換および正規化ステップをさらに備える、請求項６１に記載の方法。
【請求項６３】
前記有効ストロークを手書き認識エンジンに与えて認識に供するステップをさらに含む、請求項５５または５６に記載の方法。
【請求項６４】
前記スタイラスは、マイクロスイッチと、ブザーとをさらに備える、請求項５５または５６に記載の方法。
【請求項６５】
デジタル画像取り込み手段と、
特殊マークを有するスタイラスであって、特殊マークを有するスタイラスを使用してユーザが書き込み面上に書き込むときかつ前記スタイラスが前記書き込み面に接触するときに、有効ストロークを含む画像を取り込むための前記デジタル画像取り込み手段を使用可能にし、前記画像にはタイム・スタンプが付され、前記スタイラスが前記書き込み面から持ち上げられたときに、前記デジタル画像取り込み手段を使用不可能にする、スタイラスと、
前記取り込まれた画像を前記スタイラス上の前記特殊マークと比較することによって、有効ストロークを抽出するための有効ストローク抽出手段と
を備える、ビデオ・ベースの手書き入力装置。
【請求項６６】
前記書き込み面上に手書きをするための対象領域を規定する手段をさらに含む、請求項６５に記載の手書き入力装置。
【請求項６７】
前記スタイラスは、基本的には、特殊マークを有するペンであって、実際の紙の上に書くことができないものか、または、特殊マークを有するプラスチック製スタイラスであって、インク跡を残すように実際の紙の上に書くことができないものである、請求項６５または６６に記載の手書き入力装置。
【請求項６８】
前記特殊マークは、書き込み環境の色とは異なる特殊色を有するポイントであり、前記特殊色は変更可能である、請求項６７に記載の手書き入力装置。
【請求項６９】
前記特殊色を有する前記ポイントは、前記スタイラスの先端に位置する、請求項６８に記載の手書き入力装置。
【請求項７０】
前記特殊マークは、光ポイントである、請求項６５または６６に記載の手書き入力装置。
【請求項７１】
手書きのための対象領域を規定する前記手段は、前記対象領域の画像を矩形に変換する手段を含む、請求項６６に記載の手書き入力装置。
【請求項７２】
前記デジタル・カメラが画像を撮影する場合に、前記有効ストロークの画像の傾きを補正するために、前記有効ストロークのタイム・スタンプが付された画像を変換および正規化するための有効ストロークの画像の数学的変換および正規化手段をさらに備える、請求項７１に記載の手書き入力装置。
【請求項７３】
前記有効ストロークの認識のための手書き認識エンジンをさらに備える、請求項６５または６６に記載の手書き入力装置。
【請求項７４】
前記スタイラスは、マイクロスイッチと、ブザーとをさらに備える、請求項６５または６６に記載の手書き入力装置。
【請求項７５】
請求項２８〜５４および請求項６５〜７４のいずれか１項に記載の手書き入力装置を備える、データ処理システム。
【請求項７６】
請求項２８〜５４および請求項６５〜７４のいずれか１項に記載の手書き入力装置を備える、パーベイシブ装置。
【請求項７７】
デジタル画像取り込み手段と、書き込み音受信手段とを有するデータ処理システムであって、請求項１〜２７および請求項５５〜６４のいずれか１項に記載の手書き入力方法を実行する手書き入力モジュールを備える、データ処理システム。
【請求項７８】
プログラムを記憶するコンピュータ読み出し媒体であって、前記プログラムは、データ処理システムに請求項１〜２７および請求項５５〜６４のいずれか１項に記載の手書き入力方法を実行させるプログラム・コードを備える、媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、手書き入力方法および装置に関し、より特定的には、リアル・タイムの手書きストロークの画像データをオンライン文字認識（ＯＬＣＲ）用のデジタル・カメラで取り込むことによる手書き入力方法および装置に関する。
【背景技術】
【０００２】
コンピュータ技術の急速な発展で、携帯情報端末ＰＤＡまたはハンド・ポータブル・コンピュータＨＰＣなどの手書き認識サブシステムを使用してユーザの手書き入力を受け付けるための情報処理装置が数多く登場している。手書き認識サブシステムは、通常、ＰＤＡのような小型の移動装置にテキストを入力する環境、または中国語などの入力が困難な文字をコンピュータに入力する環境においては有用である。ユーザは、手書きデータおよび記号を、ペン状の装置によってコンピュータに入力することができる。これに対応して、ユーザの手書き入力を認識できる手書き文字認識装置が数多く登場している。
【０００３】
手書き入力の分野において、手書き文字認識に対する取り組みとして、オンライン文字認識（ＯＬＣＲ）および光学式文字認識（ＯＣＲ）という２つが知られている。ＯＣＲによる取り組みは、オフライン手書き認識と称されることもある。一般的に、オンライン文字認識（ＯＬＣＲ）手法は動的な手書き情報を使用し、オフライン文字認識は静的な手書き情報を使用する。すべてのＯＣＲシステムは、一般的に、既存の文書を画像ファイルとしてコンピュータに読み込むための光学スキャナなどの入力装置を使用し、画像ファイルをデータ認識およびデータ再構築によって処理して（例えば、パターンを分析して、表す文字を識別する）、後で編集または他の使用のためのテキスト・ファイルを生じさせる。ＯＬＣＲ手法に比べて、ＯＣＲ手法は、ストロークの方向、ストロークの順番、ペン先の圧力、またはスピードなどの特徴といったリアル・タイムの動的な手書き情報を得ることができないので、認識率は悪影響を受けることになる。
【０００４】
ＯＬＣＲ手法は、デジタル化されたタブレット上でそれぞれの文字を書くための手書き入力装置としてスタイラスを使用し、その後、これらの文字を認識ソフトウェアによって認識する。ＯＬＣＲ手法は、ストロークの方向、ストロークの順番、ペン先の圧力、またはスピードなどの特徴といった動的な手書き情報を使用するので、一般的に、より良好な認識精度をもたらし、現在の手書き入力装置に幅広く使用されている。
【０００５】
現在、ＯＬＣＲ手法を使用する従来の手書き入力装置は、通常、磁気センサまたは圧力センサのいずれかを実装するタッチ・センシティブ・パネルに対して、パッドの表面、例えばデジタル化されたタブレットに接触しているペン・ストロークを感知および記録するように要求する。従来のデジタル化されたタブレットは、通常、外部のスマート・スタイラスに接続する線を有する。
【０００６】
ＩＢＭ社のＴｈｉｎｋＳｃｒｉｂｅは、従来の紙ベースの記録システムを伴うデジタル化タブレットを有する手書きデジタイザを実装する装置である。デジタル化タブレットは、無線周波数で結合されたスタイラスからの電磁信号を受信することが可能な活性領域を含む。この装置は、ストロークでのユーザの手書き入力と関連するタイミングとを記録して、ユーザの手書き入力を元のタイミング情報に従って再生することができる。ユーザは、送信されるべき文書をデジタル化タブレットまたは紙の上に書いてもよい。デジタル化タブレットは、ストロークを表すデータ・フローと関連イベントとを生成し、データ・フローを不揮発性メモリに記録する。データ・フロー内の関連イベントは、一般的には、入力装置によって自動的に生成されたものか、またはユーザが呼び出したものとして分類されてもよい。自動的に生成されたイベントは、ユーザからの特定の入力なしに生じて検出および記録されるイベントである。例えば、スタイラスが書き込み面と接触するようになったことを示すペン降下イベント、およびスタイラスが書き込み面から持ち上げられたことを示すペン上昇イベントが規定されてもよい。よって、ペン降下イベントとペン上昇イベントとの間に記録された一連のペンの座標として、「インク跡」が規定されてもよい。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述の入力装置はすべて、パッドの表面に接触しているペンのストロークを感知および記録するための磁気センサまたは圧力センサのいずれかを搭載するタッチ・センシティブ・パッドを必要とする。パッドは、既存のＰＤＡまたはパーソナル・コンピュータにとって余計なコストとなる。また、パッドはサイズが大きくて持ち運ぶのが困難か、ＰＤＡに組み込まれて動作すると画面領域を占有する。パッドは、パッドをコンピュータに接続する線と、ペンをパッドに接続する線とを有する。状況は場合によっては乱雑なものとなる。
【０００８】
他の型の認識システムにおいては、認識のために純粋なデジタル・カメラ入力を使用するが、処理および結果は正確でない場合もある。
【０００９】
数多くのコンピュータ・システム（例えば、ノート型コンピュータ、パーベイシブ装置、ＰＤＡなど）が比較的高い解像度の埋め込みデジタル・カメラを搭載して市場にますます参入しているため、そのようなパーベイシブ装置における手書き認識処理にデジタル・カメラを使用してデジタル・ビデオ・データを抵抗するのが有利であろう。したがって、タッチ・センサ、センサをコンピュータ（またはパーベイシブ装置など）に接続する線、およびスタイラス（またはペン）をセンサに接続する線はないが、上述の周知の欠点を克服するための低コストなデジタル・カメラ機能を搭載したものであって、ユーザが紙に書くことができるようにする、より簡易で低コストな解決策を提供する必要がある。
【００１０】
したがって、本発明の目的は、埋め込みデジタル・カメラを搭載したコンピュータ・システム（ノート型コンピュータおよびＰＤＡなど）のために設けられたタッチ・センサなしで、ユーザが紙に書くことができるようにする、手書き入力のための低コストな無線方法および装置を提供することである。
【００１１】
本発明は、インクの軌跡ではなく、特殊マーク（特殊色ポイントまたは光ポイント）の累積軌跡（例えば、原ストローク）を取り出して、その後、原ストロークから有効ストロークを取り出すことを開示する。よって、本発明の他の目的は、実際に紙の環境またはインクの軌跡が存在しない紙以外の環境で使用が可能な手書き入力のための方法および装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明の第１の局面によれば、特殊マーク（例えば、特殊色ポイントまたは光ポイント）を有するスタイラスを使用してユーザが書き込み面上に書き込むときに、原ストロークを含む画像を取り込んで、書き込み音を受信するステップであって、画像および音にはタイム・スタンプが付される、ステップと、取り込まれた画像をスタイラス上の特殊マークと比較することによって、原ストロークの画像を抽出するステップと、受信された書き込み音を使用することによって原ストロークから有効ストロークを取り出すステップとによって実施される方法および装置が提供される。
【００１３】
本発明の第１の局面によれば、特殊マークを有するスタイラスを使用してユーザが書き込み面上に書き込むときに、有効ストロークを含む画像を取り込んで、書き込み音を受信するステップであって、画像および音にはタイム・スタンプが付される、ステップと、音のない期間に対応する画像データを削除して、残りの画像データを記録するステップと、記録された画像をスタイラス上の特殊マークと比較することによって、有効ストロークを取り出すステップとによって実施される方法および装置が提供される。
【００１４】
本発明の第１の局面によれば、特殊マークを有するスタイラスを使用してユーザが書き込み面上に書き込むときかつスタイラスが書き込み面に接触するときに、有効ストロークを含む画像を取り込むためのデジタル画像取り込み手段を使用可能にするステップであって、画像にはタイム・スタンプが付される、ステップと、スタイラスが書き込み面から持ち上げられたときに、デジタル画像取り込み手段を使用不可能にするステップと、取り込まれた画像をスタイラス上の特殊マークと比較することによって、有効ストロークを抽出するステップとによって実施される方法および装置が提供される。
【発明を実施するための最良の形態】
【００１５】
本発明およびその利点をさらに理解するためには、開示された実施の形態の以下の詳細な説明を添付の図面と共に考慮することになろう。
【００１６】
用語
以下の用語は、詳細な説明を通じて使用されることになる。
ストローク――ペンまたはスタイラスの動きの軌跡。ストロークは、図７に示す原ストローク画像７００の実線および破線といった書き込み面または紙の表面の上またはその近傍に書かれたテキスト、マーク、線、または形あるいはそれらすべてを備える。
インク跡――インク跡は、文字自体を示す図７に示す原ストローク画像７００といった紙の表面の上に書かれたテキストを備える。
【００１７】
以下では、本発明の実施の形態を説明する。開示された実施形態は、例示のためだけのものであり、よって、数多くの修正および変更が本発明の精神および範囲を逸脱することなく行われることを当業者は理解するだろう。添付の図面を通じて、同様の特徴は同様の参照番号で識別される。
【００１８】
図１および図２は、本発明を実施する互いに異なる情報処理システムをそれぞれ示す。図１において、ＰＤＡ１００または同様のパーベイシブ・コンピューティング装置は、埋め込みデジタル・カメラ１１０と、組み込み式マイク１２０と、手書き入力モジュール（図示せず）とを含む。ユーザがスタイラス１３０で紙１４０の書き込み面の予め規定された領域内に書き込むと、デジタル・カメラ１１０は、予め規定された領域内のリアル・タイムのストロークを含む画像を取り込むことになる。本モジュールは、スタイラス１３０の動きのリアル・タイムのストロークの画像に対応する動的なビデオ・データ出力を生じさせる機能を含む。同様に、ユーザが書き込み面上の予め規定された領域内に書き込むと、スタイラス１３０は、書き込み面に接触して、常に音を生じさせる。マイク１２０は、書き込み面上のスタイラス１３０の動きの音を拾う。本モジュールは、音に対応する音声データ出力を生じさせる機能を有する。スタイラス１３０の先端１５０は、デジタル・カメラ１１０によって取り込まれた画像からのリアル・タイムの原ストロークの画像をモジュールが抽出するための特殊色を含む。ＰＤＡまたは同様のパーベイシブ装置は、デジタル・カメラ１１０によって取り込まれた画像およびマイク１２０によって拾われた音を受信し、リアル・タイムの原ストロークの画像を抽出し、その後、そこから有効ストロークを取り出して、図４に示す本発明の手書き入力モジュールに従って認識を行うことができる。
【００１９】
同様に、図２のコンピュータ２００は、ホスト２１０と、画面２２０と、手書き入力モジュール（図示せず）とを含む。対応する動的なビデオ・データを生じさせて処理するためのリアル・タイムの原ストロークの画像を取り込むために、画面２２０上にデジタル・カメラ１１０がある。ホスト２１０は、スタイラスが紙１４０に書いたときの音を拾って、対応する音声データを生じさせるためのマイク１２０を含んでもよい。
【００２０】
図３は、本発明に使用されるスタイラス１３０を示す。スタイラス１３０は、基本的には、特殊色ポイントを有するペン（インク・ペン）であって、実際の紙の上に書くことができるものであるか、または特殊色ポイントを有するプラスチック製のスタイラスであって、実際のしの上に書くことはできずにインク跡を残すものである。特殊色ポイントは、好ましくは、スタイラスの先端１５０に位置する。特殊色ポイントは、デジタル・カメラ１１０によって取り込まれた画像から所望のリアル・タイムの原ストロークを抽出するための手書き入力モジュールに対する基準を提供する。特殊色の目的が、デジタル・カメラ１１０によって取り込まれた画像からリアル・タイムのストロークの画像を抽出するための基準として提供されるので、書き込み環境の色とは異なる任意の色であればよい。特殊色は、好ましくは、ユーザによって変更されるように設計される。特殊色ポイントは、本発明を実施する際には、先端１５０の位置に限定されない。ところで、スタイラス１３０は、先端１５０の近傍に、デジタル・カメラ１１０によって取り込まれた画像からリアル・タイムのストロークの画像を抽出するための基準として、光ポイント（例えば、ＬＥＤ光）を提供してもよい。
【００２１】
また、スタイラス１３０は、マイクロスイッチ１６０と、埋め込みブザー１７０とを含んでもよい。スタイラス１３０が書き込み表面に接触する際に、マイクロスイッチ１６０はオンされて、ブザー１７０を使用可能にし、所定の周波数で音を生じさせる。そのようなスタイラスは、ハンドヘルド・コンピュータ、ＰＤＡ、または任意のパーベイシブ・コンピューティング装置などのコンピュータ・システム上のマイク１２０の感度が悪い場合にのみ必要である。
【００２２】
図４は、本発明に係る手書き入力処理のフローチャートを示す。図４に示すＡ‐Ａ’部分が、本発明に係る入力モジュールである。はじめに、ステップ４１０において、ユーザは、手書き入力に先立って、ユーザの手書き入力のための書き込み面（１４０）上の対象領域を規定するための対象領域規定ステップを行なう。対象領域は、デジタル・カメラ（１１０）が画像を取り込むための有効領域である。図５に示すように、ユーザは、書き込み面上の対象領域を規定するために、画面（２２０）を介してコンピュータ・システムと対話することができる。さらに、デジタル・カメラによって撮影された書き込み面上の矩形の画像は、台形になることになる。したがって、書き込み面上の対象領域を規定した後に、台形を画面（２２０）に示す矩形（１９０）に戻すために、簡易な数学的変換を行うことができる。数学的変換は、当業者によって容易に達成される。このように、ストロークの画像を取得した後、後述のステップ４３３に示すように、ストロークの画像に対する数学的変換が必要となる。実際には、この変換は後続の手書き認識処理において行うことができるので、数学的変換は、手書き入力処理中に行なう必要はない。
【００２３】
ユーザが特殊色ポイントを有するスタイラスで書き込み表面の対象領域上に書き込むと、デジタル・カメラ１１０によって取り込まれた画像と、マイク１２０によって受信された音とが別個に処理されて、ストロークの画像に対応するビデオ・データと、音に対応する音声データとを生じさせる（ステップ４３０，４４０）。
【００２４】
原ストロークの画像を取得するステップ４３０は、３つのサブステップに分割され、以下のように示される。
【００２５】
ステップ４３１において、画像の取り込みおよびタイム・スタンプの付加のステップが行われる。デジタル・カメラは、通常、毎秒３０フレームのレートで画像を撮影する。デジタル・カメラによって取り込まれた書き込み面の対象領域内の画像のシーケンスに加えて、画像にはタイム・スタンプが付される。次に、ステップ４３２において、取り込まれた画像から原ストロークの画像を抽出するステップが行われ、取り込まれたフレームの画像をスタイラス上の特殊色ポイント（または光）の色と比較することによって、ストロークと関係のない無関連画像すべてが排除され（例えば、手およびスタイラスの画像）、スタイラス上の特殊色ポイント（または光ポイント）の軌跡、すなわち、「原ストローク」のみを残す。ステップ４３３において、上述の図５に関連した説明と同様に、原ストロークの画像の数学的変換および正規化ステップが行われて、カメラが画像を撮影する場合に、原ストロークの画像の傾きを補正するために、原ストロークのタイム・スタンプが付された画像を変換および正規化する。同様に、この変換は後続の手書き認識処理において行うことができるので、ステップ４３３は手書き入力処理中には必要ない。
【００２６】
図６は、デジタル・カメラで撮影された画像フレームのシーケンスを示す。デジタル・カメラは毎秒３０フレームのレートで画像を撮影するので、フレームの一部のみが図６に示されている。デジタル・カメラは、対象領域内の視野フィールドにおいて示されるすべての画像を取り込む、したがって、ユーザが実際の紙に書くことができる特殊色ポイント（または光ポイント）を有するインク・ペン／スタイラスで書き込み面、例えば紙に書き込むと、インク跡、スタイラス、スタイラス上の「特殊色ポイント（または光ポイント）」、およびユーザの手の画像が、実際には各フレームに示されてしまう。
【００２７】
理解の便宜のために、図６の各フレームにおける特殊色ポイント（または光ポイント）の移動の跡を、「累積軌跡」として示す。図６に示すストロークは、実線と、破線とを含み、実線で表すペンのインク跡は、スタイラス上の特殊色ポイント（または光ポイント）の累積軌跡と一部重なり、破線は、ペンを書き込み面から持ち上げた場合の、スタイラス上の特殊色ポイント（または光ポイント）の累積軌跡を表す。したがって、図６の各フレームに示されているものには、インク跡、スタイラス、スタイラス上の特殊色ポイント（または光ポイント）の「累積軌跡」、およびユーザの手の画像が含まれることとなり、スタイラス上の特殊色ポイント（または光ポイント）の「累積軌跡」が、所望の「原ストローク」を構成している。各フレームの画像は、実際には図６に示す破線の画像は含まず、破線の所定の位置におけるスタイラス上の特殊色ポイント（または光ポイント）を示すだけである。
【００２８】
スタイラス上の特殊色ポイントの特殊色（または光）を使用することによって、本発明は、インク跡、スタイラス、特殊色ポイント（または光ポイント）以外のスタイラス、およびユーザの手の画像を容易に排除して、特殊色ポイント（または光ポイント）の累積軌跡のビデオ・データのみを記憶装置に残すように実施することができる。ステップ４３２を行った後に、記憶装置に記憶されたビデオ・データは、「原ストローク」、すなわち、スタイラス上の特殊色ポイント（または光ポイント）の軌跡に対応しており、図６のフレーム９において実線と破線とからなる。
【００２９】
ユーザが特殊色ポイントを有するスタイラス／ペンで紙でない書き込み面に書き込む場合、ストロークのインク跡はない。したがって、デジタル・カメラによって撮影されたフレームには、スタイラス、特殊色ポイント（または光ポイント）、およびユーザの手の画像がインク跡なしで示される。スタイラス上の特殊色ポイント（または光ポイント）の累積軌跡は、所望の原ストロークを構成する。
【００３０】
ステップ４４０において、書き込み音を受信およびタイム・スタンプを付与するステップが行われて、書き込み面上のスタイラス１３０の動きの音がマイクで拾われる。音のサンプリング・レートは、８０００Ｈｚと、デジタル・カメラで画像を撮影するレート（例えば、上述の毎秒３０サンプリング）よりも遥かに大きい。本発明を実施すると、画像（またはフレーム）撮影のレートよりも遥かに大きな任意の他の音のサンプリング・レートを利用することができ、上述の８０００Ｈｚに限られない。同様に、マイクによって受信されえた音もタイム・スタンプが付される。マイクの性能が低い場合には、ユーザは、図３に示すマイクロスイッチ１６０と内蔵ブザー１７０とを備える種類のスタイラスを必要としてもよい。
【００３１】
ステップ４５０において、原ストロークから有効ストロークを取り出す最終のフィルタリング・ステップが行われて、タイム・スタンプを揃えることによって、原ストロークのタイム・スタンプが付されかつ正規化された画像をタイム・スタンプが付された音と比較することによって、音のない期間に対応する正規化された原ストロークを削除して、正規化された有効ストロークを残す。ユーザが特殊色ポイント１５０を有するインク・ペンで紙に書き込む場合、紙の上のインク跡は、上述の有効ストロークに対応する。
【００３２】
図７は、ステップ４５０を行う例を示す。書き込み面に「Ｉ」を書く場合に、デジタル・カメラ１１０によって取り込まれた原ストローク７００の画像は、ステップ４３０が完了した後では、図７に示す実線（「Ｉ」）および破線、すなわちセグメント１から５を含む。実際、実線（「Ｉ」）および破線は、スタイラスが書き込み面に接触する場合およびスタイラスが書き込み面から持ち上げられる場合での累積軌跡をそれぞれ示す。マイク１２０によって拾われた音声信号７１０は、期間１，３，および５のみに現れる。ストロークの画像のセグメント１から５は、音声信号の期間１から５にそれぞれ対応している。この期間は、スタイラスが書き込み面から持ち上げられている音のない期間であって、ストロークの画像の破線のセグメントに対応する。したがって、ステップ４５０を行った後に、原ストロークの画像を音と比較することによって、関連する音声信号のあるセグメント１，３，および５が残され、音のない期間に対応するセグメントは削除される。残されたセグメント１，３，および５は、図７に示す実線「Ｉ」として所望の「有効ストローク」を構築する。同様に、図６に示す原ストロークがステップ４５０の後で処理され、その結果は図８に示されており、記憶装置に記憶された図６の実線しかないものとなる。
【００３３】
ステップ４５０を実行することによって取得される有効ストロークは、手書き認識エンジンに与えられて認識に供されることになる（ステップ４６０）。本発明の目的は、手書き入力の有効なストロークを認識のために提供することである。したがって、手書き認識エンジンは、任意の適切な手書き認識システムであってもよい。
【００３４】
本発明は、インク跡以外に、スタイラス上の特殊色ポイント（または光ポイント）の累積軌跡（例えば、原ストローク）を取り出して、その後、原ストロークから有効ストロークを抽出するものである。したがって、本発明に係る手書き入力の方法は、実際の紙の環境またはストロークのインク跡が存在しない紙でない環境で使用可能である。
【００３５】
本発明の好ましい実施の形態を上記で例示しているが、本発明は、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせで実施できることが理解できるだろう。したがって、形式および詳細について他の変更がある。例えば、代わりとして、スタイラスが書き込み面に接触する場合には、デジタル・カメラは使用可能となり、スタイラスが書き込み面から持ち上げられる場合には、デジタル・カメラは使用不可能となる。このように、スタイラスが書き込み面から持ち上げられると、デジタル・カメラ機能は、画像を取り込むことが不可能となる。このように、本発明は、画像を取り込んで、その後、有効なストロークを取り出すように実施することもできる。したがって、上述の原ストロークから有効ストロークを取り出すフィルタリング・ステップ４５０は、省略することができる。
【００３６】
加えて、図４に示す実施の形態とは異なる本発明の代替形態によれば、デジタル・カメラ１１０によって取り込まれた画像およびマイク１２０によって受信された音は、（図４に示すステップ４３０，４４０のように）最初に別個には処理されないことになる。代替実施の形態によれば、本発明は、タイム・スタンプを揃えることによって、デジタル・カメラ１００によって取り込まれたタイム・スタンプの付された画像をマイク１２０によって受信されたタイム・スタンプの付された音と比較することによって、音のない期間に対応する画像を削除し、図６に示すようなインク跡、スタイラス、スタイラス上の特殊色ポイント（または光ポイント）の累積軌跡の実線の画像、およびユーザの手のみを残すように実施され、スタイラス上の特殊色ポイント（または光ポイント）の累積軌跡の実線が所望の「有効ストローク」を構築する。次に、有効ストロークを取り出すステップが直接実行されて、取り込まれたフレームの画像をスタイラス上の特殊色ポイント（または光）の色と比較することによって、ストロークと関係のない無関連画像すべてを排除し（例えば、手およびスタイラスの画像）して、スタイラス上の特殊色ポイント（または光ポイント）の累積軌跡、すなわち「有効ストローク」のみを残す。
【００３７】
なお、重要なのは、本発明の処理は命令のコンピュータ読み出し可能な媒体という形式および様々な形式で配布することが可能であり、本発明は配布を行うために実際に使用される信号搬送媒体の特定の型に関わらず一様に適用されることを当業者は理解するだろうということである。コンピュータ読み出し可能な媒体の例としては、フレキシブル・ディスク、ハード・ディスク・ドライブ、ＲＡＭ、ＣＤ‐ＲＯＭ、ＤＶＤ‐ＲＯＭなどの記録可能型媒体、ならびに、デジタルおよびアナログ通信リンク、例えば無線周波数および光波伝送などの送信形式を使用する無線または有線通信リンクなどの送信型媒体が含まれる。コンピュータ読み出し可能な媒体は、特定のデータ処理システムにおける実際の使用のために復号化される符号化されたフォーマットの形式を取ってもよい。
【００３８】
以上は本発明の例示であり、本発明を限定するものと解釈されるべきものではない。本発明のいくつかの例示の実施の形態を説明してきたが、数多くの修正が、本発明の新規の教示および利点から実質的に逸脱することなく例示の実施の形態において可能であることを当業者は容易に理解するだろう。したがって、すべてのそのような修正は、請求項に規定された本発明の範囲内に含まれることが意図されている。請求項において、ミーンズ・プラス・ファンクション句が使用されている場合には、記載の機能を行なうものとして本明細書において説明された構成と、構造的な均等物ばかりでなく同等の構造をも範囲として含むことが意図されている。したがって、以上は本発明の例示であって、開示された特定の実施の形態に限定されるものと解釈されるべきではなく、開示された実施の形態および他の実施の形態に対する修正が添付の請求項の範囲内に含まれるものと理解されるべきである。本発明は、添付の請求項によって規定され、請求項の均等物もそれに含まれる。
【図面の簡単な説明】
【００３９】
【図１】図２とは異なる本発明を実施する情報処理システムを示す。
【図２】図１とは異なる本発明を実施する情報処理システムを示す。
【図３】本発明に使用されるスタイラス１３０を示す。
【図４】本発明に係る手書き入力処理のフローチャートを示す。
【図５】書き込み面上の対象領域を規定するために、ユーザが画面を介してコンピュータ・システムと対話可能であることを示す。
【図６】デジタル・カメラで撮影された画像フレームのシーケンスを示す。
【図７】ステップ４５０を行う例を示す。
【図８】ステップ４５０を介して図６に示す原ストロークを処理した結果であって、図６における実線のみが記憶装置に記憶されることを示す。
【図１】
2009522631.tif 000003
【図２】
2009522631.tif 000004
【図３】
2009522631.tif 000005
【図４】
2009522631.tif 000006
【図５】
2009522631.tif 000007
【図６】
2009522631.tif 000008
【図７】
2009522631.tif 000009
【図８】
2009522631.tif 000010
【手続補正書】
【提出日】平成21年2月17日(2009.2.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
特殊マークを有するスタイラスを使用してユーザが書き込み面上に書き込むときに、原ストロークを含む画像を取り込んで、書き込み音を受信するステップであって、前記画像および音にはタイム・スタンプが付される、ステップと、
前記取り込まれた画像を前記スタイラス上の前記特殊マークと比較することによって、原ストロークの画像を抽出するステップと、
前記受信された書き込み音を使用することによって前記原ストロークから有効ストロークを取り出すステップと
を含む、ビデオ・ベースの手書き入力方法。
【請求項２】
前記書き込み面上に手書きをするための対象領域を規定する予備ステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記原ストロークから有効ストロークを取り出す前記ステップは、音のない期間に対応するストロークを削除して有効ストロークを残す、請求項１または２に記載の方法。
【請求項４】
前記原ストロークから有効ストロークを取り出す前記ステップは、音のない期間に対応するストロークを削除して有効ストロークを残すためにタイム・スタンプを揃えることによって、原ストロークの前記タイム・スタンプが付された画像を前記タイム・スタンプが付された音と比較する、請求項３に記載の方法。
【請求項５】
原ストロークを含む画像を取り込む前記ステップは、デジタル・カメラによって行われる、請求項１または２に記載の方法。
【請求項６】
書き込み音を受信する前記ステップは、マイクによって行われる、請求項１または２に記載の方法。
【請求項７】
前記スタイラスは、基本的には、特殊マークを有するペンであって、実際の紙の上に書くことができないものか、または、特殊マークを有するプラスチック製スタイラスであって、インク跡を残すように実際の紙の上に書くことができないものである、請求項１または２に記載の方法。
【請求項８】
前記特殊マークは、書き込み環境の色とは異なる特殊色を有するポイントであり、前記特殊色は変更可能である、請求項７に記載の方法。
【請求項９】
前記特殊色を有する前記ポイントは、前記スタイラスの先端に位置する、請求項８に記載の方法。
【請求項１０】
前記特殊マークは、光ポイントである、請求項１または２に記載の方法。
【請求項１１】
手書きのための対象領域を規定する前記予備ステップは、前記対象領域の画像を矩形に変換するステップを含む、請求項２に記載の方法。
【請求項１２】
前記画像の取り込みを行う場合に、前記原ストロークの画像の傾きを補正するために、前記原ストロークのタイム・スタンプが付された画像を変換および正規化するための原ストロークの画像の数学的変換および正規化ステップをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記有効ストロークを手書き認識エンジンに与えて認識に供するステップをさらに含む、請求項１または２に記載の方法。
【請求項１４】
前記スタイラスは、マイクロスイッチと、ブザーとをさらに備える、請求項１または２に記載の方法。
【請求項１５】
特殊マークを有するスタイラスを使用してユーザが書き込み面上に書き込むときに、有効ストロークを含む画像を取り込んで、書き込み音を受信するステップであって、前記画像および音にはタイム・スタンプが付される、ステップと、
音のない期間に対応する画像データを削除して、残りの画像データを記録するステップと、
前記記録された画像を前記スタイラス上の前記特殊マークと比較することによって、有効ストロークを取り出すステップと
を含む、ビデオ・ベースの手書き入力方法。
【請求項１６】
音のない期間に対応する画像データを削除する前記ステップは、音のない期間に対応する画像を削除するためにタイム・スタンプを揃えることによって、前記タイム・スタンプが付された画像を前記タイム・スタンプが付された音と比較する、請求項１５に記載の方法。
【請求項１７】
特殊マークを有するスタイラスと、
原ストロークを含む画像を取り込むためのデジタル画像取り込み手段であって、前記画像にはタイム・スタンプが付される、手段と、
特殊マークを有する前記スタイラスを使用してユーザが書き込み面上に書き込むときに、書き込み音を受信するための書き込み音受信手段であって、前記音にはタイム・スタンプが付される、手段と、
前記取り込まれた画像を前記スタイラス上の前記特殊マークと比較することによって、原ストロークの画像を抽出するための原ストローク画像抽出手段と、
前記受信された書き込み音を使用することによって前記原ストロークから有効ストロークを取り出すための有効ストローク取り出し手段と
を備える、ビデオ・ベースの手書き入力装置。
【請求項１８】
特殊マークを有するスタイラスと、
有効ストロークを含む画像を取り込むためのデジタル画像取り込み手段であって、前記画像にはタイム・スタンプが付される、手段と、
特殊マークを有する前記スタイラスを使用してユーザが書き込み面上に書き込むときに、書き込み音を受信するための書き込み音受信手段であって、前記音にはタイム・スタンプが付される、手段と、
音がない期間に対応する画像データを削除することによって残りの画像データを記録するための画像データ記録手段と、
前記記録された画像を前記スタイラス上の前記特殊マークと比較することによって、有効ストロークを取り出すための有効ストローク取り出し手段と
を備える、ビデオ・ベースの手書き入力装置。
【請求項１９】
特殊マークを有するスタイラスを使用してユーザが書き込み面上に書き込むときかつ前記スタイラスが前記書き込み面に接触するときに、有効ストロークを含む画像を取り込むためのデジタル画像取り込み手段を使用可能にするステップであって、前記画像にはタイム・スタンプが付される、ステップと、
前記スタイラスが前記書き込み面から持ち上げられたときに、前記デジタル画像取り込み手段を使用不可能にするステップと、
前記取り込まれた画像を前記スタイラス上の前記特殊マークと比較することによって、有効ストロークを抽出するステップと
を含む、ビデオ・ベースの手書き入力方法。
【請求項２０】
デジタル画像取り込み手段と、
特殊マークを有するスタイラスであって、特殊マークを有するスタイラスを使用してユーザが書き込み面上に書き込むときかつ前記スタイラスが前記書き込み面に接触するときに、有効ストロークを含む画像を取り込むための前記デジタル画像取り込み手段を使用可能にし、前記画像にはタイム・スタンプが付され、前記スタイラスが前記書き込み面から持ち上げられたときに、前記デジタル画像取り込み手段を使用不可能にする、スタイラスと、
前記取り込まれた画像を前記スタイラス上の前記特殊マークと比較することによって、有効ストロークを抽出するための有効ストローク抽出手段と
を備える、ビデオ・ベースの手書き入力装置。
【請求項２１】
請求項１７、１８および２０のいずれか１項に記載の手書き入力装置を備える、データ処理システム。
【請求項２２】
請求項１７、１８および２０のいずれか１項に記載の手書き入力装置を備える、パーベイシブ装置。
【請求項２３】
デジタル画像取り込み手段と、書き込み音受信手段とを有するデータ処理システムであって、請求項１〜１６および請求項１９のいずれか１項に記載の手書き入力方法を実行する手書き入力モジュールを備える、データ処理システム。
【請求項２４】
プログラムを記憶するコンピュータ読み出し媒体であって、前記プログラムは、データ処理システムに請求項１〜１６および請求項１９のいずれか１項に記載の手書き入力方法を実行させるプログラム・コードを備える、媒体。
【国際調査報告】
2009522631.tif 000011
2009522631.tif 000012
2009522631.tif 000013
2009522631.tif 000014
2009522631.tif 000015