(57)【要約】  実施形態によれば、情報処理装置は入力手段と、訂正手段とを具備する。入力手段は、ストロークデータを入力する。訂正手段は、第１ストロークデータと、第１ストロークデータの入力後に入力された第２ストロークデータとが少なくとも一部でオーバーラップしている場合、前記第２ストロークデータに基づいて前記第１ストロークデータを訂正する。
2014147712.tif 000002
【特許請求の範囲】
【請求項１】
ストロークデータを入力する入力手段と、
第１ストロークデータと、前記第１ストロークデータの入力後に入力された第２ストロークデータとが少なくとも一部でオーバーラップしている場合、前記第２ストロークデータに基づいて前記第１ストロークデータを訂正する訂正手段と、
を具備する情報処理装置。
【請求項２】
前記訂正手段により前記第１ストロークデータが訂正される場合、訂正後のストロークデータに基づいた文字認識結果を表示する認識結果表示手段をさらに具備する請求項１記載の情報処理装置。
【請求項３】
前記認識結果表示手段は、前記第１ストロークデータではなく前記第２ストロークデータに基づいた文字認識結果を表示する請求項２記載の情報処理装置。
【請求項４】
前記認識結果表示手段は、前記第１ストロークデータに前記第２ストロークデータが連結されて得られる第３ストロークデータに基づいた文字認識結果を表示する請求項３記載の情報処理装置。
【請求項５】
前記入力手段により入力されたストロークデータに対応する軌跡を表示するストローク表示手段をさらに具備し、
前記ストローク表示手段は、前記訂正手段により前記第１ストロークデータが訂正される場合、訂正後のストロークデータに対応する軌跡を表示する請求項１記載の情報処理装置。
【請求項６】
ストロークデータを入力することと、
第１ストロークデータと、前記第１ストロークデータの入力後に入力された第２ストロークデータとが少なくとも一部でオーバーラップしている場合、前記第２ストロークデータに基づいて前記第１ストロークデータを訂正することと、
を具備する情報処理方法。
【請求項７】
コンピュータにより実行されるプログラムであって、前記プログラムは
ストロークデータを入力することと、
第１ストロークデータと、前記第１ストロークデータの入力後に入力された第２ストロークデータとが少なくとも一部でオーバーラップしている場合、前記第２ストロークデータに基づいて前記第１ストロークデータを訂正することと、
を具備するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は手書き文書の処理に関する。
【背景技術】
【０００２】
近年、タブレット、ＰＤＡ、スマートフォンといった種々の情報処理装置が開発されている。この種の情報処理装置の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。【０００３】
ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を情報処理装置に指示することができる。ユーザは、例えば、ペンまたは指によってタッチスクリーンディスプレイ上に文書を手書き入力可能である。【０００４】
しかし、タッチスクリーンディスプレイを備える既存の情報処理装置の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などの文書情報を処理する必要があるビジネスシーンにおける利用については必ずしも適していない場合がある。文字入力に関しては、ハードウェアキーボードを用いる操作の方が手書き入力に優る。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2004-46325号公報
【特許文献２】特開平9-34998号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
手書き入力可能な従来の情報処理装置は文書の手書き入力の操作性が優れているとは言えなかったという課題があった。【０００７】
本発明の一形態の目的は、文字、数字、記号等を容易に修正することができる文書手書き入力機能を備えた情報処理装置、情報処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００８】
実施形態によれば、情報処理装置は、入力手段と、訂正手段とを具備する。入力手段は、ストロークデータを入力する。訂正手段は、第１ストロークデータと、第１ストロークデータの入力後に入力された第２ストロークデータとが少なくとも一部でオーバーラップしている場合、前記第２ストロークデータに基づいて前記第１ストロークデータを訂正する。
【図面の簡単な説明】
【０００９】
【図１】図１は実施形態に係る情報処理装置の外観の一例を示す斜視図。
【図２】図２は実施形態の情報処理装置のタッチスクリーンディスプレイ上の手書き文書の例を示す図。
【図３】図３は図２の手書き文書に対応するストロークデータ（手書きページデータ）を説明するための図。
【図４】図４は実施形態の情報処理装置のシステム構成の一例を示すブロック図。
【図５】図５は実施形態の情報処理装置によって実行される手書きノートアプリケーションプログラムの機能構成の一例を示すブロック図。
【図６】図６は実施形態の情報処理装置によって実行される手書き入力処理の一例の流れを示す図。
【図７】図７は図６の文書き入力処理の中の前処理と文字認識処理の詳細の一例を示す図。
【図８Ａ】図８Ａは上書き訂正の一例の包含状態のストロークの一例を示す図。
【図８Ｂ】図８Ｂは上書き訂正の一例の包含状態のストロークの他の一例を示す図。
【図８Ｃ】図８Ｃは上書き訂正の一例の包含状態のストロークの別の一例を示す図。
【図８Ｄ】図８Ｄは上書き訂正の一例の包含状態のストロークのさらに他の一例を示す図。
【図９Ａ】図９Ａはストロークの包含状態の判定の原理を示す図。
【図９Ｂ】図９Ｂはストロークの包含状態の判定の原理を示す図。
【図９Ｃ】図９Ｃはストロークの包含状態の判定の原理を示す図。
【図９Ｄ】図９Ｄはストロークの包含状態の判定の原理を示す図。
【図１０Ａ】図１０Ａは上書き訂正の一例の繰り返しストロークの一例を示す図。
【図１０Ｂ】図１０Ｂは上書き訂正の一例の繰り返しストロークの他の一例を示す図。
【図１０Ｃ】図１０Ｃは上書き訂正の一例の繰り返しストロークの別の一例を示す図。
【図１１Ａ】図１１Ａは上書き訂正の一例の連結状態のストロークの一例を示す図。
【図１１Ｂ】図１１Ｂは上書き訂正の一例の連結状態のストロークの他の一例を示す図。
【図１１Ｃ】図１１Ｃは上書き訂正の一例の連結状態のストロークの別の一例を示す図。
【図１１Ｄ】図１１Ｄは上書き訂正の一例の連結状態のストロークのさらに他の一例を示す図。
【図１１Ｅ】図１１Ｅは上書き訂正の一例の連結状態のストロークのさらに別の一例を示す図。
【発明形態】
【００１０】
図１は、一実施形態に係る情報処理装置の外観の一例を示す斜視図である。この情報処理装置は、例えば、ペンまたは指によって文書を手書き入力可能な入力部を有するペン・ベースの携帯型情報処理装置である。この情報処理装置は、入力部に手書きされた文書をビットマップ画像データとしてではなく、文書を構成する文字、数字、記号、図形等の記号や、図形の手書き軌跡のサンプリング点の座標の時系列を示す１以上のストロークデータとして記憶し、ストロークデータに基づいて手書き文書を検索することができる（検索処理はサーバシステム２側で行ない、検索結果を情報処理装置で表示するだけでもよい）。さらに、この情報処理装置は、入力されたストロークデータグループ（１つの文字、数字、記号領域に対応するストロークデータ）に対して文字認識処理を行ない（認識処理もサーバシステム２側で行ってもよい）、手書き文書を文字コードからなるテキストとしても記憶し、テキストに基づいて手書き文書を検索することもできる。また、ストロークデータに基づく文字認識の代わりに、入力ストロークデータグループをビットマップ画像化して文字認識を行うＯＣＲ処理をしても良い。
【００１１】
この情報処理装置は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、説明の便宜上、この情報処理装置がタブレットコンピュータ１０として実現されている場合を説明する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型情報処理装置であり、本体１１と、文書の手書き入力を可能とするタッチスクリーンディスプレイ１７とを備える。
【００１２】
本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を説明する。
【００１３】
デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。タッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、専用のペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。手書きされたストロークの集合である文字、数字、記号等の記号、または図形等の集合が手書き文書を構成する。
【００１４】
手書き文書は、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に記憶される。この時系列情報の詳細は、図２、図３を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。
【００１５】
タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲指定ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書き文字等を削除または移動することができる。さらに、この編集機能は、幾つかの手書き操作の履歴を取り消す機能も含んでいる。さらに、この編集機能は、表示中の手書き文書に、任意の手書き文字または手書き記号などを追加することができる。
【００１６】
本実施形態では、時系列情報（手書き文書）は、１つまたは複数のページとして管理されうる。この場合、時系列情報を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。
【００１７】
このように、時系列情報はページデータとして管理することができるので、以下では、時系列情報を手書きページデータあるいは単に手書きデータとも称する。
【００１８】
タブレットコンピュータ１０は、ネットワーク通信機能を有しており、他のパーソナルコンピュータやインターネット上のサーバシステム２などと連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、他のパーソナルコンピュータとの無線通信を実行することができる。さらに、タブレットコンピュータ１０は、インターネット上のサーバシステム２との通信を実行することもできる。サーバシステム２は様々な情報を共有するためのシステムであり、オンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行する。サーバシステム２は１以上のサーバコンピュータから実現し得る。
【００１９】
サーバシステム２はハードディスクドライブ（ＨＤＤ）のような大容量の記憶媒体を備えている。タブレットコンピュータ１０は、時系列情報（手書きページデータ）をネットワーク越しにサーバシステム２に送信して、サーバシステム２の記憶媒体に格納することができる（アップロード）。タブレットコンピュータ１０とサーバシステム２との間のセキュアな通信を確保するために、通信開始時には、サーバシステム２がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤなどを自動的にタブレットコンピュータ１０からサーバシステム２に送信してもよい。
【００２０】
これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の時系列情報（手書きページデータ）あるいは大容量の時系列情報（手書きページデータ）を扱うことが可能となる。
【００２１】
さらに、タブレットコンピュータ１０は、サーバシステム２の記憶媒体に格納されている任意の１以上の時系列情報（手書きページデータ）を読み出し（ダウンロード）、その読み出した時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。この場合、複数の時系列情報（手書きページデータ）それぞれのページを縮小することによって得られるサムネイル（サムネイル画像）の一覧をディスプレイ１７の画面上に表示してもよいし、これらサムネイルから選ばれた１ページをディスプレイ１７の画面上に通常サイズで表示してもよい。
【００２２】
このように、本実施形態では、時系列情報が格納される記憶媒体は、タブレットコンピュータ１０内のストレージ、サーバシステム２内のストレージのいずれであってもよい。タブレットコンピュータ１０のユーザは、任意の時系列情報を、タブレットコンピュータ１０内のストレージおよびサーバシステム２内のストレージから選択される任意のストレージに格納することができる。
【００２３】
次に、図２および図３を参照して、ユーザによって手書きされたストローク（文字、数字、記号等の記号や、図形、表など）と時系列情報との関係について説明する。図２は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。
【００２４】
手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図２においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きされ、この後に、手書き記号「↓」が、手書き文字「Ａ」のすぐ近くに手書きされている。
【００２５】
手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標を示すＳＤ２１、ＳＤ２１、…ＳＤ２ｎが得られる。
【００２６】
手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた手書きされた２つのストローク、つまり２つの軌跡によって表現される。
【００２７】
図３は、図２の手書き文書に対応する時系列情報（手書きページデータ）２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。
【００２８】
時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き文字「Ａ」を構成する２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＳＤ３、ＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＳＤ６、ＳＤ７は、手書き記号「矢印」を構成する２つのストロークをそれぞれ示している。
【００２９】
各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。外部オブジェクトが画面に接触されている期間中、一定の周期で座標データをサンプリングするので、座標データの数はストロークの長さに依存する。
【００３０】
各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。
【００３１】
さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。
【００３２】
このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。このため、１文字を構成する１つまたは複数のストロークデータからなるグループを文字認識する際の精度も向上しうる。
【００３３】
さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。グループを文字認識する精度は筆圧も考慮すると、さらに向上しうる。
【００３４】
図３で説明したような構造を有する時系列情報２００は、個々のストロークの軌跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、時系列情報２００を使用することにより、図２に示すようにたとえ手書き記号「↓」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き記号「↓」の先端部とを異なる文字または図形として扱うことが可能となる。
【００３５】
なお、ストロークデータＳＤ１のタイムスタンプ情報としては、ストロークデータＳＤ１の内の複数の座標それぞれに対応する複数のタイムスタンプ情報Ｔ１１からＴ１ｎから選択される任意の一つを、あるいはタイムスタンプ情報Ｔ１１からＴ１ｎの平均値などを使用してもよい。同様に、ストロークデータＳＤ２のタイムスタンプ情報としては、ストロークデータＳＤ２の内の複数の座標点それぞれに対応する複数のタイムスタンプ情報Ｔ２１からＴ２ｎから選択される任意の一つを、あるいはタイムスタンプ情報Ｔ２１からＴ２ｎの平均値などを使用してもよい。同様に、ストロークデータＳＤ７のタイムスタンプ情報としては、ストロークデータＳＤ７の内の複数の座標点それぞれに対応する複数のタイムスタンプ情報Ｔ７１からＴ７ｎから選択される任意の一つを、あるいはタイムスタンプ情報Ｔ７１からＴ７ｎの平均値などを使用してもよい。
【００３６】
本実施形態の時系列情報２００においては、上述したように、ストロークデータＳＤ１、ＳＤ２、…、ＳＤ７の並びは手書き文字の筆順を示す。例えば、ストロークデータＳＤ１およびＳＤ２の並びは、最初に「∧」形状のストロークが手書きされ、次に「−」形状のストロークが手書きされたことを表す。したがって、たとえ２つの手書き文字の筆跡同士が互いに類似していても、それら２つの手書き文字の筆順が互いに異なる場合には、それら２つの手書き文字を異なる文字として区別することができる。
【００３７】
さらに、本実施形態では、上述したように、手書き文書は複数のストロークに対応する複数のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。
【００３８】
図４は、タブレットコンピュータ１０のシステム構成を示す図である。  
タブレットコンピュータ１０は、図４に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０５、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。
【００３９】
ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、手書きノートアプリケーションプログラム２０２が含まれている。手書きノートアプリケーションプログラム２０２は、上述の手書きページデータを作成および表示する機能、手書きページデータを編集する機能、筆跡（ストローク）検索機能、文字認識機能等を有している。
【００４０】
ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００４１】
システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。システムコントローラ１０２は、ＰＣＩ  ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
【００４２】
グラフィクスコントローラ１０４は、タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。グラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。ＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。
【００４３】
無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。
【００４４】
次に、図５を参照して、手書きノートアプリケーションプログラム２０２の機能構成について説明する。
【００４５】
手書きノートアプリケーションプログラム２０２は、ペン軌跡表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存処理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、処理対象ブロック選択部３０７、及び処理部３０８等を備える。
【００４６】
手書きノートアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いて入力されるストロークデータを使用することによって、手書きページデータの作成、表示、編集、文字認識等を行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。
【００４７】
ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントにも、移動先の接触位置の座標が含まれている。したがって、ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。
【００４８】
ペン軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信し、この座標列に基づいて、ペン１００等を使用した手書き入力操作によって手書きされる各ストロークの軌跡をタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。ペン軌跡表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がＬＣＤ１７Ａの画面上に描かれる。
【００４９】
時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、図３で詳述したような構造を有する上述の時系列情報を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ４０１に一時保存してもよい。
【００５０】
ページ保存処理部３０４は、生成された時系列情報を手書きページデータとして記憶媒体４０２に保存する。記憶媒体４０２は手書きページデータを格納するためのローカルなデータベースである。なお、記憶媒体４０２はサーバシステム２内に設けても良い。
【００５１】
ページ取得処理部３０５は、記憶媒体４０２から既に格納されている任意の時系列情報（手書きページデータ）を読み出す。読み出された時系列情報は手書き文書表示処理部３０６及び認識処理部３１０に送られる。手書き文書表示処理部３０６は、時系列情報を解析し、この解析結果に基づいて、時系列情報内の各ストロークデータによって示される各ストロークの軌跡である筆跡を画面上に手書きページとして表示する。
【００５２】
編集処理部３０３は現在表示中の手書きページを編集するための処理を実行する。すなわち、編集処理部３０３は、タッチスクリーンディスプレイ１７上でユーザによって行われる編集操作および手書き入力操作に応じて、現在表示中の手書きページに新たなストローク（新たな手書き文字、新たな手書き記号等）を追加する処理、表示されている複数のストローク内の１以上のストロークを削除または移動する処理等を含む編集処理を実行する。さらに、編集処理部３０３は、編集処理の結果を表示中の時系列情報に反映するためにこの時系列情報を更新する。
【００５３】
ユーザは、「消しゴム」ツール等を使用して、表示されている複数のストローク内の任意のストロークを削除することができる。ユーザは、画面上の任意の部分を丸または四角によって囲むための「範囲指定」ツールを使用して、表示中の時系列情報（手書きページ）内の任意の部分を範囲していることができる。この範囲指定操作によって指定される画面上の指定範囲に応じて、処理対象の時系列情報部分、つまり処理対象のストロークデータ群が処理対象ブロック選択部３０７によって選択される。すなわち、処理対象ブロック選択部３０７は、表示中の時系列情報を使用して、指定範囲内に属するストロークそれぞれに対応する第１のストロークデータ群の中から、処理対象の時系列情報部分を選択する。
【００５４】
例えば、処理対象ブロック選択部３０７は、表示中の時系列情報から、指定範囲内に属するストロークそれぞれに対応する第１のストロークデータ群を抽出し、この第１のストロークデータ群内の他のストロークデータと不連続である第２のストロークデータを除く、第１のストロークデータ群内の個々のストロークデータを処理対象の時系列情報部分に決定する。
【００５５】
編集処理部３０３は、ユーザによって編集メニューから「削除」または「移動」等のメニューが選択された場合、処理対象ブロック選択部３０７によって選択されているストロークデータ群に対する削除、移動等の処理を実行する。この場合、複数のストロークデータが処理対象のストロークデータ群として選択されている場合には、編集処理部３０３は、これら複数のストロークデータをまとめて画面上から削除または画面上に別の位置に移動することができる。時系列情報においては、移動された各ストロークデータの時系列座標は、移動先位置に応じて自動的に変更してもよい。移動された各ストロークデータの時系列座標を変更したことを表す操作履歴を時系列情報に追加してもよい。削除された各ストロークデータも、時系列座標から必ずしも削除しなくてもよく、これら各ストロークデータを削除したことを表す操作履歴を時系列情報に追加してもよい。
【００５６】
なお、一度入力した手書き文字を訂正する場合、上述したように文字を一旦削除してから正しい文字を再入力することが考えられるが、紙にメモする場合は、一々消しゴムで文字を消さずに訂正前の文字に訂正後の文字を上書きするだけの場合もある。本実施形態は、このような上書きによる手書き文字の訂正（文字を削除することなく）の場合であっても、文字認識処理が適切に行われるように構成されている。２つのストロークがオーバーラップしている場合、人間が見れば、どちらのストロークが訂正前・訂正後であるのか容易に判別できる。しかし、文字認識処理部は、２つのストロークがオーバーラップしている場合、どちらのストロークが訂正後であるのか判別できない。そのため、本実施形態は、２つのストロークのオーバーラップ状態の状況を識別してユーザの意図を類推し、いずれかのストロークを有効とし、他のストロークを無効としてから文字認識処理を行うものである。
【００５７】
処理部３０８は、処理対象の時系列情報に対して様々な処理、例えば、筆跡検索処理、文字認識処理等を実行することができる。処理部３０８は、検索処理部３０９、認識処理部３１０を備える。
【００５８】
検索処理部３０９は、記憶媒体４０２内に既に格納されている複数の時系列情報（複数の手書きページ）を検索してこれら複数の時系列情報内の特定の時系列情報部分（特定の手書き文字列等）を見つけ出す。検索処理部３０９は、特定の時系列情報部分を検索キーつまり検索クエリとして指定するように構成された指定モジュールを含んでいる。検索処理部３０９は、複数の時系列情報の各々から、特定の時系列情報部分に対応するストロークの軌跡との類似度が基準値以上であるストロークの軌跡を有する時系列情報部分を見つけ出し、見つけ出された時系列情報部分を含む手書きページデータを記憶媒体４０２から読み出し、見つけ出された時系列情報部分に対応する軌跡が視認可能なように手書きページデータをＬＣＤ１７Ａの画面上に表示する。
【００５９】
検索クエリとして指定される特定の時系列情報部分は、特定の手書き文字、特定の手書き文字列、特定の手書き記号、特定の手書き図形等が使用しうる。例えば、タッチスクリーンディスプレイ１７上に手書きされる手書きオブジェクト（手書き文字、手書き記号、手書き図形）を構成する１以上のストロークそのものを検索キーとして使用することができる。
【００６０】
検索処理部３０９によって実行される検索処理は筆跡検索であり、すでに記録されている複数の手書きページの中から、検索クエリである特定の手書き文字列と類似する筆跡を有する手書き文字列を検索する。なお、現在表示中のある一つの手書きページのみを対象に筆跡検索を行ってもよい。
【００６１】
検索処理部３０９は、検索キーである１以上のストロークの特徴と類似する特徴を有するストロークを含む手書きページを記憶媒体４０２から検索する。各ストロークの特徴としては、筆画方向、形状、傾斜、等を使用し得る。この場合、検索キーである手書き文字のストロークとの類似度が基準値以上である手書き文字を含む手書きページデータ（ヒット手書きページ）が記憶媒体４０２から検索される。手書き文字間の類似度の計算方法としては、様々な方法を使用することができる。例えば各ストロークの座標列をベクトルとして扱ってもよい。この場合、比較対象のベクトル同士の類似度を計算するために、それら比較対象のベクトル間の内積を比較対象のベクトル間の類似度として算出してもよい。他の例としては、各ストロークの軌跡を画像として扱い、比較対象の軌跡間の画像の重なりがもっとも多くなる部分の面積の大きさを上述の類似度として計算してもよい。さらに計算処理量を減らすための任意の工夫をしてもよい。手書き文字間の類似度の計算方法として、ＤＰ（Dynamic Programming）マッチングを使用してもよい。
【００６２】
このように、文字列を示すコード群ではなく、ストロークデータが検索キーとして使用されるので、言語に依存しない検索を行うことができる。
【００６３】
なお、検索処理は、記憶媒体４０２内の手書きページデータ群に対してのみならず、サーバシステム２の記憶媒体に格納されている手書きページデータ群に対しても行うことができる。この場合、検索処理部３０９は、検索キーとして使用すべき１以上のストロークに対応する１以上のストロークデータを含む検索要求をサーバシステム２に送信する。サーバシステム２は、１以上のストロークデータの特徴と類似する特徴を有する手書きページデータ（ヒット手書きページ）を記憶媒体４０２から検索し、このヒット手書きページをタブレットコンピュータ１０に送信する。
【００６４】
検索処理部３０９内の上述の指定モジュールは、検索対象とすべき文字列または図形を手書きするための検索キー入力領域を画面上に表示してもよい。ユーザによって検索キー入力領域に手書きされた文字列等が検索クエリとして使用される。
【００６５】
あるいは、指定モジュールとして、上述の処理対象ブロック選択部３０７を使用してもよい。この場合、処理対象ブロック選択部３０７は、ユーザによって行われる範囲指定操作に応じて、表示中の時系列情報内の特定の時系列情報部分を、検索対象とすべき文字列または図形として選択することができる。ユーザは、表示中のページ内の一部の文字列を囲むように範囲指定してもよいし、表示中のページの余白などに検索クエリ用の文字列を新たに手書きし、この検索クエリ用の文字列を囲むように範囲指定してもよい。
【００６６】
例えば、ユーザは、表示中のページ内の一部を手書きの丸で囲むことによって範囲指定することができる。あるいは、ユーザは、あらかじめ用意されているメニューを用いて手書きノートアプリケーションプログラム２０２を「選択」モードに設定し、この後、表示中のページ内の一部をペン１００でなぞってもよい。
【００６７】
このように、本実施形態では、既に記録されている複数の手書きページから、検索クエリとして選択されたある手書き文字の特徴に類似する手書き文字を検索することができる。よって、過去に作成および保存した多数の手書きページから、ユーザの意図に合った手書きページを簡単に検索することができる。
【００６８】
本実施形態の筆跡検索においては、テキスト検索の場合とは異なり、文字認識を行う必要が無い。したがって、言語に依存しないため、あらゆる言語で手書きされた手書きページを検索対象とすることができる。さらに、図形等を筆跡検索のための検索クエリとして使用することもでき、また言語以外の記号、記号等を筆跡検索のための検索クエリとして使用することもできる。
【００６９】
認識処理部３１０は、表示中の時系列情報（手書きページ）に対して文字認識を実行する。認識処理部３１０は、認識処理対象の文字、数字、記号等に対応する１つまたは複数のストロークデータ（ストロークデータグループ）と、各文字、数字、記号等の辞書ストロークデータ（ストロークデータグループ）とのマッチングを行い、手書き文字、数字、記号等それぞれを文字コードに変換する。辞書ストロークデータとは、各文字、数字、記号等と１以上のストロークデータとの対応関係を示す情報であればどのようなものであっても良く、例えば、各文字、数字、記号等の識別情報と、それらに対応付けられた１以上のストロークデータである。グループ化では、互いに近傍に位置し且つ連続的に手書きされたストロークにそれぞれ対応するストロークデータ同士が同一ブロックに分類されるように、認識処理対象の時系列情報によって示される１以上複数のストロークデータがグループ化される。なお、時系列情報には筆跡（ビットマップ画像）以外にも筆順、タイムスタンプ情報、場合によっては筆圧情報も含まれているので、これらを利用することにより、認識の精度を高めることができる。
【００７０】
このように、時系列情報から各文字に対応するグループ毎の文字コードが得られる。グループの配置に基づいて文字コードを配列すると、１ページの手書きページデータのテキストデータが得られ、両者は関連付けられて、記憶媒体４０２に保存される。
【００７１】
以下、実施形態の具体的な作用例を説明する。先ず、図６のフローチャートを参照して、手書きノートアプリケーションプログラム２０２によって実行される手書きページ作成処理の手順の一例について説明する。
【００７２】
ユーザがペン１００を使用して手書き入力操作を行うと（ブロック１０２）、「タッチ」や「移動」のイベントが発生される。これらイベントに基づいて、手書きノートアプリケーションプログラム２０２は、ペン１００の動きの軌跡を検出する（ブロック１０４）。ペン１００の動きの軌跡を検出したならば（ブロック１０４のＹＥＳ）、手書きノートアプリケーションプログラム２０２は、検出されたペン１００の動きの軌跡をディスプレイに表示する（ブロック１０６）。さらに、手書きノートアプリケーションプログラム２０２は、検出されたペン１００の動きの軌跡に対応する座標列に基づいて図３に示すような上述の時系列情報を生成し、その時系列情報を手書きページ情報として作業メモリ４０１に一時保存する（ブロック１０８）。
【００７３】
ユーザはこの表示されている軌跡を見て、手書きした文字の訂正の必要を感じた場合は、上書きにより訂正する（ブロック１１０）。勿論、文字を消しゴムで一旦削除してから、正しい文字を再入力することも可能であるが、この訂正方法は周知であるので、説明は省略する。本実施形態は、ストロークデータを上書きにより訂正する場合の文字認識を説明する。ブロック１１０で上書きされている場合は、複数のストロークがオーバーラップした状態の時系列情報となり、このままでは文字認識できない。
【００７４】
ブロック１１２で文字認識の開始が指示されたか否か判定する。例えば、ＬＣＤ１７Ａの画面端部に表示されるメニューボタンの中の認識ボタンがタッチされると、文字認識の開始が指示される。文字認識の開始が検出されると、ブロック１１４で前処理が行われ、ブロック１１６で文字認識処理が行なわれる。前処理は、オーバーラップした状態の複数のストロークのいずれかを有効とし、他を無効とし、オーバーラップ状態を解消して文字認識処理に供するためのものである。
【００７５】
図７は、図６の前処理（ブロック１１４）と文字認識（ブロック１１６）の詳細の一例を示す。  
ブロック１３２で、ストロークのオーバーラップ（一部でも）があるか否か判定される。なお、この判定は、文字認識の開始が指示されてから実行されるのではなく、図６の手書き入力操作中にバックグラウンドで実行されていてもよい。ストロークのオーバーラップは、２つのストロークデータに同じ座標データが含まれるか否か、すなわち２つのストロークの軌跡に同じ点が含まれるか否かによる判定することができる。なお、厳密に同じ位置ではなく、２つのストロークデータの座標データがある程度の許容範囲内に位置するか否かでオーバーラップを判定する。
【００７６】
一部でもオーバーラップしている２つのストロークが検出されると、オーバーラップの種々の状態の識別が行われる。ここでは、包含状態、連結状態、繰り返しオーバーラップのいずれかが識別される。
【００７７】
先ず、ブロック１３４で、２つのストロークのオーバーラップ状態が包含状態（一方の少なくとも一部が他方の一部を完全に含んでいる状態）であるか否か判定される。
【００７８】
包含状態の一例を図８Ａ〜図８Ｄに示す。図８Ａ、図８Ｂは“５”が手書きされた後“６”が上書きされる例を示す。“６”のストロークの一部は“５”のストロークの一部に重なっているため、“６”のストローク（包含ストローク）が“５”のストローク（被包含ストローク）を包含する。図８Ｃ、図８Ｄは“ｉ”が手書きされた後“ｌ(エル)”が上書きされる例を示す。“ｌ”のストロークの一部は“ｉ”のストロークの一部に重なっているため、“ｌ”のストローク（包含ストローク）が“ｉ”のストローク（被包含ストローク）を包含する。
【００７９】
包含状態か否かは、先ず、一方のストロークを構成する座標データにより表わされる点を中心とする円を描き、隣り合う２つの円の接線と円弧で囲まれる領域を各点について順次定義し、この領域が他方のストロークを完全に含むか否かに基づいて判定することができる。例えば、図９Ａ、図９Ｂに示すように、ｙ座標がほぼ同じ位置に長短の２つのストロークがあるとする。図９Ｃに示すように、図９Ａの短いストロークの３つの座標データに関する円の接線と円弧で囲まれる領域は図９Ｂの長いストロークを完全には含まないので、図９Ａのストロークは図９Ｂのストロークを包含しないと判定される。一方、図９Ｄに示すように、図９Ｂの長いストロークの５つの座標データに関する円の接線と円弧で囲まれる領域は図９Ａの短いストロークを完全に含むので、図９Ｂのストロークは図９Ａのストロークを包含すると判定される。包含状態か否かを判断する方法は、上記の一例に限られず、一方のストロークが、他方のストロークを概ね包含すると推定可能な任意の手法とすることができる。
【００８０】
ブロック１３６で、包含ストロークが被包含ストロークより時間的に後に書かれたか否か判定する。図８Ａ〜図８Ｄの例では、包含ストロークが時間的に後に書かれたので、ユーザは被包含ストロークを取り消して包含ストロークを書き直したかった意図があったと判定できる。しかし、図９Ｂの包含ストロークを書いた後に図９Ａの被包含ストロークを上書きして、包含ストロークを被包含ストロークにより訂正する場合もあるので、これに対応する必要がある。
【００８１】
そのため、包含ストロークが被包含ストロークより時間的に後に書かれた場合（図８Ａ〜図８Ｄの例）は、ブロック１３８で、被包含ストロークを無効とし、包含ストロークを有効とする。反対に、包含ストロークが被包含ストロークより時間的に前に書かれた場合（図９Ａ〜図９Ｄの例）は、ブロック１４０で、包含ストロークを無効とし、被包含ストロークを有効とする。これにより、２つのストロークが包含状態にある場合、ユーザの意図に沿った一方のストロークを有効とし、他方を無効とすることにより、手書き文字を上書きにより訂正することができる。有効なストロークのみ文字認識処理に供し、無効なストロークは文字認識処理しないことにより、ユーザの意図に合った認識結果が得られる。
【００８２】
ブロック１３４で包含状態が検出されない場合、及びブロック１３８、１４０の後に、ブロック１４２で、オーバーラップしたストローク（後から書かれたストローク）が繰り返しストロークであるか否かを判定するために、オーバーラップしたストロークが始点領域に戻るストロークであるか否か判定される。
【００８３】
始点に戻るストロークの一例を図１０Ａ〜図１０Ｃに示す。図１０Ａに示す“２００９”を“２０１０”に訂正する場合、図１０Ｂに示すように“０”の上に“１”を１ストロークで何度も往復して手書きする、あるいは図１０Ｂに示すように“９”の上に“０”を１ストロークで何度も繰り返して手書きすることがある。“１”を１ストロークで何度も往復して手書きする場合も、“０”を１ストロークで何度も繰り返して手書きする場合も、ストローク中に始点の近傍領域に戻る。そのため、ストロークデータＳＤｉの時系列座標ＳＤｉｊの中でストロークの始点の時系列情報ＤＳｉ１の近傍領域に位置するものがあるか否かを判定する。
【００８４】
始点に戻るストロークである場合、ブロック１４４で往復（図１０Ｂの“１”）か否か（図１０Ｂの“０”）が判定される。往復か否かは軌跡の向きが途中で反転したか否かに基づいて判定できる。ストロークデータに含まれる時系列座標（点）間のベクトルの向きが反転する場合、往復であると判定できる。往復軌跡の場合、ブロック１４６で、元のストロークを無効とし、複数の往ストロークの平均あるいは最長のストロークを有効とする。往復軌跡ではない（繰り返し軌跡の）場合、ブロック１４８で、元のストロークを無効とし、複数の繰り返しストロークの平均あるいは最大の面積のストロークを有効とする。これにより、図１０Ｃに示すように、“２００９”が“２０１０”に訂正される。
【００８５】
なお、“l(エル)”と書いた後に“Ｓ”を上書きすると、“＄”となるが、“Ｓ”が一度しか書かれていない場合は、上書きとしては扱われずに“＄”として見なされる。しかし、“Ｓ”が繰り返し上書きされた場合は、“l”を“Ｓ”に訂正する意図があったと判断し、ブロック１４８に示すように、“l”を無効とし“Ｓ”が有効なストロークであると判断する。
【００８６】
ブロック１４２で繰り返しストロークであることが検出されない場合、及びブロック１４６、１４８の後に、ブロック１５０で、２つのストロークのオーバーラップ状態が連結状態であるか否か判定される。
【００８７】
連結状態の一例を図１１Ａに示す。図１１Ａ、図１１Ｂに示すように“２”が手書きされた後“２”の最も下の線分に“３”の下半分を連結して、図１１Ｅに示すように“３”とする場合がある。連結状態の判定は、一方のストロークを構成する座標データにより表される点を中心とする円を描き、隣り合う２つの円の接線と円弧で囲まれる領域を各点について順次定義し、この領域が他方のストロークを部分的に含むこと（図１１Ｃ参照）、及び他方のストロークを構成する座標データにより表わされる点を中心とする円を描き、隣り合う２つの円の接線と円弧で囲まれる領域を各点について順次定義し、この領域が一方のストロークを部分的に含むこと（図１１Ｄ参照）に基づいて行う。一方のストロークに基づいて定義される上記領域が他のストロークを部分的に互いに含む場合、連結状態であると判定する。すなわち、図１１Ｃ、図１１Ｄに示すように、“２”の最も下の線分と、“３”の下半分の最も上の線分が互いに他を含むので、図１１Ｂに示す“３”の中央部は図１１Ａと図１１Ｂとの連結状態であると判定される。あるいは、第１ストロークのある点と第２ストロークの全ての点との距離を計算して、第１ストロークのある点と一番近い点との距離を第１ストロークの全ての点について計算し、その平均が閾値以内である場合、第１ストロークと第２ストロークは連結状態であると判定する。連結状態か否かを判断する方法は、上記の一例に限られず、一方のストロークが、他方のストロークを概ね連結すると推定可能な任意の手法とすることができる。
【００８８】
連結状態であると判定されると、ブロック１５２で、２つのストロークを連結し、元のストロークを無効とし、連結により得られた新ストロークを有効とする。
【００８９】
以上により、ユーザが一度入力したストロークに他のストロークを上書きした場合、元のストロークと上書きストロークの両方を鑑みて、文字認識に渡す有効なストロークを推定することができる。従来、デジタルノートなどの機器に手書きで記述する場合、間違って書いた部分は消しゴム機能を使って一度削除して正しい文字を再度入力しないと、正しく文字認識されなかったが、本実施形態では、元のストロークを残したままで、その上に新たなストロークを上書きした場合でも正しく文字認識できる。
【００９０】
ブロック１５６で、上書きにより無効とされたストロークの表示を止め、代わりに、有効とされたストロークの表示に替える。
【００９１】
ブロック１５６で表示されたストロークが、ブロック１５８で文字認識処理される。ブロック１５８では、時系列情報のストロークデータを、互いに近傍に位置し且つ連続的に手書きされたストロークにそれぞれ対応するストロークデータ同士が同一グループに分類されるように分割する。グループは１つの記号に相当し、１つまたは複数のストロークデータからなる。図３の例では、ストロークデータＳＤ１、ＳＤ２を１つのグループ、ストロークデータＳＤ３、ＳＤ４を１つのグループ、ストロークデータＳＤ５を１つのグループとする。認識処理対象の文字、数字、記号等に対応する１つまたは複数のストロークデータ（ストロークデータグループ）と、各文字、数字、記号等の辞書ストロークデータ(ストロークデータグループ)とのマッチングを行い、手書き文字、数字、記号等それぞれを文字コードに変換する。次に、言語処理を行い、言語的に確からしい文字列の判定を行なう。例えば、“ナキスト”が候補とされた場合、“ナ”を“テ”と変更して、“テキスト”を認識結果とする。これにより、手書き入力された文書の時系列情報と文字コード列（テキスト）が求められる。ブロック１５９では、認識結果のテキストも表示される。
【００９２】
ブロック１６０で、ユーザは認識結果を見て、所望の認識結果が得られた場合は、処理を終了する。所望の認識結果が得られない場合は、ブロック１６２で再度上書き操作を行い、ブロック１３４に戻る。
【００９３】
実施形態によれば、２つのストロークがオーバーラップしている場合、オーバーラップ状態の状況を識別してユーザの意図を類推し、いずれかのストロークを有効とし、他のストロークを無効としてから文字認識処理を行うことにより、手書き文書を訂正するのに、文字を一旦削除してから正しい文字を再入力する必要がなく、訂正前の文字に訂正後の文字を上書きするだけでよい。このような上書き訂正であっても、文字認識処理が適切に行われる。
【００９４】
なお、実施形態は文字認識する場合を説明したが、文字認識は必須ではなく、手書き入力文字を上書き訂正するだけでもよい。すなわち、図７の上書きストローク１５６の表示まで行い、文字認識処理は省略する実施形態でもよい。さらに、文字認識する場合でも、認識前に前処理する例に限らず、認識後の後処理として上書き訂正処理を行ってもよい。すなわち、文字認識後の後処理で、所望の認識結果が得られない部分、あるいは手書き文字を訂正したい箇所を、手書き文字表示画面上で上書き訂正してもよい。
【００９５】
実施形態は、全ての処理をタブレットコンピュータ１０で行なったが、タッチスクリーンディスプレイ１７への手書き以外の処理はサーバシステム２側で行なってもよい。例えば、手書きノートアプリケーションの処理部３０８の機能をサーバシステム２側に移してもよい。また、記憶媒体４０２に保存する代わりに、サーバシステム２のデータベースに保存してもよい。
【００９６】
なお、本実施形態の処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【００９７】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図１】
2014147712.tif 000003
【図２】
2014147712.tif 000004
【図３】
2014147712.tif 000005
【図４】
2014147712.tif 000006
【図５】
2014147712.tif 000007
【図６】
2014147712.tif 000008
【図７】
2014147712.tif 000009
【図８Ａ】
2014147712.tif 000010
【図８Ｂ】
2014147712.tif 000011
【図８Ｃ】
2014147712.tif 000012
【図８Ｄ】
2014147712.tif 000013
【図９Ａ】
2014147712.tif 000014
【図９Ｂ】
2014147712.tif 000015
【図９Ｃ】
2014147712.tif 000016
【図９Ｄ】
2014147712.tif 000017
【図１０Ａ】
2014147712.tif 000018
【図１０Ｂ】
2014147712.tif 000019
【図１０Ｃ】
2014147712.tif 000020
【図１１Ａ】
2014147712.tif 000021
【図１１Ｂ】
2014147712.tif 000022
【図１１Ｃ】
2014147712.tif 000023
【図１１Ｄ】
2014147712.tif 000024
【図１１Ｅ】
2014147712.tif 000025
【手続補正書】
【提出日】平成26年11月6日(2014.11.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１ストロークに対応する第１ストロークデータを入力し、前記第１ストロークデータの後に、第２ストロークに対応する第２ストロークデータを入力する入力手段と、
（１）前記第１ストロークの表示領域が前記第２ストロークの表示領域を実質的に包含する場合、あるいは、（２）前記第１ストロークの表示領域と前記第２ストロークの表示領域とが少なくとも一部重複し前記第２ストロークが同じ領域に繰り返し記載されたストロークを含む場合、あるいは、（３）前記第１ストロークの表示領域と前記第２ストロークの表示領域とが連結する場合の少なくともいずれかにおいて、前記第２ストロークデータに基づいて前記第１ストロークデータを訂正する訂正手段と、
を具備する情報処理装置。
【請求項２】
前記訂正手段は、
前記第２ストロークが往復ストロークを含む場合、複数の往ストロークの平均ストロークまたは最長ストロークに対応するストロークデータに基づいて前記第１ストロークデータを訂正し、
前記第２ストロークが非往復ストロークを含む場合、複数の繰り返しストロークの平均ストロークまたは最大面積のストロークに対応するストロークデータに基づいて前記第１ストロークデータを訂正する請求項１記載の情報処理装置。
【請求項３】
前記訂正手段により前記第１ストロークデータが訂正される場合、訂正後のストロークデータに基づいた文字認識結果を表示する認識結果表示手段をさらに具備する請求項１または請求項２記載の情報処理装置。
【請求項４】
前記入力手段により入力されたストロークデータに対応するストロークを表示するストローク表示手段をさらに具備し、
前記ストローク表示手段は、前記訂正手段により前記第１ストロークデータが訂正される場合、訂正後のストロークデータに対応するストロークを表示する請求項１または請求項２または請求項３記載の情報処理装置。
【請求項５】
第１ストロークに対応する第１ストロークデータを入力し、前記第１ストロークデータの後に、第２ストロークに対応する第２ストロークデータを入力することと、
（１）前記第１ストロークの表示領域が前記第２ストロークの表示領域を実質的に包含する場合、あるいは、（２）前記第１ストロークの表示領域と前記第２ストロークの表示領域とが少なくとも一部重複し前記第２ストロークが同じ領域に繰り返し記載されたストロークを含む場合、あるいは、（３）前記第１ストロークの表示領域と前記第２ストロークの表示領域とが連結する場合の少なくともいずれかにおいて、前記第２ストロークデータに基づいて前記第１ストロークデータを訂正することと、
を具備する情報処理方法。
【請求項６】
前記訂正することは、
前記第２ストロークが往復ストロークを含む場合、複数の往ストロークの平均ストロークまたは最長ストロークに対応するストロークデータに基づいて前記第１ストロークデータを訂正し、
前記第２ストロークが非往復ストロークを含む場合、複数の繰り返しストロークの平均ストロークまたは最大面積のストロークに対応するストロークデータに基づいて前記第１ストロークデータを訂正する請求項５記載の情報処理方法。
【請求項７】
前記第１ストロークデータが訂正される場合、訂正後のストロークデータに基づいた文字認識結果を表示することをさらに具備する請求項５または請求項６記載の情報処理方法。
【請求項８】
入力されたストロークデータに対応するストロークを表示することをさらに具備し、
前記第１ストロークデータが訂正される場合、訂正後のストロークデータに対応するストロークを表示する請求項５または請求項６または請求項７記載の情報処理方法。
【請求項９】
コンピュータにより実行されるプログラムであって、前記プログラムは、
第１ストロークに対応する第１ストロークデータを入力し、前記第１ストロークデータの後に、第２ストロークに対応する第２ストロークデータを入力することと、
（１）前記第１ストロークの表示領域が前記第２ストロークの表示領域を実質的に包含する場合、あるいは、（２）前記第１ストロークの表示領域と前記第２ストロークの表示領域とが少なくとも一部重複し前記第２ストロークが同じ領域に繰り返し記載されたストロークを含む場合、あるいは、（３）前記第１ストロークの表示領域と前記第２ストロークの表示領域とが連結する場合の少なくともいずれかにおいて、前記第２ストロークデータに基づいて前記第１ストロークデータを訂正することと、
を具備するプログラム。
【請求項１０】
前記訂正することは、
前記第２ストロークが往復ストロークを含む場合、複数の往ストロークの平均ストロークまたは最長ストロークに対応するストロークデータに基づいて前記第１ストロークデータを訂正し、
前記第２ストロークが非往復ストロークを含む場合、複数の繰り返しストロークの平均ストロークまたは最大面積のストロークに対応するストロークデータに基づいて前記第１ストロークデータを訂正する請求項９記載のプログラム。
【請求項１１】
前記第１ストロークデータが訂正される場合、訂正後のストロークデータに基づいた文字認識結果を表示することをさらに具備する請求項９または請求項１０記載のプログラム。
【請求項１２】
入力されたストロークデータに対応するストロークを表示することをさらに具備し、
前記第１ストロークデータが訂正される場合、訂正後のストロークデータに対応するストロークを表示する請求項９または請求項１０または請求項１１記載のプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
実施形態によれば、情報処理装置は、入力手段と、訂正手段とを具備する。入力手段は、第１ストロークに対応する第１ストロークデータを入力し、前記第１ストロークデータの後に、第２ストロークに対応する第２ストロークデータを入力する。訂正手段は、（１）前記第１ストロークの表示領域が前記第２ストロークの表示領域を実質的に包含する場合、あるいは、（２）前記第１ストロークの表示領域と前記第２ストロークの表示領域とが少なくとも一部重複し前記第２ストロークが同じ領域に繰り返し記載されたストロークを含む場合、あるいは、（３）前記第１ストロークの表示領域と前記第２ストロークの表示領域とが連結する場合の少なくともいずれかにおいて、前記第２ストロークデータに基づいて前記第１ストロークデータを訂正する。
【国際調査報告】
2014147712.tif 000026
2014147712.tif 000027