(57)【要約】  実施形態によれば、情報処理装置は、入力手段と表示処理手段とを具備する。入力手段は、複数のストロークを手書きにより入力する。表示処理手段は、前記複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、前記第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第２手書き文字に対応する第２文字の属性と、前記第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する。
2015040740.tif 000002
【特許請求の範囲】
【請求項１】
複数のストロークを手書きにより入力する入力手段と、
前記複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、前記第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第２手書き文字に対応する第２文字の属性と、前記第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する表示処理手段とを具備する電子機器。
【請求項２】
文字の属性は、文字が、複数の属性の文字を包含する領域を分割した複数の部分領域の内、いずれの１以上の部分領域に含まれる形状の文字であるかに基づいて規定される請求項１記載の電子機器。
【請求項３】
前記第１文字の属性が第１属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第１値であって、
前記第１文字の属性が第２属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第２値であって、
前記第１値と、前記第２値とは、相異する請求項１記載の電子機器。
【請求項４】
前記複数の部分領域は、前記領域を分割することによって規定される、第１部分領域と第２部分領域と第３部分領域とを含み、
前記複数の属性の内の第１属性の文字は、前記第１部分領域と前記第２部分領域とからなる領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第２属性の文字は、前記第２部分領域に包含される形状を有し、
前記複数の属性の内の第３属性の文字は、前記第２部分領域と前記第３部分領域とからなる領域に包含され、且つ文字の一部が前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第４属性の文字は、前記領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有する請求項２記載の電子機器。
【請求項５】
前記表示処理手段は、前記第１手書き文字が行内の先頭の文字である場合、前記第１属性と、前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する請求項４記載の電子機器。
【請求項６】
複数のストロークを手書きにより入力し、
前記複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、前記第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第２手書き文字に対応する第２文字の属性と、前記第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する方法。
【請求項７】
文字の属性は、文字が、複数の属性の文字を包含する領域を分割した複数の部分領域の内、いずれの１以上の部分領域に含まれる形状の文字であるかに基づいて規定される請求項６記載の方法。
【請求項８】
前記第１文字の属性が第１属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第１値であって、
前記第１文字の属性が第２属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第２値であって、
前記第１値と、前記第２値とは、相異する請求項６記載の方法。
【請求項９】
前記複数の部分領域は、前記領域を分割することによって規定される、第１部分領域と第２部分領域と第３部分領域とを含み、
前記複数の属性の内の第１属性の文字は、前記第１部分領域と前記第２部分領域とからなる領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第２属性の文字は、前記第２部分領域に包含される形状を有し、
前記複数の属性の内の第３属性の文字は、前記第２部分領域と前記第３部分領域とからなる領域に包含され、且つ文字の一部が前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第４属性の文字は、前記領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有する請求項７記載の方法。
【請求項１０】
前記表示することは、前記第１手書き文字が行内の先頭の文字である場合、前記第１属性と、前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する請求項９記載の方法。
【請求項１１】
コンピュータにより実行されるプログラムであって、前記プログラムは、
複数のストロークを手書きにより入力する手順と、
前記複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、前記第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第２手書き文字に対応する第２文字の属性と、前記第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する手順とを前記コンピュータに実行させるプログラム。
【請求項１２】
文字の属性は、文字が、複数の属性の文字を包含する領域を分割した複数の部分領域の内、いずれの１以上の部分領域に含まれる形状の文字であるかに基づいて規定される請求項１１記載のプログラム。
【請求項１３】
前記第１文字の属性が第１属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第１値であって、
前記第１文字の属性が第２属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第２値であって、
前記第１値と、前記第２値とは、相異する請求項１１記載のプログラム。
【請求項１４】
前記複数の部分領域は、前記領域を分割することによって規定される、第１部分領域と第２部分領域と第３部分領域とを含み、
前記複数の属性の内の第１属性の文字は、前記第１部分領域と前記第２部分領域とからなる領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第２属性の文字は、前記第２部分領域に包含される形状を有し、
前記複数の属性の内の第３属性の文字は、前記第２部分領域と前記第３部分領域とからなる領域に包含され、且つ文字の一部が前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第４属性の文字は、前記領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有する請求項１２記載のプログラム。
【請求項１５】
前記表示する手順は、前記第１手書き文字が行内の先頭の文字である場合、前記第１属性と、前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する請求項１４記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、手書き文書の処理に関する。
【背景技術】
【０００２】
近年、タブレット、ＰＤＡ、スマートフォンといった種々の手書き機能を有する電子機器が開発されている。また、ノートのような紙のページに手書きされた文字をスキャンすることによって、そのページの画像データを生成し、この画像データを用いて手書きされた文字を認識する光学文字認識（ＯＣＲ）の技術が利用されている。この技術により、手書きされた文字を文字コードに変換することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−２８２１２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＯＣＲでは、例えば、認識された手書き文字の大きさに応じたサイズで、認識結果である文字コードに対応する文字（フォント）が画面に表示される。【０００５】
しかし、手書き文書上の文字には、例えば、手書きによる形状や大きさのばらつきあるので、対応する文字（フォント）が適切なサイズで表示されない可能性がある。【０００６】
本発明の一形態は、手書き文字を含む手書き文書を、文字コードを含む整形文書に変換する場合に、適切なサイズで表示できる電子機器および方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態によれば、電子機器は、入力手段と表示処理手段とを具備する。入力手段は、複数のストロークを手書きにより入力する。表示処理手段は、前記複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、前記第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第２手書き文字に対応する第２文字の属性と、前記第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る電子機器の外観を示す斜視図である。
【図２】図２は、同実施形態の電子機器によって処理される手書き文書の例を示す図である。
【図３】図３は、同実施形態の電子機器によって記憶媒体に保存される、図２の手書き文書に対応する時系列情報を説明するための図である。
【図４】図４は、同実施形態の電子機器のシステム構成を示すブロック図である。
【図５】図５は、同実施形態の電子機器によって実行されるデジタルノートブックアプリケーションプログラムの機能構成を示すブロック図である。
【図６】図６は、手書き文字が不適切なサイズの文字（フォント）に変換される例を示す図である。
【図７】図７は、同実施形態の電子機器によって、手書き文字が適切なサイズの文字（フォント）に変換される例を示す図である。
【図８】図８は、同実施形態の電子機器によって、手書き文字が適切なサイズの文字（フォント）に変換される別の例を示す図である。
【図９】図９は、同実施形態の電子機器によって検出される文字の属性を説明するための図である。
【図１０】図１０は、同実施形態の電子機器によって用いられるフォントサイズ決定テーブルの例を示す図である。
【図１１】図１１は、手書き文字が不適切なサイズの文字（フォント）に変換される別の例を示す図である。
【図１２】図１２は、同実施形態の電子機器によって実行される手書き入力処理の手順の例を示すフローチャートである。
【図１３】図１３は、同実施形態の電子機器によって実行される整形文書生成処理の手順の例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照して説明する。  
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。
【００１０】
本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。
【００１１】
デジタイザおよびタッチパネルの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。
【００１２】
ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡（筆跡）がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡（筆跡）の集合が手書き文書を構成する。
【００１３】
本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報を含む手書き文書データとして記憶媒体に保存される。この時系列情報の詳細は図３を参照して後述するが、この時系列情報は、概して、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、手書きにより入力可能なある一つのストロークを表現可能なデータであればどのようなものであってもよく、例えば、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。
【００１４】
タブレットコンピュータ１０は、記憶媒体から既存の任意の手書き文書データを読み出し、この手書き文書データに対応する手書き文書、つまり、時系列情報によって示される複数のストロークそれぞれに対応する軌跡が描画された手書き文書を、画面上に表示することができる。
【００１５】
次いで、図２および図３を参照して、ユーザによって手書きされたストローク（文字、マーク、図形、表など）と時系列情報との関係について説明する。図２は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書（手書き文字列）の例を示している。
【００１６】
手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図２においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「Ａ」のすぐ近くに手書きされた場合が想定されている。
【００１７】
手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＣＤ１１、ＣＤ１２、…ＣＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡もサンプリングされ、これによって「−」形状のストロークの時系列座標ＣＤ２１、ＣＤ２１、…ＣＤ２ｎが得られる。
【００１８】
手書き文字「Ｂ」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００などを使用して手書きされた１つのストローク、つまり１つの軌跡によって表現される。手書きの「矢印」は、ペン１００などを使用して手書きされた２つのストローク、つまり２つの軌跡によって表現される。
【００１９】
図３は、図２の手書き文書に対応する時系列情報２００を示している。時系列情報は、複数のストロークデータＣＤ１、ＣＤ２、…、ＣＤ７を含む。時系列情報２００内においては、これらストロークデータＣＤ１、ＣＤ２、…、ＣＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べられている。
【００２０】
時系列情報２００において、先頭の２つのストロークデータＣＤ１、ＣＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目と４番目のストロークデータＣＤ３、ＣＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＣＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目と７番目のストロークデータＣＤ６、ＣＤ７は、手書き矢印を構成する２つのストロークをそれぞれ示している。
【００２１】
各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいて、複数の座標は、ストロークが書かれた順に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＣＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＣＤ１１、ＣＤ１２、…ＣＤ１ｎを含む。ストロークデータＣＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＣＤ２１、ＣＤ２２、…ＣＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。
【００２２】
各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＣＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＣＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。
【００２３】
さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。
【００２４】
このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。  
各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。
【００２５】
さらに、本実施形態では、上述したように、手書き文書は、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報２００として記憶されるので、言語に依存せずに手書きの文字や図形を扱うことができる。よって、本実施形態の時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。
【００２６】
図４は、タブレットコンピュータ１０のシステム構成を示す図である。  
タブレットコンピュータ１０は、図４に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。
【００２７】
ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム２０２が含まれている。このデジタルノートブックアプリケーションプログラム２０２は、上述の手書き文書を作成および表示する機能、手書き文書を文字コード（文字コードに対応する文字）を含む整形された文書に変換する機能、等を有している。
【００２８】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００２９】
システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ  ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
【００３０】
グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。
【００３１】
無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。
【００３２】
次に、図５を参照して、タブレットコンピュータ１０によって実行されるデジタルノートブックアプリケーションプログラム２０２の機能構成について説明する。デジタルノートブックアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いた手書き入力操作によって入力されるストロークデータを使用することによって、手書き文書の作成、表示、編集等を行う。また、デジタルノートブックアプリケーションプログラム２０２は、手書き文書を整形する、すなわち、手書き文書内の手書き文字を文字コードに変換し、文字コードに対応する文字（フォント）が配置された整形文書のデータ（以下、整形文書データとも称する）を生成可能である。
【００３３】
デジタルノートブックアプリケーションプログラム２０２は、例えば、軌跡表示処理部３０１、時系列情報生成部３０２、行認識部３０３、文字認識部３０４、属性検出部３０５、高さ検出部３０６、サイズ決定部３０７、整形文書生成部３０８、ページ保存処理部３０９、ページ取得処理部３１０、文書表示処理部３１１、等を備える。
【００３４】
タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。
【００３５】
軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントには、移動先の接触位置の座標が含まれている。したがって、軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。
【００３６】
軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信し、この座標列に基づいて、ペン１００等を使用した手書き入力操作によって手書きされる各ストロークの軌跡をタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。この軌跡表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡がＬＣＤ１７Ａの画面上に描かれる。
【００３７】
時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、図３で詳述したような構造を有する時系列情報（ストロークデータ）を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ４０１に一時保存してもよい。
【００３８】
ページ保存処理部３０９は、生成された時系列情報（作業メモリ４０１に一時保存された時系列情報）を、手書き文書データとして記憶媒体４０２に保存する。記憶媒体４０２は、例えば、タブレットコンピュータ１０内のストレージデバイスである。
【００３９】
ページ取得処理部３１０は、記憶媒体４０２から既に格納されている任意の手書き文書データを読み出す。読み出された手書き文書データは文書表示処理部３１１に送られる。文書表示処理部３１１は、手書き文書データを解析し、この解析結果に基づいて、時系列情報によって示される各ストロークの軌跡を、画面上に手書き文書（手書きページ）として表示する。  
上述の構成により、ユーザは、手書き文字を含む手書き文書を作成および閲覧することができる。
【００４０】
また、作成された手書き文書内の手書き文字は、文字認識によって文字コードに変換することもできる。以下では、時系列情報生成部３０２によって生成された時系列情報を含む手書き文書データを、手書き文書内の手書き文字に対応する文字コードを含む整形文書データに変換する処理について説明する。
【００４１】
まず、行認識部３０３は、手書き文書データを用いて、手書き文書に含まれる複数の行を認識する。例えば、行認識部３０３は、手書き文書データに含まれるストロークデータ（時系列座標）を用いて、手書き文書上の、１以上の手書き文字をそれぞれ含む複数の行を認識する。より具体的には、行認識部３０３は、手書き文書上に手書きされた複数のストロークに対応する複数のストロークデータを用いることにより、手書きされたストロークの座標の変化に基づいて、行を認識する。
【００４２】
例えば、手書き文書内に文字が横書きされる場合、ユーザは、１つの行に属する文字を、手書き文書内の左から右に向かって手書きしていくことが想定される。そのため、行認識部３０３は、時系列情報（複数のストロークデータ）から、タッチスクリーンディスプレイ１７上でのオブジェクト（指またはペン１００）の接触位置が、ある行の末尾から次の行の先頭に移動していることを示す座標を検出する。
【００４３】
より具体的には、行認識部３０３は、手書きされた時刻順の座標データ系列を用いて、Ｘ座標（水平方向の座標）が手書き文書内の右から左へと大きく変化している、連続して手書きされた二つのストロークを検出する。行認識部３０３は、例えば、第Ｎストロークの最後の座標データと、その第Ｎストロークに後続する、第（Ｎ＋１）ストロークの最初の座標データとを用いて、それら座標データのＸ座標の差の絶対値がしきい値以上である場合に、第Ｎストロークまでの１以上のストロークと、第（Ｎ＋１）ストロークからの１以上のストロークとが、別々の行に属することを検出する。行認識部３０３は、同様にして、行の切れ目を検出することによって、手書き文書内の行を認識する。
【００４４】
次いで、文字認識部３０４は、認識された複数の行に含まれる複数の手書き文字に対応する文字コードを認識する。つまり、文字認識部３０４は、複数の行の各々に含まれる手書き文字を文字認識することによって、それら手書き文字を文字コードに変換する。文字認識部３０４は、各行内の複数のストロークの内の１以上のストロークに対応する文字を認識する。
【００４５】
文字認識部３０４は、例えば、複数のストロークの内の、１以上のストローク（処理対象のストローク）に対応する１以上のストロークデータを用いて、その１以上のストロークの形状を示す第１特徴量を算出する。そして、文字認識部３０４は、記憶媒体４０２に予め格納された文字辞書データを用いて、算出された第１特徴量と類似する特徴量を有する文字を検出する。この文字辞書データでは、例えば、複数の文字と、それら複数の文字に対応する複数の特徴量とが規定されている。したがって、文字認識部３０４は、文字辞書データに規定された複数の文字から、算出された第１特徴量との類似度がしきい値以上である、第２特徴量を有する文字を認識することによって、処理対象のストロークに対応する手書き文字を文字コードに変換する。
【００４６】
なお、文字認識部３０４は、文字辞書データに規定された複数の文字から、第１特徴量との類似度がしきい値以上である特徴量を有する複数の文字候補を検出してもよい。その場合、文字認識部３０４は、例えば、単語や文字の共起確率等を示す言語辞書データと、処理対象のストロークの近傍のストローク（例えば、処理対象のストロークの左右のストローク）から認識された文字とに基づいて、検出された複数の文字候補から、処理対象のストロークに対して尤もらしい文字（尤度が高い文字）を絞り込む。これにより、文字認識部３０４は、処理対象のストロークに対応する文字を決定する。
【００４７】
属性検出部３０５、高さ検出部３０６およびサイズ決定部３０７は、各行に含まれる１以上の手書き文字に対応する１以上の文字（すなわち、文字認識によって得られた文字コードで表現される文字）が、整形文書上で表示される大きさ（フォントサイズ）を決定する。属性検出部３０５、高さ検出部３０６およびサイズ決定部３０７は、行毎に、文字が整形文書上で表示されるサイズを決定する。
【００４８】
ところで、ある行に対応する文字が整形文書上で表示されるサイズは、手書き文書上でのその行の高さに基づいて決定される場合がある。
【００４９】
図６に示す例では、ある行に含まれる手書き文字列“ｄａｙ”４１の行の高さ４１Ａ、すなわち、手書き文字列４１に対応するストローク（“ｄ”に対応するストローク）の最上部４１１のＹ座標と、手書き文字列４１に対応するストローク（“ｙ”に対応するストローク）の最下部４１２のＹ座標との差（垂直方向の差）に基づくフォントサイズで、手書き文字列“ｄａｙ”４１に対応する文字（フォント）４２が表示されている。しかし、手書き文字列４１の行の高さ４１Ａに基づいてフォントサイズが決定される場合、例えば、手書き文字の位置、サイズ、形状、等のばらつきによって、手書き文字に応じた適切なフォントサイズを決定できない可能性がある。
【００５０】
例えば、この手書き文字列“ｄａｙ”４１では、文字“ｙ”が、他の文字“ｄ”および“ａ”に対して、相対的に下に突き出した形状で手書きされている。手書き文字列４１に対応する行の高さ４１Ａは、この下に突き出した文字“ｙ”の高さを含み、したがって、手書き文字列４１における文字の高さのばらつきに影響されるので、この行の高さ４１Ａに基づいてフォントサイズが決定された場合、決定されたフォントサイズは、ユーザが意図しないサイズになる可能性がある。例えば、フォントサイズが、手書き文字列“ｄａｙ”４１の高さ４１Ａに合わせて文字（フォント）４２が配置されるように決定された場合、文字４２が、手書き文字列４１のサイズに対して大きすぎる不適切なサイズで表示される。つまり、手書き文字列４１の見た目の大きさと、この手書き文字列４１が置き換えられた文字４２のフォントとの見た目の大きさとを合わせることができない。
【００５１】
そのため本実施形態では、手書きにより入力された複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、その第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、複数のストロークから検出される第２手書き文字に対応する第２文字の属性と、その第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、第１文字と第２文字とを画面に表示する。つまり、本実施形態では、手書き文字を含む手書き文書を、文字（フォント）を含む整形文書に変換する場合、手書き文書内のある行に含まれる１以上の手書き文字の内の少なくとも１つの手書き文字に対応する、少なくとも１つの文字（文字コード）の属性と、その少なくとも１つの手書き文字の大きさ（例えば、高さ）とに基づいて、その行内の１以上の手書き文字に対応する１以上の文字（フォント）が画面に表示されるフォントサイズを決定する。
【００５２】
図７および図８は、本実施形態のデジタルノートブックアプリケーション２０２によって手書き文字が適切なサイズの文字（フォント）に変換される例を示す。  
図７では、手書き文字列“ｄａｙ”４１の内の文字“ａ”の高さ４１Ｃ、すなわち、文字“ａ”に対応するストロークの最上部４１４のＹ座標と最下部４１５のＹ座標との差と、この文字“ａ”の属性とに基づいてフォントサイズが決定されている。
【００５３】
また、図８では、手書き文字列“Ｄａｙ”４５の内の文字“Ｄ”の高さ４５Ａ、すなわち、文字“Ｄ”に対応するストロークの最上部４１６のＹ座標と最下部４１７のＹ座標との差と、この文字“Ｄ”の属性とに基づいてフォントサイズが決定されている。
【００５４】
このようなフォントサイズ決定のために、まず、属性検出部３０５は、処理対象の行から認識された文字（文字コード）の属性を検出する。属性検出部３０５は、例えば、処理対象の行に含まれる１以上の手書き文字の内の少なくとも１つの手書き文字に対応する、少なくとも１つの文字の属性を検出する。属性が検出される文字は、処理対象の行内の任意の手書き文字（例えば、行内の先頭の手書き文字、行内の任意の位置の手書き文字、行内の最後の手書き文字以外の手書き文字、等）に対応する文字である。また、属性検出部３０５は、処理対象の行から特定の属性の文字が検出されるまで、その行内の手書き文字に対応する文字（文字コード）の属性を、例えば先頭の文字から順に検出してもよい。
【００５５】
図９は、属性検出部３０５によって検出される文字の属性の例を示す。図９に示すように、複数種の文字５５，５６，５７，５８の各々は、文字の形状に基づく複数の属性の内の１つの属性に関連付けられている。
【００５６】
この複数の属性は、例えば、文字が、複数の属性の文字（例えば、アルファベットの文字）を包含する領域６０を分割した複数の部分領域の内、いずれの１以上の部分領域に含まれる形状の文字であるかに基づいて規定される。この複数の部分領域は、例えば、領域６０を垂直方向に三分割（すなわち、領域６０の高さを三分割）することによって規定される３つの部分領域６１，６２，６３を含む。なお、これら３つの部分領域６１，６２，６３は、上方から順に第１部分領域６１、第２部分領域６２、第３部分領域６３とも称する。
【００５７】
図９に示すように、第１属性の文字は、第１部分領域６１と第２部分領域６２とからなる領域５１に包含され、且つ文字の一部が第１部分領域６１と第２部分領域６２のそれぞれに含まれる形状を有する。第２属性の文字は、第２部分領域６２に包含される形状を有する。第３属性の文字は、第２部分領域６２と第３部分領域６３とからなる領域５２に包含され、且つ文字の一部が第２部分領域６２と第３部分領域６３のそれぞれに含まれる形状を有する。第４属性の文字は、領域６０（第１部分領域６１と第２部分領域６２と第３部分領域６３とからなる領域）に包含され、且つ文字の一部が第１部分領域６１と第２部分領域６２と第３部分領域６３のそれぞれに含まれる形状を有する。
【００５８】
アルファベットの文字のような複数種の文字の各々は、複数の属性の内の１つの属性に関連付けられる。  
例えば、大文字のアルファベット“Ａ”〜“Ｚ”は、第１部分領域６１と第２部分領域６２とからなる領域５１に包含され、且つその一部が第１部分領域６１と第２部分領域６２のそれぞれに含まれるべき形状を有する、第１属性の文字５５である。同様に、アルファベット“ｂ”，“ｄ”，“ｆ”，“ｈ”，“ｉ”，“ｋ”，“ｌ”，および“ｔ”も第１属性の文字５５である。
【００５９】
アルファベット“ａ”，“ｃ”，“ｅ”，“ｍ”，“ｎ”，“ｏ”，“ｒ”，“ｓ”，“ｕ”，“ｖ”，“ｗ”，“ｘ”，および“ｚ”は、第２部分領域６２に包含されるべき形状を有する、第２属性の文字５６である。
【００６０】
アルファベット“ｇ”，“ｐ”，“ｑ”，および“ｙ”は、第２部分領域６２と第３部分領域６３とからなる領域５２に包含され、且つ文字の一部が第２部分領域６２と第３部分領域６３のそれぞれに含まれるべき形状を有する、第３属性の文字５７である。
【００６１】
アルファベット“ｊ”は、領域６０に包含され、且つ文字の一部が第１部分領域６１と第２部分領域６２と第３部分領域６３のそれぞれに含まれるべき形状を有する、第４属性の文字５８である。
【００６２】
属性検出部３０５は、このように規定された複数の属性の内の１つの属性を、認識された手書き文字に対応する文字（文字コード）の属性として検出する。
【００６３】
次いで、高さ検出部３０６は、処理対象の行内の１以上の手書き文字の内の、少なくとも１つの手書き文字の大きさ（例えば、高さ）を検出する。高さ検出部３０６は、例えば、属性が検出された文字コードに対応する手書き文字のストロークデータを用いて、その手書き文字に対応するストロークの最上部の座標と最下部の座標との垂直方向の差を、文字の大きさ（高さ）として検出する。
【００６４】
サイズ決定部３０７は、属性検出部３０５によって検出された、処理対象の行に含まれる１以上の文字の内の少なくとも１つの文字に対応する文字の属性と、高さ検出部３０６によって検出された当該少なくとも１つの文字の高さ（文字に対応するストロークの大きさ）との組み合わせに基づいて定まるフォントサイズを決定する、すなわち、その処理対象の行内の１以上の文字に対応する１以上の文字を、整形文書上に表示するフォントサイズを決定する。
【００６５】
例えば、属性検出部３０５は、手書き入力された複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、それら複数のストロークから検出される第２手書き文字に対応する第２文字の属性とを検出する。高さ検出部３０６は、第１手書き文字に対応する第１ストロークの大きさと、第２手書き文字に対応する第２ストロークの大きさとを検出する。そして、サイズ決定部３０７は、第１手書き文字に対応する第１文字の属性と、第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、第２手書き文字に対応する第２文字の属性と、第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズを決定する。その際、第１文字の属性が第１属性である場合に、第１文字の属性と第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第１値であり、第１文字の属性が第２属性である場合に、第１文字の属性と第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第２値であり、これら第１値と第２値とは相異する。
【００６６】
より具体的には、処理対象の行内に図７に示す手書き文字列“ｄａｙ”４１が含まれている場合、文字認識部３０４は、手書き文字列４１に含まれる３つの手書き文字を認識することによって、それら３つの手書き文字を３つの文字コードに変換する。属性検出部３０５は、変換された３つの文字コードに対応する３文字の内の“ａ”の文字に関連付けられた第２属性を検出する。高さ検出部３０６は、手書き文字“ａ”に対応するストロークデータを用いて、“ａ”に対応するストロークの最上部の座標４１４と最下部の座標４１５との垂直方向の差（ストロークの大きさ）を、手書き文字“ａ”の高さ４１Ｃとして検出する。
【００６７】
そして、サイズ決定部３０７は、“ａ”の文字の属性と、“ａ”の手書き文字に対応するストロークの大きさとの組み合わせに基づいて定まるフォントサイズを算出する。サイズ決定部３０７は、検出された第２属性と手書き文字“ａ”の高さ４１Ｃとに基づいて、手書き文字列４１に対応する文字４４が表示されるフォントサイズを決定する。サイズ決定部３０７は、例えば、第２属性の文字“ａ”が第２部分領域６２に包含される形状を有することと、その第２属性である手書き文字“ａ”が高さ４１Ｃで手書きされていることとに基づいて、対応する文字が表示されるフォントサイズを決定する。つまり、サイズ決定部３０７は、第２部分領域６２の高さが高さ４１Ｃである場合のフォントサイズ（すなわち、複数の属性の文字を包含する領域６０の高さが（高さ４１Ｃ×３）である場合のフォントサイズ）を算出する。そして、文字サイズ決定部３０７は、算出されたフォントサイズを、処理対象の行内に含まれる１以上の手書き文字に対応する１以上の文字（文字コードで示される文字）を画面に表示するフォントサイズに決定する。
【００６８】
なお、サイズ決定部３０７は、行の先頭の文字が第１属性であるアルファベットの大文字であることを想定し、ある行に含まれる手書き文字列の内の先頭の文字の大きさ（高さ）に基づいて、その手書き文字列に対応する文字のフォントサイズを決定してもよい。
【００６９】
例えば、処理対象の行内に図８に示す手書き文字列“Ｄａｙ”４５が含まれている場合、文字認識部３０４は、手書き文字列４５に含まれる３文字を認識することによって、それら３文字を３つの文字コードに変換する。そして、“Ｄ”が行の先頭の文字であるので、行の先頭の文字が大文字であると見なして、属性検出部３０５による属性の検出を行うことなく、“Ｄ”の文字に対応する第１属性が決定される。高さ検出部３０６は、手書き文字“Ｄ”に対応するストロークデータを用いて、“Ｄ”に対応するストロークの最上部の座標４１６と最下部の座標４１７との垂直方向の差を、手書き文字“Ｄ”の高さ４５Ａ（ストロークの大きさ）として検出する。
【００７０】
そして、サイズ決定部３０７は、決定された第１属性と手書き文字“Ｄ”の高さ４５Ａとに基づいて、手書き文字列４５に対応する文字４６が表示されるフォントサイズを決定する。サイズ決定部３０７は、例えば、第１属性の文字“Ｄ”が第１部分領域６１と第２部分領域６２とからなる領域５１に包含されることと、その第１属性である文字“Ｄ”が高さ４５Ａで手書きされていることとに基づいて、対応する文字が表示されるフォントサイズを決定する。つまり、サイズ決定部３０７は、第１部分領域６１の高さと第２部分領域６２の高さとの和が、高さ４５Ａである場合のフォントサイズ（すなわち、複数の属性の文字を包含する領域６０の高さが（高さ４５Ａ×３／２）である場合のフォントサイズ）を算出する。そして、文字サイズ決定部３０７は、算出されたフォントサイズを、処理対象の行内に含まれる１以上の手書き文字に対応する１以上の文字を画面に表示するフォントサイズに決定する。
【００７１】
なお、サイズ決定部３０７は、例えば、予め規定されたフォントサイズ決定テーブルを用いて、フォントサイズを決定してもよい。
【００７２】
図１０は、フォントサイズ決定テーブルの一構成例を示す。フォントサイズ決定テーブルは、文字の属性と文字に対応するストロークの大きさ（高さ）との組み合わせに基づいて定まるフォントサイズが規定されたテーブルである。サイズ決定部３０７は、このフォントサイズ決定テーブルから、属性検出部３０５によって検出された文字の属性と、高さ検出部３０６によって検出された文字の高さとの組み合わせに対応するフォントサイズを検出する。
【００７３】
整形文書生成部３０８は、決定されたフォントサイズを有する、文字認識部３０４によって認識された複数の文字（すなわち、文字コードに対応するフォント）を整形文書上に配置し、当該整形文書に対応する整形文書データを生成する。整形文書生成部３０８は、例えば、文字コードとフォントサイズとの複数のペアを含む整形文書データを生成する。これにより、文書表示処理部３１１は、整形文書データを用いて、行毎の適切なフォントサイズの文字を含む整形文書をＬＣＤ１７Ａの画面に表示することができる。
【００７４】
ページ保存処理部３０９は、生成された整形文書データを記憶媒体４０２に保存してもよい。
【００７５】
ページ取得処理部３１０は、記憶媒体４０２から既に格納されている任意の整形文書データを読み出す。読み出された整形文書データは文書表示処理部３１１に送られる。文書表示処理部３１１は、整形文書データを解析し、この解析結果に基づいて、関連付けられたフォントサイズで、文字コードによって示される文字が配置された整形文書（整形ページ）を画面上に表示する。
【００７６】
以上の構成により、手書き文字を含む手書き文書を、文字コードを含む整形文書に変換する場合に、文字を適切なサイズで表示することができる。
【００７７】
なお、手書き文字列には、手書きによる安定度が低い文字が含まれることがある。安定度が低い文字とは、例えば、ユーザによって手書きされる形状が異なりやすい文字や、手書きされる場合に同じ行内の他の文字に対してサイズや高さのばらつきが生じやすい文字、等である。
【００７８】
図１１に示す例では、手書き文字列“ｄａｙ”４１において、手書きによる安定度が低い文字“ｙ”が含まれている。この文字“ｙ”は、他の文字“ｄ”および“ａ”に対して、相対的に下に突き出した形状で手書きされている。このような手書き文字列“ｄａｙ”４１に対応する文字（フォント）が表示されるフォントサイズを決定するときに、安定度が低い文字“ｙ”の高さ４１Ｂ、すなわち、“ｙ”に対応するストロークの最上部の座標４１３と最下部の座標４１２との垂直方向の差に基づいてフォントサイズが決定された場合、文字４３が、手書き文字列４１のサイズに対して大きすぎる不適切なサイズで表示されてしまう可能性がある。
【００７９】
そのため、本実施形態のサイズ決定部３０７は、処理対象の行内の１以上の手書き文字に対応する１以上の文字（文字コード）が取得された場合に、特定の属性の文字に対応する手書き文字の高さに基づいて、その行内の１以上の文字が表示されるフォントサイズを決定してもよい。この特定の属性は、文字の安定度が統計的に高い属性（例えば、行の高さと手書きされた文字の高さとの相関が統計的に高い属性）である。例えば、図９に示した４つの属性の内、ストロークを上下方向に伸ばす可能性が低い文字（“ａ”、“ｃ”、等）に対応する第２属性が、特定の属性として用いられる。また、この文字の安定度は、予め収集された手書き文書を解析することによって算出することができるので、その算出結果に基づき、文字の安定度がしきい値以上である属性を特定の属性として用いることもできる。
【００８０】
より具体的には、文字認識部３０４によって、処理対象の行内の１以上の手書き文字に対応する１以上の文字（文字コード）を取得された場合、属性検出部３０５は、それら１以上の文字の各々に対応する属性を検出する。高さ検出部３０６は、検出された属性に基づいて、その行に対応する１以上の文字から特定の属性の１以上の文字を抽出し、抽出された特定の属性の１以上の文字に対応する１以上の手書き文字の高さ（ストロークの大きさ）を検出する。そして、サイズ決定部３０７は、この特定の属性と、検出された１以上の手書き文字の高さとに基づいて、フォントサイズを決定する。サイズ決定部３０７は、例えば、特定の属性と、検出された１以上の手書き文字の高さの中央値とに基づいて、フォントサイズを決定する。１以上の手書き文字の高さの中央値を用いることにより、１以上の手書き文字の高さに含まれる特異値を除外することができる。
【００８１】
また、サイズ決定部３０７は、特定の属性の１以上の文字に対応する１以上の手書き文字の高さと、他の属性の１以上の文字に対応する１以上の手書き文字の高さとの加重平均（または重み付け加算）に基づいて、フォントサイズを決定してもよい。この加重平均の算出では、例えば、文字の安定度が統計的に高い属性の文字の高さに対して、大きく重み付けされ、文字の安定度が統計的に低い属性の文字の高さに対して、小さく重み付けされる。  
これにより、文字コードが表示されるフォントサイズを決定する場合に、安定度が統計的に低い属性の文字の高さによる影響を軽減することができる。
【００８２】
さらに、サイズ決定部３０７は、行の最後の手書き文字の高さを用いずに、フォントサイズを決定してもよい。換言すると、サイズ決定部３０７は、行に含まれる１以上の手書き文字の内、当該行の最後の文字以外の文字の高さを用いて、フォントサイズを決定してもよい。
【００８３】
例えば、行の最後の文字はピリオドのような句読点であることが想定され、その場合、ピリオドに対応する文字の高さによって、フォントサイズが不適切なサイズに決定される可能性がある。そのため、サイズ決定部３０７は、行の最後の手書き文字の高さを用いずに、フォントサイズを決定する。
【００８４】
また、上述した説明では、文字がアルファベットである場合について記載した。しかし、本実施形態は、アルファベットに限らず、日本語の漢字や仮名（ひらがな、カタカナ）のような、他の言語の文字にも適用することができる。
【００８５】
例えば、漢字や仮名の場合にも、図９に示したような文字の形状に基づく属性を規定することができる。より具体的には、漢字は仮名よりも大きく手書きされることが多いことに基づき、例えば、漢字が第１領域に包含される形状を有する属性の文字と規定され、仮名が第１領域よりも小さい第２領域に包含される形状を有する属性の文字と規定される。
【００８６】
属性検出部３０５は、日本語の手書き文書の場合、この規定に基づき、処理対象の行に含まれる１以上の手書き文字の内の少なくとも１つの手書き文字に対応する文字（文字コード）の属性を検出する。そして、サイズ決定部３０７は、検出された属性と、高さ検出部３０６によって検出された当該少なくとも１つの手書き文字の高さとに基づいて、その処理対象の行内の１以上の手書き文字に対応する１以上の文字を、整形文書上に表示するフォントサイズを決定する。  
このように、文字の形状に基づく属性を規定することにより、様々な言語の手書き文字に対して、本実施形態を適用することができる。
【００８７】
次いで、図１２のフローチャートを参照して、デジタルノートブックアプリケーション２０２によって実行される手書き入力処理の手順の例について説明する。
【００８８】
まず、軌跡表示処理部３０１は、手書き入力操作によるペン１００等の動きの軌跡（ストローク）をディスプレイ１７Ａに表示する（ブロックＢ１１）。また、時系列情報生成部３０２は、手書き入力操作による軌跡に対応する座標列に基づいて上述の時系列情報（時系列順に並べられた複数のストロークデータ）を生成する（ブロックＢ１２）。時系列情報生成部３０２は、その時系列情報を作業メモリ４０１に一時保存してもよい。また、ページ保存処理部３０９は、時系列情報生成部３０２によって生成された時系列情報（作業メモリ４０１に一時保存された時系列情報）を手書き文書データとして記憶媒体４０２に保存してもよい。
【００８９】
また、図１３のフローチャートは、デジタルノートブックアプリケーション２０２によって実行される整形文書生成処理の手順の例を示す。
【００９０】
まず、行認識部３０３は、生成された時系列情報（手書き文書データ）を用いて、複数のストロークから１以上の行を認識する（ブロックＢ２１）。文字認識部３０３は、認識された１以上の行の内の処理対象の１行に対応するストロークから１以上の文字を認識する（ブロックＢ２２）。認識された１以上の行は、例えば、横書きの文書では、上方から順に処理対象の行に設定される。文字認識部３０３は、例えば、処理対象の行内に含まれる１以上の手書き文字のそれぞれを文字コードに変換する。
【００９１】
属性検出部３０５は、認識された１以上の文字の内の第１文字（少なくとも１つの文字）の属性を検出する（ブロックＢ２３）。そして、高さ検出部３０６は、その第１文字の高さ（対応するストロークの大きさ）を検出する（ブロックＢ２４）。高さ検出部３０６は、例えば、第１文字を構成する１以上のストロークに対応する座標を用いて、最上部の座標と最下部の座標とを検出し、それら垂直方向の最大の座標と最小の座標との差分を、第１文字の高さとして算出する。
【００９２】
サイズ決定部３０７は、検出された第１文字の高さと属性とに基づいて、フォントサイズを決定する（ブロックＢ２５）。サイズ決定部３０７は、例えば、第１文字の高さと属性とからフォントサイズが決定されるフォントサイズ決定テーブルを用いて、フォントサイズを決定する。整形文書生成部３０８は、整形文書上に、認識された１以上の文字に対応する、決定されたフォントサイズの文字を配置する（ブロックＢ２６）。
【００９３】
なお、サイズ決定部３０７は、処理対象の行内の１以上の手書き文字の内の第１手書き文字に対応する第１文字の属性と、第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、１以上の手書き文字の内の第２手書き文字に対応する第２文字の属性と、第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいてフォントサイズを決定してもよい。
【００９４】
次いで、行認識部３０３は、処理対象の行に後続する行があるか否かを判定する（ブロックＢ２７）。後続する行がある場合（ブロックＢ２７のＹＥＳ）、その行を新たな処理対象の行に設定し、ブロックＢ２２に戻る。後続する行がない場合（ブロックＢ２７のＮＯ）、処理を終了する。
【００９５】
以上説明したように、本実施形態によれば、手書き文字を含む手書き文書を、文字コードを含む整形文書に変換する場合に、適切なサイズで表示することができる。軌跡表示処理部３０１および時系列情報生成部３０２は、複数のストロークを手書き入力する操作を検出し、それら複数のストロークを画面に表示し、また対応するストロークデータを生成する。サイズ決定部３０７は、複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、その第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、複数のストロークから検出される第２手書き文字に対応する第２文字の属性と、その第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズを決定する。文書表示処理部３１１は、決定されたフォントサイズで、前記第１文字と前記第２文字とを画面に表示する。
【００９６】
このように、行内の第１手書き文字に対応する第１文字の属性と、当該第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は第２手書き文字に対応する第２文字の属性と、当該第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいてフォントサイズを決定することによって、行内の手書き文字に対応する文字（フォント）を表示した場合の見た目の大きさのばらつきを低減することができる。
【００９７】
なお、図１２および図１３のフローチャートで説明した本実施形態の処理手順は全てソフトウェアによって実行することができる。このため、この処理手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【００９８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【図１】
2015040740.tif 000003
【図２】
2015040740.tif 000004
【図３】
2015040740.tif 000005
【図４】
2015040740.tif 000006
【図５】
2015040740.tif 000007
【図６】
2015040740.tif 000008
【図７】
2015040740.tif 000009
【図８】
2015040740.tif 000010
【図９】
2015040740.tif 000011
【図１０】
2015040740.tif 000012
【図１１】
2015040740.tif 000013
【図１２】
2015040740.tif 000014
【図１３】
2015040740.tif 000015
【手続補正書】
【提出日】平成28年8月26日(2016.8.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のストロークを手書きにより入力する入力手段と、
前記複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、前記第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第２手書き文字に対応する第２文字の属性と、前記第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する表示処理手段とを具備し、
文字の属性は、文字が、複数の属性の文字を包含する領域を分割した複数の部分領域の内、いずれの１以上の部分領域に含まれる形状の文字であるかに基づいて規定され、
前記複数の部分領域は、前記領域を分割することによって規定される、第１部分領域と第２部分領域と第３部分領域とを含み、
前記複数の属性の内の第１属性の文字は、前記第１部分領域と前記第２部分領域とからなる領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第２属性の文字は、前記第２部分領域に包含される形状を有し、
前記複数の属性の内の第３属性の文字は、前記第２部分領域と前記第３部分領域とからなる領域に包含され、且つ文字の一部が前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第４属性の文字は、前記領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有する電子機器。
【請求項２】
前記第１文字の属性が前記第１属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第１値であって、
前記第１文字の属性が前記第２属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第２値であって、
前記第１値と、前記第２値とは、相異する請求項１記載の電子機器。
【請求項３】
前記表示処理手段は、前記第１手書き文字が行内の先頭の文字である場合、前記第１属性と、前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する請求項１記載の電子機器。
【請求項４】
複数のストロークを手書きにより入力し、
前記複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、前記第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第２手書き文字に対応する第２文字の属性と、前記第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示し、
文字の属性は、文字が、複数の属性の文字を包含する領域を分割した複数の部分領域の内、いずれの１以上の部分領域に含まれる形状の文字であるかに基づいて規定される
前記複数の部分領域は、前記領域を分割することによって規定される、第１部分領域と第２部分領域と第３部分領域とを含み、
前記複数の属性の内の第１属性の文字は、前記第１部分領域と前記第２部分領域とからなる領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第２属性の文字は、前記第２部分領域に包含される形状を有し、
前記複数の属性の内の第３属性の文字は、前記第２部分領域と前記第３部分領域とからなる領域に包含され、且つ文字の一部が前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第４属性の文字は、前記領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有する方法。
【請求項５】
前記第１文字の属性が前記第１属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第１値であって、
前記第１文字の属性が前記第２属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第２値であって、
前記第１値と、前記第２値とは、相異する請求項４記載の方法。
【請求項６】
前記表示することは、前記第１手書き文字が行内の先頭の文字である場合、前記第１属性と、前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する請求項４記載の方法。
【請求項７】
コンピュータにより実行されるプログラムであって、前記プログラムは、
複数のストロークを手書きにより入力する手順と、
前記複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、前記第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第２手書き文字に対応する第２文字の属性と、前記第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する手順とを前記コンピュータに実行させ、
文字の属性は、文字が、複数の属性の文字を包含する領域を分割した複数の部分領域の内、いずれの１以上の部分領域に含まれる形状の文字であるかに基づいて規定される
前記複数の部分領域は、前記領域を分割することによって規定される、第１部分領域と第２部分領域と第３部分領域とを含み、
前記複数の属性の内の第１属性の文字は、前記第１部分領域と前記第２部分領域とからなる領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第２属性の文字は、前記第２部分領域に包含される形状を有し、
前記複数の属性の内の第３属性の文字は、前記第２部分領域と前記第３部分領域とからなる領域に包含され、且つ文字の一部が前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第４属性の文字は、前記領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有するプログラム。
【請求項８】
前記第１文字の属性が前記第１属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第１値であって、
前記第１文字の属性が前記第２属性である場合に、前記第１文字の属性と前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第２値であって、
前記第１値と、前記第２値とは、相異する請求項７記載のプログラム。
【請求項９】
前記表示する手順は、前記第１手書き文字が行内の先頭の文字である場合、前記第１属性と、前記第１ストロークの大きさとの組み合わせに基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する請求項７記載のプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
実施形態によれば、電子機器は、入力手段と表示処理手段とを具備する。入力手段は、複数のストロークを手書きにより入力する。表示処理手段は、前記複数のストロークから検出される第１手書き文字に対応する第１文字の属性と、前記第１手書き文字に対応する第１ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第２手書き文字に対応する第２文字の属性と、前記第２手書き文字に対応する第２ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第１文字と前記第２文字とを画面に表示する。文字の属性は、文字が、複数の属性の文字を包含する領域を分割した複数の部分領域の内、いずれの１以上の部分領域に含まれる形状の文字であるかに基づいて規定される。前記複数の部分領域は、前記領域を分割することによって規定される、第１部分領域と第２部分領域と第３部分領域とを含む。前記複数の属性の内の第１属性の文字は、前記第１部分領域と前記第２部分領域とからなる領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域のそれぞれに含まれる形状を有する。前記複数の属性の内の第２属性の文字は、前記第２部分領域に包含される形状を有する。前記複数の属性の内の第３属性の文字は、前記第２部分領域と前記第３部分領域とからなる領域に包含され、且つ文字の一部が前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有する。前記複数の属性の内の第４属性の文字は、前記領域に包含され、且つ文字の一部が前記第１部分領域と前記第２部分領域と前記第３部分領域のそれぞれに含まれる形状を有する。
【国際調査報告】
2015040740.tif 000016
2015040740.tif 000017
2015040740.tif 000018
2015040740.tif 000019