(57)【要約】【課題】手書き文書を容易に扱うことができる電子機器を実現する。【解決手段】表示制御部１０４には、ユーザによって手書きされる表等の文書が入力される。表示制御部１０４は、ユーザによって少なくとも表を整形するための操作がなされる場合に、手書きによって記載される表の第１セルに少なくとも１以上の第１ストロークが含まれる場合に、同一の行又は列に含まれる１以上のストロークに基づいて、第１セルに対応する位置に、第１ストロークに対応する認識結果を表示する。【選択図】  図５
2015032279.tif 000002
【特許請求の範囲】
【請求項１】
手書きによって記載される表が入力される入力部と、
ユーザによって少なくとも前記表を整形するための操作がなされる場合に、前記表の第
１セルに含まれる少なくとも１以上の第１ストロークの認識の候補に対応する第１記号と
第２記号とのうちの一方を、前記第１セルに対応する位置に、表示可能な表示制御部と、
を備え、
前記第１セルに対応する位置に、前記第１記号と前記第２記号とのうちのどちらが表示
されるかは、前記第１セルと同一の行のセルに含まれる１以上の第２ストローク又は、前
記第１セルと同一の列のセルに含まれる１以上の第３ストロークの少なくとも一方に応じ
る、電子機器。
【請求項２】
前記第２ストローク及び前記第３ストロークが用いられない場合に、前記第１記号は、
前記第１ストロークの認識結果となり、
前記第２ストローク又は前記第３ストロークが用いられる場合に、前記第２記号は、前
記第１ストロークの認識結果となる請求項１に記載の電子機器。
【請求項３】
前記第２記号は、前記第２記号の文字認識結果を算出するための数式に関する情報であ
る請求項１又は請求項２に記載の電子機器。
【請求項４】
前記第２記号には、前記第２記号に関連する他の情報へのリンクに関する情報が付加さ
れる請求項１乃至請求項３のいずれか１項に記載の電子機器。
【請求項５】
前記第２記号には、削除処理がなされる場合に、削除を実行するか否かを判断するため
に用いる情報が付加される請求項１乃至請求項４のいずれか１項に記載の電子機器。
【請求項６】
タッチスクリーンディスプレイをさらに備え、
前記手書きによって記載される表のデータは、前記タッチスクリーンディスプレイを介
して入力され、
前記表示制御部は、前記タッチスクリーンディスプレイ上の前記第１セルに対応する位
置に、前記第１記号と前記第２記号とのうちの一方を表示する請求項１乃至請求項５のい
ずれか１項に記載の電子機器。
【請求項７】
手書きによって記載される表を入力し、
ユーザによって少なくとも前記表を整形するための操作がなされる場合に、前記表の第
１セルに含まれる少なくとも１以上の第１ストロークの認識の候補に対応する第１記号と
第２記号とのうちの一方を、前記第１セルに対応する位置に、表示する方法であって、
前記第１セルに対応する位置に、前記第１記号と前記第２記号とのうちのどちらが表示
されるかは、前記第１セルと同一の行のセルに含まれる１以上の第２ストローク又は、前
記第１セルと同一の列のセルに含まれる１以上の第３ストロークの少なくとも一方に応じ
る、方法。
【請求項８】
前記第２ストローク及び前記第３ストロークが用いられない場合に、前記第１記号は、
前記第１ストロークの認識結果となり、
前記第２ストローク又は前記第３ストロークが用いられる場合に、前記第２記号は、前
記第１ストロークの認識結果となる請求項７に記載の方法。
【請求項９】
前記第２記号は、前記第２記号の文字認識結果を算出するための数式に関する情報であ
る請求項７又は請求項８に記載の方法。
【請求項１０】
前記第２記号には、前記第２記号に関連する他の情報へのリンクに関する情報が付加さ
れる請求項７乃至請求項９のいずれか１項に記載の方法。
【請求項１１】
前記第２記号には、削除処理がなされる場合に、削除を実行するか否かを判断するため
に用いる情報が付加される請求項７乃至請求項１０のいずれか１項に記載の方法。
【請求項１２】
コンピュータに、
手書きによって記載される表を入力させ、
ユーザによって少なくとも前記表を整形するための操作がなされる場合に、前記表の第
１セルに含まれる少なくとも１以上の第１ストロークの認識の候補に対応する第１記号と
第２記号とのうちの一方を、前記第１セルに対応する位置に、表示させるプログラムであ
って、
前記第１セルに対応する位置に、前記第１記号と前記第２記号とのうちのどちらが表示
されるかは、前記第１セルと同一の行のセルに含まれる１以上の第２ストローク又は、前
記第１セルと同一の列のセルに含まれる１以上の第３ストロークの少なくとも一方に応じ
る、プログラム。
【請求項１３】
前記第２ストローク及び前記第３ストロークが用いられない場合に、前記第１記号は、
前記第１ストロークの認識結果となり、
前記第２ストローク又は前記第３ストロークが用いられる場合に、前記第２記号は、前
記第１ストロークの認識結果となる請求項１２に記載のプログラム。
【請求項１４】
前記第２記号は、前記第２記号の文字認識結果を算出するための数式に関する情報であ
る請求項１２又は請求項１３に記載のプログラム。
【請求項１５】
前記第２記号には、前記第２記号に関連する他の情報へのリンクに関する情報が付加さ
れる請求項１２乃至請求項１４のいずれか１項に記載のプログラム。
【請求項１６】
前記第２記号には、削除処理がなされる場合に、削除を実行するか否かを判断するため
に用いる情報が付加される請求項１２乃至請求項１５のいずれか１項に記載のプログラム
。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、手書きされる文書の取り扱いに関する。
【背景技術】
【０００２】
近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている
。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリ
ーンディスプレイを備えている。
【０００３】
ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクト
を指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた
機能の実行を電子機器に指示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３０７０２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一実施形態では、手書き文書を容易に取り扱える電子機器、方法、およびプログラムを
提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、実施形態に係る電子機器は、入力部と、表示制御部とを備
える。入力部には、手書きによって記載される表が入力される。表示制御部は、ユーザに
よって少なくとも前記表を整形するための操作がなされる場合に、前記表の第１セルに含
まれる少なくとも１以上の第１ストロークの認識の候補に対応する第１記号と第２記号と
のうちの一方を、前記第１セルに対応する位置に、表示可能である。前記第１セルに対応
する位置に、前記第１記号と前記第２記号とのうちのどちらが表示されるかは、前記第１
セルと同一の行のセルに含まれる１以上の第２ストローク又は、前記第１セルと同一の列
のセルに含まれる１以上の第３ストロークの少なくとも一方に応じる。
【図面の簡単な説明】
【０００７】
【図１】一実施形態に係る電子機器の外観を示す斜視図。
【図２】一実施形態の電子機器と外部装置との連携動作を示す図。
【図３】一実施形態の電子機器に手書きされる手書き文書の例を示す図。
【図４】一実施形態の電子機器に保存される時系列情報の例を示す図。
【図５】一実施形態の電子機器の構成例を示すブロック図。
【図６】デジタルノートブックアプリケーションプログラムの機能構成例を示すブロック図。
【図７】手書きで記載される表の一例を示す図。
【図８】手書きで記載される表の整形結果の一例を示す図。
【図９】手書きで記載される表の一例を示す図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について説明する。
【０００９】
（実施形態）
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例え
ば、ペンまたは指によって手書き入力可能である。この電子機器は、タブレット、ノート
ブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ、ホワイトボード代替の大型
ディスプレイ等である。以下では、この電子機器がタブレット１０である場合を仮定して
説明する。タブレット１０は、タブレットコンピュータまたはスレートコンピュータとも
称される電子機器である。タブレット１０は、本体１１とタッチスクリーンディスプレイ
１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせて
取り付けられる。
【００１０】
本体１１は、薄い箱形の筐体を有する。タッチスクリーンディスプレイ１７は、カラー
又はモノクロで電子データを表示可能なディスプレイと、ペンまたは指による画面（表面
）への接触部位の位置を検出可能な入力装置とを兼ねるものであればどのようなものであ
っても良い。タッチスクリーンディスプレイ１７は、たとえば、フラットパネルディスプ
レイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するセン
サとを有する。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）、有機
ＥＬであってもよい。センサは、例えば、静電容量方式のタッチパネル、電磁誘導方式の
デジタイザなどである。以下では、デジタイザとタッチパネルの２種類のセンサの双方が
タッチスクリーンディスプレイ１７に組み込まれている場合を仮定する。デジタイザおよ
びタッチパネルは、フラットパネルディスプレイの画面を覆うように設けられる。
【００１１】
タッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみなら
ず、ペン１００を使用した画面に対するタッチ操作も検出できる。ペン１００は例えば電
磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用し
てタッチスクリーンディスプレイ１７上に手書きで文字、図形等を入力できる。ストロー
クとは、手書きで記載される軌跡（筆跡）であればどのようなものであってもよく、たと
えば、外部オブジェクトによってタッチスクリーンディスプレイ１７上で入力される軌跡
、またはその他のユーザインターフェースによって手書き入力される軌跡である。たとえ
ば、外部オブジェクトが画面に一度接触してから離れるまでの間の外部オブジェクトの動
きの軌跡が１ストロークに相当する。タッチスクリーンディスプレイ１７は、画面上の外
部オブジェクトの動きの軌跡、つまり手書きされるストロークをリアルタイムに画面上に
表示する。
【００１２】
手書き文書の電子データ（以下、手書き文書）とは、手書きされた文字または図形など
に対応する多数のストロークの情報の集合である。手書き文書は、タブレット１０に内蔵
される記録媒体、ユーザの持つ他の電子機器、サーバ、またはクラウドに保存される。本
実施形態では、この手書き文書は、各ストローク（軌跡）を特定可能な画像（以下、イメ
ージデータ）であっても良く、各ストローク（軌跡）の座標列を特定可能なデータ（以下
、ストロークデータ）であっても良く、各ストロークのストロークデータと各ストローク
間の順序関係を示す時系列情報であっても良い。イメージデータとは、複数のストローク
が特定可能な画像であれば良く、少なくともストロークの形状が特定可能な画像であって
、その他、太さや色等の情報を含んでもよい。ストロークデータとは、各ストローク（軌
跡）の座標列を特定可能なデータであれば良く、例えば、１つのストロークデータがある
一つ（一画）のストロークに対応し、このストロークの軌跡上の点それぞれに対応する座
標データを含むデータである。時系列情報とは、複数のストロークが手書きされた順番（
筆順）が識別可能であって、且つ各ストロークを特定可能なデータであれば良い。時系列
情報の詳細は図４を参照して後述する。時系列情報に含まれるストロークデータの並びの
順序は、ストロークそれぞれが手書きされた順序つまり筆順を示しても良い。時系列情報
は、各ストロークデータに対応するストロークが手書きされた順序（筆順）の情報をさら
に含むものでもよく、各ストロークデータに対応するストロークが手書きされた時刻をさ
らに含むものでもよい。以下、手書き文書は、時系列情報として保存される例で説明する
が、イメージデータにより保存されても良く、複数のストロークが手書きされた順番（筆
順）が識別不可能な形態にて保存されても良い。
【００１３】
タブレット１０は、時系列情報によって示される複数のストロークを画面上に表示でき
る。タブレット１０は編集機能を有する。この編集機能は、「消しゴム」ツール、範囲指
定ツール、および他の各種ツール等を用いたユーザによる操作に応じて、表示中の手書き
文書内の任意のストロークまたは任意の手書き文字等を削除または移動すること、幾つか
の手書き操作の履歴を取り消す機能を含んでも良い。
【００１４】
時系列情報（手書き文書）は、１つまたは複数のページとして管理されうる。時系列情
報（手書き文書）は、１つの画面に収まる面積単位（ページ）で区切られて記録されても
よい。ページのサイズは可変でよい。ページのサイズは１つの画面のサイズよりも大きい
面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのペ
ージとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場
合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内
の表示対象部分を移動するようにしてもよい。
【００１５】
図２は、タブレット１０と外部装置との連携動作の例を示す。タブレット１０は、パー
ソナルコンピュータ１やクラウドと連携できる。タブレット１０は、有線ＬＡＮや、無線
ＬＡＮ、セルラー（３Ｇ、ＬＴＥ、ＬＴＥ−ａｄｖａｎｃｅｄ）などの通信デバイスを備
えており、パーソナルコンピュータ１、またはサーバ２と通信できる。サーバ２はオンラ
インストレージサービス、他の各種クラウドコンピューティングサービスを実行するサー
バであってもよい。
【００１６】
パーソナルコンピュータ１は、ハードディスクドライブ（ＨＤＤ）、半導体メモリ（Ｎ
ＡＮＤメモリ、ＮＯＲメモリ）等のストレージデバイスを備える。タブレット１０は、時
系列情報（手書き文書）をネットワーク越しにパーソナルコンピュータ１へ送信して、パ
ーソナルコンピュータ１のストレージデバイスに時系列情報を記録することができる（ア
ップロード）。タブレット１０とパーソナルコンピュータ１との間のセキュアな通信を確
保するために、通信開始時には、パーソナルコンピュータ１とタブレット１０との認証処
理がなされてもよい。これにより、タブレット１０内のストレージの容量が少ない場合で
も、タブレット１０が多数の時系列情報（手書き文書）あるいは大容量の時系列情報（手
書き文書）を扱うことが可能となる。タブレット１０は、パーソナルコンピュータ１のス
トレージデバイスに記録されている任意の１以上の時系列情報を読み出し（ダウンロード
）、その読み出した時系列情報によって示されるストロークをディスプレイ１７の画面に
表示できる。
【００１７】
タブレット１０が通信する先は、ストレージサービスなどを提供するクラウド上のサー
バ２であってよい。タブレット１０は、時系列情報（手書き文書）をネットワーク越しに
サーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アッ
プロード）。タブレット１０は、サーバ２のストレージデバイス２Ａに記録されている任
意の時系列情報を読み出して（ダウンロード）、その時系列情報によって示されるストロ
ークそれぞれの軌跡をタブレット１０のディスプレイ１７の画面に表示できる。
【００１８】
このように、本実施形態では、時系列情報（手書き文書）が格納される記憶媒体は、タ
ブレット１０からアクセス可能なストレージデバイスであればどのようなものであっても
良く、タブレット１０内のストレージデバイス、パーソナルコンピュータ１内のストレー
ジデバイス、サーバ２のストレージデバイス等のいずれであってもよい。
【００１９】
図３および図４を参照して、ユーザによって手書きされたストローク（文字、マーク、
図形、表など）と時系列情報との関係について説明する。図３は、ペン１００などを使用
してタッチスクリーンディスプレイ１７上に手書きされる手書き文書の例を示す。手書き
文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書き
されてもよい。図３においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の
順番で手書きされ、この後に、「矢印」が、手書き文字「Ａ」のすぐ近くに手書きされた
場合が想定されている。
【００２０】
図４は、図３の手書き文書に対応する時系列情報２００を示す。時系列情報は、複数の
ストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。図４で示す時系列情報２００の例
では、ストロークの筆跡順（時系列順）に、ストロークデータＳＤ１、ＳＤ２、…、ＳＤ
７が並べられている。
【００２１】
手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧
」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最
初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサ
ンプリングされ、これによって「∧」形状のストロークデータＳＤ１（時系列座標ＳＤ１
１、ＳＤ１２、…ＳＤ１ｎ）が得られる。同様に、次に手書きされる「−」形状のペン１
００の軌跡もサンプリングされ、これによって「−」形状のストロークデータＳＤ２（時
系列座標ＳＤ２１、ＳＤ２２、…ＳＤ２ｎ）が得られる。手書き文字「Ｂ」は、２つのス
トロークデータＳＤ３、ＳＤ４（時系列座標ＳＤ３１…ＳＤ３ｎ、ＳＤ４１…ＳＤ４ｎ）
によって表現される。手書き文字「Ｃ」は、１つのストロークデータＳＤ５（時系列座標
ＳＤ５１…ＳＤ５ｎ）によって表現される。手書きの「矢印」は、２つのストロークデー
タＳＤ６、ＳＤ７（時系列座標ＳＤ６１…ＳＤ６ｎ、ＳＤ７１…ＳＤ７ｎ）によって表現
される。
【００２２】
各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、
つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。例え
ば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧
」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つ
まりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２
は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標デ
ータ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標
データの数（ｎ）はストロークデータ毎に異なっていてもよい。
【００２３】
各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例
えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）および
Ｙ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ
）およびＹ座標（Ｙ１ｎ）を示す。
【００２４】
さらに、各座標データは、その座標に対応する点が手書きされた時刻に対応するタイム
スタンプ情報Ｔを含むことができる。手書きされた時刻は、絶対時刻（例えば、年月日時
分秒）またはある時点を基準とした相対時刻のいずれであってもよい。例えば、各ストロ
ークデータに、ストロークが書き始められた絶対時刻（例えば、年月日時分秒）をタイム
スタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時刻と
の差分を示す相対時刻をタイムスタンプ情報Ｔとして付加してもよい。タイムスタンプ情
報Ｔを含む各座標データ（時系列情報）により、ストローク間の時間的関係をより精度よ
く表すことができる。
【００２５】
さらに、各座標データは、筆圧を示す情報（Ｚ）を含むことができる。筆圧を示す情報
（Ｚ）を含む各座標データ（時系列情報）は、手書き入力されたストロークについての個
人の癖を精度よく表し、各ストロークの手書き入力者を精度よく特定できる。
【００２６】
手書き文書が時系列のストロークデータの集合から構成される時系列情報２００として
記憶されることで、手書き文字の言語に依存せずに手書き文字を扱うことができ、使用言
語の異なる世界中の様々な国で共通に使用できる。
【００２７】
図５は、タブレット１０のシステム構成の一例を示す図である。タブレット１０は、図
５に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グ
ラフィクスコントローラ１０５、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線
通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。
【００２８】
ＣＰＵ１０１は、タブレット１０内の各種モジュールの動作を制御するプロセッサであ
る。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０
３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティ
ングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。
アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム２
０２が含まれている。このデジタルノートブックアプリケーションプログラム２０２は、
上述の手書き文書を作成および表示する機能、手書き文書を編集する機能、筆跡検索機能
、および文字・図表認識機能等を実現するためのものである。ＣＰＵ１０１は、ＢＩＯＳ
−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、
ハードウェア制御のためのプログラムである。
【００２９】
システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントと
の間を接続するデバイスである。システムコントローラ１０２は、主メモリ１０３をアク
セス制御するメモリコントローラを内蔵する。システムコントローラ１０２は、ＰＣＩ  
ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通
信を実行する機能も有する。
【００３０】
グラフィクスコントローラ１０４は、本タブレット１０のディスプレイモニタとして使
用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントロー
ラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示
信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂお
よびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上
で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上
の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイ
ザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイ
スである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイ
ザ１７Ｃによって検出される。
【００３１】
無線通信デバイス１０７は、無線ＬＡＮまたはセルラー通信などの無線通信を実行する
。タブレット１０は、無線通信デバイス１０７を介して、手書き文書を取得できる。ＥＣ
１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピ
ュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレット１
０を電源オンまたは電源オフする機能を有している。
【００３２】
タブレット１０は、さらに、カメラ（図示せず）を内蔵してもよく、スキャナ（図示せ
ず）が接続可能であってもよい。カメラやスキャナによって、手書き文書が撮像されるこ
とで、タブレット１０は、手書き文書のイメージデータを取得できる。
【００３３】
次に、図６を参照して、デジタルノートブックアプリケーションプログラム２０２の機
能構成について説明する。デジタルノートブックアプリケーションプログラム２０２は、
ペン軌跡表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存処
理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、処理対象ブロック
選択部３０７、認識処理部３０８等を備える。これらの機能ブロックは、デジタルノート
ブックアプリケーションプログラム２０２を実行するＣＰＵ１０１により実現される。
【００３４】
デジタルノートブックアプリケーションプログラム２０２は、タッチスクリーンディス
プレイ１７を介して入力されるイベント情報等を使用して、手書き文書の作成、表示、編
集等を行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」
、「リリース」等のイベントの発生を検出する。「タッチ」は、画面上に外部オブジェク
トが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジ
ェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリー
ス」は、画面から外部オブジェクトが離されたことを示すイベントである。
【００３５】
ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディス
プレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信
し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標
が含まれる。「移動（スライド）」イベントには、移動元、移動中、および移動先の接触
位置の座標が含まれる。ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タ
ッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信す
る。
【００３６】
ペン軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から受信した座標列
に基づいて、各ストロークの軌跡をタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａ
の画面上に表示する。ペン軌跡表示処理部３０１は、画面にペン１００が接触している間
のペン１００の軌跡、つまり各ストロークの軌跡をＬＣＤ１７Ａの画面上へ表示する。
【００３７】
時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から受信した座標列に
基づいて、図４で詳述したような構造を有する上述の時系列情報を生成する。時系列情報
生成部３０２は、時系列情報、つまりストロークの各点に対応する座標およびタイムスタ
ンプ情報を作業メモリ４０１に一時保存してもよい。
【００３８】
ページ保存処理部３０４は、生成された時系列情報を手書き文書（手書きページ）とし
て記憶媒体４０２に保存する。記憶媒体４０２は、上述したように、タブレット１０内の
ストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のス
トレージデバイスのいずれであってもよい。
【００３９】
ページ取得処理部３０５は、記憶媒体４０２に格納されている任意の時系列情報を読み
出し、手書き文書表示処理部３０６に送る。手書き文書表示処理部３０６は、時系列情報
に基づいて、各ストロークの軌跡を画面上に手書きページとして表示する。
【００４０】
編集処理部３０３は現在表示中の手書きページを編集するための処理を実行する。編集
処理部３０３は、タッチスクリーンディスプレイ１７上でユーザによって行われる編集操
作に応じて、表示されている複数のストローク内の１以上のストロークを削除または移動
等するための編集処理を実行する。編集処理部３０３は、例えば、ユーザによって編集メ
ニューから「削除」または「移動」等のメニューが選択された場合、処理対象のストロー
クに対する削除、移動等の処理を実行する。ユーザは、例えば、「消しゴム」ツール、ペ
ン１００の逆側の端部、ペン１００によるタップ等を使用して、表示されている複数のス
トローク内の任意のストロークを削除できる。ユーザは、処理対象のストロークを、外部
オブジェクトによりドラッグアンドドロップ等することによって、表示されている複数の
ストローク内の任意のストロークを移動できる。編集処理部３０３は、編集処理の結果を
反映するためにこの時系列情報を更新する。時系列情報においては、移動された各ストロ
ークの時系列座標は、移動先位置に応じて自動的に変更されてもよい。移動された各スト
ロークの時系列座標を変更したことを表す操作履歴が時系列情報に追加されてもよい。削
除された各ストロークの時系列座標は、削除されてもよい。削除された各ストロークの時
系列座標を削除したことを表す操作履歴が時系列情報に追加されてもよい。
【００４１】
処理対象ブロック選択部３０７は、現在表示中の手書きページの全部または一部を選択
するための処理を実行する。処理対象ブロック選択部３０７は、タッチスクリーンディス
プレイ１７上でユーザによって選択される領域に応じて、表示されている複数のストロー
ク内の１以上のストロークを選択するための処理を実行できる。処理対象ブロック選択部
３０７は、選択される領域又はストロークを、タッチスクリーンディスプレイ１７上にお
けるユーザの手またはペンの移動やストローク上へのタッチ、タッチが一定期間内に連続
して行われるダブルタッチ等に応じて定めることができる。
【００４２】
認識処理部３０８は、処理対象ブロック選択部３０７で選択される手書き文書の一部、
或いは手書き文書全体に対して、手書き文書（ストローク）の整形処理を行う。認識処理
部３０８は、ストロークのうち文字に対応する部分に対して文字認識処理を実行し、スト
ロークのうち表に対応する部分に対して表認識処理を実行し、ストロークのうち図形に対
応する部分に対して図形認識処理を実行する。認識処理部３０８は、表の各セルに含まれ
るストロークに対して文字認識処理を行い、そのストロークに対応する記号を出力可能で
ある。記号とは、文字や、数字、マーク、数式、数学記号、地図記号等を含むものであっ
て、コンピュータでいずれかのコードと対応付けられるものであればどのようなものであ
っても良い。認識処理部３０８は、ユーザによる手書き文書を整形するための操作に応じ
て整形処理を実行する。手書き文書を整形するための操作（以下、整形操作）は、ユーザ
による編集メニューから「整形」のメニューの選択であっても良く、ユーザの手またはペ
ンによるジェスチャ等であっても良い。
【００４３】
図７、８は、手書き文書の一例、並びに、手書き文書の整形結果の一例を示す図である
。先頭行は各列の表題（上、中、下、合計）であり、２行目から１３行目がそれぞれ１月
から１２月の内訳・合計に対応し、末尾行は２行目から１３行目の値の合計である。先頭
列は、各行の表題（１月から１２月、計）であり、２列目から４列目がそれぞれ上、中、
下の内訳・合計に対応し、末尾列は２列目から４列目の値の合計である。
【００４４】
認識処理部３０８は、表の中の１つのセル（第１セル）に対して認識処理を実行する場
合に、第１セルに含まれるストローク（第１ストローク）のみならず、第１セルと同一の
列又は行の他セルに含まれるストロークを用いて、認識処理を実行する。認識処理部３０
８は、第１セルに含まれる第１ストロークの認識処理を実行する場合に、第１ストローク
の認識結果に対応する複数の候補が得られる場合がある。認識処理部３０８は、第１セル
と同一の列又は行の他セルに含まれるストロークを用いて、第１ストロークの認識結果に
対応する複数の候補を、１つに絞りこむことができる。
【００４５】
例えば、図７の表の２行１列のセル内のストローク“１月”には“１日”が、１３行１
列のセル内のストローク“１２月”には“に月”が誤った認識結果の候補となる場合があ
る。図７の表の２行１列から１３行１列は、“数字”と“月”の組み合わせであるため、
認識処理部３０８は、２行１列のセル内のストロークの認識結果の候補“１月”と“１日
”のうち、正しい認識結果である“１月”に絞りこむことができ、１３行１列のセル内の
ストロークの認識結果の候補“１２月”と“に月”のうち、正しい認識結果である“１２
月”に絞りこむことができる。
【００４６】
また例えば、７行３列、２行５列等のセル内のストローク“７”には“ワ”や“ク”が
、４行２列、８行４列等のセル内のストローク“６”には“Ｇ”が、１２行５列のセル内
のストローク“１３”には“Ｂ”が、誤った認識結果の候補となる場合がある。図７の２
行２列から１４行５列は、“数字”であるため、認識処理部３０８は、７行３列、２行５
列等のセル内のストロークの認識結果の候補“７”と“ワ”と“ク”のうち、正しい認識
結果である“７”に絞りこむことができ、４行２列、８行４列等のセル内のストロークの
認識結果の候補“６”と“Ｇ”のうち正しい認識結果である“６”に絞りこむことができ
、１２行５列のセル内のストロークの認識結果の候補“１３”と“Ｂ”とのうち正しい認
識結果である“１３”に絞りこむことができる。
【００４７】
上記例では、認識処理部３０８は、第１セルと同一の列又は行の他セルに含まれるスト
ロークを用いずに、第１セルに含まれる第１ストロークの認識処理を行った場合には、誤
認識（“１日”、“に月”、“ワ”、“ク”、“Ｇ”、“Ｂ”）する場合がある。しかし
、認識処理部３０８は、そのような場合であっても、第１セルと同一の列又は行の他セル
に含まれるストロークを用いて、第１セルに含まれる第１ストロークの認識処理を行うこ
とで、正しく認識（“１月”、“１２月”、“７”、“６”、“１３”）できる。
【００４８】
上記例では、認識処理部３０８は、「数字」、「数字＋月」との規則性、文字の属性を
用いたが、その他に、「月名」、「曜日」、「アルファベット」、「英単語」、「ギリシ
ャ文字」、「連続する一定桁の数字」などを、認識結果の候補を絞りこむ際の規則（ルー
ル）として用いても良い。
【００４９】
認識処理部３０８は、第１セルに対して認識処理を実行する場合に、第１セルの第１ス
トロークに対応する値と、第１セルと同一の列又は行の他セルに含まれるストロークに対
応する値との数学的関係（数式）を用いて、認識処理を実行できる。例えば、認識処理部
３０８は、図７の表の同一行の２列目と３列目と４列目の値の合計が５列目の値となるこ
と、或いは同一列の２行目から１３行目の値の合計が１４行目の値となることを用いて、
認識処理を実行できる。第１セルの第１ストロークに対応する値と、第１セルと同一の列
の列又は行の列の他セルに含まれるストロークに対応する値の数学的関係（数式）は、四
則演算（加減乗除）等により特定されうる。認識処理部３０８は、図７の表の同一行の２
列目と３列目と４列目の値の合計が５列目の値となること、或いは同一列の２行目から１
３行目の値の合計が１４行目の値となることを用いて、５列目の認識結果又は１４行目の
認識結果の複数の候補のうち、特定された数学的関係（数式）を満たす候補に絞りこむこ
とができる。認識処理部３０８は、図７の表の同一行の２列目と３列目と４列目の値の合
計が５列目の値となること、或いは同一列の２行目から１３行目の値の合計が１４行目の
値となることを用いて、１行５列のセルのストローク“合計”と、１４行１列のセルのス
トローク“計”が手書きで記載されていなかったとしても、“合計”や“計”を追加する
ことができる。
【００５０】
認識処理部３０８は、第１セルに対して認識処理を実行する場合に、第１セルに含まれ
る第１ストロークのみならず、第１セルと同一の列の先頭列又は行の先頭列のセルに含ま
れるストロークを用いて、認識処理を実行できる。
【００５１】
例えば、認識処理部３０８は、図７の表の１行５列のセル内のストローク“合計”から
５列目のセルは「数字」である、或いは１４行１列のセル内のストローク“合計”から１
４行目のセルは「数字」であるとして、認識処理を実行できる。
【００５２】
また例えば、認識処理部３０８は、図７の表の１行５列のセル内のストローク“合計”
から同一行の２列目と３列目と４列目の値の合計が５列目の値となること、或いは１４行
1列のセル内のストローク“合計”から同一列の２行目から１３行目の値の合計が１４行
目の値となることを用いて、認識処理を実行できる。
【００５３】
認識処理部３０８は、第１セルの第１ストロークに対応する値と、第１セルと同一の列
又は行の他セルに含まれるストロークに対応する値との数学的関係（数式）が特定される
場合、第１ストロークに記載された値の計算ミスを検出できる。認識処理部３０８は、図
７の表の同一行の２列目と３列目と４列目の値の合計が５列目の値とならない場合、或い
は同一列の２行目から１３行目の値の合計が１４行目の値とならない場合に、５列目の値
或いは１４行目の値の計算ミスを自動で修正してもよく、ユーザに対して計算ミスを通知
しても良い。
【００５４】
認識処理部３０８は、第１セルの第１ストロークに対応する値と、第１セルと同一の列
又は行の他セルに含まれるストロークに対応する値との数学的関係（数式）が特定される
場合、空欄のセルの値を自動で推測して記入できる。認識処理部３０８は、図７の表の５
列目のセル、又は１４行目のセルの一部が空欄のセルであっても、自動で記入してもよく
、ユーザに対して空欄であること又は推測される値を通知しても良い。
【００５５】
認識処理部３０８は、第１セルの第１ストロークに対応する記号の属性と、第１セルと
同一の列又は行の他セルに含まれるストロークに対応する記号の属性との関係を用いて、
一部セルで記入が省略された部分を補完できる。認識処理部３０８は、図７の表の１列目
のセルは“数字＋月”であるため、例えば、８行目以降が“７”、“８”、“９”、“１
０”、“１１”、“１２”と、“月”が省略されて記載されていても、“７月”、“８月
”、“９月”、“１０月”、“１１月”、“１２月”と補完することができる。
【００５６】
認識処理部３０８は、第１セルの第１ストロークに対応する値と、第１セルと同一の列
又は行の他セルに含まれるストロークに対応する値との数学的関係（数式）が特定される
場合、第１セルの第１ストロークの認識結果を、第１セルの第１ストロークの文字認識結
果を算出するための数式とすることできる。例えば、図７の表では、同一行の２列目と３
列目と４列目の値の合計が５列目の値となること、或いは同一列の２行目から１３行目の
値の合計が１４行目の値となることを用いて、５列目の値に、文字認識結果である“数字
”を記載する代わりに、数式“＝ｓｕｍ（ｘｘ:ｘｘ）”を認識結果とすることができる
。
【００５７】
認識処理部３０８は、第１セルの第１ストロークと、第１セルと同一の列又は行の他セ
ルに含まれるストロークとを用いて、一部のセルのストロークの認識結果を削除不可とし
、他の一部のセルのストロークを削除可とすることができる。例えば、認識処理部３０８
は、第１セルの第１ストロークと、第１セルと同一の列又は行の他セルに含まれるストロ
ークとを用いて、いずれが表題であるかが特定される場合、表の各セルに含まれるストロ
ークのうち、表題に対応するストロークの認識結果に対して削除を禁止するためのフラグ
を付加し、表題に対応しないストロークの認識結果に対して削除を可能とするためのフラ
グを付加しても良い。例えば、認識処理部３０８は、図７の表では、先頭行は“文字列”
となっていることから、先頭行は各列の表題（上、中、下、合計）であり、先頭列は“数
字＋月”となっていることから、先頭列は各行の表題（１月から１２月、計）と推定でき
る。認識処理部３０８は、表の罫線部分に対応するストロークの認識結果と、表題に対応
する先頭行と先頭列のセルのストロークの認識結果とに削除を禁止するためのフラグを付
加し、表題に対応しないセルのストロークの認識結果に削除を可能とするためのフラグを
付加することで、次回以降も繰り返し手書き時に使用可能なテンプレートを簡便に生成で
きる。
【００５８】
認識処理部３０８は、整形操作に応じて、上記の認識処理を実行し、その認識結果をＬ
ＣＤ１７Ａへ出力する。認識処理部３０８は、処理対象ブロック選択部３０７で手書き文
書のページ全体が選択されているときに整形操作がされた場合、手書きのページに代えて
、手書き文書のページ全体の認識結果をＬＣＤ１７Ａへ出力する。ＬＣＤ１７Ａには、手
書き文書のページ全体と、その認識結果との双方が表示されても良く、それらが切り替え
可能に表示されても良い。認識処理部３０８は、処理対象ブロック選択部３０７で手書き
文書のページの一部領域が選択されているときに整形操作がされた場合、手書き文書のペ
ージの一部領域のストロークに代えて、手書き文書のページの一部領域の認識結果をＬＣ
Ｄ１７Ａへ出力する。ＬＣＤ１７Ａには、手書き文書のページ一部領域と、その認識結果
との双方が表示されても良く、それらが切り替え可能に表示されても良い。
【００５９】
認識処理部３０８は、上記の通り、自動的に認識結果を修正、追加した場合、当該箇所
の表示形態を変えるための情報をあわせて出力しても良い。認識処理部３０８によって自
動的に修正、追加された認識結果は、他のストロークの認識結果と異なる表示形態（異な
る色、線種、薄さ等）で表示されても良く、手書きのストロークがあわせて表示されても
良く、認識結果と手書きのストロークと切り替え可能な表示がなされてもよい。認識処理
部３０８は、手書きの表の認識結果を出力するのみならず、その表に適したグラフ（棒グ
ラフ、折れ線グラフ等）を、あわせて出力しても良い。
【００６０】
図９は、手書き文書の一例を示す図である。図９の手書き文書には、“佐藤大介”、“
伊藤次郎”、“山本三郎”と、評価“Ａ”、“Ｂ”、“Ｂ”とがそれぞれ対応付けられた
表（以下、評価テーブル）と、社員ＩＤ“１０１１”、“１０１２”、“１０１３”と、
氏名“伊藤次郎”、“佐藤大介”、“山本三郎”とがそれぞれ対応付けられた表（以下、
従業員テーブル）とが含まれる。
【００６１】
認識処理部３０８は、評価テーブルの２行１列から４行１列が「文字列」であること、
評価テーブルの２行２列から４行２列が「アルファベット」であること、評価テーブルの
１行２列が「主題」であること、従業員テーブルの２行１列から４行１列が「数字の列」
であること、従業員テーブルの２行２列から４行２列が「文字列」であること、従業員テ
ーブルの１行１列と１行２列とが「主題」であること、を用いて、上記と同様に、認識処
理を実行することができる。
【００６２】
認識処理部３０８は、第１セルの第１ストロークに対応する値が、他の情報（他の表、
データベース、Ｗｅｂページ等）と関連することが特定される場合、第１セルの第１スト
ロークに対応する認識結果に、他の情報へのリンクに関する情報を付加できる。認識処理
部３０８は、例えば、評価テーブルの２行１列から４行１列“伊藤次郎”、“佐藤大介”
、“山本三郎”の認識結果に対して、従業員テーブルに同様のエントリがあることを検知
できた場合、社員ＩＤ等の従業員テーブルへのリンクに関する情報を付加できる。認識処
理部３０８は、評価テーブルの１列目と、従業員テーブルの２列目とを結ぶ手書きのスト
ロークが記入された場合に、評価テーブルの２行１列から４行１列“伊藤次郎”、“佐藤
大介”、“山本三郎”の認識結果に対して、社員ＩＤ等の従業員テーブルへのリンクに関
する情報を付加しても良い。認識処理部３０８は、その他、ユーザから、他の表、データ
ベース、Ｗｅｂページ等との関連付けが入力された場合に、認識結果に対して他の情報へ
のリンクに関する情報を付加しても良い。
【００６３】
このように第１の実施形態では、表の中の１つのセル（第１セル）に対して認識処理を
実行する場合に、第１セルに含まれるストローク（第１ストローク）のみならず、第１セ
ルと同一の列又は行の他セルに含まれるストロークを用いて、認識処理を実行する。この
ようにすることで、例えば手書き可能なタブレットなどで、手書きで表を描いたものをデ
ジタルの表データとして認識する場合、文字の誤認識を抑制でき、表の変換／整形の手間
を大幅に改善できるようになる。
【００６４】
上記の例では、整形操作があった際に、認識処理部３０８が手書きの表の認識処理を実
行する形態を説明した。しかし、ユーザによる特段の操作（例えば、整形操作）がなされ
なくても、ユーザにより手書きで文書が入力されているときに、リアルタイムに認識処理
部３０８が認識処理を実行しても良い。この場合、ＬＣＤ１７Ａの表示は、リアルタイム
に認識結果に置換されてもよく、認識結果に置換可能な状態となるのみであってもよい。
【００６５】
デジタルノートブックアプリケーションプログラム２０２並びに各機能ブロックは、Ｃ
ＰＵ１０１により実行されるものとして説明したが、これに限られない。認識処理部３０
８が、パーソナルコンピュータ１内のプロセッサ、サーバ２のプロセッサによって実行さ
れることによって実現されてもよい。この場合、タブレット１０は、パーソナルコンピュ
ータ１又はサーバ２に対して、認識処理の対象であるストロークデータを送付しても良い
。
【００６６】
ペン軌跡表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存
処理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、および処理対象
ブロック選択部３０７、認識処理部３０８等のすべてが、パーソナルコンピュータ１内の
プロセッサ、サーバ２のプロセッサによって実行されることによって実現されてもよい。
この場合、タブレット１０は、パーソナルコンピュータ１又はサーバ２に対して、タッチ
スクリーンディスプレイ１７により検出されるイベント等の情報、ユーザによる編集メニ
ューの操作等の情報を送信しても良く、最終的な処理結果を示す画像情報を受信してもよ
い。
【００６７】
時系列情報生成部３０２、手書き文書表示処理部３０６以外のデジタルノートブックア
プリケーションプログラム２０２の各機能ブロックが、パーソナルコンピュータ１内のプ
ロセッサ、サーバ２のプロセッサによって実行されることによって実現されてもよい。こ
の場合、タブレット１０は、パーソナルコンピュータ１又はサーバ２に対して、ユーザに
より入力される時系列情報、編集メニューの操作等の情報を送信しても良い。
【００６８】
このように、デジタルノートブックアプリケーションプログラム２０２の少なくとも１
つの機能ブロックが、パーソナルコンピュータ１内のプロセッサ、サーバ２のプロセッサ
によって実行されることによって実現される場合には、作業メモリ４０１、記憶媒体４０
２は、タブレット１０内のストレージデバイス、パーソナルコンピュータ１内のストレー
ジデバイス、サーバ２のストレージデバイスの少なくとも１つ以上のストレージによって
実現されてもよい。
【００６９】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要
旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示され
ている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。また、例え
ば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【符号の説明】
【００７０】
１…パーソナルコンピュータ、２…サーバ、２Ａ…記憶装置、１０…タブレットコンピュ
ータ、１１…本体、１７…タッチスクリーンディスプレイ、１７Ａ…ＬＣＤ、１７Ｂ…タ
ッチパネル、１７Ｃ…デジタイザ、１００…ペン、１０１…ＣＰＵ、１０２…システムコ
ントローラ、１０３…主メモリ、１０４…グラフィクスコントローラ、１０５…ＢＩＯＳ
−ＲＯＭ、１０６…不揮発性メモリ、１０７…無線通信デバイス、１０８…ＥＣ、２００
…時系列情報、２０１…ＯＳ、２０２…デジタルノートブックＡＰＬ、３０１…ペン軌跡
表示処理部、３０２…時系列情報生成部、３０３…編集処理部、３０４…ページ保存処理
部、３０５…ページ取得処理部、３０６…手書き文書表示処理部、３０７…処理対象ブロ
ック選択部、３０８…認識処理部、４０１…作業メモリ、４０２…記憶媒体
【図１】
2015032279.tif 000003
【図２】
2015032279.tif 000004
【図３】
2015032279.tif 000005
【図４】
2015032279.tif 000006
【図５】
2015032279.tif 000007
【図６】
2015032279.tif 000008
【図７】
2015032279.tif 000009
【図８】
2015032279.tif 000010
【図９】
2015032279.tif 000011