(57)【要約】【課題】電子文書内の文書に対して付加された注釈を管理すること。【解決手段】実施形態によれば、電子機器は、表示処理手段と処理手段とを具備する。表示処理手段は、電子文書と、前記電子文書上に複数の手書きストロークとを表示する。処理手段は、線状の第１ストロークであって前記電子文書内の第１要素の近傍に位置する一端を有する第１ストロークが入力される場合、前記第１ストロークの一端の近傍に位置する第２ストロークと、前記第１ストロークの他端の近傍に位置する第３ストロークとのうち、前記第３ストロークと、前記第１ストロークとを関連付ける。【選択図】    図５
2015049603.tif 000002
【特許請求の範囲】
【請求項１】
電子文書と、前記電子文書上に複数の手書きストロークとを表示する表示処理手段と、
線状の第１ストロークであって前記電子文書内の第１要素の近傍に位置する一端を有する第１ストロークが入力される場合、前記第１ストロークと、前記第１ストロークの一端の近傍に位置する第２ストロークと、前記第１ストロークの他端の近傍に位置する第３ストロークとのうち、前記第３ストロークと、前記第１ストロークとを関連付ける処理手段
を具備する電子機器。
【請求項２】
前記第１要素の近傍に位置する一端を有する前記第１ストロークが入力され、前記第１ストロークが矢印に対応する場合であって、前記第１ストロークの一端が矢印の先端に対応し、前記第１ストロークの他端が矢印の根元に対応する場合、前記処理手段は、前記第３ストロークと、前記第１ストロークとを関連付ける
請求項１に記載の電子機器。
【請求項３】
前記第１要素の近傍に位置する一端を有する前記第１ストロークが入力され、前記第１ストロークの一端が前記電子文書の文字又は記号又は図形を表示する領域内に位置し、前記第１ストロークの他端が前記電子文書の余白を表示する領域内に位置する場合、前記処理手段は、前記第３ストロークと、前記第１ストロークとを関連付ける
請求項１に記載の電子機器。
【請求項４】
前記第１ストロークは、前記第１要素と、前記第３ストロークとを関連付けるものであって、
前記第３ストロークの表示位置が変更される場合に、前記第１ストロークの形状は、前記第３ストロークの表示位置に応じて変更される請求項１に記載の電子機器。
【請求項５】
電子文書と、前記電子文書上に複数の手書きストロークとを表示し、
線状の第１ストロークであって前記電子文書内の第１要素の近傍に位置する一端を有する第１ストロークが入力される場合、前記第１ストロークと、前記第１ストロークの一端の近傍に位置する第２ストロークと、前記第１ストロークの他端の近傍に位置する第３ストロークとのうち、前記第３ストロークと、前記第１ストロークとを関連付ける
管理方法。
【請求項６】
前記第１要素の近傍に位置する一端を有する前記第１ストロークが入力され、前記第１ストロークが矢印に対応する場合であって、前記第１ストロークの一端が矢印の先端に対応し、前記第１ストロークの他端が矢印の根元に対応する場合、前記関連付けることは、前記第３ストロークと、前記第１ストロークとを関連付けることを含む
請求項５に記載の管理方法。
【請求項７】
前記第１要素の近傍に位置する一端を有する前記第１ストロークが入力され、前記第１ストロークの一端が前記電子文書の文字又は記号又は図形を表示する領域内に位置し、前記第１ストロークの他端が前記電子文書の余白を表示する領域内に位置する場合、前記関連付けることは、前記第３ストロークと、前記第１ストロークとを関連付けることを含む
請求項５に記載の管理方法。
【請求項８】
前記第１ストロークは、前記第１要素と、前記第３ストロークとを関連付けるものであって、
前記第３ストロークの表示位置が変更される場合に、前記第１ストロークの形状は、前記第３ストロークの表示位置に応じて変更される請求項５に記載の管理方法。
【請求項９】
コンピュータによって実行されるプログラムであって、
電子文書と、前記電子文書上に複数の手書きストロークとを表示する手順と、
線状の第１ストロークであって前記電子文書内の第１要素の近傍に位置する一端を有する第１ストロークが入力される場合、前記第１ストロークと、前記第１ストロークの一端の近傍に位置する第２ストロークと、前記第１ストロークの他端の近傍に位置する第３ストロークとのうち、前記第３ストロークと、前記第１ストロークとを関連付ける手順と
を前記コンピュータに実行させるためのプログラム。
【請求項１０】
前記第１要素の近傍に位置する一端を有する前記第１ストロークが入力され、前記第１ストロークが矢印に対応する場合であって、前記第１ストロークの一端が矢印の先端に対応し、前記第１ストロークの他端が矢印の根元に対応する場合、前記関連付ける手順は、前記第３ストロークと、前記第１ストロークとを関連付けることを含む
請求項９に記載のプログラム。
【請求項１１】
前記第１要素の近傍に位置する一端を有する前記第１ストロークが入力され、前記第１ストロークの一端が前記電子文書の文字又は記号又は図形を表示する領域内に位置し、前記第１ストロークの他端が前記電子文書の余白を表示する領域内に位置する場合、前記関連付ける手順は、前記第３ストロークと、前記第１ストロークとを関連付ける手順ことを含む
請求項９に記載のプログラム。
【請求項１２】
前記第１ストロークは、前記第１要素と、前記第３ストロークとを関連付けるものであって、
前記第３ストロークの表示位置が変更される場合に、前記第１ストロークの形状は、前記第３ストロークの表示位置に応じて変更される請求項９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、電子文書上の手書きストロークを処理する電子機器に関する。
【背景技術】
【０００２】
近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。
【０００３】
ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を携帯型電子機器に指示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１８７２１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タッチスクリーンディスプレイに対して手書き入力される複数の手書きストロークによって、ＨＴＭＬ文書等の電子文書内の文書に対して注釈を付加することが考えられている。電子文書内の文書に対して付加された注釈を管理する方法が望まれている。
【０００６】
本発明の一形態の目的は、電子文書内の文書に対して付加された注釈を取り扱い可能な電子機器を提供することにある。
【課題を解決するための手段】
【０００７】
実施形態によれば、電子機器は、表示処理手段と処理手段とを具備する。表示処理手段は、電子文書と、前記電子文書上に複数の手書きストロークとを表示する。処理手段は、線状の第１ストロークであって前記電子文書内の第１要素の近傍に位置する一端を有する第１ストロークが入力される場合、前記第１ストロークの一端の近傍に位置する第２ストロークと、前記第１ストロークの他端の近傍に位置する第３ストロークとのうち、前記第３ストロークと、前記第１ストロークとを関連付ける。
【図面の簡単な説明】
【０００８】
【図１】実施形態の電子機器の外観を示す斜視図。
【図２】同実施形態の電子機器と外部装置との連携動作を示す図。
【図３】電子文書上に手書き文書が表示されている状態を示す図。
【図４】タブレットコンピュータのシステム構成を示すブロック図。
【図５】ブラウザアプリケーションプログラムの機能構成を示すブロック図。
【図６】手書き文書内の手書き「指示線」と手書き注釈とを含む領域を示す図。
【図７】ユーザによって手書きされたストローク（文字、マーク、図形など）と時系列情報との関係を示す図。
【図８】電子文書上の手書き文書に対して得られた時系列座標を示す図。
【図９】図３の手書き文書「矢印」、「Ｉ」、「ｍ」、「ｐ」に対応する時系列情報を示す図。
【図１０】手書き「矢印」の方向と直交する直線による領域の絞り込みを示す図。
【図１１】図８の各ストローク（ポイント）を時間軸上に並べた図。
【図１２】手書き「指示線」および手書き注釈を抽出し、手書き「指示線」のストロークと手書き注釈とを関連付ける処理の手順を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照して説明する。
【００１０】
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ等として実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはストレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。
【００１１】
本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を想定する。
【００１２】
デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト（ペン１００又は指）の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡（筆跡）がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡（筆跡）の集合が手書き文書を構成する。
【００１３】
本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に保存される。この時系列情報は、概して、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つの手書きストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。
【００１４】
タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。さらに、タブレットコンピュータ１０は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲指定ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書き文字等を削除または移動することができる。さらに、この編集機能は、幾つかの手書き操作の履歴を取り消す機能も含んでいる。
【００１５】
図２は、タブレットコンピュータ１０と外部装置との連携動作の例を示している。タブレットコンピュータ１０は、パーソナルコンピュータ１やクラウドと連携することができる。すなわち、タブレットコンピュータ１０は、無線ＬＡＮなどの無線通信デバイスを備えており、パーソナルコンピュータ１との無線通信を実行することができる。さらに、タブレットコンピュータ１０は、インターネット上のサーバ２との通信を実行することもできる。サーバ２はオンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。
【００１６】
パーソナルコンピュータ１はハードディスクドライブ（ＨＤＤ）のようなストレージデバイスを備えている。タブレットコンピュータ１０は、時系列情報（手書き文書）をネットワーク越しにパーソナルコンピュータ１に送信して、パーソナルコンピュータ１のＨＤＤに記録することができる（アップロード）。タブレットコンピュータ１０とパーソナルコンピュータ１との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ１がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤなどを自動的にタブレットコンピュータ１０からパーソナルコンピュータ１に送信してもよい。
【００１７】
これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数の時系列情報（手書き文書）あるいは大容量の時系列情報（手書き文書）を扱うことが可能となる。
【００１８】
さらに、タブレットコンピュータ１０は、パーソナルコンピュータ１のＨＤＤに記録されている任意の１以上の時系列情報を読み出し（ダウンロード）、その読み出した時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。
【００１９】
さらに、タブレットコンピュータ１０が通信する先はパーソナルコンピュータ１ではなく、上述したように、ストレージサービスなどを提供するクラウド上のサーバ２であってよい。タブレットコンピュータ１０は、時系列情報（手書き文書）をネットワーク越しにサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。さらに、タブレットコンピュータ１０は、サーバ２のストレージデバイス２Ａに記録されている任意の時系列情報を読み出して（ダウンロード）、その時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のディスプレイ１７の画面に表示することができる。
【００２０】
このように、本実施形態では、時系列情報が格納される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。
【００２１】
コンピュータ１０は、ブラウザアプリケーションを実行することが可能である。ブラウザアプリケーションは、外部サーバ等からＨＴＭＬ文書やＰＤＦファイル等の電子文書を画面上に表示する。また、ブラウザアプリケーションは、電子文書上での手書き入力ストロークの軌跡（筆跡）がリアルタイムに描画し、これによって各ストロークの軌跡が電子文書上に表示される。
【００２２】
図３は、電子文書上に手書き文書が表示されている状態を示す図である。  
図３に示すように、電子文書上に、手書き「ｏｋ」、手書き「矢印」、手書き「Ｉｍｐｏｒｔａｎｔ」、手書き「星印」、手書き「線」、手書き「ｇｏｏｄ」が表示されている。
【００２３】
電子文書と、電子文書上に手書きされた手書き文書（時系列情報）とが関連付けられて、記憶媒体に格納される。
【００２４】
図４は、タブレットコンピュータ１０のシステム構成を示す図である。  
タブレットコンピュータ１０は、図３に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。
【００２５】
ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、ブラウザアプリケーションプログラム２０２が含まれている。このブラウザアプリケーションプログラム２０２は、ＷｅｂサーバからＨＴＭＬ（hypertext markup language）文書等の電子文書を取得し、電子宇文書を表示する機能、および電子文書上に対して手書き文書を作成および表示する機能、手書き文書を編集する機能等を有している。
【００２６】
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００２７】
システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ  ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
【００２８】
グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。
【００２９】
無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。
【００３０】
次に、図５を参照して、ブラウザアプリケーションプログラム２０２の機能構成について説明する。
【００３１】
ブラウザアプリケーションプログラム２０２は、表示処理部３０１、時系列情報生成部３０２、電子文書取得処理部３０３、保存処理部３０６、取得処理部３０７、注釈抽出処理部３０８等を備える。
【００３２】
ブラウザアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を用いて入力されるストロークデータを使用することによって、手書き文書の作成、表示、編集等を行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。
【００３３】
電子文書取得処理部３０３は、ユーザによってブラウジング操作が行われた場合、Ｗｅｂサーバ等からＨＴＭＬ文書やＰＤＦ（Portable Document Format）文書等の電子文書を取得する。ブラウジング操作は、ユーザが指定したＵＲＬ（uniform resource locator）を指定する、または画面上に表示されている電子文書に埋め込まれているリンクをタッチする等の操作である。
【００３４】
表示処理部３０１は、電子文書取得処理部３０３によって取得された電子文書をＬＣＤ1７Ａの表示画面上に表示する。電子文書は作業メモリ３２０に一時保存してもよい。
【００３５】
また、表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントにも、移動先の接触位置の座標が含まれている。したがって、表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信することができる。
【００３６】
表示処理部３０１は、タッチスクリーンディスプレイ１７から座標列を受信し、この座標列に基づいて、ペン１００等を使用した手書き入力操作によって手書きされる各ストロークの軌跡を電子文書上に表示する。この表示処理部３０１により、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡が電子文書上に描かれる。
【００３７】
時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から出力される上述の座標列を受信し、この座標列に基づいて、時系列情報を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ３２０に一時保存してもよい。
【００３８】
保存処理部３０６は、電子文書と、生成された時系列情報とを関連付けて記憶媒体４０２に保存する。記憶媒体４０２は、上述したように、タブレットコンピュータ１０内のストレージデバイスや、ネットワークやＵＳＢ等を介したストレージデバイスのいずれであってもよい。
【００３９】
取得処理部３０７は、記憶媒体４０２から既に格納されている電子文書と、電子文書に関連付けられている時系列情報を読み出す。読み出された電子文書と、電子文書に関連付けられている時系列情報とは表示処理部３０１に送られる。表示処理部３０１は、電子文書と時系列情報とを解析する。この解析結果に基づいて、表示処理部３０１は、電子文書と、電子文書上の時系列情報によって示される各ストロークの軌跡とをＬＣＤ１７Ａに表示する。
【００４０】
注釈抽出処理部３０８は、作業メモリ３２０または記憶媒体４０２内に格納されている電子文書と、この電子文書に関連付けられている時系列情報に基づいて、時系列情報から文書を指し示す手書き「指示線」（手書き「線」および手書き「矢印」を含む）に対応するストロークデータと手書き注釈（手書き文字、手書きマークを含む）に対応するストロークデータとを抽出する処理を行う。そして、注釈抽出処理部３０８は、手書き「指示線」と注釈とを関連付けた情報を記憶媒体４０２に格納する。
【００４１】
言い換えると、注釈抽出処理部３０８は、電子文書上に手書き入力された複数の軌跡に対応する複数のストロークデータの内の、電子文書内の要素（文書、グラフィクス等）に近傍する手書き「指示線」に対応するストロークデータを含む１以上のストロークデータと、複数のストロークデータの内の、手書き「指示線」の他端近傍に位置する一つ以上の軌跡に対応する一つ以上のストロークデータとを関連付ける処理を行う。なお、手書き「指示線」は、手書き「指示線」の一端の近傍に位置する要素と、手書き「指示線」の他端の近傍に位置する１以上のストロークデータとを関連付ける。
【００４２】
次に、手書き「線」および手書き注釈を抽出する方法を説明する前に、図７を参照してユーザによって手書きされたストローク（文字、マーク、図形など）と時系列情報との関係について説明する。図７は、図３に図示されている手書き「矢印」を例にしている。
【００４３】
手書き「矢印」は、ペン１００などを使用して手書きされる２つのストローク（「-」形状の軌跡（シャフト７０１）、「<」形状の軌跡（アローヘッド７０２））、つまり２つの軌跡によって表現される。最初に手書きされる「-」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「-」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｈが得られる。同様に、次に手書きされる「<」形状のペン１００の軌跡もサンプリングされ、これによって「<」形状のストロークの時系列座標ＳＤ２１、ＳＤ２２、…ＳＤ２ｊが得られる。
【００４４】
図８は、電子文書上の手書き文書に対して得られた時系列座標を示す図である。なお、図８では、電子文書の図示を省略している。
【００４５】
手書き「矢印」の後に手書き文字列「Ｉｍｐｏｒｔａｎｔ」が手書きされる。「Ｉｍｐｏｒｔａｎｔ」の手書き文字列は、「Ｉ」、「ｍ」、「ｐ」、「ｏ」、「ｒ」、「ｔ」、「ａ」、「ｎ」、「ｔ」の順番で手書きされている。同様に、「Ｉ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「Ｉ」形状のストロークの時系列座標ＳＤ３１、…ＳＤ３ｋ、ＳＤ４１、…ＳＤ４ｍ、ＳＤ５１、…ＳＤ５ｎが得られる。
【００４６】
同様に、「ｍ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｍ」形状のストロークの時系列座標ＳＤ６１、…ＳＤ６ｏが得られる。同様に、「ｐ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｐ」形状のストロークの時系列座標ＳＤ７１、…ＳＤ７ｐが得られる。同様に、「ｏ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｏ」形状のストロークの時系列座標ＳＤ８１、…ＳＤ８ｑが得られる。同様に、「ｒ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｒ」形状のストロークの時系列座標ＳＤ９１、…ＳＤ９ｒが得られる。同様に、「ｔ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｔ」形状のストロークの時系列座標ＳＤ１０１、…ＳＤ１０ｓ、ＳＤ１１１、…ＳＤ１１ｔが得られる。同様に、「ａ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ａ」形状のストロークの時系列座標ＳＤ１２１、…ＳＤ１２ｕが得られる。同様に、「ｎ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｎ」形状のストロークの時系列座標ＳＤ１３１、…ＳＤ１３ｖが得られる。同様に、「ｔ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｔ」形状のストロークの時系列座標ＳＤ１４１、…ＳＤ１４ｗ、ＳＤ１５１、…ＳＤ１５ｘが得られる。
【００４７】
手書きの「線」が手書きされる。手書きの「線」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって手書きの「線」形状のストロークの時系列座標ＳＤ１６１、…ＳＤ１６ｙが得られる。
【００４８】
手書き「線」の後に手書き文字列「ｇｏｏｄ」が手書きされる。「ｇｏｏｄ」の手書き文字列は、「ｇ」、「ｏ」、「ｏ」、「ｄ」の順番で手書きされている。同様に、「ｇ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｇ」形状のストロークの時系列座標ＳＤ１７１、…ＳＤ１７ｚが得られる。同様に、「ｏ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｏ」形状のストロークの時系列座標ＳＤ１８１、…ＳＤ１８Ｈが得られる。同様に、「ｏ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｏ」形状のストロークの時系列座標ＳＤ１９１、…ＳＤ１９Ｊが得られる。同様に、「ｄ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｄ」形状のストロークの時系列座標ＳＤ２０１、…ＳＤ２０Ｋが得られる。
【００４９】
手書き文字列「ｇｏｏｄ」の後に手書き文字列「ｏｋ」が手書きされる。「ｏｋ」の手書き文字列は、「ｏ」、「ｋ」の順番で手書きされている。同様に、「ｏ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｏ」形状のストロークの時系列座標ＳＤ２１１、…ＳＤ２１Ｍが得られる。同様に、「ｋ」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「ｋ」形状のストロークの時系列座標ＳＤ２２１、…ＳＤ２２Ｎ、ＳＤ２３１、…ＳＤ２３Ｏが得られる。
【００５０】
手書き文字列「ｏｋ」の後に手書き「星印」が手書きされる。同様に、手書き「星印」のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって手書き「星印」形状のストロークの時系列座標ＳＤ２４１、…ＳＤ２４Ｐが得られる。
【００５１】
図９は、図３の手書き文書「矢印」、「Ｉ」、「ｍ」、「ｐ」に対応する時系列情報２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。
【００５２】
時系列情報２００において、先頭の２つのストロークデータＳＤ１、ＳＤ２は、手書き「矢印」の２つのストロークをそれぞれ示している。３番目と４番目と５番目のストロークデータＳＤ３、ＳＤ４、ＳＤ５は、手書き文字「Ｉ」を構成する３つのストロークをそれぞれ示している。６番目のストロークデータＳＤ６は、手書き文字「ｍ」を構成する１つのストロークを示している。７番目のストロークデータＳＤ７は、手書き「ｐ」を構成する２つのストロークをそれぞれ示している。
【００５３】
各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き「矢印」に関しては、ストロークデータＳＤ１は、手書き「矢印」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｈ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｈを含む。ストロークデータＳＤ２は、手書き「矢印」の「＜」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｊ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｊを含む。
【００５４】
各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「−」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｈは、「−」形状のストロークの終点のＸ座標（Ｘ１ｈ）およびＹ座標（Ｙ１ｈ）を示す。
【００５５】
さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。
【００５６】
このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。
【００５７】
さらに、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。
【００５８】
次に、手書き「線」および手書き注釈を注釈方法について説明する。
【００５９】
図１０は手書き「矢印」の方向と直交する直線による領域の絞り込みを示す図である。  手書き文書から電子文書中の文書に近接する、第１のストロークとしての「線」または「矢印」を抽出する。手書き「矢印」が抽出された場合を考える。手書き「矢印」のシャフトの電子文書中の文書に近接する一端側に対して直交し、シャフトの一端を通る直線を引いた際に、直線からシャフトの他端側の領域に第３ストロークとしての注釈があると考える。この考えによると第２のストロークとしての手書き文字「ｏｋ」は注釈から除外される。
【００６０】
図１１は図８の各ストローク（ポイント）を時間軸上に並べた図である。横軸が時間ｔとして図示している。手書き「矢印」に付随する注釈は手書き「矢印」よりも後に書かれるものとして考える。すると、図８に示したストロークデータの時間関係は次の通りとなる。
【００６１】
T2h < T31 < T15x < T161 < T20K < T241
さらに、注釈は矢印(線)が書かれた直後から始まり、注釈のストロークは一定の時間にその大半がかたまって書かれる。これを手書き「矢印」と当該の手書き「矢印」に付随する注釈の１ブロックと考える。
【００６２】
従って、ストロークデータＳＤ１からストロークデータＳＤ１５に対応する、手書き「矢印」と手書き「矢印」に付随する手書き文字「Ｉｍｐｏｒｔａｎｔ」とを１ブロックと考える。また、ストロークデータＳＤ１６からストロークデータＳＤ２０に対応する、手書き「線」と、手書き「線」に付随する手書き文字「ｇｏｏｄ」とは、別のブロックとして考える。
【００６３】
ところで、後から手書き「星印」追記されている場合、時間軸上はストロークデータＳＤ３からストロークデータＳＤ１５の注釈のストロークが集中する時間とは離れたところに出現することになる。ここで、追記された注釈のストロークの特徴として次が挙げられる。
【００６４】
１．時間軸上の塊として手書き「矢印」を含まない
２．時間軸上の塊として手書き「矢印」を含む場合、時系列情報による塊の中ではストロークの集中する平面上の位置から離れた位置に追記のストロークが出現する。すなわち先の時系列情報によるストロークを平面上の分布としてみた場合に、その分布からは外れたストロークが存在することになる。
【００６５】
上記を２つの特徴の何れかを含むストロークを、注釈として追記されたストロークとしする。時系列情報から導き出した、手書き「矢印」と当該の手書き「矢印」に付随する注釈の１ブロックでストロークをクラスタリングした後、適切なブロックに追記分のストロークを含むように修正する。
【００６６】
なお、１ブロックでストロークをクラスタリングした後、各ブロックとのユークリッド距離を用いて、追記された注釈のストロークがどのブロックに注釈するかを判断しても良い。また、１ブロックでストロークをクラスタリングした後、各ブロックとのマハラノビス距離を用いて、追記された注釈のストロークがどのブロックに注釈するかを判断しても良い。
【００６７】
手書き「指示線」（手書き「矢印」または手書き「線」を含む）と、手書き「指示線」とを１ブロックでクラスタリングし、追記分のストロークを含むように修正した後、注釈抽出処理部３０８は、各ブロック内の手書き「指示線」に対応するストロークと、注釈に対応するストロークとを関連付ける。
【００６８】
例えば、図６に示す領域Ｃ１の場合、注釈抽出処理部３０８は、ストロークデータＳＤ１およびＳＤ２と、ストロークデータＳＤ３〜ＳＤ１５およびＳＤ２４とを関連付ける。また例えば、図６に示す領域Ｃ２の場合、注釈抽出処理部３０８は、ストロークデータＳＤ１６と、ストロークデータＳＤ１７〜ＳＤ２０とを関連付ける。
【００６９】
次に、手書き「指示線」および手書き注釈を抽出し、手書き「指示線」のストロークと手書き注釈とを関連付ける処理の手順を説明する。図１２は、手書き「指示線」および手書き注釈を抽出し、手書き「指示線」のストロークと手書き注釈とを関連付ける処理の手順を示すフローチャートである。  
先ず、表示処理部３０１が、電子文書をＬＣＤ１７Ａに表示する（ステップＢ１１）。表示処理部３０１が、電子文書上に手書きストロークを表示する（ステップＢ１２）。注釈抽出処理部３０８は、手書きストロークから手書き「指示線」に対応する指示線ストロークを抽出する（ステップＢ１３）。注釈抽出処理部３０８は、手書きストロークから手書き「指示線」に付随する注釈に対応する注釈ストロークを抽出する（ステップＢ１４）。注釈抽出処理部３０８は、指示線ストロークと注釈ストロークとを関連付けた情報を記憶媒体４０２に格納する（ステップＢ１５）。
【００７０】
指示線ストロークと注釈ストロークとを関連付けた情報を記憶媒体４０２に格納することで、電子文書内の文書に対して付加された注釈を管理することが可能になる。
【００７１】
注釈の表示位置が変更される場合、手書き「指示線」の形状は、注釈の表示位置に応じて変更されても良い。
【００７２】
また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【００７３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７４】
１０…タブレットコンピュータ、１７…タッチスクリーンディスプレイ、１７Ａ…ＬＣＤ、１７Ｂ…タッチパネル、１７Ｃ…デジタイザ、１００…ペン、１０１…ＣＰＵ、１０２…システムコントローラ、１０３…主メモリ、１０４…グラフィクスコントローラ、１０６…不揮発性メモリ、２０１…オペレーティングシステム、２０２…ブラウザアプリケーションプログラム、３０１…表示処理部、３０２…時系列情報生成部、３０３…電子文書取得処理部、３０６…保存処理部、３０７…取得処理部、３０８…注釈抽出処理部。
【図１】
2015049603.tif 000003
【図２】
2015049603.tif 000004
【図３】
2015049603.tif 000005
【図４】
2015049603.tif 000006
【図５】
2015049603.tif 000007
【図６】
2015049603.tif 000008
【図７】
2015049603.tif 000009
【図８】
2015049603.tif 000010
【図９】
2015049603.tif 000011
【図１０】
2015049603.tif 000012
【図１１】
2015049603.tif 000013
【図１２】
2015049603.tif 000014