(57)【特許請求の範囲】
【請求項１】
画像データを保存している保存手段と、
既に保存手段に保存されている第１のテキストオブジェクトを前記画像データ上に重ねてディスプレイに表示する第１の表示手段と、
前記表示されている第１のテキストオブジェクトのユーザーによる選択に基づいて、テキスト入力領域を前記画像データ上に重ねて前記ディスプレイに表示する第２の表示手段と、
前記表示されているテキスト入力領域に対するテキストのユーザーによる入力の完了に基づいて、当該入力されたテキストを、既に表示されている前記第１のテキストオブジェクトに関連付けられた第２のテキストオブジェクトとして前記保存手段に保存させる手段と、
前記関連付けに従った表示態様で、保存されている前記第１および第２のテキストオブジェクトを前記画像データ上に重ねて前記ディスプレイに表示する第３の表示手段と、
を有し、
前記第２の表示手段は、前記第３の表示手段によって表示されている前記第２のテキストオブジェクトのユーザーによる選択に基づいて、別のテキスト入力領域を前記画像データ上に重ねて前記ディスプレイに表示し、
前記保存させる手段は、前記第２の表示手段によって表示されている前記別のテキスト入力領域に対するテキストのユーザーによる入力の完了に基づいて、当該入力されたテキストを、既に表示されている前記第２のテキストオブジェクトに関連付けられた第３のテキストオブジェクトとして前記保存手段に保存させ、
前記第３の表示手段は、前記第２および第３のテキストオブジェクトどうしの関連付けに従った表示態様で、前記第３のテキストオブジェクトを前記画像データ上に重ねて前記ディスプレイにさらに表示し、
前記第１のテキストオブジェクト、前記第２のテキストオブジェクト、前記第３のテキストオブジェクトは、前記画像データ上に重ねて前記ディスプレイに表示されることを特徴とする情報処理システム。
【請求項２】
前記第２の表示手段は、前記第３の表示手段によって前記第１および第２のテキストオブジェクトが前記ディスプレイに表示されている際の当該第１のテキストオブジェクトのユーザーによる選択に基づいて、前記テキスト入力領域が表示された位置とは異なる位置に、別のテキスト入力領域を前記画像データ上に重ねて前記ディスプレイに表示することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記第２の表示手段は、前記ディスプレイに前記画像データ上に重ねて表示されているテキストオブジェクトのユーザーによる選択に基づいてテキスト入力領域を前記画像データ上に重ねて前記ディスプレイに表示する際、当該選択されたテキストオブジェクトの表示位置に基づいて決まる位置に、当該テキスト入力領域を表示することを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記第２の表示手段は、前記ディスプレイに前記画像データ上に重ねて表示されているテキストオブジェクトのユーザーによる選択に基づいてテキスト入力領域を前記ディスプレイに前記画像データ上に重ねて表示する際、当該選択されたテキストオブジェクトの表示位置から少なくとも水平方向に所定距離だけ離れた位置に、当該テキスト入力領域を表示することを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記第１のテキストオブジェクトは、ユーザーによって手書きされたテキストに基づいて得られたテキストオブジェクトであることを特徴とする請求項１に記載の情報処理システム。
【請求項６】
前記画像データが印刷された紙面上へ手書きされたテキストの位置に対応する、前記画像データ上の位置を算出する算出手段を有し、
前記保存させる手段は、前記手書きされたテキストを、前記算出された画像データ上の位置と関連付けて、前記第１のテキストオブジェクトとして前記保存手段に保存させ、
前記第１の表示手段は、前記第１のテキストオブジェクトを前記画像データ上の前記位置に表示することを特徴とする請求項５に記載の情報処理システム。
【請求項７】
前記保存させる手段は、前記第１のテキストオブジェクトの前記保存の際に、当該第１のテキストオブジェクトの位置と、既に前記保存手段に保存されている別のテキストオブジェクトの位置とに基づいて、当該第１のテキストオブジェクトを当該別のテキストオブジェクトに関連付けることを特徴とする請求項６に記載の情報処理システム。
【請求項８】
前記テキスト入力領域に対する前記テキストのユーザーによる入力は、タッチパネル、マウス、キーボードの少なくとも何れかによってなされることを特徴とする請求項１に記載の情報処理システム。
【請求項９】
前記関連付けに従った表示態様とは、スレッド形式による表示態様であることを特徴とする請求項１に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理システムの制御方法、情報処理装置、プログラムに関するものである。
【背景技術】
【０００２】
多数のユーザによる情報の登録や読み出しを制御する電子掲示板システム（以下、単に電子掲示板と呼ぶ）がある。電子掲示板は各種の情報の伝達やユーザ間のコミュニケーションを広く行うために利用されている。このような電子掲示板では、ユーザが情報端末を介して電子掲示板に登録したい情報をネットワーク接続されたサーバに送信する。サーバで受信された情報は、サーバによって管理される電子掲示板に登録され、情報端末は登録された情報を読み出すことで情報端末の表示部に表示する。電子掲示板の中にはテキスト情報であるコメント文だけでなく写真等の画像も扱えるものもある（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１０１１１４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の電子掲示板でユーザが紙資料に手書きした情報を電子掲示板に登録する場合には、ユーザは手書きした情報を含んだ紙資料を撮像し、撮像画像を電子掲示板に登録することになる。ここで、ユーザが手書き部分の情報（手書きコメント）に対してコメントを追加しようとして、情報端末を介して情報（電子コメント）を追加入力する場合、電子コメントは前述の撮像画像に対して追加される。そうすると、あとで電子コメントと撮像画像を参照した際に、追加入力された電子コメントは撮像画像中のどの部分に対するコメントであるのかが分かりにくい。つまり、ユーザが紙資料に手書きした部分の情報は１つのオブジェクトとして扱われていないため、入力された電子コメントを、撮像画像ではなく手書きした部分の情報（手書きコメント）に関連付けて管理することができない。その結果、あとでコメントを参照する際に、コメントどうしの関係がわかりづらいという課題がある。
【課題を解決するための手段】
【０００５】
本発明の情報処理システムは、画像データを保存している保存手段と、既に保存手段に保存されている第１のテキストオブジェクトを前記画像データ上に重ねてディスプレイに表示する第１の表示手段と、前記表示されている第１のテキストオブジェクトのユーザーによる選択に基づいて、テキスト入力領域を前記画像データ上に重ねて前記ディスプレイに表示する第２の表示手段と、前記表示されているテキスト入力領域に対するテキストのユーザーによる入力の完了に基づいて、当該入力されたテキストを、既に表示されている前記第１のテキストオブジェクトに関連付けられた第２のテキストオブジェクトとして前記保存手段に保存させる手段と、前記関連付けに従った表示態様で、保存されている前記第１および第２のテキストオブジェクトを前記画像データ上に重ねて前記ディスプレイに表示する第３の表示手段と、を有し、前記第２の表示手段は、前記第３の表示手段によって表示されている前記第２のテキストオブジェクトのユーザーによる選択に基づいて、別のテキスト入力領域を前記画像データ上に重ねて前記ディスプレイに表示し、前記保存させる手段は、前記第２の表示手段によって表示されている前記別のテキスト入力領域に対するテキストのユーザーによる入力の完了に基づいて、当該入力されたテキストを、既に表示されている前記第２のテキストオブジェクトに関連付けられた第３のテキストオブジェクトとして前記保存手段に保存させ、前記第３の表示手段は、前記第２および第３のテキストオブジェクトどうしの関連付けに従った表示態様で、前記第３のテキストオブジェクトを前記画像データ上に重ねて前記ディスプレイにさらに表示し、前記第１のテキストオブジェクト、前記第２のテキストオブジェクト、前記第３のテキストオブジェクトは、前記画像データ上に重ねて前記ディスプレイに表示されることを特徴とする。
【発明の効果】
【０００６】
手書き入力による情報と情報端末からの入力による情報と関連付けて、一括で参照することができる。
【図面の簡単な説明】
【０００７】
【図１】情報処理システムの全体構成図
【図２】電子ペンの構成図
【図３】通信端末の構成図
【図４】サーバの構成図
【図５】情報端末の構成図
【図６】紙資料を説明する図
【図７】電子ペンにおける電子ペン軌跡情報の送信処理に関するフローチャート
【図８】通信端末における電子ペンの移動軌跡を示す座標の算出処理に関するフローチャート
【図９】通信端末における手書きコメント軌跡情報の取得処理に関するフローチャート
【図１０】紙資料の説明図
【図１１】電子掲示板の説明図
【図１２】サーバにおける手書きコメント情報の取得処理に関するフローチャート
【図１３】電子掲示板の説明図
【図１４】電子掲示板の説明図
【図１５】電子掲示板の説明図
【図１６】電子掲示板の説明図
【図１７】情報端末における電子入力フォームの入力処理に関するフローチャート
【図１８】スレッド情報の説明図
【図１９】サーバにおけるスレッド管理処理に関するフローチャート
【図２０】情報端末における重畳表示処理に関するフローチャート
【図２１】サーバにおける重畳表示処理に関するフローチャート
【図２２】検索画面の説明図
【図２３】検索結果画面の説明図
【図２４】参照ファイルパス入力画面の説明図
【図２５】スレッド表示の説明図
【発明を実施するための形態】
【０００８】
＜第１の実施形態＞
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【０００９】
（システム構成）
図１は、本発明の第１の実施形態を示す情報処理システムの装置構成を示す図である。
【００１０】
図１において、オリジナルデータ（オリジナル画像）が印刷された紙資料（印刷物）１０は複数ユーザへの配布物でもよいし、掲示版への掲示物でもよい。電子ペン１００は無線通信により１対１で通信端末２００と接続される。通信端末２００とサーバ４００と情報端末３００はＬＡＮなどのネットワーク５０を介して接続される。電子ペン１００は紙資料１０に対して文字や図形を手書き追記するデバイスであり、電子ペン１００の軌跡情報（電子ペン軌跡情報）を通信端末２００に送信する。
【００１１】
通信端末２００は受信した電子ペン軌跡情報から、手書き追記している際の電子ペン１００の軌跡情報（手書きコメント軌跡情報）を抽出してサーバ４００に送信する。
【００１２】
サーバ４００は受信した手書きコメント軌跡情報に基づいて手書きコメント情報を生成する。また、サーバ４００は、情報端末３００から電子コメント情報および参照ファイル情報を受信する。なお、本実施形態において、オリジナルデータ、手書きコメント情報、電子コメント情報、参照ファイル情報のことをまとめて電子掲示板情報と呼び、サーバ４００で記憶され、管理されている。
【００１３】
情報端末３００は、サーバ４００の管理する電子掲示板情報を表示部に表示する。また、情報端末３００は、表示部に表示された電子掲示板情報に対してユーザが入力した電子コメント情報や参照ファイル情報を、サーバ４００に送信する。また、情報端末３００はカメラなどの撮像部を備え、この撮像部で紙資料１０を撮影して紙資料１０の画像を表示部に表示する。なおこの際に情報端末３００は、表示部の表示される撮像画像に電子掲示板情報を重畳表示することもできる。情報端末３００が撮像部を備えていない場合は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブルなどで外部接続したカメラなどの撮像手段を利用する形態でもよい。
【００１４】
（電子ペン）
図２は本実施形態における電子ペン１００の構成を説明するものである。
【００１５】
筆記部１０５はペンで実現され、インクカートリッジ内のインクを使って文字や図形を紙資料１０に可視状態で筆記する。筆圧検知部１０４は筆圧センサで実現され、紙資料１０に筆記する際のペンにかかる筆圧を検知する。電子ペンデータ送信部１０１は赤外線を発信する赤外線発信装置および超音波を発信する超音波発信装置で実現され、通信端末２００に電子ペン軌跡情報を送信する。記憶部１０３はＲＡＭやＲＯＭなどのメモリで実現され、制御部１０２が必要とする一時的なデータなどをメモリに記憶する。制御部１０２は電子ペン１００を統括的に制御するものであり、記憶部１０３に記憶されたプログラムコードをＣＰＵが実行することで実現する。制御部１０２は筆圧検知部１０４で加圧開始を検知すると電子ペンデータ送信部１０１に加圧開始を意味する加圧開始信号を赤外線発信するよう制御する。また、制御部１０２は筆圧検知部１０４で加圧終了を検知すると電子ペンデータ送信部１０１に加圧終了を意味する加圧終了信号を赤外線発信するよう制御する。また、制御部１０２は加圧開始から加圧終了までの時間内において一定周期で超音波発信するよう電子ペンデータ送信部１０１を制御する。電子ペンデータ送信部１０１の発信する超音波信号は、後述するように電子ペンの位置情報を表す信号である。
【００１６】
（通信端末）
図３は本実施形態における通信端末２００の構成を説明するものである。
【００１７】
電子ペンデータ受信部２０４は１つの赤外線受信センサと２つの超音波受信センサを有するレシーバで実現される。電子ペンデータ受信部２０４は電子ペン１００の電子ペンデータ送信部１０１から発信された赤外線信号と超音波信号から成る電子ペン軌跡情報を受信する。ネットワーク通信部２０１はＬＡＮ  Ｉ／Ｆで実現され、ネットワーク５０を介してサーバ４００に手書きコメント軌跡情報を送信する。記憶部２０３はＲＯＭやＲＡＭ、ＨＤＤ等のメモリで実現され、制御部２０２で利用する一時データや電子ペン軌跡情報、手書きコメント軌跡情報などを記憶する。制御部２０２は各部を統括的に制御するものであり、記憶部２０３に記憶されたプログラムコードをＣＰＵが実行することで実現する。制御部２０２は電子ペンデータ受信部２０４で受信した電子ペン軌跡情報を記憶部２０３に記憶するよう制御する。制御部２０２は記憶部２０３から読み出した電子ペン軌跡情報から手書きコメント軌跡情報を抽出してサーバ４００に送信するようネットワーク通信部２０１を制御する。
【００１８】
（サーバ）
図４はサーバ４００の構成を説明するものである。
【００１９】
ネットワーク通信部４０１はＬＡＮ  Ｉ／Ｆで実現され、ネットワーク５０を介して通信端末２００と情報端末３００とで様々なデータを送受信する。記憶部４０３はＲＡＭやＲＯＭやＨＤＤなどのメモリで実現され、本実施形態における電子掲示板情報を記憶する。またネットワーク通信部４０１は、コメント情報を受信し、記憶部４０３に記憶する。電子掲示板情報には、紙面に印刷された画像の内容と同じ内容のオリジナルデータ、スレッド情報、一時的な保存データなどが含まれる。
【００２０】
制御部４０２は各部を統括的に制御するものであり、記憶部４０３に記憶されたプログラムコードをＣＰＵが実行することで実現する。
【００２１】
さらに、制御部４０２はコメント種別判定部４１１と手書きコメント入力部４１２とスレッド管理部４１３と印刷レイアウト部４１４と特徴抽出部４１５から構成される。
【００２２】
コメント種別判定部４１１はネットワーク通信部４０１から受信したコメント情報が手書きコメント情報か電子コメント情報か参照ファイル情報のいずれの種別に属するものであるかを判定する。本実施例ではサーバ４００と情報端末３００、サーバ４００と通信端末２００はＨＴＴＰプロトコルで通信するものとし、コメント情報の送受信においてはコメント種別の識別子（コメント識別子）をあわせて送受信する。このコメント種別の識別子が参照されることで、受信されたコメント情報のコメント種別が判別される。
【００２３】
受信されたコメント情報が手書きコメント情報のコメント種別に属するものであるとコメント種別判定部４１１が判定した場合、受信されたコメント情報は手書きコメント軌跡情報である。そのため、手書きコメント入力部４１２は、手書きコメント軌跡情報をビットマップ（画像オブジェクト）化して手書きコメント情報を生成し、この手書きコメント情報を記憶部４０３に記憶する。生成された手書きコメント情報はスレッド管理部４１３で管理される。ここで、ネットワーク通信部４０１は、紙資料１０に対して手書きで書きこまれた情報を通信端末２００から受信する手段として機能する。また、手書きコメント入力部４１２は、紙資料１０に対して手書きで書きこまれた情報を、画像オブジェクトとして取得する手段として機能する。
【００２４】
受信されたコメント情報が電子コメント情報もしくは参照ファイル情報のコメント種別に属するものであるとコメント種別判定部４１１が判定した場合、受信されたコメント情報は電子コメント情報もしくは参照ファイル情報である。これら電子コメント情報もしくは参照ファイル情報はスレッド管理部４１３によって管理される。
【００２５】
スレッド管理部４１３は手書きコメント情報および電子コメント情報および参照ファイル情報を関連づけたスレッド情報を生成し、記憶部４０３に記憶する。このスレッド情報とは、図１８を用いて後述するように、手書きコメント情報、電子コメント情報、参照ファイル情報のそれぞれの情報の親子関係やそれぞれの情報が入力された際の位置関係を示すデータテーブルのことである。スレッド管理部４１３は手書きコメント情報もしくは電子コメント情報もしくは参照ファイル情報の追加に応じてスレッド情報の更新を行うことで、手書きコメント情報、電子コメント情報、参照ファイル情報の各情報をスレッド情報として関連付けて管理する。
【００２６】
印刷レイアウト部４１４は情報端末３００から電子掲示板情報の印刷要求を受信した場合に電子掲示板情報の印刷レイアウトを生成する。本実施形態においては、印刷レイアウト部４１４は後述のオリジナルデータ７００に記憶部４０３に記憶したスレッド情報を重ねて表示した電子掲示板表示結果（例えば図２５（ａ））を印刷対象とする。印刷は情報端末３００にインストールされたプリンタドライバを用いて、情報端末３００に接続された不図示のプリンタに対して印刷指示をすることで実現する。すなわち、情報端末３００は電子掲示板情報の印刷を指示する印刷指示手段を有し、この印刷指示手段によって電子掲示板情報が印刷されることになる。
【００２７】
特徴抽出部４１５はオリジナルデータ７００からテキストパターン、図形パターンなどの特徴パターンを抽出する。本実施形態において特徴抽出部４１５は、オリジナルデータ７００中のパターン７１０を抽出するものとする。
【００２８】
（情報端末）
図５は情報端末３００の構成を説明するものである。
【００２９】
ネットワーク通信部３０１はＬＡＮ  Ｉ／Ｆで実現され、ネットワーク５０を介してサーバ４００とで様々なデータを送受信する。記憶部３０３はＲＡＭやＲＯＭやＨＤＤなどのメモリで実現され、本実施形態において制御部３０２で利用する一時的な保存データなどを記憶する。
【００３０】
表示部３０４はディスプレイ（タッチパネルも含む）等に代表される表示装置で実現され、電子掲示板情報や撮像部３０６で撮像した画像などを表示する。入力部３０５はタッチパネルやマウス、キーボード等に代表される入力装置で実現され、ユーザからの入力操作を受け付ける。撮像部３０６はカメラなどに代表される撮像手段で実現され、紙資料の撮像画像を取得するものである。
【００３１】
制御部３０２は各部を統括的に制御するものであり、記憶部３０３に記憶されたプログラムコードをＣＰＵが実行することで実現する。
【００３２】
さらに、制御部３０２は電子掲示板情報表示部３１１、電子コメント入力部３１２、参照ファイル入力部３１３、検索部３１４、重畳処理部３１５で構成される。
【００３３】
電子掲示板情報表示部３１１はサーバ４００から取得した電子掲示板情報を表示部３０４に表示する。また、電子掲示板情報表示部３１１は、ユーザからの電子コメントの入力を受け付けるための電子入力フォームを表示する。
【００３４】
電子コメント入力部３１２は電子入力フォームに対してユーザが入力部３０５を用いて入力した文字列（電子コメント）を取得し、電子コメント情報としてサーバ４００へ送信する。参照ファイル入力部３１３は電子入力フォームに対してユーザが入力部３０５を用いて入力した参照ファイルへのパス（参照ファイルパス）を取得し、参照ファイル情報としてサーバ４００へ送信する。検索部３１４は、電子入力フォームに対してユーザが入力部３０５を用いて入力した検索キーに基づいて、検索処理を行う。
【００３５】
重畳処理部３１５は撮像部３０６によって撮像された紙資料の画像を表示部３０４に表示するとともに、電子掲示板情報を紙資料の画像に重畳表示する。
【００３６】
（手書きコメント入力）
図６は、本実施形態における紙資料１０の紙面を説明するものである。紙資料１０には、後述するスレッド情報の重畳表示処理を行うために用いられる特徴パターンがパターン１１０として印刷されている。ただし特徴パターンは、人間にとって可視のものでも不可視のものであってもよい。
【００３７】
本実施形態では紙面の座標系を（Ｘｐａｐｅｒ，Ｙｐａｐｅｒ）で表現し、紙資料１０の上部中央に電子ペンデータ受信部２０４を実現するレシーバを配置して紙面原点２６０（０，０）としている。これは後述のオリジナルデータ７００の上部中央を座標原点とした電子掲示板との整合性をとるためである。紙資料１０は紙面の座標系において（−Ｘｐ，  ０）、（Ｘｐ，  ０）、（−Ｘｐ，Ｙｐ）、（Ｘｐ，  Ｙｐ）の位置である。
【００３８】
ユーザは紙資料１０上に電子ペン１００で手書きコメントを筆記開始する際に手書きコメント開始領域２５１をチェックする。次に、手書きコメントである「ＡＢＣ」を筆記する。
【００３９】
２１１から２１６は「ＡＢＣ」における筆圧検知部１０４で検知する加圧開始ポイントに相当する。２２１から２２６は「ＡＢＣ」における筆圧検知部１０４で検知する加圧終了ポイントに相当する。
【００４０】
ユーザは手書きコメントの筆記終了後に手書きコメント終了領域２５２をチェックするものとする。
【００４１】
図７は、電子ペン１００が通信端末２００に一連の電子ペン軌跡情報を送信するフローを説明するものである。
【００４２】
Ｓ１００１において、電子ペン１００の制御部１０２は筆圧検知部１０４で加圧開始を検知したか判定する。加圧開始を検知した場合はＳ１００２に進み、制御部１０２は電子ペンデータ送信部１０１から赤外線で加圧開始信号を送信するよう制御する。次に制御部１０２はＳ１００３で超音波信号を送信する。そして、Ｓ１００４にて制御部１０２は筆圧検知部１０４で加圧終了を検知するまで一定周期で超音波信号を送信し続ける。制御部１０２は加圧終了を検知するとＳ１００５にて、電子ペンデータ送信部１０１から赤外線で加圧終了信号を送信するよう制御する。加圧開始信号を送信してから加圧終了信号を送信するまでの超音波信号が一連の電子ペン軌跡情報である。
【００４３】
図８は、通信端末２００が電子ペン１００から一連の電子ペン軌跡情報を受信し、電子ペンの移動軌跡を示す座標（紙面座標）を算出するフローを説明するものである。
【００４４】
Ｓ２００１において、制御部２０２は電子ペンデータ受信部２０４で赤外線の加圧開始信号を受信したかどうかを判定する。加圧開始信号を受信した場合は、Ｓ２００２に進む。
【００４５】
次に、Ｓ２００２において、制御部２０２は電子ペンデータ受信部２０４で超音波信号を受信したかどうかを判定する。超音波信号が受信されていないと判定された場合、処理はＳ２００４へ進む。
【００４６】
超音波信号が受信されたと判定された場合は、Ｓ２００３にて、制御部２０２は２つの超音波受信センサで受信した超音波信号の受信時間の差および２つの超音波センサ間の距離から電子ペンの紙面座標を算出する。なお紙面座標については図１０を用いて後述する。
【００４７】
次に、制御部２０２はＳ２００４において、電子ペンデータ受信部２０４で赤外線の加圧終了信号を受信したかどうかを判定する。加圧終了信号が受信されていないと判定された場合は、処理はＳ２００２に戻る。加圧終了信号が受信されたと判定された場合は、加圧開始から加圧終了までの一連のペン軌跡情報の取得を終了する。すなわち、制御部２０２は、図８に示される処理フローを実行することによって、連続的に受信される電子ペン軌跡情報から、電子ペンの移動軌跡を示す紙面座標の情報を順次算出する。なお、以下においては、Ｓ２００３にて算出された電子ペンの移動軌跡を示す紙面座標の情報のことも含めて、電子ペン軌跡情報と呼ぶ。
【００４８】
図９は、通信端末２００において、図６の手書きコメント「ＡＢＣ」を１つの手書きコメント軌跡情報とするフローを説明するものである。すなわち、図９の処理フローを制御部２０２が実行することで、制御部２０２は一連の電子ペン軌跡情報から手書きコメント軌跡情報を抽出する。
【００４９】
Ｓ２０１１にて、制御部２０２は図８の処理フローで算出された電子ペンの紙面座標の情報を含む、電子ペン軌跡情報を取得する。
【００５０】
次に、Ｓ２０１２にて制御部２０２は手書きコメント開始フラグがＯＮであるかを判定する。手書きコメント開始フラグは記憶部２０３で記憶されており、初期値はＯＦＦである。
【００５１】
Ｓ２０１２にて、手書きコメント開始フラグがＯＦＦの場合は、Ｓ２０１３で、制御部２０２はペン軌跡情報の示す電子ペンの紙面座標が手書きコメント開始領域２５１内であるかどうかを判定する。電子ペンの紙面座標が手書きコメント開始領域２５１内ではない場合は、Ｓ２０１１に戻る。電子ペンの紙面座標が手書きコメント開始領域２５１内である場合は、制御部２０２はＳ２０１４にて手書きコメント開始フラグをＯＮにしてＳ２０１１に戻る。
【００５２】
Ｓ２０１２にて、手書きコメント開始フラグがＯＮであった場合は、Ｓ２０１５にて制御部２０２は電子ペン軌跡情報の示す電子ペンの紙面座標が手書きコメント終了領域２５２内であるかどうかを判定する。電子ペンの紙面情報が手書きコメント終了領域２５２内ではない場合は、Ｓ２０１６にて制御部２０２は電子ペン軌跡情報を手書きコメント軌跡情報の一部として記憶部２０３に記憶し、Ｓ２０１１に戻る。電子ペンの紙面情報が手書きコメント終了領域２５２内である場合は、Ｓ２０１７にて制御部２０２は手書きコメント開始フラグをＯＦＦにする。Ｓ２０１８にて、制御部２０２は、Ｓ２０１６において記憶部２０３で記憶した、手書きコメント開始から終了までの一連の電子ペン軌跡情報群を１つの手書きコメント軌跡情報（例えば「ＡＢＣ」）としてサーバ４００に送信する。またこの送信の際には、制御部２０２は手書きコメント軌跡情報に、手書きコメント軌跡情報が手書きコメント情報に属する種別の情報であることを示す手書きコメント識別子を含めて送信する。
【００５３】
図１０は図６で説明した紙面座標計算の結果である手書きコメント軌跡情報を説明する図である。２３１や２３２などの座標は紙面座標計算の結果得られる座標の例である。そして、紙面座標計算を２１１から２１６の各加圧開始ポイントと対応する２２１から２２６の各加圧終了ポイントに対して順に行った結果得られた一連の手書きコメント軌跡情報２４０が手書きコメント軌跡情報「ＡＢＣ」である。
【００５４】
図１１は、本実施形態における紙資料１０に対応するオリジナルデータ７００を説明するものである。記憶部４０３はオリジナルデータ７００を記憶している。なお、本実施形態において、オリジナルデータ７００とは、紙資料１０に印刷された画像の元データであり、オリジナルデータ７００に印刷処理が施されることで紙資料１０が印刷される。
【００５５】
本実施形態では電子掲示板の座標系を（Ｘｂｂｓ，  Ｙｂｂｓ）で表現し、オリジナルデータ７００の上部中央を電子掲示板原点７０１（０，  ０）としている。オリジナルデータ７００における電子掲示板原点７０１は、紙資料１０における紙面原点２６０と対応している。オリジナルデータ７００は電子掲示板座標系において（−Ｘｏ，  ０）、（Ｘｏ，  ０）、（−Ｘｏ，Ｙｏ）、（Ｘｏ，  Ｙｏ）の４点で構成される矩形領域で表現される。
【００５６】
図１２は、サーバ４００の手書きコメント入力部４１２で手書きコメント軌跡情報をビットマップ化して手書きコメント情報を取得するフローを説明するものである。図１２において、図６の手書きコメント軌跡情報２４０「ＡＢＣ」を例に説明する。
【００５７】
記憶部４０３はオリジナルデータ７００を記憶している。
【００５８】
手書きコメント入力部４１２では、Ｓ４００１において、Ｓ２０１８で通信端末２００が送信した手書きコメント軌跡情報２４０および手書きコメント識別子を受信する。この手書きコメント軌跡情報２４０は、紙面座標系（Ｘｐａｐｅｒ，  Ｙｐａｐｅｒ）で表現された手書きコメントの座標情報を含む。
【００５９】
次に、Ｓ４００２にて、手書きコメント入力部４１２は、受信した手書きコメント軌跡情報２４０に含まれる紙面座標系で表現された手書きコメントの座標情報を、電子掲示板の座標系（Ｘｂｂｓ，  Ｙｂｂｓ）に変換する。変換処理は、紙資料１０のサイズとオリジナルデータ７００のサイズを元に予め変換係数を決定しておくことで実現する。
【００６０】
図１３は手書きコメント軌跡情報２４０を電子掲示板の座標系（Ｘｂｂｓ，  Ｙｂｂｓ）に変換した結果を示す例であり、７１１や７１２に代表される座標を得る。
【００６１】
次に、Ｓ４００３にて、手書きコメント入力部４１２は、座標変換された手書きコメント軌跡情報の座標群を包含する矩形の最小の矩形サイズ７２０を算出し、この最小の矩形の左上の座標（−Ｘｗ１，  Ｙｗ１）と、最小の矩形の右下の座標（Ｘｗ２，  Ｙｗ２）を得る。
【００６２】
次に、Ｓ４００４において、手書きコメント入力部４１２は、座標変換された手書きコメント軌跡情報の座標での画像データに色を付けてビットマップとして描画する。そして、手書きコメント入力部４１２は、手書きコメントをビットマップ化した矩形サイズ７２０の手書きコメント７２１を生成して、記憶部４０３に記憶する。そして、手書きコメント入力部４１２は、記憶部４０３に記憶されたビットマップ（手書きコメント７２１）へのファイルパスとビットマップの左上座標（−Ｘｗ１，  Ｙｗ１）とＳ４００１で受信された手書きコメント識別子を手書きコメント情報としてスレッド管理部４１３に送信する。
【００６３】
（電子入力フォーム）
図１４は、電子入力フォームを説明するものである。
【００６４】
図１４は、サーバ４００の記憶部４０３に記憶されている電子掲示板情報を、情報端末３００がサーバ４００から受信して、電子掲示板情報表示部３１１によって電子掲示板情報を表示した一例を示す。
【００６５】
ここで、ユーザが入力部３０５を介して表示部３０４に表示された電子掲示板情報が表示されている領域内の座標を選択指示すると、電子掲示板情報表示部３１１は電子入力フォーム７３０を表示する。図１４は、手書きコメント（ビットマップ）７２１の領域内の座標が選択指示されたことを示す。この場合、電子掲示板情報表示部３１１は手書きコメント７２１の座標（手書きコメントの表示位置）から（Δｘ１、Δｙ１）だけずらしたオフセット位置（−Ｘｗ１＋Δｘ１，  Ｙｗ１＋Δｙ１）に電子入力フォーム７３０を表示する。ユーザが入力部３０５を介して手書きコメント７２１の領域外の座標を選択指示した場合、電子掲示板情報表示部３１１は、選択指示された座標に応じた位置に電子入力フォーム７３０を表示する。
【００６６】
電子入力フォーム７３０は、文字列入力領域７３１と電子コメント追加ボタン７３２とキーワード検索ボタン７３３と画像検索ボタン７３４と動画検索ボタン７３５と参照ファイル添付ボタン７３６を含む。つまり後述するように電子入力フォーム７３０は、少なくとも電子コメントとする文字列の入力を受け付ける文字列入力領域と、参照ファイルの添付の入力を受け付ける参照ファイル入力領域とを有する。
【００６７】
図１７は、電子入力フォームで電子コメントあるいは参照ファイルを入力するフローを説明するものである。
【００６８】
Ｓ３０１１にて、電子掲示板情報表示部３１１は、ユーザが入力部３０５を介して表示部３０４に表示されている領域の座標が選択指示されたかどうかを検知し、その選択指示された座標が電子掲示板情報の領域内であるか否かを判定する。Ｓ３０１２において電子掲示板情報表示部３１１は、電子掲示板情報の領域内の座標が選択指示されたと判定した場合、電子入力フォーム７３０をオフセット位置に表示する。また電子掲示板情報表示部３１１は、電子掲示板情報の領域外の座標が選択指示されたと判定した場合、電子入力フォーム７３０を選択指示された座標に応じた位置に表示する。このときに電子コメント入力部３１２は、電子入力フォーム７３０を表示した位置の座標を、記憶部３０３に記憶する。
【００６９】
次に、Ｓ３０１３にて、電子コメント入力部３１２は、ユーザが入力部３０５を介して文字列入力領域７３１に文字入力したか否かを判定する。文字入力されたと判定した場合、電子コメント入力部３１２は、入力された文字列を記憶部３０３に記憶する。
【００７０】
Ｓ３０１４で電子コメント入力部３１２は、電子コメント追加ボタン７３２が押下されたか否かを判定する。
【００７１】
Ｓ３０１４で、電子コメント追加ボタン７３２が押下されたと判定した場合、Ｓ３０１５にて、電子コメント入力部３１２は次の処理を行う。電子コメント入力部３１２は、記憶部３０３に記憶された電子入力フォーム７３０の座標および文字列入力領域７３１に入力された文字列を、電子コメント情報としてサーバ４００に送信する。またこの電子コメント情報の送信の際に、電子コメント入力部３１２は電子コメント情報に、送信するコメント情報が電子コメント情報に属する種別の情報であることを示す電子コメント識別子を含めて送信する。つまりサーバ４００は、手書きコメントに対する電子コメントを取得する手段を有している。
【００７２】
Ｓ３０１４にて、電子コメント追加ボタン７３２が押下されていないと判定した場合は、Ｓ３０１６にてキーワード検索ボタン７３３もしくは画像検索ボタン７３４、動画検索ボタン７３５がユーザ指示に基づいて押下されたか否かを判定する。
【００７３】
押下されたと判定した場合は、Ｓ３０１７にて、検索部３１４がそれぞれのタイプの検索に割り当てられたＷｅｂ検索エンジンを用いて、文字列入力領域７３１に入力された文字列を検索する。この文字列の検索については公知の検索技術を用いるため詳細な説明は割愛する。
【００７４】
この時、電子掲示板情報表示部３１１はユーザがボタン選択によって選択した検索エンジンを用いた、入力文字列の検索結果を表示部３０４に表示する。この際に、検索部３１４はＳ３０１８にて、Ｓ３０１７の検索処理の検索結果を記憶部３０３に記憶する。電子掲示板情報表示部３１１は検索エンジン画面において非表示ボタンの押下により検索エンジン画面を非表示にできる。
【００７５】
Ｓ３０１３にて、文字列入力領域７３１に文字入力されたと判定された場合は、電子掲示板情報表示部３１１は、Ｓ３０１９で参照ファイル添付ボタン７３６がユーザ指示によって押下されたか否かを判定する。参照ファイル添付ボタン７３６が押下されたと判定された場合は、Ｓ３０２０にて、電子掲示板情報表示部３１１は、参照ファイルパス入力画面（図２４参照）を表示する。そして、参照ファイルパス入力画面で入力された参照ファイルパスを参照ファイル入力部３１３が記憶部３０３に記憶する。参照ファイルには画像ファイル、動画ファイル、文書ファイル、音声ファイル、検索部３１４が記憶した検索結果などに代表される電子ファイルが含まれる。
【００７６】
また、参照ファイル入力部３１３は、参照ファイルを参照するための参照ファイルアクセスボタンを表示すべき位置の座標（参照ファイルアクセスボタンの座標）を、電子入力フォームが表示された位置の座標に基づいて算出する。本実施形態において具体的に算出される座標は、電子入力フォームの座標を（Δｘ２，  ０）ずらした位置の座標である。
【００７７】
そして参照ファイル入力部３１３は、参照ファイルパスと参照ファイルアクセスボタンの座標の情報を、サーバ４００に参照ファイル情報として送信する。この送信の際に、参照ファイル入力部３１３は参照ファイル情報に、送信するファイル情報が参照ファイル情報に属する種別の情報であることを示す参照ファイル識別子を含めて送信する。ここまでがＳ３０２０の処理である。なお、前述した参照ファイルアクセスボタンは、参照ファイルを参照するためにユーザ指示によって選択される画像オブジェクトである。
【００７８】
Ｓ３０２１では、電子掲示板情報表示部３１１が電子入力フォーム７３０を非表示にする。
【００７９】
次に、Ｓ３０２２にて電子掲示板情報表示部３１１は、電子入力フォーム７３０を表示した座標に入力結果を表示する。ここで、手書きコメント７２１がユーザ指示によって選択されて電子入力フォーム７３０が表示された場合に、電子入力フォームへの入力内容が電子コメントであれば電子コメント７４１が表示される。例えば、図１５の手書きコメント７２１が選択された場合に電子コメント７４１（文字列「ＤＥＦ」）は電子入力フォーム７３０の座標と同座標の（−Ｘｗ１＋Δｘ１，  Ｙｗ１＋Δｙ１）に表示される。またさらに手書きコメント７２１がユーザ指示によって選択されて電子入力フォーム７３０が表示された場合に、電子入力フォームへの入力内容が添付ファイルであれば、参照ファイルアクセスボタン７４２が表示される。例えば、図１５の手書きコメント７２１がさらに選択された場合に、図１６のように参照ファイルアクセスボタン７４２は電子入力フォーム７３０が表示された座標から所定の位置ずらされた座標（−Ｘｗ１＋Δｘ１＋Δｘ２，  Ｙｗ１＋Δｙ１）に表示される。
【００８０】
図２２は、検索エンジン画面７５１を説明するものである。
【００８１】
検索エンジン画面７５１は文字列入力領域７３１で入力された文字列がキーワード欄７５２で表示される。そして、検索結果は検索結果欄７５３に表示される。次へボタン７５４は次ページの検索結果を表示するためのものである。非表示ボタン７５５は検索エンジン画面を閉じるものである。
【００８２】
図２３は、検索結果欄７５３を説明するものである。
【００８３】
７５３（ａ）はキーワード検索結果例である。７５３（ｂ）は画像検索結果例をである。７５４（ｃ）動画検索結果例である。
【００８４】
図２４は、参照ファイルパス入力画面７６１を説明するものである。
【００８５】
参照ファイルパス入力欄７６２は添付したい参照ファイルを入力するものである。決定ボタン７６３は参照ファイルパス入力欄７６２で入力された参照ファイルを添付するよう決定するものである。キャンセルボタン７６４は参照ファイルパス入力画面を閉じるものである。
【００８６】
なお、本実施形態において、参照ファイルパスは情報端末３００の記憶部３０３に記憶されているファイルへのパスとする。しかし、参照ファイルパスの送信とともにファイルを情報端末３００からサーバ４００にアップロード（送信）するような実施形態では以下のような構成をとってもよい。すなわち、サーバ４００へ参照ファイルパスが送信される際に、参照ファイル入力部３１３はサーバ４００の記憶部４０３にアップロードし、参照ファイルパスを参照ファイルのアップロード先のパスへと変換して送信する。これにより参照ファイルがサーバ４００へアップロードされてそのファイルへのパスが記憶されるので、参照ファイルがどの情報端末３００からも参照することが可能となる。
【００８７】
（スレッド情報）
図１８は、サーバ４００におけるスレッド管理部４１３で管理するスレッド情報を説明するものである。
【００８８】
スレッド管理部４１３は複数のスレッド情報を管理する。１つのスレッド情報は１つのスレッドヘッダと１つ以上のコメント情報もしくは０以上の参照ファイル情報から構成される木構造で表現される。
【００８９】
スレッドヘッダ８０１は以下の情報を含む。
【００９０】
スレッドＩＤ：スレッドＩＤはスレッドを一意に特定するための情報である。
先頭コメントＩＤ：先頭コメントＩＤは当該スレッドの先頭となるコメント情報のコメントＩＤを示す。
スレッド座標（Ｘｔｈｒｅａｄ）：スレッド座標（Ｘｔｈｒｅａｄ）は電子掲示板座標系（Ｘｂｂｓ、Ｙｂｂｓ）において表示される当該スレッド情報のＸｔｈｒｅａｄ座標を示す。
スレッド座標（Ｙｔｈｒｅａｄ）：スレッド座標（Ｙｔｈｒｅａｄ）は電子掲示板座標系において表示される当該スレッド情報のＹｔｈｒｅａｄ座標を示す。
スレッドサイズ（ＸＳＩＺＥｔｈｒｅａｄ）：スレッドサイズ（ＸＳＩＺＥｔｈｒｅａｄ）は電子掲示板座標系において表示される当該スレッドのＸｂｂｓ軸方向のサイズを示す。
スレッドサイズ（ＹＳＩＺＥｔｈｒｅａｄ）：スレッドサイズ（ＹＳＩＺＥｔｈｒｅａｄ）は電子掲示板座標系において表示される当該スレッドのＹｂｂｓ軸方向のサイズを示す。
【００９１】
コメント情報８０２は以下の情報を含む。
【００９２】
コメントＩＤ：コメントＩＤはコメントを一意に特定するための情報である。
親コメントＩＤ：親コメントＩＤは当該コメントの親ノードであるコメント情報のコメントＩＤである。当該コメントが先頭コメントである場合は親ノードは無い。
子コメントＩＤ：子コメントＩＤは当該コメントの子ノードであるコメント情報のコメントＩＤである。親コメント情報は複数の子コメント情報を持つことができる。なお、コメント情報が含む親コメントＩＤおよび子コメントＩＤの情報は、コメント情報の親子関係を示すコメント親子情報とも呼ばれる。
参照ファイルＩＤ：参照ファイルＩＤは当該コメント情報に関連する参照ファイルの参照ファイルＩＤである。コメント情報は複数の参照ファイル情報を持つことができる。
タイプ：タイプは当該コメント情報の種別が手書きコメントであるビットマップか電子コメントである文字列かを示すコメント識別子である。
データ：データは手書きコメント情報であればビットマップファイル名であり、電子コメント情報であれば文字列データである。
コメント座標（Ｘｃｏｍ）：コメント座標（Ｘｃｏｍ）は電子掲示板座標系において表示される当該コメント情報のＸｂｂｓ座標を示す。
コメント座標（Ｙｃｏｍ）：コメント座標（Ｙｃｏｍ）は電子掲示板座標系において表示される当該コメント情報のＹｂｂｓ座標を示す。
コメントサイズ（ＸＳＩＺＥｃｏｍ）：コメントサイズ（ＸＳＩＺＥｃｏｍ）は電子掲示板座標系において表示される当該コメントのＸｂｂｓ軸方向のサイズを示す。
コメントサイズ（ＹＳＩＺＥｃｏｍ）：コメントサイズ（ＹＳＩＺＥｃｏｍ）は電子掲示板座標系に表示する当該コメントのＹｂｂｓ軸方向のサイズを示す。コメントサイズ（ＸＳＩＺＥこｍ）とコメントサイズ（ＹＳＩＺＥｃｏｍ）はコメント情報のタイプがビットマップの場合に使用される。タイプが文字列の場合は、サーバ４００側で定義した文字サイズから文字列サイズが算出される。
重畳対象：重畳対象は、当該コメント情報を重畳表示の対象とするか否かを示す。予めサーバ側設定で常に重畳表示対象としてもよいし、先頭コメントＩＤから最大Ｎ個まで重畳表示対象とするような設定でも構わない。この最大数Ｎはユーザ指示に基づいて入力される数値で設定される構成であってもよい。後述の図１８のコメント情報８０５（ｂ）ではＮ＝３としている。
【００９３】
参照ファイル情報８０３は以下の情報を含む。
【００９４】
参照ファイルＩＤ：参照ファイルＩＤは参照ファイル情報を一意に特定するための情報。
親コメントＩＤ：親コメントＩＤは当該参照ファイル情報の親ノードであるコメント情報のコメントＩＤである。
タイプ：タイプは当該参照ファイル情報の種別を示すものである。種別には例えば、動画や音声、文書、図面、ＵＲＬ、ショートカットなどが挙げられる。種別に対応したアプリケーションで再生できる。
データ：データは参照ファイル情報の参照ファイルパスを示す。
アクセスボタン座標（Ｘａｃｃ）：アクセスボタン座標（Ｘａｃｃ）は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのＸｂｂｓ座標を示す。
アクセスボタン座標（Ｙａｃｃ）：アクセスボタン座標（Ｙａｃｃ）は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのＹｂｂｓ座標を示す。
アクセスボタンサイズ（ＸＳＩＺＥａｃｃ）：アクセスボタンサイズ（ＸＳＩＺＥａｃｃ）は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのＸｂｂｓ軸方向のサイズを示す。
アクセスボタンサイズ（ＹＳＩＺＥａｃｃ）：アクセスボタンサイズ（ＹＳＩＺＥａｃｃ）は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのＹｂｂｓ軸方向のサイズを示す。
【００９５】
スレッド８０４はスレッド情報の木構造を表した例である。スレッド８０４は１つのスレッドヘッダと５個のコメント情報と３個の参照ファイル情報に基づいて構成される。コメントＩＤ＝３のコメント情報はコメントＩＤ＝４とコメントＩＤ＝５の２つの子コメント情報を有する。コメントＩＤ＝４のコメント情報は参照ファイルＩＤ＝２と参照ファイルＩＤ＝３の２つの参照ファイル情報を有している。
【００９６】
８０５（ａ）はスレッド８０４のスレッドヘッダを表した例である。８０５（ｂ）はスレッド８０４のコメント情報のリストを表した例である。８０５（ｃ）はスレッド８０４の参照ファイル情報のリストを表した例である。ここで、親コメントＩＤ＝０は親コメント情報を持たない先頭コメント情報であることを意味する。子コメントＩＤ＝０は子コメント情報を持たない末端のコメント情報であることを意味する。参照ファイルＩＤ＝０は参照ファイル情報を持たないことを意味する。重畳対象＝１は重畳対象とすることを意味する。重畳対象＝０は重畳対象としないことを意味する。
【００９７】
（スレッド管理）
図１９はサーバ４００におけるスレッド管理処理を説明するものである。
【００９８】
スレッド管理部４１３は、Ｓ４０１１にてコメントの追加が発生したか否かを判定する。具体的にはスレッド管理部４１３がコメント情報（手書きコメント情報および電子コメント情報）あるいは参照ファイル情報を受信した場合、コメントの追加が発生したと判定する。
【００９９】
コメントの追加が発生したと判定した場合は、Ｓ４０１２にて、スレッド管理部４１３は新規スレッドを生成する必要があるか否かを判定する。具体的にはコメント情報に含まれる座標情報が、スレッド情報内の各コメント情報８０２の表示領域内もしくは各参照ファイル情報８０３の参照ファイルアクセスボタンの領域内を示す情報でない場合、スレッド管理部４１３は新規スレッドの生成が必要と判定する。コメント情報に含まれる座標情報が、記憶部３０３に記憶されているスレッド情報内の各コメント情報の表示領域内もしくは参照ファイルアクセスボタンの領域内を示す情報である場合、新規スレッドの生成は不要と判定される。
【０１００】
新規スレッドの生成が必要と判定された場合は、スレッド管理部４１３はＳ４０１３にて、新規のスレッドヘッダ８０１を生成することで新規スレッドを生成する。なお、以降のスレッド管理部４１３の実行する処理は生成した新規スレッドの情報に関しての処理となる。新規スレッドの生成が必要と判定されない場合は、以降のスレッド管理部４１３の実行する処理は該当する既存スレッドの情報に関しての処理となる。
【０１０１】
次にスレッド管理部４１３はＳ４０１４にて、入力されたコメント情報が手書きコメント情報であるか否かを判定する。具体的にはコメント種別判定部４１１は入力されたコメント情報に含まれるコメント識別子を参照することでコメント情報が手書きコメント情報であるか否かを判定し、判定結果をスレッド管理部４１３に送信する。そしてスレッド管理部４１３は受信した判定結果に基づいて、入力されたコメント情報が手書きコメント情報であるか否かを判定する。入力されたコメント情報が手書きコメント情報であった場合は、スレッド管理部４１３はＳ４０１５で、入力されたコメント情報を、手書きコメント情報としてスレッド表示できるようにスレッド情報のフォーマットに変換する。
【０１０２】
Ｓ４０１４にて手書きコメント情報でなかった場合は、Ｓ４０１６にて入力されたコメント情報が電子コメント情報であるか否かを判定する。具体的にはコメント種別判定部４１１は入力されたコメント情報に含まれるコメント識別子を参照することでコメント情報が電子コメント情報であるか否かを判定し、判定結果をスレッド管理部４１３に送信する。そしてスレッド管理部４１３は受信した判定結果に基づいて、入力されたコメント情報が電子コメント情報であるか否かを判定する。
【０１０３】
入力されたコメント情報が電子コメント情報であった場合は、スレッド管理部４１３はＳ４０１７で、入力されたコメント情報を、電子コメント情報としてスレッド表示できるようにスレッド情報のフォーマットに変換する。
【０１０４】
Ｓ４０１６にて、電子コメント情報でなかった場合は入力されたのは参照ファイル情報であるから、Ｓ４０１８にてスレッド管理部４１３は参照ファイル情報を、スレッド表示できるようにスレッド情報のフォーマットに変換する。
【０１０５】
スレッド管理部４１３はＳ４０１９にて、スレッド情報のフォーマット（図１８の符号８０２、８０３参照）に変換されたコメント情報もしくは参照ファイル情報をスレッド情報に追加する。そしてスレッド管理部４１３は、スレッドヘッダを更新して、スレッド情報を記憶部４０３に記憶する。
【０１０６】
なお、スレッド管理部４１３によって管理されるスレッド情報は、情報端末３００によってサーバ４００の記憶部４０３から読み出される場合がある。また、記憶部４０３に記憶されるオリジナルデータも情報端末３００によって読み出され、スレッド情報が付加されて表示部３０４に表示される場合がある。この場合、サーバ４００は記憶部４０３に記憶するスレッド情報ならびにオリジナルデータ７００を情報端末３００へ送信する。そして情報端末３００の制御部３０２はオリジナルデータ７００を電子掲示板座標系において表示し、そのオリジナルデータ７００上にスレッド情報を重ねて表示する。
【０１０７】
具体的には、制御部３０２は、スレッド情報のスレッドヘッダによって１スレッドを表示するために用いられるコメント情報ならびに参照ファイル情報を取得する。そして制御部３０２は、取得したコメント情報および参照ファイルのデータとタイプに基づいて、ビットマップあるいは文字列あるいは参照ファイルアクセスボタンの画像オブジェクトを生成する。また制御部３０２は、コメント情報および参照ファイル情報それぞれの座標情報（コメント座標、アクセスボタン座標）およびサイズ情報（コメントサイズ、アクセスボタンサイズ）を取得する。そして制御部３０２は、取得した座標情報およびサイズ情報に基づいて、生成した画像オブジェクトをオリジナルデータ７００上に重畳表示すべく、オリジナルデータ７００上に画像オブジェクトを合成した画像を生成する。そして制御部３０２は、合成された画像を表示部３０４に表示する。合成されて得られる画像データは、スレッド情報（コメント情報および参照ファイル情報）の各情報が入力された際の各情報の入力あるいは表示の位置関係が保たれた画像であり、１つのスレッドとしてスレッド状に表示される。このような表示をスレッド表示と呼ぶ。
【０１０８】
図１８のスレッド情報（スレッドヘッダ８０５（ａ）、コメント情報８０５（ｂ）、参照ファイル情報８０５（ｃ））がオリジナルデータ７００にスレッド表示される場合、表示される画像は図２５（ａ）に示されるような画像となる。つまり情報端末３００がオリジナルデータ７００とともにスレッド情報を読みだしてスレッド表示する場合、表示される画面の大きさには制限がないため、全てのスレッド情報をオリジナルデータ７００に重ね合わせてスレッド表示する。このような場合、重畳処理部３１５は、スレッド情報の全てに対してコメント情報の「重畳対象」の情報を「重畳対象＝１」としてスレッド表示する。スレッド情報の全てを表示するのか、一部を表示するのか（例えば先頭コメントからＮ個）をユーザ指示に基づいて切り替える構成をとってもよい。
【０１０９】
（重畳表示）
本実施形態の電子掲示板システムにおいて、紙資料１０に入力された手書きコメントは、ビットマップによって電子化される。そして、ビットマップ化された手書きコメントはオリジナルデータ７００とともに情報端末３００の表示部３０４に表示される。そして、手書きコメントに対して手書きコメントを追記したユーザあるいは他のユーザは情報端末３００を介して電子コメントを追加することができる。
【０１１０】
このような電子掲示板システムにおいて、紙資料１０に手書き追記したユーザは、その手書きコメントに対する他のユーザからのコメントを見たい場合がある。または、手書きコメントが追加される前の紙資料１０を配布されたユーザは、他のユーザによって既に追加されている手書きコメントあるいは電子コメントをすぐに見たい場合がある。このようなユースケースに応えるべく、紙資料１０を情報端末３００の撮像部３０６で撮像すると、撮像画像に手書きコメントや電子コメントなどが重畳された画像が、リアルタイムで表示部３０４に表示される処理について図２０、２１、２５を用いて説明する。
【０１１１】
図２０は、重畳表示に関する情報端末３００の処理を説明する図である。この処理により情報端末３００は、撮像部３０６で撮像して表示部３０４に表示した紙資料１０の画像に対し、記憶部３０３に記憶しているスレッド情報を、紙資料１０の画像上の特徴パターンの位置に基づいて、重ね合わせて表示することができる。
【０１１２】
Ｓ３０５１にて、撮像部３０６は紙資料１０を撮像し、撮像画像（図２５の符号３００１）を制御部３０２の重畳処理部３１５へ送信する。そして制御部３０２の重畳処理部３１５は、撮像画像３００１から特徴パターン（図２５のパターン１１０）を探し、特徴パターンを検出したかを判定する。なお特徴パターンとは、パターンを検出した際に紙面座標系と電子掲示板座標系との対応関係をとることが可能となるパターンである。これにより、電子掲示板座標系で管理されているコメント情報のビットマップおよび文字列や参照ファイルアクセスボタンなどの画像オブジェクトを、撮像画像３００１内の適切な位置に重畳して表示することができる。本実施形態における特徴パターンは図２５の符号１１０に示されるようなパターンであるが、特徴パターンは人間にとって可視のものでも不可視のものであってもよい。なお撮像画像３００１から特定の特徴パターンを検出するために、本実施形態では一例として拡張現実技術を利用する。
【０１１３】
重畳処理部３１５が特徴パターンを検出した場合は、Ｓ３０５２にて、重畳処理部３１５は該特徴パターンの情報（特徴パターン情報）を含むスレッド情報取得要求を、サーバ４００に対して送信する。
【０１１４】
そしてＳ３０５３において重畳処理部３１５は、Ｓ３０５２での該特徴パターン情報の送信の応答としての情報をサーバ４００から受信する。
【０１１５】
次に、Ｓ３０５４にて、重畳処理部３１５は、Ｓ３０５３で受信した情報にスレッド情報が含まれているかどうかを判定する。すなわち、重畳処理部３１５はスレッド情報を受信したかを判定する。
【０１１６】
スレッド情報を受信したと判定した場合は、Ｓ３０５５にて重畳処理部３１５は、受信したスレッド情報のコメント情報８０２毎に、コメント情報８０２に含まれる「重畳対象」の情報に基づいて重畳表示の対象となるコメント情報の画像オブジェクトを生成する。なお重畳処理部３１５は、コメント情報の画像オブジェクトを生成する際に、重畳表示の対象となるコメント情報のコメントＩＤを親コメントＩＤとして持つ参照ファイル情報について、参照ファイルアクセスボタンの画像オブジェクトを生成する。また重畳処理部３１５は、重畳表示の対象とならないコメント情報のコメントＩＤを親コメントＩＤとして持つ参照ファイル情報については、参照ファイルアクセスボタンの画像オブジェクトを生成せず、重畳対象とはしない。以上で生成される画像オブジェクトは、スレッド情報中の各座標情報に基づき、コメント情報およびファイル情報の互いの位置関係が保たれる位置に表示されるように生成されている。すなわち、図２５（ｂ）に示されるように手書きコメント７２１と電子コメント７４１、７４３、参照ファイルアクセスボタン７４２がスレッド状に並ぶことになる。
【０１１７】
そして、Ｓ３０５６で重畳処理部３１５は生成した画像オブジェクトを、撮像部３０６で撮像した画像上の該特徴パターンの検知位置に基づく位置に重畳して、スレッド表示する。例えば、重畳処理部３１５は生成した画像オブジェクトを、特徴パターンの検知位置の座標に、画像オブジェクトの先頭コメントが表示されるようにスレッド表示をする。また例えば、重畳処理部３１５は生成した画像オブジェクトを、特徴パターンの検知位置の座標から所定の距離オフセットさせた座標位置に、画像オブジェクトの先頭コメントが表示されるようにスレッド表示をする。あるいは、重畳処理部３１５は、生成した画像オブジェクトを、画像オブジェクトの電子掲示板座標系における座標位置と検知位置特徴パターンの検知位置とに基づいて算出される位置に、画像オブジェクトの先頭コメントが表示されるようにスレッド表示をする。
【０１１８】
Ｓ３０５４でスレッド情報を受信していないと判定した場合は、重畳処理部３１５は重畳すべき画像オブジェクトを生成しない。
【０１１９】
図２１は、重畳表示に関するサーバ４００の処理を説明する図である。
【０１２０】
Ｓ４０５１にて、制御部４０２は情報端末３００からＳ３０５２のスレッド情報取得要求を受信したか否かを判定する。スレッド情報取得要求には重畳処理部３１５が検知した特徴パターンの情報を含む。
【０１２１】
スレッド情報取得要求を受信した場合は、Ｓ４０５２にて、制御部４０２の特徴抽出部４１５は、オリジナルデータ７００から、該受信した特徴パターン情報（パターン１１０）に対応するオリジナルデータ７００内の領域を抽出する。特徴パターン情報（パターン１１０）に対応するオリジナルデータ７００内の領域とは、パターン１１０の元となるオリジナルデータ７００内の特徴パターンであるパターン７１０の座標位置の画像領域のことである。
【０１２２】
次に、Ｓ４０５３にて制御部４０２は、スレッドヘッダのスレッド座標に基づいて、Ｓ４０５２で抽出した領域の電子掲示板座標系における座標位置から最も近い距離にあるスレッド情報を、スレッド管理部４１３の管理する複数のスレッド情報の中から検索する。
【０１２３】
次に、Ｓ４０５４にて制御部４０２は、最近傍のスレッド情報の領域が特徴パターン（パターン７１０）の領域に対して予め定めた距離内に存在するか否かを判定する。具体的には、制御部４０２は、最近傍のスレッド情報に含まれるスレッドヘッダのスレッド座標と、Ｓ４０５２で抽出した領域の電子掲示板座標系における座標との距離が所定の閾値以内であるかを判定する。
【０１２４】
Ｓ４０５４にて、「存在する」と判定された場合はＳ４０５５で制御部４０２は、Ｓ４０５３での検索結果であるスレッド情報を、Ｓ４０５１で受信したスレッド情報取得要求の応答として情報に含めると決定する。Ｓ４０５４にて、「存在しない」と判定された場合は、Ｓ４０６６にて制御部４０２は、Ｓ４０５１で受信したスレッド情報取得要求の応答としての情報にスレッド情報を含めないと決定する。
【０１２５】
そして、Ｓ４０５７にて制御部４０２は、Ｓ４０５５あるいはＳ４０５６で決定されたように、スレッド情報取得要求の応答としての情報を情報端末３００に送信する。
【０１２６】
以上で説明した図２０および図２１の処理が実行されることにより、図２５（ｂ）のように撮像部３０６で撮像した撮像画像３００１に対して手書きコメント、電子コメント、参照ファイルアクセスボタンをスレッド表示することができる。これによって、ユーザは、紙資料１０を撮像するだけで、手書きコメントに対して追加された電子コメントを簡単に取得でき、また、スレッド表示されているのでコメント間の関係性をユーザは把握しやすくなる。
【０１２７】
なお、上述した図２０、２１の処理フローは、情報端末３００が撮像部３０６による撮像画像に対してスレッド情報を重畳表示させる場合の処理フローであって、図２５（ｂ）のような画像が表示部３０４に表示される。ここで、情報端末３００は、前述した図２５（ａ）のようにオリジナルデータ７００に対してスレッド情報を重畳して表示させる表示モードと、図２５（ｂ）のように撮像画像３００１に対してスレッド情報を重畳して表示させる表示モードとを選択するモード選択手段を有していてもよい。
【０１２８】
＜その他の実施形態＞
以上の実施形態において、手書きコメント情報を入力する方法は超音波を発する電子ペン１００を用いた座標計算によるものであったが別手法によるものであってもよい。すなわち、予め決まったドットパターンが印刷された特別な用紙に電子ペンで筆記し、電子ペンに付属された撮影部で軌跡に応じたドットパターンを読み取る。サーバは該特別な用紙のドットパターン情報を記憶しており、電子ペンから送信された軌跡情報を元に電子掲示板座標系で手書きコメントのビットマップを生成する。以上の方法であってもよい。
【０１２９】
また、本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005979918.tif 000002
【図２】
0005979918.tif 000003
【図３】
0005979918.tif 000004
【図４】
0005979918.tif 000005
【図５】
0005979918.tif 000006
【図６】
0005979918.tif 000007
【図７】
0005979918.tif 000008
【図８】
0005979918.tif 000009
【図９】
0005979918.tif 000010
【図１０】
0005979918.tif 000011
【図１１】
0005979918.tif 000012
【図１２】
0005979918.tif 000013
【図１３】
0005979918.tif 000014
【図１４】
0005979918.tif 000015
【図１５】
0005979918.tif 000016
【図１６】
0005979918.tif 000017
【図１７】
0005979918.tif 000018
【図１８】
0005979918.tif 000019
【図１９】
0005979918.tif 000020
【図２０】
0005979918.tif 000021
【図２１】
0005979918.tif 000022
【図２２】
0005979918.tif 000023
【図２３】
0005979918.tif 000024
【図２４】
0005979918.tif 000025
【図２５】
0005979918.tif 000026