(57)【要約】【課題】撮像画像に電子情報を重畳表示する場合、視認性の高い重畳表示を提供する。【解決手段】撮像画像からオブジェクトを検出する検出手段と、前記検出手段で検出された１または複数のオブジェクトに対し、ユーザ指示に基づいて入力された電子情報を関連づけて管理する管理手段と、前記管理手段にて管理されるオブジェクトから、少なくとも１つのオブジェクトを選択する選択手段と、前記選択手段で選択したオブジェクトに関連付けられた電子情報をアイコン化せずに前記撮像画像に重畳して表示し、前記選択手段で選択されなかったオブジェクトに関連する電子情報をアイコン化して前記撮像画像に重畳して表示する重畳表示手段と、を有し、前記重畳表示手段は、前記選択手段で選択されたオブジェクトの前記撮像画像における位置に基づいて、当該選択されたオブジェクトに関連付けられた電子情報を配置する。【選択図】図２７
2014238663.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像から１または複数のオブジェクトを検出する検出手段と、
前記検出手段で検出された１または複数のオブジェクトに対し、ユーザ指示に基づいて入力された電子情報を関連づけて管理する管理手段と、
前記管理手段にて管理されるオブジェクトから、少なくとも１つのオブジェクトを選択する選択手段と、
前記選択手段で選択したオブジェクトに関連付けられた電子情報をアイコン化せずに前記撮像画像に重畳して表示し、前記選択手段で選択されなかったオブジェクトに関連する電子情報をアイコン化して前記撮像画像に重畳して表示する重畳表示手段と、
を有し、
前記重畳表示手段は、前記選択手段で選択されたオブジェクトの前記撮像画像における位置に基づいて、当該選択されたオブジェクトに関連付けられた電子情報を配置することを特徴とする情報処理システム。
【請求項２】
前記重畳表示手段は、前記撮像画像が更新された際に、前記電子情報の配置を更新することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
オブジェクトは複数の電子情報が関連付けられ、
前記重畳表示手段は、前記複数の電子情報を順に前記オブジェクトに向かって配置することを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記選択手段は、前記管理手段にて管理されるオブジェクトそれぞれの位置と前記撮像画像の所定の位置との距離に基づいてオブジェクトを選択することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理システム。
【請求項５】
前記選択手段は、前記管理手段にて管理されるオブジェクトそれぞれに関連付けられた電子情報を前記撮像画像に重畳して表示する際の位置と、前記撮像画像の所定の位置との距離に基づいてオブジェクトを選択することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理システム。
【請求項６】
前記選択手段は、前記距離が最も小さいオブジェクトを選択することを特徴とする請求項４または５に記載の情報処理システム。
【請求項７】
前記選択手段は、前記距離が予め定めた閾値以下のオブジェクトを選択することを特徴とする請求項４または５に記載の情報処理システム。
【請求項８】
前記所定の位置は、前記撮像画像の中心位置であることを特徴とする請求項４乃至７のいずれか一項に記載の情報処理システム。
【請求項９】
前記重畳表示手段は、前記撮像画像が更新された場合またはオブジェクトに関連付けられた電子情報が更新された場合に重畳表示の内容を更新することを特徴とする請求項１乃至８のいずれか一項に記載の情報処理システム。
【請求項１０】
前記選択手段は、ユーザ指示に基づいて、選択するオブジェクトを変更することを特徴とする請求項１乃至９のいずれか一項に記載の情報処理システム。
【請求項１１】
前記選択手段は、前記撮像画像が更新された際に、当該撮像画像において前記選択手段にて選択されていたオブジェクトが前記撮像画像の中心から遠ざかっている場合、選択するオブジェクトを変更することを特徴とする請求項１乃至１０に記載の情報処理システム。
【請求項１２】
撮像画像から１または複数のオブジェクトを検出する検出工程と、
前記検出工程で検出された１または複数のオブジェクトに対し、ユーザ指示に基づいて入力された電子情報を関連づけて管理部にて管理させる管理工程と、
前記管理部にて管理されるオブジェクトから、少なくとも１つのオブジェクトを選択する選択工程と、
前記選択工程で選択したオブジェクトに関連付けられた電子情報をアイコン化せずに前記撮像画像に重畳して表示し、前記選択工程で選択されなかったオブジェクトに関連する電子情報をアイコン化して前記撮像画像に重畳して表示する重畳表示工程と、
を有し、
前記重畳表示工程において、前記選択工程で選択されたオブジェクトの前記撮像画像における位置に基づいて、当該選択されたオブジェクトに関連付けられた電子情報を配置することを特徴とする情報処理システムの制御方法。
【請求項１３】
コンピュータを、
撮像画像から１または複数のオブジェクトを検出する検出手段、
前記検出手段で検出された１または複数のオブジェクトに対し、ユーザ指示に基づいて入力された電子情報を関連づけて管理する管理手段、
前記管理手段にて管理されるオブジェクトから、少なくとも１つのオブジェクトを選択する選択手段、
前記選択手段で選択したオブジェクトに関連付けられた電子情報をアイコン化せずに前記撮像画像に重畳して表示し、前記選択手段で選択されなかったオブジェクトに関連する電子情報をアイコン化して前記撮像画像に重畳して表示する重畳表示手段、
として機能させ、
前記重畳表示手段は、前記選択手段で選択されたオブジェクトの前記撮像画像における位置に基づいて、当該選択されたオブジェクトに関連付けられた電子情報を配置することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システムおよびその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
多数のユーザによる情報の登録や読み出しを制御する電子掲示板システム（以下、単に電子掲示板と呼ぶ）がある。電子掲示板は各種の情報の伝達やユーザ間のコミュニケーションを広く行うために利用されている。電子掲示板の中にはテキスト情報であるコメント文だけでなく写真等の画像も扱えるものもある（特許文献１）。
【０００３】
また、情報端末の表示部に表示する情報の視認性を高める技術がある。例えば、１つの表示部に複数のウィンドウを表示するマルチウィンドウシステムにおいては、表示部の表示面積の制約からウィンドウ同士が重なることがある。ウィンドウの重なりが生じると、ユーザはウィンドウ内に表示されている情報を読み取りにくくなる（視認性低下）。これを解決するために、特許文献２では、ウィンドウ同士が重なった場合、下層ウィンドウはアイコン化し、上層ウィンドウはアイコン化せずに表示している。また、上層ウィンドウのリサイズ等により重なりが解除された場合は、アイコン化した下層ウィンドウをデアイコン化（アイコン化の解除）している。
【０００４】
例えば、カメラで撮像して得た撮像画像を表示するとともに、該撮像画像から特徴パターンを検出して該特徴パターンに対応する電子情報を重畳して表示する重畳表示システムがある。このような重畳表示システムの中には、検出した複数の特徴パターンの各々に対応する電子情報が互いに重なることがある。電子情報の重なりが生じると、ユーザは互いの電子情報を読み取りにくくなる（視認性低下）。これを解決するために、電子情報同士が重ならないよう配置計算して重畳表示するものがある（非特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１０１１１４号公報
【特許文献２】特開平６−１２４１８４号公報
【非特許文献】
【０００６】
【非特許文献１】牧田孝嗣、他２名、“ウェアラブル拡張現実のための移動体の位置・形状を考慮した注釈のビューマネジメント”、［ｏｎｌｉｎｅ］、２００７年９月、日本バーチャルリアリティ学会第１２回大会論文集、［平成２４年１２月２１日検索］、インターネット＜ＵＲＬ：  ｈｔｔｐ：／／ｙｏｋｏｙａ．ｎａｉｓｔ．ｊｐ／ｐａｐｅｒ／ｄａｔａｓ／１００８／ｖｒｓｊ２００７ｊ＿ｍａｋｉｔａ．ｐｄｆ＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１においてユーザが紙資料に手書きした情報を電子掲示板に登録する場合、ユーザは手書きした情報を含んだ紙資料を撮像し、撮像画像を電子掲示板に登録することになる。ここで、電子掲示板に登録された撮像画像内に写っている手書き部分の情報（手書きコメント）に対してユーザがコメントを追加しようとして、情報端末を介して情報（電子コメント）を追加入力する場合、電子コメントは前述の撮像画像に対して追加される。
【０００８】
しかしながら、撮像画像内には複数の手書きコメントが含まれている可能性がある。その場合、あとで電子コメントと撮像画像を参照した際に、追加入力された電子コメントは撮像画像中のどの手書きコメントに対応するのかが分かりにくい場合がある。つまり、ユーザが紙資料に手書きした部分の情報は１つのオブジェクトとして扱われていないため、入力された電子コメントを撮像画像ではなく手書きコメントに関連付けて管理することができない。その結果、コメントを参照する際に、撮像画像内の手書きコメントと電子コメントとの関係がわかりづらいという課題がある。また、手書きした紙資料からは電子コメントの付加状況を確認できない。
【０００９】
これに対し、本出願人は、携帯電話等の情報端末を用いて紙資料を撮像すると、当該撮像して得た撮像画像に電子コメントを重畳して表示することで、電子コメントの付加状況を確認できるようにすることを考えている。一方、このように紙資料を撮像して得た撮像画像に電子コメントを重畳して表示するようなケースにおいて、ユーザは、紙資料の内容と、紙資料上の手書きコメントと、重畳された電子コメントとを見比べて確認することになる。その場合、各情報の視認性を確保する必要がある。しかしながら、撮像画像から複数の特徴パターンを検出し、それぞれの特徴パターンに対応する電子コメントを重畳表示すると、電子コメント同士が重なって表示されるケースが生じる。また、電子コメント同士が重ならなかったとしても複数の電子コメントで紙資料内容や手書きコメントが見づらくなるケースが生じる。これらの課題に対し、特許文献１の方法では、互いに重ならない電子コメントはアイコン化しないので、紙資料の内容および紙資料上に手書きした手書きコメントがアイコン化されない電子コメントのために視認できない問題が残る。また、非特許文献１の方法では、携帯端末のディスプレイの表示面積の制限から重畳する電子コメントの数が多くなれば視認性の確保は困難になる。
【課題を解決するための手段】
【００１０】
上記課題を解決するために本願発明は以下の構成を有する。すなわち、情報処理システムであって、撮像画像から１または複数のオブジェクトを検出する検出手段と、前記検出手段で検出された１または複数のオブジェクトに対し、ユーザ指示に基づいて入力された電子情報を関連づけて管理する管理手段と、前記管理手段にて管理されるオブジェクトから、少なくとも１つのオブジェクトを選択する選択手段と、前記選択手段で選択したオブジェクトに関連付けられた電子情報をアイコン化せずに前記撮像画像に重畳して表示し、前記選択手段で選択されなかったオブジェクトに関連する電子情報をアイコン化して前記撮像画像に重畳して表示する重畳表示手段と、を有し、前記重畳表示手段は、前記選択手段で選択されたオブジェクトの前記撮像画像における位置に基づいて、当該選択されたオブジェクトに関連付けられた電子情報を配置する。
【発明の効果】
【００１１】
撮像した画像内のオブジェクトに対し関連する電子情報を重畳表示する際に、撮像画像の内容と重畳する電子情報の視認性を確保することができる。
【図面の簡単な説明】
【００１２】
【図１】情報処理システムの全体構成の例を示す図。
【図２】システムの構成要素の構成例を示す図。
【図３】紙資料を説明するための図。
【図４】電子ペンにおける電子ペン軌跡情報の送信処理のフローチャート。
【図５】通信端末における電子ペンの移動軌跡を示す座標の算出処理のフローチャート。
【図６】通信端末における手書きコメント軌跡情報の取得処理のフローチャート。
【図７】紙資料を説明するための図。
【図８】電子掲示板を説明するための図。
【図９】サーバにおける手書きコメント情報の取得処理のフローチャート。
【図１０】電子掲示板を説明するための図。
【図１１】サーバにおける特徴パターン検出処理のフローチャート。
【図１２】電子掲示板を説明するための図。
【図１３】情報端末における電子入力フォームの入力処理のフローチャート。
【図１４】電子掲示板の表示例を説明するための図。
【図１５】検索画面の例を示す図。
【図１６】検索結果の例を示す図。
【図１７】参照ファイルパス入力画面の例を示す図。
【図１８】スレッド情報の構成例を示す図。
【図１９】サーバにおけるスレッド管理処理のフローチャート。
【図２０】特徴パターン情報の構成例を示す図。
【図２１】情報端末における重畳表示処理のフローチャート。
【図２２】情報端末における画像オブジェクトの種別決定処理のフローチャート。
【図２３】情報端末における画像オブジェクト生成処理のフローチャート。
【図２４】情報端末における固定モード情報決定処理のフローチャート。
【図２５】サーバにおける重畳表示処理のフローチャート。
【図２６】スレッド表示とアイコン表示を説明するための図。
【図２７】スレッド表示とアイコン表示を説明するための図。
【図２８】異なる特徴パターン位置でのスレッド表示例を説明するための図。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
以下、本願発明を実施するための形態について図面を用いて説明する。
【００１４】
［システム構成］
図１は、本発明の第１の実施形態を示す情報処理システム（電子掲示板システム）の装置構成の例を示す図である。図１において、紙資料１０はオリジナルデータ（元画像）が印刷されており、例えば複数ユーザへの配布物でもよいし、掲示板への掲示物でもよい。また、紙資料１０の材質は紙に限定するものではなく、オリジナルデータが印刷可能な記録媒体であればどのようなものであっても構わない。電子ペン１００は、無線通信により１対１で通信端末２００と接続される。通信端末２００、サーバ４００、および情報端末３００は、ＬＡＮなどのネットワーク５０を介して通信可能に接続される。なお、ネットワーク５０は、有線／無線のいずれの構成であっても構わない。電子ペン１００は、紙資料１０に対して文字や図形を手書き追記するためのデバイスであり、紙資料１０上にて操作された電子ペン１００の軌跡情報（電子ペン軌跡情報）を通信端末２００に送信する。
【００１５】
通信端末２００は、受信した電子ペン軌跡情報から、手書き追記している際の電子ペン１００の軌跡情報（手書きコメント軌跡情報）を抽出してサーバ４００に送信する。
【００１６】
サーバ４００は、受信した手書きコメント軌跡情報に基づいて手書きコメント情報を生成する。また、サーバ４００は、情報端末３００から電子コメント情報および参照ファイル情報を受信する。なお、本実施形態において、オリジナルデータ、手書きコメント情報、電子コメント情報、および参照ファイル情報をまとめて電子掲示板情報と呼ぶ。電子掲示板情報は、サーバ４００で記憶され、管理される。電子掲示板情報の詳細については後述する。
【００１７】
情報端末３００（携帯電話や電子タブレット等の携帯端末）は表示部を備え、サーバ４００の管理する電子掲示板情報を表示部に表示する。また、情報端末３００は、表示部に表示された電子掲示板情報に対してユーザが入力した電子コメント情報や参照ファイル情報をサーバ４００に送信する。また、情報端末３００はカメラなどの撮像部を備え、撮像部で紙資料１０を撮像して紙資料１０の画像を表示部に表示する。なおこの際に情報端末３００は、表示部の表示される撮像画像に電子掲示板情報を重畳表示することもできる。情報端末３００が撮像部を備えていない場合は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブルなどで外部接続したカメラなどの撮像手段を利用する形態でもよい。
【００１８】
（電子ペン）
図２（ａ）は、本実施形態に係る電子ペン１００の構成例を示す。筆記部１０５はペンで実現され、インクカートリッジ内のインクを使って文字や図形を紙資料１０上に可視状態で筆記する。筆圧検知部１０４は筆圧センサで実現され、紙資料１０に筆記する際のペンにかかる筆圧を検知する。電子ペンデータ送信部１０１は、赤外線を発信する赤外線発信装置および超音波を発信する超音波発信装置で実現され、通信端末２００に電子ペン軌跡情報を送信する。記憶部１０３はＲＡＭやＲＯＭなどのメモリで実現され、制御部１０２が必要とする一時的なデータなどをメモリに記憶する。
【００１９】
制御部１０２は電子ペン１００を統括的に制御し、記憶部１０３に記憶されたプログラムコードをＣＰＵが読み出して実行することで実現する。制御部１０２は、筆圧検知部１０４で加圧開始を検知すると電子ペンデータ送信部１０１に加圧開始を意味する加圧開始信号を赤外線発信するよう制御する。また、制御部１０２は、筆圧検知部１０４で加圧終了を検知すると電子ペンデータ送信部１０１に加圧終了を意味する加圧終了信号を赤外線発信するよう制御する。また、制御部１０２は、加圧開始から加圧終了までの時間内において一定周期で超音波発信するよう電子ペンデータ送信部１０１を制御する。電子ペンデータ送信部１０１の発信する超音波信号は、後述するように電子ペンの位置情報を表す信号である。
【００２０】
（通信端末）
図２（ｂ）は、本実施形態に係る通信端末２００の構成例を示す。電子ペンデータ受信部２０４は、１つの赤外線受信センサと２つの超音波受信センサを有するレシーバで実現される。電子ペンデータ受信部２０４は、電子ペン１００の電子ペンデータ送信部１０１から発信された赤外線信号と超音波信号から構成される電子ペン軌跡情報を受信する。ネットワーク通信部２０１はＬＡＮ  Ｉ／Ｆで実現され、ネットワーク５０を介してサーバ４００に手書きコメント軌跡情報を送信する。記憶部２０３はＲＯＭやＲＡＭ、ＨＤＤ等のメモリで実現され、制御部２０２で利用する一時データや電子ペン軌跡情報、手書きコメント軌跡情報などを記憶する。
【００２１】
制御部２０２は通信端末２００の各部を統括的に制御し、記憶部２０３に記憶されたプログラムコードをＣＰＵが読み出して実行することで実現する。制御部２０２は、電子ペンデータ受信部２０４で受信した電子ペン軌跡情報を記憶部２０３に記憶するよう制御する。制御部２０２は、記憶部２０３から読み出した電子ペン軌跡情報から手書きコメント軌跡情報を抽出してサーバ４００に送信するようネットワーク通信部２０１を制御する。更に制御部２０２は、ユーザの電子ペンによる筆跡動作に応じて電子ペンから軌跡情報を受信し、紙面座標を算出するフロー（図５）や一連の筆跡を手書きコメント軌跡情報として抽出するためのフロー（図６）を実行する。
【００２２】
（サーバ）
図２（ｃ）は、本実施形態に係るサーバ４００の構成例を示す。ネットワーク通信部４０１はＬＡＮ  Ｉ／Ｆで実現され、ネットワーク５０を介して通信端末２００と情報端末３００とで様々なデータを送受信する。記憶部４０３は、ＲＡＭやＲＯＭやＨＤＤなどのメモリで実現され、本実施形態における電子掲示板情報を記憶する。またネットワーク通信部４０１は、コメント情報を受信し、記憶部４０３に記憶する。電子掲示板情報には、紙面に印刷された画像の内容と同じ内容のオリジナルデータ、スレッド情報、一時的な保存データなどが含まれる。
【００２３】
制御部４０２はサーバ４００の各部を統括的に制御し、記憶部４０３に記憶されたプログラムをＣＰＵが読み出して実行することで実現する。さらに、制御部４０２は、コメント種別判定部４１１、手書きコメント入力部４１２、スレッド管理部４１３、印刷レイアウト部４１４、特徴抽出部４１５、および特徴パターン管理部４１６から構成される。
【００２４】
コメント種別判定部４１１は、ネットワーク通信部４０１から受信したコメント情報が手書きコメント情報、電子コメント情報、もしくは参照ファイル情報のいずれの種別であるかを判定する。本実施形態では、サーバ４００、情報端末３００、および通信端末２００の間ではＨＴＴＰ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）プロトコルを用いて通信する。また、コメント情報の送受信においてはコメント種別の識別子（コメント識別子）が併せて送受信される。このコメント種別の識別子が参照されることで、受信されたコメント情報のコメント種別が判別される。
【００２５】
受信されたコメント情報が手書きコメント情報のコメント種別に属するものである場合、受信されたコメント情報は手書きコメント軌跡情報である。そのため、手書きコメント入力部４１２は、手書きコメント軌跡情報をビットマップ化して手書きコメント情報を生成し、記憶部４０３に記憶する。生成された手書きコメント情報は、スレッド管理部４１３で管理される。
【００２６】
受信されたコメント情報が電子コメント情報もしくは参照ファイル情報のコメント種別に属するものである場合、受信されたコメント情報は電子コメント情報もしくは参照ファイル情報である。これら電子コメント情報もしくは参照ファイル情報はスレッド管理部４１３によって管理される。
【００２７】
スレッド管理部４１３は、手書きコメント情報、電子コメント情報、および参照ファイル情報を関連づけたスレッド情報を生成し、記憶部４０３に記憶する。スレッド情報とは、図１８に示すように、手書きコメント情報、電子コメント情報、および参照ファイル情報を含む電子情報であり、特徴パターン（オブジェクト）に関連付けられている。また、それぞれの親子関係やそれぞれの情報が入力された際の位置関係が示されている。各情報は追加可能であり、スレッド管理部４１３は、手書きコメント情報、電子コメント情報、もしくは参照ファイル情報の追加に応じてスレッド情報の更新を行う。
【００２８】
印刷レイアウト部４１４は、情報端末３００から電子掲示板情報の印刷要求を受信した場合に電子掲示板情報の印刷レイアウトを生成する。本実施形態において、印刷レイアウト部４１４は後述のオリジナルデータ７００に記憶部４０３に記憶したスレッド情報を重ねて表示した電子掲示板表示結果を印刷対象とする。印刷は、情報端末３００にインストールされたプリンタドライバを用いて、情報端末３００に接続されたプリンタ（不図示）に対して印刷指示をすることで実現する。すなわち、情報端末３００は電子掲示板情報の印刷を指示する印刷指示手段（不図示）を有する。
【００２９】
特徴抽出部４１５は、オリジナルデータ７００からテキストパターン、図形パターンなどの特徴パターンを抽出する。本実施形態では特徴パターンの抽出のために、公知の特徴点検出技術、及び特徴量抽出技術を利用する。例えば、特徴抽出部４１５は指定されたコメント周辺の画像について特徴点を検出し、その特徴点数が所定の閾値より大きい場合、それら特徴点を含む矩形領域を、特徴パターンとして抽出する。また、同時に特徴量の計算も行う。この特徴パターンの位置は、その特徴点を含む矩形領域の左上端の座標として定義される。なお、特徴パターンの検出方法は上記方法に限るものではなく、他の方法を用いても良い。また、特徴パターンは、矩形領域ではなく、オブジェクトとして検出してもよい。
【００３０】
特徴パターン管理部４１６は、特徴パターン情報テーブルを生成し、記憶部４０３に保存する。特徴パターン情報テーブルとは、図２０を示すように、特徴パターンの位置や特徴点自身を識別するための情報を示す特徴パターン情報の一覧を保持するデータテーブルである。特徴パターン管理部４１６は、新規スレッドが追加される度に、特徴パターン情報テーブルを更新する。
【００３１】
（情報端末）
図２（ｄ）は、情報端末３００の構成例を示す。ネットワーク通信部３０１はＬＡＮ  Ｉ／Ｆで実現され、ネットワーク５０を介してサーバ４００とで様々なデータを送受信する。記憶部３０３はＲＡＭやＲＯＭやＨＤＤなどのメモリで実現され、本実施形態において制御部３０２で利用する一時的な保存データなどを記憶する。
【００３２】
表示部３０４は、ディスプレイ（タッチパネルも含む）等に代表される表示装置で実現され、電子掲示板情報や撮像部３０６で撮像した画像などを表示する。入力部３０５は、タッチパネルやマウス、キーボード等に代表される入力装置で実現され、ユーザからの入力操作を受け付ける。撮像部３０６はカメラなどに代表される撮像手段で実現され、紙資料１０の撮像画像を取得する。
【００３３】
制御部３０２は、情報端末３００の各部を統括的に制御し、記憶部３０３に記憶されたプログラムをＣＰＵが読み出して実行することで実現する。さらに、制御部３０２は、電子掲示板情報表示部３１１、電子コメント入力部３１２、参照ファイル入力部３１３、検索部３１４、および重畳処理部３１５で構成される。電子掲示板情報表示部３１１は、サーバ４００から取得した電子掲示板情報を表示部３０４に表示する。また、電子掲示板情報表示部３１１は、ユーザからの電子コメント（文字列）の入力を受け付けるための電子入力フォームを表示する。電子入力フォームの詳細については後述する。
【００３４】
電子コメント入力部３１２は、電子入力フォームに対してユーザが入力部３０５を用いて入力した電子コメントを取得し、電子コメント情報としてサーバ４００へ送信する。参照ファイル入力部３１３は、電子入力フォームに対してユーザが入力部３０５を用いて入力した参照ファイルへのパス（参照ファイルパス）を取得し、参照ファイル情報としてサーバ４００へ送信する。検索部３１４は、電子入力フォームに対してユーザが入力部３０５を用いて入力した検索キーに基づいて、検索処理を行う。重畳処理部３１５は、撮像部３０６によって撮像された紙資料１０の画像を表示部３０４に表示するとともに、電子掲示板情報を紙資料の画像に重畳表示する。
【００３５】
（手書きコメント入力）
図３は、本実施形態における紙資料１０の紙面を説明するための図である。紙資料１０には、オリジナルデータの内容としてオブジェクト１１０が印刷されている。
【００３６】
本実施形態では、紙面の座標系を（Ｘｐａｐｅｒ，Ｙｐａｐｅｒ）で表現し、紙資料１０の上部中央を紙面原点２６０（０，０）とする。この座標系は、電子ペンデータ受信部２０４を実現するレシーバにより認識される。これにより、後述のオリジナルデータ７００の上部中央を座標原点とした電子掲示板との整合性をとる。紙資料１０は、紙面の座標系において（−Ｘｐ，０）、（Ｘｐ，０）、（−Ｘｐ，Ｙｐ）、（Ｘｐ，Ｙｐ）の位置である。
【００３７】
ユーザは、紙資料１０上に電子ペン１００で手書きコメントを筆記開始する際に手書きコメント開始領域２５１をチェックする。次に、ユーザは、手書きコメントである「ＡＢＣ」を筆記する。図３において「○」にて示される２１１から２１６は、筆圧検知部１０４で検知するコメント「ＡＢＣ」に対する加圧開始ポイントに相当する。また「□」にて示される２２１から２２６は筆圧検知部１０４で検知するコメント「ＡＢＣ」に対する加圧終了ポイントに相当する。ユーザは、手書きコメントの筆記終了後に手書きコメント終了領域２５２をチェックするものとする。
【００３８】
［処理フロー］
（電子ペンにおける電子ペン軌跡情報送信処理）
図４は、電子ペン１００が通信端末２００に一連の電子ペン軌跡情報を送信するフローチャートを示す。本フローチャートは、電子ペン１００のＣＰＵがＲＯＭ等に記憶されたプログラムを読み出し、実行することにより実現される。
【００３９】
Ｓ１００１にて、電子ペン１００の制御部１０２は筆圧検知部１０４で加圧開始を検知したか否かを判定する。加圧開始を検知した場合（Ｓ１００１にてＹＥＳ）、Ｓ１００２に進み、制御部１０２は電子ペンデータ送信部１０１から赤外線で加圧開始信号を送信するよう制御する。Ｓ１００３にて、制御部１０２は加圧状況に応じて超音波信号を送信する。制御部１０２は筆圧検知部１０４で加圧終了を検知するまで（Ｓ１００４にてＮＯ）一定周期で超音波信号を送信し続ける。加圧終了を検知すると（Ｓ１００４にてＹＥＳ）、Ｓ１００５にて、制御部１０２は、電子ペンデータ送信部１０１から赤外線で加圧終了信号を送信するよう制御する。加圧開始信号を送信してから加圧終了信号を送信するまでの超音波信号が一連の電子ペン軌跡情報である。
【００４０】
（通信端末における紙面座標算出処理）
図５は、通信端末２００が電子ペン１００から一連の電子ペン軌跡情報を受信し、電子ペンの移動軌跡を示す座標（紙面座標）を算出するフローチャートを示す。本フローチャートは、通信端末２００のＣＰＵがＲＯＭ等に記憶されたプログラムを読み出し、実行することにより実現される。
【００４１】
Ｓ２００１にて、通信端末２００の制御部２０２は、電子ペンデータ受信部２０４で赤外線の加圧開始信号を受信したか否かを判定する。加圧開始信号を受信した場合（Ｓ２００１にてＹＥＳ）、Ｓ２００２に進む。Ｓ２００２にて、制御部２０２は、電子ペンデータ受信部２０４で超音波信号を受信したか否かを判定する。超音波信号が受信されていない場合（Ｓ２００２にてＮＯ）、Ｓ２００４へ進む。
【００４２】
超音波信号が受信された場合（Ｓ２００２にてＹＥＳ）、Ｓ２００３にて制御部２０２は、２つの超音波受信センサで受信した超音波信号の受信時間の差および２つの超音波センサ間の距離から電子ペンの紙面座標を算出する。なお紙面座標については図７を用いて後述する。
【００４３】
Ｓ２００４にて、制御部２０２は、電子ペンデータ受信部２０４で赤外線の加圧終了信号を受信したか否かを判定する。加圧終了信号が受信されていない場合（Ｓ２００４にてＮＯ）、処理はＳ２００２に戻る。加圧終了信号が受信された場合（Ｓ２００４にてＹＥＳ）、制御部２０２は、加圧開始から加圧終了までの一連のペン軌跡情報の取得を終了する。すなわち、制御部２０２は、図５の処理フローを実行することにより、連続的に受信される電子ペン軌跡情報から、電子ペンの移動軌跡を示す紙面座標の情報を順次算出する。なお、以下においては、Ｓ２００３にて算出された電子ペンの移動軌跡を示す紙面座標の情報のことも含めて、電子ペン軌跡情報と呼ぶ。
【００４４】
（通信端末における手書きコメント軌跡情報抽出処理）
図６は、通信端末２００において、図３の手書きコメント「ＡＢＣ」を１つの手書きコメント軌跡情報として抽出するフローチャートを示す。本フローチャートは、通信端末２００のＣＰＵがＲＯＭ等に記憶されたプログラムを読み出し、実行することにより実現される。すなわち、図６の処理フローを制御部２０２が実行することで、一連の電子ペン軌跡情報から手書きコメント軌跡情報を抽出する。
【００４５】
Ｓ２０１１にて制御部２０２は、図５の処理フローで算出された電子ペン１００の紙面座標の情報を含む電子ペン軌跡情報を取得する。Ｓ２０１２にて、制御部２０２は、手書きコメント開始フラグがＯＮであるかを判定する。手書きコメント開始フラグは記憶部２０３で記憶されており、初期値はＯＦＦである。
【００４６】
手書きコメント開始フラグがＯＦＦの場合（Ｓ２０１２にてＮＯ）、Ｓ２０１３にて制御部２０２は電子ペン軌跡情報の示す電子ペン１００の紙面座標が手書きコメント開始領域２５１内であるか否かを判定する。電子ペン１００の紙面座標が手書きコメント開始領域２５１内ではない場合（Ｓ２０１３にてＮＯ）、Ｓ２０１１に戻る。電子ペン１００の紙面座標が手書きコメント開始領域２５１内である場合（Ｓ２０１３にてＹＥＳ）、Ｓ２０１４にて制御部２０２は、手書きコメント開始フラグをＯＮに設定し、Ｓ２０１１に戻る。
【００４７】
手書きコメント開始フラグがＯＮの場合（Ｓ２０１２にてＹＥＳ）、Ｓ２０１５にて制御部２０２は電子ペン軌跡情報の示す電子ペン１００の紙面座標が手書きコメント終了領域２５２内であるか否かを判定する。電子ペン１００の紙面座標が手書きコメント終了領域２５２内ではない場合（Ｓ２０１５にてＮＯ）、Ｓ２０１６にて制御部２０２は、電子ペン軌跡情報を手書きコメント軌跡情報の一部として記憶部２０３に記憶し、Ｓ２０１１に戻る。電子ペンの紙面座標が手書きコメント終了領域２５２内である場合（Ｓ２０１５にてＹＥＳ）、Ｓ２０１７にて制御部２０２は手書きコメント開始フラグをＯＦＦに設定する。
【００４８】
Ｓ２０１８にて制御部２０２は、Ｓ２０１６において記憶部２０３で記憶した、手書きコメント開始から終了までの一連の電子ペン軌跡情報群を１つの手書きコメント軌跡情報（例えば「ＡＢＣ」）としてサーバ４００に送信する。またこの送信の際には、制御部２０２は手書きコメント軌跡情報に手書きコメント情報に属する種別の情報であることを示す手書きコメント識別子を含めて送信する。
【００４９】
図７は、図３で説明した紙面座標計算の結果である手書きコメント軌跡情報を説明する図である。図７において座標２３１や２３２などの「●」で示される座標は、紙面座標計算の結果として得られる座標の例である。そして、紙面座標計算を図３に示す加圧開始ポイント２１１〜２１６それぞれに対応する加圧終了ポイント２２１〜２２６に対して順に行った結果、手書きコメント軌跡情報「ＡＢＣ」として、一連のコメント軌跡情報２４０群が得られる。
【００５０】
図８は、本実施形態における紙資料１０に対応するオリジナルデータ７００を説明する図である。記憶部４０３はオリジナルデータ７００を記憶している。なお、本実施形態において、オリジナルデータ７００とは、紙資料１０に印刷された画像の元データであり、オリジナルデータ７００を用いて記憶媒体に印刷処理が施されることで紙資料１０が印刷される。
【００５１】
本実施形態では電子掲示板の座標系を（Ｘｂｂｓ，Ｙｂｂｓ）で表現し、オリジナルデータ７００の上部中央を電子掲示板原点７０１（０，０）とする。オリジナルデータ７００における電子掲示板原点７０１は、図３の紙資料１０における紙面原点２６０と対応している。オリジナルデータ７００は電子掲示板の座標系において（−Ｘｏ，０）、（Ｘｏ，０）、（−Ｘｏ，Ｙｏ）、（Ｘｏ，Ｙｏ）の４点で構成される矩形領域で表現される。
【００５２】
（サーバにおける手書きコメント情報取得処理）
図９は、サーバ４００の手書きコメント入力部４１２で手書きコメント軌跡情報をビットマップ化して手書きコメント情報を取得するフローチャートである。本フローチャートは、サーバ４００のＣＰＵがＲＯＭ等に記憶されたプログラムを読み出し、実行することにより実現される。ここでは、図３の手書きコメント軌跡情報２４０である「ＡＢＣ」を例にとって説明する。また、記憶部４０３はオリジナルデータ７００を記憶している。
【００５３】
Ｓ４００１にて手書きコメント入力部４１２は、図６のＳ２０１８で通信端末２００が送信した手書きコメント軌跡情報２４０および手書きコメント識別子を受信する。この手書きコメント軌跡情報２４０は、紙面座標系（Ｘｐａｐｅｒ，Ｙｐａｐｅｒ）で表現された手書きコメントの座標情報を含む。Ｓ４００２にて手書きコメント入力部４１２は、受信した手書きコメント軌跡情報２４０に含まれる紙面座標系で表現された手書きコメントの座標情報を、電子掲示板の座標系（Ｘｂｂｓ，Ｙｂｂｓ）に変換する。変換処理は、紙資料１０のサイズとオリジナルデータ７００のサイズを元に予め変換係数を決定しておくことで実現する。図１０は、手書きコメント軌跡情報２４０を電子掲示板の座標系（Ｘｂｂｓ，Ｙｂｂｓ）に変換した結果を示す例であり、座標７１１や７１２に代表される座標を得る。
【００５４】
Ｓ４００３にて手書きコメント入力部４１２は、座標変換された手書きコメント軌跡情報の座標群を包含する矩形の最小の矩形サイズ７２０を算出する。そして、手書きコメント入力部４１２は、この最小の矩形の左上の座標（−Ｘｗ１，Ｙｗ１）と、最小の矩形の右下の座標（Ｘｗ２，Ｙｗ２）とを得る。
【００５５】
Ｓ４００４にて手書きコメント入力部４１２は、座標変換された手書きコメント軌跡情報の座標での画像データに色を付与し、ビットマップとして描画する。手書きコメント入力部４１２は、手書きコメントをビットマップ化した矩形サイズ７２０のコメント７２１を生成して、記憶部４０３に記憶する。そして、手書きコメント入力部４１２は、記憶部４０３に記憶したコメント７２１へのファイルパスとビットマップの左上座標（−Ｘｗ１，Ｙｗ１）とＳ４００１で受信した手書きコメント識別子を手書きコメント情報としてスレッド管理部４１３に送信する。
【００５６】
（サーバにおける特徴パターン検出処理）
図１１は、コメントの近傍領域に存在する特徴パターンを検出して登録するフローチャートである。本フローチャートは、サーバ４００のＣＰＵがＲＯＭ等に記憶されたプログラムを読み出し、実行することにより実現される。
【００５７】
例えば本フローチャートを実施した場合、コメントと特徴パターン７１０が図１４（ｂ）のような位置関係にある時、先頭コメント「ＡＢＣ」から見て右下の領域にあるオブジェクトを特徴パターン７１０として検出する。この処理はサーバ４００の特徴パターン管理部４１６により実施され、後述する図１９のスレッド管理処理において、新規スレッドが追加された際に実施される（Ｓ４０２１）。また、この時の入力として、新規に追加されたスレッドのスレッド情報が与えられる。
【００５８】
Ｓ４０６１にて特徴パターン管理部４１６は、図１４（ｃ）に示すように指定されたスレッドの先頭コメント（ここでは「ＡＢＣ」に相当）の中心位置を原点として、原点７１６を中心にオリジナルデータを十字に分割する。続いて、特徴パターン管理部４１６は、分割領域それぞれについて、原点７１６を一つの頂点とする探索距離（Ｗｓ，Ｈｓ）の大きさを持つ矩形領域７１７を探索領域として定義する。ここで、探索距離（Ｗｓ，Ｈｓ）の初期値は（０，０）とする。
【００５９】
Ｓ４０６２にて特徴パターン管理部４１６は、各分割領域に対して探索距離（Ｗｓ、Ｈｓ）を所定の大きさ分増加させ、矩形領域７１７を増加させる。Ｓ４０６３にて特徴パターン管理部４１６は、各探索領域の画像を特徴抽出部４１５に渡し、各分割領域（探索領域）に特徴パターンが含まれるか否かを判定する。
【００６０】
特徴パターンが検出されなかった場合（Ｓ４０６３にてＮＯ）、Ｓ４０６４にて特徴パターン管理部４１６は、原稿端まで調べたか否かを判定する。原稿端まで調べた場合（Ｓ４０６４にてＹＥＳ）、本処理を終了する。一方、原稿端まで調べていない場合（Ｓ４０６４にてＮＯ）、Ｓ４０６２へ移行する。
【００６１】
特徴パターンが検出された場合（Ｓ４０６３にてＹＥＳ）、Ｓ４０６５にて特徴パターン管理部４１６は、検出された特徴パターンの情報を特徴パターン情報テーブル（図２０）に追記する。
【００６２】
図２０は、特徴パターン情報テーブルの構成例を示す。特徴パターン情報テーブル２６０１のｘ方向相対位置は、先頭コメントのＸ座標におけるコメント座標（Ｘｃｏｍ）から特徴パターンのｘ座標までの相対位置（Ｘｍ）である。特徴パターン情報テーブル２６０１のｙ方向相対位置は、先頭コメントのＹ座標におけるコメント座標（Ｙｃｏｍ）から特徴パターンのｙ座標までの相対遺体（Ｙｍ）である。また関連スレッドＩＤの値は、入力として与えられたスレッド情報に含まれる、新規スレッドのスレッドＩＤである。先頭コメントのコメント座標（Ｘｃｏｍ，Ｙｃｏｍ）は、先頭コメントの矩形領域における中心座標でも良いし、４端のうちのいずれかであってもよい。ここでは先頭コメントの右上端の座標を用いる。
【００６３】
（電子入力フォーム）
図１２は、電子入力フォームを説明するための図である。図１２は、サーバ４００の記憶部４０３に記憶されている電子掲示板情報を、情報端末３００がサーバ４００から受信して、電子掲示板情報表示部３１１にて電子掲示板情報を表示した一例を示す。
【００６４】
ここで、ユーザが入力部３０５を介して表示部３０４に表示された電子掲示板情報が表示されている領域内の座標を選択指示すると、電子掲示板情報表示部３１１は電子入力フォーム７３０を表示する。図１２は、手書きコメント７２１の領域内の座標が選択指示されたことを示す。本実施例では、電子掲示板情報表示部３１１は手書きコメント７２１の座標から（Δｘ１、Δｙ１）だけずらしたオフセット位置（−Ｘｗ１＋Δｘ１，Ｙｗ１＋Δｙ１）に電子入力フォーム７３０を表示する。ユーザが入力部３０５を介して手書きコメント７２１の領域外の座標を選択指示した場合、電子掲示板情報表示部３１１は、選択指示された座標に応じた位置に電子入力フォーム７３０を表示する。
【００６５】
電子入力フォーム７３０は、文字列入力領域７３１、電子コメント追加ボタン７３２、キーワード検索ボタン７３３、画像検索ボタン７３４、動画検索ボタン７３５、および参照ファイル添付ボタン７３６を含む。
【００６６】
（情報端末における入力処理）
図１３は、電子入力フォームを用いた入力処理のフローチャートある。本フローチャートは、情報端末３００のＣＰＵがＲＯＭ等に記憶されたプログラムを読み出し、実行することにより実現される。
【００６７】
Ｓ３０１１にて電子掲示板情報表示部３１１は、ユーザが入力部３０５を介して表示部３０４に表示されている領域内の座標が選択指示されたか否かを検知する。座標の選択指示を検知した場合（Ｓ３０１１にてＹＥＳ）、電子掲示板情報表示部３１１は、その選択指示された座標が電子掲示板情報の領域内であるか否かを判定する。電子掲示板情報の領域内の座標が選択指示された場合、Ｓ３０１２にて電子掲示板情報表示部３１１は、電子入力フォーム７３０をオフセット位置に表示する。電子掲示板情報の領域外の座標が選択指示された場合、電子掲示板情報表示部３１１は、電子入力フォーム７３０を選択指示された座標に応じた位置に表示する。このとき電子コメント入力部３１２は、電子入力フォーム７３０を表示した位置の座標を記憶部３０３に記憶する。
【００６８】
Ｓ３０１３にて電子コメント入力部３１２は、ユーザが入力部３０５を介して文字列入力領域７３１に文字入力したか否かを判定する。文字入力された場合（Ｓ３０１３にてＹＥＳ）、電子コメント入力部３１２は、入力された文字列を記憶部３０３に記憶する。そして、Ｓ３０１４にて電子コメント入力部３１２は、電子コメント追加ボタン７３２が押下されたか否かを判定する。
【００６９】
電子コメント追加ボタン７３２が押下された場合（Ｓ３０１４にてＹＥＳ）、Ｓ３０１５にて電子コメント入力部３１２は、記憶部３０３に記憶された電子入力フォーム７３０の座標および文字列入力領域７３１に入力された文字列を電子コメント情報としてサーバ４００に送信する。また電子コメント情報の送信の際に、電子コメント入力部３１２は電子コメント情報に、送信するコメント情報が電子コメント情報に属する種別の情報であることを示す電子コメント識別子を含めて送信する。その後、Ｓ３０２１へ進む。
【００７０】
電子コメント追加ボタン７３２が押下されていない場合（Ｓ３０１４にてＮＯ）、Ｓ３０１６にて電子コメント入力部３１２は、キーワード検索ボタン７３３、画像検索ボタン７３４、または動画検索ボタン７３５のいずれかがユーザにより押下されたか否かを判定する。いずれかの検索ボタンが押下された場合（Ｓ３０１６にてＹＥＳ）、Ｓ３０１７にて検索部３１４は、検索ボタンに割り当てられたＷｅｂ検索エンジンを用いて、文字列入力領域７３１に入力された文字列を検索する。この文字列の検索については公知の検索技術を用いるため、ここでの詳細な説明は割愛する。
【００７１】
検索処理後、電子掲示板情報表示部３１１は、ユーザがボタン選択によって選択した検索エンジンを用いた入力文字列の検索結果を表示部３０４に表示する。そしてＳ３０１８にて検索部３１４は、Ｓ３０１７の検索処理の検索結果を記憶部３０３に記憶する。なお、電子掲示板情報表示部３１１は検索エンジン画面（図１５）において非表示ボタンの押下により検索エンジン画面を非表示にできる。その後、Ｓ３０１３に戻る。
【００７２】
文字列入力領域７３１に文字入力されていない場合（Ｓ３０１３にてＮＯ）、Ｓ３０１９にて電子掲示板情報表示部３１１は、参照ファイル添付ボタン７３６がユーザ指示によって押下されたか否かを判定する。参照ファイル添付ボタン７３６が押下された場合（Ｓ３０１９にてＹＥＳ）、Ｓ３０２０にて電子掲示板情報表示部３１１は、参照ファイルパス入力画面（図１７）を表示する。そして、参照ファイルパス入力画面で入力された参照ファイルパスを参照ファイル入力部３１３が記憶部３０３に記憶する。参照ファイルには、画像ファイル、動画ファイル、文書ファイル、音声ファイル、および検索部３１４が記憶した検索結果などに代表される電子ファイルが含まれる。
【００７３】
また、参照ファイル入力部３１３は、参照ファイルを参照するための参照ファイルアクセスボタンを表示すべき位置の座標を、電子入力フォームが表示された位置の座標に基づいて算出する。本実施形態において、具体的に算出される座標は、電子入力フォームの座標を（Δｘ２，０）ずらした位置の座標とする。
【００７４】
そしてＳ３０２０にて参照ファイル入力部３１３は、参照ファイルパスと参照ファイルアクセスボタンの座標の情報を、サーバ４００に参照ファイル情報として送信する。この送信の際に、参照ファイル入力部３１３は、参照ファイル情報に、送信するファイル情報が参照ファイル情報に属する種別の情報であることを示す参照ファイル識別子を含めて送信する。ここまでがＳ３０２０の処理である。なお、参照ファイルアクセスボタンは、参照ファイルを参照するためにユーザ指示によって選択される画像オブジェクトである。図１４（ｂ）に例として、参照ファイルアクセスボタン７４２を示す。
【００７５】
参照ファイル添付ボタン７３６が押下されていない場合（Ｓ３０１９にてＮＯ）、Ｓ３０１３に戻る。
【００７６】
Ｓ３０２１にて電子掲示板情報表示部３１１は、電子入力フォーム７３０を非表示にする。Ｓ３０２２にて電子掲示板情報表示部３１１は、電子入力フォーム７３０を表示した座標に入力結果を表示する。ここで、手書きコメント７２１がユーザ指示により選択されて電子入力フォーム７３０が表示された場合、電子入力フォームへの入力内容が電子コメントであれば電子コメント情報が表示される。例えば、図１４（ａ）の手書きコメント７２１が選択された場合に電子コメント７４１（文字列「ＤＥＦ」）は、電子入力フォーム７３０の座標と同座標の（−Ｘｗ１＋Δｘ１，Ｙｗ１＋Δｙ１）に表示される。
【００７７】
また手書きコメント７２１がユーザ指示によって選択されて電子入力フォーム７３０が表示された場合に電子入力フォーム７３０への入力内容が添付ファイルであれば、参照ファイルアクセスボタン７４２が表示される。例えば、図１４（ａ）の手書きコメント７２１がさらに選択された場合、図１４（ｂ）のように参照ファイルアクセスボタン７４２は、電子入力フォーム７３０が表示された座標から所定の位置ずらされた座標（−Ｘｗ１＋Δｘ１＋Δｘ２，Ｙｗ１＋Δｙ１）に表示される。
【００７８】
図１５は、検索エンジン画面７５１を説明するための図である。検索エンジン画面７５１は図１２に示す電子入力フォーム７３０の文字列入力領域７３１で入力された文字列がキーワード欄７５２で表示される。そして、検索結果は検索結果欄７５３に表示される。次へボタン７５４は、次ページの検索結果を表示する際に用いられる。非表示ボタン７５５は、検索エンジン画面を閉じる際に用いられる。
【００７９】
図１６は、図１５に示す検索結果欄７５３の詳細を説明するための図である。検索結果７５４は、キーワード検索結果の表示例である。検索結果７５５は、画像検索結果の表示例である。検索結果７５６は、動画検索結果の表示例である。ユーザは検索結果として得られたファイルの中から電子掲示板上に添付するファイルを選択することができる。
【００８０】
図１７は、図１３のＳ３０２０にて表示される参照ファイルパス入力画面７６１の例を説明するための図である。参照ファイルパス入力欄７６２は、添付したい参照ファイルを入力するための領域である。決定ボタン７６３は、参照ファイルパス入力欄７６２で入力された参照ファイルを添付するよう決定する際に用いられる。キャンセルボタン７６４は、参照ファイルパス入力画面を閉じる際に用いられる。
【００８１】
なお、本実施形態において、参照ファイルパスは情報端末３００の記憶部３０３に記憶されているファイルへのパスとする。しかし、参照ファイルパスの送信とともにファイルを情報端末３００からサーバ４００にアップロード（送信）するような構成としてもよい。この場合、サーバ４００へ参照ファイルパスが送信される際に、参照ファイル入力部３１３はサーバ４００の記憶部４０３にアップロードし、参照ファイルパスを参照ファイルのアップロード先のパスへと変換して送信する。これにより参照ファイルがサーバ４００へアップロードされてそのファイルへのパスが記憶されるので、参照ファイルがどの情報端末３００からも参照することが可能となる。
【００８２】
（スレッド情報）
図１８は、サーバ４００におけるスレッド管理部４１３で管理するスレッド情報の構成例を示す。スレッド管理部４１３は、複数のスレッド情報を管理する。１つのスレッド情報は１つのスレッドヘッダと１以上のコメント情報もしくは０以上の参照ファイル情報から構成される木構造で表現される。
【００８３】
スレッドヘッダ８０１は以下の情報を含む。
スレッドＩＤ：スレッドを一意に特定するための情報
先頭コメントＩＤ：当該スレッドの先頭となるコメント情報のコメントＩＤ
スレッド座標（Ｘｔｈｒｅａｄ）：電子掲示板座標系（Ｘｂｂｓ、Ｙｂｂｓ）にて表示される当該スレッド情報のＸｔｈｒｅａｄ座標
スレッド座標（Ｙｔｈｒｅａｄ）：電子掲示板座標系にて表示される当該スレッド情報のＹｔｈｒｅａｄ座標
スレッドサイズ（ＸＳＩＺＥｔｈｒｅａｄ）：電子掲示板座標系にて表示される当該スレッドのＸｂｂｓ軸方向のサイズ
スレッドサイズ（ＹＳＩＺＥｔｈｒｅａｄ）：電子掲示板座標系にて表示される当該スレッドのＹｂｂｓ軸方向のサイズ
【００８４】
コメント情報８０２は以下の情報を含む。
コメントＩＤ：コメントを一意に特定するための情報
親コメントＩＤ：当該コメントの親ノードであるコメント情報のコメントＩＤ。当該コメントが先頭コメントである場合には親ノードは無い。
子コメントＩＤ：当該コメントの子ノードであるコメント情報のコメントＩＤ。親コメント情報は複数の子コメント情報を持つことができる。
参照ファイルＩＤ：当該コメント情報に関連する参照ファイルの参照ファイルＩＤ。コメント情報は複数の参照ファイル情報を持つことができる。
タイプ：当該コメント情報の種別が手書きコメントであるビットマップか電子コメントである文字列かを示すコメント識別子
データ：手書きコメント情報ではビットマップファイル名、電子コメント情報では文字列データである。
コメント座標（Ｘｃｏｍ）：電子掲示板座標系にて表示される当該コメント情報のＸｂｂｓ軸方向の座標
コメント座標（Ｙｃｏｍ）：電子掲示板座標系にて表示される当該コメント情報のＹｂｂｓ軸方向の座標
コメントサイズ（ＸＳＩＺＥｃｏｍ）：電子掲示板座標系にて表示される当該コメントのＸｂｂｓ軸方向のサイズ
コメントサイズ（ＹＳＩＺＥｃｏｍ）：電子掲示板座標系にて表示される当該コメントのＹｂｂｓ軸方向のサイズ。コメントサイズ（ＸＳＩＺＥｃｏｍ）とコメントサイズ（ＹＳＩＺＥｃｏｍ）はコメント情報のタイプがビットマップの場合に使用される。タイプが文字列の場合、サーバ４００側で定義した文字サイズから文字列サイズが算出される。
重畳対象：当該コメント情報を重畳表示の対象とするか否かを示す情報。予めサーバ４００側設定で常に重畳表示対象としてもよいし、先頭コメントＩＤから最大Ｎ個まで重畳表示対象とするような設定でも構わない。最大数Ｎはユーザ指示に基づいて入力される数値で設定される構成であってもよい。図１８のコメント情報８０６ではＮ＝３とする。
【００８５】
参照ファイル情報８０３は以下の情報を含む。
参照ファイルＩＤ：参照ファイル情報を一意に特定するための情報
親コメントＩＤ：当該参照ファイル情報の親ノードであるコメント情報のコメントＩＤ
タイプ：当該参照ファイル情報の種別を示す情報。種別には例えば、動画、音声、文書、図面、ＵＲＬ、ショートカットなどが挙げられる。種別に対応したアプリケーションで再生できる。
データ：参照ファイル情報の参照ファイルパス
アクセスボタン座標（Ｘａｃｃ）：電子掲示板座標系にて表示される当該参照ファイル情報のアクセスボタンのＸｂｂｓ軸方向における座標
アクセスボタン座標（Ｙａｃｃ）：電子掲示板座標系にて表示される当該参照ファイル情報のアクセスボタンのＹｂｂｓ軸方向における座標
アクセスボタンサイズ（ＸＳＩＺＥａｃｃ）：電子掲示板座標系にて表示される当該参照ファイル情報のアクセスボタンのＸｂｂｓ軸方向のサイズ
アクセスボタンサイズ（ＹＳＩＺＥａｃｃ）：電子掲示板座標系にて表示される当該参照ファイル情報のアクセスボタンのＹｂｂｓ軸方向のサイズ
【００８６】
図１８のスレッド８０４はスレッド情報の木構造を表した例である。ここでの例において、スレッド８０４は１つのスレッドヘッダと５個のコメント情報と３個の参照ファイル情報に基づいて構成される。コメントＩＤ＝３のコメント情報は、コメントＩＤ＝４とコメントＩＤ＝５の２つの子コメント情報を有する。コメントＩＤ＝４のコメント情報は、参照ファイルＩＤ＝２と参照ファイルＩＤ＝３の２つの参照ファイル情報を有する。
【００８７】
スレッドヘッダ８０５は、スレッド８０４のスレッドヘッダを表した例である。コメント情報８０６は、スレッド８０４のコメント情報のリストを表した例である。参照ファイル情報８０７は、スレッド８０４の参照ファイル情報のリストを表した例である。これらの例において、親コメントＩＤ＝０は、親コメント情報を持たない先頭コメント情報であることを意味する。子コメントＩＤ＝０は、子コメント情報を持たない末端のコメント情報であることを意味する。参照ファイルＩＤ＝０は、参照ファイル情報を持たないことを意味する。重畳対象＝１は、重畳対象とすることを意味する。重畳対象＝０は重畳対象としないことを意味する。
【００８８】
（サーバにおけるスレッド管理処理）
図１９は、サーバ４００におけるスレッド管理処理のフローチャートである。本フローチャートは、サーバ４００のＣＰＵがＲＯＭ等に記憶されたプログラムを読み出し、実行することにより実現される。
【００８９】
Ｓ４０１１にてスレッド管理部４１３は、コメントの追加が発生したか否かを判定する。具体的にはスレッド管理部４１３がコメント情報（手書きコメント情報および電子コメント情報）あるいは参照ファイル情報を受信した場合、コメントの追加が発生したと判定する。
【００９０】
コメントの追加が発生したと判定した場合（Ｓ４０１１にてＹＥＳ）、Ｓ４０１２にてスレッド管理部４１３は、新規スレッドを生成する必要があるか否かを判定する。具体的にはコメント情報に含まれる座標情報が、記憶部３０３に記憶されているスレッド情報内のコメント情報８０２の表示領域内または参照ファイル情報８０３の参照ファイルアクセスボタンの領域内を示す情報でない場合、新規スレッドの生成は必要と判定される。コメント情報に含まれる座標情報が、記憶部３０３に記憶されているスレッド情報内の各コメント情報の表示領域内もしくは参照ファイルアクセスボタンの領域内を示す情報である場合、新規スレッドの生成は不要と判定される。
【００９１】
新規スレッドの生成が必要と判定された場合（Ｓ４０１２にてＹＥＳ）、Ｓ４０１３にてスレッド管理部４１３は、新規のスレッドヘッダ８０１を生成することで新規スレッドを生成する。そして、Ｓ４０１４へ進む。この場合、以降のスレッド管理部４１３の実行する処理は生成した新規スレッドの情報に関しての処理となる。新規スレッドの生成が必要と判定されない場合（Ｓ４０１２にてＮＯ）、Ｓ４０１４へ進む。この場合、以降のスレッド管理部４１３の実行する処理は該当する既存スレッドの情報に関しての処理となる。
【００９２】
Ｓ４０１４にてスレッド管理部４１３は、入力されたコメント情報が手書きコメント情報であるか否かを判定する。具体的にはコメント種別判定部４１１が、入力されたコメント情報に含まれるコメント識別子を参照することでコメント情報が手書きコメント情報であるか否かを判定し、判定結果をスレッド管理部４１３に送信する。そして、スレッド管理部４１３は受信した判定結果に基づいて、入力されたコメント情報が手書きコメント情報であるか否かを判定する。入力されたコメント情報が手書きコメント情報である場合（Ｓ４０１４にてＹＥＳ）、Ｓ４０１５にてスレッド管理部４１３は、入力されたコメント情報を手書きコメント情報としてスレッド表示できるようにスレッド情報のフォーマットに変換する。そして、Ｓ４０１９へ進む。スレッド表示の詳細については後述する。
【００９３】
手書きコメント情報でない場合（Ｓ４０１４にてＮＯ）、Ｓ４０１６にてスレッド管理部４１３は、入力されたコメント情報が電子コメント情報であるか否かを判定する。具体的にはコメント種別判定部４１１は、入力されたコメント情報に含まれるコメント識別子を参照することでコメント情報が電子コメント情報であるか否かを判定し、判定結果をスレッド管理部４１３に送信する。そして、スレッド管理部４１３は受信した判定結果に基づいて、入力されたコメント情報が電子コメント情報であるか否かを判定する。入力されたコメント情報が電子コメント情報である場合（Ｓ４０１６にてＹＥＳ）、Ｓ４０１７にてスレッド管理部４１３は、入力されたコメント情報を電子コメント情報としてスレッド表示できるようにスレッド情報のフォーマットに変換する。そして、Ｓ４０１９へ進む。
【００９４】
電子コメント情報でない場合（Ｓ４０１６にてＮＯ）、入力された情報は参照ファイル情報であるため、Ｓ４０１８にてスレッド管理部４１３は、参照ファイル情報をスレッド表示できるようにスレッド情報のフォーマットに変換する。そして、Ｓ４０１９へ進む。
【００９５】
Ｓ４０１９にてスレッド管理部４１３は、スレッド情報のフォーマット（図１８の８０２、８０３参照）に変換されたコメント情報もしくは参照ファイル情報をスレッド情報に追加する。さらに、スレッド管理部４１３は、スレッドヘッダを更新して、スレッド情報を記憶部４０３に記憶する。
【００９６】
Ｓ４０２０にてスレッド管理部４１３は、今回処理したスレッドが新規スレッドであったか否かを判定する。新規スレッドである場合（Ｓ４０２０にてＹＥＳ）、Ｓ４０２１にてスレッド管理部４１３は、新規スレッドの近傍に存在する特徴パターンを検出する。具体的には、新規スレッドのスレッド情報を入力として図１１の特徴パターン検出フローを実施する。
【００９７】
なお、スレッド管理部４１３によって管理されるスレッド情報は、情報端末３００によってサーバ４００の記憶部４０３から読み出される場合がある。また、記憶部４０３に記憶されるオリジナルデータ７００も情報端末３００によって読み出され、スレッド情報が付加されて表示部３０４に表示される場合がある。この場合、サーバ４００は、記憶部４０３に記憶するスレッド情報ならびにオリジナルデータ７００を情報端末３００へ送信する。そして情報端末３００の制御部３０２はオリジナルデータ７００を電子掲示板座標系にて表示し、オリジナルデータ７００上にスレッド情報を重ねて表示する。
【００９８】
具体的には、情報端末３００の制御部３０２は、スレッド情報のスレッドヘッダによって１スレッドを表示するために用いられるコメント情報ならびに参照ファイル情報を取得する。そして制御部３０２は、取得したコメント情報および参照ファイルのデータとタイプに基づいて、ビットマップあるいは文字列あるいは参照ファイルアクセスボタンの画像オブジェクトを生成する。また制御部３０２は、コメント情報および参照ファイル情報それぞれの座標情報（コメント座標、アクセスボタン座標）およびサイズ情報（コメントサイズ、アクセスボタンサイズ）を取得する。
【００９９】
そして制御部３０２は、取得した座標情報およびサイズ情報に基づいて、生成した画像オブジェクトをオリジナルデータ７００上に重畳表示すべく、オリジナルデータ７００上に画像オブジェクトを合成した画像を生成する。そして制御部３０２は、合成された画像を表示部３０４に表示する。合成されて得られる画像データは、スレッド情報（コメント情報および参照ファイル情報）の各情報が入力された際の各情報の入力あるいは表示の位置関係が保たれた画像であり、１つのスレッドとしてスレッド状に表示される。このような表示をスレッド表示と呼ぶ。スレッド表示に対して、スレッド情報をアイコン化して表示する方法をアイコン表示と呼ぶ。また、各表示形式をまとめて表示種別と記載する。
【０１００】
図１８に示すスレッド情報（スレッドヘッダ８０５、コメント情報８０６、参照ファイル情報８０７）がオリジナルデータ７００にスレッド表示される場合、表示される画像は図２６（ａ）に示されるような画像となる。つまり情報端末３００がオリジナルデータ７００とともにスレッド情報を読みだしてスレッド表示する場合、表示される画面の大きさには制限がないため、情報端末３００は全てのスレッド情報をオリジナルデータ７００に重ね合わせてスレッド表示する。
【０１０１】
このような場合、重畳処理部３１５は、スレッド情報の全てに対してコメント情報の「重畳対象」の情報を「重畳対象＝１」としてスレッド表示する。スレッド情報の全てを表示するのか、一部を表示するのか（例えば先頭コメントからＮ個）をユーザ指示に基づいて切り替える構成をとってもよい。
【０１０２】
（特徴パターン情報）
図２０は、サーバ４００における特徴パターン管理部４１６で管理される特徴パターン情報を説明するための図である。特徴パターン管理部４１６は、複数の特徴パターン情報を管理する。具体的には、個々の特徴パターン情報をレコードとして構成される特徴パターン情報テーブルとして管理する。
【０１０３】
１つの特徴パターン情報は、以下の情報を含む。
特徴パターンＩＤ：特徴パターンを一意に特定するための情報
特徴点情報パス：特徴パターンの特徴点群の特徴量情報を含む特徴点情報を格納したファイルへのパス
ｘ方向相対位置（Ｘｍ）：特徴点に関連付けられたスレッドからの特徴パターンのｘ軸方向の相対位置情報
ｙ方向相対位置（Ｙｍ）：特徴点に関連付けられたスレッドからの特徴パターンのｙ軸方向の相対位置情報
関連スレッドＩＤ：特徴パターンに関連付けられたスレッドのスレッドＩＤ
【０１０４】
また、特徴パターン情報テーブル２６０２は図１８に示すスレッド８０４へ関連付けられた特徴パターン情報をレコードとして持つ特徴パターン情報テーブルを表した例である。
【０１０５】
（重畳表示）
本実施形態の電子掲示板システムにおいて、紙資料１０に入力された手書きコメントは、ビットマップ化される。そして、ビットマップ化された手書きコメントは、オリジナルデータ７００とともに情報端末３００の表示部３０４に表示される。そして、手書きコメントに対して手書きコメントを追記したユーザあるいは他のユーザは情報端末３００を介して電子コメントを追加することができる。
【０１０６】
このような電子掲示板システムにおいて、紙資料１０に手書きで追記したユーザは、その手書きコメントに対する他のユーザからのコメントを見たい場合がある。または、手書きコメントが追加される前の紙資料１０を配布されたユーザは、他のユーザによって既に追加されている手書きコメントあるいは電子コメントをすぐに見たい場合がある。このようなユースケースに応えるべく、紙資料１０を情報端末３００の撮像部３０６で撮像すると、撮像画像に手書きコメントや電子コメントなどが重畳された画像が、リアルタイムで表示部３０４に表示されるように更新する処理について図２１〜図２５を用いて説明する。
【０１０７】
図２１は、重畳表示に関する情報端末３００の処理のフローチャートである。本フローチャートは、情報端末３００のＣＰＵがＲＯＭ等に記憶されたプログラムを読み出し、実行することにより実現される。この処理により情報端末３００は、撮像部３０６で撮像して表示部３０４に表示した紙資料１０の画像に対し、記憶部３０３に記憶しているスレッド情報を、紙資料１０の画像上の特徴パターンの位置に基づいて、重ね合わせて表示することができる。
【０１０８】
Ｓ３０５０にて重畳処理部３１５は、サーバ４００より特徴パターン情報テーブル２６０１（ａ）をダウンロードし、記憶部３０３に記憶する。
【０１０９】
Ｓ３０５１にて、撮像部３０６は紙資料１０を撮像し、撮像画像（図２７の撮像画像３００１）を制御部３０２の重畳処理部３１５へ送信する。そして制御部３０２の重畳処理部３１５は、撮像画像３００１から特徴パターンを検出したかを判定する。なお特徴パターンとは、パターンを検出した際に紙面座標系と電子掲示板座標系との対応関係をとることが可能となるパターン（オブジェクト）である。これにより、電子掲示板座標系で管理されているコメント情報のビットマップおよび文字列や参照ファイルアクセスボタンなどの画像オブジェクトを、撮像画像３００１内の適切な位置に重畳して表示することができる。
【０１１０】
撮像画像３００１から特定の特徴パターンを検出するために、本実施形態では公知の特徴点検出技術、及び特徴量抽出技術を利用する（例えばＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ））。重畳処理部３１５は、これら公知技術を用いて撮像画像から特徴量情報を抽出し、これを記憶部３０３に格納された特徴パターン情報テーブル中の各特徴パターンの特徴量情報と比較することで、特徴パターンの検出を行う。本実施例において特徴量の比較方法は問わない、一例としてＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）の利用等が挙げられる。
【０１１１】
上記特徴パターンの検出と共に、オリジナルデータ上の特徴パターンに対する撮像画像上の特徴パターンの拡大率を算出する。拡大率とは、特徴パターンの電子掲示板座標系での大きさに対する、画面上の大きさである。なお、Ｓ３０５１では複数の類似度の高いパターンが複数検出される可能性がある。その場合、類似度の最も高いものを表示する構成としても良いし、それぞれのスレッド情報をユーザに提示し、どちらを重畳表示させるか選択させる構成としても良い。
【０１１２】
特徴パターンを検出した場合（Ｓ３０５１にてＹＥＳ）、Ｓ３０５２にて重畳処理部３１５は、特徴パターンの情報を含むスレッド情報取得要求をサーバ４００に対して送信する。また、重畳処理部３１５は、検出した特徴パターンの画面座標上での位置を、記憶部３０３に格納する。
【０１１３】
Ｓ３０５３にて重畳処理部３１５は、Ｓ３０５２での特徴パターン情報のＩＤの送信の応答としての情報（スレッド情報のリスト）をサーバ４００から受信する。Ｓ３０５４にて重畳処理部３１５は、撮像画像にスレッドを重畳表示するスレッド位置を算出する。すなわち、重畳処理部３１５は、Ｓ３０５２で格納した特徴パターンの画面上の位置から特徴パターン情報（２６０１）の相対位置（Ｘｍ，Ｙｍ）に対して、Ｓ３０５１で求めた拡大率を乗じて得た画面上の座標単位と一致する相対位置を減算する。
【０１１４】
Ｓ３０５５にて重畳処理部３１５は、記憶部３０３からスレッドに対する重畳表示種別が固定モードか否か示す固定モード情報を読み出す。固定モード情報が固定モードでない場合（Ｓ３０５５にてＮＯ）、重畳処理部３１５は、重畳表示するスレッドの表示種別を更新すると判定し、Ｓ３０５６へ進む。固定モード情報が固定モードである場合（Ｓ３０５５にてＹＥＳ）、重畳処理部３１５は、重畳表示するスレッドの表示種別を更新しないと判定し、Ｓ３０５９へ進む。固定モード情報の決定の詳細に関しては図２４で説明する。
【０１１５】
Ｓ３０５６にて重畳処理部３１５は、重畳表示するための画像オブジェクトをスレッド表示とするか、アイコン表示とするかの表示種別を決定する。この処理は図２２を用いて説明する。重畳処理部３１５は、スレッド情報のリストと各スレッドに対して決定した表示種別を関連づけて記憶部３０３に記憶する。その後、Ｓ３０５７へ進む。
【０１１６】
Ｓ３０５９にて重畳処理部３１５は、決定した表示種別と関連付けられたスレッド情報の前回のリストを記憶部３０３から読み出す。そして、Ｓ３０６０にて重畳処理部３１５は、Ｓ３０５３で受信したスレッド情報のリストとＳ３０５９で読み出した前回のスレッド情報のリストとの間に差分があるか否かを判定する。差分がある場合（Ｓ３０６０にてＹＥＳ）、Ｓ３０６１にて重畳処理部３１５は差分スレッドの表示種別を決定する。本実施形態において表示種別の決定は、Ｓ３０５３で受信したスレッド情報のリストに存在するがＳ３０５９で読み出した前回のスレッド情報のリストに存在しないスレッドに対してアイコン表示するよう決定するものとする。そして、重畳処理部３１５は、スレッド情報のリストと各スレッドに対して決定した表示種別を関連づけて記憶部３０３に記憶する。その後、Ｓ３０５７へ進む。差分がない場合（Ｓ３０６０にてＮＯ）、Ｓ３０５７へ進む。
【０１１７】
Ｓ３０５７にて重畳処理部３１５は、重畳表示するための画像オブジェクトを生成する。この処理は図２３を用いて後述する。そして、Ｓ３０５８にて重畳処理部３１５は、生成した画像オブジェクトを、撮像部３０６で撮像した画像上の該特徴パターンの検知位置に基づく位置に重畳して表示する。重畳処理部３１５は、Ｓ３０５７で生成した画像オブジェクトに対して拡大率を基に画面上のサイズに適合するように拡大・縮小したうえで、スレッド位置に描画する。
【０１１８】
（表示種別決定処理）
図２２は、図２１のＳ３０５６にて重畳処理部３１５が重畳表示するための画像オブジェクトをスレッド表示するか、アイコン表示するかの表示種別を決定する処理のフローチャートである。本実施形態においては、図２２（ａ）に示すフローチャートを適用する。
【０１１９】
Ｓ３０７１にて重畳処理部３１５は、Ｓ３０５３でサーバ４００から受信した情報に含まれるスレッドの数を取得する。Ｓ３０７２にて重畳処理部３１５は、Ｓ３０５２で記憶部３０３に格納した撮像画面から検出した特徴パターンの画面座標上での位置を読み出し、画面の中心位置までの距離を算出する。
【０１２０】
Ｓ３０７３にて重畳処理部３１５は、Ｓ３０７２で算出した距離のうち最も小さい距離に対応する特徴パターンを選択する。そして、Ｓ３０７４にて重畳処理部３１５は、Ｓ３０７３で選択した特徴パターンに対応するスレッドをスレッド表示するよう決定し、Ｓ３０７３で選択しなかった特徴パターンに対応するスレッドをアイコン表示するよう決定する。そして、重畳処理部３１５は、記憶部３０３にＳ３０７３で選択した特徴パターンに対応するスレッドの表示種別を記憶する。
【０１２１】
（画像オブジェクト生成処理）
図２３は、図２１のＳ３０５７における画像オブジェクトを生成するフローチャートである。このフローは情報端末３００の重畳処理部３１５で実施される。
【０１２２】
Ｓ３０８１にて重畳処理部３１５は、対象とするスレッド情報の表示種別がスレッド表示かアイコン表示かを記憶部３０３から読み出して判定する。表示種別がスレッド表示である場合（Ｓ３０８１にてＹＥＳ）、Ｓ３０８２にて重畳処理部３１５は、特徴パターン情報テーブル２６０１のｘ方向相対位置及びｙ方向相対位置の値の正負から、特徴パターンの位置がスレッドの位置から見て右上、右下、左上、左下、どの方向にあるかを調べる。例えばｘ方向相対位置が正で、かつｙ方向相対位置が正の場合、特徴パターンの位置はスレッドの位置に対して右下にあると判定する。それぞれ正負が逆の場合は、左右上下を反転した結果となる。
【０１２３】
Ｓ３０８３にて重畳処理部３１５は、スレッド情報に含まれる各コメントの配置が特徴パターンの方角へ伸びるような位置関係になるようにコメントの位置を再計算する。コメントの座標は図３で示した通り、ｘ方向は右が正、ｙ方向は下が正となるよう定義されている。また、電子コメントは、追加される度に（Δｘ１，Δｙ１）だけ、移動される。ここでは、Δｘ１およびΔｙ１が正の場合について述べる。Δｘ１およびΔｙ１が正の場合、スレッドに含まれる各コメントの配置は右下に向かって伸びるような格好となる。特徴パターンが右下以外の方向にある場合、その方角に応じてそれぞれのコメント情報８０２のｘ座標又はｙ座標またはその両方の再計算を行う。このとき、先頭コメントから順にスレッド情報が特徴パターンの方向への配置されるように座標が再計算される。
【０１２４】
Ｓ３０８４にて重畳処理部３１５は、再計算された座標を持つコメント情報８０２毎に、コメント情報８０２に含まれる「重畳対象」の情報に基づいて重畳表示の対象となるコメント情報の画像オブジェクトを生成する。重畳表示の対象となっていない場合、処理対象のスレッドの先頭コメントは透明度が１００％のオブジェクトとして描画する。なお重畳処理部３１５は、コメント情報の画像オブジェクトを生成する際に、重畳表示の対象となるコメント情報のコメントＩＤを親コメントＩＤとして持つ参照ファイル情報について、参照ファイルアクセスボタンの画像オブジェクトを生成する。
【０１２５】
また重畳処理部３１５は、重畳表示の対象とならないコメント情報のコメントＩＤを親コメントＩＤとして持つ参照ファイル情報については、参照ファイルアクセスボタンの画像オブジェクトを生成せず、重畳対象とはしない。以上で生成される画像オブジェクトは、スレッド情報中の各座標情報に基づき、コメント情報およびファイル情報の互いの位置関係が保たれる位置に表示されるように生成されている。すなわち、図２６（ｂ）に示されるように手書きコメント７２１と電子コメント７４１、７４３、参照ファイルアクセスボタン７４２がスレッド状に並ぶスレッド表示になる。
【０１２６】
表示種別がアイコン表示である場合（Ｓ３０８１にてＮＯ）、Ｓ３０８５にて重畳処理部３１５は、スレッドが含むコメント数をスレッド情報から取得する。そして、Ｓ３０８６にて重畳処理部３１５は、取得したスレッド数を含むアイコンを生成する。
【０１２７】
例えば、図２７（ａ）および図２７（ｂ）には、撮像画像３００１に紙面上のオブジェクト１１０とオブジェクト１２０とが含まれている。オブジェクト１１０には、図２７（ａ）で示すような手書きコメント７２１、電子コメント７４１、７４３、および参照ファイルアクセスボタン７４２から構成される第１のスレッドが関連付けられている。オブジェクト１２０には、図２７（ｂ）で示すような手書きコメント７７１および電子コメント７７２から構成される第２のスレッドが関連付けされている。
【０１２８】
図２７（ａ）における撮像画像３００１では、オブジェクト１１０から撮像画像中心９００までの距離Ｒ１と、オブジェクト１２０から撮像画像中心９００までの距離Ｒ２の大小関係はＲ１＜Ｒ２となっている。そのため、図２７（ａ）ではオブジェクト１１０に関連する第１のスレッドはスレッド表示となり、オブジェクト１２０に関連する第２のスレッドはコメント数が２つであることを意味するアイコン表示９０２となっている。
【０１２９】
図２７（ｂ）における撮像画像３００１では、オブジェクト１１０から撮像画像中心９００までの距離Ｒ１と、オブジェクト１２０から撮像画像中心９００までの距離Ｒ２の大小関係はＲ１＞Ｒ２となっている。そのため、図２７（ａ）ではオブジェクト１１０に関連する第１のスレッドはコメント数が３つであることを意味するアイコン表示９０１となり、オブジェクト１２０に関連する第２のスレッドはスレッド表示となっている。
【０１３０】
なお、図２７に示す撮像画像３００１においては２つのオブジェクトが含まれる例を示したがこれに限定するものではない。１もしくは３以上のオブジェクトが含まれてもよい。また、３以上のオブジェクトが含まれる場合において、２以上のオブジェクトに関連付けられたスレッド情報をスレッド表示するようにしても構わない。
【０１３１】
（固定モード情報決定処理）
図２４は、図２１のＳ３０５５にて重畳処理部３１５が重畳表示するための画像オブジェクトをスレッド表示するか、アイコン表示するかの表示種別を決定するために用いる固定モード情報を決定するフローチャートである。第１の実施形態においては、図２４（ａ）を適用する。
【０１３２】
Ｓ３０９１にて制御部３０２は、表示部３０４でユーザによる表示部へのタップ操作を検知したかを判定する。タップ操作を検知した場合（Ｓ３０９１にてＹＥＳ）、Ｓ３０９２にて制御部３０２は、記憶部３０３に記憶している固定モード情報を読み出した後、値を反転して記憶する。固定モード情報は固定モードか非固定モードを意味し、初期値は固定モードである。
【０１３３】
（サーバにおける重畳表示処理）
図２５は、重畳表示に関するサーバ４００におけるフローチャートである。本フローチャートは、サーバ４００のＣＰＵがＲＯＭ等に記憶されたプログラムを読み出し、実行することにより実現される。これは、図２１のＳ３０５２〜Ｓ３０５３の間に行われる処理である。
【０１３４】
Ｓ４０５１にてサーバ４００の制御部４０２は、情報端末３００からＳ３０５２のスレッド情報取得要求を受信したか否かを判定する。スレッド情報取得要求には重畳処理部３１５が検知した特徴パターンの情報を含む。
【０１３５】
スレッド情報取得要求を受信した場合（Ｓ４０５１にてＹＥＳ）、Ｓ４０５２にて制御部４０２の特徴パターン管理部４１６は、特徴パターン情報テーブルを用いて受信した特徴パターン情報に対応するスレッド情報を検索する。次に、Ｓ４０５３にて制御部４０２は、スレッド情報取得要求の応答としてのＳ４０５２で検索して得られたスレッド情報のリストを情報端末３００に送信する。そして本処理フローを終了する。
【０１３６】
以上、図２１〜図２５の処理により、図２７のように撮像部３０６で撮像した撮像画像３００１に対して手書きコメント、電子コメント、および参照ファイルアクセスボタンをスレッド表示することができる。また、各情報をアイコン表示することもできる。
【０１３７】
これによって、ユーザは、紙資料１０を撮像するだけで手書きコメントに対して追加された電子コメントを簡単に取得でき、また、スレッド表示されているのでコメント間の関係性をユーザは把握しやすくなる。また、図２８のように特徴パターンそれぞれがオリジナルデータの中心点に対して右下（１１０）、右上（１１１）、左上（１１２）、左下（１１３）にある場合、それぞれスレッド表示は図２８（ａ）〜図２８（ｄ）のようになる。
【０１３８】
図２８において手書き文字２１０は、実際にペンのインクにより紙に記録された文字列である。図２８のように、特徴パターンの位置に応じてスレッドの配置の伸長方向を変更することにより、ユーザは特徴パターンが存在する領域にカメラを向けやすくなる。その結果、撮像画像から特徴パターンが外れる事による重畳表示の無効化をユーザの特別な意識なしに回避することが可能となる。
【０１３９】
例えば、図２８（ｃ）のように特徴パターンが左上（１１２）にあった場合、単にスレッドを右下に伸ばしてしまうとユーザはスレッドの先を読もうとして、カメラを右下に向けてしまう事が予想される。これにより、特徴パターン７１０が撮像画像中に含まれなくなり、重畳表示が不可能となる。本実施例の図２８（ｃ）のようにスレッド情報を左上に伸長すれば、ユーザがスレッドの先を読もうとしてカメラを左上に向けても、その方角に特徴パターン７１０があるため、撮像画像中に特徴パターン７１０が含まれなくなる状況は生じにくくなる。
【０１４０】
なお、図２１、図２５の処理フローは、情報端末３００が撮像部３０６による撮像画像に対してスレッド情報を重畳表示させる場合の処理フローであって、図２６（ｂ）のような画像が表示部３０４に表示される。ここで、情報端末３００は、前述した図２６（ａ）のようにオリジナルデータ７００に対してスレッド情報を重畳して表示させる表示モードと、図２６（ｂ）のように撮像画像３００１に対してスレッド情報を重畳して表示させる表示モードとを選択するモード選択手段（不図示）を有していてもよい。
【０１４１】
なお、本実施例は多数のオリジナルデータと印刷物を利用する場合においても適用可能である。これは、複数の電子ペンを用意し、各オリジナルデータの印刷物とその電子ペンが１対１の対応付けが可能な構成としておく事によって可能である。
【０１４２】
また、手書きコメント情報を入力する方法は超音波を発する電子ペン１００を用いた座標計算によるものであったが別手法によるものであってもよい。例えば、予め決まったドットパターンが印刷された特別な用紙に電子ペンで筆記し、電子ペンに付属された撮像部で軌跡に応じたドットパターンを読み取る。サーバは特別な用紙のドットパターン情報を記憶し、電子ペンから送信された軌跡情報を元に電子掲示板座標系で手書きコメントのビットマップを生成するような方法であってもよい。
【０１４３】
また、表示形式をスレッド表示もしくはアイコン表示にすることで、ユーザは視認性を確保しながら紙資料の情報および重畳される情報を把握できる。さらに、スレッド表示もしくはアイコン表示のモードを固定とするか否かの切替手段によって、撮像画面の変化によって自動で表示を切り替えられること、および、ユーザの意図しない表示切替を防ぐことという２つの利便性も得られる。
【０１４４】
＜第２の実施形態＞
第２の実施形態は、第１の実施形態に示した図２１のＳ３０５６において、図２２（ｂ）を適用する点が異なる。
【０１４５】
Ｓ３１７１にて重畳処理部３１５は、Ｓ３０５３でサーバ４００から受信したスレッド情報を基に、スレッド情報に含まれるスレッドの数を取得する。次に、Ｓ３１７２にて重畳処理部３１５は、Ｓ３０５４にて算出した撮像画像に重畳表示するスレッドの位置から撮像画像の中心までの距離を算出する。
【０１４６】
次に、Ｓ３１７３にて重畳処理部３１５は、Ｓ３１７２で算出した距離のうち最も小さい距離に対応する特徴パターンを選択する。そして、Ｓ３１７４にて重畳処理部３１５は、Ｓ３１７３で選択した特徴パターンに対応するスレッドをスレッド表示するよう決定し、Ｓ３１７３で選択しなかった特徴パターンに対応するスレッドをアイコン表示するよう決定する。そして、重畳処理部３１５は記憶部３０３にＳ３１７３で選択した特徴パターンに対応するスレッドの表示種別を記憶する。その後、本処理フローを終了する。
【０１４７】
本実施形態により、第１の実施形態と同様の効果を得ることができる。
【０１４８】
＜第３の実施形態＞
第３の実施形態は、第１の実施形態に示した図２１のＳ３０５６において、図２２（ｃ）を適用する点が異なる。
【０１４９】
Ｓ３２７１にて重畳処理部３１５は、Ｓ３０５３でサーバ４００から受信したスレッド情報を基に、スレッド情報に含まれるスレッドの数を取得する。次に、Ｓ３２７２にて重畳処理部３１５はＳ３０５２で記憶部３０３に格納した撮像画面から検出した特徴パターンの画面座標上での位置を読み出し、画面の中心位置までの距離を算出する。
【０１５０】
次に、Ｓ３２７３にて重畳処理部３１５は、Ｓ３２７２で算出した距離のうち予め定めた閾値以下（もしくは閾値未満）の距離に対応する特徴パターンを選択する。そして、Ｓ３２７４にて重畳処理部３１５は、Ｓ３２７３で選択した特徴パターンに対応するスレッドをスレッド表示するよう決定し、Ｓ３２７３で選択しなかった特徴パターンに対応するスレッドをアイコン表示するよう決定する。そして、重畳処理部３１５は記憶部３０３にＳ３２７３で選択した特徴パターンに対応するスレッドの表示種別を記憶する。その後、本処理フローを終了する。
【０１５１】
本実施形態により、第１の実施形態と同様の効果を得ることができる。
【０１５２】
＜第４の実施形態＞
第４の実施形態は、第１の実施形態に示した図２１のＳ３０５６において、図２２（ｄ）を適用する点が異なる。
【０１５３】
Ｓ３３７１にて重畳処理部３１５は、Ｓ３０５３でサーバ４００から受信したスレッド情報を基に、スレッド情報に含まれるスレッドの数を取得する。次に、Ｓ３３７２にて重畳処理部３１５は、Ｓ３０５４にて算出した撮像画像に重畳表示するスレッドの位置から撮像画像の中心までの距離を算出する。
【０１５４】
次に、Ｓ３３７３にて重畳処理部３１５は、Ｓ３３７２で算出した距離のうち予め定めた閾値以下（もしくは閾値未満）の距離に対応する特徴パターンを選択する。そして、Ｓ３３７４にて重畳処理部３１５は、Ｓ３３７３で選択した特徴パターンに対応するスレッドをスレッド表示するよう決定し、Ｓ３３７３で選択しなかった特徴パターンに対応するスレッドをアイコン表示するよう決定する。そして、重畳処理部３１５は記憶部３０３にＳ３３７３で選択した特徴パターンに対応するスレッドの表示種別を記憶する。その後、本処理フローを終了する。
【０１５５】
本実施形態により、第１の実施形態と同様の効果を得ることができる。
【０１５６】
＜第５の実施形態＞
第５の実施形態は、第１の実施形態に示した図２１のＳ３０５５において、図２４（ｂ）を適用する点が異なる。
【０１５７】
Ｓ３０９３にて制御部３０２は、撮像画面の変化方向（すなわち撮像部３０６の移動方向）がＳ３０８２で再計算されたスレッド情報に含まれるコメントが配置される方向と同じか否かを判定する。つまり、撮像画像の中心からオブジェクトが遠ざかる方向に移動するように画像が更新されたか否かを判定する。方向が同じと判定した場合（Ｓ３０９３にてＹＥＳ）、Ｓ３０９４にて制御部３０２は、記憶部３０３に記憶している固定モード情報を読み出した後、値を反転して記憶する。固定モード情報は固定モードか非固定モードを意味し、初期値は固定モードである。方向が異なると判定した場合（Ｓ３０９３にてＮＯ）、制御部３０２は固定モード情報を更新しない。その後、本処理フローを終了する。
【０１５８】
本実施形態により、第１の実施形態と同様の効果を得ることができる。
【０１５９】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014238663.tif 000003
【図２】
2014238663.tif 000004
【図３】
2014238663.tif 000005
【図４】
2014238663.tif 000006
【図５】
2014238663.tif 000007
【図６】
2014238663.tif 000008
【図７】
2014238663.tif 000009
【図８】
2014238663.tif 000010
【図９】
2014238663.tif 000011
【図１０】
2014238663.tif 000012
【図１１】
2014238663.tif 000013
【図１２】
2014238663.tif 000014
【図１３】
2014238663.tif 000015
【図１４】
2014238663.tif 000016
【図１５】
2014238663.tif 000017
【図１６】
2014238663.tif 000018
【図１７】
2014238663.tif 000019
【図１８】
2014238663.tif 000020
【図１９】
2014238663.tif 000021
【図２０】
2014238663.tif 000022
【図２１】
2014238663.tif 000023
【図２２】
2014238663.tif 000024
【図２３】
2014238663.tif 000025
【図２４】
2014238663.tif 000026
【図２５】
2014238663.tif 000027
【図２６】
2014238663.tif 000028
【図２７】
2014238663.tif 000029
【図２８】
2014238663.tif 000030