(57)【要約】【課題】ユーザにとって見やすい、コメント一覧画面を表示する仕組みを提供することを目的とする。【解決手段】ユーザにより入力された文字を示す、複数のコメント情報を関連付けて管理する情報処理装置であって、ユーザにより手書きされた手書きコメントを示す手書きコメント情報と、手書きコメントに含まれる文字のサイズを示す手書きコメント文字サイズと、を受信する受信手段と、手書きコメント文字サイズに基づいて、手書きコメント情報と手書きコメント情報に関連するコメント情報とを含む関連コメント情報群を一覧表示する一覧表示ページにおける前記関連コメント情報群の各コメント情報に含まれる文字のサイズである表示サイズを決定する表示サイズ決定手段とを有することによって課題を解決する。【選択図】図６
2014127008.tif 000002
【特許請求の範囲】
【請求項１】
ユーザにより入力された文字を示す、複数のコメント情報を関連付けて管理する情報処理装置であって、
ユーザにより手書きされた手書きコメントを示す手書きコメント情報と、前記手書きコメントに含まれる文字のサイズを示す手書きコメント文字サイズと、を受信する受信手段と、
前記手書きコメント文字サイズに基づいて、前記手書きコメント情報と前記手書きコメント情報に関連するコメント情報とを含む関連コメント情報群を一覧表示する一覧表示ページにおける前記関連コメント情報群の各コメント情報に含まれる文字のサイズである表示サイズを決定する表示サイズ決定手段と
を有する情報処理装置。
【請求項２】
前記関連コメント情報群の文字サイズを表示サイズに変更する文字サイズ変更手段をさらに有する、請求項１に記載の情報処理装置。
【請求項３】
前記表示サイズ決定手段は、前記受信手段が受信した前記手書きコメント情報に関連するコメント情報が当該情報処理装置に登録されていない場合に、前記手書きコメント文字サイズに基づいて、前記手書きコメント情報が属する前記関連コメント情報群の前記表示サイズを決定する請求項１又は２に記載の情報処理装置。
【請求項４】
前記表示サイズ決定手段は、前記手書きコメント情報の前記一覧表示ページにおける配置位置に基づいて、前記表示サイズを決定する請求項１から３までのいずれか１項に記載の情報処理装置。
【請求項５】
前記手書きコメント文字サイズに基づいて、仮表示サイズを決定する仮表示サイズ決定手段をさらに有し、
前記表示サイズ決定手段は、前記仮表示サイズで前記配置位置に配置された前記手書きコメントの少なくとも一部が前記一覧表示ページの外側に位置する場合に、前記仮表示サイズに比べて小さいサイズを前記表示サイズとして決定する請求項４に記載の情報処理装置。
【請求項６】
前記表示サイズ決定手段は、前記仮表示サイズで前記配置位置に配置された前記手書きコメントが前記一覧表示ページの内側に位置する場合に、前記仮表示サイズを前記表示サイズとして決定する請求項５に記載の情報処理装置。
【請求項７】
前記一覧表示ページは、前記手書きコメントが書き込まれた印刷物のオリジナルデータ上に前記関連コメント情報群が配置された画像であって、
前記オリジナルデータを記憶する記憶手段と、
前記オリジナルデータのうち、前記配置位置により特定される領域のデータを前記一覧表示ページの背景画像として生成する背景画像生成手段と、
前記手書きコメント文字サイズが前記表示サイズに比べて大きい場合に、前記手書きコメント画像を縮小し、コメント画像を生成するコメント画像生成手段と、
前記背景画像とコメント画像を合成し表示用コメント情報を生成する表示用コメント情報生成手段と
をさらに有する請求項４から６までのいずれか１項に記載の情報処理装置。
【請求項８】
前記表示サイズ決定手段は、前記手書きコメント文字サイズが調整範囲内の値である場合に、前記手書きコメント文字サイズに基づいて前記表示サイズを決定する請求項１から７までのいずれか１項に記載の情報処理装置。
【請求項９】
ユーザにより入力された文字を示す、複数のコメント情報を関連付けて管理する情報処理装置と、前記複数のコメント情報を表示する情報端末とを備える情報処理システムであって、
前記情報処理装置は、
ユーザにより手書き入力された手書きコメントと、前記手書きコメントに含まれる文字のサイズを示す手書きコメント文字サイズと、を受信する受信手段と、
前記手書きコメント文字サイズに基づいて、前記手書きコメントと前記手書きコメントに関連するコメント情報とを含む関連コメント情報群を一覧表示する一覧表示ページにおける前記関連コメント情報群の各コメント情報に含まれる文字のサイズである表示サイズを決定する表示サイズ決定手段と、
前記関連コメント情報群の文字サイズを表示サイズに変更する文字サイズ変更手段と、
前記文字サイズが変更された後の前記関連コメント情報群を情報端末に送信する送信手段と
を有し、
前記情報端末は、
前記情報処理装置から、前記関連コメント情報群を受信する受信手段と、
前記関連コメント情報群の前記一覧表示ページを生成する一覧表示ページ生成手段と、
前記一覧表示ページを表示する表示手段と
を有する情報処理システム。
【請求項１０】
ユーザにより入力された文字を示す、複数のコメント情報を関連付けて管理する情報処理装置が実行する情報処理方法であって、
ユーザにより手書きされた手書きコメントを示す手書きコメント情報と、前記手書きコメントに含まれる文字のサイズを示す手書きコメント文字サイズと、を受信する受信ステップと、
前記手書きコメント文字サイズに基づいて、前記手書きコメント情報と前記手書きコメント情報に関連するコメント情報とを含む関連コメント情報群を一覧表示する一覧表示ページにおける前記関連コメント情報群の各コメント情報に含まれる文字のサイズである表示サイズを決定する表示サイズ決定ステップと
を含む情報処理方法。
【請求項１１】
ユーザにより入力された文字を示す、複数のコメント情報を関連付けて管理する情報処理装置と、前記複数のコメント情報を表示する情報端末とを備える情報処理システムが実行する情報処理方法であって、
前記情報処理装置が、ユーザにより手書き入力された手書きコメントと、前記手書きコメントに含まれる文字のサイズを示す手書きコメント文字サイズと、を受信する受信ステップと、
前記情報処理装置が、前記手書きコメント文字サイズに基づいて、前記手書きコメントと前記手書きコメントに関連するコメント情報とを含む関連コメント情報群を一覧表示する一覧表示ページにおける前記関連コメント情報群の各コメント情報に含まれる文字のサイズである表示サイズを決定する表示サイズ決定ステップと、
前記情報処理装置が、前記関連コメント情報群の文字サイズを表示サイズに変更する文字サイズ変更ステップと、
前記情報処理装置が、前記文字サイズが変更された後の前記関連コメント情報群を情報端末に送信する送信ステップと、
前記情報端末が、前記情報処理装置から、前記関連コメント情報群を受信する受信ステップと、
前記情報端末が、前記関連コメント情報群の前記一覧表示ページを生成する一覧表示ページ生成ステップと、
前記情報端末が、前記一覧表示ページを表示する表示ステップと
を含む情報処理方法。
【請求項１２】
ユーザにより入力された文字を示す、複数のコメント情報を関連付けて管理するコンピュータを、
ユーザにより手書きされた手書きコメントを示す手書きコメント情報と、前記手書きコメントに含まれる文字のサイズを示す手書きコメント文字サイズと、を受信する受信手段と、
前記手書きコメント文字サイズに基づいて、前記手書きコメント情報と前記手書きコメント情報に関連するコメント情報とを含む関連コメント情報群を一覧表示する一覧表示ページにおける前記関連コメント情報群の各コメント情報に含まれる文字のサイズである表示サイズを決定する表示サイズ決定手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理システムに関する。
【背景技術】
【０００２】
多数のユーザによる情報の登録や読み出しを制御する電子掲示板システム（以下、単に電子掲示板と呼ぶ）が知られている。電子掲示板は、各種の情報の伝達やユーザ間のコミュニケーションのために広く利用されている。電子掲示板では、ユーザは、登録したい情報を、情報端末を介してネットワーク経由でサーバに送信する。サーバは、受信した情報を登録、管理する。情報端末は、サーバに登録された情報を読み出し、表示装置に表示する。これにより、複数のユーザが電子掲示板に登録された情報を共有することができる。
特許文献１には、テキスト情報であるコメント文だけでなく写真等の画像を投稿内容として保存し、ユーザからの閲覧要求に合った投稿内容を表示するシステムが開示されている。
【０００３】
また、特許文献２には、読取装置と印刷装置を一体化したシステムにおいて、文字が予め印字された被記録媒体に対して追加印字を行う場合に、原稿紙面から既存の印字物の文字サイズを抽出し、追加印刷する文字列の文字サイズを選択する装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１０１１１４号公報
【特許文献２】特開平９−２２６１８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
電子掲示板システムにおいては、登録されているコメントとしてはデータ入力された電子コメントの他に、手書きコメントを登録することも可能である。手書きコメントは、ユーザにより自由に入力されるため、文字サイズも様々である。このため、手書きコメントを含む複数のコメントを閲覧画面に一覧表示させた場合には、同一画面内に複数サイズの文字が存在することとなる。
一方で、電子掲示板システムのユーザは、スマートフォン等の携帯端末の表示画面に閲覧画面を表示させる場合がある。携帯端末の表示画面は小さいため、１画面に表示される文字列が小さい場合がある。この場合、ユーザは、閲覧したいコメントの部分を拡大表示させて、所望のコメントを確認する。
しかしながら、上述のように同一画面内に存在する文字のサイズが不揃いな場合には、大きな文字を基準に拡大表示させた場合には、小さな文字は潰れて読み難いという不都合が生じてしまう。一方で、小さい文字を基準に拡大表示させた場合には、大きな文字は表示画面からはみ出して読み難いという不都合が生じてしまう。
【０００６】
本発明はこのような問題点に鑑みなされたもので、ユーザにとって見やすい、コメント一覧画面を表示する仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明は、ユーザにより入力された文字を示す、複数のコメント情報を関連付けて管理する情報処理装置であって、ユーザにより手書きされた手書きコメントを示す手書きコメント情報と、前記手書きコメントに含まれる文字のサイズを示す手書きコメント文字サイズと、を受信する受信手段と、前記手書きコメント文字サイズに基づいて、前記手書きコメント情報と前記手書きコメント情報に関連するコメント情報とを含む関連コメント情報群を一覧表示する一覧表示ページにおける前記関連コメント情報群の各コメント情報に含まれる文字のサイズである表示サイズを決定する表示サイズ決定手段とを有する。
【発明の効果】
【０００８】
本発明によれば、ユーザにとって見やすい、コメント一覧画面を表示する仕組みを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】電子掲示板システムを示す図である。
【図２】電子ペンを示す図である。
【図３】通信端末を示す図である。
【図４】手書きコメント文字サイズ算出テーブルの一例を示す図である。
【図５】情報端末を示す図である。
【図６】情報管理サーバ装置を示す図である。
【図７】紙資料の一例を示す図である。
【図８】電子掲示板システムによる手書きコメント処理を示す図である。
【図９】電子ペンによる処理を示すフローチャートである。
【図１０】通信端末による座標算出処理を示すフローチャートである。
【図１１】通信端末による手書きコメント軌跡情報生成処理を示すフローチャートである。
【図１２】手書きコメント軌跡情報を説明するための図である。
【図１３】オリジナルデータを説明するための図である。
【図１４】電子入力フォームの一例を示す図である。
【図１５】情報端末による電子コメント処理を示すフローチャートである。
【図１６Ａ】電子コメントの入力結果表示画面の一例を示す図である。
【図１６Ｂ】電子コメント及び参照ファイルの入力結果表示画面の一例を示す図である。
【図１７】検索エンジン画面の一例を示す図である。
【図１８Ａ】キーワードの検索結果欄の表示例を示す図である。
【図１８Ｂ】静止画の検索結果欄の表示例を示す図である。
【図１８Ｃ】動画の検索結果欄の表示例を示す図である。
【図１９】参照ファイルパス入力画面の一例を示す図である。
【図２０】スレッド情報の一例を示す図である。
【図２１Ａ】スレッドヘッダ情報のデータ構成の一例を示す図である。
【図２１Ｂ】コメント情報のデータ構成の一例を示す図である。
【図２１Ｃ】参照ファイル情報のデータ構成の一例を示す図である。
【図２２Ａ】スレッドヘッダ情報の一例を示す図である。
【図２２Ｂ】コメント情報の一例を示す図である。
【図２２Ｃ】参照ファイル情報の一例を示す図である。
【図２３】スレッド表示の一例を示す図である。
【図２４】手書きコメントサイズ変換パラメータの一例を示す図である。
【図２５Ａ】手書きコメント軌跡倍率を説明するための図である。
【図２５Ｂ】手書きコメント軌跡倍率を説明するための図である。
【図２５Ｃ】手書きコメント軌跡倍率を説明するための図である。
【図２６】情報管理サーバ装置によるスレッド管理処理を示すフローチャートである。
【図２７】手書きコメント軌跡矩形サイズを説明するための図である。
【図２８】情報管理サーバ装置による表示サイズ決定処理を示すフローチャートである。
【図２９】スレッド標準文字サイズ更新の処理を説明するための図である。
【図３０】手書きコメント領域と紙領域との関係を説明するための図である。
【図３１】情報管理サーバによる表示用コメント情報生成処理を示すフローチャートである。
【図３２】データ座標系（Ｘｂｂｓ，Ｙｂｂｓ）に変換された手書きコメントの入力座標を示す図である。
【図３３】縮小処理を説明するための図である。
【図３４】拡大処理を説明するための図である。
【図３５】スレッド標準文字サイズ更新処理を説明するための図である。
【図３６】スレッド標準文字サイズ更新処理後のスレッド表示情報を示す図である。
【図３７】情報端末による重畳表示処理を示すフローチャートである。
【図３８】撮像画像３００１を示す図である。
【図３９】重畳表示の一例を示す図である。
【図４０】情報管理サーバ装置による重畳表示処理のフローチャートである。
【図４１】第２実施形態にかかる通信端末を示す図である。
【図４２】通信端末による手書きコメント軌跡情報生成処理を示すフローチャートである。
【図４３】文字と図形を含む手書きコメントの一例を示す図である。
【図４４】第３実施形態にかかる情報管理サーバ装置による、サイズ決定処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
＜第１実施形態＞
（システム構成）
図１は、実施形態にかかる情報処理システムとしての電子掲示板システムを示す図である。電子掲示板システムは、紙資料１０に対し手書きデータを入力する電子ペン１００と、通信端末２００と、クライアント装置としての情報端末３００と、情報処理装置としての情報管理サーバ装置４００とを備えている。
紙資料１０は、情報管理サーバ装置４００が管理するオリジナルデータが印刷された印刷物である。なお、紙資料１０は、複数ユーザへの配布物でもよいし、掲示板への掲示物でもよい。
【００１１】
電子ペン１００は、無線通信により１対１で通信端末２００と接続される。通信端末２００、情報管理サーバ装置４００及び情報端末３００は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などのネットワーク５０を介して接続される。
電子ペン１００は、紙資料１０に対して文字や図形を手書き追記するデバイスである。電子ペン１００は、ユーザによる手書き動作により得られた電子ペン軌跡情報を通信端末２００に送信する。電子ペン軌跡情報は、紙資料１０における入力座標を示す情報である。
通信端末２００は、電子ペン１００から受信した電子ペン軌跡情報から、手書きコメント軌跡情報を抽出し、手書きコメント軌跡情報を情報管理サーバ装置４００に送信する。ここで、電子ペン軌跡情報及び手書きコメント軌跡情報は、ユーザにより入力された入力情報の一例である。
【００１２】
情報端末３００は、オリジナルデータを表示し、またユーザからのオリジナルデータに対するコメント等の入力を受け付ける。情報端末３００は、ユーザから入力されたコメントを示す電子コメント情報を情報管理サーバ装置４００に送信する。情報端末３００はまた、ユーザ入力により指定されたファイルを示す参照ファイル情報を情報管理サーバ装置４００に送信する。
電子コメント情報は、ユーザにより入力されたコメント内容と、オリジナルデータにおけるコメントの入力座標とを含んでいる。参照ファイル情報は、参照ファイルを示す情報と、参照ファイルが指定された、オリジナルデータにおける入力座標とを含んでいる。
ここで、電子コメント情報及び参照ファイル情報は、ユーザによりオリジナルデータに対して入力された入力情報の一例である。また、電子コメント情報及び参照ファイル情報は、いずれも情報端末３００に対して入力された情報であり、これらはいずれも電子データである。
【００１３】
情報管理サーバ装置４００は、通信端末２００及び情報端末３００から入力情報、すなわち手書きコメント軌跡情報、電子コメント情報又は参照ファイル情報を受信する。情報管理サーバ装置４００は、受信した複数のコメント情報等を関連付けて管理する。通信端末２００から受信した手書きコメント軌跡情報に基づいて手書きコメント情報を生成する。手書きコメント情報は、手書きされたコメント内容と、紙資料１０におけるコメントの入力座標とを含んでいる。情報管理サーバ装置４００は、オリジナルデータ、手書きコメント情報、電子コメント情報及び参照ファイル情報を記憶、管理する。
なお、以下、オリジナルデータ、手書きコメント情報、電子コメント情報及び参照ファイル情報を、適宜電子掲示板情報と総称する。
【００１４】
情報端末３００は、情報管理サーバ装置４００の管理する電子掲示板情報を、自身が備える後述の表示部に表示する。また、情報端末３００は、表示部に表示された電子掲示板情報に対してユーザにより入力された電子コメント情報や参照ファイル情報を、情報管理サーバ装置４００に送信する。
情報端末３００はまた、カメラなどの撮像部を備え、この撮像部で紙資料１０を撮影して紙資料１０の画像を表示部に表示する。この際、情報端末３００は、表示部に表示される撮像画像に電子掲示板情報を重畳表示することもできる。
なお、情報端末３００が撮像部を備えていない場合は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブルなどで外部接続したカメラなどの撮像手段を利用する形態でもよい。
【００１５】
（電子ペン）
図２は、電子ペン１００の構成を示す図である。筆記部１０５は、ペンで実現され、インクカートリッジ内のインクを使って文字や図形を紙資料１０に可視状態で筆記する。筆圧検知部１０４は、筆圧センサで実現される。筆圧検知部１０４は、紙資料１０に筆記する際のペンにかかる筆圧を検知する。
電子ペンデータ送信部１０１は、赤外線を発信する赤外線発信装置及び超音波を発信する超音波発信装置で実現される。電子ペンデータ送信部１０１は、通信端末２００に電子ペン軌跡情報を送信する。記憶部１０３は、ＲＡＭやＲＯＭなどのメモリで実現される。記憶部１０３は、制御部１０２が必要とする一時的なデータなどをメモリに記憶する。
【００１６】
制御部１０２は、電子ペン１００を統括的に制御する。制御部１０２は、記憶部１０３に記憶されたプログラムコードがＣＰＵにより実行されることにより実現される。制御部１０２は、筆圧検知部１０４により加圧開始が検知されると、電子ペンデータ送信部１０１に加圧開始を意味する加圧開始信号を赤外線発信するよう制御する。
制御部１０２はまた、筆圧検知部１０４により加圧終了が検知されると、電子ペンデータ送信部１０１に加圧終了を意味する加圧終了信号を赤外線発信するよう制御する。また、制御部１０２は、加圧開始から加圧終了までの時間内において一定周期で超音波発信するよう電子ペンデータ送信部１０１を制御する。電子ペンデータ送信部１０１の発信する超音波信号は、後述するように電子ペンの位置情報を表す信号である。
【００１７】
（通信端末）
図３は、通信端末２００の構成を示す図である。電子ペンデータ受信部２０４は、１つの赤外線受信センサと２つの超音波受信センサを有するレシーバで実現される。電子ペンデータ受信部２０４は、電子ペン１００の電子ペンデータ送信部１０１から発信された電子ペン軌跡情報を受信する。ここで、電子ペン軌跡情報は、赤外線信号及び超音波信号を含んでいる。
制御部２０２はＣＰＵを有し、各部を統括的に制御する。制御部２０２は、記憶部２０３に記憶されたプログラムコードがＣＰＵにより実行されることにより実現される。制御部２０２は、電子ペンデータ受信部２０４で受信した電子ペン軌跡情報を記憶部２０３に記憶するよう制御する。
制御部２０２はまた、記憶部２０３から読み出した電子ペン軌跡情報から手書きコメント軌跡情報を抽出して情報管理サーバ装置４００に送信するようネットワーク通信部２０１を制御する。
【００１８】
制御部２０２は、手書きコメント文字サイズ算出部２２０を有している。手書きコメント文字サイズ算出部２２０は、手書きコメント軌跡情報に含まれる文字サイズを算出する。手書きコメント文字サイズ算出部２２０は、手書きコメント文字サイズ算出テーブル２２０１、一文字軌跡バッファ２２０２及び一文字区切りタイマー２２０３を有している。
手書きコメント文字サイズ算出テーブル２２０１は、図４に示すように、文字を識別する文字ＩＤに対応付けて、文字サイズ情報（ポイント数）を記憶している。一文字軌跡バッファ２２０２は、一文字分の軌跡情報を格納する。一文字区切りタイマー２２０３は、カウントダウンタイマーである。
【００１９】
手書きコメント文字サイズ算出部２２０は、一文字区切りタイマー２２０３によるカウント時間に基づいて、手書きコメントに含まれる文字を１文字ずつ区切る。なお、一文字区切りタイマー２２０３を用いて文字を区切る処理については、公知の手法を用いることとする。すなわち、手書きコメント文字サイズ算出部２２０は、文字間では軌跡を書く時間が一定時間以上空くという特性を利用して、１文字ずつを区切る。
手書きコメント文字サイズ算出部２２０は、さらに得られた１文字の外接矩形を特定し、外接矩形の大きさから１文字毎の文字サイズを算出する。手書きコメント文字サイズ算出部２２０は、手書きコメントに含まれる各文字の文字サイズの平均値を、手書きコメントの文字サイズとして算出する。以下、手書きコメントの文字サイズを手書きコメント文字サイズと称する。通信端末２００による処理の詳細については、後述する。
【００２０】
ネットワーク通信部２０１は、ＬＡＮインタフェース（Ｉ／Ｆ）で実現される。ネット
ワーク通信部２０１は、ネットワーク５０を介して情報管理サーバ装置４００に手書きコメント軌跡情報を送信する。なお、ネットワーク通信部２０１により送信される手書きコメント軌跡情報には、手書きコメント軌跡情報の他、手書きコメントの文字のサイズを示す手書きコメント文字サイズ及び手書きコメントであることを識別する手書きコメント識別子が含まれている。
記憶部２０３は、ＲＯＭやＲＡＭ、ＨＤＤ等のメモリで実現される。記憶部２０３は、制御部２０２で利用する一時データや電子ペン軌跡情報、手書きコメント軌跡情報などを記憶する。
【００２１】
（情報端末）
図５は、情報端末３００の構成を示す図である。ネットワーク通信部３０１は、ＬＡＮ  Ｉ／Ｆで実現される。ネットワーク通信部３０１は、ネットワーク５０を介して情報管
理サーバ装置４００との間で各種データを送受信する。記憶部３０３は、ＲＡＭやＲＯＭ、ＨＤＤなどのメモリで実現される。記憶部３０３は、例えば制御部３０２で利用される一時的な保存データなどを記憶する。
表示部３０４は、ディスプレイ（タッチパネルも含む）等に代表される表示装置で実現される。表示部３０４は、電子掲示板情報や撮像部３０６で撮像した画像などを表示する。入力部３０５は、タッチパネルやポインティングデバイス、キーボード等に代表される入力装置で実現される。入力部３０５は、ユーザからの入力操作を受け付ける。撮像部３０６は、カメラなどに代表される撮像手段で実現される。撮像部３０６は、紙資料の撮像画像を取得する。
【００２２】
制御部３０２は、ＣＰＵを有し各部を統括的に制御する。制御部３０２は、電子掲示板情報表示部３１１と、電子コメント処理部３１２と、参照ファイル処理部３１３と、検索部３１４と、重畳処理部３１５とを有している。制御部３０２が有するこれら各機能は、記憶部３０３に記憶されたプログラムコードがＣＰＵにより実行されることにより実現される。
電子掲示板情報表示部３１１は、情報管理サーバ装置４００から取得した電子掲示版情報を表示部３０４に表示する。電子掲示板情報表示部３１１はまた、ユーザからの電子コメントの入力を受け付けるための電子入力フォームを表示する。
電子コメント処理部３１２は、電子入力フォームに対してユーザが入力した文字列（電子コメント）を、入力部３０５を介して受け取る。電子コメント処理部３１２は、受け取った電子コメントと、電子コメントの入力座標とを含む電子コメント情報を生成し、これを情報管理サーバ装置４００に送信する。
【００２３】
参照ファイル処理部３１３は、電子入力フォームに対してユーザが入力した参照ファイルへのパス（参照ファイルパス）を、入力部３０５を介して受け取る。参照ファイル処理部３１３は、受け取った参照ファイルパスと、参照ファイルパスの入力座標とを含む参照ファイル情報を生成し、これを情報管理サーバ装置４００に送信する。
検索部３１４は、電子入力フォームに対してユーザが入力部３０５を用いて入力した検索キーに基づいて、検索処理を行う。重畳処理部３１５は、撮像部３０６によって撮像された紙資料１０の画像を表示部３０４に表示するとともに、電子掲示板情報をオリジナルデータの画像に重畳表示する。
【００２４】
（情報管理サーバ装置）
図６は、情報管理サーバ装置４００の構成を示す図である。ネットワーク通信部４０１は、ＬＡＮ  Ｉ／Ｆで実現される。ネットワーク通信部４０１は、ネットワーク５０を介
して通信端末２００及び情報端末３００と各種データを送受信する。記憶部４０３は、ＲＡＭやＲＯＭ、ＨＤＤなどのメモリで実現される。記憶部４０３は、電子掲示板情報を記憶する。ネットワーク通信部４０１は、入力情報を受信し、記憶部４０３に記憶する。電子掲示板情報には、上述の情報のほか、スレッド情報、一時的な保存データなどが含まれる。スレッド情報については後述する。
制御部４０２は、ＣＰＵを有し、各部を統括的に制御する。制御部４０２は、種別判定部４１１と、手書きコメント情報生成部４１２と、スレッド管理部４１３と、印刷レイアウト生成部４１４と、特徴抽出部４１５と、手書きコメント情報格納部４２０と、表示サイズ決定部４３０とを有している。制御部４０２が有するこれら各機能は、記憶部４０３に記憶されたプログラムコードがＣＰＵにより実行されることにより実現される。
【００２５】
種別判定部４１１は、ネットワーク通信部４０１から受信した入力情報の種別を判定する。種別としては、ユーザにより手書きされた手書きデータと、情報端末３００において入力された電子データとがある。手書きコメント情報の種別は手書きデータであり、電子コメント情報及び参照ファイル情報の種別は電子データである。なお、本実施の形態にかかる種別判定部４１１は、電子データである電子コメント情報及び参照ファイル情報については、電子コメントであるか参照ファイルであるかの種別についても判定する。
本実施形態においては、情報管理サーバ装置４００と情報端末３００との間及び情報管理サーバ装置４００と通信端末２００との間は、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）プロトコルで通信するものとする。そして、各装置間でのコメント情報等の入力情報の送受信においては種別を示す識別子をあわせて送受信する。種別判定部４１１は、この種別識別子を参照することにより、入力情報の種別が、手書きコメント情報、電子コメント情報及び参照ファイル情報のいずれの種別であるかを判定する。
【００２６】
手書きコメント情報生成部４１２は、手書きコメント軌跡情報をビットマップ化した手書きコメント情報を生成する。そして、手書きコメント情報生成部４１２は、生成したコメント情報を記憶部４０３に格納する。なお、生成された手書きコメント情報は、スレッド管理部４１３により管理される。
ネットワーク通信部４０１が受信した入力情報が手書きコメント情報の種別に属するものであると種別判定部４１１により判定された場合、受信したコメント情報は手書きコメント情報である。そこで、手書きコメント情報生成部４１２は、種別判定部４１１により手書きコメント情報の種別と判定された場合に、手書きコメント情報を生成する。
一方で、種別判定部４１１により、入力情報が電子コメント情報又は参照ファイル情報の種別に属するものであると判定された場合には、ネットワーク通信部４０１が受信した入力情報は、記憶部４０３に格納される。記憶部４０３に格納された電子コメント情報及び参照ファイル情報は、手書きコメント情報とともに、スレッド管理部４１３により管理される。
【００２７】
スレッド管理部４１３は、入力情報としての手書きコメント情報、電子コメント情報及び参照ファイル情報を関連付けたスレッド情報を生成し、記憶部４０３に格納する。このスレッド情報とは、図２０等を用いて後述するように、手書きコメント情報、電子コメント情報、参照ファイル情報それぞれの情報の親子関係や、それぞれの情報が入力された際の位置関係及び文字サイズを示すデータテーブルである。
手書きコメントに対して手書きコメントが追記され、さらに情報端末３００を介して電子コメントが追加される場合がある。こうして入力された複数の入力情報は、１つのスレッド情報としてスレッド管理部４１３により管理される。
すなわち、スレッド管理部４１３は、関連入力情報群を１つのスレッド情報（１つのファイル）として記憶部４０３に格納し、管理する。ここで、関連入力情報群は、オリジナルデータに対して入力された関連する複数の入力情報の集合である。関連入力情報群は、コメント情報の集合である関連コメント情報群を含んでいる。
スレッド管理部４１３は、入力情報としての、手書きコメント情報、電子コメント情報及び参照ファイル情報の追加が指示されると、追加の指示に応じてスレッド情報の更新を行う。
なお、スレッド情報は、情報端末３００に送信される。情報端末３００の制御部３０２は、１つのスレッド情報として管理される関連コメント情報群、すなわち複数のコメント情報を一覧表示するスレッド表示情報を生成する。ここで、スレッド表示情報は、オリジナルデータ上に複数のコメントを配置した情報である。すなわち、スレッド表示情報は、一覧表示ページの一例である。そして、表示部３０４は、スレッド表示情報を表示する。
【００２８】
印刷レイアウト生成部４１４は、情報端末３００から電子掲示板情報の印刷要求を受信した場合に電子掲示板情報の印刷レイアウトを生成する。印刷レイアウト生成部４１４は、例えば、オリジナルデータに、上述のスレッド情報に含まれるコメント情報を重ねて表示した電子掲示板表示結果を印刷対象とする。
なお、印刷は情報端末３００にインストールされたプリンタドライバを用いて、情報端末３００に接続された不図示の画像形成装置（プリンタ）に対して印刷指示をすることで実現される。すなわち、情報端末３００は、電子掲示板情報の印刷を指示する印刷指示手段を有している。
特徴抽出部４１５は、オリジナルデータからテキストパターンや図形パターンなどの特徴パターンを抽出する。本実施形態において特徴抽出部４１５は、例えば図１３に示す特徴パターン７１０を抽出する。なお特徴パターンとは、パターンを検出した際に紙面座標系と電子掲示板座標系との対応関係をとることが可能となるパターンである。特徴抽出部４１５は、特徴パターンとして、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）マーカーを用いてもよい。
【００２９】
手書きコメント情報格納部４２０は、通信端末２００から受信した情報を格納する。より具体的には、手書きコメント情報格納部４２０は、手書きコメント軌跡情報を手書きコメント軌跡情報格納部４２０１に格納する。手書きコメント情報格納部４２０は、手書きコメント文字サイズを手書きコメント文字サイズ格納部４２０２に格納する。
表示サイズ決定部４３０は、スレッド情報に含まれる関連入力情報群（関連コメント情報群）を表示する際の表示サイズを決定する。このとき、表示サイズ決定部４３０は、通信端末２００から受信した手書きコメント軌跡情報に含まれる手書きコメント文字サイズと、スレッド管理部４１３が管理するスレッド情報とを参照する。なお、情報管理サーバ装置４００の詳細な処理については後述する。
【００３０】
（手書きコメント入力）
図７は、本実施形態にかかる紙資料１０の紙面を説明するものである。紙資料１０は、オリジナルデータ７００を印刷することにより得られるものである。なお、本実施の形態においては、オリジナルデータ７００が紙に印刷される場合について説明するが、印刷対象、すなわち印刷物は、紙に限定されるものではない
紙資料１０には、後述するスレッド情報の重畳表示処理を行うために用いられる特徴パターン１１０が印刷されている。ここで、特徴パターンは、各スレッド情報を識別するためのパターンである。すなわち、１つのスレッド情報に対し、１つの特徴パターンが割り当てられている。特徴パターンは、人間にとって可視のものでも不可視のものであってもよい。なお、複数のスレッド情報が存在する場合には、各スレッド情報に対応した複数の特徴パターンが紙資料１０に印刷される。
【００３１】
本実施形態においては、紙資料１０の紙面上での座標系、すなわち紙面座標系を（Ｘｐａｐｅｒ,Ｙｐａｐｅｒ）で表現することとする。また、紙資料１０の上部中央に電子ペンデータ受信部２０４を実現するレシーバを配置することとし、レシーバの配置位置を、紙面上原点Ｏpaper（０,０）とする。なお、後述のオリジナルデータにおいては、紙面上原点Ｏpaperに対応する位置を電子データにおけるデータ上原点Ｏdataとしている。したがって、通信端末２００は、紙面原点Ｏpaperとデータ上原点Ｏdataとに基づいて、オリジナルデータと紙資料１０との対応する位置を算出することができる。
図７に示すように、紙面座標系において、紙資料１０の左上頂点Ａ及び右上頂点Ｂの座標はそれぞれ、（−Ｘｐ，０），（Ｘｐ，０）である。また、紙資料１０の左下頂点Ｄ及び右下頂点Ｃの座標は、それぞれ（−Ｘｐ,Ｙｐ），（Ｘｐ，Ｙｐ）の位置である。
【００３２】
紙資料１０上に電子ペン１００で手書きコメントを筆記開始する際、ユーザは、電子ペン１００を用いてコメント開始領域２５１をチェックする。次に、手書きコメントである「ＡＢＣ」を筆記する。そして、筆記が終了した場合には、ユーザは、電子ペン１００を用いてコメント終了領域２５２をチェックするものとする。
筆圧検知部１０４は、コメント開始領域２５１がチェックされたタイミングからコメント終了領域２５２がチェックされるまでの間に、例えば図７に示すように、「ＡＢＣ」の筆記における加圧開始ポイント２１１〜２１６を検知する。筆圧検知部１０４は、さらに「ＡＢＣ」の筆記における加圧終了ポイント２２１〜２２６を検知する。
【００３３】
図８は、本実施形態にかかる電子掲示板システムにおいて、ユーザにより手書きコメントが入力された際に実行される手書きコメント処理を示すシーケンス図である。図８を参照しつつ、１つの手書きコメントに含まれる複数の電子ペン軌跡情報から１つの手書きコメント軌跡情報を生成する処理の概略について説明する。なお、各処理については、後に詳述する。なお、ここでは、図７を参照しつつ説明した紙資料１０への手書きコメントの入力に対応させて説明する。
まず、ユーザにより、電子ペン１００を用いて手書きコメント開始領域２５１がチェックされると、Ｓ５１００において、電子ペン１００は、手書きコメント開始領域２５１へのチェックの入力を受け付ける。電子ペン１００は、さらに手書きコメント開始に相当する電子ペン軌跡情報を通信端末２００に送信する。通信端末２００は、電子ペン１００から手書きコメント開始に相当する電子ペン軌跡情報を受信すると、Ｓ５２００において、手書きコメント軌跡情報の抽出処理を開始する。
【００３４】
続いて、ユーザにより、電子ペン１００を用いて手書きコメントの１文字目の文字「Ａ」が紙資料１０に書き込まれると、Ｓ５１０１において、電子ペン１００は、文字「Ａ」の入力を受け付ける。電子ペン１００は、さらに文字「Ａ」に対応する１文字分の電子ペン軌跡情報を通信端末２００に送信する。これに対応し、通信端末２００は、電子ペン１００から文字「Ａ」に対応する電子ペン軌跡情報を受信する。
続いて、手書きコメントの２文字目の文字「Ｂ」が紙資料１０に書き込まれると、Ｓ５１０２において、電子ペン１００は、文字「Ｂ」の入力を受け付ける。電子ペン１００は、さらに文字「Ｂ」に対応する１文字分の電子ペン軌跡情報を通信端末２００に送信する。これに対応し、通信端末２００は、電子ペン１００から文字「Ｂ」に対応する電子ペン軌跡情報を受信する。
【００３５】
通信端末２００は、２文字目の文字「Ｂ」に対応する電子ペン軌跡情報を受信すると、Ｓ５２０１において、直前に受信した文字、すなわち１文字目の文字「Ａ」の文字サイズを算出する。なお、通信端末２００は、このとき、文字間においては、電子ペン１００により軌跡が描かれる時間が一定時間以上空くという特性を用いて、文字の区切り位置を特定する。
続いて、手書きコメントの３文字目の文字「Ｃ」が紙資料１０に書き込まれると、Ｓ５１０３において、電子ペン１００は、文字「Ｃ」の入力を受け付ける。電子ペン１００は、さらに文字「Ｃ」に対応する１文字分の電子ペン軌跡情報を通信端末２００に送信する。これに対応し、通信端末２００は、電子ペン１００から文字「Ｃ」に対応する電子ペン軌跡情報を受信する。通信端末２００は、３文字目の文字「Ｃ」に対応する電子ペン軌跡情報を受信するとＳ５２０２において、前に受信した文字、すなわち２文字目の文字「Ｂ」の文字サイズを算出する。
【００３６】
続いて、ユーザによる手書きコメントの書き込みが終了し、手書きコメント終了領域２５２がチェックされると、Ｓ５１０４において、電子ペン１００は、手書きコメント終了領域２５２へのチェックの入力を受け付ける。電子ペン１００は、さらに手書きコメント終了に相当する電子ペン軌跡情報を通信端末２００に送信する。これに対応し、通信端末２００は、電子ペン１００から手書きコメント終了に相当する電子ペン軌跡情報を受信する。
続いて、Ｓ５２０３において、通信端末２００は、３文字目の文字「Ｃ」の文字サイズを算出する。次に、Ｓ５２０４において、通信端末２００は、「Ａ」、「Ｂ」及び「Ｃ」それぞれの文字サイズの平均値を手書きコメント「ＡＢＣ」の手書きコメント文字サイズとして算出する。次に、Ｓ５２０５において、通信端末２００は、手書きコメント軌跡情報の算出処理を終了する。続いて、通信端末２００は、以上の処理により得られた手書きコメント「ＡＢＣ」の手書きコメント軌跡情報を情報管理サーバ装置４００に送信する。ここで、手書きコメント軌跡情報は、手書きコメント文字サイズを含むこととする。
Ｓ５３００において、情報管理サーバ装置４００は、受信した手書きコメント軌跡情報及び文字サイズに基づいて、手書きコメント情報を生成し、手書きコメント情報をスレッド情報として記憶部４０３に登録する。このように、電子ペン１００は、ユーザにより手書きコメントが書き込まれると、筆跡数に応じて、文字単位で電子ペン軌跡情報を複数回に渡り、通信端末２００に送信する。
【００３７】
図９は、電子ペン１００が通信端末２００に一連の電子ペン軌跡情報を送信する処理を示すフローチャートである。Ｓ１００１において、制御部１０２の筆圧検知部１０４は、加圧開始を検知したか否かを判定する。なお、加圧開始の有無については、上述のコメント開始領域２５１がチェックされた否かにより判定される。
加圧開始を検知した場合は（Ｓ１００１，Ｙｅｓ）、Ｓ１００２に進み、電子ペンデータ送信部１０１は、制御部１０２の制御の下、赤外線で加圧開始信号を通信端末２００に送信する。次に、Ｓ１００３において、制御部１０２は、超音波信号を通信端末２００に送信する。続いてＳ１００４において、制御部１０２は、筆圧検知部１０４で加圧終了を検知するまで一定周期で超音波信号を送信し続ける。
加圧終了を検知すると（Ｓ１００４，Ｙｅｓ）、Ｓ１００５において、電子ペンデータ送信部１０１は、制御部１０２からの制御の下、赤外線で加圧終了信号を通信端末２００に送信する。加圧開始信号を送信してから加圧終了信号を送信するまでの超音波信号が一連の電子ペン軌跡情報となる。
【００３８】
図１０は、通信端末２００が一連の電子ペン軌跡情報から、電子ペンの移動軌跡を示す座標を算出する座標算出処理を示すフローチャートである。なお、ここで算出される座標は紙面座標系における値である。Ｓ２００１において、制御部２０２は、電子ペンデータ受信部２０４が赤外線の加圧開始信号を受信したか否かを判定する。加圧開始信号を受信したと判定した場合は（Ｓ２００１，Ｙｅｓ）、制御部２０２は、Ｓ２００２の処理へ進む。
次に、Ｓ２００２において、制御部２０２は、電子ペンデータ受信部２０４で超音波信号を受信したか否かを判定する。超音波信号を受信していないと判定した場合は（Ｓ２００２，Ｎｏ）、制御部２０２は、Ｓ２００４の処理へ進む。
超音波信号を受信したと判定した場合は（Ｓ２００２，Ｙｅｓ）、制御部２０２は、Ｓ２００３に進む。Ｓ２００３において、制御部２０２は、２つの超音波受信センサで受信した超音波信号の受信時間の差及び２つの超音波センサ間の距離から電子ペンの紙面座標系における入力座標を算出する。
【００３９】
次に、Ｓ２００４において、制御部２０２は、電子ペンデータ受信部２０４で赤外線の加圧終了信号を受信したかどうかを判定する。加圧終了信号が受信されていないと判定した場合は（Ｓ２００４，Ｎｏ）、制御部２０２は、処理をＳ２００２に戻す。加圧終了信号を受信したと判定した場合は（Ｓ２００４，Ｎｏ）、制御部２０２は、処理を終了する。
すなわち、制御部２０２は、図１０に示される処理フローを実行することによって、連続的に受信される電子ペン軌跡情報から、電子ペンの移動軌跡を示す紙面座標系における入力座標の情報を順次算出する。なお、以下においては、Ｓ２００３において算出された電子ペンの移動軌跡を示す紙面座標系の入力座標の情報のことも含めて、電子ペン軌跡情報と称することとする。
【００４０】
図１１は、通信端末２００が一連の手書きコメント軌跡情報を生成する手書きコメント軌跡情報生成処理を示すフローチャートである。本処理により、例えば、図７に示す「ＡＢＣ」の一連の手書き文字を示す手書きコメント軌跡情報が生成される。さらに、通信端末２００は、手書きコメント軌跡情報生成処理において、手書きコメント内の文字を区切って一文字ずつの文字サイズを抽出した上で平均値を算出することで手書きコメント文字サイズを得る。
まず、Ｓ２０１１において、制御部２０２は、図１０に示す座標算出処理により算出された電子ペンの入力座標の情報を含む電子ペン軌跡情報を取得する。次に、Ｓ２０１２において、制御部２０２は、手書きコメント開始フラグがＯＮであるか否かを判定する。手書きコメント開始フラグは記憶部２０３に記憶されており、初期値はＯＦＦである。
Ｓ２０１２において、手書きコメント開始フラグがＯＦＦの場合は（Ｓ２０１２，Ｎｏ）、制御部２０２は、Ｓ２０１３の処理を行う。すなわち、Ｓ２０１３において、制御部２０２は、電子ペン軌跡情報の示す電子ペンの入力座標が、コメント開始領域２５１内の座標であるか否かを判定する。
【００４１】
Ｓ２０１３において、電子ペンの紙面座標がコメント開始領域２５１内ではない場合は（Ｓ２０１３，Ｎｏ）、制御部２０２は、Ｓ２０１１の処理に戻る。電子ペンの紙面座標がコメント開始領域２５１内である場合は（Ｓ２０１３，Ｙｅｓ）、制御部２０２は、Ｓ２０１４の処理を行う。すなわち、Ｓ２０１４において、制御部２０２は、手書きコメント開始フラグをＯＮにする。
次に、Ｓ２０５５において、手書きコメント文字サイズ算出部２２０は、手書きコメント文字サイズ算出テーブル２２０１を初期化する。すなわち、手書きコメント文字サイズ算出部２２０は、手書きコメント文字サイズ算出テーブル２２０１に文字サイズが１つも記憶されていない状態にする。
さらに、Ｓ２０５６において、手書きコメント文字サイズ算出部２２０は、一文字軌跡バッファ２２０２を初期化し、一文字軌跡バッファ２２０２に電子ペン軌跡情報が１つも格納されていない状態にする。さらに、Ｓ２０５７において、手書きコメント文字サイズ算出部２２０は、一文字区切りタイマー２２０３を文字の区切りを検出可能な初期値に設定してカウントダウンを開始し、処理をＳ２０１１へ進める。なお文字の区切りを検出可能な初期値は、通信端末２００がデフォルト値として予め記憶しているものとする。
【００４２】
Ｓ２０１２において、手書きコメント開始フラグがＯＮであった場合は（Ｓ２０１２，Ｙｅｓ）、制御部２０２は、Ｓ２０１５の処理を行う。Ｓ２０１５において、制御部２０２は、電子ペン軌跡情報の示す電子ペンの入力座標が手書きコメント終了領域２５２内の座標であるか否かを判定する。
Ｓ２０１５において、電子ペン軌跡情報が示す入力座標がコメント終了領域２５２内ではない場合は（Ｓ２０１５，Ｎｏ）、制御部２０２は、Ｓ２０４１の処理を行う。すなわち、Ｓ２０４１において、手書きコメント文字サイズ算出部２２０は、一文字区切りタイマー２２０３がカウントダウンを終えたか否かを判断する。カウントダウンを完了していない場合（Ｓ２０４１，Ｎｏ）、制御部２０２は、続いてＳ２０１６の処理を行う。
【００４３】
カウントダウンを完了している場合は（Ｓ２０４１，Ｙｅｓ）、手書きコメント文字サイズ算出部２２０は、一文字の区切りを検出したと判断し、続いてＳ２０４２の処理を行う。すなわち、Ｓ２０４２において、手書きコメント文字サイズ算出部２２０は、一文字軌跡バッファ２２０２に電子ペン軌跡情報が格納されているか否かを判断する。一文字軌跡バッファ２２０２に電子ペン軌跡情報が格納されていない場合は（Ｓ２０４２，Ｎｏ）、文字サイズの算出は不要であるため、制御部２０２は、文字サイズの算出を行わず、続いてＳ２０１６の処理を行う。
一文字軌跡バッファ２２０２に電子ペン軌跡情報が格納されている場合は（Ｓ２０４２，Ｙｅｓ）、手書きコメント文字サイズ算出部２２０は、Ｓ２０４３〜Ｓ２０４５の処理を行う。すなわち、Ｓ２０４３において、手書きコメント文字サイズ算出部２２０は、一文字分の文字サイズを算出する。次に、Ｓ２０４４において、手書きコメント文字サイズ算出部２２０は、算出した文字サイズの情報を手書きコメント文字サイズ算出テーブル２２０１に格納する。すなわち、手書きコメント文字サイズ算出部２２０は、手書きコメント文字サイズ算出テーブル２２０１を更新する。さらに、Ｓ２０４５において、手書きコメント文字サイズ算出部２２０は、一文字軌跡バッファ２２０２を初期化する。
【００４４】
次に、Ｓ２０１６において、制御部２０２は、電子ペン軌跡情報を手書きコメント軌跡情報の一部として記憶部２０３に格納する。次に、Ｓ２０６１において、制御部２０２は、電子ペン軌跡情報を一文字軌跡バッファ２２０２に格納する。さらに、Ｓ０６２において、制御部２０２は、一文字区切りタイマー２２０３を初期化すると共にカウントダウンを開始し、処理をＳ２０１１へ進める。
一方、Ｓ２０１５において、電子ペン軌跡情報が示す入力座標がコメント終了領域２５２内である場合は（Ｓ２０１５，Ｙｅｓ）、制御部２０２は、Ｓ２０１７の処理を行う。すなわち、Ｓ２０１７において、制御部２０２は、手書きコメント開始フラグをＯＦＦにする。
【００４５】
次に、Ｓ２０３１において、手書きコメント文字サイズ算出部２２０は、一文字軌跡バッファ２２０２に電子ペン軌跡情報が格納されているか否かを判断する。一文字軌跡バッファ２２０２に電子ペン軌跡情報が格納されていない場合は（Ｓ２０３１，Ｎｏ）、手書きコメント文字サイズ算出部２２０は、Ｓ２０３４の処理を行う。
一文字軌跡バッファ２２０２に電子ペン軌跡情報が格納されている場合は（Ｓ２０３１，Ｙｅｓ）、手書きコメント文字サイズ算出部２２０は、Ｓ２０３２の処理を行う。すなわち、Ｓ２０３２において、手書きコメント文字サイズ算出部２２０は、一文字分の文字サイズを算出する。次に、Ｓ２０３３において、手書きコメント文字サイズ算出部２２０は、算出した文字サイズの情報を手書きコメント文字サイズ算出テーブル２２０１に格納する。次に、Ｓ２０３４において、手書きコメント文字サイズ算出部２２０は、手書きコメント文字サイズ算出テーブル２２０１に格納されているすべての文字サイズの平均値を算出し、算出された値を手書きコメント文字サイズとして得る。
【００４６】
続いて、Ｓ２０１８において、制御部２０２は、Ｓ２０１６において記憶部２０３に格納した手書きコメント開始から終了までの一連の電子ペン軌跡情報群を１つの手書きコメント軌跡情報として情報管理サーバ装置４００に送信する。これにより、例えば「ＡＢＣ」の一連の手書き文字に対応する１つの手書きコメント軌跡情報として情報管理サーバ装置４００に送信される。
なお、Ｓ２０１８において、制御部２０２は、手書きコメント軌跡情報に種別が手書きコメント情報であることを示す手書きコメント識別子及びＳ２０３４において得られた手書きコメント文字サイズを含める。以上のように、手書きコメント軌跡情報生成処理により、制御部２０２は一連の電子ペン軌跡情報から手書きコメント軌跡情報を生成する。
【００４７】
図１２は、手書きコメント軌跡情報を説明するための図である。図１２に示す手書きコメント軌跡情報は、図７を参照しつつ説明した「ＡＢＣ」の手書き入力の例に対応している。電子ペン１００を用いた手書き入力が行われると、座標２３１，２３２など紙面座標系における入力座標が算出される。
制御部２０２は、図７に示す加圧開始ポイント２１１〜２１６から加圧開始ポイント２１１〜２１６それぞれに対応する加圧終了ポイント２２１〜２２６までの入力座標の算出を行う。これにより、「ＡＢＣ」の一連の電子ペン軌跡情報群が手書きコメント軌跡情報２４０として得られる。
【００４８】
また、電子ペン１００により、手書きコメントが「Ａ」、「Ｂ」、「Ｃ」の順に書き込まれると、図１１を参照しつつ説明した手書きコメント軌跡情報生成処理により、各文字の文字サイズが算出される。ここで、図１２に示す文字「Ａ」に対する文字サイズ算出処理（図１１）について説明する。図１１に示すＳ２０６１において、手書きコメント文字サイズ算出部２２０は、文字「Ａ」に対する電子ペン軌跡情報を一文字軌跡バッファ２２０２に格納する。
その後、Ｓ２０１１の処理を経て、Ｓ２０４３において、手書きコメント文字サイズ算出部２２０は、文字「Ａ」の紙面座標系における入力座標に基づいて、文字サイズをポイント数として算出する。例えば文字「Ａ」に対しては、手書きコメント文字サイズ算出部２２０は、右上頂点及び左下頂点の座標をそれぞれ（−Ｘｃ１１，Ｙｃ１１）及び（−Ｘｃ１２，Ｙｃ１２）とする矩形領域２８１を特定する。手書きコメント文字サイズ算出部２２０はさらに、矩形領域２８１の領域サイズに基づいて、文字サイズを２０ポイントと算出する。
【００４９】
続いて、Ｓ２０４４において、手書きコメント文字サイズ算出部２２０は、算出した文字サイズを手書きコメント文字サイズ算出テーブル２２０１に格納する。より具体的には、手書きコメント文字サイズ算出部２２０は、文字「Ａ」は、手書きコメント内の１文字目の文字であるため、文字ＩＤ「１」と、文字サイズ２０ポイントとを対応付けて、手書きコメント文字サイズ算出テーブル２２０１に格納する。
同様に、文字「Ｂ」、「Ｃ」に対して、矩形領域２８２，２８３が特定される。さらに、例えば、文字「Ｂ」については２０ポイント、文字「Ｃ」については１８ポイントの文字サイズが算出される。これら文字サイズは、手書きコメント文字サイズ算出テーブル２２０１に格納される。これにより、図４の手書きコメント文字サイズ算出テーブル２２０１のように、３つの文字それぞれの文字サイズが文字ＩＤに対応付けて格納される。
さらに、Ｓ２０３４において、手書きコメント文字サイズ算出部２２０は、手書きコメント文字サイズ算出テーブル２２０１に格納されている、文字「Ａ」、「Ｂ」及び「Ｃ」それぞれの文字サイズの平均値を算出する。これにより、手書きコメント「ＡＢＣ」の文字サイズの平均値、すなわち手書きコメント文字サイズが得られる。
【００５０】
図１３は、オリジナルデータ７００を説明するための図である。オリジナルデータ７００に印刷処理が施されることで紙資料１０が得られる。すなわち、紙資料１０は、オリジナルデータ７００の画像が形成された用紙である。オリジナルデータ７００は、情報管理サーバ装置４００の記憶部４０３に格納されている。オリジナルデータ７００には、特徴パターン７１０が付与されている。紙資料１０の特徴パターン１１０は、この特徴パターン７１０が印刷されたものである。
本実施の形態においては、このオリジナルデータ７００上の座標系、すなわちデータ座標系（Ｘｂｂｓ，Ｙｂｂｓ）で表現することとする。また、オリジナルデータ７００の上辺の中点位置を、データ上原点Ｏbbs（０，０）とする。データ上原点Ｏbbs（０，０）は、図６を参照しつつ説明した紙面上原点Ｏpaper（０,０）に対応する点である。オリジナルデータ７００は、データ座標系において、Ｇ（−Ｘｏ，０），Ｈ（Ｘｏ,０）、Ｉ（Ｘｏ，Ｙｏ）及びＪ（−Ｘｏ，Ｙｏ）を４つの頂点とする矩形領域で表現される。
【００５１】
図１２を参照しつつ説明した手書きコメントは、情報管理サーバ装置４００においてビットマップ７２１に変換される。なお、ビットマップ７２１は、オリジナルデータ７００のうち、手書きコメントの紙面座標系における位置に対応するデータ座標系の領域に配置されて表示される。
図１３に示す例においては、ビットマップ７２１は、データ座標系において、右上頂点座標及び左下頂点座標をそれぞれ（−Ｘｗ１，Ｙｗ１）及び（Ｘｗ２，Ｙｗ２）とする矩形領域に表示される。なお、情報管理サーバ装置４００によるビットマップ変換処理については後述する。
【００５２】
（電子入力フォーム）
図１４は、情報端末３００の表示部３０４に表示される電子入力フォームの一例を示す図である。情報端末３００は、情報管理サーバ装置４００の記憶部４０３に記憶されている電子掲示板情報を情報管理サーバ装置４００から受信する。情報管理サーバ装置４００から受信した電子掲示板情報は、電子掲示板情報表示部３１１により表示部３０４に表示される。
ユーザが入力部３０５を介して表示部３０４に表示された電子掲示板情報が表示されている領域内の座標を選択指示すると、電子掲示板情報表示部３１１は、電子入力フォーム７３０を表示する。ここで、電子掲示板情報が表示される位置は、ビットマップ７２１の位置により定まるものとする。
【００５３】
より具体的には、電子掲示板情報表示部３１１は、ビットマップ７２１の左上頂点の座標から（Δｘ１，Δｙ１）だけずらしたオフセット位置（−Ｘｗ１＋Δｘ１， Ｙｗ１＋Δｙ１）に電子入力フォーム７３０を表示する。なお、ユーザが入力部３０５を介して手書きコメントのビットマップ７２１の領域外の座標を選択指示した場合には、電子掲示板情報表示部３１１は、選択指示された座標、又はこの座標に応じた位置に電子入力フォーム７３０を表示する。
電子入力フォーム７３０は、文字列入力領域７３１と、電子コメント追加ボタン７３２と、キーワード検索ボタン７３３と、画像検索ボタン７３４と、動画検索ボタン７３５と、参照ファイル添付ボタン７３６とを含んでいる。
【００５４】
図１５は、情報端末３００による、電子入力フォームへの電子コメント入力が行われた場合の電子コメント処理を示すフローチャートである。
まず、Ｓ３０１１において、電子掲示板情報表示部３１１は、ユーザからの入力を検知すると（Ｓ３０１１，Ｙｅｓ）、Ｓ３０１２の処理に進む。Ｓ３０１２において、電子掲示板情報表示部３１１は、ユーザが入力部３０５を介して指定された領域が、ビットマップ７２１内の領域であるか否かを判定する。
電子掲示板情報表示部３１１は、ビットマップ７２１内の領域である場合には、電子入力フォーム７３０をオフセット位置に表示する。電子掲示板情報表示部３１１は、ビットマップ７２１以外の領域である場合には、電子入力フォーム７３０をユーザにより選択指定された座標に応じた位置に表示する。このとき、電子コメント処理部３１２は、電子入力フォーム７３０を表示した位置の座標、すなわち電子コメントの入力座標を、記憶部３０３に記憶する。
【００５５】
次に、Ｓ３０１３において、電子コメント処理部３１２は、ユーザが入力部３０５を介して文字列入力領域７３１に文字入力を行ったか否かを判定する。文字入力されたと判定した場合（Ｓ３０１３，Ｙｅｓ）、電子コメント処理部３１２は、入力された文字列、すなわち電子コメントを記憶部３０３に記憶する。
次に、Ｓ３０１４において、電子コメント処理部３１２は、ユーザにより電子コメント追加ボタン７３２が押下されたか否かを判定する。Ｓ３０１４において、電子コメント追加ボタン７３２が押下されたと判定した場合（Ｓ３０１４，Ｙｅｓ）、電子コメント処理部３１２は、Ｓ３０１５の処理へ進む。Ｓ３０１５において、電子コメント処理部３１２は、電子コメントの入力座標及び電子コメントを含む電子コメント情報を、ネットワーク通信部３０１を介して情報管理サーバ装置４００に送信する。
なお、電子コメント情報を送信する際に、電子コメント処理部３１２は、電子コメント情報に、送信するコメント情報が電子コメント情報に属する種別の情報であることを示す電子コメント識別子を含めて送信する。
【００５６】
Ｓ３０１４において、電子コメント追加ボタン７３２が押下されていないと判定した場合は（Ｓ３０１４，Ｎｏ）、電子コメント処理部３１２は、Ｓ３０１６へ進む。Ｓ３０１６において、電子コメント処理部３１２は、キーワード検索ボタン７３３、画像検索ボタン７３４又は動画検索ボタン７３５がユーザ指示に基づいて押下されたか否かを判定する。
押下されたと判定した場合は（Ｓ３０１６，Ｙｅｓ）、Ｓ３０１７において、検索部３１４は、検索のタイプ毎に割り当てられたＷｅｂ検索エンジンを用いて、文字列入力領域７３１に入力された文字列を検索する。この文字列の検索については公知の検索技術を用いるため詳細な説明は割愛する。
電子掲示板情報表示部３１１は、ユーザがボタン選択によって選択した検索エンジンを用いた、入力文字列の検索結果を表示部３０４に表示する。続いて、Ｓ３０１８において、検索部３１４は、Ｓ３０１７における検索処理の検索結果を記憶部３０３に記憶する。
【００５７】
Ｓ３０１３において、文字列入力領域７３１に文字入力されたと判定しなかった場合は（Ｓ３０１３，Ｎｏ）、電子コメント処理部３１２は、Ｓ３０１９に処理を進める。Ｓ３０１９において、電子掲示板情報表示部３１１は、参照ファイル添付ボタン７３６がユーザ指示によって押下されたか否かを判定する。
参照ファイル添付ボタン７３６が押下されたと判定した場合は（Ｓ３０１９，Ｙｅｓ）、電子掲示板情報表示部３１１は、Ｓ３０２０の処理へ進む。Ｓ３０２０において、電子掲示板情報表示部３１１は、参照ファイルパス入力画面（図１７参照）を表示し、ユーザからの参照ファイルへのファイルパスの入力を受け付ける。なお、参照ファイルパス入力画面については後述する。
【００５８】
参照ファイル処理部３１３は、参照ファイルパス入力画面で入力された参照ファイルパスを記憶部３０３に記憶する。参照ファイルには画像ファイル、動画ファイル、文書ファイル、音声ファイルなど、検索部３１４が記憶した検索結果などに代表される電子ファイルが含まれる。
また、参照ファイル処理部３１３は、参照ファイルを参照するための参照ファイルアクセスボタンを表示すべき位置の座標（参照ファイルアクセスボタンの座標）を、電子入力フォームが表示された位置の座標に基づいて算出する。本実施形態においては、参照ファイル処理部３１３は、電子入力フォームの座標を（Δｘ２，０）だけずらした位置の座標を算出することとする。
さらに、参照ファイル処理部３１３は、参照ファイルパスと参照ファイルアクセスボタンの座標の情報とを、情報管理サーバ装置４００に参照ファイル情報として送信する。なお、参照ファイル処理部３１３は、参照ファイル情報に、送信するファイル情報が参照ファイル情報に属する種別の情報であることを示す参照ファイル識別子を含めて送信する。以上の処理がＳ３０２０の処理である。
一方、参照ファイル添付ボタン７３６が押下されたと判定されなかった場合は（Ｓ３０１９，Ｎｏ）、参照ファイル処理部３１３は、処理をＳ３０１３へ進める。
【００５９】
Ｓ３０１５又はＳ３０２０において、電子コメント処理部３１２又は電子掲示板情報表示部３１１は、電子コメント情報又は参照ファイル情報を情報管理サーバ装置４００に送信した後、Ｓ３０２１の処理へ進む。Ｓ３０２１において、電子掲示板情報表示部３１１は、電子入力フォーム７３０を非表示にする。次に、Ｓ３０２２において、電子掲示板情報表示部３１１は、電子入力フォーム７３０を表示した座標に入力結果を表示する。
図１６Ａは、入力結果表示画面の一例を示す図である。図１６Ａに示すように、電子入力フォームへの入力内容が電子コメント７４１として表示される。なお、図１６Ａに示す電子コメント７４１は、ビットマップ７２１で表現された手書きコメントがユーザによって選択され、オフセット位置に表示された電子入力フォーム７３０に対して入力されたコメントである。すなわち、図１６Ａに示す文字列「ＤＥＦ」の電子コメント７４１は、電子入力フォーム７３０の座標と同座標の（−Ｘｗ１＋Δｘ１，Ｙｗ１＋Δｙ１）に表示される。
【００６０】
また、ビットマップ７２１で表現された手書きコメントが選択され、上述の電子コメントの他、添付ファイルが入力された場合には、入力結果表示画面には、参照ファイルアクセスボタンがさらに表示される。
図１６Ｂは、電子コメント及び参照ファイルアクセスボタンが表示された入力結果表示画面の一例を示す図である。図１６Ｂに示すように、参照ファイルアクセスボタン７４５は、電子入力フォーム７３０が表示された座標から所定の位置だけずれた座標（−Ｘｗ１＋Δｘ１＋Δｘ２，Ｙｗ１＋Δｙ１）に表示される。
【００６１】
図１７は、図１５を参照しつつ説明した電子コメント処理におけるＳ３０１７の処理において、表示部３０４に表示される検索エンジン画面の一例を示す図である。図１７に示す検索エンジン画面７５１は、キーワード欄７５２を有し、キーワード欄７５２には、文字列入力領域７３１に入力された文字列が表示される。また、検索結果欄７５３には、検索結果が表示される。次へボタン７５４は、次ページの検索結果を表示するためのものである。非表示ボタン７５５は、検索エンジン画面を閉じるものである。これにより、検索エンジン画面７５１を閉じることも可能である。
図１８Ａ〜図１８Ｃは、検索結果欄７５３の表示例を示す図である。図１８Ａに示す表示７５３１は、キーワードの検索結果例である。図１８Ｂに示す表示７５３２は、静止画の検索結果例である。図１８Ｃに示す表示７５３３は、動画の検索結果例である。
【００６２】
図１９は、参照ファイルパス入力画面の一例としてのファイル選択画面７６１を示す図である。図１９に示すように、ファイル選択画面７６１は、参照ファイル入力欄７６２を含んでいる。参照ファイル入力欄７６２は、ユーザにより添付したい参照ファイルが入力される領域である。決定ボタン７６３は、参照ファイル入力欄７６２で入力された参照ファイルを添付するよう決定するものである。キャンセルボタン７６４は、ファイル選択画面７６１を閉じるものである。
なお、本実施形態において、参照ファイルパスは情報端末３００の記憶部３０３に記憶されているファイルへのパスとする。しかし、参照ファイルパスの送信とともにファイルを情報端末３００から情報管理サーバ装置４００にアップロード（送信）するような実施形態では以下のような構成をとってもよい。
すなわち、参照ファイル処理部３１３は、参照ファイルパスとともに参照ファイルを情報管理サーバ装置４００へアップロード（送信）する。参照ファイル処理部３１３はこのとき、参照ファイルパスを参照ファイルのアップロード先のパスへと変換して送信する。これにより参照ファイルが情報管理サーバ装置４００へアップロードされ、そのファイルへのパスが記憶部４０３に格納される。したがって、参照ファイルは、いずれの情報端末３００からも参照することが可能となる。
【００６３】
（スレッド情報）
図２０は、情報管理サーバ装置４００のスレッド管理部４１３により管理されるスレッド情報の構造の一例を示す図である。スレッド情報８０４は、記憶部４０３に格納されている。なお、記憶部４０３には、新規の入力情報（手書きコメント情報、電子コメント情報又は参照ファイル情報）が追加された場合に常に更新される最新のスレッド情報と、紙資料１０が印刷された時点のスレッド情報との２つのスレッド情報が記憶されている。スレッド管理部４１３は、これら２つのスレッド情報を管理する。
本実施形態の電子掲示板システムにおいて、紙資料１０に入力された手書きコメントは、ビットマップデータに電子化される。そして、情報端末３００の表示部３０４は、ビットマップ化された手書きコメントをオリジナルデータ上に配置したスレッド表示情報を表示することができる。
【００６４】
スレッド情報８０４は、１つのスレッド情報と、関連入力情報群とを含む情報である。ここで、関連入力情報群は、関連する複数の入力情報を含んでいる。入力情報としては、手書きコメント情報、電子コメント情報及び参照ファイル情報がある。
１つのスレッド情報８０４には、関連する１以上の手書きコメント情報又は電子コメント情報と、０以上の参照ファイル情報とが含まれている。このように、スレッド情報８０４において、関連する入力情報（コメント情報）は、同一ファイルとして記憶部４０３に格納されている。このように、関連する入力情報（コメント情報）を同一ファイルとして記憶部４０３に記憶するので、いずれの入力情報（コメント情報）が関連する情報であるかを容易に把握することができる。
【００６５】
図２０に示すように、スレッド情報８０４に含まれる入力情報間の関係は木構造で表現される。図２０に示す例においては、スレッド情報８０４は、１つのスレッドヘッダと５個のコメント情報（手書きコメント情報又は電子コメント情報）と３個の参照ファイル情報とを含んでいる。
コメントＩＤ＝３のコメント情報は、コメントＩＤ＝４及びコメントＩＤ＝５の２つの子コメント情報を有している。また、コメントＩＤ＝３のコメント情報は、参照ファイルＩＤ＝１の参照ファイル情報を有している。コメントＩＤ＝４のコメント情報は、参照ファイルＩＤ＝２及び参照ファイルＩＤ＝３の２つの参照ファイル情報を有している。
【００６６】
図２１Ａは、スレッドヘッダ情報のデータ構成の一例を示す図である。スレッドヘッダ８０１は、スレッドＩＤ、先頭コメントＩＤ、スレッド座標、スレッドサイズ及びスレッド標準文字サイズを含んでいる。スレッドＩＤは、スレッド情報を一意に特定するための情報である。先頭コメントＩＤは、スレッドの先頭に配置されたコメント情報のコメントＩＤを示す。
スレッド座標（Ｘｔｈｒｅａｄ）及びスレッド座標（Ｙｔｈｒｅａｄ）は、スレッド表示情報におけるスレッド情報の配置位置を示す情報である。スレッド表示情報は、オリジナルデータ上にコメントを配置した情報であり、スレッド表示情報にける位置は、データ座標系の位置に相当する。すなわち、スレッド座標（Ｘｔｈｒｅａｄ）及びスレッド座標（Ｙｔｈｒｅａｄ）は、それぞれデータ座標系（Ｘｂｂｓ，Ｙｂｂｓ）の値である。
スレッドサイズ（ＸＳＩＺＥｔｈｒｅａｄ）及びスレッドサイズ（ＹＳＩＺＥｔｈｒｅａｄ）は、スレッド表示情報におけるスレッド情報を表示する領域のサイズを示す情報である。ここで、スレッド情報を表示する領域は、矩形領域である。スレッドサイズ（ＸＳＩＺＥｔｈｒｅａｄ）及びスレッドサイズ（ＹＳＩＺＥｔｈｒｅａｄ）は、それぞれデータ座標系におけるＸｂｂｓ軸方向及びＹｂｂｓ軸方向のサイズである。スレッド標準文字サイズは、スレッド情報に含まれる関連コメント情報群の各文字を、スレッド表示する際の文字サイズである。すなわち、スレッド標準文字サイズは、表示サイズの一例である。
【００６７】
図２１Ｂは、コメント情報のデータ構成の一例を示す図である。図２１Ｂに示すコメント情報８０２は、コメントＩＤ、親コメントＩＤ、子コメントＩＤ、参照ファイルＩＤ、タイプ、データ、コメント座標、コメントサイズ及び重畳対象を含んでいる。
コメントＩＤは、コメントを一意に特定するための情報である。親コメントＩＤは、コメントの親ノードであるコメント情報のコメントＩＤである。なお、コメントが先頭コメントである場合、親ノードは存在しない。子コメントＩＤは、コメントの子ノードであるコメント情報のコメントＩＤである。子コメントが複数存在する場合には、コメント情報８０２は、複数の子コメントＩＤを有することができる。
【００６８】
参照ファイルＩＤは、コメント情報に関連する参照ファイルの参照ファイルＩＤである。コメントに関連付けられた参照ファイルが複数存在する場合には、コメント情報８０２は、複数の参照ファイルＩＤを有することができる。
タイプは、コメント情報の種別が手書きコメントであるビットマップか電子コメントである文字列かを示すコメント識別子である。データは、コメント情報が、手書きコメント情報である場合には、ビットマップファイル名である。また、コメント情報が電子コメント情報である場合には、データは、文字列データである。
【００６９】
コメント座標（Ｘｃｏｍ）及びコメント座標（Ｙｃｏｍ）は、スレッド表示情報におけるコメント情報の配置位置を示す情報である。コメント座標（Ｘｃｏｍ）及びコメント座標（Ｙｃｏｍ）は、データ座標系（Ｘｂｂｓ，Ｙｂｂｓ）の値である。コメントサイズ（ＸＳＩＺＥｃｏｍ）及びコメントサイズ（ＹＳＩＺＥｃｏｍ）は、スレッド表示情報におけるコメント情報を表示する矩形領域のサイズを示す情報である。コメントサイズ（ＸＳＩＺＥｃｏｍ）及びコメントサイズ（ＹＳＩＺＥｃｏｍ）は、それぞれＸｂｂｓ軸方向及びＹｂｂｓ軸方向のサイズを示す情報である。
重畳対象は、コメント情報を重畳表示の対象とするか否かを示す情報である。なお、他の例としては、予め情報管理サーバ装置４００側の設定で常に重畳表示対象としてもよい。また、他の例としては、先頭コメントＩＤから最大Ｎ個まで重畳表示対象とするような設定でもよい。この最大数Ｎはユーザ指示に基づいて入力される数値で設定されてもよい。
【００７０】
図２１Ｃは、参照ファイル情報のデータ構成の一例を示す図である。図２１Ｃに示す参照ファイル情報８０３は、参照ファイルＩＤ、親コメントＩＤ、タイプ、データ、アクセスボタン座標及びアクセスボタンサイズを含んでいる。参照ファイルＩＤは、参照ファイル情報を一意に特定するための情報である。親コメントＩＤは、参照ファイル情報の親ノードであるコメント情報のコメントＩＤである。タイプは、参照ファイル情報の種別を示すものである。種別には例えば、動画や音声、文書、図面、ＵＲＬ、ショートカットなどが挙げられる。種別に対応したアプリケーションで再生できる。データは、参照ファイル情報の参照ファイルパスを示す情報である。
アクセスボタン座標（Ｘａｃｃ）及びアクセスボタン座標（Ｙａｃｃ）は、参照ファイル情報のアクセスボタンの、スレッド表示情報における配置位置を示す情報である。アクセスボタン座標（Ｘａｃｃ）及びアクセスボタン座標（Ｙａｃｃ）は、データ座標系（Ｘｂｂｓ，Ｙｂｂｓ）の値である。
アクセスボタンサイズ（ＸＳＩＺＥａｃｃ）及びアクセスボタンサイズ（ＹＳＩＺＥａｃｃ）は、スレッド表示情報におけるアクセスボタンを表示する矩形領域のサイズを示す情報である。アクセスボタンサイズ（ＸＳＩＺＥａｃｃ）及びアクセスボタンサイズ（ＹＳＩＺＥａｃｃ）は、それぞれＸｂｂｓ軸方向及びＹｂｂｓ軸方向のサイズを示す情報である。
【００７１】
図２２Ａ〜図２２Ｃは、１つのスレッド情報に含まれるスレッドヘッダ情報、コメント情報及び参照ファイル情報の一例を示す図である。図２２Ａ〜図２２Ｃに示すスレッドヘッダ８０５、コメント情報８０６及び参照ファイル情報８０７は、図２０に示すスレッド情報８０４に対応している。なお、図２２Ｂに示すコメント情報８０６においては、重畳対象の最大数はＮ＝３に設定されているものとする。
親コメントＩＤ＝０は、親コメント情報を有さない先頭コメント情報であることを意味する。子コメントＩＤ＝０は、子コメント情報を有さない末端のコメント情報であることを意味する。参照ファイルＩＤ＝０は、参照ファイル情報を有さないことを意味する。重畳対象＝１は、重畳対象とすることを意味する。重畳対象＝０は重畳対象としないことを意味する。
【００７２】
図２３は、スレッド表示の一例を示す図である。情報端末３００は、スレッド情報とオリジナルデータとを情報管理サーバ装置４００から受信する。そして、情報端末３００は、図２３に示すように１つのスレッド情報に含まれるコメント情報及び参照ファイル情報をオリジナルデータ上に重畳したスレッド表示情報を生成し、これを表示、すなわちスレッド表示する。ここで、スレッド表示とは、複数のコメント情報及び参照ファイル情報が１つのスレッドとしてスレッド状に表示されることである。
なお、図２３に示すスレッド表示情報は、図２２Ａ〜図２２Ｃに示すスレッド情報に対応するものである。図２３に示すスレッド表示においては、手書きコメントのビットマップ７２１と、電子コメント７４１〜７４４と、参照ファイルアクセスボタン７４５〜７４７とが含まれている。なお、参照ファイルアクセスボタン７４５は、電子コメント７４１に対応付けられている。また、参照ファイルアクセスボタン７４６，７４７は、電子コメント７４３に対応付けられている。
なお、重畳処理部３１５は、スレッド情報のすべてに対してコメント情報の「重畳対象」の情報を「重畳対象＝１」としてスレッド表示する。スレッド情報のすべてを表示するのか、一部を表示するのか（例えば先頭コメントからＮ個）をユーザ指示に基づいて切り替える構成をとってもよい。
【００７３】
（手書きコメントサイズ変換パラメータ）
図２４は、情報管理サーバ装置４００において参照される手書きコメントサイズ変換パラメータの一例を示す図である。図２４に示す手書きコメントサイズ変換パラメータ４５００は、後述するスレッド管理処理（図２６）において記憶部４０３に登録される。図２４に示すように、手書きコメントサイズ変換パラメータ４５００は、手書きコメント軌跡情報倍率、表示用コメント情報サイズ倍率、手書きコメント軌跡情報矩形サイズ及び表示用コメント情報サイズを含んでいる。
なお、詳細については後述するが、情報管理サーバ装置４００は、手書きコメント軌跡情報に基づいて、表示用コメント情報を生成する。ここで、表示用コメント情報とは、スレッド表示情報として、オリジナルデータ上に重畳すべき手書きコメント情報の画像である。表示用コメント情報は、オリジナルデータ上に描画された手書きコメントを示す画像である。表示用コメント情報は、手書きコメントを示すコメント画像と、背景画像とを含んでいる。ここで、背景画像は、オリジナルデータの一部を示す画像である。
【００７４】
図２４に示す手書きコメント軌跡情報倍率は、表示用コメント情報におけるコメント画像のサイズを決定するための情報である。手書きコメント軌跡情報倍率は、後述する手書きコメント軌跡情報のサイズ変換処理（図３１のＳ４００７）において利用される値である。表示用コメント情報サイズ倍率は、表示用コメント情報のサイズを決定するための情報である。表示用コメント情報サイズ倍率は、後述する表示用コメント情報サイズ決定処理（図３１のＳ４００２）において利用される値である。なお、背景画像のサイズは、表示用コメント画像のサイズと等しい。
手書きコメント軌跡情報矩形サイズＸは、手書きコメント軌跡情報の矩形領域、すなわち手書きコメント領域のＸｐａｐｅｒ軸方向のサイズである。手書きコメント軌跡情報矩形サイズＹは、手書きコメント軌跡情報の矩形領域（手書きコメント領域）のＹｐａｐｅｒ軸方向のサイズである。表示用コメント情報サイズＸは、座標変換後の表示用コメント情報のＸｂｂｓ軸方向のサイズである。表示用コメント情報サイズＹは、座標変換後の表示用コメント情報のＹｂｂｓ軸方向のサイズである。
【００７５】
図２５Ａ〜図２５Ｃは、手書きコメント軌跡情報倍率を説明するための図である。図２５Ａに示すように、手書きコメント軌跡倍率が１．０であるとする。この場合、例えば、Ｘ＝３０，Ｙ＝１０のサイズの手書きコメント軌跡情報に対して、手書きコメント軌跡倍率が適用されると、手書きコメント軌跡情報のサイズは変更されない。すなわち、サイズ変換処理は、等倍処理となる。
図２５Ｂに示すように、手書きコメント軌跡倍率が２．０であるとする。この場合、例えば、Ｘ＝３０，Ｙ＝１０のサイズの手書きコメント軌跡情報に対して、手書きコメント軌跡倍率が適用されると、手書きコメント軌跡情報のサイズは、Ｘ＝６０，Ｙ＝２０のサイズに変換される。すなわち、サイズ変換処理は、拡大処理となる。図２５Ｃに示すように、手書きコメント軌跡倍率が０．５であるとする。この場合、例えば、Ｘ＝６０，Ｙ＝２０のサイズの手書きコメント軌跡情報に対して、手書きコメント軌跡倍率が適用されると、手書きコメント軌跡情報のサイズは、Ｘ＝３０，Ｙ＝１０のサイズに変換される。すなわち、サイズ変換処理は、縮小処理となる。
【００７６】
（スレッド管理）
図２６は、情報管理サーバ装置４００によるスレッド管理処理を示すフローチャートである。Ｓ４０１１において、スレッド管理部４１３は、入力情報（手書きコメント情報、電子コメント情報又は参照ファイル情報）の追加が発生したか否かを判定する。なお、スレッド管理部４１３は、ネットワーク通信部４０１を介して入力情報を受け付けた場合に、入力情報の追加が発生したと判定する。以下、ネットワーク通信部４０１が新たに受信した入力情報を新規入力情報と称することとする。
なお、Ｓ４０１１において、スレッド管理部４１３は、手書きコメント軌跡情報と、手書きコメント文字サイズ（文字サイズ情報）と、手書き識別子とを受信する。すなわち、Ｓ４０１１は、受信処理の一例である。
【００７７】
次に、Ｓ４０１２において、スレッド管理部４１３は、新規入力情報の種別を判定する。より具体的には、種別判定部４１１は、新規入力情報に含まれる識別子を参照することで新規入力情報の種別が手書きデータであるか否かを判定する。種別判定部４１１はさらに、判定結果をスレッド管理部４１３に送る。
新規入力情報の種別が手書きデータでなかった場合は（Ｓ４０１２，Ｎｏ）、種別判定部４１１は、Ｓ４０１８の処理を行う。すなわち、次に、Ｓ４０１８において、種別判定部４１１は、新規入力情報の種別が電子コメントであるか否かを判定する。より具体的には、種別判定部４１１は、新規入力情報に含まれる識別子を参照することで新規入力情報の種別が電子コメントであるか否かを判定する。種別判定部４１１は、さらに判定結果をスレッド管理部４１３に送る。
【００７８】
次に、Ｓ４０１８において、新規入力情報の種別が電子コメントであった場合は（Ｓ４０１８，Ｙｅｓ）、種別判定部４１１は、処理をＳ４０１９へ進める。Ｓ４０１９において、スレッド管理部４１３は、新規入力情報としての電子コメント情報のフォーマットを、電子コメント情報としてスレッド表示可能なフォーマットに変換する（図２２Ｂのコメント情報８０６参照）。次に、スレッド管理部４１３は、フォーマット変換後の電子コメント情報をスレッド情報に追加する。次に、スレッド管理部４１３は、電子コメント情報の追加に応じて、スレッドヘッダの値を更新して、スレッド情報を記憶部４０３に格納する。
また、Ｓ４０１８において、新規入力情報の種別が電子コメントでなかった場合、すなわち新規入力情報の種別が参照ファイルであった場合には（Ｓ４０１８，Ｎｏ）、種別判定部４１１は、処理をＳ４０２０へ進める。Ｓ４０２０において、スレッド管理部４１３は、新規入力情報としての参照ファイル情報のフォーマットを、参照ファイルアクセスボタンとしてスレッド表示可能なフォーマットに変換する（図２２Ｃの参照ファイル情報８０７参照）。次に、スレッド管理部４１３は、フォーマット変換後の参照ファイル情報をスレッド情報に追加する。次に、スレッド管理部４１３は、参照ファイル情報の追加に応じて、スレッドヘッダの値を更新して、スレッド情報を記憶部４０３に格納する。
【００７９】
一方、Ｓ４０１２において、新規入力情報の種別が手書きデータであった場合には（Ｓ４０１２，Ｙｅｓ）、手書きコメント情報生成部４１２は、Ｓ４１００の処理を行う。Ｓ４１００において、手書きコメント情報生成部４１２は、手書きコメント軌跡情報を手書きコメント軌跡情報格納部４２０１に格納する。また、手書きコメント情報生成部４１２は、手書きコメント文字サイズを手書きコメント文字サイズ格納部４２０２に格納する。
次に、Ｓ４１０１において、スレッド管理部４１３は、手書きコメント軌跡情報に対応する手書きコメントを登録済スレッド情報及び新規スレッド情報のいずれとして管理するかを決定する。ここで、登録済スレッド情報とは、記憶部４０３に既に格納（登録）されているスレッド情報である。新規スレッド情報とは、スレッド管理部４１３により新たに生成されるスレッド情報である。なお、新規スレッド情報生成時には、新規スレッド情報には、コメント情報は含まれていない。
【００８０】
より具体的には、スレッド管理部４１３は、手書きコメント軌跡情報に関連するコメント情報が記憶部４０３に存在するか否かを判定する。そして、スレッド管理部４１３は、記憶部４０３に登録済スレッド情報が存在しない場合には、新規スレッド情報を生成する。そして、スレッド管理部４１３は、コメント情報を新規スレッド情報に追加することにより管理することとする。また、スレッド管理部４１３は、手書きコメント軌跡情報が記憶部４０３に存在するいずれの登録済スレッド情報に含まれるコメント情報とも関連しない場合に、コメント情報を新規スレッド情報に追加することにより管理することとする。
一方、新規手書きコメント情報が記憶部４０３に存在するいずれかの登録済スレッド情報に含まれるコメント情報に関連するとする。この場合には、スレッド管理部４１３は、コメント情報を、関連するコメント情報が含まれる登録済コメント情報に追加することにより管理することとする。
【００８１】
なお、スレッド管理部４１３は、手書きコメント軌跡情報と、登録済コメント情報との関連の有無については、オリジナルデータ７００における手書きコメント軌跡情報と登録済コメント情報との入力座標間の距離に基づいて判断することとする。
また、他の例としては、スレッド管理部４１３は、電子ペン１００等電子掲示板システムが備える入力装置を介して、ユーザから関連する登録済コメント情報の指定を受け付けることとしてもよい。この場合には、スレッド管理部４１３は、ユーザからの指定に基づいて、コメント情報を、新規スレッド情報及び登録済スレッド情報のいずれに追加することにより管理するかを決定すればよい。
【００８２】
次に、Ｓ４１０２において、手書きコメント情報生成部４１２は、手書きコメントサイズ変換パラメータ４５００を記憶部４０３にセットする。より具体的には、手書きコメント情報生成部４１２は、手書きコメント軌跡情報格納部４２０１に格納されている手書きコメント軌跡情報の矩形領域の紙面座標系におけるＸｐａｐｅｒ軸方向のサイズを手書きコメント軌跡情報矩形サイズＸにセットする。また、手書きコメント情報生成部４１２は、手書きコメント軌跡情報の矩形領域の紙面座標系におけるＹｐａｐｅｒ軸方向のサイズを手書きコメント軌跡情報矩形サイズＹにセットする。
例えば、図２７に示すように、手書きコメント軌跡情報の最小矩形領域のサイズがＸ＝３０、Ｙ＝１０とする。この場合、手書きコメント情報生成部４１２は、手書きコメント軌跡情報矩形サイズＸに３０をセットする。また、手書きコメント情報生成部４１２は、手書きコメント軌跡情報矩形サイズＹに１０をセットする。さらに、手書きコメント情報生成部４１２は、手書きコメント軌跡情報倍率及び表示用コメント情報サイズ倍率それぞれに対し、初期値の１．０をセットする。
なお、手書きコメントサイズ変換パラメータ４５００の表示用コメント情報サイズＸ，Ｙは、Ｓ４１０１の処理においてはセットされない。手書きコメントサイズ変換パラメータ４５００の表示用コメント情報サイズＸ，Ｙをセットする処理については後述する。
【００８３】
次に、Ｓ４１０３において、制御部４０２は、表示サイズ決定処理を行う。ここで、表示サイズとは、スレッド表示情報に含まれる各コメント情報の文字サイズである。なお、ここで対象とするスレッド表示情報は、Ｓ４０１１において追加が発生した手書きコメント情報が属するスレッド情報を表示するスレッド表示情報である。表示サイズ決定処理において、制御部４０２は、表示サイズを決定し、さらに表示サイズに応じた表示用コメント情報を生成する。次に、制御部４０２は、表示用コメント情報に対応するコメント情報８０２（図２１Ｂ）をスレッド情報に追加する。次に、制御部４０２は、コメント情報８０２の追加に応じて、スレッドヘッダ８０１（図２１Ａ）の値を更新して、スレッド情報を記憶部４０３に格納する。
【００８４】
（表示サイズ決定処理）
図２８は、図２６を参照しつつ説明した表示サイズ決定処理（Ｓ４１０３）における、情報管理サーバ装置４００の詳細な処理を示すフローチャートである。表示サイズ決定処理において、制御部４０２は、手書きコメント軌跡情報が追加されたスレッド情報に含まれる各コメント情報の文字の表示サイズを決定する。表示サイズ決定処理において、制御部４０２はさらに、決定した表示サイズに基づいて、手書きコメント軌跡情報に対応する表示用コメント情報を生成する。
なお、表示サイズ決定処理において、表示サイズ決定部４３０により参照される対象となる対象スレッド情報は、スレッド管理部４１３により、手書きコメント軌跡情報の追加先として判定されたスレッド情報である。すなわち、対象スレッド情報は、登録済スレッド情報又はスレッド管理部４１３により新たに生成された新規スレッド情報である。
【００８５】
Ｓ８００１において、表示サイズ決定部４３０は、まず手書きコメント文字サイズ格納部４２０２から、手書きコメント文字サイズを取得する。次に、Ｓ８００２において、表示サイズ決定部４３０は、対象スレッド情報のコメント情報８０２の数（コメント数）を確認し、コメントが１つ以上登録されているか否かを判断する。すなわち、表示サイズ決定部４３０は、対象スレッド情報が新規スレッド情報であるか登録済スレッド情報であるかを判断する。なお、対象スレッド情報が新規スレッド情報である場合には、新規手書きコメント情報は、先頭コメントとして登録される。
対象スレッド情報内にコメント情報が存在しない場合には（Ｓ８００２，Ｎｏ）、表示サイズ決定部４３０は、Ｓ８００３の処理を行う。すなわち、Ｓ８００３において、表示サイズ決定部４３０は、手書きコメント文字サイズが、サイズ範囲内の値であるか否かを判定する。
ここで、サイズ範囲とは、スレッドヘッダ８０１に含まれるスレッド標準文字サイズに文字サイズ調整マージンを加えた範囲である。文字サイズ調整マージンは、情報管理サーバ装置４００に予め設定された値である。文字サイズ調整マージンは、一定範囲内の文字サイズの違いについては誤差と判断するために設定されるものである。例えば文字サイズ調整マージンが２ポイントに設定されており、スレッド標準文字サイズが１６ポイントである場合には、サイズ範囲は、１４から１８ポイントまでの範囲となる。
【００８６】
Ｓ８００３において、手書きコメント文字サイズがサイズ範囲内の値でない場合には（Ｓ８００３，Ｎｏ）、表示サイズ決定部４３０は、Ｓ８００４の処理を行う。すなわち、Ｓ８００４において、表示サイズ決定部４３０は、スレッドヘッダ８０１（図２１Ａ）に含まれているスレッド標準文字サイズを、Ｓ８００１において取得した手書きコメント文字サイズの値に更新する。
このように、新規手書きコメント情報がスレッド情報の先頭コメントとなる場合には、手書きコメント文字サイズを、スレッド標準文字サイズとして新たに設定する。例えば、図２２Ａに示すスレッドヘッダ８０５のように、スレッド標準文字サイズとして１６ポイントが設定されおり、手書きコメント文字サイズが２０ポイントであったとする。この場合には、スレッド標準文字サイズの値は、１６ポイントから２０ポイントに更新される。
【００８７】
図２９は、Ｓ８００４の処理を説明するための図である。例えば、２０ポイントの手書きコメント８０４１が新規スレッド情報８０４に登録され、スレッド標準文字サイズが１６ポイントから２０ポイントに更新されたとする。
この場合には、図２９に示すように、手書きコメント８０４１を示す手書きコメント軌跡情報より後のタイミングにおいて、スレッド情報８０４に追加された電子コメント８０４２の表示サイズは、更新後のスレッド標準文字サイズに基づいて決定される。すなわち、図２９に示すように、電子コメント８０４２の表示サイズは、２０ポイントに決定される。
Ｓ８００２〜Ｓ８００４の処理において、新規手書きコメント情報に関連するコメント情報が記憶部４０３に登録されておらず、新規スレッドに手書きコメント情報が追加される場合には、表示サイズ決定部４３０は、スレッド標準文字サイズを更新する。このように、表示サイズ決定部４３０は、新規手書きコメント情報に関連するコメント情報が記憶部４０３に登録されていない場合に、手書きコメント文字サイズに基づいて、新規スレッド情報に追加される関連コメント情報群の表示サイズを決定する。すなわち、表示サイズ決定部４３０は、スレッドの先頭の手書きコメントの文字サイズを基準として、スレッド情報に含まれる関連コメント群の表示サイズを決定することができる。
【００８８】
Ｓ８００２において、対象スレッド情報内にコメント情報が存在する場合（Ｓ８００２，Ｙｅｓ）には、表示サイズ決定部４３０は、Ｓ８００５の処理を行う。また、Ｓ８００３において、手書きコメント文字サイズがサイズ範囲内の値である場合には（Ｓ８００３，Ｙｅｓ）、表示サイズ決定部４３０は、Ｓ８００５の処理を行う。
Ｓ８００５において、表示サイズ決定部４３０は、スレッド標準文字サイズから文字サイズ調整マージンの値を減算した値、すなわち第１閾値を算出する。例えば、文字サイズ調整マージンが２ポイント、スレッド標準文字サイズが１６ポイントである場合には、第１閾値は１４ポイントとなる。表示サイズ決定部４３０はさらに、手書きコメント文字サイズと第１閾値とを比較する。
【００８９】
手書きコメント文字サイズが第１閾値に比べて小さい場合には（Ｓ８００５，Ｙｅｓ）、表示サイズ決定部４３０は、Ｓ８０１０の処理を行う。すなわち、Ｓ８０１０において、表示サイズ決定部４３０は、スレッド標準文字サイズを手書きコメント文字サイズで除算した値を、手書きコメントサイズ変換パラメータ４５００の手書きコメント軌跡情報倍率にセットする。例えば、スレッド標準文字サイズが１６ポイント、手書きコメント文字サイズが８ポイントの場合には、表示サイズ決定部４３０は、手書きコメント軌跡情報倍率に２をセットする。次に、表示サイズ決定部４３０は、Ｓ８０２０の処理を行う。
すなわち、Ｓ８０２０において、表示サイズ決定部４３０は、仮表示サイズを算出する（仮表示サイズ決定処理）。より具体的には、表示サイズ決定部４３０は、手書きコメントサイズ変換パラメータ４５００の手書きコメント軌跡情報矩形サイズＸ，Ｙそれぞれに手書きコメント軌跡情報倍率を乗算し、乗算結果を仮表示サイズとして得る。
【００９０】
次に、Ｓ８０３０において、表示サイズ決定部４３０は、手書きコメント軌跡情報に基づいて、仮表示サイズの手書きコメント軌跡情報の領域（手書きコメント領域）が紙資料１０の領域、すなわち紙領域の外側に位置するか、内側に位置するかを判定する。より具体的には、表示サイズ決定部４３０は、仮表示サイズの手書きコメント軌跡情報の座標が紙領域内の位置であるか否かを判定する。
ここで、紙領域における手書きコメント軌跡情報の配置位置は、オリジナルデータにおける配置位置に対応する。さらに、一覧表示ページとしてのスレッド表示情報は、オリジナルデータ上にコメントを配置した情報である。すなわち、手書きコメント軌跡情報の配置位置は、オリジナルデータ上の配置位置に対応する。また、Ｓ８０３０の処理は、仮表示サイズの手書きコメントの少なくとも一部がスレッド表示情報外に位置するか否かを判定する処理の一例である。
【００９１】
図３０は、Ｓ８０３０の処理を説明するための図である。図３０は、スレッド表示情報を示している。なお、図３０に示す手書きコメント８０３３は、新たに追加された手書きコメント軌跡情報に対応するコメントであるとする。図３０に示すように、手書きコメント８０３３の位置によっては、拡大後の手書きコメント領域が紙資料１０の紙領域の外側に位置する場合がある。図３０に示す例においては、拡大後の手書コメントの一部の領域８０３４が紙領域外に位置している。
なお、本実施形態においては、表示サイズ決定部４３０は、紙面座標系において、仮表示サイズの手書きコメント領域が紙領域内に収まるか否かを判定した。これに対し、他の例としては、表示サイズ決定部４３０は、データ座標系において、仮表示サイズの手書きコメント領域がスレッド表示領域内に収まるか否かを判定してもよい。
【００９２】
Ｓ８０３０において、手書きコメント領域が紙領域内に収まると判断した場合（Ｓ８０３０，Ｙｅｓ）、制御部４０２は、Ｓ８３０１〜８３０４の処理（拡大処理）を行う。拡大処理については後述する。Ｓ８０３０において、手書きコメント領域が紙領域内に収まらないと判断した場合（Ｓ８０３０，Ｎｏ）、制御部４０２は、Ｓ８４００〜Ｓ８４０５の処理（スレッド標準文字サイズ更新処理）を行う。スレッド標準文字サイズ更新処理については後述する。
一方、Ｓ８００５において、手書きコメント文字サイズが第１閾値以上である場合には（Ｓ８００５，Ｙｅｓ）、表示サイズ決定部４３０は、Ｓ８００７の処理を行う。すなわち、Ｓ８００７において、表示サイズ決定部４３０は、スレッド標準文字サイズに文字サイズ調整マージンの相対を加算した値、すなわち第２閾値を算出する。例えば、文字サイズ調整マージンが２ポイント、スレッド標準文字サイズが１６ポイントである場合には、第２閾値は、１８ポイントとなる。表示サイズ決定部４３０はさらに、手書きコメント文字サイズと第２閾値とを比較する。
手書きコメント文字サイズが第２閾値よりも大きい場合には（Ｓ８００７，Ｙｅｓ）、制御部４０２は、Ｓ８２０１〜Ｓ８２０４の処理（縮小処理）を行う。縮小処理については後述する。手書きコメント文字サイズが第２閾値以下である場合には（Ｓ８００７，Ｎｏ）、制御部４０２は、Ｓ８１０１〜Ｓ８１０４の処理（等倍処理）を行う。等倍処理については後述する。
【００９３】
（等倍処理）
等倍処理について説明する。Ｓ８１０１において、表示サイズ決定部４３０は、手書きコメントサイズ変換パラメータ４５００の手書きコメント軌跡情報倍率に１．０（等倍）をセットする。次に、Ｓ８１０２において、表示サイズ決定部４３０は、手書きコメントサイズ変換パラメータ４５００の表示用コメント情報サイズ倍率に１．０（等倍）をセットする。
次に、Ｓ８１０３において、手書きコメント情報生成部４１２は、手書きコメント軌跡情報倍率及び表示用コメント情報サイズ倍率に基づいて、手書きコメント軌跡情報に対応する表示用コメント情報を生成する。ここで、表示用コメント情報は、手書きコメント軌跡情報のビットマップデータである。なお、Ｓ８１０３の表示用コメント情報生成処理については、図３１を参照しつつ後述する。Ｓ８１０４において、スレッド管理部４１３は、さらに手書きコメント情報のフォーマットを、手書きコメントとしてスレッド表示可能なフォーマットに変換する（図２２Ｂのコメント情報８０６参照）。次に、スレッド管理部４１３は、フォーマット変換後の手書きコメント情報をスレッド情報に追加する。次に、スレッド管理部４１３は、手書きコメント情報の追加に応じて、スレッドヘッダの値を更新して、スレッド情報を記憶部４０３に格納する。
【００９４】
（表示用コメント情報生成処理）
ここで、表示用コメント情報生成処理について図３１を参照しつつ説明する。ビットマップデータ生成処理において、手書きコメント情報生成部４１２は、手書きコメント軌跡情報をビットマップ化し表示用コメント情報を得る。
まず、Ｓ４００２において、手書きコメント情報生成部４１２は、手書きコメントサイズ変換パラメータ４５００の手書きコメント軌跡情報矩形サイズを表示用コメント情報サイズ倍率で乗算し、紙面座標系における表示用コメント情報サイズを算出する。例えば、図２４に示すように、手書きコメント軌跡矩形サイズＸ，Ｙとしてそれぞれ３０，１０がセットされており、かつ表示用コメント情報サイズ倍率２．０がセットされているとする。この場合には、表示用コメント情報サイズＸ，Ｙとしてそれぞれ６０，２０が算出される。
【００９５】
次に、Ｓ４００３において、手書きコメント情報生成部４１２は、紙面座標系の表示用コメント情報サイズをデータ座標系の表示用コメント情報サイズに変換する。変換処理は、紙資料１０のサイズとオリジナルデータ７００のサイズを元に予め変換係数を決定しておくことで実現することができる。手書きコメント情報生成部４１２は、算出されたデータ座標系の表示用コメント情報サイズＸ，Ｙを、それぞれ手書きコメントサイズ変換パラメータ４５００の表示用コメント情報サイズＸ，Ｙに格納する。なお、この表示用コメント情報サイズＸ，Ｙに格納された値はスレッド管理のコメント情報８０２（図２１Ｂ）のコメントサイズＸ，Ｙに格納される値である。
次に、Ｓ４００４において、手書きコメント情報生成部４１２は、背景画像を生成する(背景画像生成処理)。手書きコメント情報生成部４１２は、このとき、手書きコメントサイズ変換パラメータ４５００の表示用コメント情報サイズＸ，Ｙと、手書きコメント軌跡情報の位置に対応するデータ座標系における位置と、オリジナルデータと、を参照する。より具体的には、スレッド管理部４１３は、オリジナルデータのうち表示用コメント情報サイズＸ、Ｙと、手書きコメント軌跡情報の矩形領域に対応する矩形領域の位置と、により特定される矩形領域内のビットマップデータを背景画像として生成する。
【００９６】
次に、Ｓ４００５において、手書きコメント情報生成部４１２は、手書きコメント軌跡情報に含まれる紙面座標系で表現された手書きコメントの入力座標を、データ座標系の座標に変換する。ここで、手書きコメント軌跡情報は、手書きコメント軌跡情報格納部４２０１に格納されており、手書きコメント情報生成部４１２は、手書きコメント軌跡情報格納部４２０１から手書きコメント軌跡情報を読み出す。図３２は、データ座標系（Ｘｂｂｓ，Ｙｂｂｓ）に変換された手書きコメントの入力座標を示す図である。図３２に示すように、図１２に示す手書きコメント軌跡情報２４０に対応する画素７１１，７１２などの座標が得られる。
次に、Ｓ４００６において、手書きコメント情報生成部４１２は、座標変換後の手書きコメント軌跡情報の座標群を包含する矩形領域（図１２）の最小のサイズを算出する。さらに、制御部４０２は、矩形領域の左上の座標（−Ｘｗ１，Ｙｗ１）及び右下の座標（Ｘｗ２，Ｙｗ２）を得る。次に、Ｓ４００７において、手書きコメント情報生成部４１２は、手書きコメントサイズ変換パラメータ４５００の手書きコメント軌跡情報倍率に基づいて、座標変換後の手書きコメント軌跡情報のサイズを変換する。より具体的には、手書きコメント情報生成部４１２は、手書きコメント軌跡情報に手書きコメント軌跡情報倍率を乗算する。これにより、手書きコメントのビットマップデータ、すなわちコメント画像が得られる。すなわち、Ｓ４００７の処理は、コメント画像生成処理の一例である。
【００９７】
次に、Ｓ４００８において、手書きコメント情報生成部４１２は、Ｓ４００７において得られたコメント画像をＳ４００４において生成された背景画像に合成し、表示用コメント情報を生成する（表示用コメント情報生成処理）。より具体的には、手書きコメント情報生成部４１２は、背景画像にコメント画像を重畳することにより、表示用コメント情報を生成する。
手書きコメント情報生成部４１２は、さらに表示用コメント情報を手書きコメント情報として記憶部４０３に格納する。さらに、スレッド管理部４１３は、記憶部４０３に格納された手書きコメント情報へのファイルパス、手書きコメント情報のコメント座標及びコメントサイズをコメント情報８０２（図２１Ｂ）に格納する。なお、コメント座標には、Ｓ４００６において得られた矩形領域の左上の座標を格納する。以上で、表示用コメント情報生成処理が完了する。
【００９８】
なお、前述の等倍処理における表示用コメント情報生成処理（図３１）においては、手書きコメント軌跡情報倍率及び表示用コメント情報サイズ倍率は、いずれも１．０（等倍）に設定される。すなわち、等倍処理においては、表示サイズ決定部４３０は、手書きコメント文字サイズを表示サイズと決定する。表示サイズ決定部４３０はまた、手書きコメント軌跡情報矩形サイズと同一サイズを背景画像の矩形サイズ（表示用コメント情報の矩形サイズ）と決定する。
これにより、等倍処理においては、Ｓ８０１３の処理（図３１）において、手書きコメント文字サイズと同一の表示サイズの手書きコメントを示すコメント画像（ビットマップデータ）が得られる。さらに、手書きコメント軌跡情報矩形サイズと同一サイズの背景画像（ビットマップデータ）が生成される。そして、コメント画像と背景画像とが合成されて、表示用コメント情報（ビットマップデータ）が生成される。
【００９９】
（縮小処理）
図２８に戻り、縮小処理について説明する。縮小処理においては、制御部４０２は、スレッド標準文字サイズを変更することなく、手書きコメント軌跡情報のサイズを縮小する。Ｓ８２０１において、表示サイズ決定部４３０は、スレッド標準文字サイズを手書きコメント文字サイズで除算した値を、手書きコメントサイズ変換パラメータ４５００の手書きコメント軌跡情報倍率にセットする。例えば、スレッド標準文字サイズが１６ポイント、手書きコメント文字サイズが３２ポイントの場合には、手書きコメント軌跡情報倍率に０．５（縮小）がセットされる。次に、Ｓ８２０２において、表示サイズ決定部４３０は、手書きコメントサイズ変換パラメータ４５００の表示用コメント情報サイズ倍率に１．０（等倍）をセットする。
すなわち、縮小処理においては、表示サイズ決定部４３０は、スレッド標準文字サイズを手書きコメントの表示サイズと決定する。表示サイズ決定部４３０はまた、手書きコメント軌跡情報矩形サイズと同一サイズを背景画像の矩形サイズ（表示用コメント情報の矩形サイズ）と決定する。
【０１００】
次に、Ｓ８２０３において、手書きコメント情報生成部４１２は、表示用コメント情報を生成する。なお、Ｓ８２０３において、手書きコメント情報生成部４１２は、図３１を参照しつつ説明した表示用コメント情報生成処理を実行する。上述のように、手書きコメント軌跡情報倍率及び表示用コメント情報サイズ倍率それぞれに対し、縮小及び等倍がセットされる。したがって、Ｓ８２０３においては、縮小されたコメント画像と等倍の背景画像とが合成されたビットマップデータが、表示用コメント情報として生成される。なお、Ｓ８２０３の処理は、文字サイズ変更処理の一例である。
次に、Ｓ８２０４において、スレッド管理部４１３は、Ｓ８１０４と同様の処理を行う。すなわち、スレッド管理部４１３は、スレッド情報のフォーマットに変換された手書きコメント情報をスレッド情報に追加する。スレッド管理部４１３はさらに、スレッドヘッダを更新し、スレッド情報を記憶部４０３に格納する。以上で、縮小処理が完了する。
【０１０１】
図３３は、縮小処理を説明するための図である。図３３に示す例のように、スレッド標準文字サイズが１６ポイントに設定されているとする。そして、スレッド情報に、手書きコメント文字サイズが２４ポイントの手書きコメント８０２３を示す手書きコメント軌跡情報が追加されたとする。この場合、Ｓ８２０１において、表示サイズ決定部４３０は、手書きコメント軌跡情報倍率に１６／２４の値をセットする。
これにより、Ｓ８２０３の処理において、手書きコメント軌跡情報は、手書きコメント軌跡情報倍率に基づいて、スレッド標準文字サイズ（表示サイズ）に縮小される。これにより、手書きコメント８０２３に比べて文字サイズの小さいコメント画像８０２５が得られる。
【０１０２】
また、Ｓ８２０２において、表示サイズ決定部４３０は、表示用コメント情報サイズ倍率に等倍をセットする。したがって、Ｓ８２０３の処理において、手書きコメント軌跡情報の矩形サイズと等倍の矩形サイズの背景画像８０２６が生成される。そして、縮小後のコメント画像８０２５と等倍の背景画像８０２６とが合成され、図３３に示す表示用コメント情報８０２７が得られる。
このように、縮小処理において、情報管理サーバ装置４００は、手書きコメントの表示サイズを手書きコメント軌跡情報の文字サイズに比べて小さいサイズに縮小するが、表示用コメント情報のサイズを手書きコメント軌跡情報矩形サイズとする。これにより、手書きコメント軌跡情報の表示領域が確保され、一覧表示されるコメント間の位置関係を維持することができる。
【０１０３】
（拡大処理）
次に、拡大処理について説明する。拡大処理においては、制御部４０２は、スレッド標準文字サイズを変更することなく、手書きコメント軌跡情報のサイズを拡大する。Ｓ８３０１において、表示サイズ決定部４３０は、手書きコメントサイズ変換パラメータ４５００の手書きコメント軌跡情報倍率に、スレッド標準文字サイズを手書きコメント文字サイズで除算した値をセットする。例えば、スレッド標準文字サイズが１６ポイント、手書きコメント文字サイズが８ポイントの場合には、手書きコメント軌跡情報倍率に２．０（拡大）がセットされる。
次に、Ｓ８３０２において、表示サイズ決定部４３０は、手書きコメントサイズ変換パラメータ４５００の表示用コメント情報サイズ倍率に、スレッド標準文字サイズを手書きコメント文字サイズで除算した値をセットする。例えば、スレッド標準文字サイズが１６ポイント、手書きコメント文字サイズが８ポイントの場合には、表示用コメント情報サイズ倍率に２．０（拡大）がセットされる。すなわち、表示サイズ決定部４３０は、手書きコメントの表示サイズを標準文字サイズ（１６ポイント）に決定する。
このように、拡大処理においては、表示サイズ決定部４３０は、スレッド標準文字サイズを手書きコメントの表示サイズと決定する。表示サイズ決定部４３０はまた、手書きコメント軌跡情報の拡大率に基づいて、手書きコメント軌跡情報矩形サイズを決定する。すなわち、拡大処理においては、表示サイズ決定部４３０は、Ｓ８０２０において算出した仮表示サイズに等しいサイズを表示サイズとして決定する。
【０１０４】
次に、Ｓ８３０３において、制御部４０２は、表示用コメント情報を生成する。なお、Ｓ８３０３において、制御部４０２は、図３１を参照しつつ説明した表示用コメント情報生成処理を実行する。上述のように、手書きコメント軌跡情報倍率及び表示用コメント情報サイズ倍率それぞれに対し、拡大がセットされる。したがって、Ｓ８３０３においては、拡大されたコメント画像と拡大された背景画像とが合成されたビットマップデータが、表示用コメント情報として生成される。なお、Ｓ８３０３の処理は、文字サイズ変更処理の一例である。
次に、Ｓ８３０４において、スレッド管理部４１３は、Ｓ８１０４と同様の処理を行う。すなわち、スレッド管理部４１３は、スレッド情報のフォーマットに変換された手書きコメント情報をスレッド情報に追加する。スレッド管理部４１３はさらに、スレッドヘッダを更新し、スレッド情報を記憶部４０３に格納する。以上で、縮小処理が完了する。
【０１０５】
図３４は、拡大処理を説明するための図である。図３４に示すように、スレッド標準文字サイズが１６ポイントに設定されているとする。そして、スレッド情報に、手書きコメント文字サイズが８ポイントの手書きコメント８０１３を示す手書きコメント軌跡情報が追加されたとする。この場合、Ｓ８３０１において、表示サイズ決定部４３０は、手書きコメント軌跡情報倍率に２．０（拡大）をセットする。
これにより、Ｓ８３０３の処理において、手書きコメント軌跡情報は手書きコメント軌跡情報倍率に基づいて、スレッド標準文字サイズ（表示サイズ）に拡大される。これにより、手書きコメント８０１３に比べて文字サイズの大きいコメント画像８０１５が得られる。
また、Ｓ８３０２の処理において、表示サイズ決定部４３０は、表示用コメント情報サイズ倍率に２．０（拡大）をセットする。したがって、Ｓ８２０３の処理において、手書きコメント軌跡情報の矩形サイズの２倍の矩形サイズの背景画像８０１６が生成される。そして、拡大後のコメント画像８０１５と拡大後の背景画像８０１６とが合成され、図３４に示すような表示用コメント情報８０１７が得られる。
【０１０６】
（スレッド標準文字サイズ更新処理）
次に、スレッド標準文字サイズ更新処理について説明する。スレッド標準文字サイズ更新処理においては、制御部４０２は、スレッド標準文字サイズを手書きコメント文字サイズの値に更新する。ここで、手書きコメント文字サイズは、スレッド標準文字サイズに比べて小さい値である。スレッド標準文字サイズ更新処理においては、スレッド標準文字サイズの更新に対応し、既にスレッド情報に含まれているコメント情報の表示サイズが変更される。
Ｓ８４００において、表示サイズ決定部４３０は、スレッドヘッダ８０１（図２１Ａ）のスレッド標準文字サイズを手書きコメント文字サイズに変更する。すなわち、スレッド標準文字サイズ更新処理においては、表示サイズ決定部４３０は、手書きコメント文字サイズを表示サイズとして決定する。なお、このとき、スレッド情報に含まれるコメント情報８０２（図２１Ｂ）は更新されない。すなわち、コメント情報８０２に含まれているコメントサイズは更新されない。
【０１０７】
次に、Ｓ８４０１において、表示サイズ決定部４３０は、手書きコメントサイズ変換パラメータ４５００の手書きコメント軌跡情報倍率に、１．０（等倍）をセットする。次に、Ｓ８４０２において、表示サイズ決定部４３０は、手書きコメントサイズ変換パラメータ４５００のコメントサイズ倍率に１．０（等倍）をセットする。
すなわち、スレッド標準文字サイズ更新処理においては、表示サイズ決定部４３０は、Ｓ８０２０において算出した仮表示サイズに比べて小さいサイズを表示サイズとして決定する。より具体的には、表示サイズ決定部４３０は、手書きコメント文字サイズを表示サイズとして決定する。
次に、Ｓ８４０３において、制御部４０２は、表示用コメント情報を生成する。なお、Ｓ８４０３において、制御部４０２は、図３１を参照しつつ説明した表示用コメント情報生成処理を実行する。上述のように、手書きコメント軌跡情報倍率及び表示用コメント情報サイズ倍率それぞれに対し、等倍がセットされる。したがって、Ｓ８４０４においては、等倍のコメント画像と等倍の背景画像とが合成されたビットマップデータが、表示用コメント情報として生成される。
【０１０８】
次に、Ｓ８４０４において、手書きコメント情報生成部４１２は、Ｓ８４００において更新されたスレッド標準文字サイズに基づいて、スレッド情報に既に登録されているコメント情報の表示サイズを縮小する。より具体的には、手書きコメント情報生成部４１２は、既に登録されているコメント情報のコメントの文字サイズを縮小し、電子コメントコアを得る。さらに、手書きコメント情報生成部４１２は、コメント情報のコメントサイズと同一サイズの背景画像に電子コメントコアを合成する。なお、Ｓ８４０４の処理は、文字サイズ変更処理の一例である。
これにより、スレッド表示情報においては、背景画像がオリジナルデータ上にマスクされる。したがって、コメント情報の表示サイズが縮小された場合であっても、スレッド表示情報における複数のコメント間の位置関係を維持することができる。
次に、Ｓ８４０５において、スレッド管理部４１３は、Ｓ８１０４と同様の処理を行う。すなわち、スレッド管理部４１３は、スレッド情報のフォーマットに変換された手書きコメント情報をスレッド情報に追加する。スレッド管理部４１３はさらに、スレッドヘッダを更新し、スレッド情報を記憶部４０３に格納する。以上で、スレッド標準文字サイズ更新処理が完了する。
【０１０９】
図３５は、スレッド標準文字サイズ更新処理を説明するための図である。図３０を参照しつつ説明したように、拡大後の手書きコメントの一部の領域８０３４が紙領域外に位置する場合に、スレッド標準文字サイズ更新処理が行われる。
図３５に示すように、スレッド標準文字サイズが１６ポイントに設定されているとする。そして、スレッド情報に、手書きコメント文字サイズが８ポイントの手書きコメント８０３３を示す手書きコメント軌跡情報が追加されたとする。スレッド標準文字サイズ更新処理においては、上述のように、手書きコメント軌跡情報倍率及び表示用コメント情報サイズ倍率それぞれに対し等倍がセットされる。このため、Ｓ８４０３の処理において、手書きコメント軌跡情報は手書きコメント軌跡情報倍率に基づいて、等倍処理される。これにより、手書きコメント８０３３と等倍のコメント画像８０３５が得られる。
さらに、Ｓ８４０３の処理において、手書きコメント軌跡情報の矩形サイズと等倍の矩形サイズの背景画像８０３６が生成される。そして、コメント画像８０３５と背景画像８０３６とが合成され、手書きコメント８０３７を示す表示用コメント情報が得られる。
【０１１０】
さらに、Ｓ８４０４において、手書きコメント情報生成部４１２は、スレッド情報に含まれる既存の電子コメント８０４３及び電子コメント８０５３をそれぞれ電子コメントコア８０４５及び電子コメントコア８０５５へ縮小する。
手書きコメント情報生成部４１２はさらに、マスクパターンとして、電子コメント８０４３と同一サイズの背景画像８０４６を生成する。同様に、手書きコメント情報生成部４１２は、マスクパターンとして、電子コメント８０５３と同一サイズの背景画像８０５６を生成する。そして、手書きコメント情報生成部４１２は、電子コメントコア８０４５と背景画像８０４６とを合成し、表示用コメント情報８０４７を生成する。同様に手書きコメント情報生成部４１２は、電子コメントコア８０５５と背景画像８０５６とを合成し、表示用コメント情報８０５７を生成する。
【０１１１】
図３６は、スレッド標準文字サイズ更新処理後のスレッド表示情報を示す図である。図３６に示すスレッド表示情報は、図３０に示すスレッド表示情報に対応している。図３０に示すように手書きコメント８０３３が拡大されるのに変えて、同一スレッド情報に既に存在する電子コメント８０４３，８０５３の表示サイズが縮小される。これにより、手書きコメント８０３７全体を紙領域内に収めることができる。また、電子コメント８０４３，８０５３及び手書きコメント８０３７を同一サイズで表示することができる。
以上のように、表示本実施形態の情報管理サーバ装置４００は、スレッド情報に追加される手書きコメント軌跡情報に基づいて、同一スレッド情報に含まれる関連コメント情報群に対し、同一の表示サイズを決定することができる。これにより、情報端末３００は、同一表示サイズで関連コメント情報群が表示されたスレッド表示情報を表示することができる。スレッド表示情報に含まれる文字サイズが統一されているので、ユーザによる各コメントの見易さを向上させることができる。
【０１１２】
（重畳表示）
本実施の形態にかかる電子掲示板システムにおいては、紙資料１０に手書き追記したユーザは、その手書きコメントに対する他のユーザからのコメントを見たい場合がある。また、手書きコメントが追加される前の紙資料１０を配布されたユーザは、他のユーザによって既に追加されている手書きコメントや電子コメントを見たい場合がある。
このようなユースケースに応えるべく、本実施の形態にかかる電子掲示板システムにおいては、紙資料１０の撮像画像に基づいて、手書きコメントや電子コメントなどが重畳されたオリジナルデータをリアルタイムで表示部３０４に表示することができる。
【０１１３】
以下、図３７〜図４０を参照しつつ重畳表示処理について説明する。図３７は、情報端末３００による重畳表示処理を示すフローチャートである。この重畳処理により、情報端末３００は、撮像部３０６で撮像して表示部３０４に表示した紙資料１０の画像に対し、記憶部３０３に記憶されているスレッド情報を、紙資料１０の画像上の特徴パターンの位置に基づいて、重ね合わせて表示することができる。
まず、Ｓ３０５１において、撮像部３０６は、紙資料１０（図６参照）を撮像し、撮像画像を制御部３０２の重畳処理部３１５へ送信する。図３８は、撮影画像の一例を示す図である。図３８示す撮像画像３００１は、図７を参照しつつ説明した紙資料１０を撮影することにより得られた画像である。
【０１１４】
続いて、制御部３０２の重畳処理部３１５は、撮像画像から特徴パターン（図７の特徴パターン１１０）を検索し、特徴パターン１１０を検出したか否か判定する。なお、本実施の形態においは、重畳処理部３１５は、撮像画像３００１から特定の特徴パターンを検出するために、拡張現実技術を利用することとする。なお、拡張現実技術は、特徴パターンを検出する方法の一例であり、これ以外の方法により特徴パターン検出を行ってもよい。
なお特徴パターンは、パターンを検出した際に紙面座標系と電子掲示板座標系との対応関係を取ることが可能となるパターンである。特徴パターン１１０と、オリジナルデータ７００中の特徴パターン７１０との位置関係により、データ座標系で管理されている入力情報に対応する画像オブジェクトを、撮像画像内の適切な位置に重畳して表示することができる。
【０１１５】
Ｓ３０５１において、重畳処理部３１５が特徴パターンを検出した場合（Ｓ３０５１，Ｙｅｓ）、Ｓ３０５２の処理へ進む。Ｓ３０５２において、重畳処理部３１５は、特徴パターンの情報（特徴パターン情報）を含むスレッド情報取得要求を、情報管理サーバ装置４００に対して送信する。続いて、Ｓ３０５３において、重畳処理部３１５は、Ｓ３０５２での特徴パターン情報の送信の応答としての情報を情報管理サーバ装置４００から受信する。
次に、Ｓ３０５４において、重畳処理部３１５は、Ｓ３０５３で受信した情報にスレッド情報が含まれているかどうかを判定する。すなわち、重畳処理部３１５は、スレッド情報を受信したかを判定する。
Ｓ３０５４において、スレッド情報を受信しなかったと判定した場合は、重畳処理部３１５は、重畳すべき画像オブジェクトを生成しない。一方、Ｓ３０５４において、スレッド情報を受信したと判定した場合（Ｓ３０５４，Ｙｅｓ）、Ｓ３０５５へ進む。
【０１１６】
Ｓ３０５５において、重畳処理部３１５は、１スレッドを表示すべき情報を取得する。より具体的には、重畳処理部３１５は、スレッド情報に含まれるコメント情報８０２及び参照ファイル情報８０３を取得する。重畳処理部３１５は、受け取ったコメント情報８０２毎に、コメント情報８０２に含まれる「重畳対象」の情報に基づいて重畳表示の対象となるコメント情報の画像オブジェクトを生成する。
重畳処理部３１５は、さらにコメント情報の画像オブジェクトを生成する際に、重畳表示の対象となるコメント情報のコメントＩＤを親コメントＩＤとして有する参照ファイル情報について、参照ファイルアクセスボタンの画像オブジェクトを生成する。
以上の処理により画像オブジェクトは、スレッド情報中の各座標情報に基づき、コメント情報及びファイル情報の互いの位置関係が保たれる位置に表示されるように生成される。なお、重畳処理部３１５は、重畳表示の対象とならないコメント情報のコメントＩＤを親コメントＩＤとして有する参照ファイル情報については、重畳対象とせず、参照ファイルアクセスボタンの画像オブジェクトは生成しない。
【０１１７】
次に、Ｓ３０５６において、重畳処理部３１５は、コメント情報及び参照ファイル情報それぞれの座標情報（コメント座標、アクセスボタン座標）及びサイズ情報（コメントサイズ、アクセスボタンサイズ）をさらに取得する。そして重畳処理部３１５は、取得した座標情報及びサイズ情報に基づいて、生成した画像オブジェクトをオリジナルデータ７００上に重畳表示すべく、オリジナルデータ７００上に画像オブジェクトを合成し、スレッド表示情報を生成する。続いて、表示部３０４は、スレッド表示情報を表示する。ここで、スレッド表示情報は、一覧表示ページの一例であり、Ｓ３０５６の処理は、一覧表示ページ生成処理及び表示処理の一例である。
【０１１８】
なお、Ｓ３０５６において、重畳処理部３１５は、生成した画像オブジェクトを、撮像部３０６で撮像した画像上の特徴パターン１１０の検知位置に基づく位置に重畳して、スレッド表示する。
例えば、重畳処理部３１５は、生成した画像オブジェクトを、特徴パターンの検知位置の座標に、画像オブジェクトの先頭コメントが表示されるようにスレッド表示をする。
また他の例としては、重畳処理部３１５は、生成した画像オブジェクトを、特徴パターンの検知位置の座標から所定の距離オフセットさせた座標位置に、画像オブジェクトの先頭コメントが表示されるようにスレッド表示してもよい。
また他の例としては、重畳処理部３１５は、画像オブジェクトのデータ座標系における座標位置と特徴パターンの検知位置とに基づいて算出される位置に、画像オブジェクトの先頭コメントが表示されるようにスレッド表示してもよい。
【０１１９】
図３９は、重畳表示の一例を示す図である。このように、重畳表示においては、撮像画像３００１に含まれていた「ＡＢＣ」の手書きコメントのビットマップ７２１に対し、スレッド情報に基づいて重畳された電子コメント７４１，７４２と、参照ファイルアクセスボタン７４５がスレッド状に並んで表示される。
以上のように、重畳処理部３１５は、スレッド情報として関連付けて記憶部４０３に記憶されている複数の登録済入力情報を、相互の関連性を視認可能に表示部３０４に表示することができる。
【０１２０】
図４０は、情報管理サーバ装置４００による重畳表示処理を示すフローチャートである。情報管理サーバ装置４００は、この処理により、情報端末３００から受信したスレッド情報取得要求に対する応答を返す。
まず、Ｓ４０５１において、制御部４０２は、情報端末３００からスレッド情報取得要求を受信したか否かを判定する。なお、スレッド情報取得要求は、図３７を参照しつつ説明したＳ３０５２の処理により情報端末３００によって送信される。ここで、スレッド情報取得要求には重畳処理部３１５が検知した特徴パターンの情報が含まれている。
Ｓ４０５１において、スレッド情報取得要求を受信した場合（Ｓ４０５１，Ｙｅｓ）、制御部４０２は、Ｓ４０５２の処理へ進む。Ｓ４０５２において、制御部４０２の特徴抽出部４１５は、オリジナルデータ７００から、受信した特徴パターン情報（特徴パターン１１０）に対応するオリジナルデータ７００内の領域を抽出する。特徴パターン情報（特徴パターン１１０）に対応するオリジナルデータ７００内の領域とは、特徴パターン１１０の元となるオリジナルデータ７００内の特徴パターン７１０の座標位置の画像領域のことである。
【０１２１】
次に、Ｓ４０５３において、制御部４０２は、スレッドヘッダのスレッド座標に基づいて、Ｓ４０５２で抽出した領域のデータ座標系における座標位置から最も近い距離にあるスレッド情報を、スレッド管理部４１３の管理する複数のスレッド情報の中から検索する。
次に、Ｓ４０５４において、制御部４０２は、最近傍のスレッド情報の領域が特徴パターン７１０の領域に対して予め定めた距離内に存在するか否かを判定する。より具体的には、制御部４０２は、最近傍のスレッド情報に含まれるスレッドヘッダのスレッド座標と、Ｓ４０５２で抽出した領域の電子掲示板座標系における座標との距離が所定の閾値以内であるかを判定する。
Ｓ４０５４において、「存在する」と判定された場合は（Ｓ４０５４，Ｙｅｓ）、制御部４０２は、Ｓ４０５５の処理へ進む。Ｓ４０５５において、制御部４０２は、Ｓ４０５３での検索結果であるスレッド情報を、Ｓ４０５１で受信したスレッド情報取得要求の応答として情報に含めると決定する。Ｓ４０５４において、「存在しない」と判定された場合は（４０５４，Ｎｏ）、制御部４０２は、Ｓ４０５６の処理へ進む。Ｓ４０５６において、制御部４０２は、Ｓ４０５１で受信したスレッド情報取得要求の応答としての情報にスレッド情報を含めないと決定する。
【０１２２】
そして、Ｓ４０５７において、制御部４０２は、Ｓ４０５５又はＳ４０５６の処理による決定結果に基づいて、スレッド情報取得要求の応答としての情報を情報端末３００に送信する。これにより、情報管理サーバ装置４００は、特徴パターン７１０に対応付けられているスレッド情報のみに対する応答を情報端末３００に送信することができる。
以上、電子掲示板システムにより、図３７，図４０を参照しつつ説明した重畳表示にかかる処理が実行されることにより、図３９に示すようにスレッド表示することができる。したがって、ユーザは、紙資料１０を撮像するだけで、手書きコメントに対して追加されたコメントを簡単に閲覧することができる。また、各コメント及び参照ファイルはスレッド表示されているので、ユーザは、入力情報間の関係性を容易に把握することができる。
【０１２３】
なお、情報端末３００は、図１３に示すようなオリジナルデータ７００に対してスレッド情報を重畳して表示させる第１表示モードと、図３８に示すような撮像画像３００１に対してスレッド情報を重畳して表示させる第２表示モードとで動作するようにしてもよい。さらに、情報端末３００は、第１表示モードと、第２表示モードとを選択するモード選択手段を有していてもよい。
また、他の例としては、電子掲示板システムは、重畳処理において、情報管理サーバ装置４００において、一覧表示ページとしてのスレッド表示情報を生成してもよい。この場合には、情報管理サーバ装置４００は、スレッド表示情報を情報端末３００に送信する。
【０１２４】
＜第２実施形態＞
第２実施形態にかかる電子掲示板システムは、手書きコメントに含まれる図形と文字とを判別し、文字のみに基づいて表示サイズを特定する。以下、第２実施形態にかかる電子掲示板システムについて、第１実施形態にかかる電子掲示板システムと異なる部分を説明する。
図４１は、第２実施形態にかかる通信端末２００の構成を示す図である。第２実施形態にかかる通信端末２００においては、手書きコメント文字サイズ算出部２２０は、図形判別部８５５をさらに有している。図形判別部８５５は、手書きコメント軌跡情報に含まれる図形に対応する軌跡と文字に対応する軌跡とを判別する。図形判別部８５５は、例えば公知の図形判別技術により、図形に対応する軌跡と文字に対応する軌跡とを判別する。
【０１２５】
図４２は、第２実施形態にかかる通信端末２００による手書きコメント軌跡情報生成処理を示すフローチャートである。なお、第２実施形態にかかる手書きコメント軌跡情報生成処理においては、Ｓ２０３１の処理において、一文字軌跡バッファ２２０２に電子ペン軌跡情報が格納されている場合には（Ｓ２０３１，Ｙｅｓ）、図形判別部８５５は、Ｓ２０３８の処理を行う。すなわち、Ｓ２０３８において、図形判別部８５５は、一文字軌跡バッファ２２０２に格納されている電子ペン軌跡情報が図形に対応するものであるのか、文字に対応するものであるかを判別する。
電子ペン軌跡情報が図形に対応するものである場合には（Ｓ２０３８，Ｙｅｓ）、手書きコメント文字サイズ算出部２２０は、Ｓ２０３４の処理を行う。一方、電子ペン軌跡情報が文字に対応するものである場合には（Ｓ２０３８，Ｎｏ）、手書きコメント文字サイズ算出部２２０は、Ｓ２０３２の処理を行う。
例えば、電子ペン１００により、図４３に示す手書きコメントが、文字「Ａ」２８１、文字「Ｂ」２８２、文字「Ｃ」２８３、さらに文字の周囲の四角形２８４の順に描画されたとする。この場合には、図４２を参照しつつ説明した手書きコメント軌跡情報生成処理における一文字区切り処理により、文字「Ａ」２８１、文字「Ｂ」２８２、文字「Ｃ」２８３、さらに周囲の四角形２８４が一文字の電子ペン軌跡情報として得られる。そして、これらの電子ペン軌跡情報は、一文字軌跡バッファ２２０２に格納される。続いて、図形判別部８５５により、四角形は図形と判別され、文字サイズ算出の対象から外されることとなる。
【０１２６】
同様に、Ｓ２０４２の処理において、一文字軌跡バッファ２２０２に電子ペン軌跡情報が格納されている場合には（Ｓ２０４２，Ｙｅｓ）、図形判別部８５５は、Ｓ２０４８の処理を行う。すなわち、Ｓ２０４８において、図形判別部８５５は、一文字軌跡バッファ２２０２に格納されている電子ペン軌跡情報が図形に対応するものであるのか、文字に対応するものであるかを判別する。
電子ペン軌跡情報が図形に対応するものである場合には（Ｓ２０４８，Ｙｅｓ）、手書きコメント文字サイズ算出部２２０は、Ｓ２０２６の処理を行う。一方、電子ペン軌跡情報が文字に対応するものである場合には（Ｓ２０４８，Ｎｏ）、手書きコメント文字サイズ算出部２２０は、Ｓ２０４３の処理を行う。
【０１２７】
これにより、第２実施形態にかかる電子掲示板システムにおいては、手書きコメントに含まれる図形以外、すなわち文字のみを対象に文字サイズを特定する。したがって、より精度よく文字サイズを特定することができる。
なお、第２実施形態にかかる電子掲示板システムのこれ以外の構成及び処理は、第１実施形態にかかる電子掲示板システムの構成及び処理と同様である。
【０１２８】
＜第３実施形態＞
第３実施形態にかかる電子掲示板システムは、手書きコメントの文字サイズがスレッド標準文字サイズから大きく外れる場合には、スレッド標準文字サイズの変更を行わない。ただしこの場合、手書きコメント文字サイズを手書きコメントの表示サイズとして決定する。以下、第３実施形態にかかる電子掲示板システムについて、第１実施形態にかかる電子掲示板システムと異なる部分を説明する。
図４４は、第３実施形態にかかる情報管理サーバ装置４００による、サイズ決定処理（４１０２）を示すフローチャートである。Ｓ８００１において手書きコメント文字サイズを取得した後、表示サイズ決定部４３０は、Ｓ８０９０の処理を行う。すなわち、Ｓ８０９０において、表示サイズ決定部４３０は、手書きコメントサイズが調整範囲に含まれるか否かを判断する。ここで調整範囲は、表示サイズ決定部４３０によりスレッド標準文字サイズに基づいて設定される。
表示サイズ決定部４３０は、例えば、スレッド標準文字サイズの１／４倍の値から４倍の値までの範囲を調整範囲として定める。すなわち、表示サイズ決定部４３０は、スレッド標準文字サイズが１６ポイントに設定されている場合には、４ポイントから６４ポイントの調整範囲を設定する。なお、他の例としては、表示サイズ決定部４３０は、スレッド標準文字サイズを基準とする絶対値により定まる範囲を調整範囲として定めてもよい。例えば、表示サイズ決定部４３０は、スレッド標準文字サイズから一定値を減じた値からスレッド標準文字サイズに一定値を加算した値までの範囲を調整範囲として定めてもよい。
【０１２９】
手書きコメント文字サイズが調整範囲内の値である場合には（Ｓ８０９０，Ｙｅｓ）、続いて制御部４０２は、Ｓ８１０１の処理を行う。すなわち、制御部４０２は、手書きコメント文字サイズによらず、等倍処理を行う。
一方、手書きコメント文字サイズが調整範囲外の値である場合には（８０９０，Ｎｏ）、制御部４０２は、Ｓ８００２の処理を行う。すなわち、制御部４０２は、手書きコメント文字サイズに基づいて、スレッド情報の表示文字サイズを決定する。
【０１３０】
手書きコメントの文字サイズが、スレッド標準文字サイズから大きく外れている場合、手書きコメントの書き込みユーザは、この大きさのコメントであることを主張したい可能性がある。そこで、第３実施形態にかかる電子掲示板システムにおいては、スレッド標準文字サイズから大きく外れた文字サイズの手書きコメントについては、サイズを調整しないこととした。これにより、書き込みユーザの意図する手書きコメントの表示サイズで手書きコメントをスレッド表示することができる。
なお、第３実施形態にかかる電子掲示板システムのこれ以外の構成及び処理は、他の実施形態にかかる電子掲示板システムの構成及び処理と同様である。
以上、上述した各実施形態によれば、ユーザにとって見やすい、コメント一覧画面を表示する仕組みを提供する
【０１３１】
＜変更例＞
また、本実施の形態においては、電子掲示板システムは、オリジナルデータ上にスレッド情報として管理される関連コメント情報群を重畳したスレッド表示情報を生成したが、スレッド表示情報は、実施の形態に限定されるものではない。すなわち、スレッド表示情報は、関連コメント情報群が一覧表示された情報であればよく、オリジナルデータ上に重畳されたものでなくともよい。
【０１３２】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【０１３３】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図１】
2014127008.tif 000003
【図２】
2014127008.tif 000004
【図３】
2014127008.tif 000005
【図４】
2014127008.tif 000006
【図５】
2014127008.tif 000007
【図６】
2014127008.tif 000008
【図７】
2014127008.tif 000009
【図８】
2014127008.tif 000010
【図９】
2014127008.tif 000011
【図１０】
2014127008.tif 000012
【図１１】
2014127008.tif 000013
【図１２】
2014127008.tif 000014
【図１３】
2014127008.tif 000015
【図１４】
2014127008.tif 000016
【図１５】
2014127008.tif 000017
【図１６Ａ】
2014127008.tif 000018
【図１６Ｂ】
2014127008.tif 000019
【図１７】
2014127008.tif 000020
【図１８Ａ】
2014127008.tif 000021
【図１８Ｂ】
2014127008.tif 000022
【図１８Ｃ】
2014127008.tif 000023
【図１９】
2014127008.tif 000024
【図２０】
2014127008.tif 000025
【図２１Ａ】
2014127008.tif 000026
【図２１Ｂ】
2014127008.tif 000027
【図２１Ｃ】
2014127008.tif 000028
【図２２Ａ】
2014127008.tif 000029
【図２２Ｂ】
2014127008.tif 000030
【図２２Ｃ】
2014127008.tif 000031
【図２３】
2014127008.tif 000032
【図２４】
2014127008.tif 000033
【図２５Ａ】
2014127008.tif 000034
【図２５Ｂ】
2014127008.tif 000035
【図２５Ｃ】
2014127008.tif 000036
【図２６】
2014127008.tif 000037
【図２７】
2014127008.tif 000038
【図２８】
2014127008.tif 000039
【図２９】
2014127008.tif 000040
【図３０】
2014127008.tif 000041
【図３１】
2014127008.tif 000042
【図３２】
2014127008.tif 000043
【図３３】
2014127008.tif 000044
【図３４】
2014127008.tif 000045
【図３５】
2014127008.tif 000046
【図３６】
2014127008.tif 000047
【図３７】
2014127008.tif 000048
【図３８】
2014127008.tif 000049
【図３９】
2014127008.tif 000050
【図４０】
2014127008.tif 000051
【図４１】
2014127008.tif 000052
【図４２】
2014127008.tif 000053
【図４３】
2014127008.tif 000054
【図４４】
2014127008.tif 000055