(57)【特許請求の範囲】
【請求項１】
複数の第一の画像を現実の物体に重ねることによってＡＲ（Augmented Reality）を実現するＡＲ装置であって、
表示手段と、
前記複数の第一の画像のうちの少なくともいずれか１つを、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た第二の画像と重なるように、前記表示手段に表示させる、表示制御手段と、
ユーザが書き加えた第三の画像を入力する入力手段と、
前記複数の第一の画像の中から、前記第三の画像と対応付けるべき第一の画像である対応画像を決定する、決定手段と、
前記第三の画像を前記対応画像と対応付けて記憶手段に記憶させる、登録手段と、
を有することを特徴とするＡＲ装置。
【請求項２】
前記決定手段は、前記複数の第一の画像のうちの、前記第三の画像と重なる第一の画像を、前記対応画像に決定する、
請求項１に記載のＡＲ装置。
【請求項３】
前記決定手段は、前記複数の第一の画像のうちの、互いの距離が所定の長さ未満である複数の前記第三の画像のうちの少なくともいずれか１つと重なる第一の画像を、前記対応画像に決定する、
請求項１に記載のＡＲ装置。
【請求項４】
前記決定手段は、前記複数の第一の画像のうちの、前記第三の画像と重なる第一の画像および当該第一の画像からの距離が所定の長さ未満である第一の画像を、前記対応画像に決定する、
請求項１に記載のＡＲ装置。
【請求項５】
前記物体には、前記複数の第一の画像それぞれに対応するマークが付されており、
前記表示制御手段は、前記マークが撮影された際に、前記複数の第一の画像のうちの、当該撮影されたマークに対応する第一の画像を前記表示手段に表示させる、
請求項１ないし請求項４のいずれかに記載のＡＲ装置。
【請求項６】
前記表示制御手段は、前記マークが撮影された際に、さらに、前記複数の第一の画像のうちの当該撮影されたマークに対応する第一の画像が前記対応画像として対応付けられて前記記憶手段に記憶されている前記第三の画像を前記表示手段に表示させる、
請求項５に記載のＡＲ装置。
【請求項７】
前記登録手段は、前記第三の画像とともに、当該第三の画像に対応付けられる前記対応画像に対応する前記マークを基準とする、当該第三の画像が書き加えられた際の書込位置を、前記記憶手段に記憶させ、
前記表示制御手段は、前記複数の第一の画像のうちの前記撮影されたマークに対応する第一の画像を、当該マークを基準とする当該第一の画像について予め決められた所定位置に表示させ、前記第三の画像を前記書込位置に表示させる、
請求項６に記載のＡＲ装置。
【請求項８】
前記表示制御手段は、前記マークが複数撮影され、かつ、前記複数の第一の画像のうち当該複数のマークそれぞれに対応する第一の画像に同一の前記第三の画像が対応付けられている場合は、当該第三の画像を、当該複数の対応する第一の画像のうちのいずれか１つを前記対応画像としたときの前記書込位置にのみ表示させる、
請求項７に記載のＡＲ装置。
【請求項９】
前記登録手段は、前記第三の画像に対応する前記対応画像が複数ある場合は、当該第三の画像を、当該複数の対応画像を１つのグループとして対応付けて前記記憶手段に記憶させ、
前記表示制御手段は、前記マークが複数撮影された場合に、当該複数のマークからなるグループに対応付けられている前記第三の画像を表示させる、
請求項５に記載のＡＲ装置。
【請求項１０】
複数の第一の画像を現実の物体に重ねることによってＡＲ（Augmented Reality）を実現するＡＲ実現方法であって、
前記複数の第一の画像のうちの少なくともいずれか１つを、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た第二の画像と重なるように、表示手段に表示させる、
ユーザが書き加えた第三の画像の入力を受け付け、
前記複数の第一の画像の中から、前記第三の画像と対応付けるべき第一の画像である対応画像を決定し、
前記第三の画像を前記対応画像と対応付けて記憶手段に記憶させる、
ことを特徴とするＡＲ実現方法。
【請求項１１】
複数の第一の画像を現実の物体に重ねることによってＡＲ（Augmented Reality）を実現するためのコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
前記複数の第一の画像のうちの少なくともいずれか１つを、所定の位置から前記物体を見た際に前記物体と重なって見えるように、または、前記物体を撮影して得た第二の画像と重なるように表示手段に表示させる処理を実行させ、
ユーザが書き加えた第三の画像の入力を受け付ける処理を実行させ、
前記複数の第一の画像の中から、前記第三の画像と対応付けるべき第一の画像である対応画像を決定する処理を実行させ、
前記第三の画像を前記対応画像と対応付けて記憶手段に記憶させる処理を実行させる、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＲ（Augmented Reality）の技術に関する。
【背景技術】
【０００２】
近年、ＡＲ（Augmented Reality）の技術が普及し始めている。ＡＲは、一般に「拡張現実」と翻訳される。
【０００３】
ＡＲの技術によると、ＡＲマーカーが付されている印刷物を、スマートフォンなどで撮影すると、ＡＲマーカーに対応するコンテンツ（オブジェクト）が、撮影した印刷物の画像の上に表示される。これにより、現実の空間が拡張したかのようにユーザに感じさせることができる。
【０００４】
また、従来、ＡＲに関する次のような技術が提案されている。画像に含まれる複数のマーカに関する情報を取得する取得手段と、前記複数のマーカにそれぞれ対応する複数の仮想オブジェクトを、前記画像に重畳して表示部に表示するよう制御する表示制御手段と、前記複数の仮想オブジェクトが特定の組み合わせであるか否かを判断する判断手段とを、画像処理装置に設ける。そして、前記判断手段により前記複数の仮想オブジェクトが特定の組み合わせであると判断された場合、前記表示制御手段は、前記複数の仮想オブジェクトを、前記特定の組み合わせに対応した特定の配置で前記画像に重畳して前記表示部に表示するよう制御する（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−９２８８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように、特許文献１に記載される技術によると、特定の複数のマーカが組み合わされた場合に、各マーカに対応する仮想オブジェクトを、この組み合わせに対応した特定の配置で画像に重畳して表示する。
【０００７】
しかし、この技術によると、複数の仮想オブジェクト（ＡＲマーカーに対応するコンテンツ）に対して共通に新たなオブジェクトを追加するには、元の仮想オブジェクトを編集しなければならない。
【０００８】
本発明は、このような問題点に鑑み、複数の既存のオブジェクトに対して共通に、従来よりも簡単に新たなコンテンツを追加できるようにすることを、目的とする。
【課題を解決するための手段】
【０００９】
本発明の一形態に係るＡＲ（Augmented Reality）装置は、複数の第一の画像を現実の物体に重ねることによってＡＲを実現するＡＲ装置であって、表示手段と、前記複数の第一の画像のうちの少なくともいずれか１つを、所定の位置から前記物体を見た際に前記物体と重なるように、または、前記物体を撮影して得た第二の画像と重なるように、前記表示手段に表示させる、表示制御手段と、ユーザが書き加えた第三の画像を入力する入力手段と、前記複数の第一の画像の中から、前記第三の画像と対応付けるべき第一の画像である対応画像を決定する、決定手段と、前記第三の画像を前記対応画像と対応付けて記憶手段に記憶させる、登録手段と、を有する。
【００１０】
好ましくは、前記決定手段は、前記複数の第一の画像のうちの、前記第三の画像と重なる第一の画像を、前記対応画像に決定する。または、前記複数の第一の画像のうちの、互いの距離が所定の長さ未満である複数の前記第三の画像のうちの少なくともいずれか１つと重なる第一の画像を、前記対応画像に決定する。または、前記複数の第一の画像のうちの、前記第三の画像と重なる第一の画像および当該第一の画像からの距離が所定の長さ未満である第一の画像を、前記対応画像に決定する。
【００１１】
または、前記物体には、前記複数の第一の画像それぞれに対応するマークが付されており、前記表示制御手段は、前記マークが撮影された際に、前記複数の第一の画像のうちの、当該撮影されたマークに対応する第一の画像を前記表示装置に表示させる。
【００１２】
または、前記表示制御手段は、前記マークが撮影された際に、さらに、前記複数の第一の画像のうちの当該撮影されたマークに対応する第一の画像が前記対応画像として対応付けられて前記記憶手段に記憶されている前記第三の画像を前記表示装置に表示させる。
【発明の効果】
【００１３】
本発明によると、複数の既存の画像に対して共通に、従来よりも簡単に新たな画像を追加することができる。
【図面の簡単な説明】
【００１４】
【図１】ドキュメント閲覧システムの全体的な構成の例を示す図である。
【図２】ドキュメントサーバのハードウェア構成の例を示す図である。
【図３】タブレット型端末装置のハードウェア構成の例を示す図である。
【図４】眼鏡型端末装置のハードウェア構成の例を示す図である。
【図５】印刷物の元の例を示す図である。
【図６】端末装置を介して印刷物を見た際の状態の例を示す図である。
【図７】ドキュメントサーバおよび端末装置の機能的構成の例を示す図である。
【図８】原コンテンツの記憶の仕方の例を示す図である。
【図９】コンテンツ属性データベースの例を示す図である。
【図１０】端末装置を介して印刷物を見た際の状態の例を示す図である。
【図１１】追記コンテンツ抽出処理の流れの例を説明するフローチャートである。
【図１２】書込画像から追記コンテンツを抽出する処理および軌跡を検出する処理の例を説明する図である。
【図１３】追記コンテンツが書き込まれた際の印刷物の状態の例を示す図である。
【図１４】追記コンテンツが書き込まれた際の印刷物の状態の例を示す図である。
【図１５】追記コンテンツが書き込まれた際の印刷物の状態の例を示す図である。
【図１６】追記コンテンツの登録後のコンテンツ属性データベースの状態の例を示す図である。
【図１７】呼出用マーカーと関連コンテンツコードとの対応付けの例を示す図である。
【図１８】コンテンツ属性データベースの例を示す図である。
【図１９】コンテンツ属性データベースの例を示す図である。
【図２０】原コンテンツの元の状態および端末装置を介して見た際の状態の例を示す図である。
【図２１】３つの原コンテンツがある場合の追記コンテンツとの対応付けを説明するための図である。
【図２２】端末装置の全体的な処理の流れの例を説明するフローチャートである。
【図２３】ドキュメントサーバの全体的な処理の流れの例を説明するフローチャートである。
【発明を実施するための形態】
【００１５】
図１は、ドキュメント閲覧システム１の全体的な構成の例を示す図である。図２は、ドキュメントサーバ２のハードウェア構成の例を示す図である。図３は、タブレット型端末装置３Ｔのハードウェア構成の例を示す図である。図４は、眼鏡型端末装置３Ｍのハードウェア構成の例を示す図である。
【００１６】
ドキュメント閲覧システム１は、図１に示すように、ドキュメントサーバ２、端末装置３、および通信回線４などによって構成される。ドキュメント閲覧システム１は、ドキュメント（文書）に関するデータを管理し、ドキュメントの閲覧のサービスをユーザに提供する。
【００１７】
ドキュメントサーバ２と端末装置３とは、通信回線４を介して通信を行うことができる。通信回線４として、インターネット、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ(登録商標）、または携帯電話回線などが用いられる。
【００１８】
ドキュメントサーバ２は、ドキュメントを表示するためのデータを記憶し、適宜、端末装置３へ提供する。さらに、ユーザが書き加えたコンテンツのデータを記憶し、適宜、端末装置３へ提供する。ドキュメントサーバ２として、いわゆるサーバ機が用いられる。または、コピー、スキャン、ファックスなどの機能を備えた複合機を用いてもよいし、いわゆるクラウドサーバを用いてもよい。
【００１９】
ドキュメントサーバ２は、図２に示すように、ＣＰＵ（Central Processing Unit）２０ａ、ＲＡＭ（Random Access Memory）２０ｂ、ＲＯＭ（Read Only Memory）２０ｃ、大容量記憶装置２０ｄ、およびＮＩＣ（Network Interface Card）２０ｅなどによって構成される。
【００２０】
ＮＩＣ２０ｅは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルによって端末装置３などの装置と通信を行う。
【００２１】
ＲＯＭ２０ｃまたは大容量記憶装置２０ｄには、コンテンツ管理プログラム２Ｐが記憶されている。コンテンツ管理プログラム２Ｐは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。大容量記憶装置２０ｄとして、ハードディスクまたはＳＳＤ（Solid State Drive）などが用いられる。
【００２２】
端末装置３は、ドキュメントサーバ２から提供されるデータに基づいてドキュメントを表示する。また、ユーザが書き加えたコンテンツのデータをドキュメントサーバ２へ送信しドキュメントサーバ２に記憶させる。端末装置３として、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、または眼鏡型コンピュータなどが用いられる。
【００２３】
「眼鏡型コンピュータ」は、ウェアラブルコンピュータの一種であり、グーグル社のグーグルグラスのような、眼鏡のように顔に装着するタイプのコンピュータである。
【００２４】
以下、端末装置３として、タブレットコンピュータまたは眼鏡型コンピュータが用いられる場合を例に説明する。前者および後者をそれぞれ「タブレット型端末装置３Ｔ」および「眼鏡型端末装置３Ｍ」と区別して記載することがある。
【００２５】
タブレット型端末装置３Ｔは、図３に示すように、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、および無線通信装置３０ｈなどが用いられる。
【００２６】
タッチパネルディスプレイ３０ｅは、フラット型ディスプレイ（例えば、液晶ディスプレイ）およびタッチパネルによって構成される。フラット型ディスプレイは、種々の画像を表示する。特にドキュメントを表示するために用いられる。タッチパネルは、ユーザがタッチした位置を検知し、その位置をＣＰＵ３０ａへ通知する。
【００２７】
操作ボタン群３０ｆは、ホーム画面に戻るためのボタン、何かを確定するためのボタン、音量を調整するためのボタン、および電源のオン／オフを切り換えるためのボタンなどによって構成される。
【００２８】
デジタルカメラ３０ｇは、種々の画像を撮影する。特にドキュメントが印刷された用紙を撮影するために用いられる。
【００２９】
無線通信装置３０ｈは、基地局を介してＴＣＰ／ＩＰなどのプロトコルによってドキュメントサーバ２などの装置と通信を行う。無線通信装置３０ｈの通信方式として、例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）、またはＰＨＳ（Personal Handy-phone System）などが用いられる。
【００３０】
ＲＯＭ３０ｃまたはフラッシュメモリ３０ｄには、クライアントプログラム３Ｐが記憶されている。クライアントプログラム３Ｐは、ＲＡＭ３０ｂにロードされ、ＣＰＵ３０ａによって実行される。
【００３１】
眼鏡型端末装置３Ｍは、図４に示すように、ＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃ、フラッシュメモリ３１ｄ、ディスプレイ３１ｅ、操作ボタン群３１ｆ、デジタルカメラ３１ｇ、および無線通信装置３１ｈなどが用いられる。
【００３２】
ＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃ、フラッシュメモリ３１ｄ、ディスプレイ３１ｅ、操作ボタン群３１ｆ、デジタルカメラ３１ｇ、および無線通信装置３１ｈの役割は、それぞれ、タブレット型端末装置３ＴのＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、および無線通信装置３０ｈと基本的に同様である。
【００３３】
ただし、画像を再現する方式が、タッチパネルディスプレイ３０ｅとディスプレイ３１ｅとでは、相違する。タッチパネルディスプレイ３０ｅは、上述の通り、液晶ディスプレイのような平面型のディスプレイが用いられる。一方、ディスプレイ３１ｅは、柄の根元に設けられたプロジェクタからレンズの端部付近に設けられたプリズムへ光を発することによって、画像を再現する。
【００３４】
クライアントプログラム３Ｐが、ＲＯＭ３１ｃまたはフラッシュメモリ３１ｄに記憶されており、ＲＡＭ３１ｂにロードされ、ＣＰＵ３１ａによって実行される。
【００３５】
図５は、印刷物５１の元の例を示す図である。図６は、端末装置３を介して印刷物５１を見た際の状態の例を示す図である。図７は、ドキュメントサーバ２および端末装置３の機能的構成の例を示す図である。
【００３６】
ところで、ドキュメント閲覧システム１は、ＰＤＦ（Portable Document Format）などのファイルを単に提供するだけでなく、ＡＲ（Augmented Reality）の技術によってドキュメントを再現することができる。この際に、印刷物５１が用いられる。印刷物５１は、複数のユーザ（例えば、会社の従業員）に配付されている。
【００３７】
印刷物５１は、図５のように、２種類のオブジェクト（画像）が予め印刷されている。１つ目は、呼出用マーカー５１Ｙである。呼出用マーカー５１Ｙは、ドキュメントサーバ２にデータが記憶されているコンテンツを呼び出すためのものである。２つ目は、固定コンテンツ５１Ｋである。固定コンテンツ５１Ｋは、呼出用マーカー５１Ｙ以外のオブジェクトである。以下、２つの呼出用マーカー５１Ｙをそれぞれ「呼出用マーカー５１Ｙａ」、「呼出用マーカー５１Ｙｂ」と区別して記載することがある。
【００３８】
ユーザが眼鏡型端末装置３Ｍを掛けて印刷物５１を見ると、呼出用マーカー５１Ｙに基づいてコンテンツのデータがドキュメントサーバ２からダウンロードされ、図６のように、コンテンツが印刷物５１に印刷されているかのように見える。タブレット型端末装置３Ｔで印刷物５１を撮影しながら見た場合も、同様に見える。
【００３９】
このように、ドキュメント閲覧システム１によると、ＡＲが実現される。呼出用マーカー５１Ｙとして、ＡＲマーカーが用いられる。なお、呼出用マーカー５１Ｙは、後述する原コンテンツコードを示すものである。
【００４０】
また、ドキュメント閲覧システム１によると、あるユーザが端末装置３を介して印刷物５１を見ながら印刷物５１に書き込んだコンテンツを画像のオブジェクトとして記録しておき、その後に他のユーザが端末装置３を介して印刷物５１を見たときに、呼出用マーカー５１Ｙに対応するコンテンツだけでなく、書き込まれたコンテンツも印刷されているかのように見せることができる。
【００４１】
これらの仕組みは、コンテンツ管理プログラム２Ｐおよびクライアントプログラム３Ｐによって実現される。以下、これらの仕組みについて、説明する。
【００４２】
コンテンツ管理プログラム２Ｐによると、図７に示す原コンテンツ画像記憶部２０１、コンテンツ属性データベース２０２、コンテンツ送信部２０３、追記コンテンツ登録処理部２０４、および追記コンテンツ画像記憶部２０５などの機能が実現される。
【００４３】
クライアントプログラム３Ｐによると、図７に示すコンテンツダウンロード部３０１、コンテンツ表示部３０２、追記コンテンツ抽出部３０３、軌跡検出部３０４、書込先判別部３０５、対応付コンテンツ決定部３０６、および追記コンテンツ登録要求部３０７などの機能が実現される。
【００４４】
〔準備〕
図８は、原コンテンツ５１Ｇの記憶の仕方の例を示す図である。図９は、コンテンツ属性データベース２０２の例を示す図である。
【００４５】
呼出用マーカー５１Ｙに基づいて端末装置３によって呼び出されるコンテンツは、２種類ある。１つ目は、印刷物５１の作成者などが予め用意した原コンテンツ５１Ｇである。２つ目は、ユーザが後から書き加えた追記コンテンツ５１Ｆである。
【００４６】
ドキュメントサーバ２において、原コンテンツ画像記憶部２０１には、図８に示すように、原コンテンツ５１Ｇごとの画像データが、各々を識別するための原コンテンツコードと対応付けられて記憶されている。
【００４７】
コンテンツ属性データベース２０２には、図９に示すように、呼出用マーカー５１Ｙごとに、原コンテンツ５１Ｇまたは追記コンテンツ５１Ｆの情報が記憶されている。
【００４８】
なお、追記コンテンツ５１Ｆの画像データは、後述する通り、追記コンテンツ画像記憶部２０５に記憶される。
【００４９】
印刷物５１を作成した当初は、コンテンツ属性データベース２０２には、図９に示すように、呼出用マーカー５１Ｙごとに、それ自身の画像データ（本例では、ＡＲマーカー）、それ自身が表わす原コンテンツコード、および原コンテンツ位置が記憶されている。原コンテンツ位置は、その呼出用マーカー５１Ｙを基準の位置とした場合の、原コンテンツ５１Ｇを配置すべき位置である。
【００５０】
追記コンテンツコードおよび追記コンテンツ位置は、未だ示されていない。これらの情報は、後述するように、ユーザがこの呼出用マーカー５１Ｙに対応付けてコンテンツを追記した場合に追加される。
【００５１】
〔追記前における閲覧のための基本的な処理〕
図１０は、端末装置３を介して印刷物５１を見た際の状態の例を示す図である。
【００５２】
端末装置３において、コンテンツダウンロード部３０１は、ユーザの操作に応じて、コンテンツの画像データを次のようにダウンロードする。
【００５３】
ユーザは、端末装置３のデジタルカメラ３０ｇまたは３１ｇを印刷物５１の印刷面の方へ向ける。すると、デジタルカメラ３０ｇまたは３１ｇによって印刷面の画像が撮影される。なお、タブレット型端末装置３Ｔにおいては、撮影された画像がタッチパネルディスプレイ３０ｅに表示される。
【００５４】
撮影された画像にいずれかの呼出用マーカー５１Ｙが含まれていると、コンテンツダウンロード部３０１は、この呼出用マーカー５１Ｙを検知する。そして、この呼出用マーカー５１Ｙに対応するコンテンツを、ドキュメントサーバ２に対して要求する。この際に、この呼出用マーカー５１Ｙをドキュメントサーバ２へ送信する。
【００５５】
すると、ドキュメントサーバ２において、コンテンツ送信部２０３は、端末装置３から送信されてきた呼出用マーカー５１Ｙ（ＡＲマーカー）に対応する原コンテンツ５１Ｇの画像データを原コンテンツ画像記憶部２０１から読み出し、端末装置３へ送信する。また、その呼出用マーカー５１Ｙに対応する原コンテンツコードおよび原コンテンツ位置をコンテンツ属性データベース２０２から読み出し、端末装置３へ通知する。
【００５６】
端末装置３において、コンテンツダウンロード部３０１は、原コンテンツ５１Ｇの画像データおよび原コンテンツ位置を受信する。
【００５７】
なお、撮影された画像に呼出用マーカー５１Ｙが複数含まれている場合は、呼出用マーカー５１Ｙそれぞれについて、上述の処理が実行される。したがって、２つの呼出用マーカー５１Ｙが含まれる場合は、画像データおよび原コンテンツ位置が２組、ドキュメントサーバ２から端末装置３へ提供される。
【００５８】
この呼出用マーカー５１Ｙに対応する追記コンテンツコードがコンテンツ属性データベース２０２に示される場合は、コンテンツ送信部２０３は、この追記コンテンツコードを有する追記コンテンツ５１Ｆの画像データをも、端末装置３へ送信する。これについては、後述する。
【００５９】
コンテンツ表示部３０２は、画像データなどを受信すると、これらに基づいて原コンテンツ５１Ｇをタッチパネルディスプレイ３０ｅまたはディスプレイ３１ｅによって次のように表示する。
【００６０】
タブレット型端末装置３Ｔの場合は、コンテンツ表示部３０２は、デジタルカメラ３０ｇによって撮影されタッチパネルディスプレイ３０ｅによって表示された画像の中の、呼出用マーカー５１Ｙの位置を検知する。そして、この位置を基準として、ドキュメントサーバ２から通知された原コンテンツ位置に、ドキュメントサーバ２から受信した画像データに基づいてタッチパネルディスプレイ３０ｅによって原コンテンツ５１Ｇを重ねて表示させる。
【００６１】
例えば、２つの呼出用マーカー５１Ｙａ、５１Ｙｂのうち、デジタルカメラ３０ｇによって呼出用マーカー５１Ｙａのみが撮影された場合は、コンテンツ表示部３０２は、図１０のように、撮影された画像の上に、原コンテンツ５１Ｇ１を重ねて表示させる。または、呼出用マーカー５１Ｙｂのみが撮影された場合は、コンテンツ表示部３０２は、撮影された画像の上に、原コンテンツ５１Ｇ２を重ねて表示させる。または、両方が撮影された場合は、それぞれの画像データおよび原コンテンツ位置に基づいて、撮影された画像の上に原コンテンツ５１Ｇ１、５１Ｇ２の両方を重ねて表示させる。これにより、図６に示したように原コンテンツ５１Ｇ１、５１Ｇ２が表示される。
【００６２】
一方、眼鏡型端末装置３Ｍの場合は、コンテンツ表示部３０２は、デジタルカメラ３１ｇによって撮影された画像の中の、呼出用マーカー５１Ｙの位置を検知する。そして、この位置を基準として、ドキュメントサーバ２から通知された原コンテンツ位置に重なって見えるように、ドキュメントサーバ２から受信した画像データに基づいて原コンテンツ５１Ｇをディスプレイ３１ｅによって表示する。
【００６３】
例えば、２つの呼出用マーカー５１Ｙａ、５１Ｙｂのうち、デジタルカメラ３０ｇによって呼出用マーカー５１Ｙａのみが撮影された場合は、印刷物５１の、呼出用マーカー５１Ｙａおよび受信した原コンテンツ位置によって定まる位置に重なって見えるように、原コンテンツ５１Ｇ１をディスプレイ３１ｅによって表示する。これにより、ユーザは、図１０に示した状態とほぼ同じように、印刷物５１が見える。
【００６４】
このように、原コンテンツ５１Ｇはデジタルカメラ３０ｇまたは３１ｇを介して実物に対して仮想的に添付される情報であると、言える。このような情報は、一般に「エアタグ」と呼ばれることもある。後述する追記コンテンツ５１Ｆについても、同様である。
【００６５】
〔追記時の基本的な処理〕
図１６は、追記コンテンツ５１Ｆの登録後のコンテンツ属性データベース２０２の状態の例を示す図である。
【００６６】
図１１は、追記コンテンツ抽出処理の流れの例を説明するフローチャートである。図１２は、書込画像５２から追記コンテンツ５１Ｆを抽出する処理および軌跡を検出する処理の例を説明する図である。図１３〜図１５は、追記コンテンツ５１Ｆが書き込まれた際の印刷物５１の状態の例を示す図である。
【００６７】
ユーザは、端末装置３を介して原コンテンツ５１Ｇを見ながら、印刷物５１に書込みを行うことができる。書き込まれたコンテンツは、追記コンテンツ５１Ｆとしてドキュメントサーバ２に登録される。そして、その後、他のユーザが自分の印刷物５１を端末装置３を介して見たときに、追記コンテンツ５１Ｆが原コンテンツ５１Ｇとともに表示される。以下、この仕組みを、ユーザＵｘが端末装置３の操作および印刷物５１への書込みを行う場合を例に説明する。
【００６８】
端末装置３において、追記コンテンツ抽出部３０３は、追記コンテンツ５１Ｆを抽出する。また、軌跡検出部３０４は、抽出された追記コンテンツ５１Ｆが表わす軌跡を検出する。ここで、これらの処理を、図１１を参照しながら説明する。
【００６９】
ユーザＵｘは、端末装置３によって印刷物５１の印刷面の画像を撮影しながら、印刷物５１に書込みを行う。この際に、追記コンテンツ抽出部３０３は、この画像から、ユーザＵｘが書き込んだ画像を書込画像５２として抽出する（図１１の＃７０１）。抽出は、公知の方法で行えばよい。例えば、書込みの前後の画像を比較することによって抽出すればよい。または、所定の色のペンでユーザＵｘに書込みを行わせ、この色の画像を抽出してもよい。または、ペンの先の動きを追跡することによって画像を抽出してもよい。以下、本フローチャートにおいては、図１２（Ａ）のような書込画像５２が抽出された場合を例に説明する。
【００７０】
ユーザＵｘは、書込みが終わったら、所定の操作を端末装置３に対して行う。例えば、操作ボタン群３０ｆまたは３１ｆの中の所定のボタンを押す。
【００７１】
すると、追記コンテンツ抽出部３０３は、書込画像５２に対して文字認識処理を施し（＃７０２）、図１２（Ｂ）のように、文字からなる部分である文字部分５２Ａとそれ以外の部分である非文字部分５２Ｂとに分離する（＃７０３）。そして、文字部分５２Ａおよび非文字部分５２Ｂのそれぞれを、追記コンテンツ５１Ｆとして抽出する。
【００７２】
軌跡検出部３０４は、文字部分５２Ａがあった場合は（＃７０４でＹｅｓ）、図１２（Ｃ）において点線で示すように、文字部分５２Ａの中の、縦方向に所定の距離未満で隣り合う文字を次々に辿ることによって、これらの文字の列の一方の端部と他方の端部とを繋ぐ線を軌跡として抽出する（＃７０５）。同様に、図１２（Ｄ）において点線で示すように、横方向に所定の距離未満で隣り合う文字を次々に辿ることによって、軌跡を抽出する（＃７０６）。
【００７３】
また、軌跡検出部３０４は、非文字部分５２Ｂがあった場合は（＃７０７でＹｅｓ）、非文字部分５２Ｂを軌跡として検出する（＃７０８）。
【００７４】
なお、追記コンテンツ抽出部３０３は、非文字部分５２Ｂをさらに複数の部分に分離し、各部分を追記コンテンツ５１Ｆとして抽出してもよい。そして、軌跡検出部３０４は、それぞれを軌跡として検出してもよい。例えば、ユーザＵｘが文字部分５２Ａを囲むように周を書いてから所定の時間（例えば、１．５秒）以上が経過した後に残りの部分を書いた場合は、図１２（Ｅ）のように、周および残りの部分それぞれを分離して追記コンテンツ５１Ｆとして抽出し、かつ、軌跡として検出してもよい。
【００７５】
文字部分５２Ａについても同様に、複数の部分に分離し、各部分を、追記コンテンツ５１Ｆとして抽出してもよい。例えば、１つまたは複数の文字からなるグループが複数ある場合は、それぞれを追記コンテンツ５１Ｆとして抽出してもよい。
【００７６】
図１２の例では、１つの書込画像５２から追記コンテンツ５１Ｆが複数抽出される場合を例に説明したが、１つしか抽出されない場合もある。
【００７７】
書込先判別部３０５は、追記コンテンツ抽出部３０３によって抽出された追記コンテンツ５１Ｆの書込み先を次のように判別する。
【００７８】
書込先判別部３０５は、軌跡検出部３０４によって追記コンテンツ５１Ｆから検出されたいずれかの軌跡と交わる原コンテンツ５１Ｇを検索する。そして、見つかった原コンテンツ５１Ｇが書込み先であると、判別する。１つの書込画像５２から追記コンテンツ５１Ｆが複数抽出された場合は、それぞれについて、書込み先を判別する。
【００７９】
対応付コンテンツ決定部３０６は、書込先判別部３０５の判別結果に応じて、追記コンテンツ５１Ｆをどの原コンテンツ５１Ｇへ対応付けるべきかを、次のように決定する。
【００８０】
追記コンテンツ５１Ｆの書込み先が１つの原コンテンツ５１Ｇのみであった場合は、対応付コンテンツ決定部３０６は、この追記コンテンツ５１Ｆを対応付ける相手をこの原コンテンツ５１Ｇに決定する。追記コンテンツ５１Ｆが複数あり、かつ、これらの書込み先が１つの原コンテンツ５１Ｇに共通する場合も、同様である。
【００８１】
例えば、図１３に示すように３つの追記コンテンツ５１Ｆａ〜５１Ｆｃの書込み先がすべて原コンテンツ５１Ｇ１のみであった場合は、これらの追記コンテンツ５１Ｆａ〜５１Ｆｃを対応付ける相手を原コンテンツ５１Ｇ１に決定する。
【００８２】
または、１つの追記コンテンツ５１Ｆの書込み先として複数の原コンテンツ５１Ｇがあった場合は、対応付コンテンツ決定部３０６は、この追記コンテンツ５１Ｆを対応付ける相手を、これら複数の原コンテンツ５１Ｇに決定する。
【００８３】
例えば、図１４に示すように、追記コンテンツ５１Ｆｄの書込み先が原コンテンツ５１Ｇ１および原コンテンツ５１Ｇ２であった場合は、追記コンテンツ５１Ｆｄを対応付ける相手を原コンテンツ５１Ｇ１および原コンテンツ５１Ｇ２に決定する。
【００８４】
または、１つの書込画像５２から複数の追記コンテンツ５１Ｆが抽出されたが、それぞれの書込み先が異なる場合は、対応付コンテンツ決定部３０６は、次のように決定する。
【００８５】
対応付コンテンツ決定部３０６は、距離が所定の値以下である２つの追記コンテンツ５１Ｆ同士をグループ化する。共通の追記コンテンツ５１Ｆが含まれる複数のグループ同士もグループ化する。そして、グループごとに、１回でも書込み先として判別された原コンテンツ５１Ｇをピックアップし、このグループのメンバー（追記コンテンツ５１Ｆ）を対応付ける相手を、ピックアップしたすべての原コンテンツ５１Ｇに決定する。
【００８６】
例えば、図１５に示すように、追記コンテンツ５１Ｆｅ〜５１Ｆｇが１つのグループにグループ化され、追記コンテンツ５１Ｆｅの書込み先が原コンテンツ５１Ｇ１であり、追記コンテンツ５１Ｆｆの書込み先が原コンテンツ５１Ｇ１および原コンテンツ５１Ｇ２であり、追記コンテンツ５１Ｆｇの書込み先がいずれの原コンテンツ５１Ｇでもない場合は、少なくとも１回、原コンテンツ５１Ｇ１および原コンテンツ５１Ｇ２がピックアップされる。よって、追記コンテンツ５１Ｆｅ〜５１Ｆｇを対応付ける相手を原コンテンツ５１Ｇ１および原コンテンツ５１Ｇ２に決定する。
【００８７】
追記コンテンツ登録要求部３０７は、追記コンテンツ抽出部３０３によって抽出された追記コンテンツ５１Ｆを、対応付コンテンツ決定部３０６によって決定された原コンテンツ５１Ｇへ対応付けて登録するように、ドキュメントサーバ２に対して要求する。この際に、追記コンテンツ５１Ｆの画像データおよび決定された原コンテンツ５１Ｇに対応する呼出用マーカー５１Ｙをドキュメントサーバ２へ送信するとともに、追記コンテンツ位置をドキュメントサーバ２へ通知する。「追記コンテンツ位置」は、その原コンテンツ５１Ｇの呼出用マーカー５１Ｙを基準の位置とした場合の、その追記コンテンツ５１Ｆの位置である。
【００８８】
追記コンテンツ５１Ｆが複数抽出された場合は、それぞれについて、画像データおよび呼出用マーカー５１Ｙの送信および追記コンテンツ位置の通知を行う。また、１つの追記コンテンツ５１Ｆについて対応付ける相手として複数の原コンテンツ５１Ｇがある場合は、それぞれに対応する呼出用マーカー５１Ｙを送信し、それぞれに対応する呼出用マーカー５１Ｙを基準とする追記コンテンツ位置を通知する。
【００８９】
ドキュメントサーバ２において、追記コンテンツ登録処理部２０４は、端末装置３から送信されてきた追記コンテンツ５１Ｆを登録する処理を次のように実行する。
【００９０】
追記コンテンツ登録処理部２０４は、この追記コンテンツ５１Ｆに対してユニークな追記コンテンツコードを発行する。端末装置３から送信されてきた画像データを、この追記コンテンツコードに対応付けて追記コンテンツ画像記憶部２０５に記憶させる。さらに、コンテンツ属性データベース２０２（図９参照）の、端末装置３から送信されてきた呼出用マーカー５１Ｙ（ＡＲコード）のレコードに、この追記コンテンツコードおよび通知された追記コンテンツ位置を格納する。
【００９１】
複数の追記コンテンツ５１Ｆそれぞれの画像データなどが送信されてきた場合は、追記コンテンツ登録処理部２０４は、それぞれについて上述の処理を行う。その結果、図１３、図１４、および図１５の例の場合は、コンテンツ属性データベース２０２は、それぞれ、図１６（Ａ）、（Ｂ）、および（Ｃ）のように更新される。
【００９２】
〔追記コンテンツが既に登録されている場合の閲覧のための基本的な処理〕
ユーザＵｘが、自分へ配付された印刷物５１に追記コンテンツ５１Ｆを書き込んでも、他のユーザへ配付された印刷物５１には反映されない。しかし、当該他のユーザは、自分へ配付された印刷物５１を、端末装置３を介して見ると、この追記コンテンツ５１Ｆが書き込まれたかのように見える。次に、この仕組みについて、ユーザＵｙが端末装置３の操作を行う場合を例に説明する。
【００９３】
ユーザＵｙによる端末装置３の操作は、「追記前における閲覧のための基本的な処理」の項で説明した操作と同様である。また、端末装置３も同項で説明した処理と同様に、デジタルカメラ３０ｇまたは３１ｇによって印刷物５１の印刷面の画像を撮影する。そして、コンテンツダウンロード部３０１が、撮影された画像に含まれる呼出用マーカー５１Ｙに対応するコンテンツをドキュメントサーバ２へ要求する。
【００９４】
ドキュメントサーバ２において、コンテンツ送信部２０３は、同項の場合と同様に、この呼出用マーカー５１Ｙに対応する原コンテンツ５１Ｇの画像データを原コンテンツ画像記憶部２０１から読み出し、端末装置３へ送信するとともに、その呼出用マーカー５１Ｙに対応する原コンテンツコードおよび原コンテンツ位置をコンテンツ属性データベース２０２から読み出し、その原コンテンツコードとともに端末装置３へ通知する。
【００９５】
ここでは、この呼出用マーカー５１Ｙに対応する追記コンテンツコードがコンテンツ属性データベース２０２に示されているので、コンテンツ送信部２０３は、この追記コンテンツコードに対応する追記コンテンツ５１Ｆの画像データを追記コンテンツ画像記憶部２０５から読み出し、端末装置３へ送信する。そして、その追記コンテンツコードに対応する追記コンテンツ位置をコンテンツ属性データベース２０２から読み出し、その原コンテンツコードとともに端末装置３へ通知する。
【００９６】
端末装置３において、コンテンツ表示部３０２は、画像データなどを受信すると、これらに基づいて原コンテンツ５１Ｇおよび追記コンテンツ５１Ｆをタッチパネルディスプレイ３０ｅまたはディスプレイ３１ｅによって表示する。原コンテンツ５１Ｇを表示する仕組みは、前に説明した通りである。
【００９７】
追記コンテンツ５１Ｆを表示させる仕組みも、同様である。すなわち、コンテンツ表示部３０２は、追記コンテンツ５１Ｆを、呼出用マーカー５１Ｙの位置を基準として、ドキュメントサーバ２から通知されたこの追記コンテンツ５１Ｆの追記コンテンツ位置に、ドキュメントサーバ２から受信したこの追記コンテンツ５１Ｆの画像データに基づいて表示させる。
【００９８】
コンテンツダウンロード部３０１によるコンテンツの要求の際に呼出用マーカー５１Ｙを複数、ドキュメントサーバ２へ送信した場合は、それぞれの呼出用マーカー５１Ｙについて、追記コンテンツ５１Ｆの画像データおよび追加コンテンツ位置がドキュメントサーバ２から与えられる。そこで、コンテンツ表示部３０２は、それぞれの呼出用マーカー５１Ｙについて、これらのデータに基づいて追記コンテンツ５１Ｆを表示させる。
【００９９】
その結果、ユーザＵｙの印刷物５１は、ユーザＵｘが書き込んだコンテンツが書き込まれたかのように見える。
【０１００】
〔追記コンテンツ５１Ｆの書込み先が複数ある場合の第一の変形例〕
図１７は、呼出用マーカー５１Ｙと関連コンテンツコードとの対応付けの例を示す図である。図１８は、コンテンツ属性データベース２０２の例を示す図である。
【０１０１】
１つの追記コンテンツ５１Ｆが複数の原コンテンツ５１Ｇに対応付けられる場合がある。この場合に、上述の方法によって端末装置３を介して印刷物５１を見ると、この追記コンテンツ５１Ｆが複数、表示される。
【０１０２】
例えば、図１４および図１６（Ｂ）の例によると、追記コンテンツ５１Ｆｄが、呼出用マーカー５１Ｙａを基準とする（ａ４ｘ，ａ４ｙ）の位置に表示され、呼出用マーカー５１Ｙｂを基準とする（ａ５ｘ，ａ５ｙ）の位置に表示される。
【０１０３】
ただし、これらの位置は、計算上は一致するので、この追記コンテンツ５１Ｆは１つしか表示されないはずである。
【０１０４】
しかし、これらの位置が誤差などによってずれると、この追記コンテンツ５１Ｆが二重になり、ぼけたように表示される可能性がある。図１５および図１６（Ｃ）に示す例においても、同様である。
【０１０５】
そこで、このような不具合が表われないように、ドキュメント閲覧システム１を例えば次のように構成してもよい。
【０１０６】
追記コンテンツ登録要求部３０７は、１つの追記コンテンツ５１Ｆを対応付ける相手として複数の原コンテンツ５１Ｇが対応付コンテンツ決定部３０６によって決定した場合に、この追記コンテンツ５１Ｆの画像データなどを送信するだけでなく、さらに、これらの原コンテンツ５１Ｇに対応する呼出用マーカー５１Ｙを、互いに関連する原コンテンツ５１Ｇの呼出用マーカー５１Ｙとして通知する。
【０１０７】
すると、ドキュメントサーバ２において、追記コンテンツ登録処理部２０４は、ユニークな関連コンテンツコードを発行し、この関連コンテンツコードに対応付けて、これらの呼出用マーカー５１Ｙを所定の保存先に記憶させる。例えば、追記コンテンツ画像記憶部２０５に記憶させればよい。または、図１７に示すように、これらの呼出用マーカー５１Ｙが表わす原コンテンツコードをも対応付けて記憶させてもよい。または、図１８に示すように、発行した関連コンテンツコードをコンテンツ属性データベース２０２に記憶させてもよい。
【０１０８】
その後、コンテンツ送信部２０３は、端末装置３からのコンテンツの要求の際に複数の呼出用マーカー５１Ｙが送信されてきたら、これらの呼出用マーカー５１Ｙそれぞれに対応付けられている関連コンテンツコード同士を比較する。
【０１０９】
そして、関連コンテンツコードが同じである呼出用マーカー５１Ｙがあれば、コンテンツ送信部２０３は、任意の１つの呼出用マーカー５１Ｙについてのみ、上述と同様に、それに対応付けられている追記コンテンツコードの画像データを端末装置３へ送信し、追記コンテンツ位置などを端末装置３へ通知する。一方、残りの呼出用マーカー５１Ｙについては、追記コンテンツに関する処理を省略する。
【０１１０】
これにより、１つの追記コンテンツ５１Ｆの提供の処理が重複するのを避け、上記の不具合が発生しないようにすることができる。
【０１１１】
〔追記コンテンツ５１Ｆの書込み先が複数ある場合の第二の変形例〕
図１９は、コンテンツ属性データベース２０２の例を示す図である。
【０１１２】
または、同じ追記コンテンツ５１Ｆの提供の処理が重複するのを避けるために、ドキュメント閲覧システム１を次のように構成してもよい。
【０１１３】
端末装置３の追記コンテンツ登録要求部３０７およびドキュメントサーバ２の追記コンテンツ登録処理部２０４は、「追記時の基本的な処理」の項で説明した通りの処理を実行する。これにより、複数の呼出用マーカー５１Ｙが撮影され追記コンテンツ５１Ｆが書き込まれた場合に、例えば図１６（Ｂ）または図１６（Ｃ）に示したように、１つの追記コンテンツ５１Ｆが複数の呼出用マーカー５１Ｙに対応付けられて登録される。
【０１１４】
さらに、追記コンテンツ登録要求部３０７および追記コンテンツ登録処理部２０４は、次の処理を実行する。
【０１１５】
追記コンテンツ登録要求部３０７は、これら複数の呼出用マーカー５１Ｙがすべてぴったり収まる矩形の領域の位置を基準とした、追記コンテンツ５１Ｆの位置を、追記コンテンツ位置としてドキュメントサーバ２へ通知する。
【０１１６】
すると、追記コンテンツ登録処理部２０４は、端末装置３から送信されてきた複数の呼出用マーカー５１Ｙを１つの呼出用マーカー５１Ｙとみなし、この呼出用マーカー５１Ｙのレコードを新たに生成しコンテンツ属性データベース２０２に登録する。以下、この１つとみなした呼出用マーカー５１Ｙを「複合呼出用マーカー５１ＹＧ」と記載する。
【０１１７】
例えば、端末装置３において、図１５のように追記コンテンツ５１Ｆが書き込まれた場合は、図１９のように、新たなレコードが生成されコンテンツ属性データベース２０２に追加される。
【０１１８】
このレコードにおいて、「ＡＲコード」には、複合呼出用マーカー５１ＹＧが示される。「原コンテンツコード」には、複合呼出用マーカー５１ＹＧを構成する複数の呼出用マーカー５１Ｙそれぞれに対応する原コンテンツ５１Ｇの原コンテンツコードが示される。「原コンテンツ位置」には、これらの原コンテンツ５１Ｇそれぞれの原コンテンツ位置が示される。「追記コンテンツコード」には、この追記コンテンツ５１Ｆの追記コンテンツコードが示される。「追記コンテンツ位置」には、この追記コンテンツ５１Ｆの追記コンテンツ位置が示される。追記コンテンツ５１Ｆが複数ある場合は、それぞれの追記コンテンツコードおよび追記コンテンツ位置が示される。
【０１１９】
その後、端末装置３からのコンテンツの要求の際に複数の呼出用マーカー５１Ｙがドキュメントサーバ２へ送信されると、次の処理が実行される。
【０１２０】
ドキュメントサーバ２のコンテンツ送信部２０３は、これら複数の呼出用マーカー５１Ｙからなる複合呼出用マーカー５１ＹＧのレコードをコンテンツ属性データベース２０２の中から検索する。このレコードに示される原コンテンツコードそれぞれの原コンテンツ５１Ｇの画像データおよび原コンテンツ位置を端末装置３へ送信（通知）する。さらに、このレコードに示される追記コンテンツコードそれぞれの追記コンテンツ５１Ｆの画像データおよび追記コンテンツ位置を端末装置３へ送信（通知）する。
【０１２１】
そして、端末装置３において、コンテンツ表示部３０２は、各原コンテンツ５１Ｇを、その画像データおよび原コンテンツ位置に基づいて表示させる。また、各追記コンテンツ５１Ｆを、その画像データおよび追記コンテンツ位置に基づいて表示させる。ただし、追記コンテンツ５１Ｆの位置は、複合呼出用マーカー５１ＹＧの位置を基準とする。
【０１２２】
〔２つの原コンテンツ５１Ｇの関連付けの変形例〕
図１４または図１５に示したように、２つの原コンテンツ５１Ｇの関連付けを、１つまたは特定の複数の追記コンテンツ５１Ｆとこれら２つの原コンテンツ５１Ｇとの位置関係に基づいて行った。
【０１２３】
しかし、追記コンテンツ５１Ｆに関わらず、２つの原コンテンツ５１Ｇ同士の距離に応じて関連付けを行ってもよい。そして、一方に書き込まれた追記コンテンツ５１Ｆを、他方にも書き込まれたものとして、取り扱ってもよい。
【０１２４】
例えば、図１３に示した２つの原コンテンツ５１Ｇ１、５１Ｇ２は、互いの距離が閾値未満である。そこで、両者を関連付ける。追記コンテンツ５１Ｆａ〜５１Ｆｃの書込み先は、すべて原コンテンツ５１Ｇ１のみである。したがって、前に説明した処理によると、原コンテンツ５１Ｇ１にのみ対応付けられてコンテンツ属性データベース２０２に登録される。
【０１２５】
しかし、本変形例においては、追記コンテンツ５１Ｆａ〜５１Ｆｃを原コンテンツ５１Ｇにも対応付けてコンテンツ属性データベース２０２に登録する。
【０１２６】
〔原コンテンツ５１Ｇが３つ以上ある場合〕
図２０は、原コンテンツ５１Ｇ’の元の状態および端末装置３を介して見た際の状態の例を示す図である。図２１は、３つの原コンテンツ５１Ｇがある場合の追記コンテンツ５１Ｆとの対応付けを説明するための図である。
【０１２７】
印刷物５１に原コンテンツ５１Ｇが３つ以上ある場合も、ドキュメント閲覧システム１は、上述の処理によって追記コンテンツ５１Ｆの登録を行えばよい。
【０１２８】
印刷物５１’には、図２０（Ａ）に示すように、呼出用マーカー５１Ｙとして、３つの呼出用マーカー５１Ｙｄ、５１Ｙｅ、５１Ｙｆが印刷されている。各呼出用マーカー５１Ｙｄ、５１Ｙｅ、５１Ｙｆに対応する原コンテンツ５１Ｇとして原コンテンツ５１Ｇ３、５１Ｇ４、５１Ｇ５がそれぞれ用意されている。そして、端末装置３によって、図２０（Ｂ）に示すように原コンテンツ５１Ｇ３、５１Ｇ４、５１Ｇ５が表示される。
【０１２９】
例えば、ユーザが図２１（Ａ）のように３つの追記コンテンツ５１Ｆｉ、５１Ｆｊ、５１Ｆｋを書き込んだ場合に、端末装置３は、追記コンテンツ５１Ｆｉの書込み先が原コンテンツ５１Ｇ３および５１Ｇ５であると判別し、追記コンテンツ５１Ｆｊの書込み先が原コンテンツ５１Ｇ４であると判別し、追記コンテンツ５１Ｆｋの書込み先がないと判別する。また、端末装置３は、追記コンテンツ５１Ｆｉと追記コンテンツ５１Ｆｊとの距離が所定の距離以内であり、追記コンテンツ５１Ｆｉと追記コンテンツ５１Ｆｋとの距離が所定の距離以内であるので、追記コンテンツ５１Ｆｉ、５１Ｆｊ、および５１Ｆｋを１つのグループにグループ化する。
【０１３０】
よって、端末装置３は、追記コンテンツ５１Ｆｉ、５１Ｆｊ、および５１Ｆｋをすべて原コンテンツ５１Ｇ３、５１Ｇ４、５１Ｇ５に対応付ける。そして、ドキュメントサーバ２へ登録する。
【０１３１】
または、２つの原コンテンツ５１Ｇ同士の距離に基づいて処理してもよい。すなわち、図２１（Ｂ）に示すように、原コンテンツ５１Ｇ３と原コンテンツ５１Ｇ４との距離は閾値未満なので、端末装置３は、両者を関連付ける。よって、一方のみに追記コンテンツ５１Ｆが書き込まれても、両方に対応付けて追記コンテンツ５１Ｆを登録する。しかし、原コンテンツ５１Ｇ３と原コンテンツ５１Ｇ５との距離は閾値以上なので、両者を関連付けない。よって、一方のみに追記コンテンツ５１Ｆが書き込まれても、他方に対応付けることなく、追記コンテンツ５１Ｆを登録する。原コンテンツ５１Ｇ４および原コンテンツ５１Ｇ５の場合も、同様である。
【０１３２】
図２２は、端末装置３の全体的な処理の流れの例を説明するフローチャートである。図２３は、ドキュメントサーバ２の全体的な処理の流れの例を説明するフローチャートである。
【０１３３】
次に、図２２のフローチャートを参照しながら、ドキュメントサーバ２および端末装置３の全体的な処理の流れを説明する。
【０１３４】
図２２において、端末装置３は、印刷物５１を撮影し始めてから、所定のタイミングで（例えば、１秒ごとに）、呼出用マーカー５１Ｙの検知を試みる（＃７３１）。新たに呼出用マーカー５１Ｙを検知すると（＃７３２でＹｅｓ）、この呼出用マーカー５１Ｙをドキュメントサーバ２へ送信することによってこの呼出用マーカー５１Ｙに対応するコンテンツを要求し（＃７３３）、画像データをダウンロードする（＃７３４）。
【０１３５】
これにより、呼出用マーカー５１Ｙに対応するコンテンツとして、少なくとも原コンテンツ５１Ｇが端末装置３に提供される。さらに、１つまたは複数の追記コンテンツ５１Ｆの画像データがダウンロードされることもある。そのほか、各コンテンツの位置（原コンテンツ位置または追記コンテンツ位置）などが通知される。
【０１３６】
そして、端末装置３は、ダウンロードした画像データなどに基づいて原コンテンツ５１Ｇおよび追記コンテンツ５１Ｆを、通知された位置に表示する（＃７３５）。
【０１３７】
この呼出用マーカー５１Ｙが撮影の範囲から外に出たら（＃７３６でＹｅｓ）、端末装置３は、対応するコンテンツの表示を終了してもよい（＃７３７）。
【０１３８】
ユーザが印刷物５１に書込みを行うと（＃７３８でＹｅｓ）、端末装置３は、追記コンテンツ５１Ｆを抽出するとともに、追記コンテンツ５１Ｆの軌跡を検出する（＃７３９）。これらの処理の手順は、前に図１１で説明した通りである。端末装置３は、さらに、追記コンテンツ５１Ｆが書き込まれた原コンテンツ５１Ｇを判別する（＃７４０）。
【０１３９】
そして、端末装置３は、ステップ＃７３９、＃７４０の結果に基づいて追記コンテンツ５１Ｆを対応付けるべき原コンテンツ５１Ｇを決定する（＃７４１）。決定の方法は、前に説明した幾つかの方法のうちの１つを用いればよい。決定した原コンテンツ５１Ｇと対応付けて追記コンテンツ５１Ｆを登録するように、ドキュメントサーバ２に対して要求する（＃７４２）。この際に追記コンテンツ５１Ｆの画像データなどをドキュメントサーバ２へ送信する。
【０１４０】
撮影を続けている間（＃７４３でＮｏ）、端末装置３は、ステップ＃７３１〜＃７４２の処理を適宜、実行する。
【０１４１】
一方、図２３において、ドキュメントサーバ２は、端末装置３から呼出用マーカー５１Ｙが送信されてきた場合は（＃７２１でＹｅｓ）、この呼出用マーカー５１Ｙに対応する原コンテンツ５１Ｇの画像データを端末装置３へ送信する（＃７２２）。この際に、原コンテンツ位置などを端末装置３へ通知する。また、この呼出用マーカー５１Ｙに対応する追記コンテンツ５１Ｆが既に登録されている場合は（＃７２３でＹｅｓ）、この追記コンテンツ５１Ｆの画像データを端末装置３へ送信し、追記コンテンツ位置などを端末装置３へ通知する（＃７２４）。
【０１４２】
または、追記コンテンツ５１Ｆの画像データなどが送信されてきた場合は（＃７２５でＹｅｓ）、ドキュメントサーバ２は、追記コンテンツ５１Ｆを登録するための処理を行う（＃７２６）。
【０１４３】
なお、追記コンテンツ５１Ｆが二重に表示されないように、ドキュメントサーバ２は、ステップ＃７２４、＃７２６の処理を、第一の変形例または第二の変形例の通りに行ってもよい。
【０１４４】
ドキュメントサーバ２は、サービスを終了するまでの間（＃７２７でＮｏ）、ステップ＃７２１〜＃７２６の処理を適宜、実行する。
【０１４５】
ドキュメント閲覧システム１によると、複数の原コンテンツ５１Ｇに対して共通に、従来よりも簡単に追記コンテンツ５１Ｆを登録することができる。
【０１４６】
本実施形態では、印刷物５１における、原コンテンツ５１Ｇを対応付ける画像として呼出用マーカー５１Ｙを用いたが、他の画像を用いてもよい。例えば、固定コンテンツ５１Ｋの全部分または一部分を用いてもよい。
【０１４７】
本実施形態では、ユーザは、印刷物５１の実物に書込みを行ったが、タブレット型端末装置３Ｔを使用するときは、タッチパネルディスプレイ３０ｅに書込みを行ってもよい。この場合は、タブレット型端末装置３Ｔは、タッチされた位置を検知することによって書込画像５２を検出すればよい。
【０１４８】
本実施形態では、端末装置３は、ドキュメントサーバ２に対して呼出用マーカー５１Ｙを送信したが、呼出用マーカー５１Ｙを解析し、呼出用マーカー５１Ｙが表わす原コンテンツコードを通知してもよい。
【０１４９】
本実施形態では、眼鏡型端末装置３Ｍとして、プリズムによって画像を表示するタイプのウェアラブルコンピュータを用いたが、他のタイプのものを用いてもよい。例えば、ゴーグル型のウェアラブルコンピュータを用いてもよい。
【０１５０】
その他、ドキュメント閲覧システム１、ドキュメントサーバ２、端末装置３の全体または各部の構成、処理内容、処理順序、データベースの構成などは、本発明の趣旨に沿って適宜変更することができる。
【符号の説明】
【０１５１】
２  ドキュメントサーバ（記憶手段）
３  端末装置（ＡＲ装置）
３０ｅ  タッチパネルディスプレイ（表示手段、入力手段）
３０ｇ、３１ｇ  デジタルカメラ（入力手段）
３１ｅ  ディスプレイ（表示手段）
３０２  コンテンツ表示部（表示制御手段）
３０６  対応付コンテンツ決定部（決定手段）
３０７  追記コンテンツ登録要求部（登録手段）
５１  印刷物（物体）
５１Ｆ  追記コンテンツ（第三の画像）
５１Ｇ  原コンテンツ（第一の画像）
【図１】
0006435736.tif 000002
【図２】
0006435736.tif 000003
【図３】
0006435736.tif 000004
【図４】
0006435736.tif 000005
【図５】
0006435736.tif 000006
【図６】
0006435736.tif 000007
【図７】
0006435736.tif 000008
【図８】
0006435736.tif 000009
【図９】
0006435736.tif 000010
【図１０】
0006435736.tif 000011
【図１１】
0006435736.tif 000012
【図１２】
0006435736.tif 000013
【図１３】
0006435736.tif 000014
【図１４】
0006435736.tif 000015
【図１５】
0006435736.tif 000016
【図１６】
0006435736.tif 000017
【図１７】
0006435736.tif 000018
【図１８】
0006435736.tif 000019
【図１９】
0006435736.tif 000020
【図２０】
0006435736.tif 000021
【図２１】
0006435736.tif 000022
【図２２】
0006435736.tif 000023
【図２３】
0006435736.tif 000024