(57)【特許請求の範囲】
【請求項１】
マーカが記される物体に重なっているように画像を表示することによってＡＲ（Augmented Reality）を実現するＡＲ装置であって、
表示手段と、
連続的に撮影を行う撮影手段と、
前記撮影手段が撮影を行うことによって得られた撮影画像から前記マーカを検出する検出手段と、
前記検出手段によって検出された前記マーカに対応する対応画像を受信する受信手段と、
前記撮影手段によって前記撮影画像が得られるごとに、当該撮影画像の全部分または一部分である注目部分を前記表示手段に表示させる第一の表示制御手段と、
前記注目部分に前記マーカが含まれている場合は、前記対応画像を前記表示手段に表示させ、前記撮影画像の任意の一部分であってズームの操作によって決定された第一の部分から他の一部分である第二の部分へスクロールさせることによって前記注目部分を変更する、ユーザによる動作によって前記マーカが前記注目部分に含まれなくなってから所定の時間が経過していない場合は、前記対応画像を前記表示手段に表示させ続け、前記動作によって前記マーカが前記注目部分に含まれなくなってから前記所定の時間が経過した場合は、前記対応画像を前記表示手段に表示するのを終了させる、第二の表示制御手段と、
を有することを特徴とするＡＲ装置。
【請求項２】
前記第二の表示制御手段は、前記動作によって前記マーカが前記注目部分に含まれなくなってから前記所定の時間が経過するまでに前記ユーザが前記注目部分を変更する操作、ズームの操作、または当該ＡＲ装置のパンを行った場合は、所定の時間が経過しても前記対応画像を前記表示手段に表示させ続ける、
請求項１に記載のＡＲ装置。
【請求項３】
マーカが記される物体に重なっているように画像を表示手段に表示させることによってＡＲを実現するＡＲ実現方法であって、
撮影手段によって連続的に撮影を行い、
前記撮影手段が撮影を行うことによって得られた撮影画像から前記マーカを検出し、
検出された前記マーカに対応する対応画像を受信し、
前記撮影手段によって前記撮影画像が得られるごとに、当該撮影画像の全部分または一部分である注目部分を表示するように前記表示手段を制御し、
前記注目部分に前記マーカが含まれている場合は、前記対応画像を前記表示手段に表示させ、前記撮影画像の任意の一部分であってズームの操作によって決定された第一の部分から他の一部分である第二の部分へスクロールさせることによって前記注目部分を変更する、ユーザによる動作によって前記マーカが前記注目部分に含まれなくなってから所定の時間が経過していない場合は、前記対応画像を前記表示手段に表示させ続け、前記動作によって前記マーカが前記注目部分に含まれなくなってから前記所定の時間が経過した場合は、前記対応画像を前記表示手段に表示するのを終了させる、
ことを特徴とするＡＲ実現方法。
【請求項４】
マーカが記される物体に重なっているように画像を表示手段に表示させることによってＡＲを実現するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
撮影手段によって連続的に撮影を行う撮影処理を実行させ、
前記撮影手段が撮影を行うことによって得られた撮影画像から前記マーカを検出する検出処理を実行させ、
検出された前記マーカに対応する対応画像を受信する受信処理を実行させ、
前記撮影手段によって前記撮影画像が得られるごとに、当該撮影画像の全部分または一部分である注目部分を表示するように前記表示手段を制御する第一の制御処理を実行させ、
前記注目部分に前記マーカが含まれている場合は、前記対応画像を前記表示手段に表示させ、前記撮影画像の任意の一部分であってズームの操作によって決定された第一の部分から他の一部分である第二の部分へスクロールさせることによって前記注目部分を変更する、ユーザによる動作によって前記マーカが前記注目部分に含まれなくなってから所定の時間が経過していない場合は、前記対応画像を前記表示手段に表示させ続け、前記動作によって前記マーカが前記注目部分に含まれなくなってから前記所定の時間が経過した場合は、前記対応画像を前記表示手段に表示するのを終了させる、第二の制御処理を実行させる、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＲ（Augmented Reality）の技術に関する。
【背景技術】
【０００２】
近年、ＡＲ（Augmented Reality）の技術が普及し始めている。ＡＲは、一般に「拡張現実」と翻訳される。
【０００３】
ＡＲの技術によると、ＡＲマーカが付されている印刷物を、スマートフォンなどで撮影すると、ＡＲマーカに対応するコンテンツ（オブジェクト）が、撮影した印刷物の画像の上に表示される。これにより、現実の空間が拡張したかのようにユーザに感じさせることができる。
【０００４】
また、機密のコンテンツを印刷する代わりにＡＲマーカを印刷することによって、機密のコンテンツを秘匿することができる。
【０００５】
そのほか、従来、ＡＲに関する次のような技術が提案されている。特許文献１に記載される画像処理装置は、実空間を映す映像を構成する入力画像を取得する画像取得部と、前記入力画像を解析することにより、前記入力画像を撮像した撮像装置の前記実空間内の位置及び姿勢の少なくとも一方を認識する解析部と、拡張現実空間内に配置されるコンテンツと関連付けられるオブジェクトであって前記実空間内に存在する前記オブジェクトを前記入力画像内で検出する検出部と、前記検出部により検出されたオブジェクトの前記実空間内の位置及び姿勢の少なくとも一方を含む検出情報を記憶媒体に記憶させる管理部と、前記検出情報を用いて追跡される、前記検出されたオブジェクトに対する前記撮像装置の相対的な位置及び姿勢の少なくとも一方に基づいて、前記検出されたオブジェクトと関連付けられるコンテンツの前記拡張現実空間内での振る舞いを制御するコンテンツ制御部と、を備える。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−９２９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に記載される技術によると、ＡＲマーカが撮影の範囲の外に出ても、それに対応するオブジェクトを表示することができる。しかし、絵本に描かれている動物などのオブジェクトが絵本から飛び出してくるかのように見せるため、撮像装置の位置および姿勢とオブジェクトとの相対的な関係を常に演算しなければならない。
【０００８】
機密のコンテンツを秘匿するためにＡＲの技術を用いるのであれば、もっと容易にコンテンツの視認性を向上させることが求められる。
【０００９】
本発明は、このような課題に鑑み、ＡＲによって表示するコンテンツの視認性を従来よりも容易に向上させることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一形態に係るＡＲ装置は、マーカが記される物体に重なっているように画像を表示することによってＡＲ（Augmented Reality）を実現するＡＲ装置であって、表示手段と、連続的に撮影を行う撮影手段と、前記撮影手段が撮影を行うことによって得られた撮影画像から前記マーカを検出する検出手段と、前記検出手段によって検出された前記マーカに対応する対応画像を受信する受信手段と、前記撮影手段によって前記撮影画像が得られるごとに、当該撮影画像の全部分または一部分である注目部分を前記表示手段に表示させる第一の表示制御手段と、前記注目部分に前記マーカが含まれている場合は、前記対応画像を前記表示手段に表示させ、前記撮影画像の任意の一部分であってズームの操作によって決定された第一の部分から他の一部分である第二の部分へスクロールさせることによって前記注目部分を変更する、ユーザによる動作によって前記マーカが前記注目部分に含まれなくなってから所定の時間が経過していない場合は、前記対応画像を前記表示手段に表示させ続け、前記動作によって前記マーカが前記注目部分に含まれなくなってから前記所定の時間が経過した場合は、前記対応画像を前記表示手段に表示するのを終了させる、第二の表示制御手段と、を有する。
【発明の効果】
【００１４】
本発明によると、ＡＲによって表示するコンテンツの視認性を従来よりも容易に向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】ドキュメント閲覧システムの全体的な構成の例を示す図である。
【図２】ドキュメントサーバのハードウェア構成の例を示す図である。
【図３】タブレット型端末装置のハードウェア構成の例を示す図である。
【図４】眼鏡型端末装置のハードウェア構成の例を示す図である。
【図５】印刷物の例を示す図である。
【図６】ドキュメントサーバおよび端末装置の機能的構成の例を示す図である。
【図７】コンテンツ保存部に保存される呼出用マーカおよび画像データの例を示す図である。
【図８】重畳要否判別処理の流れの例を説明するフローチャートである。
【図９】注目部分画像へコンテンツを重ねて表示する例を説明するための図である。
【図１０】注目部分画像へコンテンツを重ねて表示する例を説明するための図である。
【図１１】注目部分画像へコンテンツを重ねて表示する例を説明するための図である。
【図１２】タブレット型端末装置における全体的な処理の流れの例を説明するフローチャートである。
【図１３】タブレット型端末装置における全体的な処理の流れの例を説明するフローチャートである。
【発明を実施するための形態】
【００１６】
図１は、ドキュメント閲覧システム１の全体的な構成の例を示す図である。図２は、ドキュメントサーバ２のハードウェア構成の例を示す図である。図３は、タブレット型端末装置３Ｔのハードウェア構成の例を示す図である。図４は、眼鏡型端末装置３Ｍのハードウェア構成の例を示す図である。
【００１７】
ドキュメント閲覧システム１は、図１に示すように、ドキュメントサーバ２、端末装置３、および通信回線４などによって構成される。ドキュメント閲覧システム１は、ドキュメント（文書）を表示するためのデータを管理し、ドキュメントの閲覧のサービスをユーザに提供する。
【００１８】
ドキュメントサーバ２と端末装置３とは、通信回線４を介して通信を行うことができる。通信回線４として、インターネット、Ｗｉ−Ｆｉ、ＬＡＮ（Local Area Network）、または携帯電話回線などが用いられる。
【００１９】
ドキュメントサーバ２は、ドキュメントを表示するためのデータを記憶し、適宜、端末装置３へ提供する。ドキュメントサーバ２として、いわゆるサーバ機が用いられる。または、コピー、スキャン、ファックスなどの機能を備えた複合機を用いてもよいし、いわゆるクラウドサーバを用いてもよい。
【００２０】
ドキュメントサーバ２は、図２に示すように、ＣＰＵ（Central Processing Unit）２０ａ、ＲＡＭ（Random Access Memory）２０ｂ、ＲＯＭ（Read Only Memory）２０ｃ、大容量記憶装置２０ｄ、およびＮＩＣ（Network Interface Card）２０ｅなどによって構成される。
【００２１】
ＮＩＣ２０ｅは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルによって端末装置３などの装置と通信を行う。
【００２２】
ＲＯＭ２０ｃまたは大容量記憶装置２０ｄには、コンテンツ提供プログラム２Ｐが記憶されている。コンテンツ提供プログラム２Ｐは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。大容量記憶装置２０ｄとして、ハードディスクまたはＳＳＤ（Solid State Drive）などが用いられる。
【００２３】
端末装置３は、ドキュメントサーバ２から提供されるデータに基づいてドキュメントを表示する。端末装置３として、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、または眼鏡型コンピュータなどが用いられる。
【００２４】
「眼鏡型コンピュータ」は、ウェアラブルコンピュータの一種であり、グーグル社のグーグルグラスのような、眼鏡のように顔に装着するタイプのコンピュータである。
【００２５】
以下、端末装置３として、タブレットコンピュータまたは眼鏡型コンピュータが用いられる場合を例に説明する。前者および後者をそれぞれ「タブレット型端末装置３Ｔ」および「眼鏡型端末装置３Ｍ」と区別して記載することがある。
【００２６】
タブレット型端末装置３Ｔは、図３に示すように、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、無線通信装置３０ｈ、および加速度センサ３０ｉなどが用いられる。
【００２７】
タッチパネルディスプレイ３０ｅは、フラット型ディスプレイ（例えば、液晶ディスプレイ）およびタッチパネルによって構成される。フラット型ディスプレイは、種々の画像を表示する。特にドキュメントを表示するために用いられる。タッチパネルは、ユーザがタッチした位置を検知し、その位置をＣＰＵ３０ａへ通知する。
【００２８】
操作ボタン群３０ｆは、ホーム画面に戻るためのボタン、入力した内容を確定するためのボタン、音量を調整するためのボタン、および電源のオン／オフを切り換えるためのボタンなどによって構成される。
【００２９】
デジタルカメラ３０ｇは、種々の画像を撮影する。特にドキュメントが印刷された用紙を撮影するために用いられる。デジタルカメラ３０ｇは、デジタルズームの機能が備わっている。
【００３０】
無線通信装置３０ｈは、基地局を介してＴＣＰ／ＩＰなどのプロトコルによってドキュメントサーバ２などの装置と通信を行う。無線通信装置３０ｈの通信方式として、例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ（Long Term Evolution）、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）、またはＰＨＳ（Personal Handy-phone System）などが用いられる。
【００３１】
加速度センサ３０ｉは、タブレット型端末装置３Ｔの加速度および姿勢を検知する。また、加速度の変化に基づいて位置の変化を検知する。
【００３２】
ＲＯＭ３０ｃまたはフラッシュメモリ３０ｄには、クライアントプログラム３Ｐが記憶されている。クライアントプログラム３Ｐは、ＲＡＭ３０ｂにロードされ、ＣＰＵ３０ａによって実行される。
【００３３】
眼鏡型端末装置３Ｍは、図４に示すように、ＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃ、フラッシュメモリ３１ｄ、ディスプレイ３１ｅ、操作ボタン群３１ｆ、デジタルカメラ３１ｇ、無線通信装置３１ｈ、および加速度センサ３１ｉなどが用いられる。
【００３４】
ＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃ、フラッシュメモリ３１ｄ、ディスプレイ３１ｅ、操作ボタン群３１ｆ、デジタルカメラ３１ｇ、無線通信装置３１ｈ、加速度センサ３１ｉの役割は、それぞれ、タブレット型端末装置３ＴのＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、フラッシュメモリ３０ｄ、タッチパネルディスプレイ３０ｅ、操作ボタン群３０ｆ、デジタルカメラ３０ｇ、無線通信装置３０ｈ、および加速度センサ３１ｉと基本的に同様である。
【００３５】
ただし、画像を再現する方式が、タッチパネルディスプレイ３０ｅとディスプレイ３１ｅとでは、相違する。タッチパネルディスプレイ３０ｅは、上述の通り、液晶ディスプレイのような平面型のディスプレイが用いられる。一方、ディスプレイ３１ｅは、柄の根元に設けられたプロジェクタからレンズの端部付近に設けられたプリズムへ光を発することによって、画像を再現する。
【００３６】
クライアントプログラム３Ｐが、ＲＯＭ３１ｃまたはフラッシュメモリ３１ｄに記憶されており、ＲＡＭ３１ｂにロードされ、ＣＰＵ３１ａによって実行される。
【００３７】
図５は、印刷物５の例を示す図である。図６は、ドキュメントサーバ２および端末装置３の機能的構成の例を示す図である。図７は、コンテンツ保存部２０１に保存される呼出用マーカ５１Ｙおよび画像データ５５の例を示す図である。図８は、重畳要否判別処理の流れの例を説明するフローチャートである。
【００３８】
ところで、ドキュメント閲覧システム１は、ＰＤＦ（Portable Document Format）などのファイルを単に提供するだけでなく、ＡＲ（Augmented Reality）の技術によってドキュメントを再現することができる。この際に、印刷物５が用いられる。
【００３９】
印刷物５は、図５（Ａ）のように、文字列のほか、呼出用マーカ５１Ｙが印刷されている。呼出用マーカ５１Ｙは、ドキュメントサーバ２にデータが記憶されているコンテンツを呼び出すためのものである。
【００４０】
ユーザが眼鏡型端末装置３Ｍを掛けて印刷物５を見ると、呼出用マーカ５１Ｙに基づいてコンテンツ５１Ｃのデータがドキュメントサーバ２からダウンロードされ、図５（Ｂ）のように、コンテンツ５１Ｃが印刷物５に印刷されているかのように見える。タブレット型端末装置３Ｔで印刷物５を撮影しながら見た場合も、同様に見える。
【００４１】
このように、ドキュメント閲覧システム１によると、ＡＲが実現される。呼出用マーカ５１Ｙとして、所定のフォーマットのマーカ（例えば、ＡＲマーカ）が用いられる。ＡＲマーカは、「ＡＲコード」と呼ばれることもある。
【００４２】
この仕組みは、コンテンツ提供プログラム２Ｐおよびクライアントプログラム３Ｐによって実現される。以下、ユーザがタブレット型端末装置３Ｔによって印刷物５を見る場合を例に、この仕組みを説明する。
【００４３】
コンテンツ提供プログラム２ＰをＣＰＵ２０ａで実行することによって、ドキュメントサーバ２に、図６に示すコンテンツ保存部２０１およびコンテンツ送信部２０２などが実現される。
【００４４】
クライアントプログラム３ＰをＣＰＵ３０ａで実行することによって、タブレット型端末装置３Ｔに、図６に示すマーカ検出部３０１、コンテンツ取得部３０２、コンテンツ記憶部３０３、表示部分決定部３０４、比較用画像記憶部３０５、撮影画像表示制御部３０６、タイマ３０７、重畳要否判別部３０８、およびコンテンツ重畳制御部３０９などが実現される。
【００４５】
コンテンツ保存部２０１には、図７に示すように、コンテンツ５１Ｃごとの画像データ５５が、ユニークな呼出用マーカ５１Ｙと対応付けて予め保存されている。
【００４６】
ユーザは、タブレット型端末装置３Ｔにクライアントプログラム３Ｐを起動させる。すると、デジタルカメラ３０ｇが撮影を開始する。そして、所定の時間Ｔａ（例えば、０．１秒）ごとに撮影を行う。
【００４７】
ここで、ユーザは、印刷物５が撮影されるようにデジタルカメラ３０ｇの位置および姿勢を調整する。すると、印刷物５の一部分または全部分の画像が撮影され、その画像の画像データが生成される。
【００４８】
マーカ検出部３０１は、デジタルカメラ３０ｇによって画像が撮影されるごとに、その画像の中から呼出用マーカ５１Ｙの検出を試みる。つまり、その画像の中から所定のフォーマットのマーカを検索し、そのようなマーカが見つかったら、これを呼出用マーカ５１Ｙとして抽出する。なお、ユーザがピンチアウトまたはドラッグなど拡大またはスクロールの操作を行っている間は、呼出用マーカ５１Ｙの検出を実行しないようにしてもよい。また、タブレット型端末装置３Ｔの位置または姿勢が一定以上の速さで変化している間（例えば、ユーザがタブレット型端末装置３Ｔをパンさせている間）も、同様である。
【００４９】
コンテンツ取得部３０２は、マーカ検出部３０１によって呼出用マーカ５１Ｙが検出（抽出）された場合に、この呼出用マーカ５１Ｙに対応するコンテンツ５１Ｃを次のように取得する。
【００５０】
コンテンツ取得部３０２は、呼出用マーカ５１Ｙをドキュメントサーバ２へ送信し、これに対応するコンテンツ５１Ｃを要求する。
【００５１】
すると、ドキュメントサーバ２において、コンテンツ送信部２０２は、送信されてきた呼出用マーカ５１Ｙに対応する画像データ５５をコンテンツ保存部２０１から呼び出し、タブレット型端末装置３Ｔへ送信する。
【００５２】
そして、コンテンツ取得部３０２は、ドキュメントサーバ２から画像データ５５を受信する。
【００５３】
コンテンツ記憶部３０３は、コンテンツ取得部３０２によって画像データ５５が取得されると、これを一時的に記憶する。
【００５４】
なお、同じ呼出用マーカ５１Ｙが再びマーカ検出部３０１によって検出される場合がある。この場合は、この呼出用マーカ５１Ｙに対応する画像データ５５がコンテンツ記憶部３０３に記憶されていれば、コンテンツ取得部３０２は、この画像データ５５を取得しない。
【００５５】
ところで、クライアントプログラム３Ｐが起動された当初、デジタルカメラ３０ｇのデジタルズームは等倍に設定される。タッチパネルディスプレイ３０ｅには、デジタルカメラ３０ｇによって撮影された画像（以下、「撮影画像６０」と記載する。）の全部分または一部分が表示される。どの部分が表示されるのかは、デジタルズームの倍率およびユーザの操作に応じて表示部分決定部３０４によって次のように決定される。
【００５６】
表示部分決定部３０４は、クライアントプログラム３Ｐが起動された当初は、撮影画像６０の全体を、タッチパネルディスプレイ３０ｅに表示する部分（以下、「表示部分」と記載する。）に決定する。
【００５７】
その後、ユーザがタッチパネルディスプレイ３０ｅの任意の位置に対してピンチアウト（ピンチオープン）すると、表示部分決定部３０４は、その位置を中心とする、指の動いた距離に応じた範囲を、表示部分に決定する。範囲は、指の動いた距離が長いほど狭くなる。そして、後述するように、この範囲がタッチパネルディスプレイ３０ｅの全体に合うように拡大されて表示される。つまり、ピンチアウトが行われると、それが行われた位置を中心として、指の動いた距離に応じた倍率に撮影画像６０が拡大されて表示される。
【００５８】
さらにその後、ユーザがタッチパネルディスプレイ３０ｅを任意の方向へ任意の距離だけドラッグすると、表示部分決定部３０４は、現在の表示部分から、その方向へその距離だけ移動した部分を、新たな表示部分に決定する。
【００５９】
比較用画像記憶部３０５には、呼出用マーカ５１Ｙがマーカ検出部３０１によって最初に検出された際の撮影画像６０が記憶される。その後、ピンチアウトが行われた場合は、この撮影画像６０の代わりに、ピンチアウトが行われた直後における撮影画像６０のうちの表示部分の画像が記憶される。以下、比較用画像記憶部３０５に記憶される画像を「比較用画像６１」と記載する。
【００６０】
撮影画像表示制御部３０６は、撮影画像６０の中の、表示部分決定部３０４によって決定した表示部分が全体に表示されるようにタッチパネルディスプレイ３０ｅを制御する。
【００６１】
タイマ３０７は、比較用画像６１と後述する注目部分画像６２とに一致する部分がなくなってから経過した時間を計る。一致する部分がなくなった後、再び一致する部分が生じたら、計時を止め、リセットする。
【００６２】
重畳要否判別部３０８は、マーカ検出部３０１によって呼出用マーカ５１Ｙが検出され、コンテンツ取得部３０２によって画像データ５５が取得された後、デジタルカメラ３０ｇによって新たな撮影画像６０が得られるごとに、この画像データ５５に基づいてコンテンツ５１Ｃを撮影画像６０の上に重ねて表示すべきか否かを判別する。判別の処理は、図８に示す手順で行われる。
【００６３】
重畳要否判別部３０８は、新たな撮影画像６０のうちの表示部分の画像（以下、「注目部分画像６２」と記載する。）に呼出用マーカ５１Ｙが含まれていれば（＃７０１でＹｅｓ）、このコンテンツ５１Ｃを重ねて表示すべきであると判別する（＃７０６）。
【００６４】
注目部分画像６２に呼出用マーカ５１Ｙが含まれていない場合は（＃７０１でＮｏ）、さらに、次の通り処理を続ける。
【００６５】
重畳要否判別部３０８は、注目部分画像６２と比較用画像６１とを比較することによって、両者に一致（共通）する部分があるか否かを判別する（＃７０２）。
【００６６】
一致する部分がある場合は、コンテンツ重畳制御部３０８は、このコンテンツ５１Ｃを重ねて表示すべきであると判別する（＃７０６）。
【００６７】
一致する部分がない場合は（＃７０３でＮｏ）、ユーザが撮影画像６０を拡大しまたはスクロールする操作を行っている最中である場合は（＃７０４でＹｅｓ）、重畳要否判別部３０８は、このコンテンツ５１Ｃを重ねて表示すべきであると判別する（＃７０６）。
【００６８】
具体的には、次のように判別する。コンテンツ５１Ｃが表示されているときに、ユーザがタッチパネルディスプレイ３０ｅに対してピンチアウトまたはドラッグを行い始めると、撮影画像６０が拡大されまたはスクロールされる。その結果、呼出用マーカ５１Ｙが注目部分画像６２に含まれなくなる場合がある。未だ指がタッチパネルディスプレイ３０ｅから離れていなければ、ピンチアウトまたはドラッグの最中である。そこで、重畳要否判別部３０８は、撮影画像６０が拡大されまたはスクロールされ始めた後、指がタッチパネルディスプレイ３０ｅに触れたままであれば、呼出用マーカ５１Ｙの有無に関わらず、コンテンツ５１Ｃを重ねて表示すべきであると判別する。
【００６９】
注目部分画像６２および比較用画像６１に一致する部分がなく（＃７０３でＮｏ）、ユーザが撮影画像６０を拡大する操作もスクロールする操作も行っていない場合は（＃７０４でＮｏ）、一致する部分があると最後に判別された時から所定の時間Ｔｂ（例えば、３秒）が未だ経過していなければ（＃７０５でＮｏ）、重畳要否判別部３０８は、このコンテンツ５１Ｃを重ねて表示すべきあると、判別する（＃７０６）。一方、所定の時間Ｔｂが既に経過していれば（＃７０５でＹｅｓ）、表示すべきでないと判別する（＃７０７）。所定の時間Ｔｂは、ユーザが任意に設定することができる。
【００７０】
なお、判別の処理は、新たな撮影画像６０が得られるごとに常に行うのではなく、所定の間隔を空けて行ってもよい。例えば、１秒ごとに行ってもよい。
【００７１】
コンテンツ重畳制御部３０９は、コンテンツ５１Ｃを重ねて表示すべきであると重畳要否判別部３０８によって判別された場合に、注目部分画像６２の上にコンテンツ５１Ｃが表示されるように画像データ５５に基づいてタッチパネルディスプレイ３０ｅを制御する。
【００７２】
なお、コンテンツ５１Ｃを重ねて表示すべきでないと重畳要コンテンツ重畳制御部３０９によって判別されると、このコンテンツ５１Ｃの画像データ５５がコンテンツ記憶部３０３から削除される。
【００７３】
図９〜図１１は、注目部分画像６２へコンテンツ５１Ｃを重ねて表示する例を説明するための図である。
【００７４】
上述の各部によると、タッチパネルディスプレイ３０ｅに表示される画像が、ユーザによる操作に応じて、例えば、図５、図９〜図１１に示すように遷移する。
【００７５】
クライアントプログラム３Ｐが起動してデジタルカメラ３０ｇが撮影を開始した当初は、デジタルズームが等倍に設定される。ここで、印刷物５の全体が撮影範囲に入るようにタブレット型端末装置３Ｔの位置および姿勢が調整されると、印刷物５の全体（図５（Ａ）参照）がタッチパネルディスプレイ３０ｅに表示される。また、呼出用マーカ５１Ｙが検出されるので、これに対応する画像データ５５がドキュメントサーバ２からタブレット型端末装置３Ｔへダウンロードされ、この画像データ５５に基づいてコンテンツ５１Ｃが印刷物５の画像つまり撮影画像６０の上に図５（Ｂ）のように表示される。デジタルズームが等倍なので、このとき、撮影画像６０が注目部分画像６２である。そして、呼出用マーカ５１Ｙが初めに検出された際の撮影画像６０（注目部分画像６２）が比較用画像６１として比較用画像記憶部３０５に記憶される。
【００７６】
ユーザがタッチパネルディスプレイ３０ｅに対してピンチアウトを行うと、撮影画像の一部分が図９（Ａ）のように拡大されて表示される。この時点では、注目部分画像６２に呼出用マーカ５１Ｙが含まれているので、図９（Ｂ）のように、コンテンツ５１Ｃが、引き続き撮影画像の上に重ねて表示される。
【００７７】
さらに、拡大に伴い、前の比較用画像６１の代わりに、注目部分画像６２が比較用画像６１として新たに比較用画像記憶部３０５に記憶される。
【００７８】
拡大後、ユーザがドラッグを行うことによって撮影画像６０がスクロールし、図１０（Ａ）のように呼出用マーカ５１Ｙが注目部分画像６２に含まれなくなる場合がある。または、拡大によって、スクロールを伴うことなく呼出用マーカ５１Ｙが注目部分画像６２に含まれなくなる場合もある。これらの場合は、指がタッチパネルディスプレイ３０ｅに接触していれば、つまり、ピンチアウトまたはドラッグの操作を継続していれば、図１０（Ｂ）のように、コンテンツ５１Ｃが、引き続き撮影画像の上に重ねて表示される。
【００７９】
ここで、ユーザの指がタッチパネルディスプレイ３０ｅから離れると、比較用画像６１と注目部分画像６２とが比較され、両者に一致（共通）する部分があれば、引き続き、図１０（Ｂ）のようにコンテンツ５１Ｃが表示される。
【００８０】
さらに、ユーザがドラッグを行うことによって撮影画像６０がスクロールして注目部分画像６２が図１１（Ａ）のように変わり、比較用画像６１と一致する部分がなくなったら、所定の時間Ｔｂが経過するまでは、図１１（Ｂ）のようにコンテンツ５１Ｃが引き続き表示される。しかし、所定の時間Ｔｂが経過したら、コンテンツ５１Ｃが表示されなくなる。
【００８１】
ユーザがタブレット型端末装置３Ｔを動かすと、例えば、タブレット型端末装置３Ｔをパンさせると、注目部分画像６２が図１０（Ａ）に示した状態から図１１（Ａ）に示した状態に遷移する場合がある。この場合も、比較用画像６１と注目部分画像６２とに一致する部分がなくなってから所定の時間Ｔｂが経過するまではコンテンツ５１Ｃが表示される。そして、所定の時間Ｔｂが経過したら表示が終了する。
【００８２】
図１２および図１３は、タブレット型端末装置３Ｔにおける全体的な処理の流れの例を説明するフローチャートである。
【００８３】
次に、タブレット型端末装置３Ｔがコンテンツを表示する際の全体的な処理の流れを、フローチャートを参照しながら説明する。
【００８４】
タブレット型端末装置３Ｔは、クライアントプログラム３Ｐに基づいて図１２および図１３に示す手順で処理を実行する。
【００８５】
タブレット型端末装置３Ｔは、撮影を行い、撮影画像６０を取得する（図１２の＃１１）。ユーザがピンチアウトまたはドラッグなどの操作を行うと（＃１２でＹｅｓ）、タブレット型端末装置３Ｔは、操作に応じて、撮影画像６０のうちのタッチパネルディスプレイ３０ｅに表示する部分（表示部分）を決定する（＃１３）。なお、初期の表示部分は、撮影画像６０の全体である。
【００８６】
今回、呼出用マーカ５１Ｙを含む撮影画像６０を初めて取得し、または、拡大の操作が行われた場合は（＃１４でＹｅｓ）、ドキュメント閲覧システム１は、撮影画像６０のうちの表示部分の画像（注目部分画像６２）を比較用画像６１として記憶する（＃１５）。
【００８７】
そして、タブレット型端末装置３Ｔは、注目部分画像６２を表示する（＃１６）。これと前後してまたは並行して、撮影画像６０の中から呼出用マーカ５１Ｙの検出を試みる（＃１７）。
【００８８】
なお、ユーザがピンチアウトまたはドラッグなど拡大またはスクロールの操作を行っている間は、呼出用マーカ５１Ｙの検出を実行しないようにしてもよい。タブレット型端末装置３Ｔの位置または姿勢が一定以上の速さで変化している間（例えば、ユーザがタブレット型端末装置３Ｔをパンさせている間）も、同様である。
【００８９】
呼出用マーカ５１Ｙを検出することができた場合は（＃１８でＹｅｓ）、この呼出用マーカ５１Ｙに対応するコンテンツ５１Ｃの画像データ５５を有していなければ（＃１９でＮｏ）、タブレット型端末装置３Ｔは、ドキュメントサーバ２へ呼出用マーカ５１Ｙを送信することによって、この画像データ５５を要求する（＃２０）。
【００９０】
ドキュメントサーバ２からコンテンツ５１Ｃの画像データ５５を受信したら（図１３の＃２１でＹｅｓ）、タブレット型端末装置３Ｔは、これを記憶する（＃２２）。
【００９１】
さらに、タブレット型端末装置３Ｔは、コンテンツ５１Ｃを注目部分画像６２に重ねて表示すべきか否かを判別する（＃２３）。判別の方法は、前に図８のフローチャートで説明した通りである。
【００９２】
重ねるべきであると判別した場合は（＃２４でＹｅｓ）、タブレット型端末装置３Ｔは、注目部分画像６２の上にコンテンツ５１Ｃを重ねて表示する（＃２５）。なお、このコンテンツ５１Ｃの画像データ５５のダウンロードが未だ完了していない場合は、ステップ＃２５をスキップしてもよい。
【００９３】
比較用画像６１および注目部分画像６２に一致する部分が含まれていない場合は（＃２６でＮｏ）、未だタイマ３０７をスタートしていなければ（＃２７でＮｏ）、タイマ３０７をスタートさせる（＃２８）。これにより、一致する部分が含まれなくなってからの時間が計られる。
【００９４】
一方、比較用画像６１および注目部分画像６２に一致する部分が含まれている場合は（＃２６でＹｅｓ）、タイマ３０７が既にスタートしていれば（＃２９でＹｅｓ）、タイマ３０７を停止させリセットさせる（＃３０）。
【００９５】
タイマ３０７によって所定の時間Ｔｂが計られた場合は（＃３１でＹｅｓ）、画像データ５５を記憶していれば（＃３２でＹｅｓ）、これを削除する（＃３３）。
【００９６】
クライアントプログラム３Ｐを終了するまでの間、所定の時間Ｔａごとにステップ＃１１〜＃３３の処理を適宜、実行する。
【００９７】
ところで、クライアントプログラム３ＰをＣＰＵ３１ａで実現することによって、眼鏡型端末装置３Ｍに、マーカ検出部３０１、コンテンツ取得部３０２、コンテンツ記憶部３０３、表示部分決定部３０４、比較用画像記憶部３０５、タイマ３０７、重畳要否判別部３０８、およびコンテンツ重畳制御部３０９が実現される。
【００９８】
撮影画像表示制御部３０６は、実現されない。ユーザはレンズ越しに印刷物５を見ることができるので、デジタルカメラ３１ｇによって撮影された画像をディスプレイ３１ｅによって表示する必要がないからである。したがって、撮影画像６０のズームおよびスクロールも機能しない。そのため、眼鏡型端末装置３Ｍにおいては、ユーザが頭を動かすなどして眼鏡型端末装置３Ｍが動いたことに伴って比較用画像６１および注目部分画像６２に一致する部分が含まれなくなり、所定の時間Ｔｂが経過したら、コンテンツ５１Ｃが表示されなくなる。所定の時間Ｔｂが経過するまでは、コンテンツ５１Ｃが表示される。
【００９９】
本実施形態によると、端末装置３の位置または姿勢と呼出用マーカ５１Ｙとの関係を演算することなく、呼出用マーカ５１Ｙの一部分が表示の範囲から欠けてしまってもコンテンツ５１Ｃを表示させる。また、全部分が欠けてしまっても、一定の条件の下、コンテンツ５１Ｃを表示させる。これにより、コンテンツ５１Ｃの視認性を従来よりも容易に向上させることができる。
【０１００】
本実施形態では、印刷物５に呼出用マーカ５１Ｙが１つだけ印刷されている場合を例に説明したが、複数印刷されている場合は、ドキュメントサーバ２および端末装置３は、各呼出用マーカ５１Ｙについて上述の処理を独立して実行すればよい。したがって、例えば、端末装置３は、ある呼出用マーカ５１Ｙに対応するコンテンツ５１Ｃをしている最中にパンされて他の呼出用マーカ５１Ｙを検出したら、当該他の呼出用マーカ５１Ｙに基づいて画像データ５５をダウンロードし、当該他の呼出用マーカ５１Ｙに対応するコンテンツ５１Ｃを併せて表示すればよい。
【０１０１】
本実施形態では、タブレット型端末装置３Ｔがデジタルズームの機能を有する場合を例に説明したが、光学ズームを有する場合は、パンなどによって比較用画像６１と注目部分画像６２との共通部分（一致する部分）がなくなった際に、所定の時間Ｔｂの経過後にコンテンツ５１Ｃを表示しないようにすればよい。
【０１０２】
本実施形態では、タイマ３０７は、比較用画像６１と注目部分画像６２とに一致する部分がなくなってから時間を計った。その後、一致する部分が再び生じたら計時を止めてリセットしたが、ユーザがピンチアウトまたはドラッグなど拡大またはスクロール（移動）の操作を行った場合にも計時を止めてリセットしてもよい。
【０１０３】
本実施形態では、端末装置３は、比較用画像６１および注目部分画像６２に一致する部分があれば、その広さに限らずコンテンツ５１Ｃを表示し続けたが、その広さが所定の広さ未満であれば、所定の広さまたは比較用画像６１の面積のうちの所定の割合未満になってから所定の時間Ｔｂが経過したらコンテンツ５１Ｃを表示するのを止めてもよい。
【０１０４】
その他、ドキュメント閲覧システム１、ドキュメントサーバ２、端末装置３の全体または各部の構成、処理内容、処理順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。
【符号の説明】
【０１０５】
３  端末装置（ＡＲ装置）
３Ｍ  眼鏡型端末装置（ＡＲ装置）
３Ｔ  タブレット型端末装置（ＡＲ装置）
３０ｅ  タッチパネルディスプレイ（表示手段）
３０ｇ、３１ｇ  デジタルカメラ（撮影手段）
３０１  マーカ検出部（検出手段）
３０２  コンテンツ取得部（受信手段）
３０６  撮影画像表示制御部（第一の表示制御手段）
３０８  重畳要否判別部（第二の表示制御手段）
３０９  コンテンツ重畳制御部（第二の表示制御手段）
３１ｅ  ディスプレイ
５  印刷物（物体）
５１Ｙ  呼出用マーカ（マーカ）
５１Ｃ  コンテンツ（対応画像）
６２  注目部分画像（注目部分）
【図１】
0006550766.tif 000002
【図２】
0006550766.tif 000003
【図３】
0006550766.tif 000004
【図４】
0006550766.tif 000005
【図５】
0006550766.tif 000006
【図６】
0006550766.tif 000007
【図７】
0006550766.tif 000008
【図８】
0006550766.tif 000009
【図９】
0006550766.tif 000010
【図１０】
0006550766.tif 000011
【図１１】
0006550766.tif 000012
【図１２】
0006550766.tif 000013
【図１３】
0006550766.tif 000014