(57)【要約】【課題】比較的簡便な処理で、利用範囲の広いＡＲ表示を実現できる符号画像処理システムを提供する。【解決手段】符号画像表示装置は、ドキュメントに関連付けられた符号画像を表示出力し、ユーザの操作を受け入れる。符号画像表示装置は、受け入れた操作に応じて、表示している符号画像に関連するドキュメントを更新し、更新したドキュメントに関連する符号画像を生成し、表示させる。画像表示装置は、符号画像表示装置が表示する符号画像を撮像し、撮像した符号画像に関連付けられたドキュメントを取得し、当該ドキュメントに関連付けられた符号画像の撮像されている範囲に合成して表示する。【選択図】図１
2014106490.tif 000002
【特許請求の範囲】
【請求項１】
符号画像表示装置と画像表示装置とを含み、
前記符号画像表示装置は、
ドキュメントに関連付けられた符号画像を表示出力する表示手段と、
ユーザの操作を受け入れる受入手段と、
前記受け入れた操作に応じて、表示している符号画像に関連するドキュメントを更新する更新手段と、
前記更新したドキュメントに関連する符号画像を生成し、前記表示手段に表示させる制御手段と、を有し、
前記画像表示装置は、
前記符号画像表示装置が表示する符号画像を撮像する手段と、
前記撮像された符号画像に関連付けられたドキュメントを取得する手段と、
取得したドキュメントを、当該ドキュメントに関連付けられた符号画像の撮像されている範囲に合成して表示する合成表示手段と、
を有する符号画像処理システム。
【請求項２】
ドキュメントに関連付けられた符号画像を表示出力する表示手段と、
ユーザの操作を受け入れる受入手段と、
前記受け入れた操作に応じて、表示している符号画像に関連するドキュメントを更新する更新手段と、
前記更新したドキュメントに関連する符号画像を生成し、前記表示手段に表示させる制御手段と、
を有する符号画像表示装置。
【請求項３】
ドキュメントに関連付けられた符号画像を表示出力する符号画像表示装置を撮像する手段と、
前記撮像された、符号画像表示装置が表示する符号画像に関連付けられたドキュメントを取得する手段と、
取得したドキュメントを、当該ドキュメントに関連付けられた符号画像の撮像されている範囲に合成して表示する合成表示手段と、
を有する画像表示装置。
【請求項４】
コンピュータを、
ドキュメントに関連付けられた符号画像を表示出力する表示手段と、
ユーザの操作を受け入れる受入手段と、
前記受け入れた操作に応じて、表示している符号画像に関連するドキュメントを更新する更新手段と、
前記更新したドキュメントに関連する符号画像を生成し、前記表示手段に表示させる制御手段と、
として機能させるプログラム。
【請求項５】
コンピュータを、
ドキュメントに関連付けられた符号画像を表示出力する符号画像表示装置を撮像する手段と、
前記撮像された、符号画像表示装置が表示する符号画像に関連付けられたドキュメントを取得する手段と、
取得したドキュメントを、当該ドキュメントに関連付けられた符号画像の撮像されている範囲に合成して表示する合成表示手段と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドキュメントに関連付けられた符号画像を処理する符号画像処理システム、符号画像表示装置、画像表示装置、及びプログラムに関する。
【背景技術】
【０００２】
会議資料の表示を行うにあたり、拡張現実（ＡＲ）の技術を利用するものがある。例えば特許文献１には、次のような技術が開示されている。すなわち、ユーザは会議資料を表示する表示媒体（ノートの表紙、ＰＣのフタなど）を選択しておく。会議参加時にカメラで表示媒体を撮像してユーザ名とともにサーバへ送信しておくと、サーバがユーザ名と表示媒体とで認証を実行する。そしてサーバは論理オブジェクトを取得してユーザへ送信し、ユーザ側で論理オブジェクトをＡＲ表示する。ここでユーザが書込みを行うと、当該書込みが論理オブジェクトとしてさらに記録されて、後の参照に利用され、ＡＲ表示に供されるという技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１-２１７０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、各ユーザがそれぞれの表示媒体上で論理オブジェクトを表示させることとなるため、論理オブジェクトを表示可能な領域がユーザごとに異なる。こうした環境下において各ユーザが見ている論理オブジェクトの配置が常に同じになるようにするには、ＡＲ表示を行う装置において、各論理オブジェクトの位置合わせを行わなければならず、処理が複雑化する。
また、従来の例では、ＡＲ表示が固定的であるため、オブジェクトが変化した場合に対応できず、利用範囲が限られてしまう。
【０００５】
本発明は上記実情に鑑みて為されたもので、比較的簡便な処理で、利用範囲の広いＡＲ表示を実現できる符号画像処理システム、符号画像表示装置、画像表示装置、及びプログラムを提供することを、その目的の一つとする。
【課題を解決するための手段】
【０００６】
上記従来例の問題点を解決するための本発明は、符号画像処理システムであって、符号画像表示装置と画像表示装置とを含み、前記符号画像表示装置は、ドキュメントに関連付けられた符号画像を表示出力する表示手段と、ユーザの操作を受け入れる受入手段と、前記受け入れた操作に応じて、表示している符号画像に関連するドキュメントを更新する更新手段と、前記更新したドキュメントに関連する符号画像を生成し、前記表示手段に表示させる制御手段と、を有し、前記画像表示装置は、前記符号画像表示装置が表示する符号画像を撮像する手段と、前記撮像された符号画像に関連付けられたドキュメントを取得する手段と、取得したドキュメントを、当該ドキュメントに関連付けられた符号画像の撮像されている範囲に合成して表示する合成表示手段と、を有することとしたものである。
【０００７】
また、本発明の一態様に係る符号画像表示装置は、ドキュメントに関連付けられた符号画像を表示出力する表示手段と、ユーザの操作を受け入れる受入手段と、前記受け入れた操作に応じて、表示している符号画像に関連するドキュメントを更新する更新手段と、前記更新したドキュメントに関連する符号画像を生成し、前記表示手段に表示させる制御手段と、を有することとしたものである。
【０００８】
さらに本発明の別の態様に係る画像表示装置は、ドキュメントに関連付けられた符号画像を表示出力する符号画像表示装置を撮像する手段と、前記撮像された、符号画像表示装置が表示する符号画像に関連付けられたドキュメントを取得する手段と、取得したドキュメントを、当該ドキュメントに関連付けられた符号画像の撮像されている範囲に合成して表示する合成表示手段と、を有することとしたものである。
【０００９】
また本発明のもう一つの態様に係るプログラムは、コンピュータを、ドキュメントに関連付けられた符号画像を表示出力する表示手段と、ユーザの操作を受け入れる受入手段と、前記受け入れた操作に応じて、表示している符号画像に関連するドキュメントを更新する更新手段と、前記更新したドキュメントに関連する符号画像を生成し、前記表示手段に表示させる制御手段と、として機能させることとしたものである。
【００１０】
さらに本発明のさらにもう一つの態様に係るプログラムは、コンピュータを、ドキュメントに関連付けられた符号画像を表示出力する符号画像表示装置を撮像する手段と、前記撮像された、符号画像表示装置が表示する符号画像に関連付けられたドキュメントを取得する手段と、取得したドキュメントを、当該ドキュメントに関連付けられた符号画像の撮像されている範囲に合成して表示する合成表示手段と、として機能させることとしたものである。
【発明の効果】
【００１１】
本発明によると、比較的簡便な処理で、利用範囲の広いＡＲ表示を実現できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る符号画像処理システムの構成例を表すブロック図である。
【図２】本発明の実施の形態に係る符号画像処理システムで利用されるドキュメントデータベースの内容例を表す説明図である。
【図３】本発明の実施の形態に係る画像表示装置の概要例を表す説明図である。
【図４】本発明の実施の形態に係る画像表示装置の構成例を表すブロック図である。
【図５】本発明の実施の形態に係る符号画像表示装置の例を表す機能ブロック図である。
【図６】本発明の実施の形態に係る画像表示装置の例を表す機能ブロック図である。
【図７】本発明の実施の形態に係る符号画像処理システムの動作例を表すフローチャート図である。
【図８】本発明の実施の形態に係る符号画像処理システムのもう一つの動作例を表すフローチャート図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る符号画像処理システムは、図１に例示するように、符号画像表示装置１と、画像表示装置２とを含んで構成される。ここで符号画像表示装置１は、制御部１１、記憶部１２、入力部１３、表示部１４、及び通信部１５を含んで構成される。
【００１４】
符号画像表示装置１の制御部１１はＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この符号画像表示装置１の制御部１１は、ユーザに提示されるべきドキュメントに関連付けられた符号画像を表示部１４に表示出力させる。またこの制御部１１は、ユーザの操作を受け入れると、当該受け入れた操作に応じて、表示している符号画像に関連するドキュメントを更新して記憶する。そして当該更新して記憶したドキュメントに関連する符号画像を生成し、表示部１４に表示させる。また本実施の形態では、この制御部１１は、ドキュメントを特定するドキュメント特定情報とともに、ドキュメントの内容の要求を画像表示装置２から受け入れると、当該ドキュメント特定情報で特定されるドキュメントを例えば記憶部１２から取り出して、要求元の画像表示装置２に対して送出する。この制御部１１の詳しい処理の内容については、後に述べる。
【００１５】
記憶部１２は、ハードディスクドライブ等のディスクデバイスや、ＤＲＡＭ等のメモリデバイスを含んで構成される。この記憶部１２は、制御部１１によって実行されるプログラムが保持される。このプログラムは、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよいし、ネットワーク等の通信回線を通じて提供され、この記憶部１２に格納されたものであってもよい。本実施の形態では、この記憶部１２は、制御部１１のワークメモリとしても動作する。またこの制御部１２は、図２に例示するように、ユーザに提示されるべきドキュメントの内容を表す情報（Ｃ）を、各ドキュメントを特定するドキュメント特定情報（Ｄ）に関連付けたドキュメントデータベースを保持していてもよい。
【００１６】
入力部１３は、例えば表示部１４に重ね合わせて配されたタッチパネル等であり、ペンや指などでユーザが指示した位置を検出し、当該検出した位置の情報を制御部１１に出力する。また、この入力部１３は、キーボード等の他の入力デバイスや、ユーザのジェスチャー等を検出して操作を可能とするカメラ等のデバイスを含んでもよく、これらの入力デバイスにおいて行われた操作の内容を制御部１１に出力する。表示部１４は、液晶ディスプレイ等であり、制御部１１から入力される指示に従って、情報を表示出力する。
【００１７】
通信部１５は、無線ＬＡＮ（Local Area Network）インタフェース等であり、制御部１１から入力される指示に従い、ネットワークを介して情報を送信する。またこの通信部１５は、ネットワークを介して到来する情報を受信し、受信した情報を制御部１１に出力する。
【００１８】
また画像表示装置２は、図３に例示するように、眼鏡型のデバイスであり、フレーム部２０と、回路部３０とを含んで構成される。フレーム部２０は、左側リム２１Ｌ，右側リム２１Ｒ，ブリッジ２２，鼻当て２３，左ヒンジ２４Ｌ，右ヒンジ２４Ｒ，左テンプル２５Ｌ，右テンプル２５Ｒ，左スクリーン２６Ｌ，及び右スクリーン２６Ｒを含んで構成される。
【００１９】
左右のスクリーン２６Ｌ，Ｒは、それぞれ左右のリム２１Ｌ，Ｒに支持される。左右のリム２１Ｌ，Ｒはブリッジ２２によって相互に接続される。各リム２１Ｌ，Ｒのブリッジ２２側側面には、鼻当て２３が設けられる。リム２１Ｌ，Ｒのブリッジ２２側とは反対側の側面には、それぞれ対応するヒンジ２４Ｌ，Ｒを介してテンプル２５Ｌ，Ｒが接続される。ユーザはヒンジ２４により、テンプル２５とリム２１とのなす角を調整し、テンプル２５Ｌ，Ｒをそれぞれ左右の耳にかけ、鼻当て２３を鼻の頭に当ててこの画像表示装置２を装着する。このときユーザの左右の目は、スクリーン２６Ｌ，Ｒを介して外部を視認する。つまり、スクリーン２６はガラス等の光透過性を有する材料で形成される。また本実施の形態では、このスクリーン２６は、液晶ディスプレイ等の表示手段としても機能する。
【００２０】
またこの画像表示装置２の回路部３０は、例えばテンプル２５、リム２１、またはブリッジ２２に取り付けられる。この回路部３０は、図４に例示するように、制御部３１、記憶部３２、表示部３３、撮像部３４、及び通信部３５を含んで構成される。
【００２１】
制御部３１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部３２に格納されたプログラムに従って動作する。本実施の形態では、この制御部３１は、後に説明する撮像部３４が撮像して得た、符号画像表示装置１の表示する符号画像を受け入れる。そして制御部３１は、当該撮像された符号画像をデコードし、デコードして得た情報で特定される、符号画像に関連付けられたドキュメントを取得する。制御部３１は、当該取得したドキュメントを、当該ドキュメントに関連付けられた符号画像の撮像されている範囲に合成して表示する。この制御部３１の詳しい動作については後に述べる。
【００２２】
記憶部３２は、制御部３１によって実行されるプログラムを保持する。このプログラムは、ＤＶＤ-ＲＯＭなどのコンピュータ可読な記録媒体に格納されて提供され、この記憶部３２に格納されたものであってもよい。またこのプログラムは、ネットワーク等を介して配信され、この記憶部３２に格納されたものであってもよい。本実施の形態では、この記憶部３２は、制御部３１のワークメモリとしても動作する。
【００２３】
表示部３３は、スクリーン２６Ｌ，Ｒの少なくとも一方に取り付けられ、ユーザの目によって視認される位置に配された液晶方式や有機ＥＬ方式等を用いた光透過性を有するディスプレイである。この表示部３３は、制御部３１から入力される指示に従い、情報を表示する。
【００２４】
撮像部３４は、雲台３４ａとカメラ３４ｂとを含み、カメラ３４ｂが撮像した画像を制御部３１に出力している。本実施の形態では、このカメラ３４ｂは、動画像として例えば１／３０秒に一枚の画像を撮像して制御部３１に出力している。また雲台３４ａにより、カメラ３４ｂの撮像の方向が設定される。ユーザは、予め、カメラ３４ｂの撮像方向の中心が、自らの視野の中心に一致するよう、カメラ３４ｂの撮像の方向を調整しておくものとする。
【００２５】
通信部３５は、例えば無線ＬＡＮ（Local Area Network）インタフェース等であり、制御部３１から入力される指示に従って、指示された宛先にネットワークを介して情報を送信する。またこの通信部３５は、ネットワークを介して到来した情報を受信し、制御部３１に出力する。
【００２６】
ここで、符号画像表示装置１の制御部１１の動作について説明する。この制御部１１は、機能的には、図５に例示するように、ドキュメント選択部４１、符号画像生成部４２、符号画像表示部４３、操作受入部４４、ドキュメント更新部４５、更新制御部４６、及びドキュメント配信部４７を含んでなる。
【００２７】
ドキュメント選択部４１は、例えば入力部１３から入力される指示に従って、ドキュメントデータベースに保持されているドキュメントのうちから、ユーザに提示されるべきドキュメントを選択する。ドキュメント選択部４１は、選択したドキュメントの内容を表す情報と、当該ドキュメントに関連付けられているドキュメント特定情報とをドキュメントデータベースから読み出して、送信の対象となる情報としてワークメモリに保持する。
【００２８】
符号画像生成部４２は、ドキュメント選択部４１が読み出したドキュメント特定情報を符号化し、例えばＱＲコード（登録商標）（JIS-X0510）やバーコード等の符号画像を生成する。
【００２９】
符号画像表示部４３は、符号画像生成部４２が生成した符号画像を表示部１４に表示出力する。またこの符号画像表示部４３は、表示した符号画像のサイズを調整するべき旨の指示を、操作受入部４４から受けると、当該指示に従ってサイズを調整した符号画像を表示する。一例として操作受入部４４から符号画像のサイズをＲ％に縮小または拡大するべき旨の指示を受けると、Ｒ％だけ縮小または拡大した符号画像を生成し、この符号画像を表示部１４に表示する。
【００３０】
また、この符号画像表示部４３は、表示している符号画像を回転させるべき旨の指示を、操作受入部４４から受け入れると、当該指示に従って傾きを調整した符号画像を表示する。一例として操作受入部４４から符号画像をθ度傾けて表示するべき旨の指示を受けると、符号画像をθ度だけ回転させて表示部１４に表示する。
【００３１】
操作受入部４４は、ユーザの操作を受け入れる。この操作には、符号画像のサイズを調整するべき旨の操作や、符号画像を回転させるべき旨の操作、並びに、ドキュメントに対する書き込み操作等が含まれる。具体的にこの操作受入部４４は、符号画像のサイズを調整するべき旨の操作、または符号画像を回転させるべき旨の操作がなされると、当該操作の内容を反映した結果を符号画像表示部４３に出力する。
【００３２】
またこの操作受入部４４は、符号画像の表すドキュメント特定情報で特定されるドキュメントへの書き込み操作がユーザからされると、当該操作の内容とドキュメント特定情報とをドキュメント更新部４５に出力する。具体的にドキュメントへの書き込み操作を受けて、操作受入部４４が出力する操作の内容を表す情報（操作内容情報）は、所定のタイミングごとに得られる、ペンや指によってなぞられた位置を表す座標情報や書き込みの内容を表す文字列、色等である。また、この書き込み操作が完了したときには、ユーザは、書き込み内容を確定するべき旨の操作を行う。操作受入部４４は所定のタイミングごとに得られた座標情報等の操作内容情報や、書き込み内容を確定するべき旨の操作が行われたことを表す情報をドキュメント更新部４５に出力する。
【００３３】
ドキュメント更新部４５は、操作受入部４４から入力される操作内容情報で表されるユーザの書き込み内容を、対応するドキュメントを特定するドキュメント特定情報に関連付けて記憶部１２に保持する。また、このドキュメント更新部４５は、書き込み内容を確定するべき旨の操作が行われたことを表す情報が入力されると、記憶部１２に保持したユーザの書き込み内容を、当該書き込み内容に関連付けられたドキュメント特定情報と同じドキュメント特定情報に関連付けてワークメモリに保持されているドキュメントの内容に合成して、新たなドキュメントを生成する。そしてドキュメント更新部４５は、この新たなドキュメントを特定する、ドキュメントごとに固有なドキュメント特定情報を生成し、新たに生成したドキュメントと、ここで生成したドキュメント特定情報とを関連付けてドキュメントデータベースに格納する。
【００３４】
更新制御部４６は、ドキュメント更新部４５が新たなドキュメントを生成すると、当該新たに生成したドキュメントを選択するよう、ドキュメント選択部４１に指示する。この指示により、ドキュメント選択部４１は、当該指示されたドキュメントをドキュメントデータベースから読み出し、送信の対象となる情報として、当該新たなドキュメントを特定するドキュメント特定情報に関連付けてワークメモリに保持する。
【００３５】
ドキュメント配信部４７は、画像表示装置２からドキュメント特定情報を受信すると、当該受信したドキュメント特定情報に関連付けて、送信の対象となる情報としてワークメモリに保持されている、ドキュメントの内容を表す情報を読み出す。そしてドキュメント配信部４７は当該読み出したドキュメントの内容を表す情報を、画像表示装置２へ配信する。またこのドキュメント配信部４７は、受信したドキュメント特定情報に関連付けて保持されている座標情報があれば、当該座標情報を読み出す。そしてドキュメント配信部４７は、当該読み出した座標情報で表される書き込みの内容を、ワークメモリに保持されたドキュメントの内容を表す情報に合成して、当該合成後の情報を画像表示装置２へ配信する。
【００３６】
また画像表示装置２の回路部３０の制御部３１は、機能的には図６に例示するように、符号画像取得部５１、デコード部５２、ドキュメント取得部５３及び合成表示部５４を含んでなる。ここで符号画像取得部５１は、撮像部３４のカメラ３４ｂが撮像した画像を所定のタイミングごとに繰り返し得る。そして画像を得るごとに、当該画像に撮像されている符号画像表示装置１の表示部１４に表示された符号画像を検出してデコード部５２に出力する。この符号画像取得部５１は、また検出した符号画像のサイズと、撮像部３４の座標系（カメラ３４ｂの視線方向をｚ軸として、このカメラ３４ｂに対して鉛直方向をｙ軸、水平方向をｘ軸とした座標系）においてｘｙ平面内での符号画像の傾きを検出する。本実施の形態の一例では、符号画像はＱＲコード等、傾きやサイズを検出可能な符号画像であるものとする。またこの符号画像取得部５１は、検出した符号画像を予め定められた標準状態（所定のサイズ及び傾き）とした正規化符号画像を生成してデコード部５２に出力する。
【００３７】
デコード部５２は、正規化符号画像の入力を受けて、当該入力された、正規化された符号画像をデコードし、符号画像として表されているドキュメント特定情報を読み出す。ドキュメント取得部５３は、デコード部５２が読み出したドキュメント特定情報を符号画像表示装置１へ送信し、当該ドキュメント特定情報で特定されるドキュメントの内容を表す情報を要求する。そしてこのドキュメント取得部５３は、符号画像表示装置１から要求した、ドキュメントの内容を表す情報と、当該ドキュメントに対して行われた書き込みの内容を表す操作内容情報とを受け入れる。
【００３８】
合成表示部５４は、ドキュメント取得部５３が取得したドキュメントの内容を表す情報（本実施の形態のある例では、ドキュメントの内容を表す画像）に対して、座標情報が表す書き込みの内容を合成し、合成画像を生成する。そしてこの合成表示部５４は、符号画像取得部５１が検出した符号画像の傾きやサイズの情報を得て、当該検出した符号画像の傾きやサイズに応じて合成画像のサイズや傾きを変化させた画像を生成する。合成表示部５４は、表示部３３上で、この画像表示装置２を装着したユーザが、スクリーン２６を通じて符号画像表示装置１に表示されている符号画像を見る位置に、当該生成した画像を表示する。これにより、取得したドキュメントの内容であるドキュメントの画像が、当該ドキュメントに関連付けられた符号画像の撮像されている範囲に合成して表示される。具体的に、ドキュメントの内容を表す情報を表示する領域は、符号画像表示装置１の表示部１４の表示領域（ディスプレイ部分）を識別して当該表示領域に一致させるようにしてもよい。また表示される情報は、必ずしも符号画像が撮像されている範囲に限って表示される必要はなく、当該範囲を超えて（当該範囲からはみ出して）表示されてもよい。また、表示される情報が文字列である場合は、符号画像が撮像されている範囲内で折り返して（改行して）表示してもよい。
【００３９】
本実施の形態の符号画像処理システムは以上の構成を備えてなり、次のように動作する。以下の説明では、ドキュメントの内容を表す情報は、例えば米国アドビ社のＰＤＦ（Portable Document Format）等で表現された情報であるとする。またユーザは、画像表示装置２のカメラ３４ｂが撮像する画像の座標系と、スクリーン２６において表示される情報の座標系との位置合わせを事前に行っておくものとする。このような位置合わせの方法は、ヘッドマウントディスプレイに関わる技術として広く知られた方法を採用できるので、ここでの詳しい説明を省略する。
【００４０】
図７に例示するように、会議を開催するユーザは符号画像表示装置１を操作して、所望のドキュメントを指定すると符号画像表示装置１は当該ドキュメントの指定を受け入れる（Ｓ１）。符号画像表示装置１は、ドキュメントデータベースに保持されているドキュメントのうちから、ユーザが指定したドキュメントを選択する（Ｓ２）。符号画像表示装置１は、当該選択したドキュメントに関連付けられてドキュメントデータベースに格納されているドキュメント特定情報を読み出して符号化し、符号画像を生成する（Ｓ３）。本実施の形態では、この符号画像がいわゆるＡＲマーカとして機能するものであり、一例としてはＱＲコードを利用できる。符号画像表示装置１は、この符号画像を表示出力する（Ｓ４）。
【００４１】
画像表示装置２では、この表示された符号画像を撮像し（Ｓ５）、この撮像した符号画像をデコードし、符号画像として表されているドキュメント特定情報を読み出す（Ｓ６）。画像表示装置２は、ここで読み出したドキュメント特定情報を符号画像表示装置１へ送信し、当該ドキュメント特定情報で特定されるドキュメントの内容を表す情報を要求する（Ｓ７）。
【００４２】
符号画像表示装置１は、画像表示装置２からドキュメント特定情報を受信すると、処理Ｓ２にて選択したドキュメントの内容を表す情報を読み出す。そして当該読み出したドキュメントの内容を表す情報を、画像表示装置２へ配信する（Ｓ８）。
【００４３】
画像表示装置２では、配信されたドキュメントの内容を表す情報を、当該画像表示装置２を装着したユーザが、スクリーン２６を通じて符号画像表示装置１に表示されている符号画像を見る位置に位置合わせして表示部３３に表示する（Ｓ９）。これにより、取得したドキュメントの内容であるドキュメントの画像が、当該ドキュメントに関連付けられた符号画像の撮像されている範囲に合成して表示される。
【００４４】
本実施の形態では、画像表示装置２を用いるユーザが、符号画像表示装置１に表示された符号画像を、画像表示装置２が備える撮像部において撮像し、当該符号画像の表すドキュメントの内容を表す情報を取得してユーザに提示する。つまり、各ユーザが同じ符号画像表示装置１に表示された同じ符号画像を撮像していれば、各ユーザが見るドキュメントの内容も同じものとなる。
【００４５】
さらに図８に例示するように、符号画像表示装置１において符号画像が表示されている表示部１４に重ね合わせられた入力部１３に対して、ユーザが操作を行うと符号画像表示装置１は、当該操作を受け入れる（Ｓ１１）。そして符号画像表示装置１は当該ユーザの操作が、ペンや指でなぞったり、カメラでジェスチャーを撮影させるなどした、書き込みの内容の入力であるか、あるいは書き込み内容の確定の操作であるかを判断する（Ｓ１２）。
【００４６】
ここでユーザの操作が、書き込み内容の入力であると判断されると、当該入力された書き込みの内容は、符号画像表示装置１において、表示されているドキュメントを特定するドキュメント特定情報と、当該書き込みの内容を入力したユーザを特定する情報とに関連付けて保持される（Ｓ１３）。
【００４７】
本実施の形態では画像表示装置２は繰り返し、撮像した符号画像から読み出したドキュメント特定情報を符号画像表示装置１へ送信している。そして画像表示装置２が当該ドキュメント特定情報で特定されるドキュメントの内容を表す情報を要求すると（Ｓ１４）、符号画像表示装置１は、処理Ｓ２にて選択したドキュメントの内容を表す情報を読み出すとともに、当該画像表示装置２が送信したドキュメント特定情報と、当該画像表示装置２のユーザを特定する情報（符号画像表示装置１は、このユーザを特定する情報を、例えば画像表示装置２に固有な機器を特定する情報、例えば通信部３５に設定されたＭＡＣアドレス等に関連付けて予め記憶しておき、ドキュメント特定情報の送信元である画像表示装置２に固有な機器を特定する情報に対して関連付けられているユーザを特定する情報を取得することで得てもよい）とに関連付けられている書き込みの内容を読み出す。そして符号画像表示装置１は、当該読み出したドキュメントの内容を表す情報と当該読み出した書き込みの内容とを画像表示装置２へ配信する（Ｓ１５）。
【００４８】
画像表示装置２は、配信されたドキュメントの内容を表す情報に対し、併せて配信された書き込みの内容を合成して、合成画像を生成する（Ｓ１６）。そしてこの合成画像を、当該画像表示装置２を装着したユーザが、スクリーン２６を通じて符号画像表示装置１に表示されている符号画像を見る位置に位置合わせして表示する（Ｓ１７）。
【００４９】
一方処理Ｓ１２において、符号画像表示装置１が、ユーザの操作が書き込み内容の確定の操作であると判断すると、符号画像表示装置１では、記憶部１２に保持したユーザの書き込み内容を、当該書き込み内容に関連付けられたドキュメント特定情報によって特定されるドキュメントの内容に合成して、新たなドキュメントを生成する（Ｓ１８）。そして符号画像表示装置１は、この新たなドキュメントを特定する、ドキュメントごとに固有なドキュメント特定情報を生成し、新たに生成したドキュメントと、ここで生成したドキュメント特定情報とを関連付けてドキュメントデータベースに格納する（Ｓ１９）。また符号画像表示装置１は、処理Ｓ４に戻って当該生成したドキュメント特定情報を符号化した符号画像を表示する（Ｒ）。
【００５０】
また、ここで書き込みの内容を表す情報は、書き込みの内容を確定する操作が行われたごとに複数あってもよい。この場合、符号画像表示装置１は、どの書き込みの内容を合成するかの選択をユーザから受けておく。そして符号画像表示装置１は、画像表示装置２が送信したドキュメント特定情報で特定されるドキュメントの内容を表す情報を読み出すとともに、当該ドキュメント特定情報と、当該画像表示装置２のユーザを特定する情報とに関連付けられている書き込みの内容のうち、当該ユーザが選択した書き込み内容を読み出す。符号画像表示装置１は、当該読み出したドキュメントの内容を表す情報と当該読み出した書き込みの内容とを画像表示装置２へ配信する。
【００５１】
さらにここまでの説明では、符号画像表示装置１が、画像表示装置２が送信したドキュメント特定情報で特定されるドキュメントの内容を表す情報を読み出すとともに、当該ドキュメント特定情報と、当該画像表示装置２のユーザを特定する情報とに関連付けられている書き込みの内容のうち、当該ユーザが選択した書き込み内容を読み出して、画像表示装置２へ配信していた。しかしながら、本実施の形態はこれに限られず、例えば書き込み内容の入力操作を行ったユーザから、当該書き込み内容を共有とする旨の操作を受け入れたときには、符号画像表示装置１は、当該書き込み内容の情報に共有である旨の情報を関連付けて記憶してもよい。なお、共有とする旨の操作において、共有の相手方となるユーザ（共有対象ユーザ）を特定する情報を受け入れてもよい。この場合、符号画像表示装置１は、共有対象ユーザを特定する情報と共有である旨の情報とを、書込みの内容の情報に関連付けて記憶する。
【００５２】
符号画像表示装置１は、画像表示装置２が送信したドキュメント特定情報で特定されるドキュメントの内容を表す情報を読み出すとともに、当該ドキュメント特定情報と、当該画像表示装置２のユーザを特定する情報とに関連付けられている書き込みの内容のうち、当該ユーザが選択した書き込み内容と、共有である旨の情報に関連付けられた書き込み内容とを読み出して配信することとすればよい。また、共有対象ユーザを特定する情報と共有である旨の情報とが関連付けられた書込みの内容の情報が読み出された場合は、当該共有対象ユーザに、当該画像表示装置２のユーザを特定する情報が含まれている場合に限り読み出して配信する。
【００５３】
画像表示装置２では、この新たに表示された符号画像に基づいてドキュメントの内容を表す情報を要求するので、画像表示装置２には、当該書き込みがされ、確定がされたドキュメントの内容が表示されることとなる。
【００５４】
なお、ここまでの説明においては、ドキュメントデータベースは符号画像表示装置１が保持しているものとしたが、本実施の形態はこれに限られない。例えばドキュメントデータベースは、符号画像表示装置１とは別体のサーバに保持され、符号画像表示装置１からネットワーク等を介してアクセスされるようになっていてもよい。さらに本実施の形態のある例では、画像表示装置２は、眼鏡型ではなく、例えばスマートフォン等、カメラを備えた情報処理装置であってもよい。この場合、視線とカメラ３４ｂとの光軸を一致させる必要がなくなり、構成を簡便にできる。
【００５５】
また本実施の形態のある例では、会議の識別情報と、当該識別情報で識別される会議の開始時刻、終了時刻、及び当該会議で使用するドキュメントへのアクセスを可能とするためのアクセス情報を互いに関連付けて記録した会議データベースを用いてもよい。すなわちこの例では、アクセス情報を用いなければ、ドキュメントデータベースに格納されているドキュメントの内容を表す情報へのアクセスが許可されないようにしておく。具体的には、このアクセス情報を復号鍵とし、ドキュメントの内容を表す情報を、この復号鍵であるアクセス情報に対応する暗号鍵で暗号化しておく。そして符号画像表示装置１は、例えば会議に参加するユーザ、あるいは、符号画像表示装置１の操作を行うユーザをユーザ名やパスワードを用いて、あるいはユーザの生体情報（指紋、声紋、顔その他の情報）を用いて認証する。
【００５６】
符号画像表示装置１は、ユーザが認証された場合にはユーザから会議の識別情報を受け入れる。符号画像表示装置１は、現在時刻（通常のコンピュータが備えるカレンダーＩＣを用いて取得できる。あるいはネットワークを介してＮＴＰ（Network Time Protocol）サーバから取得できる）を参照して、受け入れた識別情報で識別される会議の開始時刻から終了時刻の間に、現在時刻が含まれるか否かを判断し、含まれる場合に、関連付けられたアクセス情報を取得して、ドキュメントの内容を表す情報へのアクセスを行い、当該アクセスにより得たドキュメントの内容を表す情報を、要求に応じてユーザ側の画像表示装置２へ配信する。
【００５７】
なおアクセス情報は、復号鍵に限られず、例えば無線ＬＡＮを介してドキュメントデータベースにアクセスするためのプロファイル情報等であってもよい。さらに、本実施の形態で、会議の終了時刻等、ドキュメントの利用を終了させるべき時刻が設定されている場合、符号画像表示装置１は、当該終了時刻等が経過したときには、表示部１４への符号画像の表示出力を停止してもよい。
【００５８】
また、符号画像生成部４２は、ドキュメント選択部４１が読み出したドキュメント特定情報を符号化する際に、さらに、符号画像表示装置１に固有の情報（符号画像表示装置１に予め設定された暗号鍵情報）を用いて暗号化した情報を表すＱＲコード（JIS-X0510）やバーコード等の符号画像を生成してもよい。
【００５９】
この例では、画像表示装置２側では対応する符号画像表示装置１に固有の情報で暗号化された情報を復号するための復号鍵を記憶しているものとする。画像表示装置２は、図７の処理Ｓ５において、暗号化された情報を表す符号画像を撮像し、記憶している復号鍵で当該撮像した符号画像が表す情報を復号して、処理Ｓ６にて、ドキュメント識別情報を取得する。
【００６０】
また、この例では、画像表示装置２は、対応する符号画像表示装置１で複号可能な暗号化を行うための暗号鍵情報を保持する。そして、図８の処理Ｓ１４にてドキュメントの要求を送信する際、当該保持している暗号鍵情報を用いて、要求を暗号化する。
【００６１】
この場合、符号画像表示装置１は、暗号化された要求を受信すると、当該要求の複号を試みる。ここで複号に成功したならば、対応する画像表示装置２からの要求であるとして、ドキュメントの内容と書き込みの内容を送信する処理Ｓ１５を実行する。また復号に成功しなかった場合は、符号画像表示装置１は、当該要求を無視することとする。
【００６２】
この例によると、各ユーザが各自の符号画像表示装置１と、対応する画像表示装置２との双方を持参して会議に参加することで、各自が自己の書き込みの内容を見られることなく作業できるようになる。他人の画像表示装置２には、自己の所持している符号画像表示装置１において暗号化された情報を復号するための復号鍵が保持されていないためである。
【００６３】
なお、この例では、画像表示装置２が復号のための鍵や、暗号鍵を保持する必要があるが、これらの鍵の情報は、予め符号画像表示装置１側で生成して、画像表示装置２に伝達することとしてもよい。具体的には、符号画像表示装置１はユーザの指示により自己が暗号化する際の暗号鍵Ｅ１とそれに対応する復号鍵Ｄ１、並びに、画像表示装置２が暗号化に用いる暗号鍵Ｅ２とそれに対応する復号鍵Ｄ２とを発行する。そして復号鍵Ｄ１と暗号鍵Ｅ２とを表す符号画像を生成して表示する。ユーザは、画像表示装置２において当該表示された符号画像を撮像させる。これにより画像表示装置２が、復号鍵Ｄ１と暗号鍵Ｅ２とを受け入れることができるようになり、符号画像表示装置１側では、それぞれに対応する暗号鍵Ｅ１と復号鍵Ｄ２とを保持している状態となる。
【００６４】
さらにここまでの説明では、符号画像表示装置１の符号画像生成部４２が生成する符号画像は、ＱＲコードやバーコード等、人間が見ても符号画像とわかるものとしていたが、本実施の形態の符号画像はこれに限られず、コンピュータが符号として可読な画像であればいかなるものであってもよい。例えば、人間には意味のある画像に埋め込まれたもの、あるいは意味のある画像そのものが符号画像として用いられてもよい。このような符号画像には、例えば米国ゼロックス社のデータグリフ等、広く知られたものがあるので、ここでの詳しい説明は省略する。
【００６５】
本実施の形態によると、時間変化するドキュメントや書き込みにも対応できるため、比較的簡便な処理で、利用範囲の広いＡＲ表示を実現できる。
【符号の説明】
【００６６】
１  符号画像表示装置、２  画像表示装置、１１，３１  制御部、１２，３２  記憶部、１３  操作部、１４，３３  表示部、１５，３５  通信部、２０  フレーム部、２１  リム、２２  ブリッジ、２３  鼻当て、２４  ヒンジ、２５  テンプル、２６  スクリーン、３０  回路部、３４  撮像部、３４ａ  雲台、３４ｂ  カメラ、４１  ドキュメント選択部、４２  符号画像生成部、４３  符号画像表示部、４４  操作受入部、４５  ドキュメント更新部、４６  更新制御部、４７  ドキュメント送信部、５１  符号画像取得部、５２  デコード部、５３  ドキュメント取得部、５４  合成表示部。
【図１】
2014106490.tif 000003
【図２】
2014106490.tif 000004
【図３】
2014106490.tif 000005
【図４】
2014106490.tif 000006
【図５】
2014106490.tif 000007
【図６】
2014106490.tif 000008
【図７】
2014106490.tif 000009
【図８】
2014106490.tif 000010
【手続補正書】
【提出日】平成24年12月3日(2012.12.3)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2014106490.tif 000011
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2014106490.tif 000012
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2014106490.tif 000013