(57)【要約】      （修正有）【課題】プロジェクタ等によって表示された共有情報に関連し、ユーザ操作ごとに異なる情報を表示する情報処理装置を提供する。【解決手段】情報処理装置は、外部装置によって表示された表示画像を撮像可能な撮像手段３１３と、所定のユーザ操作を検知する検知手段と、所定のユーザ操作と前記表示画像とに基づいて、表示画像の関連情報を特定する特定手段と、関連情報を表示する表示手段と、を備えることにより、共有情報に関連する個別情報を、個人の情報処理装置３２０で表示する。【選択図】図３
2016201050.tif 000002
【特許請求の範囲】
【請求項１】
外部装置によって表示された表示画像を撮像可能な撮像手段と、
所定のユーザ操作を検知する検知手段と、
前記所定のユーザ操作と前記表示画像とに基づいて、前記表示画像の関連情報を特定する特定手段と、
前記関連情報を表示する表示手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記所定のユーザ操作は所定のジェスチャー操作であって、前記所定のジェスチャー操作が、前記表示画像に関連する詳細情報の表示を指示するものである場合、前記特定手段は、前記関連情報として前記表示画像に関連する詳細情報を特定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示画像に関連する詳細情報の表示を指示する前記所定のジェスチャー操作は、前記外部装置によって表示された前記表示画像に対するピンチアウト操作であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記外部装置によって表示された前記表示画像は、前記撮像手段の撮像範囲にある紙文書を説明する情報を表示する画像であることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記所定のユーザ操作が所定のジェスチャー操作であって、前記所定のジェスチャー操作が、前記紙文書への入力を指示するものである場合、前記特定手段は、前記関連情報として前記表示画像に関連する個人情報を特定することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記所定のジェスチャー操作は、前記外部装置によって表示された前記表示画像に対する複数回のタッチ操作又は長押し操作であることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記表示画像、前記所定のジェスチャー操作および前記関連情報を対応付けて保持する第一保持手段をさらに備え、前記特定手段は、前記第一保持手段を参照して、前記関連情報を特定することを特徴とする請求項２乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記特定手段は、前記表示画像の位置および前記所定のジェスチャー操作の位置に基づいて、前記所定のジェスチャー操作の操作対象の前記表示画像を決定することを特徴とする請求項２乃至７の何れか１項に記載の情報処理装置。
【請求項９】
前記特定手段は、前記表示画像の位置に基づいて、前記関連情報の表示位置を決定することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
前記表示画像に所定のマーカーが含まれる場合は、前記特定手段は、前記マーカーの特徴量から抽出されるマーカー情報に基づいて、前記関連情報を特定することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
【請求項１１】
前記表示画像に所定のマーカーが含まれる場合は、前記特定手段は、前記マーカーの特徴量から抽出されるマーカー情報に基づいて、前記関連情報の表示位置を決定することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
【請求項１２】
前記マーカーは、ＱＲコード（登録商標）又はＡＲマーカーであることを特徴とする請求項１０又は１１に記載の情報処理装置。
【請求項１３】
前記マーカーの特徴量と、前記マーカー情報を対応付けて保持する第二保持手段をさらに備え、前記特定手段は、前記第二保持手段を参照して、前記関連情報を特定することを特徴とする請求項１０乃至１２の何れか１項に記載の情報処理装置。
【請求項１４】
前記情報処理装置は、眼鏡型表示装置であって、前記眼鏡型表示装置を装着しているユーザを対象に前記関連情報を表示することを特徴とする請求項１乃至１３の何れか１項に記載の情報処理装置。
【請求項１５】
前記撮像手段は、不特定多数のユーザを対象に、前記外部装置によって表示された前記表示画像を撮像することを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
【請求項１６】
外部装置によって表示された表示画像を撮像可能な撮像工程と、
所定のユーザ操作を検知する検知工程と、
前記所定のユーザ操作と前記表示画像とに基づいて、前記表示画像の関連情報を特定する特定工程と、
前記関連情報を表示する表示工程と、
を備えることを特徴とする情報処理装置の制御方法。
【請求項１７】
外部装置によって表示された表示画像を撮像可能な撮像ステップと、
所定のユーザ操作を検知する検知ステップと、
前記所定のユーザ操作と前記表示画像とに基づいて、前記表示画像の関連情報を特定する特定ステップと、
前記関連情報を表示する表示ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示する情報を制御する情報処理装置、情報処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
情報処理装置に備えられたカメラ等の撮像可能な装置を用いて、現実世界に存在する物体や紙文書を撮像した画像を認識し、認識結果に応じて物体や紙文書等の拡張情報を情報処理装置が取得することが行われている。拡張情報を取得した後、プロジェクタ等の表示装置を用いて、この拡張情報を、物体や紙文書等のオブジェクト上や近傍に重畳投影して表示する技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２３５３７３
【発明の概要】
【発明が解決しようとする課題】
【０００４】
プロジェクタ又は液晶ディスプレイ等の表示装置（以下、共有表示装置とも記載する）を用いた、現実世界の物体や紙文書など（以下、オブジェクトとも記載する）に対する拡張情報の表示は、不特定多数のユーザでの情報共有に向いている。一方で、個人毎に異なる情報の提示が難しいという問題がある。プロジェクタ等を用いずに、眼鏡型表示装置やタブレットデバイス等、個人で使用する情報処理装置（以下、個別表示装置とも記載する）を用いてオブジェクトに対する関連情報を閲覧する方法も存在するが、該装置は情報共有には向いていない。
【０００５】
このように、不特定多数のユーザがプロジェクタ等を用いて各ユーザに対して共通の情報（以下、共有情報とも記載する）を表示する時に、表示された共有情報に関連し、ユーザごとに異なる情報（以下、個別情報とも記載する）を表示したい場合がある。しかし、この場合に、従来の技術では個人で使用する情報処理装置が複数の個別情報からユーザの閲覧したい個別情報を特定して適切に表示することはできないという課題がある。
【０００６】
本発明はこのような問題点に鑑みなされたもので、プロジェクタ等によって表示された共有情報に関連し、ユーザ操作ごとに異なる情報を、表示する情報処理装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するための情報処理装置は、以下の構成を備える。すなわち、外部装置によって表示された表示画像を撮像可能な撮像手段と、所定のユーザ操作を検知する検知手段と、前記所定のユーザ操作と前記表示画像とに基づいて、前記表示画像の関連情報を特定する特定手段と、前記関連情報を表示する表示手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、プロジェクタ等によって表示された共有情報に関連する情報をユーザ操作に基づいて特定するので、ユーザ操作ごとに異なる情報を、個人で使用する情報処理装置が表示することができる。
【図面の簡単な説明】
【０００９】
【図１】各実施形態における文書処理システムの概念図である。
【図２】文書処理システムを構成するハードウェア構成の一例を示すブロック図である。
【図３】文書処理システムの各装置の機能構成を示すブロック図である。
【図４】第１の実施形態における文書処理システムの全体処理の流れを示すフローチャートである。
【図５】（ａ）第１の実施形態における共有情報管理テーブルの一例である。（ｂ）第１の実施形態における共有情報表示位置テーブルの一例である。（ｃ）第１の実施形態における個別表示内容管理テーブルの一例である。
【図６】第１の実施形態における共有情報の表示と個別情報の表示の一例である。
【図７】第２の実施形態における共有情報の表示と個別情報の表示の一例である。
【図８】第２の実施形態における文書処理システムの処理の流れを示すフローチャートである。
【図９】（ａ）第２の実施形態における表示情報と表示位置の特定処理の流れを示すフローチャートである。（ｂ）第２の実施形態における表示部の決定処理の流れを示すフローチャートである。（ｃ）第２の実施形態における表示処理の流れを示すフローチャートである。
【図１０】（ａ）第２の実施形態におけるテンプレートＸＭＬの例を示す図である。（ｂ）ＸＭＬ要素を画像データとしてレンダリングしたイメージである。
【図１１】（ａ）第２の実施形態の共有表示装置に保持されるデータの例を示す図である。（ｂ）第２の実施形態の個別表示装置に保持されるデータの例を示す図である。
【図１２】（ａ）第２の実施形態の共有表示装置が情報を表示するためのＸＭＬの例を示す図である。（ｂ）第２の実施形態の共有表示装置がマーカーを表示するためのＸＭＬの例を示す図である。
【図１３】（ａ）第２の実施形態の共有表示装置が表示した画像の例を示す図である。（ｂ）第２の実施形態の個別表示装置が表示した画像の例を示す図である。（ｃ）ユーザから見える紙文書と表示画像の例を示す図である。
【図１４】（ａ）行程表を作成するために選択された領域を示す図である。（ｂ）共有表示装置が表示した情報の例を示す図である。（ｃ）ユーザから見える紙文書と表示画像の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。
【００１１】
＜第１の実施形態＞
図１（ａ）（ｂ）を用いて本実施形態における情報処理システムの処理概要を説明する。本実施形態では、プロジェクタとカメラを備える共有情報の表示装置１０１（以下、共有表示装置１０１とも記載する）を用いる。共有表示装置１０１は、該装置が備えるカメラを用いて現実世界の紙文書１０３を撮影する。撮影された紙文書１０３の画像は、共有表示装置１０１の情報管理装置１０２に送られる。情報管理装置１０２は、送られた紙文書１０３の画像を用いて該画像に関連する情報を検索し、検索結果を共有表示装置１０１に伝える。検索結果を情報管理装置１０２から受け取った共有表示装置１０１は、紙文書１０３の近傍に検索結果をプロジェクタにより投影して表示する。情報１０４は、投影された情報の一例である。
【００１２】
プロジェクタにより投影された情報１０４は、複数人で同じ情報を共有する場合は有用であるが、閲覧者毎に異なる情報を見たい場合には向いていない。本システムでは、以下に説明する方法で、当該課題を解決する。
【００１３】
本システムでは、共有表示装置１０１が表示した情報とは異なる、閲覧者が個別に必要とする情報（以降、個別表示情報とも記載する）を閲覧するための情報処理装置１０５（以降、個別表示装置１０５とも記載する）を備えている。個別表示装置１０５は、閲覧者の操作を検出するための各種センサとディスプレイを備える。個別表示装置１０５は閲覧者の操作などを検出し、検出結果を用いて、ユーザの閲覧したい個別表示情報を取得する。個別表示情報は、個別表示装置１０５により表示される。個別表示情報１０６は、表示された個別表示情報の一例である。
【００１４】
以降、本実施形態について図２〜図７を用いて詳細に説明する。
【００１５】
図２は、本実施形態における情報処理システム（以下、文書処理システム）に含まれる情報処理装置のハードウェア構成の一例を示すブロック図である。図１にて説明した共有表示装置１０１、情報管理装置１０２、個別表示装置１０５は、以下に説明するハードウェア構成を備えている。なお、本実施形態では、共有表示装置１０１、情報管理装置１０２と個別表示装置１０５とがそれぞれ異なる構成の情報処理装置である。
【００１６】
異なる構成として、共有表示装置１０１の表示部２０６は、例えば、プロジェクタ又は大型の液晶ディスプレイであるが、個別表示装置１０５の表示部２０６は、例えば、眼鏡型表示装置であるグラスデバイスのヘッドアップディスプレイ又はスマートフォンの液晶ディスプレイである。また、情報管理装置１０２は表示部２０６、撮像部２０９とセンサ２１０を備えていない。
【００１７】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０２は、各種処理のための演算や論理判断などを行い、バス２０１に接続された各種要素を制御する。
【００１８】
本文書処理システムは、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。このメモリはＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３であっても良いし、記憶部２０５などからプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０４であっても良い。あるいは、これらの組合せで実現しても構わない。
【００１９】
記憶部２０５は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクなどである。また、本実施形態では、写真や文書等を保持しておくためにも利用される。なお、写真や文書等を保持しておく記憶装置としては、外部接続やネットワークに接続された不図示の外部記憶装置を用いても良い。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、たとえば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。
【００２０】
入力装置２０７はユーザからの指示を入力するための装置である。ユーザは入力装置２０７を介して、当該文書処理システムに指示を行う。入力装置２０７は、たとえば、ユーザによるタッチ指示を検出可能なタッチパネルやユーザのジェスチャー指示を検出可能なセンサにより実現することができる。
【００２１】
インタフェース２０８（以下、Ｉ／Ｆ２０８という）は、情報の仲介を行う装置であり、このＩ／Ｆ２０８を介して外部装置とのデータのやり取りを行う。
【００２２】
撮像部２０９は、レンズと撮像素子を持ち、レンズから入射する光を撮像し、画像データを生成する。本実施形態では、撮像部２０９は、紙文書１０３又はプロジェクタにより投影された情報１０４を撮像し、撮像した画像から、紙文書１０３又はプロジェクタにより投影された情報１０４を認識する。
【００２３】
センサ２１０は、ユーザによるジェスチャー操作を検知する。センサ２１０は、ユーザによるジェスチャー操作を検知できるものであればよい、例えば、距離センサである。
【００２４】
図３は、本実施形態における文書処理システムの構成を示すブロック図である。文書処理システムは、共有表示装置３１０、個別表示装置３２０および情報管理装置３３０から構成される。なお、共有表示装置３１０、個別表示装置３２０および情報管理装置３３０はそれぞれ図１の共有表示装置１０１、個別表示装置１０５および情報管理装置１０２と対応する。各装置は、図２にて説明したハードウェアを備えるが、図２に示すハードウェアをすべて備える必要はなく、次に説明する諸機能を実現できるハードウェアであれば足りる。
【００２５】
共有表示装置３１０は、共有表示内容取得部３１１および共有情報表示部３１２および撮像部３１２から構成される。共有表示内容取得部３１０は、共有表示装置３１０で表示する情報を情報管理装置３３０から取得する。表示内容の取得処理の詳細は図４のステップＳ４０１０にて説明する。
【００２６】
共有情報表示部３１２は、共有表示装置３１０による表示処理を行う。表示処理の詳細は図４のステップＳ４０２０にて説明する。
【００２７】
個別情報表示装置３２０は、表示位置特定部３２１、ユーザ操作検知部３２２、個別表示内容特定部３２３、個別情報表示部３２４、情報保持部３２５および撮像部３２６から構成される。
【００２８】
表示位置特定部３２１は、共有表示装置３１０により表示された情報の表示位置を取得する。表示位置取得処理の詳細は図４のステップＳ４０３０にて説明する。
【００２９】
ユーザ操作検知部３２２は、表示位置特定部３２１により取得された位置に表示された表示画像に対するユーザ操作を検知する。ユーザ操作の検知処理の詳細は図４のステップＳ４０４０にて説明する。
【００３０】
個別表示内容特定部３２３は、個別表示装置３２０で表示する情報を共有表示装置３１０の情報管理装置３３０又は個別表示装置３２０内にある情報保持部３２５から取得する。表示内容の取得処理の詳細は図４のステップＳ４０５０にて説明する。
【００３１】
個別情報表示部３２４は、個別表示装置３２０による表示処理を行う。表示処理の詳細は図４のステップＳ４０６０にて説明する。
【００３２】
情報管理装置３３０は、共有表示装置３１０にて表示する共有情報を保持し、管理するものであり、図５（ａ）にて後述する共有情報管理テーブルなどを保持する。
【００３３】
個別表示装置３２０内にある情報保持部３２５は、個別表示装置３２０にて表示する個別情報を保持するものであり、図５（ｂ）と図５（ｃ）にて後述する個別表示内容管理テーブルなどを保持する。なお、個別表示内容管理テーブルなどは、情報管理装置３３０に保持されてもよい。この場合は、個別表示装置３２０は、情報管理装置３３０にある個別表示内容管理テーブルなどを取得して、利用することができる。
【００３４】
図３のブロック図が示す各処理は、図２のＣＰＵ２０２によって制御されている。前述したように、当該処理群の詳細は後述する。
【００３５】
図４は、本実施形態における文書処理システム全体の流れを説明するフローチャートである。
【００３６】
ステップＳ４０００は文書画像取得処理である。文書画像取得処理では、図３にて説明した共有表示装置３１０により、現実世界に存在する紙文書を撮像し、紙文書の画像データを取得する。具体的には、共有表示装置３１０が備える撮像部３１３（カメラ等）を用いて紙文書を含む現実世界を撮像することで紙文書の画像データを取得する。
【００３７】
ステップＳ４０１０は共有表示内容取得処理である。共有表示内容取得処理では、共有表示内容取得部３１１が、ステップＳ４０００にて取得した紙文書の画像データを用いて、共有表示装置３１０で表示すべき情報として紙文書の関連情報を取得する。具体的には、撮像部３１３がステップＳ４０００にて取得した紙文書の画像データを情報管理装置３３０に通知する。情報管理装置３３０では、紙文書の画像データから画像特徴点を抽出し、その画像特徴点の画像特徴量を算出し、当該画像特徴量と予め紐付けられた関連情報を特定する。そして、情報管理装置３３０が特定した関連情報を共有表示装置３１０に送信する。なお、本実施形態では、紙文書の関連情報は紙文書を説明する情報である。
【００３８】
画像特徴点の抽出および画像特徴量の算出は、既存の技術を用いることが可能である。既存の技術としては、たとえばＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）が存在する。画像特徴量と紐付けられた情報は、図５（ａ）に示すような共有情報管理テーブルにて管理される。共有情報管理テーブルは、情報管理装置３３０に保持される。画像特徴量５０１ａに対応する表示内容がコンテンツＵＲＩ５０２ａとして規定されている。紙文書の画像データ内に、予め登録された画像特徴量が複数存在する場合は、複数のコンテンツＵＲＩが表示内容として特定されることになる。例えば、文書内で使用される写真や文章等のコンテンツ毎に画像特徴点を抽出し、画像特徴量を算出しておき、コンテンツ毎にそのコンテンツを説明するコンテンツＵＲＩを規定しておくことができる。文章については、文字列をレイアウトした状態で画像化することで、画像特徴点を抽出して画像特徴量を算出することが可能である。
【００３９】
本実施形態では、画像特徴量を用いて表示内容としての文書画像の関連情報を特定したが、異なる方法を用いることも可能である。例えば、文書画像に対して文字認識処理を行い、文字認識結果を検索クエリとして検索処理を実施し、検索結果を表示内容として決定することも可能である。当該方法を用いることで、画像特徴量に対応する表示内容を予め規定しておく必要がなくなる。
【００４０】
ステップＳ４０２０は共有情報の表示処理である。共有情報の表示処理では、ステップＳ４０１０にて取得した表示内容を用いて、表示処理を行う。具体的には、ステップＳ４０１０で取得したコンテンツＵＲＩに存在するコンテンツを取得し、該コンテンツをプロジェクタにより出力する。出力位置は、予め規定された位置、例えば、ステップＳ４０００にて取得した文書画像の右側など、文書画像の位置に対する相対的な位置を規定しておくことができる。文書画像の位置については、既存のカメラ位置・姿勢推定技術を用いることで、特定することが可能である。画像特徴点を用いたカメラ位置・姿勢推定技術が知られている。具体的には、文書画像の画像特徴点の位置関係を予め登録しておき、登録された画像特徴点の位置関係とステップＳ４０００にて取得した文書画像の画像特徴点の位置関係を比較することで、文書に対するカメラの位置・姿勢を推定することが可能になる。
【００４１】
ステップＳ４０３０は表示位置取得処理である。表示位置取得処理では、ステップＳ４０２０にて表示した共有情報について、個別表示装置３２０から見た場合の表示位置を取得する。具体的には、個別表示装置３２０に搭載されているカメラ等の撮像部３２６を用いて、表示された共有情報を含む現実世界を撮像し、撮像された共有情報の撮像画像における共有情報の位置を特定する。位置の特定には、ステップＳ４０２０にて説明した既存のカメラ位置・姿勢推定技術を用いることができる。すなわち、個別表示装置３２０では、共有情報の撮像画像の画像特徴点を予め登録しておき、登録された画像特徴点とステップＳ４０３０にて取得した共有情報の撮像画像から得られる画像特徴点を比較する。それによって、共有情報に対する個別表示装置３０２が備えるカメラ等の撮像部３２６の位置・姿勢を推定することができる。本実施形態では、撮像部３２６で撮像した撮像画像から共有情報の位置を特定する。特定したが共有情報の表示位置については、図５（ｂ）に示す共有情報表示位置テーブルに格納される。共有情報表示位置テーブルは、共有情報を一意に特定するためのコンテンツＵＲＩ５０１ｂ、共有情報の表示位置を示す４頂点座標である左上座標５０２ｂ、左下座標５０３ｂ、右上座標５０４ｂ、右下座標５０５ｂから構成される。なお、共有情報表示位置テーブルは、情報保持部３２５に保持される。
【００４２】
本実施形態では、共有情報の表示位置の形状を四角形とし、４頂点座標により位置を表現したが、異なる方法を用いても良い。例えば、ベクトルデータを用いることで、任意形状を表現することも可能である。
【００４３】
ステップＳ４０４０はユーザ操作検知処理である。ユーザ操作検知処理では、ステップＳ４０３０にて、撮像画像から特定された共有情報の表示位置に対する閲覧者（個別表示装置３２０の使用者）の所定のユーザ操作を検知する。具体的には、個別表示装置３２０が備える距離センサを用いて、閲覧者のジェスチャー操作を認識する。ジェスチャー操作の認識は既存のジェスチャー認識技術を用いることができる。例えば、距離センサから取得される距離画像から、人間の手と思われる部分を推定して、手と推定された部分の動きから、各種ジェスチャー操作を認識する手法が知られている。ジェスチャー操作の認識結果は、ジェスチャー操作の種別と位置の情報が含まれる。続いて、検知したユーザ操作の位置の情報が共有情報表示位置テーブルに格納される共有情報の表示位置に含まれるか判定することにより、所定のユーザ操作を検出する。所定のユーザ操作である所定のジェスチャー操作については、図５（ｃ）を用いて説明する。
【００４４】
本実施形態では、距離センサを用いてジェスチャー認識を実現したが、異なる方法を用いることも可能である。例えば、赤外カメラにより取得できる画像を用いたジェスチャー認識の方法が知られている。
【００４５】
また、本実施形態では、個別表示装置３２０が備える距離センサを用いたジェスチャー認識を実施したが、異なるハードウェア構成でも実現可能である。例えば、共有表示装置３１０が備える距離センサを用いてジェスチャー認識を実施することも可能である。この場合、共有表示装置３１０から距離センサのジェスチャー操作の認識結果を個別表示装置３２０に送信し、個別表示装置３２０が共有表示装置３１０からジェスチャー操作の認識結果を受信する。また、個別表示装置３２０から見た場合のジェスチャー操作の位置を特定するために、共有装置３１０から個別表示装置３２０の座標系に変換する処理が必要になる。座標系の変換処理は、ステップＳ４０２０にて説明したカメラの位置・姿勢技術を用いることで実現可能である。共有表示装置３１０の撮像部３１３と個別表示装置３２０の撮像部３２６は、それぞれの位置・姿勢を推定し、推定結果を用いて座標系を変換することができる。
【００４６】
ステップＳ４０５０は個別表示内容取得処理である。個別表示内容取得処理では、個別表示内容特定部３２３が、ステップＳ４０４０にて取得された共有情報操作の種別に応じて、個別表示の内容を特定する。具体的には、個別表示内容特定部３２３が、図５（ｃ）に示す個別表示内容管理テーブルを参照して、個別表示内容を特定する。個別表示内容管理テーブルは、個別表示装置３２０にある情報保持部３２５に保持される。個別表示内容管理テーブルは、共有表示内容を一意に特定する共有表示内容ＵＲＩ５０１ｃ、操作種別５０２ｃ、個別表示内容を一意に特定する個別表示内容ＵＲＩ５０３ｃから構成される。ステップＳ４０４０にて特定した、共有表示内容に対する操作種別を探索し、共有表示内容と操作種別に応じて、個別表示内容の特定を行う。
【００４７】
ステップＳ４０６０は個別表示処理である。個別表示処理では、ステップＳ４０５０にて取得した個別表示の情報を、ステップＳ４０３０にて取得した表示位置に表示する。具体的には、個別表示情報を個別表示装置３０２が備えるディスプレイに出力する。本手法では、Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙとして知られているように、ディスプレイから閲覧できる現実世界に対して情報の重畳表示を行っている。実際の出力結果例については、図６（ｃ）（ｄ）を用いて後述する。
【００４８】
本実施形態では、個別表示の情報を共有情報の表示位置に重畳して表示したが、異なる表示位置に表示してもよい。例えば、共有情報の表示位置の隣接領域に個別情報を表示することができる。この場合、共有表示情報と個別表示情報を同時に閲覧することが可能になる。また、ユーザのジェスチャー操作の操作位置に個別情報を表示することもできる。この場合、ユーザの意図した場所に、個別情報を表示することができる。
【００４９】
以上説明した処理によって、操作種別に応じて個別表示の内容を変更することが可能になる。図６は、操作種別に応じて個別表示の内容が変更された例である。○○帳票６０１は、紙の帳票である（図６（ａ））。共有情報６０２は、○○帳票６０１に対する共有情報であり、○○帳票６０１を閲覧している全ての人が見ることができる（図６（ｂ））。共有情報６０２は、帳票に対する記入例を示す情報が表示されている。なお、共有情報６０２は、共有情報表示部３１２のプロジェクタによって投影されたものである。
【００５０】
この状況において、個別表示装置を介して閲覧者が共有情報６０２に対して異なる操作を行った場合の個別表示の例が図６（ｃ）（ｄ）に示すものである。本例では、個別表示装置を介して閲覧者が、共有情報の表示に対してピンチアウト操作を行った場合、共有情報の詳細説明が個別表示６０３として表示される（図６（ｃ））。一方、個別表示装置を持った閲覧者が、共有表示に対して書込みを指示する操作を行った場合、閲覧者の個人名などの個人情報が記入例６０４として表示される。
【００５１】
本実施形態では、ピンチアウト操作は、表示された共有情報の関連情報として、共有情報に関連する詳細情報の表示を指示するユーザ操作である。また、詳細情報の表示を終了し、共有情報の表示に戻すユーザ操作は、ピンチイン操作である。
【００５２】
なお、本実施形態では、ピンチアウト操作は、２本の指で操作対象をつまむように動かす操作である。ピンチイン操作は、２本の指を広げるように動かす操作である。
【００５３】
また、ユーザが紙文書への入力を指示する場合は、書込み操作を行う。書込み操作のジェスチャー操作として、例えば、共有情報の表示位置を複数回タッチするタッチ操作又は長押し操作である。ユーザが書込み操作を行った場合に、個別情報表示部３２４では、紙文書への入力を行うために必要な個人情報を表示する。この個人情報は、紙文書を説明する共有情報に関連するものである。
【００５４】
このような処理により、銀行など公の場で帳票を記入する際に、第三者に閲覧されても問題ない情報を共有情報として表示し、実際に帳票に書き込む必要のある人にのみ必要な詳細情報又は個人情報を帳票作成者の操作に応じて表示することができる。
【００５５】
本実施形態では、ジェスチャー操作に限らず、ジェスチャー操作に加えて、個別表示装置の使用者の視線情報に応じた個別表示の変更例について説明する。
【００５６】
この場合は、個別表示装置はジェスチャー認識のための距離センサに加えて、使用者の視線を検出する視線検出センサ（非図示）を備える。視線検出センサは既存のセンサを使用することができる。
【００５７】
ステップＳ４０４０のユーザ操作検知処理において、ジェスチャー操作の認識処理に加えて、個別表示装置使用者の視線を検出する。視線検出は、個別表示装置に備えられた視線検出センサを用いて行うことができる。検出された視線の情報は、位置座標として取得できる。続いて、該位置座標が共有情報表示位置テーブルに格納される共有情報の表示位置に含まれるかを判定することで、共有表示に対する視線であるかを特定する。共有表示に対する視線の位置が予め規定された時間を超えて与えられた場合、閲覧者により共有情報が凝視されているとみなし、操作種別を凝視として特定する。
【００５８】
本実施形態では、共有表示に視線を送った時間を用いて凝視と判断したが、異なる情報を使って凝視を判断してもよい。例えば、視線が送られる回数をカウントし、該回数が所定の回数を超えた場合に凝視していると判断することも可能である。
【００５９】
ステップＳ４０５０は個別表示内容取得処理である。本実施形態では、実施形態１で説明した処理と同様に、個別表示内容管理テーブルを用いて、個別表示内容を特定する。具体的には、ジェスチャーの操作種別に加えて、凝視を操作種別として保有する個別表示内容管理テーブルを参照することで、凝視に対応する個別表示内容を特定することが可能である。例えば、ユーザが詳細情報を凝視していると判断された場合は、詳細情報をスクロールする、或いは拡大表示することができる。
【００６０】
以上、詳細に説明したように、閲覧者の視線を用いて、閲覧者の個別表示を変更することで、ジェスチャーなどの明確な位置を持った操作ではない場合も閲覧者の意図を推定して個別表示を変更することが可能になる。
【００６１】
また、本実施形態では、ジェスチャーや視線を閲覧者の操作として用いたが、異なる方法を用いることも可能である。たとえば、閲覧者による音声を認識し、音声認識の結果からユーザの操作を決定してもよい。音声認識については、既存の音声認識技術を用いることが可能である。共有情報に関連するキーワードと対応する個別表示の内容を予め規定しておくことで、閲覧者の発話内容に応じて個別表示を変更することが可能になる。対面で行われる商談など、対話が生じるシーンにおいて、閲覧者の発話内容により個別表示の変更が可能となり、ジェスチャー等の不要な操作をしなくとも発話という自然な行為によって必要な個別表示を閲覧することができる。
【００６２】
＜第２の実施形態＞
本実施形態の文書処理システムのハード構成は第１の実施形態と同じであるので、その説明を省略する。また、本実施形態では、表示位置特定部３２１と個別表示内容特定部３２３とが個別表示の表示位置と個別表示の内容とをそれぞれ特定し、個別情報の表示により作業支援を行う基本的な機能は第１の実施形態と同じである。
【００６３】
本実施形態は、共有表示装置３１０と個別表示装置３２０を用いた情報の表示方法に関するものである。具体的に、図７に示すように、作業台７０１の上に紙文書の例として申込書７０２が置かれている状態で、申込書７０２の記入例７０３を本文書処理システムにより申込書７０２の隣に表示する方法である。この表示方法によって、ユーザの申込書７０２への記入を支援することができる。なお、作業台７０１は、撮像部３２６の撮像範囲にある。
【００６４】
以下、図８のフローチャートを用いて本実施形態の処理の詳細を説明する。
【００６５】
図８は、本実施形態における文書処理システムの表示処理の流れをフローチャートにより説明するものである。
【００６６】
ステップＳ８０１では、共有表示装置３１０と個別表示装置３２０とが表示すべき情報とその表示位置を決定する。
【００６７】
ステップＳ８０２では、ステップＳ８０１で決定した情報について、共有表示装置３１０と個別表示装置３２０のいずれで表示するかを決定する。例えば、表示すべき情報は情報管理装置３３０に保持されていれば、共有表示装置３０１で表示し、共有情報と称する。表示すべき情報は個別表示装置３２０の情報保持部３２５に保持されていれば、個別表示装置３０２で表示し、個別情報と称する。
【００６８】
ステップＳ８０３では、共有情報表示部３１２は、ステップＳ８０３によって決定した共有情報を元に表示を行い、ステップＳ８０４へ進む。
【００６９】
ステップＳ８０４では、ステップＳ８０２で決定した個別情報が存在するかを判定し、存在すればステップＳ８０５ａへ、存在しなければ終了する。
【００７０】
ステップＳ８０５では、個別表示装置３２０の情報保持部３２５から個別表示の情報（個別情報）を取得する。
【００７１】
ステップＳ８０６では、個別表示装置３２０の個別情報表示部３２４において表示処理を行い、処理を終了する。
【００７２】
以下、ステップＳ８０１の処理について図９（ａ）のフローチャートを用いて説明する。
【００７３】
ステップＳ９０１ａでは、共有表示装置３１０の撮像部３１３で撮像した申込書７０２の撮像画像から紙面の座標を検出する。紙面の検出は公知の方法を用いればよい。画像中の紙面検出には、紙面の辺を直線抽出により抽出し、線分を縦方向、横方向に分類して２本の縦方向線、２本の横方向線から原稿四辺を推定する方法がある。直線抽出は、撮像画像をグレースケールへと変換し、ＳｏｂｅｌやＬａｐｌａｃｉａｎフィルタなどの公知のエッジ強調をかけ、ハフ変換や最小近似法などの公知の手法により線分を抽出すればよい。この紙面検出方法は一例であり、作業台１０１のみを撮影した画像との差分比較から推定してもよいし、専用のセンサなどで検出してもよい。
【００７４】
ステップＳ９０２ａでは、ステップＳ９０１ａで検出した紙面の座標から、矩形画像へと公知の逆透視変換処理により変換し、矩形画像化する。
【００７５】
ステップＳ９０３ａでは、ステップＳ９０２ａで矩形画像化した紙面画像が、情報管理装置３３０に記録されている登録帳票と一致するものを識別する。帳票識別は、公知の帳票識別技術を用いればよい。
【００７６】
ステップＳ９０４ａでは、共有表示内容取得部３１１はステップＳ９０３ａで識別した登録帳票の記入例情報を情報管理装置３３０から取得する。
【００７７】
図１０（ａ）のＸＭＬ１００１（テンプレートＸＭＬ１００１とも記載する）は、申込書７０２の記入例情報をＸＭＬで表現した例である。
【００７８】
ルート要素となるｔｅｍｐｌａｔｅ要素１００２では、ｎａｍｅ属性で“ａｐｐｌｉｃａｔｉｏｎ  ｆｏｒｍ”が表されている。
【００７９】
ｂｏｄｙ要素１００３ａでは、帳票のサイズを、ｗ要素で幅、ｈ要素で高さを表現している。
【００８０】
ｉｍａｇｅ要素１００４ａでは、申込書７０２の未記入画像をｓｒｃ属性で指定し、ｘ、ｙ、ｗ、ｈ属性で、それぞれ左上原点のｘ、ｙ座標、幅高さを指定し、ｂｏｄｙと同じサイズで描画する。
【００８１】
ｖａｒｉａｂｌｅ要素１００５ａ乃至１００８ａは、固定値ではなく、ｎａｍｅ属性を変数名とする変数フィールドであることを表している。ｘ、ｙ、ｗ、ｈ属性で矩形のサイズと、ｔｙｐｅ属性でｔｅｘｔであることを指定し、ｔｅｘｔ＿ａｌｉｇｎ属性で配置位置を左詰に、ｔｅｘｔ＿ｓｉｚｅ属性でテキストサイズを、矩形に合わせるように指定している。それぞれｕｓｅｒ［ｎａｍｅ］でユーザの氏名、ｕｓｅｒ［ａｄｄｒｅｓｓ］でユーザの住所、ｕｓｅｒ［ｐａｒｅｎｔ］［ｎａｍｅ］でユーザの親の氏名、ｕｓｅｒ［ｐａｒｅｎｔ］［ａｄｄｒｅｓｓ］でユーザの親の住所を表している。
【００８２】
本実施形態では、説明のために記入例情報をＸＭＬ形式で表現したが、その他の形式でもよいし、その他の情報を含んでいてもよい。
【００８３】
図１０（ｂ）は、図１０（ａ）のＸＭＬ要素の１００３ａ乃至１００８ａを画像データとしてレンダリングしたイメージである。
【００８４】
ステップＳ９０５ａでは、記入例７０３を作業台７０１のどこに表示するかを決定する。本実施形態では、ステップＳ９０１ａで検出した紙面座標の隣の近傍、すなわち紙面と水平方向の左右いずれか空いている方へずらし、紙面と重ならない位置に同等の大きさで出力するものとする。ステップＳ９０５ａにより、記入例７０３の表示位置が決定された。
【００８５】
この方法は一例であり、紙面に対して上下方向でもよいし、別の近傍位置でもよい。
【００８６】
ステップＳ８０２では、ＸＭＬ１００１の各要素について、共有表示装置３０１と個別表示装置３０２のどちらで表示（描画）するかを決定する。
【００８７】
以下、ステップＳ８０２の処理について図９（ｂ）のフローチャートを用いて説明する。
【００８８】
ステップＳ９０１ｂでは、未処理の変数要素から処理対象を選択する。最初にテンプレートＸＭＬ１００１の変数要素１００５ａが選択される。
【００８９】
ステップＳ９０２ｂでは、変数要素１００５ａが共有表示装置３１０で表示すべきか否かを判別する。共有表示すべきでない情報とは、例えばユーザ自身の情報、や行動履歴、ユーザの関係者の情報のようにユーザが秘匿したい個人情報などである。本実施形態では、情報管理装置３３０に保持されていなく、個別表示装置３２０だけに保持された個人情報は秘匿レベルが高いとし、情報管理装置３３０が情報を保持しているか否かにより、共有表示装置３１０で表示すべきか、秘匿すべきかを判別している。この例は一例であり、ユーザに関わる情報全てを秘匿すべき情報としてもよいし、本実施形態の様にレベルを設けて共有表示可能、不可能を判別してもよいし、都度ユーザにＵＩを表示し選択させてもよい。
【００９０】
図１１（ａ）が、情報管理装置３３０が保持するユーザに関する情報である。ただし、この情報には秘匿したい個人情報が含まれていないとする。
【００９１】
ユーザの特定については、文書処理システム利用時のログイン処理により、判別されているものとする。ｎａｍｅカラム、ａｄｄｒｅｓｓカラムについては、情報が入っているが、ｐａｒｅｎｔに関してはデータが情報管理装置３３０に保持されていないとする。ここでは、テンプレートＸＭＬ１００１のｕｓｅｒ［ｎａｍｅ］はｎａｍｅカラム、ｕｓｅｒ［ａｄｄｒｅｓｓ］はａｄｄｒｅｓｓカラム、ｕｓｅｒ［ｐａｒｅｎｔ］はｐａｒｅｎｔカラムがそれぞれ対応しているとする。
【００９２】
変数要素１００５ａは、ユーザのｎａｍｅカラムから情報取得が可能であるため共有表示装置３０１で表示すべきとして、ステップＳ９０３ｂへ進む。
【００９３】
ステップＳ９０３ｂでは、変数要素１００５ａは共有表示装置での表示を決定し、ステップＳ９０５ｂへ進む。
【００９４】
ステップＳ９０５ｂでは、未処理の変数要素があるため、ステップＳ９０１ｂへ進む。
【００９５】
同様に、変数要素１００６ａ乃至１００８ａまでステップＳ９０２ｂ乃至ステップＳ９０５ｂの処理を繰り返し、フローチャートを終了する。
【００９６】
変数要素１００６ａは、ユーザのａｄｒｅｓｓカラムから情報取得が可能であるため共有表示装置１０３で表示すべきとし、ステップＳ９０３ｂで共有表示装置３０１での表示を決定する。
【００９７】
変数要素１００７ａ、１００８ａはｐａｒｅｎｔカラムに情報が存在しないため、ステップＳ９０２ｂの処理でステップＳ９０４ｂへ進む。
【００９８】
ステップＳ９０４ｂでは、変数要素１００７ａ、１００８ａは個別表示装置３０２での表示を決定し、ステップＳ９０５ｂへ進む。
【００９９】
図１２（ａ）のＸＭＬ１２０１ａは、ステップＳ８０２での表示装置の決定に基づいて、共有表示装置３０１で表示（描画）すべきデータをＸＭＬ形式で表現したものである。
【０１００】
ｖｉｅｗ要素１２０２ａでは、ＰｕｂｌｉｃＶｉｅｗという名称をｎａｍｅ属性により表し、ｂｏｄｙ要素１２０３ａで描画した内容をどこに表示するか、ｐｏｓｉｔｉｏｎ属性とｓｉｚｅ属性により、表示装置２０６で表示範囲に対する描画位置とサイズを指定している。ここで指定している値は、申込書７０２の隣近傍に位置する記入例７０３の位置である。
【０１０１】
ステップＳ８０２により、共有表示装置３１０の共有情報表示部３１２で表示すると決定した、図１０（ａ）のＸＭＬ１００１の要素１００３ａ乃至１００６ａの要素が、図１２（ａ）のＸＭＬ要素１２０３ａ乃至１２０６ａとして記述されている。個別表示装置３２０の個別情報表示部３２４で表示すると決定した図１０（ａ）のＸＭＬ要素１００７ａ、１００８ａについては、個別表示装置３２０へ位置情報、内容情報を伝える。本実施形態では、図１２（ａ）のｍａｒｋｅｒ要素１２０７ａを用いて個別表示装置３２０へ位置情報、内容情報を伝えるためのマーカーをＸＭＬ要素１００７ｂ、１００８ｂの位置へ表示する。マーカーの説明については後述する。
【０１０２】
ステップＳ８０３では、共有情報表示部３１２はＸＭＬ１１０１ａを実際に描画する。
【０１０３】
以下、ステップＳ８０３以降の表示処理（描画処理又はレンダリングとも記載する）のフローについて、図９（ｃ）のフローチャートを用いて説明する。
【０１０４】
ステップＳ９０１ｃでは、処理要素を順に処理対象とし、ステップＳ９０２ｃへ進む。
【０１０５】
ステップＳ９０２ｃでは、要素が変数要素か否かを判別し、変数要素であればＳ９０３ｃへ進み、そうでなければＳ９０４ｃへ進む。
【０１０６】
ステップＳ９０３ｃでは、変数要素を情報管理装置３３０より取得し、変数値に代入しステップＳ９０４ｃへ進む。
【０１０７】
ステップＳ９０４ｃでは、要素内容を指定位置に描画し、ステップＳ９０５ｃへ進む。
【０１０８】
ステップＳ９０５ｃでは、未処理要素があるか否か判別し、あればステップＳ９０１ｃへ進み、処理を繰り返す。すべての要素について処理がなされると、終了する。
【０１０９】
ＸＭＬ１２０１ａでは、変数要素１２０５ａ、１２０６ａについて、それぞれ図１１（ａ）のユーザデータ１１０１から取得する。取得した“下丸子  太郎”、“東京都大田区ＸＸＸ−ＸＸ  キヤノマンション２０１”を変数フィールド上に描画して、画面データを生成する。
【０１１０】
ｍａｒｋｅｒ要素１２０７ａについては、後述する個別表示装置３２０で表示するｖｉｅｗの情報がｖｉｅｗ＿ｎａｍｅ属性値により参照されており、その内容を二次元コード化し、マーカーで表示する。
【０１１１】
図１３（ａ）の画面データ１３０１は共有表示装置３１０の描画した画面データの例である。ｖｉｅｗ要素１２０２ａで指定された位置１３０２にｂｏｄｙ要素１２０３ａ以下の内容が描画されている。
【０１１２】
ステップＳ８０４では、ステップＳ８０１での決定に、個別表示装置３２０での表示が含まれるため、ステップＳ８０５へ進む。
【０１１３】
ステップＳ８０５では、共有表示装置３１０から個別表示装置３２０へ情報を送信する。本実施形態では、マーカーに情報を埋め込み、共有表示装置３１０の共有情報表示部３１２で、共有表示画像にマーカーを重畳して表示し、個別表示装置３２０の撮像部３２６で撮像することでデータの送受信を行う。画面データ１３０１ａにマーカー１３０３ａが描画されている。なお、マーカーに埋め込まれるマーカー情報は、予めマーカー画像の特徴量と対応付けて情報保持部３２５に保持されている。個別表示内容特定部３２３が、情報保持部３２５に参照することによって、撮像部３２６の撮像したマーカー画像の特徴量から、マーカーに埋め込まれているマーカー情報を抽出する。
【０１１４】
マーカーはＡＲマーカーやＱＲコード（登録商標）などの公知のコードを用いればよい。その他、有線や無線を用いて送受信してもよい。また、描画位置のみをマーカーとして共有表示装置１０３で表示し、情報は無線などの別の手段を用いて送信してもよい。
【０１１５】
ステップＳ４０２で、図１２（ｂ）のＸＭＬ１２０１ｂは個別表示装置３０２で表示すべきと判別されたデータをＸＭＬ形式で表したものである。ｖｉｅｗ要素１２０２ｂでは、ＰｒｉｖａｔｅＶｉｅｗという名称をｎａｍｅ属性により表し、ｂｏｄｙ要素１２０３ａで描画した内容をどこに表示するか、位置とサイズをそれぞれｐｏｓｉｔｉｏｎ属性、ｓｉｚｅ属性で指定している。このＰｒｉｖａｔｅＶｉｅｗの名称のｖｉｅｗ要素は、ステップＳ８０２の処理により、ｍａｒｋｅｒ要素１２０７ａで描画したマーカー１３０３ａに二次元コードとして埋め込まれている。
【０１１６】
ここでは撮像部３２６の撮像したマーカーの座標情報に対して合わせて表示することで、個別表示装置３２０と作業台７０１の位置関係による歪みを吸収している。
【０１１７】
ｂｏｄｙ要素１２０３ｂは、サイズをｗ属性、ｈ属性で幅、高さで指定している。
【０１１８】
ｖａｒｉａｂｌｅ要素１２０４ｂ、１２０５ｂでは、変数要素としてｎａｍｅ属性で変数名を記述している。なお、マーカーの座標情報は、撮像部３２６の撮像したマーカー画像の特徴量から特定される。
【０１１９】
ステップＳ８０６では、ＸＭＬ１２０１ｂを元に図９（ｃ）のフローチャートで示すフローに従い、個別情報表示部３２４で表示する画像を描画する。
【０１２０】
図１１（ｂ）は、個別表示装置３２０の情報保持部３２５がユーザの個人情報を保持している。この個人情報は、ユーザが秘匿したい個人情報である。個別表示装置３２０が保有するユーザに関する個人情報のデータから図１１（ａ）のｐａｒｅｎｔカラムに相当するデータとして、ｒｅｌａｔｉｏｎｓｈｉｐ属性がｐａｒｅｎｔのデータを検索する。ここで、検索結果として個人情報１１０２が得られたので、ＸＭＬ１２０１ｂの変数要素１２０４ｂ、１２０５ｂとしてそれぞれ“下丸子  一郎”、“北海道札幌市ＸＸＸ−ＸＸ”を代入し、個別表示として描画する。
【０１２１】
図１３（ｂ）は、ＸＭＬ１２０１ｂをレンダリングした例である。撮像画像１３０６ｂは、個別表示装置３０２が撮像部３１１より取得した画像である。Ｂｏｄｙ要素１３０３ｂと、その上にＶａｒｉａｂｌｅ要素１３０４ｂ、１３０５ｂを描画し、それをマーカー１３０３ａの位置に対して合わせて表示する。
【０１２２】
図１３（ｃ）の１３０１ｃは、ユーザが個別表示装置３２０を通して作業台７０１を見た表示例である。ここで、個別表示装置３２０はユーザの眼前に装着し視界を被覆するグラスデバイス（眼鏡型表示装置）であり、外光をユーザが直接視覚可能とし、それに対して任意の位置に画像の重畳表示が可能なシースルー型として説明する。
【０１２３】
ユーザは破線部１３０２ｃに申込書７０２が、破線１３０３ｃに共有表示装置３１０により投影表示された記入例が閲覧できる。さらに、個別表示装置３２０の個別情報表示部３２４で描画した内容が、記入例の中の破線１４０４に囲まれた領域に重畳表示されている。
【０１２４】
シースルー型グラスデバイスを使う例は一例であり、スマートフォンや、視界全面を非透過のディスプレイで覆うグラスデバイス（眼鏡型表示装置）でもよい。その場合、視界１３０１ｃ全体を、撮像部３２６で撮像し、その撮像画像に対して、個別情報表示部３２４で個人情報を示す画像を重畳表示すればよい。
【０１２５】
以上、本実施形態によれば、共有表示装置がユーザに対して作業支援の情報を表示する際に、ユーザの持つ個別表示装置と連携することで、共有表示装置が保有していないユーザの個人情報を共有表示装置の表示情報の関連情報として表示することが可能になる。このとき、ユーザの個人情報は、不特定多数のユーザが使用する共有表示装置３１０で表示されることなく、またそのデータが一時的にでも共有表示装置３１０に記憶されることがないため、セキュリティのリスクやユーザの不安が少なくて済む。さらに個別表示装置３２０が、グラス型など小型で十分な計算能力が期待できない場合であっても、共有表示装置３１０が作業台７０１上の実文書７０２を認識し、表示情報の内容を決定し、表示位置を決定する。そのために、適切な表示による効率的な支援が可能となる。
【０１２６】
以上は、帳票への記入支援を例としたため、紙文書７０２を隠さない位置で、かつ近傍に表示する必要があったため、個別表示情報の表示位置は紙文書７０２の隣近傍としたが、それ以外の位置であってもよい。
【０１２７】
例えば、ユーザが作業台の上に紙文書７０２として観光パンフレットを置き、所望の場所をタッチ操作で選択し、行程表を作るアプリケーションを本文書処理システム上で実行するとする。
【０１２８】
図１４（ａ）は、本文書処理システムで上記アプリケーションを実行した結果として、作業台の上の表示状態を示す例である。観光パンフレット１４０１が作業台の上に置かれ、ユーザが選択した領域１４０３、領域１４０４と領域１４０５が破線により表示されている。
【０１２９】
行程表作成ボタン１４０２がタッチされると、本文書処理システムは図８のフローチャートに示すフローに従い、行程表の描画を開始する。
【０１３０】
表示位置の決定については、行程表の表示の場合は、行程表の表示自体がユーザの目的となるため、表示位置は、文書全体を避けて配置する必要はない。図１４（ａ）の例では、作業台の上で観光パンフレット１５０１の周囲に表示スペースがないため、ユーザの選択した領域１４０３〜１４０５以外から、表示位置を決定する。
【０１３１】
紙文書１０２に対してユーザが選択した場所の情報を、共有表示装置３１０は情報管理装置３３０から取得できるが、ユーザの住所などの個人情報は、個別表示装置３２０でなければ取得ができない。そのため、行程表の描画は全て個別表示装置３２０の端末側で行う。
【０１３２】
図１４（ｂ）は、個別表示装置３２０へ表示位置と行程表を作るための関連情報を通知する、マーカー表示の例である。このケースでは、領域１４０６が表示位置として決定され、そこにマーカーを描画することで表示位置と表示すべき情報の内容を通知している。
【０１３３】
図１４（ｃ）は、グラスデバイス（眼鏡型表示装置）１０５で作業台を見た例である。ユーザが選択した領域を除いた領域に行程表１４０７が表示されている。
【０１３４】
この表示例は一例であり、その他、選択した領域それぞれに作業支援情報を付加したい場合は、それぞれ、領域の近傍に表示を行ってもよい。
【０１３５】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１３６】
３１０  共有表示装置
３１１  共有表示内容取得部
３１２  共有情報表示部
３１３  撮像部
３２０  個別表示装置
３２１  表示位置特定部
３２２  ユーザ操作検知部
３２３  個別表示内容特定部
３２４  個別情報表示部
３２５  情報保持部
３２６  撮像部
３３０  情報管理装置
【図１】
2016201050.tif 000003
【図２】
2016201050.tif 000004
【図３】
2016201050.tif 000005
【図４】
2016201050.tif 000006
【図５】
2016201050.tif 000007
【図６】
2016201050.tif 000008
【図７】
2016201050.tif 000009
【図８】
2016201050.tif 000010
【図９】
2016201050.tif 000011
【図１０】
2016201050.tif 000012
【図１１】
2016201050.tif 000013
【図１２】
2016201050.tif 000014
【図１３】
2016201050.tif 000015
【図１４】
2016201050.tif 000016