(57)【要約】      （修正有）【課題】閲覧者の閲覧する文書の注視度に応じた拡張情報の表示を可能とする。【解決手段】視点情報入力部より文書閲覧者の視点情報の取得を実行し（７０１０）、視点座標がどの文書領域にあるのかを特定し（７０２０）、領域ごとに視点滞留時間を加算し（７０３０）、視点滞留時間カウンタの値に基づいて閲覧者の注視度を求め（７０４０）、所定時間が経過し（７０５０，Ｙｅｓ）、注視度が設定レベルを超えている場合に（７０７０，Ｙｅｓ）、領域に関連付けられたＡＲコンテンツを取得し（７０８０）、取得したＡＲコンテンツを注視度レベルに応じた表示形態でＡＲ端末の表示部に表示する（７０９０）。【選択図】図７
2015114798.tif 000002
【特許請求の範囲】
【請求項１】
表示された情報を閲覧する閲覧者の視点領域を特定する特定手段と、
前記視点領域に関連付けられた拡張情報を取得する取得手段と、
前記視点領域における前記閲覧者の注視度が所定レベルを超えたと判定した場合に、取得された前記拡張情報を前記情報に重畳して表示させる表示制御手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記注視度は、前記視点領域における前記閲覧者の視点滞留時間カウンタの値に基づいて計算されることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記注視度の変化に応じて、前記拡張情報の表示形態を変更することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記拡張情報の表示サイズを変更することによって前記拡張情報の表示形態を変更することを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記表示制御手段は、前記拡張情報の表示位置を、前記閲覧者の視点領域に近づけることによって前記拡張情報の表示形態を変更することを特徴とする請求項３記載の情報処理装置。
【請求項６】
前記表示制御手段は、表示された前記情報に前記拡張情報を重畳して表示することを特徴とする請求項１乃至５いずれか１項に記載の情報処理装置。
【請求項７】
前記表示制御手段は、複数の前記拡張情報を表示させる場合、重畳し合わない表示位置に前記拡張情報を表示させることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記表示制御手段は、複数の前記拡張情報を表示させる場合、前記注視度がより高いと判断された領域に関連付けられた拡張情報を優先して表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記情報は、オリジナルの電子ファイルに基づいて表示された文書であることを特徴とする請求項１記載の情報処理装置。
【請求項１０】
前記情報は、撮像手段によって撮像された撮像データに基づいて表示された文書であることを特徴とする請求項１記載の情報処理装置。
【請求項１１】
前記文書は、文字領域、表領域、図形領域、画像領域の少なくとも一つの領域を含み、前記注視領域が前記文字領域、前記表領域、前記図形領域、前記画像領域のいずれかの領域であることを特徴とする請求項９又は請求項１０に記載の情報処理装置。
【請求項１２】
格納手段をさらに有し、前記文書は前記格納手段に格納されていることを特徴とする請求項１乃至９いずれか１項に記載の情報処理装置。
【請求項１３】
文書を表示する情報処理装置の情報処理方法であって、
表示された前記文書を閲覧する閲覧者の視点領域を特定する特定工程と、
前記視点領域に関連付けられた拡張情報を取得する取得工程と、
前記視点領域における前記閲覧者の注視度が所定レベルを超えたと判定した場合に、取得された前記拡張情報を前記文書に重畳して表示させる表示制御工程と、
を有することを特徴とする情報処理装置の情報処理方法。
【請求項１４】
コンピュータに、
情報処理装置に文書を表示する表示手順と、
表示された前記文書を閲覧する閲覧者の視点領域を特定する特定手順と、
前記視点領域に関連付けられた拡張情報を取得する取得手順と、
前記視点領域における前記閲覧者の注視度が所定レベルを超えたと判定した場合に、取得された前記拡張情報を前記文書に重畳して表示させる表示制御手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示された情報に関する拡張情報を出力する情報処理方法および情報処理装置、プログラムに関するものである。
【背景技術】
【０００２】
タブレット端末やスマートフォンといったスマート端末に備え付けられている、カメラで撮像した被写体に関連する情報をスマート端末の画面に表示するＡｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（以降、ＡＲ）と呼ばれる拡張現実感表示技術が知られている。当該技術においては、カメラで撮像された被写体に関連する情報を特定し、特定された関連情報をカメラで撮像された実世界の物体が表示される画面に重畳表示する。さらに、当該技術における被写体を紙文書として、紙文書を撮像すると、撮像された紙文書が表示される画面に関連情報（以降、ＡＲコンテンツとも記載する）が重畳表示されるサービスも展開されている。紙文書では、動画等のコンテンツを紙面上で表現（再生）することができないが、紙文書に印刷されている静止画のＡＲコンテンツとして動画を特定し、当該動画をスマート端末の画面において静止画に重畳表示することが可能になる。
【０００３】
特許文献１では、頭部装着ディスプレイＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を用いて紙に拡張現実感表示するシステムにおいて、視野中の領域検出方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１４２６０４
【特許文献２】特開平４−２４２６２４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述した従来の拡張現実感表示技術は、文書に対する拡張情報が存在すれば、当該情報を漏らさず閲覧者に提示することを可能とするのに有効である。一方、複数の拡張情報が関連付けられた文書を、閲覧者が自らの閲覧意図をもって、閲覧する場合、すべての拡張情報を提示すると、閲覧者が煩雑と感じることがある。そこで、閲覧者に適宜に拡張情報の提示を行うことが求められるという課題があった。
【０００６】
本発明は上記の課題に鑑みてなされたものであり、閲覧者に対して閲覧者の視点領域に応じて適宜に拡張情報を提供できる情報処理装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するための情報処理装置は以下の構成を備える。すなわち表示された情報を閲覧する閲覧者の視点領域を特定する特定手段と、前記視点領域に関連付けられた拡張情報を取得する取得手段と、前記視点領域における前記閲覧者の注視度が所定レベルを超えたと判定した場合に、取得された前記拡張情報を前記情報に重畳して表示させる表示制御手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、閲覧者に対して閲覧者の視点領域に応じて適宜に拡張情報を提示することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態におけるハードウェア構成の一例を示すブロック図
【図２】本発明の実施形態における重畳表示対象の文書の例を示す図
【図３】本発明の実施形態におけるＡＲコンテンツの重畳表示の例を示す図
【図４】本発明の実施形態における文書領域情報格納テーブルの構成例を示す図
【図５】本発明の実施形態におけるＡＲコンテンツリストテーブルの構成例を示す図
【図６】本発明の実施形態におけるＡＲコンテンツ管理テーブルの構成例を示す図
【図７】本発明の実施形態１における処理の流れを示すフローチャート
【図８】本発明の実施形態における閲覧者の注視度の経時推移の例を示すグラフ
【図９】本発明の実施形態における各閲覧経過時間でのＡＲコンテンツ表示状態の例を示す図
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
（第１の実施形態）
図１は、本実施形態を適用する情報処理装置の一例としての拡張現実感表示システムを示す構成図である。拡張現実感表示システムは撮像した現実の映像に拡張現実感を与える拡張情報を重畳表示することができる。本実施形態の拡張現実感表示システムは、拡張現実感表示端末（以下、ＡＲ端末とも記載する。）１０１とサーバ１０９で構成され、ＡＲ端末１０１とサーバ１０９は、通信部１０８および通信部１１４を介して、インターネットやイントラネット経由で接続することができる。ＡＲ端末１０１の撮像画像入力部１０５が撮像した被写体に関連する拡張情報をサーバ１０９から特定し、特定された拡張情報を被写体が表示される画面に重畳表示する。
【００１２】
本実施形態のＡＲ端末１０１は、現実空間の撮像機能とＡＲ端末利用者が撮像範囲のいずれの箇所を見ているかを検出する視点情報入力部と撮像画像入力部とデジタルデータの重畳表示が可能な表示部とを有する。好適な実施形態としてスマート端末を用いるもの、又は特許文献１にて開示されるヘッドマウント型のカメラとディスプレイを搭載したメガネ・ゴーグルタイプを用いるものとする。かかるスマート端末、又はヘッドマウント型ディスプレイにおいては、撮像した映像に拡張現実感を与える拡張情報である画像あるいは映像等（以下、ＡＲコンテンツとも記載する）を重畳表示することができる。
【００１３】
なお、本実施形態のＡＲ端末１０１を用いて文書を表示する場合は、紙文書を撮像した映像の表示に限らず、ＡＲ端末１０１のＲＯＭ１０３に格納されている文書ファイルを用いて文書を表示することもできる。
【００１４】
ＣＰＵ１０２は、ＲＯＭ１０３に格納されている制御プログラムを実行することにより、ＡＲ端末１０１の制御を行う。ＲＯＭ１０３は、ＡＲ端末１０１が実行するプログラム、文書ファイルなどを格納するための格納手段である。ＡＲ端末１０１がプログラムを実行することにより、当該システムは後述するフローチャートに示す各処理を実行するための各種手段として機能する。ＲＡＭ１０４は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、ＡＲ端末１０１によって実行する。撮像画像入力部１０５は、光学装置および撮像素子等によって構成され、ＣＰＵ１０２からの指示に応じて、被写体の撮像を行う。視点情報入力部１０６は、公知の視点領域を検知する方法を採用して視点領域の検知を行う（例えば、特許文献２参照）。
【００１５】
表示部１０７は、液晶パネル等で構成され、撮像画像入力部１０５で撮像された映像とＡＲコンテンツを重畳表示する。１３０は１０２乃至１０８間のデジタル信号を伝達するバスである。サーバ１０９は、ＡＲ端末１０１に提供するＡＲコンテンツを管理し、また表示部１０７に表示する重畳表示データを生成する。ＣＰＵ１１０は、ＲＯＭ１１１に格納されている制御プログラムを実行することにより、サーバ１０９の制御を行う。ＲＯＭ１１１は、サーバ１０９が実行するプログラムを格納する。サーバ１０９がプログラムを実行することにより、当該システムは後述するフローチャートに示す各処理を実行するための各種手段として機能する。ＲＡＭ１１２は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、サーバ１０９によって実行する。記憶部１１３は、本実施形態の処理対象となるデータを保持している。たとえば、ＡＲコンテンツの識別を行うための識別情報やＡＲコンテンツのデータを保持している。記憶部１１３としては、フラッシュメモリ、ＨＤＤなどを用いることができる。１３１は１１０乃至１１４間のデジタル信号を伝達するバスである。
【００１６】
なお、本実施形態では後述するフローチャートの各ステップに対応する処理を、ＣＰＵ１０２およびＣＰＵ１１０を用いてソフトウェアで実現するが、その処理の一部又は全部を電子回路などのハードウェアで実現するようにしても良い。
【００１７】
図２は第１の実施形態におけるＡＲコンテンツの重畳表示対象となる文書の一例である。枠２０１はページ端となる文書枠である。領域２０２乃至２０５は段落など文字ブロックの個々の文字領域を示す。２０６は表領域であり、２０７は図形領域又は画像領域である。つまり、本実施形態の一例として文書２０１は２０２乃至２０７の６個の領域から構成されている。ただし、文書２０１はこれらの領域を含む場合に限定する必要はない。例えば、複数の文字領域のみ、又は地図や画像領域のみを含んでもよい。
【００１８】
図３は第１の実施形態において、図２に示した文書に対するＡＲコンテンツの重畳表示形態の例である。枠３０１、３０５が図２の文書枠２０１と相当であり、領域３０２、３０６は図２の文書における領域２０６に相当する。
【００１９】
線３０３、３０７はＡＲコンテンツ３０４、３０８が文書３０１、３０５中のいずれの領域に関連付けられたコンテンツであるかを明示する視認可能なリンクコネクタであり、本実施形態では当該対応領域とＡＲコンテンツとを線分で結合表示する。領域３０４は領域３０２に関連付けられたＡＲコンテンツの表示例を示す。文書３０１を閲覧する閲覧者の領域３０２、における注視度が図８に示すレベル１を超えたと判定される場合の表示形態である。
【００２０】
領域３０８は領域３０６に関連付けられたＡＲコンテンツの表示例を示す。文書３０５を閲覧する閲覧者の領域３０６における注視度が図８に示すレベル２を超えたと判定する場合であり、注視度は図８に示すレベル２を超えた場合のＡＲコンテンツ表示形態はレベル１を超えた場合の表示形態と異なる表示形態となる。図３において注視度はレベル２を超えた場合のＡＲコンテンツ表示３０８は注視度がレベル１を超えた場合のＡＲコンテンツ表示３０４に対して相対的に表示面積が大きなものとなっている。即ち、本実施形態では領域注視度レベルの相違によって表示形態を変更させている。また、注視度レベルの相違によるＡＲコンテンツの表示形態の変更は表示面積の変更以外による提示方法も可能である。例えば、リンクコネクタの長さや幅を変え、注視度レベル２の場合のリンクコネクタを注視度レベル１の場合のリンクコネクタより短く、あるいは太くすることで見やすく誘導することが可能である。あるいは関連領域に対して、より近傍に表示するといった表示形態とすることも可能である。
【００２１】
即ち、注視度が長い領域に関する拡張情報は、注視度が短い領域に優先して表示される。優先的に表示する方法として、説明した表示面積を大きくする方法以外に、例えば、拡張情報同士の表示はなるべく重ならないように表示領域のレイアウトを決めるが、どうして重なって表示される場合は、注視度がより長い領域に関する拡張情報は他の拡張情報の上に表示する。
【００２２】
図４は第１の実施形態において、図２に示した文書の領域２０２乃至２０７の情報を格納する文書領域情報テーブルであり、図１の記憶部１１３に格納される。領域番号４０１は各領域を識別するラベルである。領域座標４０２は文書２０１の左下端点を原点として水平方向、垂直方向に正の値をとる座標系において、各領域の左上座標を格納する。領域座標４０３は同座標系において各領域の右下座標を格納する。領域座標４０２、４０３により文書２０１における矩形領域の位置と大きさが確定される。ＡＲコンテンツ数４０４は領域に関連付けられ格納されたＡＲコンテンツの数を格納する。例えば、領域番号ｒ１に対応する領域に関連付けられたＡＲコンテンツを保持せず、領域番号ｒ６に対応する領域に関連付けられたＡＲコンテンツは２個を保持することになる。
【００２３】
図５は第１の実施形態において、各領域の保持するＡＲコンテンツのリストを格納するＡＲコンテンツリストテーブルであり、図１の記憶部１１３に格納される。領域番号５０１は図４の４０１に定義される領域番号と同じである。５０２はＡＲコンテンツ番号であり、当該領域番号の領域に関連付けられたＡＲコンテンツを特定するＡＲコンテンツの識別番号を格納する。例えば、領域番号ｒ６にＡＲコンテンツ番号Ｃ３、Ｃ５の２個のＡＲコンテンツが関連付けられて保持する。
【００２４】
図６は第１の実施形態において、図５のＡＲコンテンツリストテーブルで参照されるＡＲコンテンツの情報を格納したＡＲコンテンツ管理テーブルであり、図１の記憶部１１３に格納される。ＡＲコンテンツ番号６０１はＡＲコンテンツを識別する識別番号であり、図５のＡＲコンテンツ番号５０２と同じである。横幅６０２はＡＲコンテンツの初期表示サイズの横幅を格納し、縦幅６０３はＡＲコンテンツの初期表示サイズの縦幅を格納する。初期表示サイズは注視度レベル１の表示サイズとなる。６０４はＡＲコンテンツのデータ実体を格納した場所を示すＵＲＬ（Ｕｎｉｖｅｒｓａｌ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）である。ＵＲＬで指し示すことができ、データ取得が可能な場所であれば、ネットワーク上の図１には不図示の記憶部上に格納してもよいし、図１の記憶部１１３に格納してもよい。
【００２５】
図７は第１の実施形態において、ＡＲ端末１０１とサーバ１０９による処理の手順を示したフローチャートである。このフローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
【００２６】
システムが起動し、ＡＲ端末１０１およびサーバ１０９の各種初期化処理が行われ、ＡＲ端末１０１とサーバ１０９の接続が確立される。閲覧者はＡＲ端末１０１を装着し、ＡＲ端末１０１の表示部１０７に透過・重畳表示されるビューを通して紙文書２０１の閲覧を開始する。なお、ＡＲ端末１０１の表示部１０７では、オリジナルの電子データに基づいて文書２０１を表示することもできる。また、文書以外のオブジェクトを撮像した画像などを表示することもできる。
【００２７】
ステップＳ７０１０で視点情報入力部１０６より文書閲覧者の視点情報の取得を実行する。すなわち、時刻Ｔｉにおける文書２０１上の視点座標を取得する。視点の取得は特許文献２に開示される方法などにより検出することが可能である。取得された視点座標は通信部１０８を介してサーバ１０９へ送信される。
【００２８】
ステップＳ７０２０においてサーバ１０９のＣＰＵ１１０の演算により、記憶部１１３に格納された図４の文書領域情報格納テーブルを参照し、ステップＳ７０１０で取得された視点座標がどの文書領域にあるのか、又は視点の近傍に存在する文書領域があるのかを特定し、特定された文書領域を閲覧者の視点の存在領域として領域番号を求める。
【００２９】
ステップＳ７０３０でＲＡＭ１１２に確保される不図示の領域毎に視点滞留時間カウンタに加算する。その際、前回の視点滞留領域を記憶しておき、前回視点滞留領域と同一領域であったなら、当該領域のカウンタ値を１．５倍することにより連続して同一領域を見た場合に重みをつける。前回の視点滞留領域と異なっていたなら、前回視点滞留領域番号を今回の視点滞留領域番号に更新し、当該領域のカウンタ値に１を加算する。
【００３０】
次にステップＳ７０４０で時刻Ｔｉにおいて視点が滞留していなかった文書２０１の他の領域の視点滞留時間カウンタ値をそれぞれ１減じる。本実施形態では、ステップＳ７０３０及びステップＳ７０４０において、領域ごとに求めた視点滞留時間カウンタの値に基づいて閲覧者の注視度を求める。その計算の一例として、視点滞留時間カウンタの値に一定の係数を乗じて閲覧者の注視度とする。その係数は例えば１である。
【００３１】
ステップＳ７０５０でシステム起動から図８に示す所定時間Ｔｍが経過したかどうかをＣＰＵ１１０が判定する。所定時間Ｔｍを経過していたなら、ステップＳ７０６０へ進む。、所定時間Ｔｍを経過していないのであればステップＳ７０１０へループする。所定時間Ｔｍを経過している場合は、ステップＳ７０６０以降の処理で文書２０１の全領域２０１乃至２０７についてＡＲコンテンツの表示要否を判定する。全領域の表示要否の判定を完了したならばステップＳ７１００へ、未完了であればステップＳ７０７０へ進む。なお、全領域２０１乃至２０７の一部の領域についてＡＲコンテンツが関連付けられている場合は、ＡＲコンテンツの関連付けられている領域だけについてＡＲコンテンツの表示要否を判定してもよい。
【００３２】
ステップＳ７０７０はステップＳ７０３０およびステップＳ７０４０で求められた判定対象の領域の視点滞留時間カウンタ値を参照し、当該領域の注視度のレベルを判定する。すなわち、各領域の注視度が図８に示す注視度レベル１を超えているか、あるいは注視度レベル２を超えているかを判定する。判定の結果、ある領域の注視度が設定されていたレベルを超えているのであればステップＳ７０８０へ、そうでなければ他の領域の注視度チェックを行うべくステップＳ７０６０へループする。
【００３３】
ステップＳ７０８０で注視度が図８に示すレベル１を超えた領域に関連付けられたＡＲコンテンツを取得する。即ち、当該領域の領域番号と合致する図５のＡＲコンテンツリストテーブルの領域番号５０１が存在するかどうかをチェックし、存在しなければ表示すべきＡＲコンテンツなしと判定する。合致する領域番号５０１が存在すればＡＲコンテンツリストから合致するＡＲコンテンツ番号５０２を取得する。次に、取得したＡＲコンテンツ番号５０２に対応するＡＲコンテンツを取得する。
【００３４】
次に取得されたＡＲコンテンツ番号のＡＲコンテンツ表示データを図６のＡＲコンテンツ管理テーブルから取得する。ＡＲコンテンツの表示データはＡＲコンテンツを格納しているサーバ１０９の記憶部又はＡＲ端末１０１からを取得する。表示データはＵＲＬ６０４に示されるアドレスから取得され、横幅６０２、縦幅６０３に示されるＡＲコンテンツの表示領域サイズが関心度レベル１に対する表示サイズとして取得される。ステップＳ７０８０で取得されたＡＲコンテンツをステップＳ７０９０で注視度レベルに応じた表示形態でＡＲ端末１０１の表示部１０７に表示する。
【００３５】
１つの文書領域に複数のＡＲコンテンツが関連付けられている場合は、図８に示すレベルに応じて、ＡＲコンテンツリスト上のＡＲコンテンツ番号５０２を順に取得する。例えば、注視度がレベル１を超えた場合はＡＲコンテンツリスト上の最初のＡＲコンテンツ番号５０２を取得し、注視度がレベル２を超えた場合はＡＲコンテンツリスト上の２番目のＡＲコンテンツ番号５０２までを取得し、又はすべてのＡＲコンテンツ番号５０２を取得する。
【００３６】
ステップＳ７０８０でＡＲコンテンツなしと判定されたならば、ステップＳ７０６０へループする。ステップＳ７０８０でＡＲコンテンツが取得されたならば、注視度レベル１であれば、図６の横幅６０２、縦幅６０３から得られた表示サイズとする。あるいは、注視度レベル２であれば図６の横幅６０２、縦幅６０３から得られた表示サイズを縦横１．５倍に拡大した表示サイズとし、表示画面内の当該注視文書領域および他のＡＲコンテンツ表示領域と重ならないよう配置を決定する。
【００３７】
そして、決定された配置位置の表示部１０７における表示座標情報をＲＡＭ１１２に不図示のＡＲコンテンツ表示領域情報として格納する。ＣＰＵ１１０はＡＲコンテンツ表示領域と関係付けられた文書領域とをリンクコネクタで接続した表示データと当該表示座標情報をＡＲ端末１０１に送信し、表示部１０７にて図９に示す例のようにＡＲコンテンツが文書２０１と重畳表示される。
【００３８】
ステップＳ７０９０のＡＲコンテンツ表示処理が終了すれば、ステップＳ７０６０へループし、他の処理対象領域について同様の処理を行う。ステップＳ７１００で拡張現実感表示システムの終了が閲覧者よりなされたならば、システムを終了するが、そうでなければステップＳ７０１０へループし、拡張現実感表示による文書閲覧処理を継続する。
【００３９】
図８は第１の実施形態における動作フロー（図７）に従って、閲覧者が文書２０１を閲覧した場合の領域２０４および２０６に対する、閲覧者の注視度の経時推移の例を示したグラフである。図８において縦軸は図７のステップＳ７０３０および７０４０で求められる注視度を表し、レベル１及び、レベル２を示す。横軸は閲覧経過時間を表し、軸上の所定値ｔｍはＡＲコンテンツの表示留保時間を示す。時間ｔｍは図７のステップＳ７０５０の所定時間Ｔｍと同じ値に設定してもいい。
【００４０】
時間ｔｍを経過後、ＡＲコンテンツの表示が可能となるよう制御される。軸上の時刻ｔ１、ｔ２、ｔ３、ｔ４はそれぞれ、ある時間経過後の時刻を意味する。点線８０１は図２の領域２０６に対する閲覧者の注視度の推移を表した例であり、実線８０２は図２の領域２０４に対する閲覧者の注視度の推移を表した例である。図８においては省略したが、図２の他の領域２０２、２０３、２０５、２０７についても同様に注視度の推移をみることが可能である。
【００４１】
図９は第１の実施形態における図８における閲覧時間経過後の時刻ｔ１、ｔ２、ｔ３、ｔ４のＡＲコンテンツ表示状態を示している。図９（ａ）は時刻ｔ１における表示状態である。枠９０１は文書２０１に相当し、領域９０２は領域２０６に相当する。時刻ｔ１は表示留保時間後の時間であり、その時点において領域９０２に対する注視度８０１はレベル１を超えているため、ＡＲコンテンツ９０３がレベル１の表示形態で表示される。レベル１を超えている他の領域は存在しない。
【００４２】
図９（ｂ）は時刻ｔ２における表示状態である。時刻ｔ２では領域９０２に対する注視度８０１がレベル２を超えているため、ＡＲコンテンツ９０４がレベル２の表示形態で表示される。ＡＲコンテンツ９０３と９０４を比較すると、ＡＲコンテンツ９０４が相対的にＡＲコンテンツ９０３より大きく表示される。
【００４３】
図９（ｃ）は時刻ｔ３における表示状態である。時刻ｔ３では領域９０２に対する注視度８０１が度レベル２を下回っているため、ＡＲコンテンツ９０６が図９（ａ）のＡＲコンテンツ９０３と同様の大きさのレベル１の表示形態で表示される。一方、領域２０４に相当する領域９０５の注視度８０２がレベル１を超えたため、ＡＲコンテンツ９０７がレベル１の表示形態で表示される。このように複数のＡＲコンテンツが表示される場合、ＡＲコンテンツ同士が重畳し合わないように表示位置が決定される。レベル１と度レベル２の表示形態差異をリンクコネクタの長さで変える場合、重畳しあわないように配置するとリンクコネクタの長さが関心度の大きさを反映できない場合が生ずる。その際はリンクコネクタの太さや色を変えることにより関心度の大きさを表現するようにすることができる。
【００４４】
図９（ｄ）は時刻ｔ４における表示状態である。時刻ｔ４では領域９０２に対する注視度８０１はレベル１を超えているが、領域９０５に対する注視度８０２はレベル１を下回っているためＡＲコンテンツ９０８のみが重畳表示される。
【００４５】
また、上記領域９０２に対する注視度８０１の代わりに、ＡＲコンテンツ９０３、９０４に対する注視度を用いてもよい。同様に、上記領域９０５に対する領域注視度８０１の代わりに、ＡＲコンテンツ９０６、９０８に対する注視度を用いてもよい。
【００４６】
以上、詳細に説明したように、表示された文書の領域ごとの注視度に基づき、拡張情報であるＡＲコンテンツの表示有無および表示形態を動的に変更することで、閲覧者の必要に応じた拡張現実感表示をすることが可能になる。
【００４７】
第１の実施形態では、所定単一の文書を閲覧する際に予め領域ごとに表示対象とするＡＲコンテンツを決めておき、その表示あるいは非表示を決定する方法を説明した。
【００４８】
一方、複数種類の文書であっても、文書の領域ごとに固有の局所特徴量の異同で領域を特定することにより、ＡＲコンテンツを関連付けて保持するように構成することができる。複数種類の文書に、文字領域を含むテキスト文書、表領域を含む表文章、図形領域を含む文章、画像領域を含む文書、又は異なる領域を同時に含む文書が含まれる。
【００４９】
第１の実施形態によれば、不要な拡張情報表示を抑制し、不要な拡張情報表示を抑制し、閲覧者に必要な拡張情報に絞って適宜に表示することが可能となる。
【００５０】
＜第２の実施形態＞
第１の実施形態では、メガネ・ゴーグルタイプの表示装置を用いた拡張現実感表示の態様を説明した。本実施形態では、撮像画像入力部１０５および表示部１０７を備えたタブレット端末やスマートフォン端末と視点情報入力部１０６を持つ視点入力装置とを分離した装置を用いた拡張現実感表示の態様を説明する。第１の実施形態と同様のハードウェア構成で実現される。
【００５１】
本実施形態において閲覧者の領域ごとの注視度などを求める処理である図７のステップＳ７０１０乃至ステップＳ７０６０は第１の実施形態と同一である。ステップＳ７０７０乃至ステップＳ７０９０において、第１の実施形態と異なる処理を説明する。ステップＳ７０７０において対象領域が表示部１０７で表示されている範囲であるかどうか判定し、表示範囲内である場合にステップＳ７０８０へ進み、そうでなければステップＳ７０６０へループするように処理することが追加される。第２の実施形態の表示部１０７であるタブレット端末やスマートフォン端末のディスプレーの視角は比較的に狭いために、このような処理が必要である。
【００５２】
以上、説明したように、タブレット端末のように表示範囲が限定される拡張現実感表示装置に対しても、不要な拡張情報表示を抑制し、不要な拡張情報表示を抑制し、閲覧者に必要な拡張情報に絞って適宜に表示することが可能となる。
【００５３】
＜その他の実施形態＞
本発明の第１の実施形態及び第２の実施形態では、ＡＲ端末を例に説明したが、ＡＲ端末以外の表示装置を有する情報処理装置でも、例えば、文書の表示装置と拡張情報の表示装置を別々に設けた場合でも本発明を実施することができる。
【００５４】
また、本発明の第１の実施形態及び第２の実施形態では、紙文書の撮像データを表示装置に表示させているが、文書のオリジナルの電子ファイル（文書の元データ）を利用可能な環境においては、撮像した紙文書画像の代わりに文書のオリジナルの電子ファイルを用いて文書を表示装置に表示させていることができる。
また、本発明の実施形態の目的は、以下のようにすることによって達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明の実施形態を構成することになる。
【００５５】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００５６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００５７】
本発明の実施形態を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【符号の説明】
【００５８】
１０１  ＡＲ端末
１０２  ＣＰＵ
１０３  ＲＯＭ
１０４  ＲＡＭ
１０５  撮像画像入力部
１０６  視点情報入力部
１０７  表示部
１０８  通信部
１０９  サーバ
【図１】
2015114798.tif 000003
【図２】
2015114798.tif 000004
【図３】
2015114798.tif 000005
【図４】
2015114798.tif 000006
【図５】
2015114798.tif 000007
【図６】
2015114798.tif 000008
【図７】
2015114798.tif 000009
【図８】
2015114798.tif 000010
【図９】
2015114798.tif 000011