(57)【要約】【課題】従来、ユーザの目から見えるＡＲ装置は、実際の風景に対して、一体感のある画像表示をすることができなかった。【解決手段】ＡＲ装置１０を紙面２０に接地させて移動させる。移動量と同じだけ、情報付き画像データ３０から切り取る領域を移動させて、画像表示部１３に表示させる。画像表示部１３は、あたかも、透明なガラスを通して、紙面２０を直接見ているかのような錯覚をユーザに起こさせることができるので、ユーザは一体感を感じる。そして、透明なガラス部分に、情報３２が書かれているように感じる。ＡＲの動作の開始、終了は、Ｚ軸方向の加速度の変化より検出することで、自動化される。【選択図】図１４
2015184391.tif 000002
【特許請求の範囲】
【請求項１】
画像の中から特定領域のみを画像表示装置に表示する画像表示方法であって、
上記画像をメモリに格納する画像データ格納ステップと、
上記画像表示装置の移動量を計測する位置計測ステップと、
直前の時刻における上記特定領域に対して、上記位置計測ステップで計測された移動量と同じ量だけ、移動させた領域を現在の時刻における上記特定領域とするように、上記特定領域を変更させる領域更新ステップと、
上記画像のうち上記特定領域のみを上記画像表示装置に表示させる表示ステップと
を含む画像表示方法。
【請求項２】
上記画像表示装置に対して衝撃を検知した時に、上記画像表示装置への表示を初める処理を行う処理開始ステップ、
あるいは、
上記画像表示装置の表示面側への移動を検知した時に、上記画像表示装置への表示を終了する処理を行う処理終了ステップ、
の少なくともいずれか１つのステップを
さらに含む請求項１記載の画像表示方法。
【請求項３】
上記画像表示装置への表示を初める時刻よりも前に、
上記画像表示装置に設置された撮像手段により撮影された画像を解析して上記画像表示装置への表示を初める時刻における位置を計算する初期位置計算ステップを
さらに含む請求項１あるいは請求項２記載の画像表示方法。
【請求項４】
上記特定領域は、上記画像表示装置の表示部の大きさと同じ大きさであるという条件を付けて上記領域更新ステップで上記特定領域を更新することを
特徴とする請求項１、請求項２あるいは請求項３記載の画像表示方法。
【請求項５】
上記画像表示装置への表示を初める時刻における画像表示装置の傾き具合に応じて、上記表示ステップで上記画像表示装置に表示する上記特定領域の画像を９０度または−９０度回転させて表示させることを
特徴とする請求項１、請求項２、請求項３あるいは請求項４記載の画像表示方法。
【請求項６】
画像の中から特定領域のみを表示する画像表示装置であって、
上記画像を格納するメモリ部と、
上記画像表示装置の移動量を計測する位置計測部と、
直前の時刻における上記特定領域に対して、上記位置計測部で計測された移動量と同じ量だけ、移動させた領域を現在の時刻における上記特定領域とするように、上記特定領域を変更させる領域更新部と、
上記画像のうち上記特定領域のみを上記画像表示装置に表示させる表示制御部と
を備える画像表示装置。
【請求項７】
画像の中から特定領域のみを画像表示装置に表示する画像表示プログラムであって、
上記画像をメモリに格納する画像データ格納ステップと、
上記画像表示装置の移動量を計測する位置計測ステップと、
直前の時刻における上記特定領域に対して、上記位置計測ステップで計測された移動量と同じ量だけ、移動させた領域を現在の時刻における上記特定領域とするように、上記特定領域を変更させる領域更新ステップと、
上記画像のうち上記特定領域のみを上記画像表示装置に表示させる表示ステップと
を含む処理をコンピュータに実行させる画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮影対象物体を撮影して、撮影された画像の中に、情報を重畳させて表示させる方法、装置、並びに、プログラムに関する。
【背景技術】
【０００２】
近年、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を用いたアプリケーションが実現されてきている。たとえば、スマートフォンやタブレットＰＣを用いて、紙面などの対象物体を撮影すると、撮影された画像の中に、情報を重畳させて表示させるアプリケーションである。より具体的には、株式会社中日新聞社東京本社が提供する「東京ＡＲ」というアプリケーションである。また、非特許文献１のFigure 1にも、同様のアプリケーションの例が記載されている。さらに、特許文献１にも同様のアプリケーションが開示されている。
【０００３】
これらアプリケーションの具体的な使用手順を、図を用いて説明する。
【０００４】
図１の（ア）内の１００が従来のＡＲ装置（具体的にはスマートフォンあるいはタブレットＰＣなど）である。ＡＲ装置１００には、画像表示部１１０と、撮像部１２０を有している。撮像部１２０は、画像表示部１１０に対して反対側に設置されており、図中には見えていない。撮像部１２０により、４つの点線１３０、１３１、１３２および１３３で示した範囲の内側が撮影される。ちなみに、４つの点線で示した範囲の内側を視野角という。また、２００は紙面である。紙面とは、たとえば、雑誌の特定の１ページである。あるいは、新聞紙の一面である。図１の（ア）では、紙面２００に、自動車の写真が掲載されている例を示している。ユーザが、撮像部１２０を用いて、紙面２００を撮影すると、ＡＲ装置１００は、画像を解析して、所望の処理を行い、画像表示部１１０に画像と情報を表示する。すなわち、撮像部１２０により撮影された画像３００（図１の（イ））は、画像表示部１１０にて表示され、さらに、情報３１０（図１の（ウ））も重畳して表示される。図１の例では、情報３１０は、「展示場で試乗できます」というテキスト情報である。図１の（ア）の画像表示部１１０には、このような画像３００と情報３１０を表示している状況を示している。
【０００５】
図１の（ア）の４００は、ユーザの目を示している。図１の（ア）は、ユーザが、画像表示部１１０を見ている場面である。
【０００６】
ユーザの目４００から見える光景を、図２に示す。ユーザからは、図２に示すように、ＡＲ装置１００が見える。ＡＲ装置１００内の画像表示部１１０には、画像３００および情報３１０が見える。また、ＡＲ装置１００の外側には、実世界の風景が見える。すなわち、紙面２００が見える。図２において、紙面２００と、画像表示部１１０内の画像３００とは、一体感がない。これは、対象物体である自動車の大きさが違うからである。
【０００７】
仮に、撮影された画像３００の一部分のみ（図１の（イ）の３２０で示された点線矩形領域）を画像表示部１１０に表示させる場合を考えてみよう。この場合、情報３１０も、図１の（イ）の３３０の部分のみを画像表示部１１０に表示させる。画像３００に対する部分画像３２０の位置関係と、情報３１０に対する部分情報３３０の位置関係は同じとする。この場合、ユーザの目４００から見える光景を、図３に示す。ユーザからは、図３に示すように、ＡＲ装置１００が見える。ＡＲ装置１００内の画像表示部１１０には、部分画像３２０および部分情報３３０が見える。また、ＡＲ装置１００の外側には、実世界の風景が見える。すなわち、紙面２００が見える。図２と違い、紙面２００と、画像表示部１１０内の画像３２０とは、一体感がある。これは、同じ大きさだからである。あたかも、画像表示部１１０は透明なガラスのようであり、画像表示部１１０の部分は、透明なガラスを通して、紙面２００を直接見ているかのような錯覚をユーザに起こさせることができるので、一体感を感じる。そして、透明なガラス部分に、部分情報３３０が書かれているように感じる。
【０００８】
撮影された画像３００の全体を画像表示部１１０に表示させるのではなく、画像３００の適切な一部分（部分画像３２０）を表示させることで、実際の風景に対して、一体感のある画像表示をすることができる。しかしながら、表示するために適切な部分画像の領域は、ユーザの目４００と画像表示部１１０と紙面２００の位置関係に依存するため、それら位置関係が不明である以上、適切な部分画像を求めることができなかった。すなわち、図３に示すような光景を提示することは不可能であった。
【０００９】
もし仮に、図３に示すような光景が提示できたとしよう。表示した後、ユーザがＡＲ装置１００を移動させた場合を考えてみる。この場合、移動の後も、一体感のある画像を表示するためには、画像３００から切り出す部分画像の領域を変更しなくてはいけない。しかしながら、この領域の変更も不可能であった。なぜなら、移動後に表示するための適切な部分画像の領域は、移動後のユーザの目４００と画像表示部１１０と紙面２００の位置関係に依存するためであり、それら位置関係が不明であるからである。
【００１０】
以上をまとめると、従来技術では、以下の欠点があった。
（欠点１）ユーザの目４００から見えるＡＲ装置１００は、実際の風景に対して、一体感のある画像表示をすることができなかった。
（欠点２）もし仮に、一体感のある画像表示をすることができたとしても、その後、ユーザがＡＲ装置１００を移動させると、移動後は一体感のある画像表示をすることができなかった。
（欠点３）ユーザは、ＡＲ装置１００を空中で保持しなくてはいけないため、疲れる。
（欠点４）常に撮像部１２０で撮影し続けるために、電力を消費し続けてしまう。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１２−１９５７３２号公報
【非特許文献】
【００１２】
【非特許文献１】Schmalstieg, Dieter, and Daniel Wagner. "Mobile phones as a platform for augmented reality." connections 1 (2009): 3.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
前述のとおり、特許文献１や非特許文献１に記載の技術を用いることで、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を実現できるが、表示に関しては一体感がなかった。つまり、再度述べると、従来技術では、以下の欠点があった。
（欠点１）ユーザの目４００から見えるＡＲ装置１００は、実際の風景に対して、一体感のある画像表示をすることができなかった。
（欠点２）もし仮に、一体感のある画像表示をすることができたとしても、その後、ユーザがＡＲ装置１００を移動させると、移動後は一体感のある画像表示をすることができなかった。
（欠点３）ユーザは、ＡＲ装置１００を空中で保持しなくてはいけないため、疲れる。
（欠点４）常に撮像部１２０で撮影し続けるために、電力を消費し続けてしまう。
【００１４】
本技術は、このような状況に鑑みてなされたものであり、一体感のある画像表示をさせるようにするものである。また、ユーザはＡＲ装置を保持しないで済むようにした。さらに、ＡＲの動作を行っている最中には、撮影を行わないようにするので、消費電力を下げることができる。
【課題を解決するための手段】
【００１５】
本技術の一側面の画像表示方法は、画像の中から特定領域のみを画像表示装置に表示する画像表示方法であって、上記画像をメモリに格納する画像データ格納ステップと、上記画像表示装置の移動量を計測する位置計測ステップと、直前の時刻における上記特定領域に対して、上記位置計測ステップで計測された移動量と同じ量だけ、移動させた領域を現在の時刻における上記特定領域とするように、上記特定領域を変更させる領域更新ステップと、上記画像のうち上記特定領域のみを上記画像表示装置に表示させる表示ステップとを含む。これにより、一体感のある画像表示を可能とする。
【００１６】
上記画像表示装置に対して衝撃を検知した時に、上記画像表示装置への表示を初める処理を行う処理開始ステップ、あるいは、上記画像表示装置の表示面側への移動を検知した時に、上記画像表示装置への表示を終了する処理を行う処理終了ステップ、の少なくともいずれか１つのステップをさらに含めても良い。これにより、自動で表示の開始あるいは終了を行うことが出来る。
【００１７】
上記画像表示装置への表示を初める時刻よりも前に、上記画像表示装置に設置された撮像手段により撮影された画像を解析して上記画像表示装置への表示を初める時刻における位置を計算する初期位置計算ステップをさらに含めても良い。これにより、一体感のある画像表示を可能とする。
【００１８】
上記特定領域は、上記画像表示装置の表示部の大きさと同じ大きさであるという条件を付けて上記領域更新ステップで上記特定領域を更新するようにしても良い。これにより、一体感のある画像表示を可能とする。
【００１９】
上記画像表示装置への表示を初める時刻における画像表示装置の傾き具合に応じて、上記表示ステップで上記画像表示装置に表示する上記特定領域の画像を９０度または−９０度回転させて表示させるようにしても良い。これにより、一体感のある画像表示を可能とする。
【００２０】
本技術の一側面の画像表示装置は、画像の中から特定領域のみを表示する画像表示装置であって、上記画像を格納するメモリ部と、上記画像表示装置の移動量を計測する位置計測部と、直前の時刻における上記特定領域に対して、上記位置計測部で計測された移動量と同じ量だけ、移動させた領域を現在の時刻における上記特定領域とするように、上記特定領域を変更させる領域更新部と、上記画像のうち上記特定領域のみを上記画像表示装置に表示させる表示制御部とを備える。これにより、一体感のある画像表示を可能とする。
【００２１】
本技術の一側面の画像表示プログラムは、画像の中から特定領域のみを画像表示装置に表示する画像表示プログラムであって、上記画像をメモリに格納する画像データ格納ステップと、上記画像表示装置の移動量を計測する位置計測ステップと、直前の時刻における上記特定領域に対して、上記位置計測ステップで計測された移動量と同じ量だけ、移動させた領域を現在の時刻における上記特定領域とするように、上記特定領域を変更させる領域更新ステップと、上記画像のうち上記特定領域のみを上記画像表示装置に表示させる表示ステップとを含む。これにより、一体感のある画像表示を可能とする。
【００２２】
本技術の一側面においては、画像の中から特定領域のみを画像表示装置に表示する画像表示であって、上記画像をメモリに格納し、上記画像表示装置の移動量を計測し、直前の時刻における上記特定領域に対して、上記計測された移動量と同じ量だけ、移動させた領域を現在の時刻における上記特定領域とするように、上記特定領域を変更させ、上記画像のうち上記特定領域のみを上記画像表示装置に表示させていく画像表示を行う。これにより、一体感のある画像表示を可能とする。
【発明の効果】
【００２３】
本技術の一側面によれば、一体感のある画像を表示させることができる。また、ユーザはＡＲ装置を保持しないで済むようにできる。さらに、ＡＲの動作を行っている最中には、撮影を行わないようにできる。
【図面の簡単な説明】
【００２４】
【図１】従来の装置を説明するための図である。
【図２】従来の装置による一体感のない表示状態を説明するための図である。
【図３】一体感のある理想的な表示方法を説明するための図である。
【図４】本発明の実施例の装置を説明するための図である。
【図５】対象とする紙面を説明するための図である。
【図６】本発明の実施例の装置にダウンロードされる画像および情報を説明するための図である。
【図７】本発明の実施例の装置内に設置された各部位の位置関係を説明するための図である。
【図８】本発明の実施例の装置での処理を説明するフローチャートである。
【図９】本発明の実施例の装置での処理を説明するフローチャートである。
【図１０】本発明の実施例の装置での処理を説明するフローチャートである。
【図１１】本発明の実施例の装置での処理を説明する図である。
【図１２】本発明の実施例の装置での処理を説明する図である。
【図１３】本発明の実施例の装置での処理を説明する図である。
【図１４】本発明の実施例における使用方法を説明する図である。
【発明を実施するための形態】
【００２５】
本発明の利点をまず述べる。前述の従来の欠点（欠点１）から（欠点４）のそれぞれに対応させると、本発明の利点は以下の通りである。
（利点１）ＡＲ装置を紙面に接地させているので、ユーザの目の位置に関係なく、画像の適切な一部分のみを表示させることで、実際の風景に対して、一体感のある画像表示をさせることができる。すなわち、画像表示部は、あたかも透明なガラスであるかのように見せることができる。
（利点２）ユーザがＡＲ装置を移動させた場合、その移動量と同じ量だけ、画像から切り出す領域を移動させることで、移動後も一体感のある画像を表示させることができる。
（利点３）ＡＲ装置を紙面に接地させて動作させるので、ユーザはＡＲ装置を保持しなくても良い。
（利点４）ＡＲ動作を行っている最中は、撮影を行わないので低消費電力での動作が可能である。
さらに、以下の利点もある。
（利点５）紙面に接地したことは、ＡＲ装置への衝撃を検出することにより自動で検出するので、ユーザが明示的にＡＲ装置の動作開始（すなわち、表示開始）を指示しなくても良い。
（利点６）ユーザがＡＲ装置を紙面から離した場合、ＡＲ装置内の加速度センサによりこの動作を検出し、ＡＲ動作を終了させるようにしているので、ユーザが明示的にＡＲ装置の動作終了（すなわち、表示終了）を指示しなくても良い。
【００２６】
図４に本発明の実施例であるＡＲ装置１０を示す。なお、本発明は、ＡＲの体験をユーザに提供する画像表示装置に関するものであり、以降では、ＡＲ装置と命名して述べていく。ＡＲ装置１０には、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ、中央演算処理部）１１と、操作部１２と、画像表示部１３と、メモリ１４と、撮像部１５と、加速度センサ１６と、ネットワークインターフェース部１７とを有し、さらに、１１乃至１７間でのデータのやりとりを行うことができるようにバス１８も有している。このようなＡＲ装置のハードウエア構成は、米IBM社のパーソナル・コンピュータ「P C／ A T（ P e r s o n a l C o m p u t e r / A d v a n c e d T e c h n o l o g y）」の互換機又は後継機を採用することができる。勿論、他のアーキテクチャを備えたコンピュータを採用しても良い。また、通常、メモリ１４には、オペレーティング・システムが格納されており、このオペレーティング・システム上で、本発明の実施例の処理（以降、ＡＲ動作と呼ぶことにする）を行うプログラムが実行される。ＡＲ動作を行うプログラムも、あらかじめ、メモリ１４上に格納されている。ＣＰＵ１１は、各種演算処理を実行できる。操作部１２から、ユーザは各種命令をＡＲ装置１０に対して、与えることができる。操作部１２は、画像表示装置１３と一体化されており、タッチパネルによる入力ができるようにしても良い。画像表示部１３には、画像や情報を表示できる。メモリ１４には、ＡＲ動作を行うプログラムのほか、ＣＰＵ１１で計算されたデータ、撮像部１５で撮影された画像、加速度センサ１６からの加速度情報、ネットワークインターフェース部１７を介してネットワーク上のデータをダウンロードしたものなどを格納することができる。撮像部１５は、たとえば、レンズとイメージセンサより成り、外界を撮影して、画像を生成することができる。ネットワークインターフェース部１７を介して、ＡＲ装置１０は、インターネット等のネットワークに接続でき、インターネット上の各種情報にアクセスできる。なお、加速度センサ１６は、３軸センサである。すなわち、ｘ軸、ｙ軸、ｚ軸方向の加速度を検出することができるものとする。また、一般的に、加速度センサは重力の影響を受けるが、重力の影響は加速度センサの値から引き算することでキャンセルできるので、以降では、重力の影響はないものとして説明する。
【００２７】
このＡＲ装置１０を用いた、具体的な使用手順を示す。
【００２８】
ユーザは、まず、ＡＲ動作を行いたい対象物（紙面）を用意する。この紙面の隅には、２次元バーコード（ＱＲコード）が描かれている。図５に、紙面の例を示しておく。図５の２０が紙面であり、隅には、２次元バーコード２１が記載されている。紙面２０には図に示すように自動車の写真が掲載されているとする。
【００２９】
ユーザは、ＡＲ装置１０に対して、ＡＲ動作の前処理を行うように、操作部１２を介して、ＡＲ装置１０に命令するとともに、ＡＲ装置１０をＱＲコード２１に向ける。ＡＲ装置１０は、この命令を受けると、撮影部１５により撮影を行う。そして、撮影画像の中のＱＲコード２１を認識し、ＱＲコード２１により指定されたネットワーク上の情報付き画像データ３０をダウンロードする。この情報付き画像データ３０は、紙面２０と同じ大きさであり、「紙面２０と同じ画像３１と、その画像上に情報３２が重畳されている」という形式のデータである。情報付き画像データ３０と、それを構成する画像３１と情報３２の例を、図６に示す。また、本実施例では、情報付き画像データ３０は、静止画として、以降説明するが、アニメーションＧＩＦなど動画でも良い。
【００３０】
次に、ユーザは、ＡＲ装置１０を紙面２０から数十ｃｍ離した位置に保持する。そして、ＡＲ装置１０に対して、ＡＲ動作の開始を行うように、操作部１２を介して、ＡＲ装置１０に命令する。そして、紙面２０に近づけていき、最終的には、紙面２０にＡＲ装置１０を接地させる。
【００３１】
ＡＲ装置１０は、ＡＲ動作の開始を行う命令を受けると、撮影部１５により連続撮影を行う。紙面２０に近づいているので、しばらくすると、撮影画像は合焦しなくなる。合焦しなくなったら連続撮影を中止する。これ以降、ＡＲ動作中、撮影は行わない。
【００３２】
また、ＡＲ装置１０は、加速度センサ１６の出力値を検出し続けて、出力値が不連続となる時刻（ＡＲ装置１０が衝撃を受けた時刻であり、すなわち、ＡＲ装置１０が紙面２０に接地された時刻である）を求める。合焦しなくなるまでに撮影された画像を解析することで、不連続となる時刻におけるＡＲ装置１０と紙面２０との位置関係を求める。求まったＡＲ装置１０と紙面２０の位置関係に対応する領域を、前処理においてダウンロードした情報付き画像データ３０から切り取り、画像表示部１３にて表示を行う。これにより、紙面２０に置かれたＡＲ装置１０内の画像表示部１３は、あたかも、透明なガラスを通して、紙面２０を直接見ているかのような錯覚をユーザに起こさせることができるので、ユーザは一体感を感じる。そして、透明なガラス部分に、情報３２（厳密には、情報３２の一部分）が書かれているように感じる（図１４のＡＲ装置１０（移動前）の状況であり、詳細は後述する）。
【００３３】
ＡＲ装置１０を紙面２０に接地した後、ユーザは、ＡＲ装置１０を紙面２０上に沿って、移動させることもできる。ＡＲ装置１０は、加速度センサ１６により移動量を検知して、移動量と同じ量だけ切り出し領域を変更して、画像表示部１３にて表示を行う。これにより、移動後も、紙面２０に置かれたＡＲ装置１０内の画像表示部１３は、あたかも、透明なガラスを通して、紙面２０を直接見ているかのような錯覚をユーザに起こさせることができるので、ユーザは一体感を感じる。そして、透明なガラス部分に、情報３２（厳密には、情報３２の一部分）が書かれているように感じる（図１４のＡＲ装置１０（移動後）の状況であり、詳細は後述する）。
【００３４】
ユーザは、最後に、ＡＲ装置１０を紙面２０から離す。ＡＲ装置１０は、加速度センサ１６の出力値を検出し続けて、画像表示部１３の方向への加速度を検出する（すなわちＡＲ装置１０が紙面２０より離れた時刻を検出する）。そして、加速度を検出した場合に、画像表示部１３での表示を終了し、ＡＲ動作も終了する。
【００３５】
以上が、具体的な使用手順と、その手順に沿ったＡＲ装置１０での動作の簡易説明である。このようにして、前述の（利点１）から（利点６）の利点を受けることが可能となる。
【００３６】
それでは、以下で、詳しく処理の流れを説明していく。
【００３７】
なお、以降では、画像に関する座標系は、画像の中心が原点であり、横方向がｘ軸（左側が正）、縦方向がｙ軸（下側が正）とする。説明の都合上、画像表示部１３については、さらに、垂直な方向の軸をｚ軸と呼ぶことにする。画像表示部１３から画像表示部１３の裏側へ向かう方向が、ｚ軸の正の方向である。また、画像表示部１３の裏側には、撮像部１５が設置されているとする。画像表示部１３の中心と、撮像部１５の中心の位置は同じとする。正確には、ＡＲ装置の厚みの分だけ、ｚ軸方向に、画像表示部１３の中心と撮像部１５の中心の位置は違っているが、厚みは通常薄いので、無視する。また、画像表示部１３の大きさは、横ＷＤ、縦ＨＤとする。この様子を、図７に示す。
【００３８】
なお、画像表示装置１３の中心と、撮像部１５の中心が違う場合は、後述する位置の計算に関して、その分オフセットを加算すればよいので、画像表示部１３の中心と、撮像部１５の中心の位置は同じとして説明しても一般性を失わない。
【００３９】
図８に本発明の実施例の処理の流れを示す。
【００４０】
図８のステップ１で、ユーザからの前処理を行う指示を待つ。すなわち、ユーザが、操作部１２を介してＡＲ動作の前処理を行う指示をするまで、ステップ１で待ち続ける。ユーザからの前処理を行う指示が来ると、ステップ２へ進む。
【００４１】
ステップ２へ進む段階では、ユーザが、ＡＲ装置１０をＱＲコード２１に向けている。ステップ２では、撮像部１５にて撮影を行い、そして、撮影された画像はバス１８を介してＣＰＵ１１へ送られる。ＣＰＵ１１では、この画像内のＱＲコード２１を検出し、解析を行う。なお、ＱＲコードの検出および解析は、既知の手法であり、その説明を省略する。ＱＲコード２１には、ネットワーク上の情報付き画像データ３０の所在場所が記録されている。ＱＲコード２１の解析結果から、ＱＲコード２１により指定されたネットワーク上の情報付き画像データ３０をダウンロードする。なお、ダウンロードは、ネットワークインターフェース部１７を介して行われ、ダウンロードされた情報付き画像データ３０は、バス１８を介してメモリ１４に格納される。なお、ネットワーク上にあらかじめ用意されている情報付き画像データ３０は、紙面２０と同じ大きさであり、「紙面２０と同じ画像３１と、その画像上に情報３２が重畳されている」という形式のデータである。
【００４２】
ここで、紙面２０を表現するのに、Ｐ（ｘ，ｙ）という２次元関数を導入とする。つまり、任意の位置（ｘ，ｙ）にＰ（ｘ，ｙ）という値が設定されている画像が、紙面２０である（図５参照）。ここで、ｘ＝−Ｗ／２からＷ／２の範囲であり、ｙ＝−Ｈ／２からＨ／２の範囲である。紙面２０の大きさは横Ｗであり縦Ｈであるとする。なお、ｘおよびｙの単位は、たとえばミリメートルなどである。
【００４３】
画像３１は、紙面２０と同じなので、画像３１の任意の位置（ｘ，ｙ）には、Ｐ（ｘ，ｙ）という値が設定されている。情報付き画像データ３０を、Ｑ（ｘ，ｙ）とする。ｘ＝−Ｗ／２からＷ／２の範囲であり、ｙ＝−Ｈ／２からＨ／２の範囲である。Ｑ（ｘ，ｙ）は、Ｐ（ｘ，ｙ）に情報３２を重畳したデータである。したがって、情報３２が存在しない位置（ｘ，ｙ）では、Ｑ（ｘ，ｙ）＝Ｐ（ｘ，ｙ）である（図６参照）。
【００４４】
ステップ２の後、ステップ３に進む。
【００４５】
ステップ３では、ユーザからのＡＲ動作開始の指示を待つ。すなわち、ユーザが操作部１２を介して、ＡＲ動作開始の指示をするまで、ステップ３で待ち続ける。ユーザからのＡＲ動作開始の指示が来ると、ステップ４へ進む。
【００４６】
ステップ４では、時刻を示す数値パラメータｔに０をセットする。そして、ステップ５に進む。
【００４７】
ステップ５へ進む段階では、ユーザが、ＡＲ装置１０を紙面２０から数十ｃｍ離した位置に保持している。そして、ＡＲ装置１０内ではステップ５以降の処理が行われるが、これら処理が行われている最中に、ユーザは、ＡＲ装置１０を紙面２０に近づけていき、最終的には、紙面２０にＡＲ装置１０を接地させるという動作を行う。ステップ５では、撮像部１５にて撮影を行い、撮影された画像はバス１８を介してＣＰＵ１１へ送られる。なお、この画像は、時刻ｔに撮影された画像であるので、Ｉ（ｔ）とする。そして、ステップ６に進む。
【００４８】
ステップ６では、ＣＰＵ１１により画像Ｉ（ｔ）が合焦した画像であるか判断する。具体的には、画像Ｉ（ｔ）の高周波数成分を調べ、所定の閾値以上であれば、合焦した画像であると判断する。上記閾値未満であれば、ボケた画像（合焦していない画像）と判断する。合焦した画像である場合には、ステップ７に進む。そうでなければ、ステップ１０（図９）に進む。
【００４９】
ステップ７では、メモリ１４内にある情報付き画像データ３０のうち画像３１（すなわち、Ｐ（ｘ，ｙ））のみを、バス１８を介してＣＰＵ１１へ送る。そして、ＣＰＵ１１で、画像Ｉ（ｔ）と画像３１のマッチングを行い、画像Ｉ（ｔ）と画像３１の位置関係（射影変換の関係）を求める。すなわち、式１を満たす３×３行列Ｈ３を求める。
【００５０】
【数１】
2015184391.tif 000003
【００５１】
ここで、Ｉ（ｔ，ｘ，ｙ）は、画像Ｉ（ｔ）の位置（ｘ，ｙ）の値である。つまり、画像Ｉ（ｔ）を、Ｈ３で変形することにより、画像３１となるようなＨ３を求める処理をする。この３×３行列Ｈ３は、ホモグラフィ行列（射影変換行列）と呼ばれるものである。２枚の画像のマッチング（位置関係の計算）の手法は、特徴点によるマッチング手法など、既知の手法を使えば良いので、その詳細説明を省略する。ステップ７の後、ステップ８に進む。
【００５２】
ステップ８では、撮影された画像Ｉ（ｔ）の中心（ｘ，ｙ）＝（０，０）が、画像３１（すなわち紙面２０）に対して、どのような位置関係にあるかを、ＣＰＵ１１で求める。具体的には、（Ｘ（ｔ），Ｙ（ｔ），ｄＸ（ｔ）、ｄＹ（ｔ））を求める。具体的には、（Ｘ（ｔ），Ｙ（ｔ），ｄＸ（ｔ）、ｄＹ（ｔ））は、式２、および、式３により計算される。ここで、Ｈ３は、直前のステップ７で求めたホモグラフィ行列（射影変換行列）である。
【００５３】
【数２】
2015184391.tif 000004
【００５４】
【数３】
2015184391.tif 000005
【００５５】
これにより、時刻ｔにおいて撮影された画像Ｉ（ｔ）の中心（すなわち、撮像部１５の中心）は、画像３１（すなわち紙面２０）の（Ｘ（ｔ），Ｙ（ｔ））の位置を撮影していたと言える。そして、撮影された画像Ｉ（ｔ）のｘ軸の正の方向は、画像３１（すなわち紙面２０）の（ｄＸ（ｔ）、ｄＹ（ｔ））の方向であることが分かる。正確に述べるなら、ｘ軸の正の方向に単位長さを持つベクトルは、画像３１（すなわち紙面２０）の上ではベクトル（ｄＸ（ｔ）、ｄＹ（ｔ））となることが分かる。
【００５６】
ＣＰＵ１１で求まった（Ｘ（ｔ），Ｙ（ｔ），ｄＸ（ｔ）、ｄＹ（ｔ））は、バス１８を介して、メモリ１４に格納される。これでステップ８での処理は終了し、次にステップ９に進む。
【００５７】
ステップ９では、単位時間（たとえば、１／３０秒）だけ待つ。そして、単位時間進んだので、ｔを１だけインクリメントする。ステップ９の後、ステップ５に戻り、更新されたｔについての処理を行う。
【００５８】
ステップ１０に進んだ段階では、ユーザによりＡＲ装置１０が紙面２０に近づけすぎて、撮像部１５が合焦できなくなっている。ステップ１０では、合焦できなくなった時刻を記憶しておくためｔ１＝ｔとする。そして、ステップ１１へ進む。
【００５９】
ステップ１１では、加速度センサ１６のｚ軸方向の値が不連続になったかを検出する。不連続でなければ、ステップ１２に進み、不連続であれば、ステップ１３に進む。
【００６０】
ステップ１２では、単位時間（たとえば、１／３０秒）だけ待つ。そして、単位時間進んだので、ｔを１だけインクリメントする。そして、ステップ１１に戻る。
【００６１】
ステップ１３に進むということは、加速度センサ１６のｚ軸方向の値が不連続を検知したということである。すなわち、ＡＲ装置１０が紙面２０に接触（接地）したことを意味する。ステップ１３では、ＡＲ装置１０が紙面２０に接触（接地）した時刻を記憶しておくためｔ２＝ｔとする。そして、ステップ１４へ進む。
【００６２】
ステップ１４では、接触（接地）した時刻における画像表示部１３と紙面２０の位置関係を外挿する。これは、メモリ１４に格納された（Ｘ（ｔ），Ｙ（ｔ），ｄＸ（ｔ）、ｄＹ（ｔ））（ここで、ｔは０からｔ１−１までの整数）を、バス１８を介してＣＰＵ１１に転送して、ＣＰＵ１１にて、これら（Ｘ（ｔ），Ｙ（ｔ），ｄＸ（ｔ）、ｄＹ（ｔ））の値を使って、外挿する。ここで外挿とは、０からｔ１−１までの（Ｘ（ｔ），Ｙ（ｔ），ｄＸ（ｔ）、ｄＹ（ｔ））の値を使って、時刻ｔ２における値（Ｘ（ｔ２），Ｙ（ｔ２），ｄＸ（ｔ２）、ｄＹ（ｔ２））を推定することを意味する。外挿には、各種手法が存在するが、たとえば、線形回帰モデルにより外挿すれば良い。すなわち、式４が最小となるＡ１とＢ１を求める。そして、Ｘ（ｔ２）＝Ａ１  ×  ｔ２  ＋  Ｂ１  とすればよい。この様子を図１１に示す。Ｙ（ｔ２），ｄＸ（ｔ２）、ｄＹ（ｔ２）についても同様に求めればよい。
【００６３】
【数４】
2015184391.tif 000006
【００６４】
ステップ１４の後、ステップ１５に進む。
【００６５】
ステップ１５では、ＡＲ装置１０の位置について、場合分けを行い、適切な方向になるように座標変換を行う。本発明の実施例においては、ＡＲ装置１０として、スマートフォンやタブレットＰＣなどを想定している。ユーザは、スマートフォンやタブレットＰＣを横方向にして使用する場合もあれば、縦方向にして使用する場合もある。そこで、ＡＲ装置１０が紙面２０に接地したとき、どのような方向であったかを検出する必要がある。図１２に、すべての場合を示す。
図１２の（ア）：紙面２０とＡＲ装置１０（すなわち、画像表示部１３）の各軸が同じ方向である場合を示している。
図１２の（イ）：紙面２０に対して、ＡＲ装置１０（すなわち、画像表示部１３）が９０度回転した場合を示している。すなわち、紙面２０のｘ軸の正の方向と、画像表示部１３のｙ軸の正の方向が同じである場合を示している。
図１２の（ウ）：紙面２０に対して、ＡＲ装置１０（すなわち、画像表示部１３）が−９０度回転した場合を示している。すなわち、紙面２０のｘ軸の正の方向と、画像表示部１３のｙ軸の負の方向が同じである場合を示している。
なお、図１２の中に記述されている４０は、「紙面２０（あるいは、情報付き画像データ３０）」である。４１は、「紙面２０（あるいは、情報付き画像データ３０）の座標原点」である。４２は、「紙面２０（あるいは、情報付き画像データ３０）のｘ軸」である。４３は、「紙面２０（あるいは、情報付き画像データ３０）のｙ軸」である。４４は、「画像表示部１３」である。４５は、「画像表示部１３の座標原点」である。４６は、「画像表示部１３のｘ軸」である。４７は、「画像表示部１３のｙ軸」である。図１２中に書かれているベクトル（Ｘ（ｔ２），Ｙ（ｔ２））は、紙面２０（あるいは、情報付き画像データ３０）の座標系におけるベクトルである。
【００６６】
なお、１８０度回転して使用するということは、天地を反対にしてＡＲ装置１０を使用することを意味しており、これは異常な使用方法なのでＡＲ処理を強制終了するようにする。また、ＡＲ装置１０を斜めにして使用することも、異常な使用方法なのでＡＲ処理を強制終了するようにする。
【００６７】
さて、前述のとおり、時刻ｔにおいて撮影された画像Ｉ（ｔ）のｘ軸の正の方向は、紙面２０では（ｄＸ（ｔ）、ｄＹ（ｔ））の方向であるから、外挿した値である（ｄＸ（ｔ２）、ｄＹ（ｔ２））により、図１２で示す（ア）、（イ）、（ウ）、および、「それ以外」の場合分けが可能である。すなわち、ステップ１５では、ステップ１４で求めた（ｄＸ（ｔ２）、ｄＹ（ｔ２））を使用して、ＣＰＵ１１にて、以下の処理を行う。
場合１：「ｄＹ（ｔ２）の絶対値」＜「ｄＸ（ｔ２）の絶対値」、かつ、０＜ｄＸ（ｔ２）、かつ、「ｄＹ（ｔ２）の絶対値」÷ｄＸ（ｔ２）＜Δならば、図１２の（ア）と判断されるので、紙面２０と画像表示部１３の各軸の方向が合っているから、何も処理を行わない。
場合２：「ｄＸ（ｔ２）の絶対値」＜「ｄＹ（ｔ２）の絶対値」、かつ、０＞ｄＹ（ｔ２）、かつ、「ｄＸ（ｔ２）の絶対値」÷（−ｄＹ（ｔ２））＜Δならば、図１２の（イ）と判断されるので、メモリ１４に格納されている情報付き画像データ３０を９０度回転させて、上書きする。また、接触した時刻における画像表示部１３と紙面２０の位置関係も９０度回転する必要があるので、（Ｘ（ｔ２），Ｙ（ｔ２））＝（−Ｙ（ｔ２），Ｘ（ｔ２））とする。
場合３：「ｄＸ（ｔ２）の絶対値」＜「ｄＹ（ｔ２）の絶対値」、かつ、０＜ｄＹ（ｔ２）、かつ、「ｄＸ（ｔ２）の絶対値」÷ｄＹ（ｔ２）＜Δならば、図１２の（ウ）と判断されるので、メモリ１４に格納されている情報付き画像データ３０を−９０度回転させて、上書きする。また、接触した時刻における画像表示部１３と紙面２０の位置関係も−９０度回転する必要があるので、（Ｘ（ｔ２），Ｙ（ｔ２））＝（Ｙ（ｔ２），−Ｘ（ｔ２））とする。
場合４：上記場合１、場合２、および、場合３のいずれにも合致しない場合には、「紙面に対して装置が傾き過ぎています。」というメッセージを画像表示部１３に表示して、強制終了する。
なお、ここで、Δは微小な値であり、ＡＲ装置１０が多少傾いていても、エラーとせず、ＡＲ動作を続行させるための閾値である。
【００６８】
場合１、場合２、および、場合３の状態に対する図を、それぞれ、図１３の（ア）、（イ）および（ウ）に記す。この図には、回転した後の軸（ステップ１５で更新した後の軸）を記してある。なお、図１３の中に記述されている５０は、「情報付き画像データ３０」である。５１は、「情報付き画像データ３０の座標原点」である。５２は、「情報付き画像データ３０のステップ１５の画像回転により更新されたｘ軸」である。５３は、「情報付き画像データ３０のステップ１５の画像回転により更新されたｙ軸」である。図１３における４４乃至４７は、図１２に記したものと同じである。図１３中に書かれている「ステップ１５により更新された（Ｘ（ｔ２），Ｙ（ｔ２））」は、情報付き画像データ３０のステップ１５により更新された座標系（更新されたｘ軸、ｙ軸）におけるベクトルである。
【００６９】
ステップ１５の後、場合４を除き、ステップ１６（図１０）に進む。
【００７０】
ステップ１６では、あらたに時刻を表すパラメータｓに０をセットする。また、最初の時刻における紙面２０に対する画像表示部１３の位置関係を示す値（Ｘｏｆｆｓｅｔ、Ｙｏｆｆｓｅｔ）に（Ｘ（ｔ２），Ｙ（ｔ２））の値を代入し、この値をメモリ１４に格納しておく。さらに、（ＸＸ（０）、ＹＹ（０））＝（Ｘｏｆｆｓｅｔ、Ｙｏｆｆｓｅｔ）として、この値もメモリ１４に格納しておく。そして、ステップ１７に進む。
【００７１】
ステップ１７では、画像表示部１３にて、現在の時刻ｓにおける適切な画像を表示する。すなわち、メモリ１４よりバス１８を介して、情報付き画像データ３０と（ＸＸ（ｓ）、ＹＹ（ｓ））をＣＰＵ１１に送る。ＣＰＵ１１では、（ＸＸ（ｓ）、ＹＹ（ｓ））を中心とした（ＷＤ、ＨＤ）の領域を、情報付き画像データ３０から切り取り、画像表示部１３に送る。画像表示部１３では、この画像が表示される。これにより、紙面２０に置かれたＡＲ装置１０内の画像表示部１３は、あたかも、透明なガラスを通して、紙面２０を直接見ているかのような錯覚をユーザに起こさせることができるので、ユーザは一体感を感じる。そして、透明なガラス部分に、情報３２（厳密には、情報３２の一部分）が書かれているように感じる。なぜなら、紙面２０上に対して、画像表示部１３の中心は（ＸＸ（ｓ）、ＹＹ（ｓ））に位置しており、そして、紙面２０と同じ大きさの情報付き画像データ３０から、（ＸＸ（ｓ）、ＹＹ（ｓ））を中心とした「画像表示部１３の大きさである（ＷＤ、ＨＤ）」を切り出して表示しているからである。ステップ１７の後、ステップ１８に進む。
【００７２】
ステップ１８では、単位時間（たとえば、１／３０秒）だけ待つ。そして、単位時間進んだので、ｓを１だけインクリメントする。そして、現在の時刻における加速度センサ１６のｘ軸の値（ａｘ（ｓ）とする）とｙ軸の値（ａｙ（ｓ）とする）を、バス１８を介して、メモリ１４に格納する。そして、ステップ１９に進む。
【００７３】
ステップ１９では、位置情報の更新を行う。すなわち、メモリに格納されているｓ＝１から現在までのすべての時刻におけるａｘ（ｓ）およびａｙ（ｓ）の値および（Ｘｏｆｆｓｅｔ、Ｙｏｆｆｓｅｔ）を、バス１８を介して、ＣＰＵ１１に送る。ＣＰＵ１１では、ａｘ（ｓ）を最初の時刻（ｓ＝１）から現在までの時間を２回積分して、さらに、Ｘｏｆｆｓｅｔを加算した値を計算し、ＸＸ（ｓ）とする。ａｙ（ｓ）を最初の時刻（ｓ＝１）から現在までの時間を２回積分して、さらに、Ｙｏｆｆｓｅｔを加算した値を計算し、ＹＹ（ｓ）とする。加速度センサの値を２回積分することで位置の変化をもとめることができる。（ＸＸ（ｓ）、ＹＹ（ｓ））の値は、バス１８を介して、メモリ１４に格納される。ステップ１９の後、ステップ２０に進む。
【００７４】
ステップ２０では、ユーザによる位置の微調整を行う。ステップ１９での積分は、時間がたつにつれて、誤差が累積してしまい、紙面２０に対する画像表示部１３の位置ずれが顕著になってくる可能性がある。そこで、ユーザが明示的に修正を加えられるようにしておく。具体的には、ユーザは、操作部１２より、（Ｘｏｆｆｓｅｔ、Ｙｏｆｆｓｅｔ）の値を入力する。操作部１２より入力された（Ｘｏｆｆｓｅｔ、Ｙｏｆｆｓｅｔ）はバス１８を介して、メモリ１４に格納されている（Ｘｏｆｆｓｅｔ、Ｙｏｆｆｓｅｔ）の値を上書きする。この更新により、次回の表示のときに、位置が修正された適切な領域が表示できる。ステップ２０の後、ステップ２１に進む。
【００７５】
ステップ２１では、ＡＲ動作の終了を検知する。すなわち、加速度センサ１６のｚ軸の値が、負の値であるかを判断する。負の値であれば、紙面２０からＡＲ装置１０が離れたことを意味する。負でなければ、紙面２０上にＡＲ装置が接地され続けていることが分かる。そこで、ステップ２１では、加速度センサ１６のｚ軸の値が、負の値である場合には、ステップ２２に進む。そうでなければ、ＡＲ動作を続けるために、ステップ１７に戻る。
【００７６】
ステップ２２では、画像表示部１３での表示を終了させて、ＡＲ動作を終了させる。
【００７７】
以上で本発明の実施例の説明を終える。
【００７８】
本発明においては、図１４に示すように、紙面２０に対してＡＲ装置１０を接地して使用する。そのため、ユーザの目の位置にかかわらず、画像表示部１３には、紙面２０内の適切な領域を、紙面２０と同じ大きさで表示させることで、実際の風景（紙面２０）に対して一体感のある画像表示をさせることができる。すなわち、画像表示部は、あたかも透明なガラスであるかのように見せることができる。そして、ユーザがＡＲ装置１０を移動させても、移動させた量と同じ量だけ、情報付き画像データ３０からの切り取り領域を変更して、表示させるので、画像表示部は、あたかも透明なガラスであるかのように見せ続けさせることができる。
【００７９】
なお、上記本発明の実施例においては、ユーザがＡＲ装置１０を紙面２０上で移動させる際に、平行移動のみを許可しており、回転させることを想定していない。もし、回転も許可する場合は、ＡＲ装置１０内に、ジャイロセンサを設けて、紙面２０に対するＡＲ装置１０の傾き具合を検知するようにすれば良い。そして、上記（ＸＸ（ｓ）、ＹＹ（ｓ））の値と、ジャイロセンサより検出されたその傾き具合とにより、情報付き画像データ３０から切り取る領域を決定して、その領域部分を、画像表示部１３にて表示すれば良い。
【００８０】
また、上記本発明の実施例においては、ＱＲコードにより情報付き画像データ３０をダウンロードするとして説明したが、以下のような方法で情報付き画像データ３０を取得しても良い。すなわち、紙面２０を撮影し、紙面２０内に描かれている物体を認識する。そして、認識された物体に対する情報を、インターネット上で検索して、検索された情報を付加することで、情報付き画像データ３０を作成しても良い。
【００８１】
以上、本発明の実施形態を詳述してきたが、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００８２】
さらに、本技術は、以下の構成とすることも可能である。
【００８３】
［１］
画像の中から特定領域のみを画像表示装置に表示する画像表示方法であって、
上記画像をメモリに格納する画像データ格納ステップと、
上記画像表示装置の移動量を計測する位置計測ステップと、
直前の時刻における上記特定領域に対して、上記位置計測ステップで計測された移動量と同じ量だけ、移動させた領域を現在の時刻における上記特定領域とするように、上記特定領域を変更させる領域更新ステップと、
上記画像のうち上記特定領域のみを上記画像表示装置に表示させる表示ステップと
を含む画像表示方法。
［２］
上記画像表示装置に対して衝撃を検知した時に、上記画像表示装置への表示を初める処理を行う処理開始ステップ、
あるいは、
上記画像表示装置の表示面側への移動を検知した時に、上記画像表示装置への表示を終了する処理を行う処理終了ステップ、
の少なくともいずれか１つのステップを
さらに含む［１］に記載の画像表示方法。
［３］
上記画像表示装置への表示を初める時刻よりも前に、
上記画像表示装置に設置された撮像手段により撮影された画像を解析して上記画像表示装置への表示を初める時刻における位置を計算する初期位置計算ステップを
さらに含む［１］または［２］に記載の画像表示方法。
［４］
上記特定領域は、上記画像表示装置の表示部の大きさと同じ大きさであるという条件を付けて上記領域更新ステップで上記特定領域を更新することを
特徴とする［１］乃至［３］に記載の画像表示方法。
［５］
上記画像表示装置への表示を初める時刻における画像表示装置の傾き具合に応じて、上記表示ステップで上記画像表示装置に表示する上記特定領域の画像を９０度または−９０度回転させて表示させることを
特徴とする［１］乃至［４］に記載の画像表示方法。
［６］
画像の中から特定領域のみを表示する画像表示装置であって、
上記画像を格納するメモリ部と、
上記画像表示装置の移動量を計測する位置計測部と、
直前の時刻における上記特定領域に対して、上記位置計測部で計測された移動量と同じ量だけ、移動させた領域を現在の時刻における上記特定領域とするように、上記特定領域を変更させる領域更新部と、
上記画像のうち上記特定領域のみを上記画像表示装置に表示させる表示制御部と
を備える画像表示装置。
［７］
画像の中から特定領域のみを画像表示装置に表示する画像表示プログラムであって、
上記画像をメモリに格納する画像データ格納ステップと、
上記画像表示装置の移動量を計測する位置計測ステップと、
直前の時刻における上記特定領域に対して、上記位置計測ステップで計測された移動量と同じ量だけ、移動させた領域を現在の時刻における上記特定領域とするように、上記特定領域を変更させる領域更新ステップと、
上記画像のうち上記特定領域のみを上記画像表示装置に表示させる表示ステップと
を含む処理をコンピュータに実行させる画像表示プログラム。
【符号の説明】
【００８４】
１０…画像表示装置（ＡＲ装置）
１１…中央演算処理部
１２…操作部
１３…画像表示部
１４…メモリ
１５…撮像部
１６…加速度センサ
１７…ネットワークインターフェース部
１８…バス
２０…紙面
２１…２次元バーコード
３０…情報付き画像データ
３１…画像
３２…情報
１００…従来の画像表示装置（従来のＡＲ装置）
１１０…画像表示部
１２０…撮像部
２００…紙面
３００…画像
３１０…情報
４００…ユーザの目
【図１】
2015184391.tif 000007
【図２】
2015184391.tif 000008
【図３】
2015184391.tif 000009
【図４】
2015184391.tif 000010
【図５】
2015184391.tif 000011
【図６】
2015184391.tif 000012
【図７】
2015184391.tif 000013
【図８】
2015184391.tif 000014
【図９】
2015184391.tif 000015
【図１０】
2015184391.tif 000016
【図１１】
2015184391.tif 000017
【図１２】
2015184391.tif 000018
【図１３】
2015184391.tif 000019
【図１４】
2015184391.tif 000020