(57)【要約】【課題】説明文書が説明者にとって見づらい向きに回転された場合であっても説明者が判読可能な向きの説明文書を参照することを可能にする表示装置、及び当該表示装置の制御プログラムを提供する。【解決手段】表示装置１は、表示パネル１１を介したユーザーの視界内に存在する説明文書Ｄがユーザーにとって判読可能な向き（基準向き）に対して回転されている場合に、基準向きに配置された状態の説明文書Ｄを表す仮想画像を生成し、当該仮想画像（説明文書Ｄ´）が表示パネル１１を介したユーザーの視界内に配置されるように、当該仮想画像（説明文書Ｄ´）を表示パネル１１に表示する。【選択図】図３
2014178977.tif 000002
【特許請求の範囲】
【請求項１】
表示パネルを備えた表示装置であって、
前記表示パネルを介したユーザーの視界内に存在する文書を検出する文書検出部と、
前記文書がユーザーにとって判読可能な向きである基準向きに対して回転されているかどうかを判定する回転判定部と、
前記文書が基準向きに対して回転されている場合に、基準向きに配置された状態の前記文書を表す仮想画像を生成する仮想画像生成部と、
前記仮想画像が前記表示パネルを介したユーザーの視界内に配置されるように、前記仮想画像を前記表示パネルに表示する表示制御部と、を有する表示装置。
【請求項２】
前記表示制御部は、前記仮想画像が前記表示パネルを介したユーザーの視界内の前記文書に重ね合わせられるように、前記仮想画像を前記表示パネルに表示することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示パネルを介したユーザーの視界内の空間を撮影する撮影部をさらに有し、
前記仮想画像生成部は、前記撮影部の撮影画像に基づき前記仮想画像を生成することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
前記文書の画像データを受信する通信部をさらに有し、
前記仮想画像生成部は、前記通信部により受信した画像データに基づき前記仮想画像を生成することを特徴とする請求項１または２に記載の表示装置。
【請求項５】
前記回転判定部は、少なくとも、前記文書が紙面と直交する軸まわりに回転されているかどうかを判定することを特徴とする請求項１〜４のいずれか１つに記載の表示装置。
【請求項６】
前記回転判定部は、少なくとも、前記文書が紙面の一側辺と平行をなす軸まわりに回転されているかどうかを判定することを特徴とする請求項１〜４のいずれか１つに記載の表示装置。
【請求項７】
前記表示制御部は、前記表示パネルに表示されている前記仮想画像をユーザー指示に応じてさらに解除することを特徴とする請求項１〜６のいずれか１つに記載の表示装置。
【請求項８】
前記表示制御部は、前記仮想画像により表される前記文書の向きが現実の前記文書の向きに近づくように前記仮想画像を徐々に回転させた後に、前記仮想画像を解除することを特徴とする請求項７に記載の表示装置。
【請求項９】
前記ユーザー指示の時点におけるユーザーの注目点を特定するための視線センサーをさらに有し、
前記表示制御部は、前記視線センサーにより特定した前記注目点を回転軸として前記仮想画像を回転させることを特徴とする請求項８に記載の表示装置。
【請求項１０】
前記表示パネルによりレンズ部分が構成されるメガネ状の表示装置であることを特徴とする請求項１〜９のいずれか１つに記載の表示装置。
【請求項１１】
表示パネルを備えた表示装置の制御プログラムであって、
前記表示パネルを介したユーザーの視界内に存在する文書を検出する手順（Ａ）と、
前記文書がユーザーにとって判読可能な向きである基準向きに対して回転されているかどうかを判定する手順（Ｂ）と、
前記文書が基準向きに対して回転されている場合に、基準向きに配置された状態の前記文書を表す仮想画像を生成する手順（Ｃ）と、
前記仮想画像が前記表示パネルを介したユーザーの視界内に配置されるように、前記仮想画像を前記表示パネルに表示する手順（Ｄ）と、を前記表示装置に実行させるための制御プログラム。
【請求項１２】
前記手順（Ｄ）では、前記仮想画像が前記表示パネルを介したユーザーの視界内の前記文書に重ね合わせられるように、前記仮想画像を前記表示パネルに表示することを特徴とする請求項１１に記載に制御プログラム。
【請求項１３】
前記表示パネルを介したユーザーの視界内の空間を撮影する手順（イ）を前記表示装置にさらに実行させ、
前記手順（Ｃ）では、前記手順（イ）での撮影画像に基づき前記仮想画像を生成することを特徴とする請求項１１または１２に記載の制御プログラム。
【請求項１４】
前記文書の画像データを受信する手順（ロ）を前記表示装置にさらに実行させ、
前記手順（Ｃ）では、前記手順（ロ）で受信した画像データに基づき前記仮想画像を生成することを特徴とする請求項１１または１２に記載の制御プログラム。
【請求項１５】
前記手順（Ｂ）では、少なくとも、前記文書が紙面と直交する軸まわりに回転されているかどうかを判定することを特徴とする請求項１１〜１４のいずれか１つに記載の制御プログラム。
【請求項１６】
前記手順（Ｂ）では、少なくとも、前記文書が紙面の一側辺と平行をなす軸まわりに回転されているかどうかを判定することを特徴とする請求項１１〜１４のいずれか１つに記載の制御プログラム。
【請求項１７】
前記手順（Ｄ）で表示された前記仮想画像をユーザー指示に応じて解除する手順（ハ）を前記表示装置にさらに実行させることを特徴とする請求項１１〜１６のいずれか１つに記載の制御プログラム。
【請求項１８】
前記手順（ハ）では、前記仮想画像により表される前記文書の向きが現実の前記文書の向きに近づくように前記仮想画像を徐々に回転させた後に、前記仮想画像を解除することを特徴とする請求項１７に記載の制御プログラム。
【請求項１９】
前記ユーザー指示の時点におけるユーザーの注目点を視線センサーにより特定する手順（二）を前記表示装置にさらに実行させ、
前記手順（ハ）では、前記手順（二）で特定した前記注目点を回転軸として前記仮想画像を回転させることを特徴とする請求項１８に記載の制御プログラム。
【請求項２０】
前記表示装置は、前記表示パネルによりレンズ部分が構成されるメガネ状の表示装置であることを特徴とする請求項１１〜１９のいずれか１つに記載の制御プログラム。
【請求項２１】
請求項１１〜２０のいずれか１つに記載の制御プログラムが記録されたコンピューター読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術を用いて生成した仮想画像を表示可能なＡＲメガネ等の表示装置、及び当該表示装置の制御プログラムに関する。
【背景技術】
【０００２】
通常、テーブルに置かれた１つの印刷物について正対する相手に説明する場合、説明者は相手にとって読みやすいように印刷物をテーブル上で回転させることがある（図３の（ａ）の状態から（ｂ）の状態へ回転）。しかし、このようにして回転された印刷物は、説明者から見て斜め向きになったり反対向きになったりするため、説明者にとって読みづらくなるという不都合を招来することがある。このことは、１つの携帯表示端末（電子ペーパーやタブレット等）に表示された内容について説明する場合も同様である。
【０００３】
これに関連して、以下の特許文献１には、天地左右を逆転した２つの画像を一表示領域内に視覚的同時に表示する画像表示装置が提案されている。より具体的に、上記の画像表示装置は、１つの表示領域においてＳ偏光、Ｐ偏光の各画像を時分割表示することにより、Ｓ偏向メガネ、Ｐ偏光メガネをそれぞれ装着した観察者が自分にとって見やすい向きの画像を観察することを可能にしている。しかしながら、特許文献１に記載の技術は専用の光学装置を必要とするほか、紙媒体に印刷された印刷物に対しては適用することができない。
【０００４】
また、以下の特許文献２には、モバイルＰＣを操作する説明者が正対する閲覧者にプレゼンテーションを行う場合に、閲覧者にとって資料を見やすくしつつ説明者による資料の操作を容易にする技術が提案されている。より具体的に、特許文献２には、説明者がモバイルＰＣの表示画面を相手に見せるときに、表示画面上のプレゼン資料を相手が見やすいように回転させると同時にポインティングデバイスの操作に基づくカーソルの移動方向を反転させる技術が記載されている。しかし、特許文献２の技術を採用したとしても、回転された資料が説明者にとって読みづらいことに変わりはなく、上記の不都合が解消されることはない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２３５７１３号公報
【特許文献２】特開２０１０−８６０７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記従来技術に伴う課題を解決するためになされたものであり、本発明の目的は、説明文書が説明者にとって見づらい向きに回転された場合であっても説明者が判読可能な向きの説明文書を参照することを可能にする表示装置、及び当該表示装置の制御プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の上記目的は、下記の手段によって達成される。
【０００８】
（１）表示パネルを備えた表示装置であって、前記表示パネルを介したユーザーの視界内に存在する文書を検出する文書検出部と、前記文書がユーザーにとって判読可能な向きである基準向きに対して回転されているかどうかを判定する回転判定部と、前記文書が基準向きに対して回転されている場合に、基準向きに配置された状態の前記文書を表す仮想画像を生成する仮想画像生成部と、前記仮想画像が前記表示パネルを介したユーザーの視界内に配置されるように、前記仮想画像を前記表示パネルに表示する表示制御部と、を有する表示装置。
【０００９】
（２）前記表示制御部は、前記仮想画像が前記表示パネルを介したユーザーの視界内の前記文書に重ね合わせられるように、前記仮想画像を前記表示パネルに表示することを特徴とする上記（１）に記載の表示装置。
【００１０】
（３）前記表示パネルを介したユーザーの視界内の空間を撮影する撮影部をさらに有し、前記仮想画像生成部は、前記撮影部の撮影画像に基づき前記仮想画像を生成することを特徴とする上記（１）または（２）に記載の表示装置。
【００１１】
（４）前記文書の画像データを受信する通信部をさらに有し、前記仮想画像生成部は、前記通信部により受信した画像データに基づき前記仮想画像を生成することを特徴とする上記（１）または（２）に記載の表示装置。
【００１２】
（５）前記回転判定部は、少なくとも、前記文書が紙面と直交する軸まわりに回転されているかどうかを判定することを特徴とする上記（１）〜（４）のいずれか１つに記載の表示装置。
【００１３】
（６）前記回転判定部は、少なくとも、前記文書が紙面の一側辺と平行をなす軸まわりに回転されているかどうかを判定することを特徴とする上記（１）〜（４）のいずれか１つに記載の表示装置。
【００１４】
（７）前記表示制御部は、前記表示パネルに表示されている前記仮想画像をユーザー指示に応じてさらに解除することを特徴とする上記（１）〜（６）のいずれか１つに記載の表示装置。
【００１５】
（８）前記表示制御部は、前記仮想画像により表される前記文書の向きが現実の前記文書の向きに近づくように前記仮想画像を徐々に回転させた後に、前記仮想画像を解除することを特徴とする上記（７）に記載の表示装置。
【００１６】
（９）前記ユーザー指示の時点におけるユーザーの注目点を特定するための視線センサーをさらに有し、前記表示制御部は、前記視線センサーにより特定した前記注目点を回転軸として前記仮想画像を回転させることを特徴とする上記（８）に記載の表示装置。
【００１７】
（１０）前記表示パネルによりレンズ部分が構成されるメガネ状の表示装置であることを特徴とする上記（１）〜（９）のいずれか１つに記載の表示装置。
【００１８】
（１１）表示パネルを備えた表示装置の制御プログラムであって、前記表示パネルを介したユーザーの視界内に存在する文書を検出する手順（Ａ）と、前記文書がユーザーにとって判読可能な向きである基準向きに対して回転されているかどうかを判定する手順（Ｂ）と、前記文書が基準向きに対して回転されている場合に、基準向きに配置された状態の前記文書を表す仮想画像を生成する手順（Ｃ）と、前記仮想画像が前記表示パネルを介したユーザーの視界内に配置されるように、前記仮想画像を前記表示パネルに表示する手順（Ｄ）と、を前記表示装置に実行させるための制御プログラム。
【００１９】
（１２）前記手順（Ｄ）では、前記仮想画像が前記表示パネルを介したユーザーの視界内の前記文書に重ね合わせられるように、前記仮想画像を前記表示パネルに表示することを特徴とする上記（１１）に記載に制御プログラム。
【００２０】
（１３）前記表示パネルを介したユーザーの視界内の空間を撮影する手順（イ）を前記表示装置にさらに実行させ、前記手順（Ｃ）では、前記手順（イ）での撮影画像に基づき前記仮想画像を生成することを特徴とする上記（１１）または（１２）に記載の制御プログラム。
【００２１】
（１４）前記文書の画像データを受信する手順（ロ）を前記表示装置にさらに実行させ、前記手順（Ｃ）では、前記手順（ロ）で受信した画像データに基づき前記仮想画像を生成することを特徴とする上記（１１）または（１２）に記載の制御プログラム。
【００２２】
（１５）前記手順（Ｂ）では、少なくとも、前記文書が紙面と直交する軸まわりに回転されているかどうかを判定することを特徴とする上記（１１）〜（１４）のいずれか１つに記載の制御プログラム。
【００２３】
（１６）前記手順（Ｂ）では、少なくとも、前記文書が紙面の一側辺と平行をなす軸まわりに回転されているかどうかを判定することを特徴とする上記（１１）〜（１４）のいずれか１つに記載の制御プログラム。
【００２４】
（１７）前記手順（Ｄ）で表示された前記仮想画像をユーザー指示に応じて解除する手順（ハ）を前記表示装置にさらに実行させることを特徴とする上記（１１）〜（１６）のいずれか１つに記載の制御プログラム。
【００２５】
（１８）前記手順（ハ）では、前記仮想画像により表される前記文書の向きが現実の前記文書の向きに近づくように前記仮想画像を徐々に回転させた後に、前記仮想画像を解除することを特徴とする上記（１７）に記載の制御プログラム。
【００２６】
（１９）前記ユーザー指示の時点におけるユーザーの注目点を視線センサーにより特定する手順（二）を前記表示装置にさらに実行させ、前記手順（ハ）では、前記手順（二）で特定した前記注目点を回転軸として前記仮想画像を回転させることを特徴とする上記（１８）に記載の制御プログラム。
【００２７】
（２０）前記表示装置は、前記表示パネルによりレンズ部分が構成されるメガネ状の表示装置であることを特徴とする上記（１１）〜（１９）のいずれか１つに記載の制御プログラム。
【００２８】
（２１）上記（１１）〜（２０）のいずれか１つに記載の制御プログラムが記録されたコンピューター読み取り可能な記録媒体。
【発明の効果】
【００２９】
本発明に係る表示装置は、表示パネルを介したユーザーの視界内に存在する説明文書がユーザーにとって判読可能な向き（基準向き）に対して回転されている場合に、基準向きに配置された状態の説明文書を表す仮想画像を生成し、当該仮想画像が表示パネルを介したユーザーの視界内に配置されるように当該仮想画像を表示パネルに表示する。
【００３０】
よって、本発明によると、現実の説明文書が説明者（ユーザー）にとって見づらい向きに回転された場合であっても、表示パネル上に判読可能な向きの説明文書が表示されるため、説明者（ユーザー）が１つの説明文書について正対する相手に説明するときの利便性が大幅に向上することになる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る表示装置の外観を示す斜視図である。
【図２】本発明の一実施形態に係る表示装置のシステム構成を示すブロック図である。
【図３】本発明の一実施形態に係る表示装置の動作の一例を示す概略図である。
【図４】本発明の一実施形態に係る仮想画像の解除手順の一例を示す概略図である。
【図５】本発明の一実施形態に係る仮想画像の解除手順の他の例を示す概略図である。
【図６】本発明の一実施形態に係る表示装置の動作の他の例を示す概略図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３３】
図１は、本発明の一実施形態に係る表示装置１の外観を示す斜視図である。図１のように、表示装置１は、ユーザーの頭部に装着されるメガネ型のＡＲ端末であり、そのレンズ部分に透過型の表示パネル１１を備えている。表示パネル１１は、例えば、高分子分散型液晶パネルや有機ＥＬパネル等である。
【００３４】
また、表示装置１は、それを装着したユーザーの視界内の空間を撮影する撮影部１２を備えている。撮影部１２は、例えば、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサー等の撮像素子を備えたデジタルカメラである。撮影部１２による撮影画像のことを以下では「カメラ画像」と称することがある。
【００３５】
本実施形態に係る表示装置１は、表示パネル１１上に種々の仮想画像を表示することにより、表示パネル１１を介したユーザーの視界に対する拡張現実を提供する。すなわち、表示装置１は、表示パネル１１に表示された仮想画像があたかも現実に存在するかのような視覚効果をユーザーに与えることができる。
【００３６】
図２は、本実施形態に係る表示装置１のシステム構成を示すブロック図である。図２のように、表示装置１は、表示パネル１１及び撮影部１２に加えて、画像取得部１３、画像解析部１４、仮想画像生成部１５、表示制御部１６、及び無線通信部１７を備えている。各部の機能について以下に順に説明する。
【００３７】
画像取得部１３は、撮影部１２のカメラ画像から、ユーザーの視界内の空間を表す画像データを取得する機能を有する。画像解析部１４は、画像取得部１３により取得した画像データを解析する機能を有する。特に、画像解析部１４は、撮影部１２のカメラ画像に含まれる文書を検出する文書検出部１４１を備えている。ここでいう「文書」とは、紙のような印刷媒体に印刷された文書のみならず、電子ペーパーやタブレット端末のようなユーザーが持ち運んだり向きを変えたりすることができる表示端末に印刷された文書をも含んでいる。文書検出部１４１による具体的な検出方法については後述する。
【００３８】
また、画像解析部１４は、文書検出部１４１により検出した個々の文書が表示装置１を装着するユーザーにとって判読可能な向きに配置されているか、又は判読可能な向きに対して回転されているかどうかを判定する回転判定部１４２を備えている。ここでいう文書の「向き」とは、文書の紙面と直交する回転軸、及び／又は紙面の一側辺（長辺又は短辺）と平行をなす回転軸まわりに文書を回転させたときの紙面の姿勢のことを指している。
【００３９】
そして、ユーザーにとって判読可能な向きとは、通常、文書の印刷面（又は表示面）がユーザーに対向するように配置されており、かつ、文書中の文字列が水平方向又は鉛直方向に沿って配置されている姿勢のことを指している（図３（ａ）及び図６（ａ）参照）。このような文書の向きのことを以下では「基準向き」と称することがある。回転判定部１４２による具体的な判定方法については後述する。
【００４０】
仮想画像生成部１５は、表示装置１を装着するユーザーに対して付加的な視覚情報を提供するための仮想画像を生成する機能を有する。より具体的に、仮想画像生成部１５は、回転判定部１４２により基準向きに対して回転されていると判定された個々の文書について、当該文書が基準向きに配置されたときの状態を表す仮想画像を生成する。仮想画像生成部１５による具体的な生成方法については後述する。
【００４１】
表示制御部１６は、仮想画像生成部１５により生成した仮想画像を、表示パネル１１を介したユーザーの視界内に表示する機能を有する。より具体的に、表示制御部１６は、個々の文書の仮想画像が表示パネル１１を介したユーザーの視界内に存在する当該文書に重ね合わせられるように、当該文書の仮想画像を表示パネル１１に表示する。これにより、表示パネル１１を介したユーザーの視界内の当該文書の位置に、当該文書の仮想画像（基準向き）が現実に存在するかのような視覚効果を発生させることができる。
【００４２】
無線通信部１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２.１１、ＨｏｍｅＲＦ、ＩｒＤＡ等の無線通信規格により外部機器と無線通信を行う機能を有する。例えば、無線通信部１７は、不図示のファイルサーバーや表示端末等から、ユーザーの視界内に存在する文書の向きに関する情報や、基準向きに配置された当該文書の仮想画像データ等を受信することができる。これらの情報が受信可能である場合、画像解析部１４によりカメラ画像を解析したり、仮想画像生成部１５により仮想画像を生成したりする必要がなくなるため、表示装置１全体にかかる負荷を軽減することができる。
【００４３】
次に、本実施形態に係る表示装置１の動作の一例について説明する。図３は、表示装置１を装着したユーザー（説明者）が正対する被説明者に対して説明文書Ｄの内容を説明するときの表示装置１の動作の概要を示す概略図である。本例において、説明文書Ｄは会議テーブルのような水平面上に置かれている。
【００４４】
図３（ａ）のように、説明文書Ｄの印刷面がユーザー（説明者）の視界に収められると、画像取得部１３が撮影部１２から画像データを取得し、画像解析部１４（文書検出部１４１）がカメラ画像内に存在する説明文書Ｄを検出する。このときの具体的な検出方法は以下に示す通りである。
【００４５】
（１−１）一般的なＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）技術を利用する。より具体的に、画像データから抽出したパターンと、予め保持されている文字パターンとを比較することにより、カメラ画像中の文字部分を識別する。そして、単位広さ当たりに所定数以上の文字が識別された領域を説明文書Ｄとして認識する。
【００４６】
（１−２）各部の特徴（色、形）に注目する。例えば、白色の矩形面（用紙に対応する）に形成された各色の線状パターン（文字に対応する）がカメラ画像中に存在する場合、その矩形部分を印刷媒体に印刷された説明文書Ｄとして認識する。また、所定の色や形を有するフレーム状の外枠がカメラ画像中に存在する場合、その外枠に囲まれた部分を表示媒体に表示された説明文書Ｄとして認識する。
【００４７】
（１−３）一般的な識別子を利用する。例えば、予め説明文書Ｄに印刷しておいた識別子（バーコード、ＱＲコード等）がカメラ画像中に存在する場合、その識別子を含む矩形部分を説明文書Ｄとして認識する。
【００４８】
（１−４）外部機器から情報を受信する。例えば、説明文書Ｄを表示する表示媒体（電子ペーパー、タブレット端末等）と無線通信を行い、その表示媒体の位置／向きに関する情報を受信する。そして、表示媒体から受信した情報、及び自機の位置／向きに関する情報を解析することにより、説明文書Ｄを表示する表示媒体がユーザーの視界内に存在するかどうかを判定する。
【００４９】
上記の検出方法は一例にすぎず、本実施形態では他の公知の検出方法が採用される場合もある。また、本実施形態では上記のような検出方法を単独で用いる場合もあるし、検出精度を向上させるために複数の検出方法を組み合わせて用いる場合もある。
【００５０】
続いて、図３（ｂ）のように、画像解析部１４（回転判定部１４２）が画像データを逐次解析し、カメラ画像中の説明文書Ｄが、基準向きに対して、紙面と直交する軸まわりに回転されているかどうかを判定する。このときの具体的な判定方法は以下に示す通りである。なお、図３（ｂ）の例では、当初は基準向きに配置されていた説明文書Ｄが、説明者の対面の被説明者にとって見やすいように紙面に直交する軸まわりに＋１８０°回転されている。
【００５１】
（２−１）一般的なＯＲＣ技術を利用する。より具体的に、一般的なＯＣＲ技術により認識したカメラ画像の文字パターンと、予め保持されている標準的な文字パターンとの角度差を検出する。そして、両パターンの角度差が所定範囲内にある場合に、説明文書Ｄが基準向きに対して回転されていない（すなわち、基準向きに配置されている）と判定し、両パターンの角度差が所定範囲を超える場合に、説明文書Ｄが基準向きに対して回転されていると判定する（図３（ｂ）参照）。
【００５２】
（２−２）説明者の視線の変化に注目する。より具体的に、表示パネル１１の内表面に設置された不図示の視線センサーによりユーザーの視線を検出し、その変化量に応じてカメラ画像中の説明文書Ｄが基準向きに配置されているかどうかを判定する。例えば、ユーザーの視線が長時間にわたりカメラ画像中の説明文書Ｄに固定されている場合、カメラ画像中の説明文書Ｄが基準向きに配置されていると判定する。これは、ユーザーが説明文書Ｄを読んでいるときはユーザーの視線が長時間にわたり説明文書Ｄ上にあることとなり、ユーザーが説明文書Ｄを読んでいるということは説明文書Ｄが基準向きに配置されていると考えられることから、ユーザーの視線が長時間にわたりカメラ画像中の説明文書Ｄに固定されていることをもって、カメラ画像中の説明文書Ｄが基準向きに配置されているとみなしている。
【００５３】
（２−３）説明文書の外枠の形状に注目する。例えば、カメラ画像中の説明文書Ｄの外枠が長方形に近い形状を有する場合、カメラ画像中の説明文書Ｄが基準向きに配置されていると判定する。他方、カメラ画像中の説明文書Ｄの外枠が長方形に対して大きく歪んだ形状を有する場合、カメラ画像中の説明文書Ｄが基準向きに対して回転されていると判定する。
【００５４】
（２−４）外部機器から情報を受信する。例えば、説明文書Ｄを表示する表示媒体（電子ペーパー、タブレット端末等）と無線通信を行い、その表示媒体の位置／向きに関する情報を受信する。そして、表示媒体から受信した情報、及び自機の位置／向きに関する情報を解析することにより、表示媒体に表示された説明文書が基準向きに対して回転されているかどうかを判定する。
【００５５】
上記の判定方法は一例にすぎず、本実施形態では他の公知の判定方法が採用される場合もある。また、本実施形態では上記のような判定方法を単独で用いる場合もあるし、判定精度を向上させるために複数の判定方法を組み合わせて用いる場合もある。
【００５６】
続いて、図３（ｃ）のように、仮想画像生成部１５が基準向きに配置された説明文書Ｄの仮想画像を生成する。図中の例では、説明文書Ｄが紙面に直交する軸まわりに＋１８０°回転されているので、現在のカメラ画像中の説明文書Ｄを上記の軸まわりに−１８０°回転することにより、基準向きに配置された説明文書Ｄの仮想画像を生成する。このようにして生成された仮想画像中の説明文書Ｄのことを、現実の説明文書Ｄと区別するために、以下では「説明文書Ｄ´」と称することがある。
【００５７】
なお、説明文書Ｄが表示端末上の表示画像であり、その表示画像データが無線通信により受信可能である場合、仮想画像生成部１５はカメラ画像ではなく元の表示画像から仮想画像を生成することが好ましい。これにより仮想画像生成部１５は、より鮮明な仮想画像を生成することができる。仮想画像生成部１５は、公知のＡＲ技術を用いて上記の仮想画像を生成する。
【００５８】
なお、図３（ａ）〜（ｄ）のように説明文書Ｄが水平面上に置かれている場合、撮影部１２の撮像軸線（光学系の光軸）が紙面と直交する軸に対して傾斜することがある。そのため、本来は長方形であるべき説明文書Ｄがカメラ画像中で台形状に歪んでしまうことがあり、そのカメラ画像から生成された仮想画像中の説明文書Ｄ´も同じように歪んでしまうことがある。そこで、仮想画像生成部１５は、公知の画像処理技術を用いて歪みを矯正した仮想画像を生成することができる。このような画像処理技術は、例えば、特開２０１０−２７８５１１号公報に記載されている。
【００５９】
続いて、図３（ｄ）のように、表示制御部１６が表示パネル１１に仮想画像を表示する。このとき、表示制御部１６は、仮想画像中の説明文書Ｄ´が表示パネル１１を介したユーザーの視界内の説明文書Ｄに重ね合わせられるように、当該仮想画像を表示する。表示制御部１６は、公知のＡＲ技術を用いて上記の仮想画像を表示する。これにより、表示装置１を装着したユーザー（説明者）は、対面の被説明者にとって見やすいように説明文書Ｄを紙面と直交する軸まわりに回転した場合であっても、表示パネル１１において判読可能な説明文書Ｄ´（仮想画像）を確認することができる。
【００６０】
なお、本例では、説明文書Ｄがカメラ画像内にとらえられている間は仮想画像中の説明文書Ｄ´を現実の仮想文書Ｄに重ね合わせて表示するが、説明文書Ｄがカメラ画像から外れた場合は仮想画像を表示パネル１１上の固定位置又はユーザー指定位置に表示する。これによりユーザーが説明文書Ｄを視界に収めるために説明文書Ｄを移動させたり顔の向きを変えたりする手間を省くことができる。
【００６１】
次に、表示パネル１１に表示中の仮想画像を解除する方法について説明する。図３（ｄ）のように表示パネル１１に仮想画像が表示されている場合、ユーザー（説明者）が現実の説明文書Ｄの所望の箇所を指し示したり、マーカーを引いたりするときに、現実の説明文書Ｄの所望の箇所を特定することが困難になるおそれがある。そのため、表示制御部１６は、ユーザー指示に応じて表示パネル１１に表示中の仮想画像を解除する機能をさらに備えている。このようなユーザー指示は、例えば、不図示の解除ボタンが押下されたときや音声指示が認識されたときに受け付けられる。表示制御部１６は表示パネル１１への仮想画像データの送信を停止することにより表示パネル１１に表示中の仮想画像を解除（消去）する。
【００６２】
この際、ユーザー指示の直後に仮想画像が解除されると、ユーザーがそれまで注目していた仮想画像中の特定の箇所を見失ってしまうおそれがある。そのため、表示制御部１６は以下の手順に従って段階的に仮想画像を解除する（図４参照）。
【００６３】
（Ａ−１）ユーザー指示を受け付けたら、図４（ａ）〜（ｃ）のように、表示パネル１１上の説明文書Ｄ´を回転させることにより、表示パネル１１上の説明文書Ｄ´の向きを現実の説明文書Ｄの向きに少しずつ近づける。なお、図中の例では、ユーザーからの解除の指示を受ける前の段階で、現実の説明文書Ｄが基準向きに対して＋９０°回転されている（図４（ａ）参照）。
【００６４】
（Ａ−２）表示パネル１１上の説明文書Ｄ´を回転することで、説明文書Ｄ´の向きが現実の説明文書Ｄの向きと完全に一致したら仮想画像を解除する（図４（ｄ）参照）。このようにして表示パネル１１上の説明文書Ｄ´を現実の説明文書Ｄに徐々に一致させることにより、ユーザーが説明文書Ｄ´上の特定の箇所を見失うことを防止することができる。なお、説明文書Ｄ´の向きと現実の説明文書Ｄの向きが完全に一致した場合に限らず、説明文書Ｄ´の向きと現実の説明文書Ｄの向きの差異が所定値以下になったときに仮想画像を解除してもよい。
【００６５】
さらに、表示制御部１６は、前述の視線センサーを用いた以下の手順により仮想画像を解除することで、ユーザーが説明文書Ｄ´上の特定の箇所を見失うことを、より効果的に防止することができる（図５参照）。
【００６６】
（Ｂ−１）ユーザーの指示を受け付けたら、その時点でユーザーが注目している箇所を視線センサーにより特定する。このような箇所のことを以下では「ユーザー注目点」と称する。なお、図中の例では、現実の説明文書Ｄが基準向きに対して＋９０°回転されている（図５（ａ）参照）。
【００６７】
（Ｂ−２）視線センサーにより特定したユーザー注目点Ｆが説明文書Ｄ´上に存在する場合、説明文書Ｄ´上のユーザー注目点Ｆに対応する位置（点）が、現実のユーザーの視界内における説明文書Ｄ上の上記注目点Ｆに対応する位置（点）と一致するように、表示パネル１１上の説明文書Ｄ´を移動させる（図５（ｂ）参照）。この際、説明文書Ｄ´の向きは基準向きのまま維持される。他方、ユーザー注目点Ｆが説明文書Ｄ´上に存在しない場合、表示パネル１１上の仮想画像を即座に解除（消去）する。
【００６８】
（Ｂ−３）上記の方法で表示パネル１１上の説明文書Ｄ´を移動させた後、移動後の説明文書Ｄ´上のユーザー注目点Ｆに対応する点を回転軸として説明文書Ｄ´を回転させることにより（この段階では、移動後の説明文書Ｄ´上のユーザー注目点Ｆに対応する点と、視界内における説明文書Ｄ上の上記注目点Ｆに対応する点とは一致している）、表示パネル１１上の説明文書Ｄ´の向きを現実の説明文書Ｄの向きに少しずつ近づける（図５（ｃ）〜（ｅ）参照）。
【００６９】
（Ｂ−４）表示パネル１１上の説明文書Ｄ´の向きが現実の説明文書Ｄの向きと完全に一致したら仮想画像を解除する。このように、最初に、説明文書Ｄ´上のユーザー注目点Ｆに対応する点と説明文書Ｄ上の注目点Ｆに対応する点とが一致するように表示パネル１１上の説明文書Ｄ´を移動させることで、先ず、ユーザーの視線を現実のユーザーの視界内における説明文書Ｄ上に移動させ、そこで、説明文書Ｄ´上の注目点Ｆに対応する点を回転軸として説明文書Ｄ´を回転させることにより、ユーザーが表示パネル１１上の説明文書Ｄ´の特定の箇所（すなわち、ユーザー注目点Ｆ）を見失うことを、より効果的に防止しつつ、仮想画像を解除（消去）することができる。
【００７０】
次に、本実施形態に係る表示装置１の動作の他の例について説明する。図６は、表示装置１を装着したユーザー（説明者）が正対する被説明者に対して説明文書Ｄの内容を説明するときの表示装置１の動作の概要を示す概略図である。本例において、説明文書Ｄは紙面が鉛直方向と平行をなすような向きに配置されており、例えば、ユーザー（説明者）により上部をつままれた状態で配置されている。
【００７１】
図６（ａ）のように、説明文書Ｄの印刷面Ｐがユーザー（説明者）の視界に収められると、画像取得部１３が撮影部１２から画像データを取得し、画像解析部１４（文書検出部１４１）がカメラ画像内に存在する説明文書Ｄを検出する。このときの具体的な検出方法は上記（１−１）〜（１−４）に示す通りである。
【００７２】
続いて、図６（ｂ）のように、画像解析部１４（回転判定部１４２）が画像データを逐次解析し、カメラ画像中の説明文書Ｄが、基準向きに対して、その一側辺と平行をなす軸まわりに回転されているかどうかを判定する。ここでいう「一側辺」とは説明文書Ｄの長辺又は短辺のことを指しており、一側辺と平行をなす軸まわりに回転されるとは、所定の方向で（長辺または短辺を軸として）説明文書Ｄが裏返されることを意味している。回転判定部１４２は、カメラ画像中の説明文書Ｄの外枠内の文字パターンの変化に注目して上記判定を行う。より具体的には、説明文書Ｄが裏返される前後では、説明文書Ｄの外枠の形状は変化せず、説明文書Ｄの文字の内容は変化することに着目し、回転判定部１４２は、例えば、カメラ画像中の説明文書Ｄの外枠の形状が変化していないのに外枠内の文字パターンが変化している場合や外枠内の文字パターンが白紙に変化している場合等に、説明文書Ｄが一側辺と平行をなす軸まわりに回転されていると判定する。
【００７３】
上記の判定方法は一例にすぎず、本実施形態では他の公知の判定方法が採用される場合もある。また、本実施形態では上記のような判定方法を単独で用いる場合もあるし、判定精度を向上させるために複数の判定方法を組み合わせて用いる場合もある。なお、図６（ｂ）の例では、当初は基準向きに配置されていた説明文書Ｄが、説明者の対面の被説明者にとって見やすいように一側辺（長辺）と平行をなす軸まわりに＋１８０°回転されている。すなわち、説明文書Ｄの印刷面Ｐが被説明者に向けられ、印刷面Ｐの裏面がユーザー（説明者）に向けられている。
【００７４】
続いて、図６（ｃ）のように、仮想画像生成部１５が基準向きに配置された説明文書Ｄの仮想画像を生成する。このとき、仮想画像生成部１５は、予め保存しておいた回転前の説明文書Ｄのカメラ画像から仮想画像を生成する。このようにして生成された仮想画像中の説明文書Ｄのことを、現実の説明文書Ｄと区別するために、以下では「説明文書Ｄ´」と称することがある。
【００７５】
ただし、説明文書Ｄが表示端末上の表示画像であり、その表示画像データが無線通信により受信可能である場合、仮想画像生成部１５はカメラ画像ではなく元の表示画像から仮想画像を生成することが好ましい。これにより仮想画像生成部１５はより鮮明な仮想画像を生成することができる。仮想画像生成部１５は、公知のＡＲ技術を用いて上記の仮想画像を生成する。
【００７６】
続いて、図６（ｄ）のように、表示制御部１６が表示パネル１１に仮想画像を表示する。このとき、表示制御部１６は、仮想画像中の説明文書Ｄ´が表示パネル１１を介したユーザーの視界内の説明文書Ｄに重ね合わせられるように、当該仮想画像を表示する。表示制御部１６は、公知のＡＲ技術を用いて上記の仮想画像を表示する。
【００７７】
これにより、表示装置１を装着したユーザー（説明者）は、対面の被説明者にとって見やすいように説明文書Ｄを一側辺と平行をなす軸まわりに回転した（裏返した場合）場合であっても、表示パネル１１において判読可能な説明文書Ｄ´（仮想画像）を確認することができる。より具体的に、本例では、説明文書Ｄが上記の軸まわりに回転された結果、被説明者に印刷面Ｐが向けられ、ユーザーに印刷面Ｐの裏面が向けられた場合であっても、ユーザーは表示パネル１１において印刷面Ｐの内容を確認することができる。
【００７８】
以上のように、本実施形態に係る表示装置１は、表示パネル１１を介したユーザーの視界内に存在する説明文書Ｄがユーザーにとって判読可能な向き（基準向き）に対して回転されている場合に、基準向きに配置された状態の説明文書を表す仮想画像を生成し、当該仮想画像中の説明文書Ｄ´が表示パネル１１を介したユーザーの視界内に配置されるように、当該仮想画像を表示パネル１１に表示する。
【００７９】
よって、本実施形態に係る表示装置１によると、現実の説明文書Ｄがユーザーにとって見づらい向きに回転された場合であっても、表示パネル１１上に判読可能な向きの説明文書Ｄ´（仮想画像）が表示されるため、ユーザーが１つの説明文書Ｄについて正対する被説明者に説明するときの利便性が大幅に向上することになる。
【００８０】
本発明は、上記実施形態のみに限定されるものではなく、特許請求の範囲において種々改変することができる。例えば、上記実施形態では表示装置１として透過型の表示パネルを備えたメガネ型のＡＲ端末を採用したが、本発明に係る表示装置はＡＲ技術により生成した仮想画像を表示可能な装置であればいかなるものであってもよい。また、本発明に係る文書検出部及び回転判定部により採用される検出方法及び判定方法は、上記実施形態に例示したものに限定されない。
【００８１】
本実施形態に係る表示装置において各種処理を実行する手段及び方法は、専用のハードウェア回路、又はコンピューター上で実行されるプログラムのいずれによっても実現することが可能である。上記のプログラムは、例えば、フレキシブルディスクやＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。前者の場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の不揮発性メモリに転送される。
【符号の説明】
【００８２】
１        表示装置、
１１      表示パネル、
１２      撮影部、
１３      画像取得部、
１４      画像解析部、
１４１    文書検出部、
１４２    回転判定部、
１５      仮想画像生成部、
１６      表示制御部、
１７      無線通信部、
Ｄ        説明文書、
Ｄ´      説明文書（仮想画像中の説明文書）、
Ｆ        ユーザー注目点、
Ｐ        印刷面。
【図１】
2014178977.tif 000003
【図２】
2014178977.tif 000004
【図３】
2014178977.tif 000005
【図４】
2014178977.tif 000006
【図５】
2014178977.tif 000007
【図６】
2014178977.tif 000008