(57)【要約】【課題】装着者が自由に実空間を歩き回ることが可能な頭部装着型拡張現実表示装置、及び、各所に配設されたマーカーを自動認識して、その各所に提示したい情報あるいは画像・映像をＡＲとして、実空間に供給することが可能な拡張現実表示システムを提供する。【解決手段】一方の眼に対しては実空間を直接見ることができるよう遮蔽物のない開放状態とし、他方の眼に対してのみ拡張現実を表示する頭部装着型拡張現実表示装置(１０)であって、カメラ・演算処理装置・表示画面が一体化した携帯端末(２０)を他方の眼に対する拡張現実の表示に用いる。又、対象物に配設されたマーカー(３０)と、携帯端末(２０)のカメラに写ったマーカー(３０)を自動認識し、映像の対応箇所に拡張現実としてマーカー(３０)に関連した情報を付加修飾して表示し、装着者８にとっては実空間の対象物に重なって、あるいは任意の周囲位置に情報が見えるようにする信号処理手段と、を備える。【選択図】図１
2017216522.tif 000002
【特許請求の範囲】
【請求項１】
一方の眼に対しては実空間を直接見ることができるよう遮蔽物のない開放状態とし、他方の眼に対してのみ拡張現実を表示する頭部装着型拡張現実表示装置であって、
カメラ・演算処理装置・表示画面が一体化した携帯端末を他方の眼に対する拡張現実の表示に用いたことを特徴とする頭部装着型拡張現実表示装置。
【請求項２】
実空間を直視している眼の視線上にある対象物を、適度な視差で前記携帯端末のカメラで撮影し、その生映像あるいは拡張現実を実現すべく生映像に修飾した映像を前記携帯端末の画面にリアルタイムで表示し、両眼で立体視を可能としたことを特徴とする請求項１に記載の頭部装着型拡張現実表示装置。
【請求項３】
前記携帯端末と眼の間にレンズを配置し、表示画面の虚像の位置を、実空間を直視している眼の対象物と同程度の距離に設定できるよう、前記レンズと携帯端末との距離を調整可能としたことを特徴とする請求項１又は２に記載の頭部装着型拡張現実表示装置。
【請求項４】
表示画面を見る眼の正面方向と周辺方向で、前記レンズと携帯端末の画面との距離の変化が大きくならないよう、横長画面の携帯端末を正面に対して傾けて配置できるようにしたことを特徴とする請求項３に記載の頭部装着型拡張現実表示装置。
【請求項５】
装着者に対する前記携帯端末の位置を調整可能としたことを特徴とする請求項１乃至４のいずれかに記載の頭部装着型拡張現実表示装置。
【請求項６】
虚像の位置を実空間を直視している眼の対象物と同程度の距離に調整した場合、前記携帯端末の画面に表示する映像を拡大あるいは縮小して、一方の眼の直視と他方の眼の虚像が脳内で統合されて両眼視による立体視ができるよう、対象物の虚像のサイズが直視しているサイズと同程度になるよう調整できる機能を有することを特徴とする請求項１乃至５のいずれかに記載の頭部装着型拡張現実表示装置。
【請求項７】
請求項１乃至６のいずれかに記載された頭部装着型拡張現実表示装置と、
対象物に配設されたマーカーと、
携帯端末のカメラに写ったマーカーを自動認識し、映像の対応箇所に拡張現実としてマーカーに関連した情報を付加修飾して表示し、装着者にとっては実空間の対象物に重なって、あるいは任意の周囲位置に情報が見えるようにする信号処理手段と、
を備えたことを特徴とする頭部装着型拡張現実表示装置を用いた拡張現実表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型拡張現実表示装置、及び、これを利用した拡張現実表示システムに係り、特に、非常に簡単且つ廉価な構成の頭部装着型拡張現実表示装置、及び、これを利用した拡張現実表示システムに関する。
【背景技術】
【０００２】
拡張現実（Ａugmented Ｒeality：ＡＲと称する）や仮想現実（Ｖirtual Ｒeality：ＶＲと称する）を表示する装置やシステムが種々提案されている（特許文献１〜５）。
【０００３】
又、近年、ＡＲ／ＶＲ表示用のヘッドマウントディスプレイ（Ｈead−Ｍounted Ｄisplay：ＨＭＤと称する）として、スマートフォンを表示装置に用いた廉価な箱型スコープ（製品名「ハコスコ」）も販売されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−７３９２０号公報
【特許文献２】特開２０１４−１６４４８２号公報
【特許文献３】特開２０１４−１７０３７４号公報
【特許文献４】特開２０１５−１７７３９７号公報
【特許文献５】特開２０１６−５１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＡＲ専用に開発された眼鏡式ＨＭＤの場合、片眼視野の一部を専用の表示領域が占有する構成になっており、表示される仮想画面が現実視野に比べて小さく、提示できる情報量が少ない。又、視野内で表示位置が固定されているため、対象物周辺に表示することができない。更に、仮想画面が塞ぐ視野については立体視できない等の問題点を有する。
【０００６】
これに対して、実空間を直接見る必要がないＶＲ用に開発された、視野を完全に塞ぐＨＭＤの場合、仮想画面は前方視野に大きくとれるようになるが、両眼が覆われて周辺視野は遮断されるため、距離感が掴めず実空間を把握することができない。従って、動き回ることに恐怖を覚え身動きが取れないうえに、歩行に危険も伴う。このタイプのＨＭＤには、表示装置としてスマートフォンを用いた廉価な箱型スコープも販売されているが、この場合、スマートフォンの一眼カメラで撮影した映像を両眼で見るため、立体視のためには映像をリアルタイムで加工して視差を作り出さなければならない等の問題点を有する。
【０００７】
本発明は、前記従来の問題点を解決するべくなされたもので、装着者が自由に実空間を歩き回ることが可能な頭部装着型拡張現実表示装置を提供することを第１の課題とする。
【０００８】
本発明は、又、この頭部装着型拡張現実表示装置を用いて、各所に配設されたマーカーを自動認識し、その各所に提示したい情報あるいは画像・映像をＡＲとして実空間に重畳することが可能な拡張現実表示システムを提供することを第２の課題とする。
【課題を解決するための手段】
【０００９】
本発明は、一方の眼に対しては実空間を直接見ることができるよう遮蔽物のない開放状態とし、他方の眼に対してのみ拡張現実を表示する頭部装着型拡張現実表示装置であって、カメラ・演算処理装置・表示画面が一体化した携帯端末を他方の眼に対する拡張現実の表示に用いたことを特徴とする頭部装着型拡張現実表示装置により、前記第１の課題を解決したものである。
【００１０】
ここで、実空間を直視している眼の視線上にある対象物を、適度な視差で前記携帯端末のカメラで撮影し、その生映像あるいは拡張現実を実現すべく生映像に修飾した映像を前記携帯端末の画面にリアルタイムで表示し、両眼で立体視を可能とすることができる。
【００１１】
又、前記携帯端末と眼の間にレンズを配置し、表示画面の虚像の位置を、実空間を直視している眼の対象物と同程度の距離に設定できるよう、前記レンズと携帯端末との距離を調整可能とすることができる。
【００１２】
又、表示画面を見る眼の正面方向と周辺方向で、前記レンズと携帯端末の画面との距離の変化が大きくならないよう、横長画面の携帯端末を正面に対して傾けて配置できるようにすることができる。
【００１３】
又、装着者に対する前記携帯端末の位置を調整可能とすることができる。
【００１４】
又、虚像の位置を実空間を直視している眼の対象物と同程度の距離に調整した場合、前記携帯端末の画面に表示する映像を拡大あるいは縮小して、一方の眼の直視と他方の眼の虚像が脳内で統合されて両眼視による立体視ができるよう、対象物の虚像のサイズが直視しているサイズと同程度になるよう調整できる機能を有することができる。
【００１５】
本発明は、又、前記の頭部装着型拡張現実表示装置と、対象物に配設されたマーカーと、携帯端末のカメラに写ったマーカーを自動認識し、映像の対応箇所に拡張現実としてマーカーに関連した情報を付加修飾して表示し、装着者にとっては実空間の対象物に重なって、あるいは任意の周囲位置に情報が見えるようにする信号処理手段と、を備えたことを特徴とする頭部装着型拡張現実表示装置を用いた拡張現実表示システムにより、前記第２の課題を解決したものである。
【発明の効果】
【００１６】
本発明によれば、表示装置として、カメラ・演算処理装置・表示画面が一体化した携帯端末（例えばスマートフォン）を用いることで、頭部装着型拡張現実表示装置を簡単な構成で廉価に実現できる。ここで、片眼は実視用に開放されているため、障害物のある実空間を危険を感じずに歩き回れるようになる。例えば、多数の家電機器が配置されたＨＥＭＳ認証支援センター等で、各家電機器にカラービット等のマーカーを貼っておき、利用者が作業しながら、あるいは見学者が気の向くまま見た機器について、吹き出しあるいは全画面を用いて関連情報を読むことが可能となる。又、ますます需要性が増している生産ラインの目視検査工程に組み入れて利用することができる。更に、例えば住宅展示場において、ＨＭＤを装着した見学者は、ガイドに手を取ってもらわなくても危険を感じずに歩き回ることができる。又、例えばＡＲが導入されているコンサート会場等において、従来はＡＲ効果を見るために両眼を塞いだＨＭＤを用いるしかなく臨場感が失われているが、本発明に係るＨＭＤを用いれば同時に実空間を見ることができるので、臨場感を保つことができる。更に、星座等を見る際にも有効であり、歩きながらのスマートフォンの操作も可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る頭部装着型拡張現実表示装置の実施形態である片眼型ＡＲスコープの構成を示す斜視図
【図２】同じく画面の表示状態を示す斜視図
【図３】同じくレンズを用いた場合の虚像位置とサイズの関係を示す図
【図４】同じく携帯端末を斜めに置く場合の表示画面の見え方を検討するための図
【図５】同じく携帯端末の画面位置を遠ざけたときを示す平面図
【図６】同じく近づけたときを示す平面図
【図７】本発明に係る拡張現実表示システムで用いることが可能なマーカーの例を示す図
【図８】本発明に係る拡張現実表示システムの実施形態の構成を示すブロック図
【図９】前記拡張現実表示システムを用いている状態を示す図面代用写真
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本発明は以下の実施形態及び実施例に記載した内容により限定されるものではない。又、以下に記載した実施形態及び実施例における構成要件には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。更に、以下に記載した実施形態及び実施例で開示した構成要素は適宜組み合わせてもよいし、適宜選択して用いてもよい。
【００１９】
本発明に係る頭部装着型拡張現実表示装置の実施形態である片眼型ＡＲスコープ１０を図１に示す。
【００２０】
本実施形態は、装着者の頭部に装着される筒抜けの枠体１２と、該枠体１２の一方の眼（図では左眼）に相当する位置にスマートフォン２０を保持するため、枠体延長部１３及びスマートフォンホルダ１４と、前記枠体１２のスマートフォン２０と装着者の片眼（左眼）の間に配置されるレンズ２３を備えた虫眼鏡２２と、前記枠体１２を装着者の頭部に固定するためのベルト１６とを備えている。
【００２１】
前記枠体１２は、例えばプラスチック板を切り貼りして組み立てることで完全な筒状とされている。ここで、枠体１２を透明とすることにより、実視野を広げて移動の安全性を高めることができる。
【００２２】
前記スマートフォンホルダ１４は、枠体延長部１３に形成した２本の溝１３Ａを利用して、ねじ（図示省略）で位置及び角度を調整できるようにされている。
【００２３】
前記レンズ２３としては、例えば市販の２．５倍程度の虫眼鏡２２を用いることができる。
【００２４】
前記スマートフォン２０には、例えばアンドロイド端末の画面サイズ５インチクラスのものを使用することができる。
【００２５】
前記片眼型ＡＲスコープ１０は、箱型スコープと同様にスマートフォン２０を表示装置として装着者の眼前に装着するが、大きく異なる点は、片方の眼（例えば右眼）は完全に開放した状態にして実空間を実視し、他方の眼（例えば左眼）の視野をスマートフォン２０の表示装置で塞ぐ状態とすることである。
【００２６】
右眼は周辺視野を塞がれていないため、足元や右足等の周辺が実視野として見えており、障害物のある実空間を歩き回ることに関して支障がなくなる。左眼に関しては、レンズ２３を通して、左側に配置したスマートフォン２０のカメラが撮像した視野が表示されており、その虚像が実サイズと同じなるように表示を拡大・縮小しておけば、左右映像は脳内で統合され、違和感なく立体視が行える。即ち、立体視差を計算で作り出す必要がない。又、スマートフォン２０は横長画面であるので、左端周辺視野はスマートフォン２０の撮像した映像で左眼に入れることが可能になり、両眼によって周辺視野を問題なくカバーすることができる。
【００２７】
虚像を見る場合、ケラレのない広い視野を与えるものは単玉構成（虫眼鏡と同じ）であるが、光軸（中心方向）から外れた視野については、周辺へ行くほど虚像距離及び虚像倍率が大きくなってしまうという光学的な問題もある。これについては、レンズ２３の焦点距離ｆをやや長めにして、虚像距離及び虚像倍率の変化量を少なくすればよい。
【００２８】
具体的には、図３に示す如く、スマートフォン２０の画面２０Ａを置く位置ａをレンズ２３の焦点距離ｆに近づけると、虚像２１までの距離ｄが大きくなり、虚像倍率も上がる。
【００２９】
レンズ２３から虚像２１までの距離ｄは次式（１）で与えられる。
【数１】
2017216522.tif 000003
【００３０】
又、虚像２１のサイズｈ’は、次式（２）で与えられる。
【数２】
2017216522.tif 000004
【００３１】
レンズ２３から虚像２１までの距離ｄが定められている場合、スマートフォン２０の画面２０Ａを設置すべき、レンズ２３からの距離ａは次式（３）のレンズの公式のとおりとなる。
【数３】
2017216522.tif 000005
【００３２】
虚像２１までの距離ｄを直視で見やすい距離を１ｍとして考える。市販の箱型スコープでは、レンズ２３の焦点距離ｆが短く、ほとんど余裕がなかった。即ち、図３の斜めの矢印線Ａで示したように、眼９が中心線から離れた角度で画面を見ると、画面２０Ａまでの距離ａがａ’に大きくなるため、余裕がないと虚像２１までの距離ｄと虚像２１のサイズｈ’が急激に変化して非常に見にくい。
【００３３】
そこで、本実施形態では、ＡＲの視野を大きくとり、右眼の実視視野と円滑に重なるようにするため、レンズ２３の焦点距離ｆを１００ｍｍとやや長めのものとした。即ち、虚像距離ｄを実視距離（例えば）１ｍと同じにしようとすると、ｄ＝１０００ｍｍなので、眼９がスマートフォン２０を水平に見る場合の、レンズ２３から画面２０Ａまでの距離ａは、（３）式から９１ｍｍとなり、焦点距離ｆまでの余裕は９ｍｍある。
【００３４】
一方、図３で眼９から画面２０Ａへ斜めに延びている矢印線Ａのように画面２０Ａの上端２０Ｕを注視した場合、レンズ２３から注視点（２０Ｕ）までの距離ａ’は、例えば画面サイズ４．７インチ（横置時の画面高さｈ＝５９ｍｍ、画面幅ｗ＝１０４ｍｍ）のスマートフォンを用いると、水平距離ａの位置で上へｈ／２≒３０ｍｍ上がった点を直角三角形の２辺とする斜辺なので、次式のようになる。
【数４】
2017216522.tif 000006
【００３５】
よって、上端２０Ｕを注視した場合のレンズ２３から虚像２１までの距離ｄ’は、（３）式により、次のようになる。
【数５】
2017216522.tif 000007
【００３６】
即ち、画面２０Ａを水平に見た場合（眼９の真正面＝中心軸）の虚像距離がｄ＝１ｍに対して、画面２０Ａの上端２０Ｕを見た場合は虚像距離がｄ’＝２．４ｍになる。眼９のピントは、対象までの距離が遠くなるほど焦点深度が深くなる（即ち、対象までの距離が２０ｃｍと４０ｃｍではピントが大きく違うが、１ｍと２ｍではピントは大きく変わらない）ので、１ｍと２．４ｍでは眼に負担なくピントを合わせることができる。
【００３７】
又、水平方向に関しては、スマートフォン２０を斜め設置すればスマートフォン２０の位置ａの変化を小さくできる。
【００３８】
即ち、片眼型ＡＲスコープ１０にスマートフォン２０を横長に配置した場合、眼９の正面にあたる画面２０Ａまでの距離（片眼中心軸でのレンズ２３から画面２０Ａまでの距離）と、レンズ２３から画面２０Ａの右端や左端までの距離が大きく異なるため、虚像として見ることのできる範囲が画面全体より小さくなり、視野周辺の風景が見えなくなってしまう。
【００３９】
図４に示す如く、例えば焦点距離ｆ＝１００ｍｍで、中心軸でのレンズ２３から画面２０Ａまでの距離ａ＝８５ｍｍで画面幅ｗ＝１０４ｍｍのスマートフォン２０を両眼に平行（顔に平行）に横置きしたとすると、画面右端２０Ｒは両眼９Ｒ、９Ｌの中心にまで来ているとして、レンズ２３から画面右端２０Ｒまでの距離ａ’１＝９１ｍｍ、画面左端２０Ｌまでの距離ａ’２＝１１１ｍｍとなって、左端２０Ｌは焦点距離ｆ＝１００ｍｍを越えてしまい虚像視できない。
【００４０】
これに対し、同じくａ＝８５ｍｍでスマートフォン２０をあおり角θ＝１２°傾けて（左端２０Ｌを顔に近づけ、右端２０Ｒを遠ざける傾け方で）配置したとすると、画面右端２０Ｒは両眼の中心にまで来ているとして、レンズ２３から画面右端２０Ｒまでの距離ａ’１＝９７．５ｍｍ、画面左端２０Ｌまでの距離ａ’２＝９８．７ｍｍとなり、両端２０Ｒ、２０Ｌとも焦点距離ｆ＝１００ｍｍ以内なので虚像視できる。このとき片眼中心軸での虚像距離は５７ｃｍ、画面右端２０Ｒでの虚像距離は３８８ｃｍ、左端２０Ｌで７３２ｃｍとなり、距離１ｍを中心としたほぼ同じ（目の）ピントで画面全体を見ることができる。
【００４１】
なお、虚像距離ｄはレンズ２３と表示画面２０Ａとの距離ａで定まるので、実視で見たい対象物の距離と同じになるよう、表示画面２０Ａ（スマートフォン２０）の位置を前後に変更できるようにしておくことが望ましい。
【００４２】
そこで、本実施形態では、図５及び図６に示すように、スマートフォン２０の画面位置ａと角度を変更できるようにして、自分が見たい対象物との距離に応じて、虚像位置を同じにするように装着者が調整できるようにした。
【００４３】
虚像位置が定まると虚像２１のサイズｈ’も一意に定まるが、スマートフォン２０の画面２０Ａの拡大縮小機能を用いれば、実視の対象物と虚像２１のサイズｈ’をほぼ同じにすることができるので、装着者は違和感なく左右眼で立体視できるようになる。
【００４４】
脳の立体視における両眼統合機能は非常に可塑性が高いため、実視とスマートフォン映像の対象物に多少サイズの違いがあったり、上下にずれていたりしても、すぐに違和感なく立体視できるようになる。
【００４５】
右眼は実視、左眼はＡＲ視という新形態の片眼型ＡＲスコープ１０で、ＡＲ画面を実視に重畳することができるので、ＡＲ画面生成に際しては、通常のマーカーを用いることができる。本実施形態においては、マーカーとして、図７に示すような、赤、青、緑の３色のセルの並び順を画像認識することによりコード変換するカラービットマーカー３０を用いた。このカラービットマーカー３０は、（１）マーカーとして３次元物体に貼りやすい。形状に制限がないので、図７に示したように曲げたり、イラスト中に入れても認識できる。（２）スマートフォン２０のカメラでカラービットの読み取りが可能であり、マーカー認識に専用機器が不要である。（３）カラービット認識プログラムがスマートフォン２０上で動き、リアルタイムでカメラ映像にＡＲ情報を合成してスマートフォン２０の画面２０Ａに表示できる。又、複数のカラービットマーカーを同時認識できるので、複数の対象機器に対して吹き出しをＡＲ合成することもできる等の特長を有する。なお、マーカーとしてＱＲコード（登録商標）やバーコード、ＲＦＩＤ等を用いることも可能である。
【００４６】
既に述べたように、スマートフォン２０のカメラ映像を適度に拡大・縮小して左眼用画面に表示しておけば、脳内で統合されて立体視されているので、カメラ映像をリアルタイムで解析していれば、そのソフトウェアでカラービットマーカー３０を認識でき、カラービットマーカー３０に対応する情報を表示映像に吹き出しで挿入したり、映像にビデオ・エフェクトを与えたりすることができる。この際、スマートフォン２０のカメラの光軸と左眼の視線を一致させるために、必要に応じてプリズム等の光学系を使用したり、画像の座標変換等を行うことができる。
【００４７】
カラービットマーカー３０の場合、同一視野内で複数のマーカーを認識できるので、複数の吹き出しを別々の対象物に対して同時に与えることもできる。両眼視している場合、吹き出しは右眼の実視風景と重なって見えてしまうが、意識を左眼に移せば吹き出しの情報を仔細に読むことができ、意識を右眼に移せば実物を仔細に見ることができるので、実用上便利である。
【００４８】
本発明により、家電機器の情報を提示する拡張現実表示システムの実施形態を図８に示す。ＡＲＭプロセッサを搭載したシングルボードコンピュータ（例えばラズベリーパイ）４０を家電機器（例えばエアコン等）の情報を蓄積したデータベースとし、ｗｅｂサーバとしてアクセスできるようにした。又、片眼型ＡＲスコープ１０に取り付けたスマートフォン２０は、無線ルーター４２を介してＷｉ−Ｆｉ及びＬＡＮでデータベース（４０）にアクセスできるようにした。
【００４９】
図９に例示するように、装着者８の片眼型ＡＲスコープ１０のスマートフォン２０のカメラの視野にカラービットマーカー３０が入ると、認識プログラムがリアルタイムでそのカラービットマーカー３０の索引番号と位置を検出する。その索引番号をもとにシングルボードコンピュータ４０のデータベースから対象物（図ではエアコン５０）の情報を取り出し、画面上で検出された位置の近くに情報を吹き出しとして合成表示する。
【００５０】
両眼で見た場合には対象物や風景は立体視されていて、その中にＡＲ情報が重なって見える。意識を左眼に移せば吹き出しの情報を詳細に読むことができ、意識を右眼に移せば実物をはっきりと見ることができる。
【００５１】
なお、文字情報を表示するだけでなく、例えばスマートフォン２０に接続したイヤホンを介して音声情報を提供することもできる。
【００５２】
なお、前記実施形態では非常に構成が簡略であったが、枠体１２が装着者８の頭部と当たる位置に圧力を分散するクッション等に追加して、スマートフォン２０の重みが顔面等接触の１点に集中し、痛みを感じることがないようにすることができる。
【００５３】
又、前記実施形態では右眼が開放、左眼がＡＲとされていたが、逆に構成することも可能である。又、左右を入れ替えて使用できるように構成することも可能である。更に、構成を工夫して片眼だけに装着できるようにすることもできる。
【００５４】
携帯端末もスマートフォンに限定されず、タブレットや、ｉＰｈｏｎｅ（登録商標）、ｉＰａｄ（登録商標）等を用いることもできる。
【００５５】
レンズも虫眼鏡に限定されない。
【符号の説明】
【００５６】
８…装着者
９…眼
１０…片眼型ＡＲスコープ
１２…枠体
１３…枠体延長部
１４…スマートフォンホルダ
１６…ベルト
２０…スマートフォン
２０Ａ…画面
２１…虚像
２２…虫眼鏡
２３…レンズ
３０…カラービットマーカー
４０…シングルボードコンピュータ（データベース）
４２…無線ルーター
５０…エアコン
【図１】
2017216522.tif 000008
【図２】
2017216522.tif 000009
【図３】
2017216522.tif 000010
【図４】
2017216522.tif 000011
【図５】
2017216522.tif 000012
【図６】
2017216522.tif 000013
【図７】
2017216522.tif 000014
【図８】
2017216522.tif 000015
【図９】
2017216522.tif 000016