(57)【要約】  画像提供装置(100)は、視界を覆うディスプレイ(192)に、全周囲画像データ(21)からトリミングした画像を表示する。検出部(11)は、ユーザの頭部もしくは視線の向きもしくは向きの変化をセンサ(191)により検出する。方向設定部(12)は、検出された向きもしくは向きの変化に応じて、全周囲画像データ(21)に対する視線方向を設定する。抽出部(13)は、設定された視線方向と、全周囲画像データ(21)における所定方向とのなす角度に応じたズーム率によって全周囲画像の一部をトリミングしてズームすることにより、ズーム画像を取得する。表示部(14)は、取得されたズーム画像をディスプレイ(192)に表示する。
2018083757.tif 000002
【特許請求の範囲】
【請求項１】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
ユーザの向きもしくは向きの変化を検出し、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定し、
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記取得されたズーム画像を前記ディスプレイに表示する、
ことを特徴とする画像提供装置。
【請求項２】
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度が小さいほど、大きな前記ズーム率によって前記全周囲画像の一部をトリミングしてズームする、
ことを特徴とする請求項1に記載の画像提供装置。
【請求項３】
前記全周囲画像は、視線方向に対するピントの調整量が記録されたものであり、
前記角度、および、前記設定された視線方向における前記調整量に応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
ことを特徴とする請求項1または2に記載の画像提供装置。
【請求項４】
前記角度、および、前記ディスプレイを装着するユーザの身長を示す数値に応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
ことを特徴とする請求項1または2に記載の画像提供装置。
【請求項５】
前記ディスプレイの高さを検出し、
前記角度、および、前記検出された高さに応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
ことを特徴とする請求項1または2に記載の画像提供装置。
【請求項６】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供方法であって、
画像提供装置が、ユーザの向きもしくは向きの変化を検出し、
前記画像提供装置が、前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定し、
前記画像提供装置が、前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記画像提供装置が、前記取得されたズーム画像を前記ディスプレイに表示する、
ことを特徴とする画像提供方法。
【請求項７】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムであって、
前記コンピュータに、
ユーザの向きもしくは向きの変化を検出する検出手順、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定する設定手順、
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
を実行させるプログラム。
【請求項８】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体であって、
前記コンピュータに、
ユーザの向きもしくは向きの変化を検出する検出手順、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定する設定手順、
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
を実行させるプログラムを記録した情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの頭もしくは視線の向きの変化に応じた観察空間の様子を、視界を覆うディスプレイに提示する際に、ユーザに与える違和感を低減するのに好適な画像提供装置、画像提供方法、プログラム、ならびに非一時的なコンピュータ読取可能な情報記録媒体に関する。
【背景技術】
【０００２】
近年、ユーザに対して実際は目の前で起きていない事象を、あたかも実際に目の前で起きている事象であるかのように認識させる代替現実(Substituted Reality)システムが提案されている(特許文献1を参照)。代替現実システムに類似する技術として、仮想現実(Virtual Reality)システムや拡張現実(Augmented Reality)システムなどの研究も進められている。代替現実、仮想現実、拡張現実等では、現実空間(Real Space)とは異なる観察空間(Observation Space)が用意される。観察空間は、異なる場所や時間等に撮影されたパノラマ映像や全方位映像のほか、3次元グラフィックスのモデリング技術を組み合わせることによって構築される。【０００３】
これらの技術においては、観察位置から観察方向に観察空間を見た様子を表す画像が、透視投影や映像の切り出しによって生成され、当該画像がヘッドマウントディスプレイ等の視界を覆うディスプレイに表示される。ユーザの頭もしくは視線の向きの変化がセンサ等により検知され、観察方向は、検知された頭の向きの変化に応じて更新される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2014−38523号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、観察空間の様子を、ユーザの頭もしくは視線の向きの変化に応じてヘッドマウントディスプレイ等に表示した場合に、ユーザに違和感を与えるケースが存在した。【０００６】
現実空間では、ユーザが視線を足元付近に向けた場合には、ユーザの視界に映る世界は心理的に狭くなる。これは、視野の中にある事物が近くのものばかりになること、および、目のレンズ体の焦点効果が、近くなるために短くなること等に基づく心理的効果である。しかしながら、このような点へ配慮したヘッドマウントディスプレイはまだ存在しない。すなわち、従来のヘッドマウントディスプレイでは、与えられた向きに応じて画像を切り出して表示しているだけであった。そのため、ユーザが足元付近を見た場合には、自分が床から浮いているかのような錯覚を感じることがあった。【０００７】
本発明は、このような問題点に鑑みてなされたものである。すなわち、本発明の目的は、視界を覆うディスプレイにおいて、ユーザに与える違和感を低減することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の第1の観点に係る画像提供装置は、
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
ユーザの向きもしくは向きの変化を検出し、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定し、
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記取得されたズーム画像を前記ディスプレイに表示する、
ことを特徴とする。【０００９】
上記第1の観点に係る画像提供装置は、
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度が小さいほど、大きな前記ズーム率によって前記全周囲画像の一部をトリミングしてズームする、
ものであってもよい。【００１０】
上記第1の観点に係る画像提供装置では、
前記全周囲画像は、視線方向に対するピントの調整量が記録されたものであり、
前記角度、および、前記設定された視線方向における前記調整量に応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
ものであってもよい。【００１１】
上記第1の観点に係る画像提供装置は、
前記角度、および、前記ディスプレイを装着するユーザの身長を示す数値に応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
ものであってもよい。【００１２】
上記第1の観点に係る画像提供装置は、
前記ディスプレイの高さを検出し、
前記角度、および、前記検出された高さに応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
ものであってもよい。【００１３】
上記目的を達成するため、本発明の第2の観点に係る画像提供方法は、
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供方法であって、
画像提供装置が、ユーザの向きもしくは向きの変化を検出し、
前記画像提供装置が、前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定し、
前記画像提供装置が、前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記画像提供装置が、前記取得されたズーム画像を前記ディスプレイに表示する、
ことを特徴とする。【００１４】
上記目的を達成するため、本発明の第3の観点に係るプログラムは、
視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムであって、
前記コンピュータに、
ユーザの向きもしくは向きの変化を検出する検出手順、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定する設定手順、
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
を実行させる。【００１５】
上記目的を達成するため、本発明の第4の観点に係る情報記録媒体は、
視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体であって、
前記コンピュータに、
ユーザの向きもしくは向きの変化を検出する検出手順、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定する設定手順、
前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
を実行させるプログラムを記録する。
【発明の効果】
【００１６】
本発明によれば、ユーザに与える違和感を低減した視界を覆うディスプレイを実現することができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態1に係る画像提供装置の機能構成を示すブロック図である。
【図２】視線方向と所定の方向との関係の一例を示す図である。
【図３】視線方向と所定の方向との関係の一例を示す図である。
【図４】画像提供処理を示すフローチャートである。
【図５】ズーム率と角度θとの対応の一例を示す図である。
【図６】ズーム率とピントの調整量との対応の一例を示す図である。
【図７】全周囲画像による仮想空間に存在するオブジェクトとユーザとの位置関係を説明するための図である。
【図８】ディスプレイに表示される画像の一例を示す図である。
【図９】ディスプレイに表示される画像の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下に本発明の実施の形態を説明する。なお、本実施の形態は説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施の形態を採用することが可能であるが、これらの形態も本発明の範囲に含まれる。
【００１９】
(実施の形態1)
本発明の実施の形態1に係る画像提供装置100は、接続された視界を覆うディスプレイ190に画像を提供する。以下では、視界を覆うディスプレイ190として、ヘッドマウントディスプレイを例として説明するが、視界を覆うディスプレイとして、たとえば人間の網膜に映像を投射するものや、眼鏡の形状をした表示装置であるスマートグラス等を採用することも可能である。以下の例では、視界を覆うディスプレイ190の一例としてヘッドマウントディスプレイをあげて説明するため、ヘッドマウントディスプレイに対して符号「190」を付して参照することとする。ユーザUは、ヘッドマウントディスプレイ190を頭部に装着し、ヘッドマウントディスプレイ190が表示する画像を閲覧することができる。
【００２０】
ヘッドマウントディスプレイ190は、自機の向き、もしくは自機の向きの変化を検出するセンサ191を備える。ヘッドマウントディスプレイ190は、センサ191が検出したデータを画像提供装置100に送信する。センサ191を介し、画像提供装置100は、自機を装着しているユーザUがその時見ている方向(視線方向)を特定することができる。
【００２１】
画像提供装置100は、ユーザUに表示すべき画像の元となるデータとして、全周囲画像データを保持する。ここで、全周囲画像データとは、特定の撮影位置からの広範な角度にわたる画像を一つのデータとして集約して記録したものであり、全天球画像と呼ばれることもある。
【００２２】
現実世界における周囲の状態を全周囲画像データとして撮影する方法はいくつかある。例えば、魚眼カメラ(通常のレンズよりも広範な角度からの光を集約できる魚眼レンズを用いたカメラ)を用いて撮影した画像データを全周囲画像として用いることができる。あるいは、一つの撮影地点において方向を変えて撮影された複数の画像を組み合わせることで全周囲画像データを生成することができる。
【００２３】
なお、全周囲画像とは、通常の画像に比べて大きな撮影角度で撮影された画像を含むデータであり、必ずしも全角度を含むものでなくともよい。具体的な例として、ある位置から180°の角度で撮影された画像は、(360°の角度でないため、全周囲にわたる映像を含まないが)ここでいう全周囲画像に含まれる。
【００２４】
画像提供装置100は、ヘッドマウントディスプレイ190のセンサから送信された情報に基づいて、保有する全周囲画像データにおける、ユーザUの視線方向を特定する。画像提供装置100は、特定された視線方向に基づき、全周囲画像データから、人間の視野角に近い角度で見た場合の画像をトリミング(trimming)する。なお、画像のトリミングは、切り出し、あるいは、クロッピング(cropping)と呼ばれることもある。
【００２５】
そして、トリミングされた画像を、ヘッドマウントディスプレイ190が有するディスプレイ192のピクセル単位での幅および高さ、ならびに、ディスプレイ192の大きさや解像度に適合するように調整して表示する。ここで調整された画像を、以下、ズーム画像と呼ぶ。
【００２６】
ユーザUがヘッドマウントディスプレイ190を装着した状態で頭部の向きを変えると、それに伴ってヘッドマウントディスプレイ190の向きも変化する。すると、画像提供装置100は、向きの変化に応じて新たにユーザUの視線方向を特定し、その視線方向に基づいてトリミングおよびズームしたズーム画像を再びヘッドマウントディスプレイ190に表示する。
【００２７】
このような仕組みにより、ユーザUが頭の向きを変えると、画像提供装置100は、向きの変化に合わせてヘッドマウントディスプレイ190に表示される画像を変化させる。例えばユーザUが頭部をそれまでより上の方向に向けると、画像提供装置100は、全周囲画像データにおける、それまでより上の方向を向いた場合の画像を表示する。画像提供装置100は、ユーザUに、ユーザU自身の動きに応じた画像を見せ、ヘッドマウントディスプレイ190を通じて見える映像が、実際のユーザUの周囲の空間の映像であるように疑似的に感じさせることができる。
【００２８】
本発明の実施の形態1に係る画像提供装置100は、図1に示すように、機能面では検出部11、方向設定部12、抽出部13、表示部14を備える。また、画像提供装置100は、全周囲画像データ21を保管する機構を備え、必要に応じて読み出す。
【００２９】
画像提供装置100は、ヘッドマウントディスプレイ190と接続されている。ヘッドマウントディスプレイ190は、ユーザUに映像を表示するディスプレイ192と、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出するセンサ191を備える。画像提供装置100は、ディスプレイ192に画像を表示し、また、センサ191から向き(または向きの変化)を示すデータを受信する。
【００３０】
検出部11は、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出する。検出部11は、センサ191から提供されるデータをもとに、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出する。ここで検出されるヘッドマウントディスプレイ190の向きは、ユーザUの向き(具体的には、ユーザの頭部中央からユーザの前方に向かう向き)と逆向きである。
【００３１】
なお、図1においては、画像提供装置100とヘッドマウントディスプレイ190とは別個の装置として表示されているが、これらは同一の装置にて実現することも可能である。例えば、スマートフォンやタブレットコンピュータ、携帯電話として利用可能なタブレットコンピュータであるファブレット(phablet)等の汎用的な機器をアタッチメントに装着することにより、ヘッドマウントディスプレイ190に類似するデバイスを構築することとしてもよい。この場合には、スマートフォン等のコンピュータを上記各部として機能させるためのプログラムを、当該スマートフォン等にて実行させることになる。
【００３２】
さらに、上述の通り、ユーザの視界を覆う任意のディスプレイを採用することが可能である。たとえば、ユーザの頭部に装着するヘッドマウントディスプレイ190のかわりに、眼鏡状の形状を有し、ユーザの耳から延びるテンプルによってユーザの目の前方にディスプレイを配置するスマートグラス等を、採用することもできる。スマートグラスでは、加速度センサによって、スマートグラスの向きを検出できるほか、外界を撮影するカメラによって捕えられた画像を追跡することによって、スマートグラスの向きを推定することも可能である。
【００３３】
また、ユーザの網膜に直接映像を投影するデバイスを、ヘッドマウントディスプレイ190のかわりに採用することもできる。この場合には、ユーザの眼球運動を検知して、ユーザの眼球運動から、ユーザの向きを検出することも可能であるし、加速度センサ等を利用することもできる。
【００３４】
さて、方向設定部12は、検出された向きもしくは向きの変化に応じて、全周囲画像データに対するユーザUの視線方向を設定する。検出部11が向きを検出するものである場合、方向設定部12は、検出部11が検出した方向と、全周囲画像データにおける方向との対応づけに基づいて、検出されたヘッドマウントディスプレイ190の向きに対応する全周囲画像データにおける視線方向を設定する。検出部11が向きの変化を検出するものである場合、方向設定部12は、検出部11により検出された方向の変化量と、前回設定した全周囲画像データにおける視線方向とに基づいて、新たに全周囲画像データにおける視線方向を設定する。
【００３５】
抽出部13は、方向設定部12により設定された視線方向と、全周囲画像データにおける所定方向とのなす角度に応じたズーム率によって、全周囲画像データが示す画像の一部をディスプレイ192の大きさもしくは解像度に合わせてトリミングしてズームし、ズーム画像の画像データを生成する。
【００３６】
表示部14は、抽出部13によって抽出されたズーム画像を、ヘッドマウントディスプレイ190のディスプレイ192に表示する。
【００３７】
これらの機能部(検出部11、方向設定部12、抽出部13、表示部14)の動作により、ディスプレイ192に、ユーザUの視線方向に対応する方向の、全周囲画像データから抽出されたズーム画像が表示される。ユーザUが頭の向き(および視線方向)を変えると、画像提供装置100は、頭の動きに追従し、新たに向けられた視線方向に対応する方向のズーム画像を取得して、ディスプレイ192に表示する。
【００３８】
さらに、抽出部13の動作により、画像提供装置100は、方向設定部12により設定された視線方向と、全周囲画像データにおける所定方向とのなす角度に応じてズーム率を設定する。そのうえで、画像提供装置100は、トリミングの際に、設定したズーム率を用いて画像をトリミングしてズームする。トリミングとズームは同時に行っても良いし、一方を先行し、他方を後から行っても良い。
【００３９】
たとえば、全周囲画像データからディスプレイ192のピクセル数、大きさ、ならびに、解像度に合わせてズーム画像を得る際には、画像データの座標を変換する透視投影等の座標変換が行われる。この際に、投影の観察点と、ディスプレイ192の各画素が位置付けられた投影面と、の距離や、変換に用いる際に想定されるレンズの焦点距離を、ズーム率に合わせて変化させてから、投影面への投影を行えば、トリミングとズームを同時に行うことが可能である。
【００４０】
このほか、全周囲画像データからディスプレイ192へ表示するための画像変換においては、既存のライブラリ等をそのまま使っても良い。この場合には、ライブラリ等を利用することにより得られた画像変換の結果(全周囲画像データから得られた画面用の2次元的な画像データ)から、その中央部分を、視線方向に応じたズーム率でトリミングおよびズームすれば、ズーム画像を得ることができる。ズームの際には、各種のスムージング技術を適用することが望ましい。
【００４１】
これにより、ユーザUが頭の向きを変えると、画像提供装置100は、全周囲画像データにおける視線方向だけでなく、ズーム率も変えてトリミングおよびズームした画像を表示する。そのため、例えばユーザUが所定方向(例えば、足元を指す方向)に近い方向を向いた場合に、画像提供装置100は、画像をより拡大(または縮小)して表示することができ、ユーザUに与える違和感を低減することができる。
【００４２】
一例として、ユーザUがヘッドマウントディスプレイ190を装着した場合の、ディスプレイ192の画面101の位置と視線方向の関係について、図2および図3を参照して説明する。なお、画像提供装置100においては、所定の方向が鉛直下向きの方向に設定されているものとする。
【００４３】
図2に、ユーザUが水平方向を向いている場合の様子を示す。図2に示した例では、ユーザUの視線は、線A1aで示される方向を向いており、検出部11は線A1aの方向を視線方向として検出する。検出された視線方向は、線A2で示される所定の方向(すなわち鉛直下向きの方向)とは直角で交差している。この場合、画像提供装置100は、設定された視線方向と所定方向とのなす角度(θ)を90°と検出する。
【００４４】
図3には、ユーザUがやや下方向を向いている場合の様子を示す。図3に示した例では、ユーザUの視線は、線A1bで示される方向を向いており、検出部11は線A1bの方向を視線方向として検出する。検出された視線方向は、線A2で示される所定の方向とは角度θで交差している。この場合、画像提供装置100は、設定された視線方向と所定方向とのなす角度をθと検出する。
【００４５】
画像提供装置100は、検出された角度θをもとに、ズーム率を設定する。ここで、画像提供装置100が、検出された角度θが小さいほど、ズーム率を大きく設定することにより、ユーザUが足元に近い方向を見ている場合には、水平方向を見ている場合に比べて拡大された画像をディスプレイ192に表示する。
【００４６】
一般に、ユーザUが視線を足元付近に向けた場合には、ユーザUの視界に映る世界は心理的に狭くなる。これは、視野の中にある事物が近くのものばかりになること、および、目のレンズ体の焦点効果が、近くなるために短くなること等に基づく心理的効果である。そのため、ユーザUが足元を見た場合に、水平方向と同じズーム率でトリミングされた画像を見た場合には、ユーザUは、自分が床から浮いているかのように錯覚し、また違和感を覚えることがあった。
【００４７】
本実施の形態に係る画像提供装置100は、ユーザUの視線方向と所定の方向(鉛直下向きの方向)とのなす角度θに応じたズーム率を設定し、設定されたズーム率によって全周囲画像データから画像の一部をトリミングして表示する。そのため、ユーザUが足元方向を見た場合には、画像を拡大して表示することにより、ユーザに与える違和感を低減することができる。
【００４８】
画像提供装置100は、図4に示す画像提供処理を実行することにより、ディスプレイ192に画像を表示する。画像提供装置100は、ユーザUがヘッドマウントディスプレイ190を装着し、電源を入れることを契機に画像提供処理を開始する。ここから、図4を参照し、画像提供処理について説明する。
【００４９】
画像提供処理の最初に、画像提供装置100は、全周囲画像データを取得する(ステップS11)。画像提供装置100は、全周囲画像データ21として記録されている画像を読み出す。
【００５０】
次に画像提供装置100は、読み出した全周囲画像データにおける初期の視線方向を設定する(ステップS12)。画像提供装置100は、検出部11により、ヘッドマウントディスプレイ190が向いている方向を検出し、検出した方向に対応する視線方向を設定する。または、全周囲画像データに初期値として設定されている方向を最初の視線方向として設定してもよい。
【００５１】
次に画像提供装置100は、ヘッドマウントディスプレイ190の向き、または向きの変化を検出する(ステップS13)。画像提供装置100は、検出部11の動作により、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出する。
【００５２】
次に画像提供装置100は、検出した向きまたは向きの変化に応じて、全周囲画像データにおける視線方向を設定する(ステップS14)。画像提供装置100は、検出した向きまたは向きの変化と、前回設定した視線方向との対応づけに基づいて、新たに全周囲画像データに対する視線方向を設定する。
【００５３】
次に画像提供装置100は、設定した視線方向と、所定の方向との角度差θを算出する(ステップS15)。画像提供装置100は、ステップS14で設定した視線方向と、あらかじめ定められている所定の方向との角度差を算出し、θとして記録する。
【００５４】
次に画像提供装置100は、算出した角度差θに基づいて、ズーム率を設定する(ステップS16)。画像提供装置100は、ステップS15で算出したθと、ズーム率を算出するための対応付けとに基づいてズーム率を設定する。
【００５５】
次に画像提供装置100は、全周囲画像データから、視線方向の画像をトリミングする(ステップS17)。画像提供装置100は、全周囲画像データから、ステップS14で設定した方向の画像を、ステップS16で算出したズーム率で抽出する。
【００５６】
次に画像提供装置100は、ステップS17で抽出した画像をディスプレイ192に表示する(ステップS18)。ステップS18で、ヘッドマウントディスプレイ190の向きに応じた画像がディスプレイ192に表示される。
【００５７】
ステップS18を終えると、画像提供装置100は、終了条件が満たされているか判定する(ステップS19)。満たされていないと判定する(ステップS19:NO)と、画像提供装置100は処理をステップS13に戻し、以降、再び向きの検出と画像の表示を行う。満たされたと判定する(ステップS19:YES)と、画像提供装置100は画像提供処理を終了する。
【００５８】
画像提供装置100が設定するズーム率と、角度差θの関係の一例を図5に示す。この図では、横軸にθ、縦軸にはそれに対応するズーム率が設定されており、ズーム率の値を示す関数がF1で示されている。
【００５９】
図5に示した例では、θが90°以上の場合(すなわち、ユーザUの視線方向が水平よりも上向きの場合)、および、θが90°以下、所定の角度P以上の場合(図中、θがR2で表示される領域にある場合)、画像提供装置100は、ズーム率として1を設定する。すなわち、ユーザUが足元付近の方向よりも上の方を見ている場合には、画像提供装置100は、全周囲画像データから画像をトリミングする際には、拡大も縮小も行わない。
【００６０】
θが所定の角度Pよりも小さい場合(図中、θがR1で表示される領域にある場合)には、画像提供装置100は、ズーム率を1より大きい値に設定する。さらに、θがR1で表示される領域にある場合には、θが小さいほど大きなズーム率を設定する。すなわち、ユーザUが足元に近い方向を見ている場合には、画像提供装置100は、全周囲画像データから画像をトリミングする際に、画像を拡大してトリミングする。さらに、ユーザUの視線方向が真下に近いほど、画像を拡大する度合いを大きくする。このようにすることで、画像提供装置100は、ユーザに与える違和感の小さい画像提供を実現することができる。
【００６１】
画像提供装置100が提供する画像(すなわちディスプレイ192に表示される画像)の具体的な内容について、図7−図9を参照して説明する。図7は、全周囲画像データ21に記録されているオブジェクト(オブジェクトAおよびB)を仮想空間に表現したものである。オブジェクトAは、仮想空間に存在する直方体状の物体である。オブジェクトBは、オブジェクトAよりもサイズが小さく、かつ、ユーザUに近い位置に存在する球形の物体である。
【００６２】
ユーザUの視線が水平方向(図7において線A1cで示される方向)を向いている場合には、画像提供装置100は、図8に示す画像をディスプレイ192の画面101aに表示する。図8に示す画像においては、オブジェクトAおよびオブジェクトBが画像上に表現されている。
【００６３】
ユーザUの視線が、足元に近い方向(図7において線A1dで示される方向)を向いている場合には、画像提供装置100は、図9に示す画像をディスプレイ192の画面101bに表示する。図9に示す画像においても、オブジェクトAおよびオブジェクトBが画像上に表現されている。ここで、図9において表現されているオブジェクト(オブジェクトAおよびB)は、それぞれ、図8で表現されているオブジェクトAおよびBのイメージのサイズよりも大きく表現される。これは、画像提供装置100が、ユーザUの視線方向が所定方向(足元方向)に近い場合には、より大きなズーム率を設定したうえで全周囲画像からのトリミングを行うためである。
【００６４】
ここまで、画像提供装置100が、ユーザUの視線方向と、全周囲画像における所定方向とのなす角度に応じたズーム率によって、全周囲画像の一部をトリミングしてズームする形態について説明した。しかし、本実施の形態に係る画像提供装置100はこれに限られず、例えば、全周囲画像における奥行、すなわち、ユーザUの目から、全周囲画像に記録されている物体への距離に応じたズーム率によってトリミングするものであってもよい。
【００６５】
具体的には、画像提供装置100が取り扱う全周囲画像データが、視線方向ごとのピントの調整量(視線方向ごとに、ユーザUの目から、全周囲画像において記録されている物体への距離を示す指標)を含むものであってもよい。この場合、全周囲画像データは、単に視線方向ごとのイメージだけでなく、その画像におけるピントの調整量を示すデータを保有する。
【００６６】
画像提供装置100は、画像提供処理のステップS14で全周囲画像データに対する視線方向を設定すると、合わせてその方向における全周囲画像データでのピントの調整量を示すデータを取得する。その後、取得したピントの調整量を示すデータに基づいてズーム率を設定する。
【００６７】
ピントの調整量と、それに基づいて設定されるズーム率の例を図6に示す。図6の関数F2に示された例では、ピントの調整量が一定の値L以下である領域(図中、R3で示される領域)にある場合には、ズーム率は1と設定されている。画像提供装置100は、ピントの調整量がR3で示される領域にある場合には、トリミングにおいて拡大も縮小も行わない。一方、ピントの調整量が一定の値Lを超える領域(図中、R4で示される領域)にある場合には、ズーム率は1よりも大きな値が設定されており、さらにピントの調整量が大きくなるほどズーム率が大きくなるように設定されている。画像提供装置100は、ピントの調整量がR4で示される領域にある場合には、ピントの調整量が大きいほど、大きなズーム率を用いて全周囲画像からのトリミングを行う。
【００６８】
画像提供装置100がこのような処理を行うことで、ユーザUは、全周囲画像のうちピントの調整量が小さい領域を見ている範囲では、頭の方向を変えてもズーム率の変動がないまま画像を見ることができる。一方、ユーザUが、全周囲画像のうちピントの調整量が大きい領域を見る場合、ディスプレイ192には、視線方向に設定されたピントの調整量に応じて拡大された画像が投影される。
【００６９】
一般に、ピントの調整量が小さい領域とは、全周囲画像において、ユーザUに近い場所が撮影されている領域である。ユーザUに近いものは全周囲画像においても大きく記録されているため、ズーム率を変えずともユーザUにとっては容易に見ることができるものである。
【００７０】
それに対し、ピントの調整量が大きい領域とは、全周囲画像において、ユーザUから遠い場所が撮影されている領域である。そのため、全周囲画像においても物体が小さく記録されているため、ユーザUから見ると外観をとらえにくくなりがちである。画像提供装置100は、ピントの調整量が大きい領域では画像を拡大して表示することで、ユーザUが、画像において距離のある物体をよく視認できるようにすることができる。
【００７１】
また、画像提供装置100は、関数F2に示した例とは逆に、ピントの調整量が大きい領域(R4で示される領域)では、ズーム率を1よりも小さな値に設定してもよい。その場合、図6の関数F3で示されるように、R4で示される領域では、ピントの調整量が大きくなるほどズーム率が小さくなるように設定されている。なお、関数F3で示される例では、ズーム率はR3で示される領域では1と設定されている。
【００７２】
このようにズーム率を設定した場合、画像提供装置100は、ピントの調整量が大きい領域では、小さなズーム率を用いてトリミングした画像をディスプレイ192に表示する。これは、ユーザUが、遠い場所が撮影されている領域に視線を向けた場合には、ディスプレイ192に、より広範囲が含まれる画像を表示することになる。これにより、ユーザUに、より奥行きを感じさせることができる。
【００７３】
さらに、画像提供装置100は、ユーザUの身長を示すデータを保有し、そのデータの示す数値に応じてズーム率に調整を加えるものであってもよい。この場合、画像提供装置100は、ユーザUにより入力された数値を用いるものであってもよい。また、ヘッドマウントディスプレイ190の床からの高さを検出する機構を備え、検出された数値を用いるものであってもよい。
【００７４】
ユーザUの身長を示すデータによりズーム率を調整する場合、いろいろな形態が考えられる。例えば、図5において示したズーム率を設定する関数F1を導出するうえで、身長を示すデータを用いてもよい。例えば、基準となる身長として170cmと規定し、ユーザUの身長をcmで表した数値をH1としたうえで、所定の関数を(H1/170)倍することによりズーム率を算出する関数としてもよい。
【００７５】
本発明の実施形態にかかるサーバ装置は、専用のシステムによらず、通常のコンピュータシステムを用いても実現可能である。例えば、コンピュータに、上記動作を実行するためのプログラムを、フレキシブルディスク、CD−ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)、MO(Magnet Optical disk)などのコンピュータ読取可能な記憶媒体に記憶して配布し、これをコンピュータシステムにインストールすることにより、上述の処理を実行するソースプログラム解析システムを構成しても良い。さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを記憶しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【００７６】
また、本発明の実施形態に係る画像提供装置は、1台で実現されるものに限定されない。複数のコンピュータが上述した各部の機能を分担することにより、それらの複数のコンピュータからなる一つのシステムとして各機能を提供するものであってもよい。
【００７７】
ここまで本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【００７８】
また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
【符号の説明】
【００７９】
11: 検出部
12: 方向設定部
13: 抽出部
14: 表示部
21: 全周囲画像データ
100: 画像提供装置
101: 画面
190: 視界を覆うディスプレイ
191: センサ
192: ディスプレイ
U: ユーザ
【図１】
2018083757.tif 000003
【図２】
2018083757.tif 000004
【図３】
2018083757.tif 000005
【図４】
2018083757.tif 000006
【図５】
2018083757.tif 000007
【図６】
2018083757.tif 000008
【図７】
2018083757.tif 000009
【図８】
2018083757.tif 000010
【図９】
2018083757.tif 000011
【手続補正書】
【提出日】平成29年12月5日(2017.12.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
前記ディスプレイの向きもしくは向きの変化を検出し、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記取得されたズーム画像を前記ディスプレイに表示する、
ことを特徴とする画像提供装置。
【請求項２】
前記全周囲画像における所定方向は、前記全周囲画像において足元を指す方向であり、
前記設定された方向と、前記全周囲画像における所定方向とのなす角度が小さいほど、大きな前記ズーム率によって前記全周囲画像の一部をトリミングしてズームする、
ことを特徴とする請求項1に記載の画像提供装置。
【請求項３】
前記角度、および、前記ディスプレイを装着するユーザの身長を示す数値に応じた前記ズーム率によって、前記全周囲画像において前記設定された方向に位置する領域をトリミングしてズームする、
ことを特徴とする請求項1または2に記載の画像提供装置。
【請求項４】
前記ディスプレイの高さを検出し、
前記角度、および、前記検出された高さに応じた前記ズーム率によって、前記全周囲画像において前記設定された方向に位置する領域をトリミングしてズームする、
ことを特徴とする請求項1または2に記載の画像提供装置。
【請求項５】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、前記全周囲画像は、前記全周囲画像の各領域に撮影された物体への距離を表す量が当該各領域に対する方向について記録されたものであり、
前記画像提供装置は、
前記ディスプレイの向きもしくは向きの変化を検出し、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向について前記記録された量に応じたズーム率によって、トリミングしてズームしたズーム画像を取得し、
前記取得されたズーム画像を前記ディスプレイに表示する
ことを特徴とする画像提供装置。
【請求項６】
前記量は、前記各領域に対する方向に対するピントの調整量である
ことを特徴とする請求項5に記載の画像提供装置。
【請求項７】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供方法であって、
画像提供装置が、前記ディスプレイの向きもしくは向きの変化を検出し、
前記画像提供装置が、前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
前記画像提供装置が、前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記画像提供装置が、前記取得されたズーム画像を前記ディスプレイに表示する、
ことを特徴とする画像提供方法。
【請求項８】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムであって、
前記コンピュータに、
前記ディスプレイの向きもしくは向きの変化を検出する検出手順、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定する設定手順、
前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
を実行させるプログラム。
【請求項９】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体であって、
前記コンピュータに、
前記ディスプレイの向きもしくは向きの変化を検出する検出手順、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定する設定手順、
前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
を実行させるプログラムを記録した情報記録媒体。
【手続補正書】
【提出日】平成30年3月12日(2018.3.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
前記ディスプレイの向きもしくは向きの変化を検出し、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記取得されたズーム画像を前記ディスプレイに表示し、
前記全周囲画像における所定方向は、前記全周囲画像において足元を指す方向である
ことを特徴とする画像提供装置。
【請求項２】
前記設定された方向と、前記全周囲画像における所定方向とのなす角度が小さいほど、大きな前記ズーム率によって前記全周囲画像の一部をトリミングしてズームする、
ことを特徴とする請求項1に記載の画像提供装置。
【請求項３】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
前記ディスプレイの向きもしくは向きの変化を検出し、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記取得されたズーム画像を前記ディスプレイに表示し、
前記角度、および、前記ディスプレイを装着するユーザの身長を示す数値に応じた前記ズーム率によって、前記全周囲画像において前記設定された方向に位置する領域をトリミングしてズームする、
ことを特徴とする画像提供装置。
【請求項４】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
前記ディスプレイの向きもしくは向きの変化を検出し、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記取得されたズーム画像を前記ディスプレイに表示し、
前記ディスプレイの高さを検出し、
前記角度、および、前記検出された高さに応じた前記ズーム率によって、前記全周囲画像において前記設定された方向に位置する領域をトリミングしてズームする、
ことを特徴とする画像提供装置。
【請求項５】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、前記全周囲画像は、前記全周囲画像の各領域に撮影された物体への距離を表す量が当該各領域に対する方向について記録されたものであり、
前記画像提供装置は、
前記ディスプレイの向きもしくは向きの変化を検出し、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向について前記記録された量に応じたズーム率によって、トリミングしてズームしたズーム画像を取得し、
前記取得されたズーム画像を前記ディスプレイに表示する
ことを特徴とする画像提供装置。
【請求項６】
前記量は、前記各領域に対する方向に対するピントの調整量である
ことを特徴とする請求項5に記載の画像提供装置。
【請求項７】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供方法であって、
画像提供装置が、前記ディスプレイの向きもしくは向きの変化を検出し、
前記画像提供装置が、前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定し、
前記画像提供装置が、前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
前記画像提供装置が、前記取得されたズーム画像を前記ディスプレイに表示し、
前記全周囲画像における所定方向は、前記全周囲画像において足元を指す方向である
ことを特徴とする画像提供方法。
【請求項８】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムであって、
前記コンピュータに、
前記ディスプレイの向きもしくは向きの変化を検出する検出手順、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定する設定手順、
前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
を実行し、
前記全周囲画像における所定方向は、前記全周囲画像において足元を指す方向である
プログラム。
【請求項９】
視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体であって、
前記コンピュータに、
前記ディスプレイの向きもしくは向きの変化を検出する検出手順、
前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する方向を設定する設定手順、
前記全周囲画像において前記設定された方向に位置する領域を、前記設定された方向と前記全周囲画像における所定方向とのなす角度に応じたズーム率によってトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
を実行し、
前記全周囲画像における所定方向は、前記全周囲画像において足元を指す方向である
プログラムを記録した情報記録媒体。
【国際調査報告】
2018083757.tif 000012
2018083757.tif 000013
2018083757.tif 000014
2018083757.tif 000015