(57)【要約】【課題】人物が移動することなく、人物に対して移動しているかのような臨場感を与えること。【解決手段】自装置の動作モードとして、各地点に設置された広範囲を撮像できる撮像装置で撮像された画像のうち選択された地点に設置された撮像装置によって撮像された画像を提供する第１のモードと、別の地点の撮像装置で撮像された画像に切り替えるために現在ユーザが見ている画像を撮像した撮像装置から移動先の撮像装置までの経路の画像を提供する第２のモードとのいずれのモードで動作するか決定するモード決定ステップと、第２のモード時において、ユーザの頭の動作に応じて、経路の画像に対して画像処理を行う画像処理ステップと、画像処理後の画像をユーザが装着している表示装置に提供する画像出力ステップと、を有する画像提供方法。【選択図】図１
2019022014.tif 000002
【特許請求の範囲】
【請求項１】
自装置の動作モードとして、各地点に設置された広範囲を撮像できる撮像装置で撮像された画像のうち選択された地点に設置された前記撮像装置によって撮像された画像を提供する第１のモードと、別の地点の前記撮像装置で撮像された画像に切り替えるために現在ユーザが見ている画像を撮像した撮像装置から移動先の撮像装置までの経路の画像を提供する第２のモードとのいずれのモードで動作するか決定するモード決定ステップと、
前記第２のモード時において、前記ユーザの頭の動作に応じて、前記経路の画像に対して画像処理を行う画像処理ステップと、
画像処理後の画像を前記ユーザが装着している表示装置に提供する画像出力ステップと、
を有する画像提供方法。
【請求項２】
ユーザが見ている画像を撮像した撮像装置から移動先の撮像装置までの経路の画像が予め前記撮像装置で移動しながら撮影された画像である、請求項１に記載の画像提供方法。
【請求項３】
前記画像処理ステップにおいて、前記第２のモードで動作している場合、前記移動先まで提供する経路の画像を、前記ユーザの頭の回転量に応じて画像処理する、請求項１又は２に記載の画像提供方法。
【請求項４】
前記画像処理ステップにおいて、前記頭の回転量が実空間で行う回転量と同じ回転量である、請求項３に記載の画像提供方法。
【請求項５】
前記画像処理ステップにおいて、前記頭の回転量が実空間で行う回転量に任意の関数を掛け合わせた回転量である、請求項３に記載の画像提供方法。
【請求項６】
前記画像処理ステップにおいて、前記ユーザの眼球の輻輳角から注視している注視対象の３次元座標を検出し、前記注視対象が前記ユーザの視界の中心に位置するように画像処理を行う、請求項１から５のいずれか一項に記載の画像提供方法。
【請求項７】
自装置の動作モードとして、各地点に設置された広範囲を撮像できる撮像装置で撮像された画像のうち選択された地点に設置された前記撮像装置によって撮像された画像を提供する第１のモードと、別の地点の前記撮像装置で撮像された画像に切り替えるために現在ユーザが見ている画像を撮像した撮像装置から移動先の撮像装置までの経路の画像を提供する第２のモードとのいずれのモードで動作するか決定するモード決定部と、
前記第２のモード時において、前記ユーザの頭の動作に応じて、前記経路の画像に対して画像処理を行う画像処理部と、
画像処理後の画像を前記ユーザが装着している表示装置に提供する画像出力部と、
を備える画像提供装置。
【請求項８】
自装置の動作モードとして、各地点に設置された広範囲を撮像できる撮像装置で撮像された画像のうち選択された地点に設置された前記撮像装置によって撮像された画像を提供する第１のモードと、別の地点の前記撮像装置で撮像された画像に切り替えるために現在ユーザが見ている画像を撮像した撮像装置から移動先の撮像装置までの経路の画像を提供する第２のモードとのいずれのモードで動作するか決定するモード決定ステップと、
前記第２のモード時において、前記ユーザの頭の動作に応じて、前記経路の画像に対して画像処理を行う画像処理ステップと、
画像処理後の画像を前記ユーザが装着している表示装置に提供する画像出力ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像提供方法、画像提供装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、全天球カメラの普及が進んでいる。全天球カメラは、置いた位置の上下左右前後又はその一部を含む全方位の３６０度パノラマ画像・映像が撮影できるカメラである。また、全天球カメラは、非常に広角なレンズ（魚眼レンズ等）を備えものや、複数台のカメラの画像・映像をつなぎ合わせ、１枚のパノラマ映像を生成するものなど、様々な形態のものがある。全天球カメラで撮影された画像は全天球画像と呼ばれ、全天球カメラで撮影された映像は全天球映像と呼ばれており、カメラを設置した周囲の様子を高臨場に記録するデバイスとして巷でも広く使われ始めている。なお、今後、全天球映像は複数フレームの全天球画像で構成されるという解釈の下、全天球画像として説明を進める。
【０００３】
さらに、全天球画像を見るためのツールとして、ＨＭＤ（ヘッドマウントディスプレイ）も普及を始めている。ＨＭＤは、使用者の両眼に覆いかぶせるように装着して、全天球画像の中から使用者が見たい方向の全天球画像を提示することで、あたかもその場に行ったかのようなバーチャルな感覚を使用者に与えることができるディスプレイである。
【０００４】
上記のようなカメラとディスプレイが普及し始めると、複数地点に設置した全天球カメラで撮影された全天球画像を、使用者が切り替えて見ることで、あたかも使用者が見る位置を変える（使用者が見る位置を移動する）といった感覚で複数地点の全天球画像を楽しみたいという欲求が生まれてくる。例えば、サッカー場等のスポーツ会場において、フィールドを取り囲むように複数台の全天球カメラが設置されており、各全天球カメラで撮影された全天球画像が同期されて配信されているとする。使用者は、配信された全天球画像の中から好きな位置の全天球画像を選択し、あたかもその場にいるような感覚でＨＭＤを使って見ることができる上に、別の位置にある全天球カメラで撮影された全天球画像をさらに選択することで、あたかもその位置に移動したかのような感覚で、別の視点からの全天球画像を見ることができるようになる。
【０００５】
このような複数地点の全天球画像を使用者が選んで見るような研究、サービスが近年出て来ている。例えば、米国Ｇｏｏｇｌｅ社のＧｏｏｇｌｅストリートビューでは、道路沿いにおいて一定の距離間隔で撮影された全天球画像を、移動に伴う経路の全天球画像も含めて人が連続的に見ることで、人は移動の方向や距離を把握しながら好きな地点に移動し、その地点を見渡すような感覚で全天球画像を見るような、あたかも遠隔の街中を歩き回るような感覚を得ることができるサービスを展開している。また、非特許文献１に記載されたＶＲ  Ｐｌａｎｅｔの技術では、様々な地点で撮影された全天球画像をバーチャルな空間内に配置し、複数の全天球画像間を人のジェスチャ等で移動することであたかも複数の地点を移動して見渡すかのような感覚を得ることができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Kevin Fan、 Daiya Kato、 Liwei Chan、 Kouta Minamizawa、 Masahiko Inami、 “VR Planet: Interface for Meta-View and Feet Interaction of VR Contents、” In Proceedings of SIGGRAPH 2016、 2016.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上記のような使い方をする場合、従来手法にはまだ課題がある。先のサッカー場の例を用いて説明する。人がある地点で、そこから撮影された全天球画像中に映った一人のプレイヤに注目している最中に、人がフィールドを挟んで向こう側の位置（別の位置から撮影された全天球画像）から同じオブジェクトを見たいと思ったとする。なお、フィールドの周りに置かれた各全天球カメラの３次元的な位置関係は事前キャリブレーションで既知であるものとする。また、人に移動感を感じてもらうために提示する各全天球カメラ間の全天球画像は用意されているものとする。
【０００８】
この場合、理想的には人はバーチャルに全天球カメラ間の経路を歩き回り、好きな視点位置からフィールド内のプレイヤを見ることが最も直感的であるといえる。しかし、それにはサッカー場と同等の空間が必要になってしまう。もちろん、Ｇｏｏｇｌｅストリートビューのように、移動手段を別の操作に割り振ること（例えば、キーボードの矢印キーなどで移動する手段）も考えられるが、移動しながら見ているという直感性が大きく削がれてしまい、臨場感が低下してしまうだけでなく、キーボードを操作して進む方向だけ指定する（移動前に見ている方向まで維持されない）場合だと、移動後、又は移動途中にこれまで注目していたプレイヤを見失うという問題があった。
【０００９】
上記事情に鑑み、本発明は、人物が移動することなく、人物に対して移動しているかのような臨場感を与えることができる技術の提供を目的としている。
【課題を解決するための手段】
【００１０】
本発明の一態様は、自装置の動作モードとして、各地点に設置された広範囲を撮像できる撮像装置で撮像された画像のうち選択された地点に設置された前記撮像装置によって撮像された画像を提供する第１のモードと、別の地点の前記撮像装置で撮像された画像に切り替えるために現在ユーザが見ている画像を撮像した撮像装置から移動先の撮像装置までの経路の画像を提供する第２のモードとのいずれのモードで動作するか決定するモード決定ステップと、前記第２のモード時において、前記ユーザの頭の動作に応じて、前記経路の画像に対して画像処理を行う画像処理ステップと、画像処理後の画像を前記ユーザが装着している表示装置に提供する画像出力ステップと、を有する画像提供方法である。
【００１１】
本発明の一態様は、上記の画像提供方法であって、ユーザが見ている画像を撮像した撮像装置から移動先の撮像装置までの経路の画像が予め前記撮像装置で移動しながら撮影された画像である。
【００１２】
本発明の一態様は、上記の画像提供方法であって、前記画像処理ステップにおいて、前記第２のモードで動作している場合、前記移動先まで提供する経路の画像を、前記ユーザの頭の回転量に応じて画像処理する。
【００１３】
本発明の一態様は、上記の画像提供方法であって、前記画像処理ステップにおいて、前記頭の回転量が実空間で行う回転量と同じ回転量である。
【００１４】
本発明の一態様は、上記の画像提供方法であって、前記画像処理ステップにおいて、前記頭の回転量が実空間で行う回転量に任意の関数を掛け合わせた回転量である。
【００１５】
本発明の一態様は、上記の画像提供方法であって、前記画像処理ステップにおいて、前記ユーザの眼球の輻輳角から注視している注視対象の３次元座標を検出し、前記注視対象が前記ユーザの視界の中心に位置するように画像処理を行う。
【００１６】
本発明の一態様は、自装置の動作モードとして、各地点に設置された広範囲を撮像できる撮像装置で撮像された画像のうち選択された地点に設置された前記撮像装置によって撮像された画像を提供する第１のモードと、別の地点の前記撮像装置で撮像された画像に切り替えるために現在ユーザが見ている画像を撮像した撮像装置から移動先の撮像装置までの経路の画像を提供する第２のモードとのいずれのモードで動作するか決定するモード決定部と、前記第２のモード時において、前記ユーザの頭の動作に応じて、前記経路の画像に対して画像処理を行う画像処理部と、画像処理後の画像を前記ユーザが装着している表示装置に提供する画像出力部と、を備える画像提供装置である。
【００１７】
本発明の一態様は、自装置の動作モードとして、各地点に設置された広範囲を撮像できる撮像装置で撮像された画像のうち選択された地点に設置された前記撮像装置によって撮像された画像を提供する第１のモードと、別の地点の前記撮像装置で撮像された画像に切り替えるために現在ユーザが見ている画像を撮像した撮像装置から移動先の撮像装置までの経路の画像を提供する第２のモードとのいずれのモードで動作するか決定するモード決定ステップと、前記第２のモード時において、前記ユーザの頭の動作に応じて、前記経路の画像に対して画像処理を行う画像処理ステップと、画像処理後の画像を前記ユーザが装着している表示装置に提供する画像出力ステップと、をコンピュータに実行させるためのコンピュータプログラムである。
【発明の効果】
【００１８】
本発明により、人物が移動することなく、人物に対して移動しているかのような臨場感を与えることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明における画像提供システム１００のシステム構成を表す構成図である。
【図２】経路リストの具体例を示す図である。
【図３】（概要）で説明した輻輳角について説明するための図である。
【図４】第１の実施形態における第２のモード時の動作を説明するための図である。
【図５】頭部回転動作に応じてユーザ４０が見る全天球画像の一例を示す図である。
【図６】第１の実施形態における１０の処理の流れを示すフローチャートである。
【図７】第２の実施形態について説明するための図である。
【図８】第３の実施形態について説明するための図である。
【図９】第４の実施形態について説明するための図である。
【図１０】第４の実施形態のような経路が２つ以上ある場合の経路リストの具体例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の一実施形態を、図面を参照しながら説明する。
（概要）
まず、本発明の概要について説明する。
本発明における画像提供システムにおける画像提供装置は、広範囲（例えば、全方位）を撮像可能な全天球カメラが設置された地点で全天球画像（映像も含む）を見る場面において、全天球カメラが設置された地点で人が好きな方向を向いてＨＭＤのような表示装置を用いて全天球画像を見ることができる第１のモードと、別の地点の全天球カメラで撮像された全天球画像に切り替えるために現在人が見ている全天球画像を撮像した全天球カメラから移動先の全天球カメラまでの経路の全天球画像を見ることができる第２のモードという２つのモードを有する。
【００２１】
第１のモードでは、人は表示装置を用いて全天球カメラで撮像された全天球画像を、従来のように好きな位置を選んで見ることができる。第２のモードでは、各全天球カメラ間を移動することができる。具体的には、第２のモードでは、ある全天球カメラから移動先の全天球カメラまでの間の移動経路の全天球画像を提供し、移動先の全天球カメラで撮像された全天球画像を提供することによって各全天球カメラ間を移動したような感覚を人に与えることができる。なお、移動時に提供される移動経路の全天球画像は全天球カメラで予め撮影されているものとする。
【００２２】
第２のモードでは、人にその場にいながらにして移動感を感じさせるため、人が通常の移動しながら周辺を見る動作（移動しながら頭を回転させる動作）のうち、実際の場所移動を除き、頭の回転動作に応じた全天球画像を提供することで広いフィールドのような空間も人が実際に場所を動くことなく、少ないスペースで人物に対して臨場感を与えることが可能となる。第２のモード時では、注目したい被写体（以下「注目対象」という。）を注目しながら人が頭を回転させる動作が全天球カメラ間の“移動”に割り当てられるということである。
【００２３】
しかしながら、ここで一つ問題となるのは、移動観察中、常に注目対象を視野の中心に置きたい（注目対象を注目し続けたい）場合は、注目対象が３次元空間内のどの位置に存在するか、人がどの位置から注目対象を見ているのかが分かった上で、人に提示する全天球画像の一部分で注目対象が映った部分を視野の中心に持ってこなければならない。この問題の対策としては、人の二つの眼球の視線方向とそれらがなす輻輳角から、その人が３次元空間内のどの部分を注目しているかを計測し、その３次元空間の１点を中心にＣＧ空間内を移動して見渡すような技術を用いる（参考文献１参照）。
（参考文献１：Yun Suen Pai, Benjamin Outram, Noriyasu Vontin, and Kai Kunze, “Transparent Reality: Using Eye Gaze Focus Depth as Interaction Modality,” In Proceedings of UIST 2016, 2016.）
【００２４】
参考文献１に記載の技術を用いることで、全天球画像のような実写でも注目対象を視野の中心に置きつつ、頭を回す（首を振る）という直感的な移動動作で全天球カメラ間を移動し、あたかもフィールドのような広い空間内を移動したように感じながら好きな場所・角度から見たい注目対象を見ることが可能となる。
【００２５】
（詳細）
図１は、本発明における画像提供システム１００のシステム構成を表す構成図である。画像提供システム１００は、配信サーバ１０、画像処理装置２０及び表示装置３０を備える。
配信サーバ１０は、各地点に設置された全天球カメラによって撮像された全天球画像と、全天球カメラ間の移動経路上で撮像された全天球画像（以下「経路全天球画像」という。）と、経路リストとを保持する。経路リストは、観察開始時の初期位置（現在地点）と、移動可能な経路（移動先）と、移動に必要な頭の回転量と、モード切替えに必要な手段とが対応付けて記載されたリストである。配信サーバ１０は、画像処理装置２０からの要求に応じて、対応する全天球画像を画像処理装置２０に配信する。
【００２６】
図１では、配信サーバ１０と、画像処理装置２０とが別の筺体である場合を示しているが、配信サーバ１０と、画像処理装置２０とが一体化されていてもよい。この場合、配信サーバ１０は画像処理装置２０のストレージに相当する。なお、配信サーバ１０は、人が画像を見始めた最初の段階で画像処理装置２０に配信する。人が画像を見始めた最初の段階とは、例えば画像処理装置２０に電源が投入されたタイミングである。また、複数地点の全天球画像、及び経路全天球画像については、予め一意に決められた方向に揃えられた状態（例えば、予め東西南北を基準として揃えられた状態）で保持され、配信されるものとする。
【００２７】
画像処理装置２０は、パーソナルコンピュータ装置、サーバ装置、スマートフォン端末、タブレット端末等の情報処理装置である。画像処理装置２０と表示装置３０とは、別体でもよいし一体でもよい。画像処理装置２０は、配信サーバ１０から配信された画像に対して画像処理を行い、画像処理後の画像を表示装置３０に提供する。画像処理装置２０は、画像提供装置の一態様である。
表示装置３０は、ヘッドマウントディスプレイ等の表示装置である。表示装置３０は、画像処理装置２０から提供された画像を表示する。表示装置３０は、ユーザ４０に装着される。
【００２８】
（第１の実施形態）
次に、第１の実施形態における画像処理装置２０及び表示装置３０の機能構成について説明する。まず、画像処理装置２０の機能構成を説明する。画像処理装置２０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置２０は、画像要求・受信部２０１、画像レンダリング部２０２、画像出力部２０３、モード決定部２０４を備える装置として機能する。なお、画像処理装置２０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。
【００２９】
画像要求・受信部２０１は、モード決定部２０４で決定されたモードに応じて配信サーバ１０に対して画像を要求し、配信サーバ１０から送信された画像を受信する。具体的には、画像要求・受信部２０１は、第１のモードであれば複数地点の全天球画像のうち一つの全天球画像、第２のモードであれば経路の中の一つの経路に対応する経路全天球画像を配信サーバ１０に要求し、受信する。画像要求・受信部２０１は、配信サーバ１０から得られた全天球画像と、いずれのモードの全天球画像であるかを示す情報とを画像レンダリング部２０２に出力する。また、画像要求・受信部２０１は、人が画像を見始めた最初の段階に経路リストを画像処理装置２０から受信し、保持する。
【００３０】
画像レンダリング部２０２は、入力された全天球画像に基づいて、画像出力部２０３を介して提供する画像のレンダリング方法を変えてレンダリングする。入力された全天球画像が複数地点の全天球画像のどれか一つである場合、画像レンダリング部２０２は表示装置３０が備える頭部方向検知部３０１から得られるユーザ４０の頭部の方向のデータを入力とし、複数地点の全天球画像の中の頭部方向に応じた画像出力部２０３のサイズの画像のレンダリング結果を表示装置３０に出力する。また、入力された全天球画像が経路全天球画像のどれか一つである場合、画像レンダリング部２０２は表示装置３０が備える頭部方向検知部３０１から得られるユーザ４０の頭部の方向のデータと、表示装置３０が備える眼球方向検知部３０２から得られる人の注目対象の３次元位置とを入力とし、頭部方向データから算出した頭部の回転角の量に応じた経路上を進んだ位置からの全天球画像で、ユーザ４０の注目対象を見ている方向に応じた画像出力部２０３のサイズの画像のレンダリング結果を表示装置３０に出力する。
【００３１】
画像出力部２０３は、画像レンダリング部２０２でレンダリングされた画像のレンダリング結果を表示装置３０内の表示部３０３に表示する。
モード決定部２０４は、ユーザ４０からの入力に応じて、経路リストに基づいて第１のモードと、第２のモードとのいずれのモードで動作するのかを決定する。画像出力部２０３は、決定した動作モードを示す情報を画像要求・受信部２０１に出力する。モード決定部２０４は、キーボード、ポインティングデバイス（マウス、タブレット等）、タッチパネル、ボタン等の既存の入力装置を用いて構成される。モード決定部２０４は、ユーザの指示を画像処理装置２０に入力する際にユーザによって操作される。モード決定部２０４は、モード切替指示の入力を受け付ける。また、モード決定部２０４は、入力装置を画像処理装置２０に接続するためのインタフェースであってもよい。この場合、画像処理装置２０は、入力装置においてユーザの入力に応じて生成された入力信号をモード決定部２０４に入力する。
【００３２】
次に、表示装置３０の機能構成について説明する。表示装置３０は、頭部方向検知部３０１、眼球方向検知部３０２及び表示部３０３を備える。
頭部方向検知部３０１は、ユーザ４０の向く方向を検知するセンサである。頭部方向検知部３０１は、例えば、ジャイロセンサや加速度センサである。頭部方向検知部３０１は、人の頭部の方向データを画像レンダリング部２０２に出力する。
眼球方向検知部３０２は、人の各眼球の視線方向、および両眼球からの輻輳角を算出し、人の注目対象の３次元位置を算出する。眼球方向検知部３０２は、人の注目対象の３次元位置を画像レンダリング部２０２に出力する。
表示部３０３は、画像出力部２０３から出力された画像を表示する。
【００３３】
図２は、経路リストの具体例を示す図である。図２に示すように、経路リストには現在地点、移動に必要な頭の回転量、移動先及びモード切替え手段の各値が記載されている。現在地点の値は、観察開始時の位置を表す。具体的には、現在地点の値は、人が見ている全天球画像を撮像した全天球カメラの位置を表す。移動に必要な頭の回転量の値は、全天球カメラ間の移動に必要な頭の回転量を表す。具体的には、移動に必要な頭の回転量の値は、水平方向の回転量を表す。移動先は、移動先の位置を表す。具体的には、移動先の値は、現在位置から移動に必要な頭の回転量分だけ頭を回転させた場合の移動先として設定されている全天球カメラの位置を表す。モード切替え手段は、画像処理装置２０の動作モードを、第１のモードから第２のモード、又は、第２のモードから第１のモードに切替えるための方法を表す。
【００３４】
図２に示される例では、経路リストには複数の現在地点が記載されている。これらの現在地点は、“Ａ”、“Ｂ”、“Ｂ”、“Ｃ”である。図２において、経路リストの最上段に記載されているレコードは、現在地点の値が“Ａ”、移動に必要な頭の回転量の値が“θ１”、移動先の値が“Ｂ”、モード切替え手段の値が“スペースキー押下”である。すなわち、人が見ている全天球画像を撮像した全天球カメラの位置“Ａ”地点である場合に、人が頭を“θ１”回転させた場合の移動先が“Ｂ”であり、モードを切替えるための方法が“スペースキーの押下”であることが表されている。なお、図２では、動作モードを切替えるための方法の一例として、“スペースキーの押下”を例に説明したが、動作モードを切替えるための方法はこれに限定される必要ない。例えば、動作モードを切替えるための方法が、複数のボタンの組み合わせであってもよいし、ボタンを押下している時間であってもよい。
【００３５】
次に、図３を用いて、（概要）で説明した輻輳角について説明する。
図３（Ａ）はユーザ４０が遠い位置にある注目対象５０を注視している場合の一例を示す図であり、図３（Ｂ）ユーザ４０が近い位置にある注目対象５０を注視している場合の一例を示す図である。図３に示すように、ユーザ４０が遠い位置にある注目対象５０を注視している場合の方が、ユーザ４０が近い位置にある注目対象５０を注視している場合と比べて輻輳角が小さくなる。
【００３６】
図４は、第１の実施形態における第２のモード時の動作を説明するための図である。道路４１上の３地点（Ａ地点、Ｂ地点、Ｃ地点）に設置された全天球カメラ６０−１、６０−２、６０−３が同期して配信する全天球画像を、予め全天球カメラを事前に移動させながら撮像した経路全天球画像Ｄ、Ｅを用いて、ユーザ４０がバーチャルに移動しながら見る場面を考える。なお、全ての全天球画像は、ユーザ４０が装着している表示装置３０でバーチャルに見ることができるように配信サーバ１０に保存されているものとする。また、図４では、ユーザ４０は道路４１脇にある注目対象５０に注目しながら移動する場面とする。なお、Ｂ地点が注目対象５０の正面にあるとすると、Ａ地点はθ１、Ｃ地点はθ２の角度をなす位置に存在するとする。すなわち、全天球カメラ６０−２が注目対象５０の正面に配置され、全天球カメラ６０−１がθ１の角度をなす位置に配置され、全天球カメラ６０−３がθ２の角度をなす位置に配置される。
【００３７】
実空間であれば、ユーザ４０は道路４１上をＡ地点からＣ地点まで移動しながら自身の頭を回転し、注目対象５０を見るという動作を行う。これに対し、本発明における画像提供システム１００での画像提供においては、ユーザ４０が実際の移動を行わず、実空間における移動動作をユーザ４０の頭の回転に割り当てた形で行われる。また、本実施形態における方法で実際のユーザ４０が行う頭部回転動作、ユーザ４０が見る全天球画像の概略図を図５に示す。
【００３８】
Ａ地点で画像を見始めたユーザ４０は、Ａ地点が全天球画像として撮影されているため、Ａ地点における好みの方向を向いて周辺をみることができる（第１のモード）。あるタイミングでユーザ４０が注目対象５０を見ながら移動したいと考えた際、注目対象５０の方向を向いてモード切替え手段（例えば、キーボードのスペースキー）の入力を行う。この際、モード決定部２０４は、経路リストを参照し、モード切替え手段がなされた現在いる地点における経路リストに指定されたモード切替え手段と、実行されたモード切替え手段とが一致していた場合、動作モードを第１のモードから第２のモードに切り替える。
【００３９】
第２のモードに切り替わると、まず眼球方向検知部３０２から得られる輻輳角から、ユーザ４０から注目対象５０までの距離と方向が測定される。本発明では、ユーザ４０は実際の移動は行わないため、移動の代わりに頭部の回転動作を行う。頭部の回転に併せて同様の輻輳角算出処理を続けることで、常にユーザ４０の視野内（ここでは表示装置３０の中心）に注目対象５０をとらえながら頭部の回転動作（バーチャルな移動動作）を続けることができる。経路全天球画像Ｄは映像として撮影されているため、実際は、頭部の回転角に合わせて、対応する位置の全天球画像のフレームが静止画でユーザ４０に提示されることになる。
【００４０】
第２のモードである最中は、ユーザ４０は頭の回転を進める事もできるし、戻すことも可能である。戻す場合は、経路全天球画像Ｄを巻き戻す形で該当のフレームが表示されるようにすればよい。また、もしユーザ４０がここで再度スペースキーを押し、第２のモードから第１のモードに戻したとすると、その地点の経路全天球画像Ｄの全天映像フレームが静止画として見渡せるようにすれば、ユーザ４０は好きな位置に立ち止まって空間を見渡すことが可能となる。
【００４１】
ユーザ４０が頭部をθ１回転させたところでモードを第１のモードに切り替えた場合は、Ｂ地点には全天球カメラ６０−２が設置され、全天球画像が撮影されているため、ユーザ４０は映像を見渡して楽しむことができる。同様の動作でユーザ４０は頭部を回転させ、経路Ｅを通り、頭部を更にθ２回転させるとＣ地点に行くことができる。なお、頭の回転量を計測し始めるのは、モードが第２のモードに切り替えられた直後からとし、本実施例では、移動可能な方向がある程度直線とみなせる道路に沿った方向であるため、用いる頭の回転量は、水平方向のみの成分における頭の回転量（角度）とする。
【００４２】
ただし、扱う移動方向が坂道である（ある程度角度を持っている）際や、ユーザ４０の上部方向（空を飛ぶような方向）である場合は、頭の回転方向はその方向に合せるなども考えられ、水平方向のみとは限らない。逆に、移動方向の先にある経路全天球画像が直線とみなせる道路ではない場合（曲がりくねった経路などの場合）でも、移動に必要な頭の回転量と方向を一意に決めておくなどの応用も考えられる（例えば水平方向のみの成分を利用し、曲がりくねった道を進むこともあり得る）。
【００４３】
このような操作をすることで、ユーザ４０は実際の場所に行くことなく、遠隔からバーチャルに見たい被写体を、場所を移動しながら視聴することができる。なお、この際、ユーザ４０は実際に位置を移動しているのではなく、頭部のみしか回転させていないため、広いスペースを必要としない。また、移動しながらの視聴に置いて、移動動作は省くものの頭部回転動作は残すため、単なるキー操作での移動に比べ直感的な上、移動しても常に注目被写体を視界にとらえておけるというという利点がある。
【００４４】
図６は、第１の実施形態における１０の処理の流れを示すフローチャートである。
画像要求・受信部２０１は、自装置の動作モードを判定する（ステップＳ１０１）。具体的には、画像要求・受信部２０１は、モード決定部２０４から出力される自装置の動作モードを示す情報に基づいて、自装置の動作モードが第１の動作モードであるか第２の動作モードであるかを判定する。自装置の動作モードが第１の動作モードである場合（ステップＳ１０１−第１の動作モード）、画像要求・受信部２０１はユーザが見ている位置の全天球画像を配信サーバ１０に要求する。その後、画像要求・受信部２０１は、配信サーバ１０から配信された全天球画像を受信する（ステップＳ１０２）。画像要求・受信部２０１は、受信した全天球画像を画像レンダリング部２０２に出力する。
【００４５】
画像レンダリング部２０２は、頭部方向検知部３０１からユーザの頭部方向の情報を取得する（ステップＳ１０３）。また、画像レンダリング部２０２は、画像要求・受信部２０１から出力された全天球画像を取得する。画像レンダリング部２０２は、取得したユーザの頭部方向の情報で示される頭部方向に応じて、取得した全天球画像をレンダリングする。画像レンダリング部２０２は、レンダリング後の全天球画像を画像出力部２０３に出力する。その後、画像出力部２０３は、画像レンダリング部２０２から出力されたレンダリング後の全天球画像を表示装置３０に出力する。
【００４６】
画像処理装置２０は、画像の閲覧が終了であるか否か判定する（ステップＳ１０４）。画像の閲覧が終了である場合（ステップＳ１０４−ＹＥＳ）、画像処理装置２０は全天球画像の提供を終了する。
一方、画像の閲覧が終了ではない場合（ステップＳ１０４−ＮＯ）、画像処理装置２０はステップＳ１０１以降の処理を実行する。
【００４７】
ステップＳ１０１の処理において、自装置の動作モードが第２の動作モードである場合（ステップＳ１０１−第２の動作モード）、画像要求・受信部２０１はユーザが移動する方向の全天球画像を配信サーバ１０に要求する。その後、画像要求・受信部２０１は、配信サーバ１０から配信された全天球画像を受信する（ステップＳ１０６）。この際、画像要求・受信部２０１は、経路全天球画像を配信サーバ１０から受信する。画像要求・受信部２０１は、受信した全天球画像を画像レンダリング部２０２に出力する。画像レンダリング部２０２は、眼球方向検知部３０２からユーザの注目対象５０の３次元位置の情報を取得する（ステップＳ１０７）。
【００４８】
画像レンダリング部２０２は、頭部方向検知部３０１からユーザの頭部方向の情報を取得する。画像レンダリング部２０２は、取得したユーザの頭部方向の情報から頭部の回転量を算出する（ステップＳ１０８）。第１の実施形態で算出される頭部の回転量は、実空間でユーザが頭部を回転させた量と同じである。画像レンダリング部２０２は、算出した頭部の回転量に応じた経路を進んだ位置における、注目対象５０に対応する全天球画像をレンダリングする。画像レンダリング部２０２は、レンダリング後の全天球画像を画像出力部２０３に出力する。その後、画像出力部２０３は、画像レンダリング部２０２から出力されたレンダリング後の全天球画像を表示装置３０に出力する（ステップＳ１０９）。
【００４９】
画像処理装置２０は、画像の閲覧が終了であるか否か判定する（ステップＳ１１０）。画像の閲覧が終了である場合（ステップＳ１１０−ＹＥＳ）、画像処理装置２０は全天球画像の提供を終了する。
一方、画像の閲覧が終了ではない場合（ステップＳ１１０−ＮＯ）、画像処理装置２０はステップＳ１０１以降の処理を実行する。
【００５０】
以上のように構成された画像処理装置２０によれば、人物が移動することなく、人物に対して臨場感を与えることが可能となる。具体的には、画像処理装置２０は、ユーザが見たい地点の画像を見ることができる第１のモードと、全天球カメラ間を移動することができる第２のモードとを有する。画像処理装置２０は、第２のモード時において、ユーザの頭の回転量に応じた移動先の位置の画像を提供する。すなわち、ユーザは、頭を回転させることによって現時点から移動した場所の画像を見ることができる。したがって、ユーザは実際に移動する必要が無い。また、実際に移動しているような感覚をユーザに与えることができる。そのため、人物が移動することなく、人物に対して移動しているかのような臨場感を与えることが可能になる。
【００５１】
フィールドのような広い空間で行われるスポーツ観戦において、複数地点の全天球画像をバーチャルに移動して見る場合でも、実際の空間を移動する必要がない。そのため、狭い空間においてもスポーツ観戦を見ることが可能となる。また、移動しながら注目対象５０を見る際、頭を回転させるという自然で直感的な動作で被写体を見失うことなく、つまり両眼の輻輳角から注目被写体の３次元位置を得、その被写体が常に視線の中心に来るようにしながら移動することが可能となる。
【００５２】
（第２の実施形態）
第１の実施形態では、ユーザ４０は移動のための頭部回転動作において、実際に注目対象５０を注目し続けるために必要な量だけ頭部回転を行う必要があった。しかし、移動量が大きい場合、頭部の回転量も増え、人の負担になってしまう。そこで、第２の実施形態では、必要な頭部回転量を実際の量よりも少なくする（例えば、実際の量よりも半分にする）構成について説明する。
【００５３】
図７は、第２の実施形態について説明するための図である。図７に示すように、第２の実施形態では、経路全天球画像Ｄ、Ｅを第２のモードでユーザが画像を見ながら頭部回転によりバーチャルに移動動作を行っている際、人はθ１／２の頭部回転を行えばＡ地点からＢ地点に移動できる。また、同様にθ２／２の頭部回転を行えばＢ地点からＣ地点に移動が可能となっている。なお、ここでは頭部回転量の半分の量で実際の移動が行える例を示したが、設定できる値はその限りではなく、例えば、頭部回転量に掛ける設定値を１／３にすることや１／１０にすることも可能である。さらに、常に同様の設定値ではなく、例えばＡ地点に近いほど頭部回転量が多く、Ｂ地点に近づくほど頭部回転量が少なくてもバーチャルな移動を可能とするなど、頭部回転量に掛ける設定値を経路上で非線形にすることなども可能である。
【００５４】
以上のように構成された第２の実施形態における画像提供システム１００によれば、第１の実施形態よりも使用者への負担を軽減することができる。例えば、頭の回転量とバーチャルな空間内での移動量を割り当てる際、対応付けを変えて設定しておく（例えばθ／２の頭の回転角でａメートル移動することができるなど）ことで、人は頭を必要以上に回転しないようにもでき、ユーザの疲労を軽減しつつ、バーチャルに移動しながら画像を見ることが可能になる。
【００５５】
（第３の実施形態）
第１の実施形態及び第２の実施形態では、ユーザ４０は直線の道路４１上をバーチャルに移動する例を示した。それに対して、第３の実施形態では、スタジアム観戦のような移動経路が直線ではない場所に適用する場合の構成について説明する。
図８は、第３の実施形態について説明するための図である。人が道路４１上の３地点（Ａ地点、Ｂ地点、Ｃ地点）に設置された全天球カメラ６０−１、６０−２、６０−３が同期して配信する全天球画像を、予め全天球カメラを事前に移動させながら撮像した経路全天球画像Ｄ、Ｅを用いて、人がバーチャルに移動しながら見る場面を考える。
【００５６】
経路が直線でない以外は第１の実施形態と同様の条件であるが、本実施形態では、経路Ｄ、Ｅ上のそれぞれ１地点における人の状態を例として示している。本実施形態において人はフィールド６２内にいる注目対象５０を注目しながら移動するものとする。なお、経路全天球画像Ｄ、Ｅはあらかじめ撮影されているため、今現在の注目対象５０の状態は撮影されない。ここでは、別のしかるべき技術（例えば、人物領域特定、人物領域切出し等）を使って、注目している被写体が経路の両端にある全天球カメラのうち近い方のカメラから切り抜いた画像を重畳して表示しているものとする。なお、地点Ａ、Ｂ、Ｃではそれぞれ同期された画像を見ることができるが、移動経路Ｄ、Ｅでは“移動中”と割り切って、あらかじめ撮影された画像のみを見せるといった簡便化も可能とする。
【００５７】
以上のように構成された第３の実施形態における画像提供システム１００によれば、状況設定により、第１の実施形態と同様の方法で人物が移動することなく、人物に対して臨場感を与えることが可能となる。
【００５８】
（第４の実施形態）
第１の実施形態から第３の実施形態では、人がある地点から移動できる経路は１つ又は２つ（別の地点に移動するための経路は一つのみ）の構成を示した。それに対し、第４の実施形態では、経路が２つ以上ある場合の構成について説明する。
図９は、第４の実施形態について説明するための図である。図１０は、第４の実施形態のような経路が２つ以上ある場合の経路リストの具体例を示す図である。なお、図１０では、現在地点が“Ｃ”の場合のみ示している。また、図１０における各値の構成については図２と同様であるため説明を省略する。
【００５９】
人はＣ地点にいるとする場合、人はＡ地点、Ｂ地点、Ｄ地点に行くためのＧ、Ｉ、Ｊという経路を選択し得る。この場合、例えば第２のモードに切り替える際、キーボードの複数のキーに移動したい経路を割り当てておき（この場合では、→キーと↑キー、またその両方の同時押し）、そのキーを押すことで経路を選択して第２のモードに移行できるようにすることや、行きたい経路の方向に視線を向けた上で第２のモード移行のキー操作を行う等が考えられる。また、第４の実施形態では、もう一つ本発明で起こりうる課題の解決例を示している。人が任意の地点で全天球画像を見ていた際、どの地点（または方向）に移動できるかが直感的に分かりづらい可能性もある。そのため、図９（Ｂ）のように、人が見ている全天球画像の中に移動可能な地点（経路を線などで表示しても可）を表示しておくといった手段が考えられる。この手段を取った場合、例えば人がＡ地点に目線を合わせた際にＡ地点が選択される、といったより直感的な実装も可能と考えられる。
【００６０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６１】
１０…配信サーバ，  ２０…画像処理装置，  ３０…表示装置，  ２０１…画像要求・受信部，  ２０２…画像レンダリング部，  ２０３…画像出力部，  ２０４…モード決定部，  ３０１…頭部方向検知部，  ３０２…眼球方向検知部，  ３０３…表示部
【図１】
2019022014.tif 000003
【図２】
2019022014.tif 000004
【図３】
2019022014.tif 000005
【図４】
2019022014.tif 000006
【図５】
2019022014.tif 000007
【図６】
2019022014.tif 000008
【図７】
2019022014.tif 000009
【図８】
2019022014.tif 000010
【図９】
2019022014.tif 000011
【図１０】
2019022014.tif 000012