(57)【要約】【課題】撮影位置の高さが異なる複数の画像を切り替えて表示する際に、切替え前後の画像の撮影位置の高さの違いにより閲覧者に与える違和感を軽減する。【解決手段】本発明の一実施形態に係る、複数の画角の広い画像を切り替えて表示するための画像処理装置は、切替え元の画像及び切替え先の画像を取得する画像取得手段と、切替え元の画像及び切替え先の画像それぞれを撮影した時の撮影位置の高さ情報を取得する高さ情報取得手段と、切替え元の画像の撮影位置の高さ情報と、切替え先の画像の撮影位置の高さ情報の差分に基づいて、画像の切り替え効果を選択する切替え効果選択手段と、選択した切り替え効果に基づいて、切替え用の表示画像を生成する生成手段とを備える。【選択図】図２
2019045679.tif 000002
【特許請求の範囲】
【請求項１】
複数の画角の広い画像を切り替えて表示するための画像処理装置であって、
切替え元の画像及び切替え先の画像を取得する画像取得手段と、
切替え元の画像及び切替え先の画像それぞれを撮影した時の撮影位置の高さ情報を取得する高さ情報取得手段と、
前記切替え元の画像の撮影位置の高さ情報と、前記切替え先の画像の撮影位置の高さ情報の差分に基づいて、画像の切り替え効果を選択する切替え効果選択手段と、
前記選択した切り替え効果に基づいて、切替え用の表示画像を生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記切替え効果選択手段は、前記切替え先の画像が撮影された高さの方が高い場合は、切替え先の表示画像が画面の上から下へ移動するように切り替わる切替え効果を選択し、前記切替え先の画像が撮影された高さの方が低い場合は、前記切替え先の表示画像が画面の下から上へ移動するように切り替わる切替え効果を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記切替え先の表示画像が画面の上から下へ移動するように切り替わる切替え効果は、スライドダウンまたはフェードダウンであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記切替え先の表示画像が画面の下から上へ移動するように切り替わる切替え効果は、スライドアップまたはフェードアップであることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
閲覧者の顔の上下方向の向きに相当する角度を含む前記閲覧者の姿勢情報を取得する姿勢情報取得手段をさらに備え、
前記切替え効果選択手段は、前記角度が略水平でない場合は、切替え先の表示画像が移動するように切り替わる移動効果を伴わない切替え効果を選択することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記切替え効果選択手段は、前記角度の絶対値が４５度より大きい場合に、前記移動効果を伴わない切替え効果を選択することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記切替え効果選択手段は、前記高さ情報の差分が所定の閾値より小さい場合に、切替え先の表示画像が移動するように切り替わる移動効果を伴わない切替え効果を選択することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記移動効果を伴わない切替え効果は、切替え元の表示画像が全体的に徐々に消え、前記切替え元の表示画像が消えた後、切替え先の表示画像が徐々に現れるフェードアウトフェードインであることを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記移動効果を伴わない切替え効果は、切替え元の表示画像が全体的に徐々に消え、前記切替え元の表示画像が消える前に、切替え先の表示画像が徐々に現れるクロスフェードまたはディゾルブであることを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
閲覧者の目の高さを検出する検出手段をさらに備え、
前記高さ情報取得手段は、最初の表示画像を表示する場合に、前記検出した目の高さと前記最初の画像の撮影位置の高さ情報とを取得することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記切替え元の画像および前記切替え先の画像それぞれが全方位画像から生成された画像であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
複数の画角の広い画像のそれぞれから表示画像を生成する画像生成手段と、
前記生成した表示画像を切り替えて画面に表示する表示手段と
を有する画像表示装置であって、
前記表示手段は、切替え先の画像が撮影された高さが、切替え元の画像が撮影された高さより高い場合は、前記表示画像を前記画面の上から下方向へ切り替え、前記切替え先の画像が撮影された高さが、前記切替え元の画像が撮影された高さより低い場合は、前記表示画像を前記画面の下から上方向へ切り替えることを特徴とする画像表示装置。
【請求項１３】
複数の画角の広い画像を切り替えて表示するための画像処理装置の制御方法であって、
切替え元の画像及び切替え先の画像を取得する工程と、
切替え元の画像及び切替え先の画像それぞれを撮影した時の撮影位置の高さ情報を取得する工程と、
前記切替え元の画像の撮影位置の高さ情報と、前記切替え先の画像の撮影位置の高さ情報の差分に基づいて、画像の切り替え効果を選択する工程と、
前記選択した切り替え効果に基づいて、切替え用の表示画像を生成する工程と
を含むことを特徴とする制御方法。
【請求項１４】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の表示処理に関する。
【背景技術】
【０００２】
閲覧者の視線に応じた画像を表示する方法として、閲覧者の姿勢に基づいて全方位画像からサンプリングされた画像をヘッドマウントディスプレイ（以後、ＨＭＤと称する）で表示する方法が知られている。全方位画像は、上下左右全方位の３６０度パノラマ画像であり、全方位カメラにより取得される。全方位カメラとは、全天球カメラとも呼ばれ、全方位画像を一度に撮影可能な撮影装置である。ＨＭＤは一般的に、複数の全方位画像がある場合は、これらを順次切り替えながらスライドショーのように表示する。
【０００３】
また、記録媒体に記録された静止画像の閲覧方法として、記録されている静止画像を順次表示していくスライドショー機能や、表示する静止画像を閲覧者の指示により手動で切り替える機能を有する画像再生装置が提案されている（例えば、特許文献１参照）。さらに、表示画像を切り替える際に、閲覧者に対して表示画像が切り替えられたことを容易に判別可能にする画像再生システムも提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２０９８０９号公報
【特許文献２】特許第４８８３３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のスライドショー機能や表示画像の切替え機能では、撮影位置が異なる高さ（すなわち、地面や床からの高さ）で撮影された複数の画像を切り替えて表示する際に、切替え前後の画像の高さの違いにより閲覧者に違和感を与えてしまっていた。
【０００６】
本発明は、このような問題に鑑みてなされたものであり、その目的は、撮影位置の高さが異なる複数の画像を切り替えて表示する際に、切替え前後の画像の撮影位置の高さの違いにより閲覧者に与える違和感を軽減することである。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る、複数の画角の広い画像を切り替えて表示するための画像処理装置は、切替え元の画像及び切替え先の画像を取得する画像取得手段と、切替え元の画像及び切替え先の画像それぞれを撮影した時の撮影位置の高さ情報を取得する高さ情報取得手段と、前記切替え元の画像の撮影位置の高さ情報と、前記切替え先の画像の撮影位置の高さ情報の差分に基づいて、画像の切り替え効果を選択する切替え効果選択手段と、前記選択した切り替え効果に基づいて、切替え用の表示画像を生成する生成手段とを備える。
【発明の効果】
【０００８】
本発明によると、撮影位置の高さが異なる複数の画像を切り替えて表示する際に、切替え前後の画像の撮影位置の高さの違いにより閲覧者に与える違和感を軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置の構成例を示す図である。
【図２】画像処理装置の機能構成例を示すブロック図である。
【図３】画像処理の全体的な流れを示すフローチャートである。
【図４】表示画像生成処理の詳細を示すフローチャートである。
【図５】切替え効果選択処理の詳細を示すフローチャートである。
【図６】ステレオ全方位画像の例を示す図である。
【図７】表示画像の例を示す図である。
【図８】ディスプレイ上で画素位置を表すための画像座標を示す図である。
【図９】画像座標上での歪曲の例を示す図である。
【図１０】画像座標上の点と３次元位置の関係の例を示す図である。
【図１１】スライドダウンまたはスライドアップが選択された場合の切替え効果適用処理のイメージ図である。
【図１２】フェードダウンまたはフェードアップが選択された場合の切替え効果のイメージ図である。
【図１３】切替え効果選択処理の詳細を示すフローチャートである。
【図１４】クロスフェード（ディゾルブ）またはフェードアウトフェードインが選択された場合の切替え効果のイメージ図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を必ずしも限定するものではない。また、以下の実施形態で説明される特徴の組み合わせの全てが、本発明に必須なものとは限らない。同一の構成については、同じ符号を付して説明する。
【００１１】
［第１の実施形態］
本実施形態では、撮影位置が異なる高さ（すなわち、地面や床からの高さ）で撮影された複数の全方位画像をＨＭＤなどの画像表示装置により切り替えて表示する方法を説明する。ＨＭＤを装着した閲覧者の視線方向に合わせて全方位画像からサンプリングした部分画像を表示すると、ＨＭＤは、閲覧者の視野よりも広い画角の画像を表示することができるため、閲覧者はその全方位画像を撮影した位置にいるかのように画像を閲覧できる。しかしながら表示画像を切り替える際に、切替え前後の画像の撮影位置の高さが異なると、閲覧者に急に自分の立つ位置や視線の高さが変わったかのような違和感を与えてしまう。そこで本実施形態では、このように切替え前後の画像の撮影位置の違いにより閲覧者に与える違和感を軽減するための処理について説明する。具体的には、スライドショーにおける画像の切り替え時に、切替え元画像と切替え先画像のそれぞれの撮影位置の高さを示す高さ情報の差分に基づいて適切な切替え効果を選択する。選択した切り替え効果を適用して画像の切り替えを行うことで、閲覧者に与える違和感を軽減する。本実施形態における切替え効果とは、表示画像を切替え元画像から切替え先画像に徐々に変化させて切り替える特殊効果のことをいう。また、本実施形態における全方位画像は、ＨＭＤなどの画像表示装置によって立体視を可能にするステレオ全方位画像とすることができる。また、本実施形態における全方位画像は、３次元空間中のある点から撮影された各方位の画像を複数枚合成して生成することもできる。
【００１２】
図１は、本実施形態における画像処理装置の構成例を示す。
【００１３】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして使用し、ＲＯＭ１０３またはハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１００を介して後述する各構成要素を制御する。これにより、後述する様々な処理が実行され、様々な機能が実現され得る。
【００１４】
ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、ＨＤＤ１０５や不図示の光ディスクドライブなどの二次記憶装置とシステムバス１００とを接続する。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出し、及びＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開すること、及び、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとして実行することができる。
【００１５】
入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスであり、キーボードやマウス、デジタルカメラ、スキャナなどの入力デバイス１０７とシステムバス１００とを接続する。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。
【００１６】
出力Ｉ／Ｆ１０８は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスであり、ＨＭＤなどの出力デバイス１０９とシステムバス１００とを接続する。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９に画像データを送り、表示させることができる。また、出力デバイス１０９は、画像の閲覧者が装着可能なＨＭＤなどとすることができる。すなわち、本実施形態における画像処理装置は、処理した画像の表示を制御することができる画像表示装置として実装することができる。
【００１７】
姿勢検出Ｉ／Ｆ１１０は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスであり、加速度センサや角速度センサなどの姿勢検出装置１１１とシステムバス１００とを接続する。姿勢検出装置１１１は、出力デバイス１０９の画像表示面（すなわち、ディスプレイ）に取り付けられており、出力デバイス１０９を装着した閲覧者の姿勢情報を検出する。ＣＰＵ１０１は、姿勢検出Ｉ／Ｆ１１０を介して姿勢検出装置１１１から閲覧者の姿勢情報を読み込むことが可能である。姿勢情報とは、後述するように、姿勢検出装置１１１によって検出された出力デバイス１０９の向き（すなわち、閲覧者の顔の向き）を示すデータである。姿勢情報は、マウスやキーボードなどでも入力することが可能である。
【００１８】
以下、本実施形態の画像処理装置が行う画像処理の全体的な流れについて、図２と図３を用いて説明する。
【００１９】
図２は、本実施形態における画像処理装置の機能構成例を示すブロック図である。本実施形態における画像処理装置は、画像取得部２０１、高さ情報取得部２０２、切替え効果選択部２０３、切替え効果適用部２０４、画像データ出力部２０５、姿勢情報取得部２０６、表示パラメータ取得部２０７、及び表示画像生成部２０８を備える。
【００２０】
ＣＰＵ１０１は、ＲＯＭ１０３又はＨＤＤ１０５に格納されたプログラムを読み出して、ＲＡＭ１０２をワークエリアとして使用して実行することで、図２に示す各機能ブロックとしての役割を果たす。なお、全ての機能ブロックの役割をＣＰＵ１０１が果たす必要はなく、各機能ブロックに対応する専用の処理回路（例えば、ＡＳＩＣ）を設け、各機能を実現するようにしてもよい。
【００２１】
図３は、本実施形態の画像処理装置によって行われる画像処理の全体的な流れを示すフローチャートである。フローチャートの各ステップは、図２に示した画像処理装置の各機能ブロックによって実行される。
【００２２】
ステップＳ３０１で、表示パラメータ取得部２０７が、入力デバイス１０７から、全方位ステレオ映像を出力デバイス１０９（すなわち、ＨＭＤ）に表示するために必要なパラメータである表示パラメータを取得する。表示パラメータは、ＲＡＭ１０２やＨＤＤ１０５に一旦保存されたものを取得してもよい。表示パラメータは、ＨＭＤを構成している接眼レンズの焦点距離、歪曲パラメータ、ディスプレイ上における接眼レンズの中心位置、ディスプレイ解像度、ディスプレイサイズなどを含む。
【００２３】
ステップＳ３０２で、姿勢情報取得部２０６が、姿勢検出装置１１１または入力デバイス１０７から姿勢情報を取得する。姿勢情報は、ＲＡＭ１０２やＨＤＤ１０５に一旦保存されたものを取得してもよい。姿勢情報は、ＨＭＤの向きを表すデータであり、閲覧者の顔の向きと捉えることもできる。本実施形態では、姿勢情報を、３×３の回転行列Ｒと、ロール、ピッチ、ヨー表現を使用して表す。なお、姿勢情報は、クォータニオン（四元数）を使用して表してもよい。
【００２４】
ステップＳ３０３で、画像取得部２０１が、ＨＤＤ１０５または入力デバイス１０７から、スライドショーの切替え元画像と切替え先画像のそれぞれに対応する全方位画像データ（本実施形態では特に、ステレオ全方位画像データ）を取得する。切替え元画像及び切替え先画像に対応する全方位画像データはそれぞれ、切替え元全方位画像及び切替え先全方位画像とも称する。図６は、ステレオ全方位画像の例を示す。ステレオ全方位画像データは、閲覧者の左目側に表示する画像データ（左目用全天球画像）ＩL、及び、閲覧者の右目側に表示する画像データ（右目用全天球画像）ＩRを含む。すなわち、本実施形態におけるＨＭＤは、視差を有する左目用と右目用の２つの画像を用いて、閲覧者の立体視を可能にする。また、ステレオ全方位画像は、全ての方向の光線の色を保存した画像データである。画像データの横軸（水平方向）を方位角とし、その範囲は［０〜２π］とする。また、画像データの縦軸（鉛直方向）を仰角とし、その範囲は［−π／２〜π／２］とする。
【００２５】
ステップＳ３０４で、表示画像生成部２０８が、表示パラメータ、ステレオ全方位画像データ、及び姿勢情報から、出力デバイス１０９に表示するための左右の表示画像データを生成する。図７は、表示画像の例を示す。表示画像は、閲覧者の左目に提示するための左目用表示画像ＪLと、閲覧者の右目に提示するための右目用表示画像ＪRを含む。それぞれの画像は、閲覧者がＨＭＤの接眼レンズを通してみたときに歪みなく見えるように、接眼レンズの歪曲が補正されている。この表示画像生成処理は、切替え元の全方位画像データと切替え先の全方位画像データのそれぞれに対して行われ、切替え元表示画像データと切替え先表示画像データが生成される。表示画像生成処理の詳細については後述する。
【００２６】
ステップＳ３０５で、画像データ出力部２０５が、出力デバイス１０９に最初の表示画像として切替え元表示画像データを出力する。出力デバイス１０９は、画像データ出力部２０５によって出力された切替え元表示画像データをディスプレイ上に表示する。
【００２７】
ステップＳ３０６で、画像データ出力部２０５が、表示画像を次の画像（すなわち、切替え先表示画像）に切り替えるかどうかを判定する。例えば、切替え元画像の表示時間が、予め設定された時間ＴINTを超えた場合に、画像データ出力部２０５が表示画像の切り替えを行うと判定するようにしてもよい。表示画像を切り替えると判定された場合はステップＳ３０７に進み、切り替えないと判定された場合は処理を終了する。
【００２８】
ステップＳ３０７で、高さ情報取得部２０２が、ステップＳ３０３で取得した、切替え元画像及び切替え先画像のそれぞれに対応するステレオ全方位画像データから、高さ情報を取得する。高さ情報とは、切替え元画像及び切替え先画像のそれぞれに対応するステレオ全方位画像が撮影された時の撮影位置の高さを示す情報である。高さ情報は、例えばステレオ全方位画像データに付帯するＥＸＩＦ情報から取得する。この場合、高さ情報は、ＥＸＩＦの拡張タグを用いて含めてもよい。あるいは、入力デバイス１０７を用いてユーザが高さ情報を入力することで、高さ情報取得部２０２が取得するようにしてもよい。すなわち、本実施形態におけるステレオ全方位画像データは、付加情報として、ステレオ全方位画像を撮影した撮影装置の地面または床からの高さ情報を含む。また、ステレオ全方位画像を撮影する撮影装置は、レーザなどを用いた高さセンサを備えるように構成され、当該高さセンサを使用して地面または床からの高さを測定するようにしてもよい。ここで、切替え元画像を撮影した際の高さをＨ1とし、切替え先画像を撮影した際の高さをＨ2とする。
【００２９】
ステップＳ３０８で、高さ情報取得部２０２が、取得した高さ情報の差分値ＨDIFFを、以下の式（１）に従って算出する。
ＨDIFF＝Ｈ2−Ｈ1  ・・・（１）
【００３０】
ステップＳ３０９で、切替え効果選択部２０３が、前のステップで算出した高さ情報の差分値ＨDIFFに従って、画像切り替え時の切替え効果を選択する。切替え効果選択処理の詳細については後述する。
【００３１】
ステップＳ３１０で、切替え効果適用部２０４が、前のステップで選択された切替え効果に従って、切替え元表示画像データと切替え先表示画像データに対して切替え効果を適用し、切替え時表示画像データを生成する（切替え効果適用処理）。本実施形態では切替え効果とは、切替え元画像から切替え先画像に徐々に変化させて切り替える特殊効果である。従って、ここで生成される切替え時表示画像データは、所定時間内に表示される複数フレームからなる。切替え効果適用部２０４は、以下に説明するように、あらかじめ設定された切替え時間ＴCに従って、時間的に滑らかに切替え効果が適用されるように切替え効果の適用度合を調整しながら、切替え時表示画像データを生成する。
【００３２】
図１１は、切替え効果としてスライドダウンまたはスライドアップが選択された場合の切替え効果適用処理のイメージ図である。スライドダウンは、切替え先表示画像が、画面の上から下へと移動するように表示される切替え効果である。したがって、切替え効果適用処理では、連続して表示することでそのような移動効果を生じさせる切替え時表示画像が、切替え元表示画像データと切替え先表示画像データとを合成することで生成される。すなわち、切替え時表示画像は、切替えが段階的に行われている状態を表す複数のフレームからなる画像データである。複数のフレームは、画像が切り替わる切替えラインが上から下に遷移する。切替えラインより上部は切替え先表示画像データを、切替えラインより下部は切替え元表示画像データを合成する。切替え時間の開始に表示されるフレームは、切替えラインが上方にあり、切替え元表示画像データの示す割合が大きく、終了に表示されるフレームは、切替えラインが下方にあり、切替え先表示画像データの占める割合が大きくなる。一方、スライドアップは、切替え先表示画像が、画面の下から上へと移動するように表示される切替え効果である。したがって、切替え効果適用処理では、連続して表示することでそのような移動効果を生じさせる切替え時表示画像が、切替え元表示画像データと切替え先表示画像データとを合成することで生成される。この場合、切替え時間が終了に近いフレームほど、切替えラインが上方に位置する。図中の縦軸は時間軸を示す。時間０に切替え元表示画像からの切替えが開始するとすると、切替え時間Ｔcの時に切替え先表示画像への切替えが完了することを意味している。切替え効果適用部２０４は、例えば、切替え先表示画像の移動量を時間に対して線形な関係となるように算出し、これに基づいて切替え元表示画像データと切替え先表示画像データとを合成することで、切替え時表示画像データを生成する。
【００３３】
ステップＳ３１１で、画像データ出力部２０５が、出力デバイス１０９に切替え時表示画像データ及び切替え先表示画像データを出力する。出力デバイス１０９は、画像データ出力部２０５によって出力された切替え時表示画像データ及び切替え先表示画像データを順次表示する。すなわち、本実施形態の画像処理装置によると、選択された切り替え効果に従って、切替え元画像データと切替え先画像データとを徐々に変化させて切り替え、表示することが可能である。
【００３４】
＜表示画像生成処理＞
以下では、上述したステップＳ３０４における表示画像生成処理の詳細を説明する。
【００３５】
表示画像生成部２０８は、ＨＭＤ（すなわち、出力デバイス１０９）に表示するための左右の表示画像を、ＨＭＤを装着している閲覧者の顔の向きに応じてステレオ全方位画像からサンプリングして生成する。表示画像生成部２０８は、表示画像の画素値をステレオ全方位画像からサンプリングするために、姿勢情報取得部２０６が取得した姿勢情報を基に、ＨＭＤのディスプレイ上の各画素位置にどの方向の光線を表示するかを算出する。光線の方向は、水平方向の角度を表す方位角θと、垂直方向の方向を表す仰角φとによって表される。接眼レンズのレンズ中心を原点とした座標系における画素位置を（ｘ，ｙ）として、光線の方向（θ，φ）を算出し、その方向から表示画像の画素値を求める。
【００３６】
以下、図４のフローチャートを用いて、表示画像生成部２０８が行う表示画像生成処理の詳細を説明する。なお、図示されたフローチャートによって表される処理は、左右の表示画像のそれぞれに対して行われる。
【００３７】
ステップＳ４０１で、表示画像生成部２０８は、画素位置（ｘ，ｙ）におけるレンズ収差による歪曲率を取得する。図８は、ディスプレイ上での画素位置を表すための画像座標を示している。図示されるように、ディスプレイ上での画素位置（ｘ，ｙ）は、左右の表示画像８０１、８０２のそれぞれにおいて、ｘｙの座標系で表される。図９は、画像座標上での歪曲の例を示す。歪曲率は、レンズ中心からの距離ｒとレンズの光学特性で決まるため、表示画像生成部２０８は、使用レンズに応じてあらかじめ用意したレンズ中心からの距離ｒに対する歪曲率のルックアップテーブルを使って歪曲率を取得する。レンズの特性によって、波長ごとに歪曲率が異なる場合は、ディスプレイにおけるＲ、Ｇ、Ｂの波長ごとにルックアップテーブルを用意する。そして、Ｒ、Ｇ、Ｂ毎の歪曲率を取得して、以後のステップでＲ、Ｇ、Ｂの色ごとに異なる歪曲率を使用して処理を行う。画素位置（ｘ,ｙ）におけるレンズ中心からの距離ｒが遠く、接眼レンズの閲覧可能範囲外である場合は、表示画像の画素値を黒にしてその画素の処理を終了してもよい。
【００３８】
ステップＳ４０２で、表示画像生成部２０８は、画素位置（ｘ，ｙ）がレンズの歪曲によって実際に見える画素位置（すなわち、歪曲後の画素位置）を算出する。歪曲後の画素位置（ｘd，ｙd）は、以下の式（２）、（３）に示すように、画素位置のｘ座標及びｙ座標にそれぞれ歪曲率ｄを積算することで算出できる。
ｘd＝ｘ×ｄ  ・・・（２）
ｙd＝ｙ×ｄ  ・・・（３）
【００３９】
ステップＳ４０３で、表示画像生成部２０８は、歪曲後の画素位置（ｘd，ｙd）を、眼の位置を原点とする座標系の３次元位置（Ｘ，Ｙ，Ｚ）に変換する。図１０は、画像座標上の点（ｘ,ｙ）と３次元位置（Ｘ，Ｙ，Ｚ）の関係の例を示す。閲覧者の姿勢情報を３×３の回転行列Ｒ、画素単位で表現した焦点距離をｆとすると、３次元位置（Ｘ，Ｙ，Ｚ）は以下の式（４）で算出できる。
［Ｘ  Ｙ  Ｚ］t  ＝  Ｒ  ×  ［ｘd  ｙd  ｆ］t  ・・・（４）
【００４０】
ステップＳ４０４で、表示画像生成部２０８は、画素の３次元位置（Ｘ，Ｙ，Ｚ）から方位角θ、仰角φを算出する。原点（すなわち、眼の位置）から３次元位置（Ｘ，Ｙ，Ｚ）までの距離をＬ＝（Ｘ2＋Ｙ2＋Ｚ2）1/2とすると、方位角θ、仰角φはそれぞれ、以下の式（５）、（６）で算出できる。
φ＝ａｓｉｎ（Ｙ  ／  Ｌ）  ・・・（５）
θ＝ａｓｉｎ（Ｚ  ／  Ｌ  ／  ｃｏｓφ）  ・・・（６）
【００４１】
ステップＳ４０５で、表示画像生成部２０８は、光線の方向（θ，φ）の画素値を、対応する全方位画像から取得し、表示画像の画素値として格納する。姿勢情報のロール角αの絶対値が９０度以下（すなわち、｜α｜≦９０°）である場合、左目用の表示画像を生成する際は、左目用全方位画像からサンプリングする。また、右目用表示画像を生成する際は右目用全方位画像からサンプリングする。姿勢情報のロール角αの絶対値が９０度より大きい（すなわち、｜α｜＞９０°）場合、眼の位置関係が｜α｜≦９０°のときと左右逆転するため、左右の表示画像を入れ替える。すなわち、左目用表示画像のサンプリングを右目用全方位画像から行い、右目用表示画像のサンプリングを左目用全方位画像から行う。取得した画素値は、表示画像上の原点から（ｘ，ｙ）だけ移動した位置の画素値として格納される。全方位画像から画素値をサンプリングする際は、最近傍の画素値を取得しても良いし、バイリニア補間やバイキュービック補間など周辺の画素値を使って補間してサンプリングを行っても良い。
【００４２】
＜切替え効果選択処理＞
以下では、図５のフローチャートを用いて、上述したステップＳ３０９における切替え効果選択処理の詳細を説明する。フローチャートの各ステップは、切替え効果選択部２０３によって行われる。
【００４３】
ステップＳ５０１で、切替え効果選択部２０３は、切替え元画像と比較して、切替え先画像の高さの方が高いかどうかを判定する。具体的には、ステップＳ３０８で算出した差分値ＨDIFFが０以上の場合は、切替え先画像の高さの方が高いと判断し、差分値ＨDIFFが０より小さい場合は、切替え先画像の高さの方が低いと判断する。切替え先画像の高さの方が高いと判定された場合はステップＳ５０２へ進み、そうでない場合はステップＳ５０３へ進む。
【００４４】
ステップＳ５０２で、切替え効果選択部２０３は、切替え先表示画像が画面の上から下へ移動するように表示される移動効果を伴う切替え効果として、あらかじめ記憶された複数の切替え効果の中からスライドダウンを選択する。なお、選択する切替え効果は、スライドダウンに限定されるものではなく、切替え先表示画像が画面の上から下へ移動するように表示される移動効果を伴うものであればよい。本実施形態に係るＨＭＤは、切替え元表示画像の撮影位置の高さより切替え先表示画像の撮影位置の高さの方が高い場合に、切替え先表示画像を画面の上から下へ移動するように表示する。これにより、画像の切替え時に閲覧者に与える急に立ち位置や視線が上がるような違和感を軽減することができる。
【００４５】
ステップＳ５０３で、切替え効果選択部２０３は、切替え先表示画像が画面の下から上へ移動するように表示される移動効果を伴う切替え効果として、あらかじめ記憶された複数の切替え効果の中からスライドアップを選択する。なお、選択する切替え効果は、スライドアップに限定されるものではなく、切替え先表示画像が画面の下から上へ移動するように表示される移動効果を伴うものであればよい。本実施形態に係るＨＭＤは、切替え元表示画像の撮影位置の高さより切替え先表示画像の撮影位置の高さの方が低い場合に、切替え先表示画像を画面の下から上へ移動するように表示する。これにより、画像の切替え時に閲覧者に与える急に立ち位置や視線が下がるような違和感を軽減することができる。
【００４６】
このような場合、表示画像が画面の上から下方向へ、及び画面の下から上方向への移動効果を伴う切替え効果の組み合わせを用いればよいため、例えばフェードダウンとフェードアップの組み合わせを用いても同様の効果を得ることができる。
【００４７】
図１２は、切替え効果としてフェードダウンまたはフェードアップが選択された場合の切替え効果適用処理のイメージを表す図である。フェードダウン及びフェードアップは、図１１を参照して上述したスライドダウン及びスライドアップの代替として利用可能な切替え効果の例であり、切替え先表示画像が画面の上から下へ、または下から上へと移動するように表示される。図中の縦軸は時間軸を示す。時間０の時点では切替え元表示画像の全体が表示されている。時間０から切替えが開始するとすると、時間Ｔcの時点で切替え先表示画像への切替えが完了することを意味している。図示されるように、フェードダウンは、切替え元表示画像がその上部から徐々に消えるとともに、切替え先表示画像がその上部から徐々に現れるような切替え効果である。すなわち、フェードダウンは、切替え先表示画像が画面の上から下へ移動して表示されるような移動効果を奏する。一方、フェードアップは、切替え元表示画像がその下部から徐々に消えるとともに、切替え先表示画像がその下部から徐々に現れるような切替え効果である。すなわち、フェードアップは、切替え先表示画像が画面の下から上へ移動して表示されるような移動効果を奏する。このように、フェードダウン及びフェードアップをスライドダウン及びスライドアップの代わりに用いても、画像の切替え時に閲覧者に与える違和感を軽減することができる。
【００４８】
以上説明したように、本実施形態では、異なる高さで撮影された全方位画像を切り替えて、例えばスライドショーのように表示する際に、切替え元画像と切替え先画像のそれぞれの高さ情報の差分に基づいて切替え効果を決定する。そして、決定した切替え効果を適用して画像を切り替えることで、切替え前後の画像の高さの違いにより閲覧者に与える違和感を軽減する。
【００４９】
なお、本実施形態では、全方位画像をサンプリングした画像をＨＭＤに表示する形態としたが、全方位画像に限らない。例えば、半球状の画像でもよいし、パノラマ画像でもよい。人の視野よりも広い画角の画像を表示する場合であれば、本実施形態による効果を得られる。
【００５０】
［第２の実施形態］
本実施形態では、切替え前後の画像の高さの違いを判定して切り替え効果を選択する前に、閲覧者の姿勢情報に基づいて切替え効果を選択する。特に、閲覧者が水平方向に対して上方や下方を向いている最中に画像を切り替える場合に、移動効果を伴わない切替え効果を選択して適用することで、閲覧者に与える違和感を軽減する。
【００５１】
本実施形態における画像処理の全体的な流れは、上述した第１の実施形態の図３に示したフローチャートと同様であるため説明を省略する。本実施形態では、図５を参照して上述したステップＳ３０９における切替え効果選択処理の詳細が異なるため、以下では、本実施形態における切替え効果選択処理の詳細について説明する。
【００５２】
図１３は、本実施形態における切替え効果選択処理の詳細を示すフローチャートである。フローチャートの各ステップは、切替え効果選択部２０３によって行われる。
【００５３】
ステップＳ１３０１で、切替え効果選択部２０３は、閲覧者が水平方向に対して上方または下方を向いている状態かどうかを判定する。具体的には、ステップＳ３０２で取得した姿勢情報のうち、閲覧者の顔の上下方向の向きに相当するピッチ角βの絶対値が４５度より大きい（すなわち、｜β｜＞４５°）かどうかを判定する。ピッチ角βの絶対値が４５度より大きい場合は、ステップＳ１３０２に進み、ピッチ角βの絶対値が４５度以下である場合はステップＳ１３０３に進む。なお、ピッチ角βの判定は必ずしも４５度を基準として行う必要はなく、閲覧者の顔の上下方向の向き（すなわち、仰角）が、略水平であるかどうかを判断できる値であればよい。また、ＨＭＤを使用する閲覧者の個人差を考慮し、閲覧者ごとに異なる値を閾値として設定するようにしてもよい。
【００５４】
ステップＳ１３０２で、切替え効果選択部２０３は、移動効果を伴わない切替え効果として、あらかじめ記憶された複数の切替え効果の中からクロスフェード（ディゾルブとも称される。）を選択する。なお、選択する切替え効果はクロスフェードに限定されるものではなく、フェードアウトフェードインなどでもよい。
【００５５】
図１４は、切替え効果としてクロスフェード（ディゾルブ）またはフェードアウトフェードインが選択された場合の切替え効果適用処理のイメージ図である。図示されるように、フェードアウトフェードインは、まず、切替え元表示画像が全体的に徐々に消え（フェードアウト）、切替え元表示画像が消えた後、切替え先表示画像が全体的に徐々に現れる（フェードイン）ような切替え効果である。すなわち、フェードアウトフェードインは、画像の切替え時に移動効果を伴わない。クロスフェードは、切替え元表示画像が全体的に徐々に消えるとともに、切替え元表示画像が消える前に、切替え先表示画像が全体的に徐々に現れるような切替え効果である。クロスフェードは、フェードアウトとフェードインが交差（クロス）している。クロスフェードも、画像の切替え時に移動効果を伴わない。このように、本実施形態では、移動効果伴わない切替え効果を選択し、適用することで、画像の切替え時に閲覧者に与える違和感を軽減することができる。
【００５６】
ステップＳ１３０３からステップＳ１３０５で、切替え効果選択部２０３は、切替え元画像の高さと切替え先画像の高さの違いに基づいて、スライドダウンまたはスライドアップの切替え効果を選択する。ステップＳ１３０３からステップＳ１３０５における処理は、上述した図５のステップＳ５０１からステップＳ５０３における処理と同様であるため、詳細な説明は省略する。なお、本実施形態においても、選択する切替え効果はスライドダウン及びスライドアップに限定されるものではなく、例えば、上述したフェードダウン及びフェードアップでもよい。
【００５７】
以上説明したように、本実施形態では、特に閲覧者が上方や下方を向いている最中に画像を切り替える場合に、移動効果を伴わない切替え効果を選択して適用することで、画像の切替え時に閲覧者に与える違和感を軽減する。
【００５８】
また、切替え元画像と切替え先画像の高さの差分が小さい場合、つまり差分値ＨDIFFが０に近い場合は、クロスフェードやフェードアウトフェードインのような移動効果を伴わない切替え効果を適用するようにしてもよい。例えば、切替え効果選択部２０３が、差分値ＨDIFFをあらかじめ記憶された所定の閾値と比較し、差分値ＨDIFFが所定の閾値より小さい場合に、移動効果を伴わない切替え効果を選択するようにしてもよい。実施形態１においても同様である。
【００５９】
さらに、スライドショーを開始する際に、最初に表示する１枚目の画像については対応する切替え元表示画像がないため、高さ情報の差分値ＨDIFFを求めることができない。この場合、ＨＭＤ（または画像処理装置）は閲覧者の目の高さを取得し、これを切替え元表示画像の高さに置き換えて各処理を行うようにしてもよい。そうすることで、同様の効果を得ることができる。閲覧者の目の高さは、例えば、入力デバイスを介してユーザ入力により取得してもよいし、ＨＭＤ（または画像処理装置）が備えるレーザなどを用いた高さセンサを使って地面からの高さを検出して取得するようにしてもよい。
【００６０】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６１】
２０１  画像取得部
２０２  高さ情報取得部
２０３  切替え効果選択部
２０４  切替え効果適用部
２０５  画像データ出力部
２０６  姿勢情報取得部
２０７  表示パラメータ取得部
２０８  表示画像生成部
【図１】
2019045679.tif 000003
【図２】
2019045679.tif 000004
【図３】
2019045679.tif 000005
【図４】
2019045679.tif 000006
【図５】
2019045679.tif 000007
【図６】
2019045679.tif 000008
【図７】
2019045679.tif 000009
【図８】
2019045679.tif 000010
【図９】
2019045679.tif 000011
【図１０】
2019045679.tif 000012
【図１１】
2019045679.tif 000013
【図１２】
2019045679.tif 000014
【図１３】
2019045679.tif 000015
【図１４】
2019045679.tif 000016