(57)【要約】【課題】広範囲画像の一部を表示範囲として表示部に表示し、さらにグラフィック画像を表示する場合に、グラフィック画像をより好適に表示可能にする技術を提供する。【解決手段】本発明の画像処理装置は、撮像装置で撮影された画像を取得する取得手段と、前記画像のうち表示可能な全方向の一部の範囲であり、且つ、前記撮像装置に対して特定の方向を写した範囲である特定範囲にグラフィック画像を重ねて、合成画像を生成する合成手段と、を有する。【選択図】図５
2020043387.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮影された画像を取得する取得手段と、
前記画像のうち表示可能な全方向の一部の範囲であり、且つ、前記撮像装置に対して特定の方向を写した範囲である特定範囲にグラフィック画像を重ねて、合成画像を生成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記特定の方向は、前記撮像装置の持ち手の側である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定範囲は、予め定められた範囲である
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像は、傾きを補正せずに正距円筒図法で展開した全天球画像であり、
前記特定範囲は、前記画像の下辺から所定幅の範囲である
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記グラフィック画像は、前記画像のファイル名、撮影日時、画像サイズ、及び、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）情報の少なくともいずれかを示す
ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記合成画像の一部の範囲である表示範囲を表示部に表示するように制御する表示制御手段と、
前記表示範囲を変更可能な変更手段と、
をさらに有する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記表示部の姿勢変化を検出する姿勢検出手段、をさらに有し、
前記変更手段は、前記姿勢変化に基づいて前記表示範囲を変更する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
所定の操作部材に対するユーザー操作を検出する操作検出手段、をさらに有し、
前記変更手段は、前記ユーザー操作に基づいて前記表示範囲を変更する
ことを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記画像処理装置は前記撮像装置である
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像は、全天球画像である
ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
撮像装置で撮影された画像を取得するステップと、
前記画像のうち表示可能な全方向の一部の範囲であり、且つ、前記撮像装置に対して特定の方向を写した範囲である特定範囲にグラフィック画像を重ねて、合成画像を生成するステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータを請求項１〜１０のいずれか１項に記載の画像処理装置の各手段として機
能させるためのプログラム。
【請求項１３】
コンピュータを請求項１〜１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、及び、記憶媒体に関する。
【背景技術】
【０００２】
１回の撮影で手軽に３６０度方向の全天球画像（全方位画像；全周囲画像；３６０度画像）を撮影できる撮像装置が知られている。撮影範囲は３６０度に満たないが１８０度以上の広範囲を撮影できる撮像装置も知られている。そして、これらの撮像装置で撮影された画像（広範囲を撮影した画像；広範囲画像）の一部を表示範囲として表示部（表示装置）に表示し、ユーザー操作（表示部の姿勢変化を含む）に基づいて表示範囲を変更する方法が知られている。
【０００３】
デジタル写真である広範囲画像には、撮像装置を持つ撮影者や、撮像装置を固定する三脚などの固定具などが写り込む。撮影者は、全方向をまんべんなく写すために撮像装置を支える手をまっすぐ上に伸ばして撮影する場合が多い。このため、地面方向を写した範囲に撮影者や固定具などが写り込む確率が高い。
【０００４】
特許文献１に記載の撮像装置では、撮影者や固定具などが写り込まないように、撮像装置の真下に持ち手が設けられており、真下と真上の範囲が撮影されない構成が採用されている。しかしながら、特許文献１に記載の撮像装置では、真下と真上の範囲が撮影されないため、完全な全方位画像を得ることができない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２４４５１１号公報
【特許文献２】特開２００９−２１７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
対象画像（表示対象の画像）を表示装置に表示する際に、対象画像に付随する情報や、表示装置の状態などを示すグラフィック画像（文字列やアイコン）が表示されることがある。グラフィック画像を表示する一般的な方法として、グラフィック画像を対象画像に重ねて表示する方法と、表示面の一部に対象画像を小さく表示し、表示面の他の部分（余白）にグラフィック画像を表示する方法とがある。しかしながら、１つ目の方法では、グラフィック画像が対象画像に重ねられるため、対象画像の視認がグラフィック画像によって妨害されることがある。２つ目の方法では、対象画像を小さく表示されるため、対象画像の視認性が低下してしまう。
【０００７】
特許文献２に記載の技術では、複数のテンプレートのいずれかがユーザー操作に応じて選択され、選択されたテンプレートに応じた位置に文字情報が表示される。しかしながら、特許文献２に記載の技術を用いたとしても、選択されたテンプレートに応じた位置が最適な位置であるとは限らず、対象画像の視認がグラフィック画像によって妨害されることがある。
【０００８】
そこで本発明は、広範囲画像の一部を表示範囲として表示部に表示し、さらにグラフィック画像を表示する場合に、グラフィック画像をより好適に表示可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様は、撮像装置で撮影された画像を取得する取得手段と、前記画像のうち表示可能な全方向の一部の範囲であり、且つ、前記撮像装置に対して特定の方向を写した範囲である特定範囲にグラフィック画像を重ねて、合成画像を生成する合成手段と、を有することを特徴とする画像処理装置である。
【００１０】
本発明の第２の態様は、撮像装置で撮影された画像を取得するステップと、前記画像のうち表示可能な全方向の一部の範囲であり、且つ、前記撮像装置に対して特定の方向を写した範囲である特定範囲にグラフィック画像を重ねて、合成画像を生成するステップと、を有することを特徴とする画像処理方法である。
【００１１】
本発明の第３の態様は、コンピュータを上述した画像処理装置の各手段として機能させるためのプログラムである。本発明の第４の態様は、コンピュータを上述した画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。
【発明の効果】
【００１２】
本発明によれば、広範囲画像の一部を表示範囲として表示部に表示し、さらにグラフィック画像を表示する場合に、グラフィック画像がより好適に表示可能となる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係るデジタルカメラの外観図及びブロック図である。
【図２】本実施形態に係る表示装置の外観図やブロック図などである。
【図３】本実施形態に係る画像再生処理を示すフローチャートである。
【図４】本実施形態に係る撮影処理を示すフローチャートである。
【図５】本実施形態に係るＶＲ表示を示す図である。
【図６】本実施形態に係るＶＲ画像やＶＲ表示を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の好適な実施形態を説明する。図１（Ａ）は、本実施形態に係る撮像装置の一例であるデジタルカメラ１００の前面斜視図（外観図）である。図１（Ｂ）は、デジタルカメラ１００の背面斜視図（外観図）である。デジタルカメラ１００は、全方位画像（全天球画像）を撮影するためのカメラ（全方位カメラ；全天球カメラ）である。
【００１５】
バリア１０２ａは、デジタルカメラ１００の前方を撮影範囲とした前方カメラ部のための保護窓である。前方カメラ部は、例えば、デジタルカメラ１００の前側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラ部である。バリア１０２ｂは、デジタルカメラ１００の後方を撮影範囲とした後方カメラ部のための保護窓である。後方カメラ部は、例えば、デジタルカメラ１００の後ろ側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラ部である。
【００１６】
表示部２８は各種情報を表示する。シャッターボタン６１は撮影指示を行うための操作部（操作部材）である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。接続Ｉ／Ｆ２５は、接続ケーブルをデジタルカメラ１００に接続するためのコネクタであり、接続ケーブルを用いて、スマートフォン、パーソナルコンピュータ、テレビジョン装置などの外部装置がデジタルカメラ１００に接続される。操作部７０は、ユーザーからの各種操作を受け付ける各種スイッチ、ボタン、ダイヤル、タッチセンサー等である。電源スイッチ７２は、電源のオン／オフを切り替えるための押しボタンである。
【００１７】
発光部（発光部材）２１は、発光ダイオード（ＬＥＤ）などであり、デジタルカメラ１００の各種状態を発光パターンや発光色によってユーザーに通知する。固定部４０は、例えば三脚ネジ穴であり、三脚などの固定器具でデジタルカメラ１００を固定して設置するために使用される。
【００１８】
図１（Ｃ）は、デジタルカメラ１００の構成例を示すブロック図である。
【００１９】
バリア１０２ａは、前方カメラ部の撮像系（撮影レンズ１０３ａ、シャッター１０１ａ、撮像部２２ａ等）を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ１０３ａは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ａは、撮像部２２ａへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部２２ａは、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子などで構成される撮像素子（撮像センサー）である。Ａ／Ｄ変換器２３ａは、撮像部２２ａから出力されるアナログ信号をデジタル信号に変換する。撮影レンズ１０３ａ、シャッター１０１ａ、及び、撮像部２２ａは、システム制御部５０によって制御される。なお、バリア１０２ａを設けずに、撮影レンズ１０３ａの外面が露出し、撮影レンズ１０３ａによって他の撮像系（シャッター１０１ａや撮像部２２ａ）の汚れや破損を防止してもよい。
【００２０】
バリア１０２ｂは、後方カメラ部の撮像系（撮影レンズ１０３ｂ、シャッター１０１ｂ、撮像部２２ｂ等）を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ１０３ｂは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ｂは、撮像部２２ｂへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部２２ｂは、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子などで構成される撮像素子である。Ａ／Ｄ変換器２３ｂは、撮像部２２ｂから出力されるアナログ信号をデジタル信号に変換する。撮影レンズ１０３ｂ、シャッター１０１ｂ、及び、撮像部２２ｂは、システム制御部５０によって制御される。なお、バリア１０２ｂを設けずに、撮影レンズ１０３ｂの外面が露出し、撮影レンズ１０３ｂによって他の撮像系（シャッター１０１ｂや撮像部２２ｂ）の汚れや破損を防止してもよい。
【００２１】
撮像部２２ａと撮像部２２ｂにより、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）画像が撮像される。ＶＲ画像とは、ＶＲ表示（表示モード「ＶＲビュー」で表示）をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブ画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角、ピッチ角）３６０度、左右方向（水平角度、方位角度、ヨー角）３６０度の視野分の映像範囲（有効映像範囲）を持つ。
【００２２】
また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。また、例えば、左右方向（水平角度、方位角度）１８０度、水平方向を中心とした垂直角度１８０度の視野分（画角分）の被写体を撮影可能なカメラで撮影された画像はＶＲ画像の一種である。即ち、上下方向と左右方向にそれぞれ１６０度（±８０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。
【００２３】
このＶＲ画像をＶＲ表示（表示モード「ＶＲビュー」で表示）すると、左右回転方向に表示装置（ＶＲ画像を表示する表示装置）の姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転方向）には、真上（天頂）から±１０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。
【００２４】
ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた一部の視野範囲（表示範囲；表示領域）の映像を表示する、表示範囲を変更可能な表示方法（表示モード）である。表示装置であるヘッドマウントディスプレイ（ＨＭＤ）を装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、表示装置の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザーがＨＭＤを視聴している場合で言えば、ユーザーが顔を北から南に向ければ（すなわち後ろを向けば）、ＨＭＤに表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザーに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚（没入感）を提供することができる。ＶＲゴーグル（ヘッドマウントアダプター）に装着されたスマートフォンは、ＨＭＤの一種と言える。
【００２５】
なお、ＶＲ画像の表示方法は上記のＶＲ表示に限るものではない。姿勢変化ではなく、タッチパネルや方向ボタンなどの所定の操作部材に対するユーザー操作を検出し（操作検出）、当該ユーザー操作に応じて表示範囲を移動（スクロール）させてもよい。所定の操作部材に対するユーザー操作は、例えば、タッチパネルへのタッチムーブ、マウスなどに対するドラッグ操作、方向ボタンの押下などである。ＶＲ表示時（表示モード「ＶＲビュー」時）において、姿勢変化に応じて表示範囲を変更する処理と、所定の操作部材に対するユーザー操作に応じて表示範囲を変更する処理との両方が行われるようにしてもよい。
【００２６】
画像処理部２４は、Ａ／Ｄ変換器２３ａやＡ／Ｄ変換器２３ｂからのデータ、又は、メモリ制御部１５からのデータに対し所定の処理（画素補間、縮小といったリサイズ処理、色変換処理など）を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行う。システム制御部５０は、画像処理部２４により得られた演算結果に基づいて露光制御や測距制御を行う。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理などが行われる。画像処理部２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理を行う。また、画像処理部２４は、Ａ／Ｄ変換器２３ａとＡ／Ｄ変換器２３ｂにより得られた２つの画像（２つの魚眼画像；２つの広角画像）に基本的な画像処理を施し、基本的な画像処理が施された２つの画像を合成する繋ぎ画像処理を行う。これにより、単一のＶＲ画像が生成される。また、画像処理部２４は、ライブビューでのＶＲ表示時、あるいは再生時に、ＶＲ画像をＶＲ表示するための画像切り出し処理、拡大処理、歪み補正などを行い、メモリ３２における所定の記憶領域（ＶＲＡＭ）に処理結果を描画するレンダリングを行う。
【００２７】
繋ぎ画像処理では、画像処理部２４は、２つの画像の一方を基準画像、他方を比較画像として用いて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を
算出し、エリア毎のずれ量に基づいて、２つの画像を繋ぐ繋ぎ位置を検出する。そして、画像処理部２４は、検出した繋ぎ位置と各光学系のレンズ特性とを考慮して、幾何学変換により各画像の歪みを補正する。これにより、各画像が全天球形式（全天球イメージ形式）の画像に変換される。そして、画像処理部２４は、全天球形式の２つの画像を合成（ブレンド）することで、１つの全天球画像（ＶＲ画像）を生成する。生成された全天球画像は、例えば正距円筒図法を用いた画像であり、全天球画像の各画素の位置は球体（ＶＲ空間）の表面の座標と対応づけることができる。
【００２８】
Ａ／Ｄ変換器２３ａ，２３ｂからの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、画像処理部２４を介さずにメモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２ａ，２２ｂによって得られＡ／Ｄ変換器２３ａ，２３ｂによりデジタルデータに変換された画像データや、接続Ｉ／Ｆ２５から外部の表示装置に出力するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００２９】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に格納されている画像表示用のデータは、接続Ｉ／Ｆ２５から外部の表示装置に出力することが可能である。撮像部２２ａ，２２ｂで撮像され、画像処理部２４で生成されたＶＲ画像であって、メモリ３２に蓄積されたＶＲ画像を外部の表示装置に逐次転送して表示することで、電子ビューファインダとしての機能が実現でき、ライブビュー表示（ＬＶ表示）が実現できる。以下、ライブビュー表示で表示される画像をライブビュー画像（ＬＶ画像）と称する。同様に、メモリ３２に蓄積されたＶＲ画像を、通信部５４を介して無線接続された外部装置（スマートフォンなど）に逐次転送して表示することでもライブビュー表示（リモートＬＶ表示）が実現できる。
【００３０】
なお、デジタルカメラ１００は、画像を表示可能な本体表示部を備えていてもよい。そして、接続Ｉ／Ｆ２５から出力して外部の表示装置に表示するものとして説明した映像と同等の映像が本体表示部に表示可能であってもよい。
【００３１】
不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等である。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。
【００３２】
システム制御部５０は、少なくとも１つのプロセッサーまたは回路を有する制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２は例えばＲＡＭであり、システム制御部５０は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等をシステムメモリ５２に展開する。また、システム制御部５０は、メモリ３２、画像処理部２４、メモリ制御部１５等を制御することにより表示制御も行う。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００３３】
モード切替スイッチ６０、シャッターボタン６１、操作部７０、及び、電源スイッチ７２は、システム制御部５０に各種の動作指示を入力するために使用される。
【００３４】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード、通信接続モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プロ
グラムＡＥモードがある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０より、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り替えた後に、表示部２８に表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【００３５】
シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を備える。第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理などの撮影準備動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２ａ，２２ｂからの信号読み出しから記録媒体９０に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００３６】
なお、シャッターボタン６１は全押しと半押しの２段階の操作ができる操作部材に限るものではなく、１段階の押下だけができる操作部材であってもよい。その場合は、１段階の押下によって撮影準備動作と撮影処理が連続して行われる。これは、半押しと全押しが可能なシャッターボタンを全押しした場合（第１シャッタースイッチ信号ＳＷ１と第２シャッタースイッチ信号ＳＷ２とがほぼ同時に発生した場合）と同じ動作である。
【００３７】
操作部７０は、表示部２８に表示される種々の機能アイコンや選択肢を選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザーは、表示部２８に表示されたメニュー画面を見ながら操作部７０を操作することで、直感的に各種設定を行うことができる。
【００３８】
電源スイッチ７２は、電源のオン／オフを切り替えるための押しボタンである。電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などにより構成され、電池の装着の有無、電池の種類、電池残量などの検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池などの二次電池、ＡＣアダプター等からなる。
【００３９】
記録媒体Ｉ／Ｆ１８は、メモリーカードやハードディスク等の記録媒体９０とのインターフェースである。記録媒体９０は、撮影された画像を記録するためのメモリーカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。記録媒体９０は、デジタルカメラ１００に対して着脱可能な交換記録媒体であってもよいし、デジタルカメラ１００に内蔵された記録媒体であってもよい。
【００４０】
通信部５４は、無線または有線ケーブルによって接続された外部装置との間で、映像信号や音声信号などの送受信を行う。通信部５４は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネットにも接続可能であり、ネットワークを介して、ネットワーク上の外部装置（サーバ等）とも通信可能である。また、通信部５４は、Ｂｌｕｅｔ
ｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙでも外部装置と通信可能である。通信部５４は撮像部２２ａ，２２ｂで撮像した画像（ＬＶ画像を含む）や、記録媒体９０に記録された画像を送信可能であり、外部装置から画像やその他の各種情報を受信することができる。
【００４１】
姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２ａ，２２ｂで撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。また、撮像部２２ａ，２２ｂで撮影された画像が、ヨー方向、ピッチ方向、ロール方向などの回転方向にデジタルカメラ１００を傾けて撮影された画像であるかを判別可能であり、その傾き量も判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２ａ，２２ｂで撮像されたＶＲ画像の画像ファイルに付加したり、画像を回転（傾き補正（天頂補正）するように画像の向きを調整）して記録したりすることが可能である。姿勢検知部５５として、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサー等の複数のセンサーのうちの１つ以上の組み合わせを用いることができる。姿勢検知部５５を構成する加速度センサー、ジャイロセンサー、方位センサー等を用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。
【００４２】
マイクロフォン２０は、動画であるＶＲ画像（ＶＲ動画）の音声として記録されるデジタルカメラ１００の周囲の音声を集音する。接続Ｉ／Ｆ２５は、外部装置と接続して映像の送受信を行うためにＨＤＭＩ（登録商標）ケーブルやＵＳＢケーブルなどが接続される接続プラグである。
【００４３】
図２（Ａ）は、本実施形態に係る表示制御装置の一例である表示装置２００の外観図である。表示装置２００は、例えばスマートフォンなどである。表示部２０５は画像や各種情報を表示する。表示部２０５はタッチパネル２０６ａと一体的に構成されており、表示部２０５の表示面へのタッチ操作を検出できるようになっている。表示装置２００は、デジタルカメラ１００等で生成されたＶＲ画像（ＶＲコンテンツ）を表示部２０５においてＶＲ表示することが可能である。操作部２０６ｂは表示装置２００の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部２０６ｃと操作部２０６ｄは音声出力部２１２から出力する音声のボリュームを増減するボリュームボタンである。操作部２０６ｅは、表示部２０５にホーム画面を表示させるためのホームボタンである。音声出力端子２１２ａはイヤホンジャックであり、イヤホンや外部スピーカーなどに音声信号を出力するための端子である。スピーカー２１２ｂは音声を出力する本体内蔵スピーカーである。
【００４４】
図２（Ｂ）は、表示装置２００の構成例を示すブロック図である。内部バス２５０に対してＣＰＵ２０１、メモリ２０２、不揮発性メモリ２０３、画像処理部２０４、表示部２０５、操作部２０６、記録媒体Ｉ／Ｆ２０７、外部Ｉ／Ｆ２０９、及び、通信Ｉ／Ｆ２１０が接続されている。また、内部バス２５０に対して音声出力部２１２と姿勢検出部２１３も接続されている。内部バス２５０に接続される各部は、内部バス２５０を介して互いにデータのやりとりを行うことができるようにされている。
【００４５】
ＣＰＵ２０１は、表示装置２００の全体を制御する制御部であり、少なくとも１つのプロセッサーまたは回路からなる。メモリ２０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ２０１は、例えば、不揮発性メモリ２０３に格納されるプログラムに従い、メモリ２０２をワークメモリとして用いて、表示装置２００の各部を制御する。不揮発性メモリ２０３には、画像データや音声データ、その他のデータ、ＣＰＵ２０１が動作するための各種プログラムなどが格納される。不揮発性メモリ２０
３は例えばフラッシュメモリやＲＯＭなどで構成される。
【００４６】
画像処理部２０４は、ＣＰＵ２０１の制御に基づいて、不揮発性メモリ２０３や記録媒体２０８に格納された画像や、外部Ｉ／Ｆ２０９を介して取得した画像信号、通信Ｉ／Ｆ２１０を介して取得した画像などに対して各種画像処理を施す。画像処理部２０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲の映像を有する広範囲画像であるＶＲ画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部２０４は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部２０４を用いずにＣＰＵ２０１がプログラムに従って画像処理を施すことも可能である。
【００４７】
表示部２０５は、ＣＰＵ２０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ
Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ２０１は、プログラムに従い表示制御信号を生成し、表示部２０５に表示するための画像信号を生成して表示部２０５に出力するように表示装置２００の各部を制御する。表示部２０５は生成された画像信号に基づいて画像を表示する。なお、本実施形態に係る表示制御装置自体が備える構成としては表示部２０５に表示させるための画像信号を出力するためのインターフェースまでとし、表示部２０５は外付けのモニタ（テレビジョン装置やＨＭＤなど）で構成してもよい。
【００４８】
操作部２０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサー、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。本実施形態では、操作部２０６は、タッチパネル２０６ａ、操作部２０６ｂ，２０６ｃ，２０６ｄ，２０６ｅを含む。
【００４９】
記録媒体Ｉ／Ｆ２０７には、メモリーカードやＣＤ、ＤＶＤといった記録媒体２０８が着脱可能である。記録媒体Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御に基づき、装着された記録媒体２０８からのデータの読み出しや、記録媒体２０８に対するデータの書き込みを行う。例えば、記録媒体２０８として、デジタルカメラ１００で生成された全天球画像が記録された記録媒体９０を装着することが可能である。この場合は、記録媒体２０８からＶＲ画像の画像信号を読み出して表示部２０５に表示することができる。外部Ｉ／Ｆ２０９は、外部装置と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ２１０は、外部装置やインターネット２１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。通信Ｉ／Ｆ２１０は、例えば、無線ＬＡＮ、有線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ等で外部機器と通信可能である。
【００５０】
音声出力部２１２は、動画や音楽データ（音声ファイル）の音声や、操作音、着信音、各種通知音などを出力する。音声出力部２１２には、イヤホンなどを接続する音声出力端子２１２ａと、スピーカー２１２ｂとが含まれるものとするが、音声出力部２１２は無線通信などで外部スピーカーに対して音声データの出力を行ってもよい。
【００５１】
姿勢検出部２１３は、重力方向に対する表示装置２００の姿勢を検出する。姿勢検出部２１３で検出された姿勢に基づいて、表示装置２００が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。また、ヨー方向、ピッチ方向、ロール方向などの回転方向における表示装置
２００の傾きの有無や大きさ、当該回転方向に表示装置２００が回転したかなどを判別可能である。姿勢検出部２１３として、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどの複数のセンサーのうちの１つ以上の組み合わせを用いることができる。なお、本実施形態に係る表示制御装置が表示装置とは別体の装置である場合（表示部２０５が外付けのモニタである場合）には、姿勢検出部２１３は、表示制御装置でなく、表示装置に設けられていてもよい。
【００５２】
上述したように、操作部２０６にはタッチパネル２０６ａが含まれる。タッチパネル２０６ａは、表示部２０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。ＣＰＵ２０１はタッチパネル２０６ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル２０６ａにタッチしていなかった指やペンが新たにタッチパネル２０６ａにタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）と称する）
・タッチパネル２０６ａを指やペンがタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）と称する）
・指やペンがタッチパネル２０６ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）と称する）
・タッチパネル２０６ａへタッチしていた指やペンがタッチパネル２０６ａから離れたこと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）と称する）
・タッチパネル２０６ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）と称する）
【００５３】
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。
【００５４】
これらの操作・状態や、タッチパネル２０６ａ上に指やペンがタッチしている位置座標は内部バスを通じてＣＰＵ２０１に通知され、ＣＰＵ２０１は通知された情報に基づいてタッチパネル２０６ａ上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについてはタッチパネル２０６ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル２０６ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定するものとする。
【００５５】
タッチパネル２０６ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル２０６ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。
【００５６】
更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル２０６ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式など、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと
検出する方式があるが、いずれの方式でもよい。
【００５７】
図２（Ｃ）は、表示装置２００を装着可能なＶＲゴーグル（ヘッドマウントアダプター）３００の外観図である。表示装置２００は、ＶＲゴーグル３００に装着することで、ヘッドマウントディスプレイとして使用することも可能である。挿入口３０１は、表示装置２００を差し込むための挿入口である。表示部２０５の表示面を、ＶＲゴーグル３００をユーザーの頭部に固定するためのヘッドバンド３０２側（すなわちユーザー側）に向けて表示装置２００の全体をＶＲゴーグル３００差し込むことができる。ユーザーは、表示装置２００が装着されたＶＲゴーグル３００を頭部に装着した状態で、手で表示装置２００を保持することなく、表示部２０５を視認することができる。この場合は、ユーザーが頭部または体全体を動かすと、表示装置２００の姿勢も変化する。姿勢検出部２１３はこの時の表示装置２００の姿勢変化を検出し、この姿勢変化に基づいてＣＰＵ２０１がＶＲ表示のための処理を行う。この場合に、姿勢検出部２１３が表示装置２００の姿勢を検出することは、ユーザーの頭部の姿勢（ユーザーの視線が向いている方向）を検出することと同等である。なお、表示装置２００自体が、ＶＲゴーグル無しでも頭部に到着可能なＨＭＤであってもよい。
【００５８】
なお、表示装置２００は、画像処理部２０４で、ＶＲ画像の天頂補正を行うことができる。天頂補正は、ＶＲ画像において天頂方向が写っている方向が所定の方向（ＶＲ空間における天頂方向）となるようにＶＲ画像のピッチ角やロール角を補正する傾き補正である。表示装置２００は、天頂補正を行って画像を表示することも、天頂補正を行わずに画像を表示することも可能である。上述したように、デジタルカメラ１００も天頂補正を行うことができる。天頂補正は、デジタルカメラ１００で行われてもよいし、表示装置２００で行われてもよい。
【００５９】
一般的に、ＶＲ画像は、正距円筒図法で展開されて記録される。また、正距円筒図法で展開されたＶＲ画像を記録する際に、当該ＶＲ画像における天頂位置（天頂方向を写した位置）を示す天頂情報がメタデータとして付加される。天頂情報を用いれば、好適なＶＲ表示（ＶＲ空間と実空間があたかも同一であるかのようなＶＲ表示、例えば表示面を天頂方向に向けると天底方向が表示されるようなＶＲ表示など）が可能である。
【００６０】
ＶＲ画像を正距円筒図法で展開する展開方法として、２つの方法がある。第１の展開方法は、撮像部によって得られたＶＲ画像の角度（傾き）を補正せずに、つまり天頂補正（傾き補正）を行わずに、当該ＶＲ画像を正距円筒図法で展開する方法である。第１の展開方法によれば、繋ぎ画像処理（複数の撮像部によって得られた複数の画像を合成して単一のＶＲ画像を得る処理）の処理負荷や処理時間を低減できる。しかしながら、正距円筒図法で展開されたＶＲ画像に撮像装置の姿勢（傾き）が反映されているため、当該ＶＲ画像を見ても天頂方向や天底方向、水平方向（地面と平行な方向）などを容易に把握できない。第２の展開方法は、撮像部によって得られたＶＲ画像の角度（傾き）を撮像装置の姿勢に基づいて補正し、つまり天頂補正を行い、天頂補正後のＶＲ画像を正距円筒図法で展開する方法である。第２の展開方法では、正距円筒図法で展開されたＶＲ画像の下辺のいずれかの位置が天底位置（天底方向を写した位置）となり、上辺のいずれかの位置が天頂位置（天頂方向を写した位置）となる。第２の方法によれば、正距円筒図法で展開されたＶＲ画像に撮像装置の姿勢が反映されていないため、当該ＶＲ画像を見た際に天頂方向や天底方向、水平方向（地面と平行な方向）などを容易に把握できる。しかしながら、天頂補正が行われるため、繋ぎ画像処理の処理負荷や処理時間が増す。展開方法は撮像装置に依って異なる。なお、天頂情報を用いれば、展開方法に依らず好適なＶＲ表示（ＶＲ空間と実空間があたかも同一であるかのようなＶＲ表示、例えば表示面を天頂方向に向けると天底方向が表示されるようなＶＲ表示など）が可能である。
【００６１】
第１の展開方法では、正距円筒図法で展開されたＶＲ画像において、天頂位置は、撮影時における撮像装置の姿勢に応じて変化し、撮像装置からの各方向を写した位置は、撮影時における撮像装置の姿勢に依存せず所定の位置となる。即ち、撮像装置に対して当該撮像装置の持ち手の側（三脚の側）は、正距円筒図法で展開されたＶＲ画像の所定の位置に写る。例えば、持ち手が撮像部の下側に位置している場合には、持ち手の側は、正距円筒図法で展開されたＶＲ画像の下辺部分に写る。一方で、第２の展開方法では、天頂補正が行われるため、正距円筒図法で展開されたＶＲ画像において、天頂位置は、撮影時における撮像装置の姿勢に依存せず所定の位置となる。そして、撮像装置からの各方向を写した位置は、撮影時における撮像装置の姿勢に応じて変化する。即ち、持ち手の側を写した位置は、撮影時における撮像装置の姿勢に応じて変化する。
【００６２】
第１の展開方法の場合は、持ち手の側を写した範囲が固定であるため、正距円筒図法で展開されたＶＲ画像を外部から取得する表示制御装置（表示装置）は、持ち手の側を写した範囲を判断できる。一方で、第２の展開方法の場合は、持ち手の側を写した範囲が固定でないため、表示制御装置は、持ち手の側を写した範囲を判断できない。持ち手の側を写した位置や範囲を示す持ち手位置情報がＶＲ画像のメタデータに含まれていれば、ＣＰＵ２０１は、持ち手位置情報に応じて、持ち手の側を写した範囲を判断できる。しかしながら、一般的なＶＲ画像には持ち手位置情報は付加されていない。
【００６３】
なお、正距円筒図法で展開されたＶＲ画像を生成する撮像装置は、正距円筒図法での展開方法を把握しているため、展開方法に依らず、持ち手の側を写した範囲を判断できる。例えば、第２の展開方法であっても、撮像装置は、自身の姿勢に基づいて、持ち手の側を写した範囲を判断できる。
【００６４】
図３は、表示装置２００の画像再生処理の一例を示すフローチャートである。図３の画像再生処理は、表示装置２００を本実施形態に係る画像処理装置として使用する場合の処理である。図３の画像再生処理は、ＣＰＵ２０１が不揮発性メモリ２０３に格納されたプログラム（例えば、記録媒体２０８に格納されたＶＲ画像のＶＲ表示を行うための特定のアプリケーションプログラム）をメモリ２０２に展開して実行することで実現される。記録媒体２０８に格納されたＶＲ画像は、例えば、デジタルカメラ１００や一般的な全天球カメラなどで撮影されたＶＲ画像である。
【００６５】
ステップＳ３０１にて、ＣＰＵ２０１は、表示範囲を初期化する。具体的には、ＣＰＵ２０１は、所定位置（初期位置）且つ所定サイズ（初期サイズ）の範囲を、表示範囲として決定する。所定位置は「所定方向を写した位置」とも言える。ステップＳ３０２にて、ＣＰＵ２０１は、記録媒体２０８から、正距円筒図法で展開されたＶＲ画像（画像データ）を読み込み、当該ＶＲ画像を格納用一時バッファ（不図示）に保存する。
【００６６】
ステップＳ３０３にて、ＣＰＵ２０１は、ステップＳ３０２で保存したＶＲ画像を格納用一時バッファから表示用一時バッファ（不図示）にコピーする。本実施形態では、記録媒体２０８へのアクセスにかかる処理速度に鑑みて、ＶＲ画像を格納用一時バッファに保存し、格納用一時バッファから表示用一時バッファにコピーするという構成を採用した。しかしながら、表示装置２００は、格納用一時バッファを備えていなくてもよい。ステップＳ３０２で記録媒体２０８から読み込んだＶＲ画像を、表示用一時バッファに直接保存してもよい。但し、その場合は、記録媒体２０８からのＶＲ画像の再読み込みが必要となることがある。
【００６７】
ステップＳ３０４にて、ＣＰＵ２０１は、表示装置２００においてＯＳＤ（オンスクリーンディスプレイ）表示モードが設定されているか否かを判定する。ＯＳＤ表示モードが設定されていると判定された場合は、ステップＳ３０５へ処理が進められ、ＯＳＤ表示モ
ードが設定されていないと判定された場合は、ステップＳ３０８へ処理が進められる。
【００６８】
ステップＳ３０５にて、ＣＰＵ２０１は、表示装置２００において背景塗り潰しモードが設定されているか否かを判定する。背景塗り潰しモードが設定されていると判定された場合は、ステップＳ３０６へ処理が進められ、背景塗り潰しモードが設定されていないと判定された場合は、ステップＳ３０７へ処理が進められる。
【００６９】
ステップＳ３０６にて、ＣＰＵ２０１は、ステップＳ３０５で合成されるグラフィック画像（情報画像）の視認性を向上するために、情報画像の背景となるグラフィック画像（背景画像）を、表示用一時バッファのＶＲ画像に重ねる（合成する）。本実施形態では、予め定められた範囲に背景画像が重ねられる。具体的には、正距円筒図法で展開されたＶＲ画像の下辺から所定幅の範囲に背景画像が重ねられる。そして、ステップＳ３０７へ処理が進められる。なお、背景画像の色や形、サイズ、透明度などは特に限定されない。背景画像は、単色画像であってもよいし、多色画像であってもよい（模様が描かれた画像であってもよい）。背景画像は、ＶＲ画像を透過するような透過性を有していてもよいし、透過性を有していなくてもよい。背景画像は、矩形や円形（楕円形を含む）、他の特殊な形状などで表示されるような形状を有していてもよい。
【００７０】
ステップＳ３０７にて、ＣＰＵ２０１は、表示用一時バッファのＶＲ画像に情報画像を重ねる（合成する）。ステップＳ３０６と同様に、予め定められた範囲に情報画像が重ねられる。具体的には、正距円筒図法で展開されたＶＲ画像の下辺から所定幅の範囲に背景画像が重ねられる。ステップＳ３０６の処理が行われた場合には、情報画像は背景画像に重ねられる。そして、ステップＳ３０８へ処理が進められる。情報画像は、ユーザーに有用と思われる情報を示し、例えば表示対象のＶＲ画像に関する情報を示す。具体的には、情報画像は、ＶＲ画像の画像ファイル名、ファイルサイズ（データサイズ）、画像サイズ、撮影日時、及び、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）情報の少なくともいずれかを示す。ＥＸＩＦ情報は、撮影時の設定条件などを示す。情報画像は、表示対象のＶＲ画像とは独立した情報、例えば、現在時刻や表示装置２００のバッテリー残量などを示してもよい。情報画像は、文字列（テキスト画像）であってもよいし、情報に対応するアイコンや図形などであってもよい。
【００７１】
ＶＲ表示では、ＶＲ画像のイメージ形式が、正距円筒図法のイメージ形式から全天球イメージ形式に変換される。そのため、ステップＳ３０６，Ｓ３０７では、正距円筒図法のイメージ形式から全天球イメージ形式への変換とは逆の変換が施されたようなグラフィック画像（背景画像や情報画像）を合成する。これにより、ＶＲ表示においてグラフィック画像を所望の形状で表示できる。また、情報画像の視認性を向上するために、情報画像として、本体色（内部色）とは異なる色で縁取られたグラフィック画像を使用してもよい。背景塗り潰しモードが設定されていない場合などに限って縁取りが採用されてもよいし、そうでなくてもよい。
【００７２】
ステップＳ３０６，Ｓ３０７の処理は、表示対象のＶＲ画像を撮影した撮像装置に対して特定の側（特定の方向）を写した範囲（特定範囲）にグラフィック画像を重ねるための処理である。本実施形態では、特定の側は、撮像装置の持ち手の側である。第１の展開方法でＶＲ画像が展開されている場合には、ＶＲ画像に天頂補正が施されていないため、正距円筒図法で展開されたＶＲ画像の下辺から所定幅の範囲は、持ち手の側を写した範囲となる。一方で、第２の展開方法でＶＲ画像が展開されている場合には、ＶＲ画像に天頂補正が施されているため、正距円筒図法で展開されたＶＲ画像の下辺から所定幅の範囲は、天底方向（地面方向）を写した範囲となる。第１の展開方法でも第２の展開方法でも、正距円筒図法で展開されたＶＲ画像の下辺から所定幅の範囲全体にグラフィック画像を描画した場合には、ＶＲ表示においてグラフィック画像は円形で表示される。また、円形で表
示されたグラフィック画像のサイズ（直径や半径）は、上記所定幅に依って変化する。
【００７３】
ステップＳ３０８にて、ＣＰＵ２０１は、表示用一時バッファのＶＲ画像における現在の表示範囲を、表示部２０５に表示する。ＯＳＤ表示モードが設定されていない場合には、ステップＳ３０５〜Ｓ３０７の処理が省略されるため、背景画像や情報画像は表示されない。ＯＳＤ表示モードが設定されている場合には、ステップＳ３０７の処理が行われるため、ＶＲ画像の展開方法に従って、撮像装置の持ち手の側または天底方向を写した範囲に情報画像が表示される。具体的には、ＶＲ画像の展開方法が第１の展開方法（天頂補正なし）である場合に、持ち手の側を写した範囲に情報画像が表示される（表示範囲に持ち手の側を写した範囲が含まれない場合は、情報画像は表示されない）。ＶＲ画像の展開方法が第２の展開方法（天頂補正あり）である場合は、天底方向を写した範囲に情報画像が表示される（表示範囲に天底方向を写した範囲が含まれない場合は、情報画像は表示されない）。
【００７４】
ステップＳ３０９にて、ＣＰＵ２０１は、ＯＳＤ表示モードの設定状態に変化があったか否かを判定する。つまり、ＣＰＵ２０１は、ＯＳＤ表示モードが設定されている有効状態と、ＯＳＤ表示モードが設定されていない無効状態との一方から他方への切り替わりがあったか否かを判定する。ＯＳＤ表示モードに変化が無かったと判定された場合は、ステップＳ３１０へ処理が進められ、ＯＳＤ表示モードに変化があったと判定された場合は、ステップＳ３０３へ処理が戻される。なお、ＣＰＵ２０１は、ユーザー操作に応じてＯＳＤ表示モードの設定状態を切り替えてもよいし、そうでなくてもよい。ＣＰＵ２０１は、表示装置２００の使用状況、ＶＲ画像の種類、ＶＲ画像の閲覧状況などに基づいてＯＳＤ表示モードの設定状態を自動で切り替えてもよい。
【００７５】
ステップＳ３１０にて、ＣＰＵ２０１は、背景塗り潰しモードの設定状態に変化があったか否かを判定する。つまり、ＣＰＵ２０１は、背景塗り潰しモードが設定されている有効状態と、背景塗り潰しモードが設定されていない無効状態との一方から他方への切り替わりがあったか否かを判定する。背景塗り潰しモードに変化が無かったと判定された場合は、ステップＳ３１１へ処理が進められ、背景塗り潰しモードに変化があったと判定された場合は、ステップＳ３０３へ処理が戻される。なお、ＣＰＵ２０１は、ユーザー操作に応じて背景塗り潰しモードの設定状態を切り替えてもよいし、そうでなくてもよい。ＣＰＵ２０１は、表示装置２００の使用状況、ＶＲ画像の種類、ＶＲ画像の閲覧状況などに基づいて背景塗り潰しモードの設定状態を自動で切り替えてもよい。
【００７６】
このように、ＯＳＤ表示モードの設定状態や背景塗り潰しモードの設定状態に変化があると、ステップＳ３０９やステップＳ３１０からステップＳ３０３へ処理が戻される。そして、ステップＳ３０３にて、格納用一時バッファから表示用一時バッファへＶＲ画像をコピーする処理が再度行われる（表示用一時バッファのＶＲ画像のリセット）。上述したように、表示装置２００は、格納用一時バッファを備えずに、記録媒体２０８のＶＲ画像を表示用一時バッファに直接保存してもよい。その場合には、ＯＳＤ表示モードの設定状態や背景塗り潰しモードの設定状態に変化があると、記録媒体２０８のＶＲ画像を読み込む処理が再度行われる。つまり、記録媒体２０８へのアクセスが発生する。記録媒体２０８へのアクセスの増加は、その後の処理の遅延をまねくことがあり、画像再生処理全体の処理速度の低下をまねくことがある。
【００７７】
ステップＳ３１１にて、ＣＰＵ２０１は、表示範囲を変更するための変更操作があったか否かを判定する。表示範囲の変更操作は、表示範囲の位置とサイズの少なくとも一方を変更するための操作であり、タッチパネル２０６ａに対するタッチ操作（タッチムーブやピンチ）、表示装置２００の姿勢の変更などである。表示範囲の変更操作があったと判定された場合は、ＣＰＵ２０１は、変更操作に応じて表示範囲を更新し、ステップＳ３０８
へ処理を戻す。その結果、更新後の表示範囲が表示部２０５に表示されるように、表示部２０５の表示が更新される。表示範囲の変更操作が無かったと判定された場合は、ステップＳ３１２へ処理が進められる。
【００７８】
ステップＳ３１２にて、ＣＰＵ２０１は、再生終了操作（画像再生処理を終了するための操作）が行われたか否かを判定する。再生終了操作が行われたと判定された場合は、ＣＰＵ２０１は画像再生処理を終了する。再生終了操作が行われていないと判定された場合は、ステップＳ３０８へ処理が戻される。
【００７９】
ＶＲ画像において、撮像装置の持ち手の側を写した範囲には、撮影者の手や三脚などが写っている可能性が高く、当該範囲の画像価値は低い可能性が高い。つまり、閲覧者が好んで見たり、撮影者が好んで見せたりする可能性は低い。また、天底方向（地面方向）を映した範囲の画像価値も低い可能性が高い。上記画像再生処理によれば、撮像装置の持ち手の側を写した範囲や、天底方向を写した範囲に、グラフィック画像が重ねられる。これにより、画像価値の低い範囲を有効に活用してグラフィック画像を表示できる。その結果、ユーザーは、グラフィック画像により見たい被写体を見られないという妨害を（殆ど）感じずにＶＲ画像（グラフィック画像の部分も他の部分も）を確認できる（利便性の向上）。
【００８０】
図４は、デジタルカメラ１００の撮影処理の一例を示すフローチャートである。図４の撮影処理は、デジタルカメラ１００を本実施形態に係る画像処理装置として使用する場合の処理である。撮影処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することで実現される。
【００８１】
ステップＳ４０１にて、システム制御部５０は、シャッターボタン６１の全押しがあったか否かを判定する。つまり、システム制御部５０は、第２シャッタースイッチ６４のＯＮによる第２シャッタースイッチ信号ＳＷ２が発生したか否かを判定する。シャッターボタン６１の全押しがあったと判定されるまで、ステップＳ４０１の処理が繰り返され、シャッターボタン６１の全押しがあったと判定されると、ステップＳ４０２へ処理が進められる。
【００８２】
ステップＳ４０２にて、システム制御部５０は、撮像部２２ａ，２２ｂの撮像結果をメモリ３２に書き込む（展開する）。ここでは、撮像部２２ａ，２２ｂによって撮像された２つの画像が解析され、第１の展開方法（天頂補正なし）での展開を含む繋ぎ画像処理が行われる。それにより、下辺から所定幅の範囲がデジタルカメラ１００の持ち手の側を写した範囲となるように正距円筒図法で展開された単一のＶＲ画像が生成される。そして、生成されたＶＲ画像がメモリ３２に書き込まれる。
【００８３】
ステップＳ４０３にて、システム制御部５０は、デジタルカメラ１００において情報写し込みモードが設定されているか否かを判定する。情報写し込みモードが設定されていると判定された場合は、ステップＳ４０４へ処理が進められ、情報写し込みモードが設定されていないと判定された場合は、ステップＳ４０７へ処理が進められる。
【００８４】
ステップＳ４０４にて、システム制御部５０は、デジタルカメラ１００において背景塗り潰しモードが設定されているか否かを判定する。背景塗り潰しモードが設定されていると判定された場合は、ステップＳ４０５へ処理が進められ、背景塗り潰しモードが設定されていないと判定された場合は、ステップＳ４０６へ処理が進められる。
【００８５】
ステップＳ４０５にて、システム制御部５０は、ステップＳ４０６で合成される情報画像の視認性を向上するために、情報画像の背景となる背景画像を、メモリ３２に格納され
ているＶＲ画像に合成する（重ねる）。ここでは、正距円筒図法で展開されたＶＲ画像の下辺から所定幅の範囲に背景画像が重ねられる。上述したように、下辺から所定幅の範囲はデジタルカメラ１００の持ち手の側を写した範囲である。従って、持ち手の側を写した範囲に背景画像が重ねられる。そして、ステップＳ４０６へ処理が進められる。なお、図３の画像再生処理と同様に、ステップＳ４０５で合成される背景画像の色や形、サイズ、透明度などは特に限定されない。
【００８６】
ステップＳ４０６にて、システム制御部５０は、メモリ３２に格納されているＶＲ画像に情報画像を合成する（重ねる）。ここでは、正距円筒図法で展開されたＶＲ画像の下辺から所定幅の範囲、すなわちデジタルカメラ１００の持ち手の側を写した範囲に、情報画像が重ねられる。ステップＳ４０５の処理が行われた場合には、情報画像は背景画像に重ねられる。そして、ステップＳ４０７へ処理が進められる。なお、図３の画像再生処理と同様に、ステップＳ４０６で合成される情報画像は、ユーザーに有用と思われる情報を示す（メモリ３２に格納されているＶＲ画像の画像ファイル名、画像サイズ、撮影日時、ＥＸＩＦ情報など）。従来の銀塩カメラでは撮影日時などの簡易な情報が合成されるため、撮像装置が撮影して出力するＶＲ画像にも撮影日時などの簡易な情報を合成するのがよいと考えられる。つまり、ステップＳ４０６で合成される情報画像は、メモリ３２に格納されているＶＲ画像の撮影日時などの簡易な情報を示すことが好ましい。
【００８７】
なお、図３の画像再生処理と同様に、ステップＳ４０５，Ｓ４０６では、正距円筒図法のイメージ形式から全天球イメージ形式への変換とは逆の変換が施されたようなグラフィック画像（背景画像や情報画像）を合成する。これにより、ＶＲ表示においてグラフィック画像を所望の形状で表示できる。また、情報画像の視認性を向上するために、情報画像として、本体色（内部色）とは異なる色で縁取られたグラフィック画像を使用してもよい。
【００８８】
ステップＳ４０７にて、システム制御部５０は、メモリ３２に格納されているＶＲ画像（画像データ）を含む画像ファイルを生成し、当該画像ファイルを記録媒体９０に書き込む。そして、システム制御部５０は撮影処理を終了する。情報写し込みモードが設定されている場合は、情報画像が合成されたＶＲ画像（合成画像）が記録媒体９０に書き込まれる。情報写し込みモードが設定されていない場合は、情報画像も背景画像も合成されていないＶＲ画像が記録媒体９０に書き込まれる。なお、画像ファイルを生成する際に、システム制御部５０、ＶＲ画像の撮影時におけるデジタルカメラ１００の姿勢に基づいて天頂情報を生成し、天頂情報をメタデータとしてＶＲ画像に付加する。
【００８９】
図３を用いて述べたように、撮像装置の持ち手の側を写した範囲の画像価値は低い可能性が高い。上記撮影処理によれば、撮像装置の持ち手の側を写した範囲にグラフィック画像が重ねられる。これにより、上記撮影処理で生成された合成画像のＶＲ表示において、画像価値の低い範囲を活用してグラフィック画像を表示できる。その結果、ユーザーは、グラフィック画像による妨害を（殆ど）感じずにＶＲ画像（グラフィック画像の部分も他の部分も）を確認できる（利便性の向上）。
【００９０】
図５（Ａ）〜５（Ｄ）は、三脚を使って道路上に設置された全天球カメラで撮影されたＶＲ画像のＶＲ表示例を示す。図３，４の処理によれば、図５（Ａ）〜５（Ｄ）に示すようなＶＲ表示を行うことができる。図５（Ａ）では、撮像装置の持ち手の側を写した範囲は表示されておらず、撮影者の手や三脚などは表示されていない。この場合には、情報画像などのグラフィック画像は表示されず、グラフィック画像によってＶＲ画像の視認が妨害されることはない。図５（Ｂ）では、撮像装置の持ち手の側を写した範囲が表示されており、三脚が表示されている。この場合には、撮像装置の持ち手の側を写した範囲（三脚の範囲）に情報画像が重畳して表示される。撮像装置の持ち手の側を写した範囲（三脚の
範囲）の画像価値は低い可能性が高いため、情報画像が表示されても、ユーザーは、情報画像による妨害を（殆ど）感じずにＶＲ画像（情報画像の部分も他の部分も）を確認できる。背景塗り潰しモードが設定されている場合には、図５（Ｂ）の表示の代わりに、図５（Ｃ），５（Ｄ）の表示が行われる。図５（Ｃ），５（Ｄ）では、情報画像の後ろに背景画像が表示されている。図５（Ｃ）は、背景画像が透過性を有さない場合を示し、図５（Ｄ）は、背景画像が透過性を有する場合を示す。
【００９１】
図６（Ａ）は、グラフィック画像が表示面の中央に表示されたＶＲ表示例を示す。図６（Ａ）のグラフィック画像では、円形のベタ画像（背景画像）内に文字列（情報画像）が記述されている。図６（Ｂ）は、正距円筒図法で展開され、グラフィック画像が合成されたＶＲ画像の一例を示す。図３，４の処理によれば、図６（Ａ）の表示を実現可能にするために、図６（Ｂ）に示すように、正距円筒図法で展開されたＶＲ画像の下辺から所定幅の範囲全体にグラフィック画像が合成される。図６（Ｂ）のグラフィック画像は、正距円筒図法のイメージ形式から全天球イメージ形式への変換とは逆の変換が施されたようなグラフィック画像である。そして、ＶＲ表示では、ＶＲ画像のイメージ形式が、正距円筒図法のイメージ形式から全天球イメージ形式に変換される。そのため、図６（Ｂ）のグラフィック画像の態様は、図６（Ａ）のグラフィック画像の態様と異なっている（図６（Ｂ）のグラフィック画像は、図６（Ａ）のグラフィック画像に対して歪んでいる）。
【００９２】
図６（Ｂ）のＶＲ画像におけるグラフィック画像の範囲は固定であるため、図６（Ｂ）のＶＲ画像のＶＲ表示では、表示範囲の変化に伴い、グラフィック画像の表示位置も変化する。例えば、表示範囲が図６（Ａ）の範囲から右に移動すると、図６（Ｃ）に示すように、グラフィック画像の表示位置は左に移動する。表示範囲が図６（Ａ）の範囲から上に移動すると、図６（Ｄ）に示すように、グラフィック画像の表示位置は下に移動する。
【００９３】
なお、システム制御部５０が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。同様に、ＣＰＵ２０１が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。
【００９４】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。例えば、特定範囲は、相対的に低い画像価値が期待できる範囲であればよく、撮像装置の持ち手の側を写した範囲でなくてもよい。グラフィック画像は、特定範囲に重ねられればよく、天頂補正が施された画像に重ねられてもよいし、正距円筒図法で展開された画像とは異なる画像に重ねられてもよい。
【００９５】
また、上述した実施形態においては、本発明をデジタルカメラまたは表示装置に適用した場合を例にして説明したが、本発明はこの例に限定されずＶＲ画像に対する画像処理を行える装置（電子機器）であれば適用可能である。例えば、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、映像プレーヤーなどに適用可能である。また、本発明は、テレビジョン装置、投影装置、タブレット端末、スマートフォン、ＡＩスピーカー、家電装置、車載装置、医療機器などにも適用可能である。
【００９６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は
記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９７】
１００：デジタルカメラ  ５０：システム制御部
２００：表示装置  ２０１：ＣＰＵ
【図１】
2020043387.tif 000003
【図２】
2020043387.tif 000004
【図３】
2020043387.tif 000005
【図４】
2020043387.tif 000006
【図５】
2020043387.tif 000007
【図６】
2020043387.tif 000008