(57)【要約】【課題】撮影者のような特定の被写体が写り込んでおらず且つ違和感のない広範囲画像を撮影できる撮像装置を提供する。【解決手段】本発明の撮像装置は、複数回の撮影により複数の画像を取得する手段であって、第１の画像を取得する場合に、第１の画像における、第１の視野範囲以外の他の視野範囲に特定の被写体が含まれるように第１の画像を取得するための制御を行い、他の視野範囲を含む第２の画像を取得する場合に、他の視野範囲に特定の被写体が含まれないように第２の画像を取得するための制御を行う撮影手段と、第１の画像における第１の視野範囲と、第２の画像における、他の視野範囲を含み第１の視野範囲とは異なる第２の視野範囲とを合成する処理を行うことにより、所定の軸周りに３６０°の視野範囲を有する合成画像を生成する生成手段と、を有することを特徴とする。【選択図】図３
2020016767.tif 000002
【特許請求の範囲】
【請求項１】
複数回の撮影により複数の画像を取得する手段であって、第１の画像を取得する場合に、前記第１の画像における、第１の視野範囲以外の他の視野範囲に特定の被写体が含まれるように前記第１の画像を取得するための制御を行い、前記他の視野範囲を含む第２の画像を取得する場合に、前記他の視野範囲に前記特定の被写体が含まれないように前記第２の画像を取得するための制御を行う撮影手段と、
前記第１の画像における前記第１の視野範囲と、前記第２の画像における、前記他の視野範囲を含み前記第１の視野範囲とは異なる第２の視野範囲とを合成する処理を行うことにより、所定の軸周りに３６０°の視野範囲を有する合成画像を生成する生成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記他の視野範囲に前記特定の被写体が含まれるように前記第１の画像を取得するための撮影を補助し、前記他の視野範囲に前記特定の被写体が含まれないように前記第２の画像を取得するための撮影を補助するための通知を行うように制御する通知制御手段、をさらに有する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の画像は、前記第１の画像の次に取得された画像であり、
前記通知制御手段は、前記第１の画像を取得するための撮影の後に、前記特定の被写体が前記第２の画像における前記第２の視野範囲に含まれずに撮影が行われるように前記撮像装置の姿勢が変更されたか否かを通知するように制御する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第２の画像は、前記第１の画像の次に取得された画像であり、
前記特定の被写体は撮影者であり、
前記通知制御手段は、前記第１の画像を取得するための撮影の後に、前記撮影者が前記第２の画像における前記第２の視野範囲に含まれずに撮影が行われるように前記撮影者の移動を促すための通知を行うように制御する
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記複数回の撮影にそれぞれ対応する複数の発光部、をさらに有し、
前記通知制御手段は、前記複数回の撮影のそれぞれの際に、対応する発光部が所定の発光パターンで発光するように制御する
ことを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記通知制御手段は、前記複数回の撮影の前に、前記撮像装置を三脚に固定することをユーザーに促す通知を行うように制御する
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記第１の視野範囲と前記第２の視野範囲とのそれぞれは、予め定められた視野範囲である
ことを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記複数回の撮影が完了する前に、前記複数回の撮影のうちの１回目の撮影から所定時間が経過した場合に、前記複数回の撮影をキャンセルするように制御する制御手段、をさらに有する
ことを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記複数の画像のそれぞれは、前記特定の被写体が写った画像である
ことを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記複数の画像のそれぞれは、前記所定の軸周りに３６０°の視野範囲を有する画像である
ことを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１１】
複数回の撮影により複数の画像を取得するステップであって、第１の画像を取得する場合に、前記第１の画像における、第１の視野範囲以外の他の視野範囲に特定の被写体が含まれるように前記第１の画像を取得するための制御を行い、前記他の視野範囲を含む第２の画像を取得する場合に、前記他の視野範囲に前記特定の被写体が含まれないように前記第２の画像を取得するための制御を行うステップと、
前記第１の画像における前記第１の視野範囲と、前記第２の画像における、前記他の視野範囲を含み前記第１の視野範囲とは異なる第２の視野範囲とを合成する処理を行うことにより、所定の軸周りに３６０°の視野範囲を有する合成画像を生成するステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項１２】
コンピュータを、請求項１〜１０のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
【請求項１３】
コンピュータを、請求項１〜１０のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関する。
【背景技術】
【０００２】
近年、全方位画像、全天球画像といった、人間の視野角より広い範囲の画像を撮影することが可能な撮像装置が普及している。そのような撮像装置で撮影した画像（例えば全天球画像）を、インターネットのソーシャル・ネットワーキング・サービスなどを通じて、不特定多数の人に向けて公開する行為が広く行われている。
【０００３】
不特定多数の人に画像を公開する際には、個人を特定され得る情報が画像に含まれないよう必要に応じてプライバシー対策を行うことが望まれる。しかし、全天球撮像装置（全天球画像を撮影する撮像装置）にはほぼ死角がないため、撮影した全天球画像に撮影者が写り込んでしまう。全天球画像でなくても、広範囲画像（広い範囲の画像）であれば同様の課題が生じる。
【０００４】
特許文献１には、撮影者領域に対して秘匿処理（ぼかしや塗りつぶし）を施すことが開示されている。特許文献２には、撮像装置を支持する支持体（撮影者を含む）の像が所定の範囲に存在するかを判定し、所定の範囲に存在していれば、その範囲を所定のテクスチャで塗りつぶすことが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１９８０６２号公報
【特許文献２】特開２０１６−１０３８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１，２に記載の技術を用いた場合には、撮影者が誰なのかを判別不能にすることはできるが、ぼかされた領域や、所定の色やテクスチャで塗りつぶされた領域などが画像に残ってしまう。
【０００７】
本発明は、撮影者のような特定の被写体が写り込んでおらず且つ違和感のない広範囲画像を撮影できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は、
複数回の撮影により複数の画像を取得する手段であって、第１の画像を取得する場合に、前記第１の画像における、第１の視野範囲以外の他の視野範囲に特定の被写体が含まれるように前記第１の画像を取得するための制御を行い、前記他の視野範囲を含む第２の画像を取得する場合に、前記他の視野範囲に前記特定の被写体が含まれないように前記第２の画像を取得するための制御を行う撮影手段と、
前記第１の画像における前記第１の視野範囲と、前記第２の画像における、前記他の視野範囲を含み前記第１の視野範囲とは異なる第２の視野範囲とを合成する処理を行うことにより、所定の軸周りに３６０°の視野範囲を有する合成画像を生成する生成手段と、
を有することを特徴とする撮像装置である。
【０００９】
本発明の第２の態様は、
複数回の撮影により複数の画像を取得するステップであって、第１の画像を取得する場合に、前記第１の画像における、第１の視野範囲以外の他の視野範囲に特定の被写体が含まれるように前記第１の画像を取得するための制御を行い、前記他の視野範囲を含む第２の画像を取得する場合に、前記他の視野範囲に前記特定の被写体が含まれないように前記第２の画像を取得するための制御を行うステップと、
前記第１の画像における前記第１の視野範囲と、前記第２の画像における、前記他の視野範囲を含み前記第１の視野範囲とは異なる第２の視野範囲とを合成する処理を行うことにより、所定の軸周りに３６０°の視野範囲を有する合成画像を生成するステップと、
を有することを特徴とする撮像装置の制御方法である。
【００１０】
本発明の第３の態様は、コンピュータを、上述した撮像装置の各手段として機能させるためのプログラムである。本発明の第４の態様は、コンピュータを、上述した撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。
【発明の効果】
【００１１】
本発明によれば、撮影者のような特定の被写体が写り込んでおらず且つ違和感のない広範囲画像を撮影できる。
【図面の簡単な説明】
【００１２】
【図１】デジタルカメラの外観図及びブロック図である。
【図２】撮影者除去モード１のフローチャートである。
【図３】撮影者除去モード２のフローチャートである。
【図４】デジタルカメラの移動方向を示す図である。
【図５】撮影の様子（方法）を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の好適な実施形態を説明する。図１（Ａ）は、デジタルカメラ１００（撮像装置）の前面斜視図（外観図）である。図１（Ｂ）は、デジタルカメラ１００の背面斜視図（外観図）である。デジタルカメラ１００は、全方位画像（全天球画像）を撮影するためのカメラ（全方位カメラ；全天球カメラ）である。
【００１４】
バリア１０２ａは、デジタルカメラ１００の前方を撮影範囲とした前方カメラ部のための保護窓である。前方カメラ部は、例えば、デジタルカメラ１００の前側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラ部である。バリア１０２ｂは、デジタルカメラ１００の後方を撮影範囲とした後方カメラ部のための保護窓である。後方カメラ部は、例えば、デジタルカメラ１００の後ろ側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラ部である。
【００１５】
表示部２８は画像や各種情報を表示する。シャッターボタン６１は撮影指示を行うための操作部（操作部材）である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。接続Ｉ／Ｆ２５は、接続ケーブルをデジタルカメラ１００に接続するためのコネクタであり、接続ケーブルを用いて、スマートフォン、パーソナルコンピュータ、テレビジョン装置などの外部装置がデジタルカメラ１００に接続される。操作部７０は、ユーザーからの各種操作を受け付ける各種スイッチ、ボタン、ダイヤル、タッチセンサー等である。電源スイッチ７２は、電源のオン／オフを切り替えるための押しボタンである。ユーザーは、無線接続された外部装置をリモートコントローラとして用いて、デジタルカメラ１００を操作することもできる。
【００１６】
発光部（発光部材）２１ａ，２１ｂは、発光ダイオード（ＬＥＤ）などであり、デジタ
ルカメラ１００の各種状態を発光パターンや発光色によってユーザーに通知する。発光部２１ａはデジタルカメラ１００の前面に設けられており、発光部２１ｂはデジタルカメラ１００の背面に設けられている。固定部４０は、例えば三脚ネジ穴であり、三脚などの固定器具でデジタルカメラ１００を固定して設置するために使用される。
【００１７】
図１（Ｃ）は、デジタルカメラ１００の構成例を示すブロック図である。
【００１８】
バリア１０２ａは、前方カメラ部の撮像系（撮影レンズ１０３ａ、シャッター１０１ａ、撮像部２２ａ等）を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ１０３ａは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ａは、撮像部２２ａへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部２２ａは、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３ａは、撮像部２２ａから出力されるアナログ信号をデジタル信号に変換する。なお、バリア１０２ａを設けずに、撮影レンズ１０３ａの外面が露出し、撮影レンズ１０３ａによって他の撮像系（シャッター１０１ａや撮像部２２ａ）の汚れや破損を防止してもよい。
【００１９】
バリア１０２ｂは、後方カメラ部の撮像系（撮影レンズ１０３ｂ、シャッター１０１ｂ、撮像部２２ｂ等）を覆うことにより、当該撮像系の汚れや破損を防止する。撮影レンズ１０３ｂは、ズームレンズやフォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ｂは、撮像部２２ｂへの被写体光の入射量を調整する絞り機能を有するシャッターである。撮像部２２ｂは、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３ｂは、撮像部２２ｂから出力されるアナログ信号をデジタル信号に変換する。なお、バリア１０２ｂを設けずに、撮影レンズ１０３ｂの外面が露出し、撮影レンズ１０３ｂによって他の撮像系（シャッター１０１ｂや撮像部２２ｂ）の汚れや破損を防止してもよい。
【００２０】
撮像部２２ａと撮像部２２ｂにより、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）画像が撮像される。ＶＲ画像とは、ＶＲ表示をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブビュー画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角）３６０度、左右方向（水平角度、方位角度）３６０度の視野分の映像範囲（有効映像範囲）を持つ。
【００２１】
また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示部に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。また、例えば、左右方向（水平角度、方位角度）１８０度、水平方向を中心とした垂直角度１８０度の視野分（画角分）の被写体を撮影可能なカメラで撮影された画像はＶＲ画像の一種である。即ち、上下方向と左右方向にそれぞれ１６０度（±８０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。
【００２２】
このＶＲ画像をＶＲ表示（表示モード：「ＶＲビュー」で表示）すると、左右回転方向に表示装置（ＶＲ画像を表示する表示装置）の姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転
方向）には、真上（天頂）から見て±１０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。
【００２３】
ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた一部の視野範囲（表示範囲；表示領域）の映像を表示する、表示範囲を変更可能な表示方法（表示モード）である。表示装置であるヘッドマウントディスプレイ（ＨＭＤ）を装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、表示装置の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザーがＨＭＤを視聴している場合で言えば、ユーザーが顔を北から南に向ければ（すなわち後ろを向けば）、ＨＭＤに表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザーに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚を提供することができる。ＶＲゴーグル（ヘッドマウントアダプタ）に装着されたスマートフォンは、ＨＭＤの一種と言える。
【００２４】
なお、ＶＲ画像の表示方法は上記に限るものではない。姿勢変化ではなく、タッチパネルや方向ボタンなどに対するユーザー操作に応じて、表示範囲を移動（スクロール）させてもよい。ＶＲ表示時（ＶＲビューモード時）において、姿勢変化に応じて表示範囲を変更する処理と、タッチパネルへのタッチムーブ操作やマウスなどの操作部材に対するドラッグ操作に応じて表示範囲を変更する処理との両方が行われるようにしてもよい。
【００２５】
画像処理部２４は、Ａ／Ｄ変換器２３ａやＡ／Ｄ変換器２３ｂからのデータ、又は、メモリ制御部１５からのデータに対し所定の処理（画素補間、縮小といったリサイズ処理、色変換処理など）を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行う。システム制御部５０は、画像処理部２４により得られた演算結果に基づいて露光制御や測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。画像処理部２４は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。また、画像処理部２４は、Ａ／Ｄ変換器２３ａとＡ／Ｄ変換器２３ｂにより得られた２つの画像（魚眼画像）に基本的な画像処理を施し、基本的な画像処理が施された２つの画像を合成する繋ぎ画像処理を行うことで、単一のＶＲ画像を生成する。また、画像処理部２４は、ライブビューでのＶＲ表示時、あるいは再生時に、ＶＲ画像をＶＲ表示するための画像切り出し処理、拡大処理、歪み補正等を行い、メモリ３２における所定の記憶領域に処理結果を描画するレンダリングを行う。
【００２６】
繋ぎ画像処理では、画像処理部２４は、２つの画像の一方を基準画像、他方を比較画像として用いて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出し、エリア毎のずれ量に基づいて、２つの画像を繋ぐ繋ぎ位置を検出する。そして、画像処理部２４は、検出した繋ぎ位置と各光学系のレンズ特性とを考慮して、幾何学変換により各画像の歪みを補正する。これにより、各画像が全天球形式の画像に変換される。そして、画像処理部２４は、全天球形式の２つの画像を合成（ブレンド）することで、１つの全天球画像（ＶＲ画像）を生成する。生成された全天球画像は、例えば正距円筒図法を用いた画像であり、全天球画像の各画素の位置は球体（ＶＲ空間）の表面の座標と対応づけることができる。
【００２７】
Ａ／Ｄ変換器２３ａ，２３ｂからの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２ａ，２２ｂによって得られＡ／Ｄ変換器２３ａ，２３ｂによりデジタルデータに変換された画像データや、接続Ｉ／Ｆ２５から外部の表示装置に出力するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００２８】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に格納されている画像表示用のデータは、接続Ｉ／Ｆ２５から外部の表示装置に出力することが可能である。撮像部２２ａ，２２ｂで撮像され、画像処理部２４で生成されたＶＲ画像であって、メモリ３２に蓄積されたＶＲ画像を外部の表示装置に逐次転送して表示することで、電子ビューファインダとしての機能が実現でき、ライブビュー表示（ＬＶ表示）が実現できる。以下、ライブビュー表示で表示される画像をライブビュー画像（ＬＶ画像）と称する。同様に、メモリ３２に蓄積されたＶＲ画像を、通信部５４を介して無線接続された外部装置（スマートフォンなど）に逐次転送して表示することでもライブビュー表示（リモートＬＶ表示）が実現できる。
【００２９】
不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等である。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでいうプログラムとは、後述する各実施形態の各フローチャートを実行するためのコンピュータプログラムのことである。
【００３０】
システム制御部５０は、少なくとも１つのプロセッサーまたは回路を有する制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する各実施形態の各処理を実現する。システムメモリ５２は例えばＲＡＭであり、システム制御部５０は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等をシステムメモリ５２に展開する。また、システム制御部５０は、メモリ３２、画像処理部２４、メモリ制御部１５等を制御することにより表示制御も行う。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００３１】
モード切替スイッチ６０、シャッターボタン６１、操作部７０、及び、電源スイッチ７２は、システム制御部５０に各種の動作指示を入力するために使用される。
【００３２】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード、通信接続モード、撮影者除去モード１、撮影者除去モード２等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０より、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り替えた後に、表示部２８に表示された複数のモードのいずれかに、他の操作部材を用いて選択的に切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【００３３】
シャッターボタン６１は、第１シャッタースイッチ６２と第２シャッタースイッチ６４を備える。第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。シ
ステム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２ａ，２２ｂからの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００３４】
なお、シャッターボタン６１は全押しと半押しの２段階の操作ができる操作部材に限るものではなく、１段階の押下だけができる操作部材であってもよい。その場合は、１段階の押下によって撮影準備動作と撮影処理が連続して行われる。これは、半押しと全押しが可能なシャッターボタンを全押しした場合（第１シャッタースイッチ信号ＳＷ１と第２シャッタースイッチ信号ＳＷ２とがほぼ同時に発生した場合）と同じ動作である。
【００３５】
操作部７０は、表示部２８に表示される種々の機能アイコンや選択肢を選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＩＮＦＯボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザーは、表示部２８に表示されたメニュー画面を見ながら操作部７０を操作することで、直感的に各種設定を行うことができる。
【００３６】
電源スイッチ７２は、電源のオン／オフを切り替えるための押しボタンである。電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。
【００３７】
記録媒体Ｉ／Ｆ１８は、メモリーカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリーカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。記録媒体２００は、デジタルカメラ１００に対して着脱可能な交換記録媒体であってもよいし、デジタルカメラ１００に内蔵された記録媒体であってもよい。
【００３８】
通信部５４は、無線または有線ケーブルによって接続された外部装置との間で、映像信号や音声信号等の送受信を行う。通信部５４は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネットに接続可能であり、ネットワークを介して、ネットワーク上の外部装置（サーバ等）とも通信可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙでも外部装置と通信可能である。通信部５４は撮像部２２ａ，２２ｂで撮像した画像（ＬＶ画像を含む）や、記録媒体２００に記録された画像を送信可能であり、外部装置から画像やその他の各種情報を受信することができる。
【００３９】
姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２ａ，２２ｂで撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。また、撮像部２２ａ，２２ｂで撮影された画像が、ヨー方向、ピッチ方向、ロール方向などの回転方向にデジタルカメラ１００を傾けて撮影された画像で
あるかを判別可能であり、その傾き量も判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２ａ，２２ｂで撮像されたＶＲ画像の画像ファイルに付加したり、画像を回転（傾き補正するように画像の向きを調整）して記録したりすることが可能である。姿勢検知部５５として、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどの複数のセンサーのうちの１つ以上の組み合わせを用いることができる。姿勢検知部５５を構成する加速度センサー、ジャイロセンサー、方位センサーなどを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。
【００４０】
マイクロフォン２０は、動画であるＶＲ画像（ＶＲ動画）の音声として記録されるデジタルカメラ１００の周囲の音声を集音する。接続Ｉ／Ｆ２５は、外部装置と接続して映像の送受信を行うためにＨＤＭＩ（登録商標）ケーブルやＵＳＢケーブルなどが接続される接続プラグである。
【００４１】
［第１の実施形態］
本発明の第１の実施形態について説明する。図２は、第１の実施形態に係るフローチャートであり、デジタルカメラ１００で行われる全天球画像の撮影処理に関するフローチャートである。この処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開してシステム制御部５０が実行することで実現される。デジタルカメラ１００の電源がオンされ、モード切替スイッチ６０の操作により、撮影者除去モード１が選択されると図２の処理が開始される。
【００４２】
ステップＳ２０１にて、システム制御部５０は、撮影指示（シャッターボタン６１の全押し）があったか否かを判定する。撮影指示があったと判定された場合はステップＳ２０７へ進み、そうでない場合はステップＳ２０２へ進む。ステップＳ２０２にて、システム制御部５０は、設定を変更するための操作（設定変更操作）があったか否かを判定する。例えば、ＡＦ方式やＡＥ方式、ホワイトバランス方式などを変更するための操作があったか否かが判定される。設定変更操作があったと判定された場合はステップＳ２０３へ進み、そうでない場合はステップＳ２０４へ進む。ステップＳ２０３にて、システム制御部５０は、設定変更操作に応じた設定をシステムメモリ５２に反映することで、設定を変更する（設定変更処理）。ステップＳ２０４にて、システム制御部５０は、動作モードを変更するための操作（モード変更操作；モード切替スイッチ６０の操作）があったか否かを判定する。モード変更操作があったと判定された場合はステップＳ２０５へ進み、そうでない場合はステップＳ２０６へ進む。ステップＳ２０５にて、システム制御部５０は、撮影者除去モード１から、モード変更操作に応じた他の動作モードへ、動作モードを変更する。そして、図２の処理を終了する。ステップＳ２０６にて、システム制御部５０は、電源スイッチ７２の押下などの終了操作があったか否かを判定する。終了操作があったと判定された場合は図２の処理を終了し、そうでない場合はステップＳ２０１へ戻る。
【００４３】
本実施形態では、２回の撮影によって２枚の全天球画像が得られ、それらが合成される。例えば、各撮影では、撮影者のような特定の被写体が写った全天球画像が得られる。なお、撮影の回数、撮影画像（撮影により得られた画像）の数、等は特に限定されない。２回より多くの撮影が行われてもよいし、２つより多くの撮影画像が得られてもよい。また、撮影画像は全天球画像以外の広範囲画像（広い範囲の画像；ＶＲ画像）であってもよい。例えば、撮影画像は、所定の軸周りに３６０°の視野範囲を有し、他の軸周りに３６０°未満の視野範囲を有してもよい。所定の軸は、例えば、ヨー軸（上下軸）などである。
【００４４】
ステップＳ２０１にて撮影指示があったと判定された場合は、ステップＳ２０７にて、システム制御部５０は、１枚目の全天球画像を撮影し、当該全天球画像をメモリ３２に保存（記録）する。
【００４５】
ステップＳ２０８にて、システム制御部５０は、１枚目の全天球画像を撮影した際のデジタルカメラ１００の姿勢を姿勢検知部５５を用いて検知し、当該姿勢の情報（姿勢情報）をシステムメモリ５２に記録する。
【００４６】
ステップＳ２０９にて、システム制御部５０は、複数回（２回）の撮影を補助するための通知を行うように制御する（通知制御）。具体的には、システム制御部５０は、発光部２１ａを予め定められた複数の発光パターンのいずれかで発光させる。
【００４７】
本実施形態では、システム制御部５０は、以下の状態１〜３のいずれかを現在の状態として判断する。
状態１：撮影者が１枚目の全天球画像を撮影した立ち位置からデジタルカメラ１００を挟んで反対側へ移動していない状態
状態２：デジタルカメラ１００の姿勢が合成に適さない姿勢になっている状態
状態３：撮影者が１枚目の全天球画像を撮影した立ち位置からデジタルカメラ１００を挟んで反対側へ移動し、且つ、デジタルカメラ１００の姿勢が合成に適した姿勢になっている状態
【００４８】
そして、状態１の場合には、システム制御部５０は、発光部２１ａを第１の発光パターンで発光させる。第１の発光パターンでの発光は、例えば、赤色での点灯である。状態２の場合には、システム制御部５０は、発光部２１ａを第２の発光パターンで発光させる。第２の発光パターンでの発光は、例えば、赤色での点滅である。状態３の場合には、システム制御部５０は、発光部２１ａを第３の発光パターンで発光させる。第３の発光パターンでの発光は、例えば、緑色での点灯である。なお、状態１〜３が区別できれば、発光パターンは特に限定されない。
【００４９】
これにより、複数回の撮影が好適に行えるように、デジタルカメラ１００の姿勢がユーザーに通知される（姿勢ガイド）。
【００５０】
状態１〜３について、図４，５（Ａ）を用いて説明する。例えば、撮影者は、図５（Ａ）の位置Ｐ１で１枚目の全天球画像を撮影した後に、位置Ｐ１から位置Ｐ２へ移動する。このとき、撮影者は、図４に示すヨー方向にのみデジタルカメラ１００を回し、デジタルカメラ１００の状態（姿勢）を、１回目の撮影時の状態に対し、ヨー方向に１８０度程度回転させた状態にする。その状態で、位置Ｐ２にいる撮影者は２枚目の全天球画像を撮影する。
【００５１】
１枚目の全天球画像では、領域（視野範囲）５０１には撮影者が写っていないが、その視野範囲以外である領域（視野範囲）５０２には撮影者が写っている。２枚目の全天球画像では、領域５０２には撮影者が写っていないが、領域５０１には撮影者が写っている。システム制御部５０は、１枚目の全天球画像の領域５０１と、２枚目の全天球画像の領域５０２とを合成する処理を少なくとも行うことにより、撮影者が写らない全天球画像を合成画像として生成する。このようにして、本実施形態では、撮影者のような特定の被写体が写り込んでおらず且つ違和感のない全天球画像を得る（撮影する）ことができる。なお、合成画像は全天球画像以外の広範囲画像（広い範囲の画像；ＶＲ画像）であってもよい。例えば、合成画像は、所定の軸（ヨー軸など）周りに３６０°の視野範囲を有し、他の軸周りに３６０°未満の視野範囲を有してもよい。本実施形態では、領域５０１，５０２のそれぞれは予め定められた領域である。なお、領域５０１，５０２は、デジタルカメラ１００によって適宜変更されてもよい。
【００５２】
ここで、１回目の撮影と２回目の撮影との間で、ヨー方向以外の方向、つまり、図４に
示すｘ方向、ｙ方向、ｚ方向、ロール方向、ピッチ方向などに所定量以上デジタルカメラ１００が動いてしまうと、２枚の全天球画像を適切に合成することができない。また、ヨー方向の回転が小さいと、領域５０２に撮影者が写っていない全天球画像を撮影できない。デジタルカメラ１００をヨー方向に１８０度程度回転させれば、領域５０２の撮影者が写っていない全天球画像を撮影できる。
【００５３】
従って、上述した状態１〜３は、以下の状態１’〜３’とも言える。
状態１’：デジタルカメラ１００がヨー方向以外の方向に所定量以上移動していないが、ヨー方向の回転角度が１８０度程度でない状態
状態２’：デジタルカメラ１００がヨー方向以外の方向に所定量以上移動している状態
状態３’：デジタルカメラ１００がヨー方向以外の方向に所定量以上移動しておらず、且つ、ヨー方向の回転角度が１８０度程度である状態
【００５４】
そして、状態１’〜３’の間で通知（発光部２１ａの発光パターン）を異ならせることにより、１回目の撮影後に、撮影者が領域５０２に写らなくなるようにデジタルカメラ１００の姿勢が好適に変更されたか否かを通知できる。
【００５５】
ステップＳ２０９（１回目の撮影の直後）の状態は状態１（状態１’）である。そのため、ステップＳ２０９にて、システム制御部５０は、姿勢ガイドの処理として、発光部２１ａを赤色で点灯させる処理を行う。
【００５６】
ステップＳ２１０にて、システム制御部５０は、現在の状態が状態１〜３（状態１’〜３’）のいずれであるかを判定する（状態判定；姿勢判定）。具体的には、システム制御部５０は、姿勢検知部５５を用いてデジタルカメラ１００の姿勢情報を検知（取得）する。そして、システム制御部５０は、現在の姿勢情報と、ステップＳ２０８で記録した姿勢情報（１回目の撮影時における姿勢情報）とに基づいて、現在の状態が状態１〜３（状態１’〜３’）のいずれであるかを判定する。
【００５７】
ステップＳ２１１にて、システム制御部５０は、ステップＳ２１０の判定結果に基づいて、デジタルカメラ１００の現在の姿勢が合成可能な姿勢か否かを判定する。合成可能な姿勢か否かの判定は、合成に適した姿勢か否かの判定であり、ヨー方向以外の方向に所定量以上移動していない姿勢か否かの判定である。合成可能な姿勢であると判定された場合はステップＳ２１２へ進み、そうでない場合はステップＳ２１３へ進む。
【００５８】
ステップＳ２１２にて、システム制御部５０は、ステップＳ２１０の判定結果に基づいて、デジタルカメラ１００のヨー方向の回転角度が適切か否かを判定する。本実施形態では、１回目の撮影時からの回転角度が１８０度程度であるか否かが判定される。回転角度が適切であると判定された場合はステップＳ２２０へ進み、そうでない場合はステップＳ２１４へ進む。
【００５９】
ステップＳ２１３では、デジタルカメラ１００の姿勢は合成可能な姿勢ではない。つまり、現在の状態は状態２（状態２’）である。そのため、ステップＳ２１３にて、システム制御部５０は、姿勢ガイドの処理として、発光部２１ａを赤色で点滅させる処理を行う。そして、ステップＳ２１５へ進む。
【００６０】
ステップＳ２１４では、デジタルカメラ１００の姿勢は合成可能な姿勢であるが、ヨー方向の回転角度が１８０度程度でない。つまり、現在の状態は状態１（状態１’）である。そのため、ステップＳ２１４にて、システム制御部５０は、姿勢ガイドの処理として、発光部２１ａを赤色で点灯させる処理を行う。そして、ステップＳ２１５へ進む。
【００６１】
ステップＳ２１５にて、システム制御部５０は、１回目の撮影から所定時間Ｔ１が経過したか否か、つまりタイムアウトしたか否かを判定する。所定時間Ｔ１は特に限定されないが、本実施形態では１０秒とする。所定時間Ｔ１が経過した、つまりタイムアウトしたと判定された場合は、ステップＳ２１６へ進み、そうでない場合はステップＳ２１８へ進む。
【００６２】
ステップＳ２１６にて、システム制御部５０は、撮影に失敗したことをユーザーに通知する。本実施形態では、発光部２１ａの発光色が緑色と赤色に交互に切り替わるように発光部２１ａを発光させることにより、撮影に失敗したことがユーザーに通知される。なお、各種通知の実現方法は特に限定されない。例えば、表示部２８の表示により、撮影に失敗したことがユーザーに通知されてもよい。ステップＳ２１７にて、システム制御部５０は、撮影状態を初期化する（複数回の撮影のキャンセル）。具体的には、システム制御部５０は、メモリ３２に保存されている１枚目の全天球画像をクリア（削除）する。そして、ステップＳ２０１へ戻る。
【００６３】
ステップＳ２１８にて、システム制御部５０は、撮影指示（シャッターボタン６１の全押し）があったか否かを判定する。撮影指示があったと判定された場合はステップＳ２１９へ進み、そうでない場合はステップＳ２１０へ戻る。ステップＳ２１９にて、システム制御部５０は、撮影が行えないことをユーザーに通知する。本実施形態では、姿勢ガイドで使用される点滅周期よりも早い周期で発光部２１ａを赤色点滅させることにより、撮影が行えないことがユーザーに通知される。そして、ステップＳ２１０へ戻る。
【００６４】
ステップＳ２２０では、デジタルカメラ１００の姿勢は合成可能な姿勢であり、ヨー方向の回転角度は１８０度程度である。つまり、現在の状態は状態３（状態３’）である。そのため、ステップＳ２２０にて、システム制御部５０は、姿勢ガイドの処理として、発光部２１ａを緑色で点灯させる処理を行う。
【００６５】
ステップＳ２２１にて、システム制御部５０は、撮影指示（シャッターボタン６１の全押し）があったか否かを判定する。撮影指示があったと判定された場合はステップＳ２２３へ進み、そうでない場合はステップＳ２２２へ進む。ステップＳ２２２にて、システム制御部５０は、状態３（状態３’）が実現されてから所定時間Ｔ２が経過したか否かを判定する。所定時間Ｔ２は特に限定されないが、本実施形態では３秒とする。所定時間Ｔ２が経過したと判定された場合は、ステップＳ２２３へ進み、そうでない場合はステップＳ２１０へ戻る。つまり、撮影指示が行われなくても、状態３（状態３’）が実現されてから所定時間Ｔ２が経過すると、自動的にステップＳ２２３の処理（２回目の撮影）が行われる。
【００６６】
ステップＳ２２３にて、システム制御部５０は、２枚目の全天球画像を撮影する。ステップＳ２２４にて、システム制御部５０は、メモリ３２に保存されている１枚目の全天球画像と、２枚目の全天球画像とが合成可能か否かを判定する。合成可能と判定された場合はステップＳ２２５へ進み、そうでない場合はステップＳ２２７へ進む。本実施形態では、画像処理部２４は、２つの全天球画像の一方を基準画像、他方を比較画像として用いて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出する。そして、画像処理部２４は、エリア毎のずれ量に基づいて、基準画像のエリアと比較画像のエリアとを繋ぐ繋ぎ位置を検出する。その後、画像処理部２４は、検出した繋ぎ位置に基づいて基準画像のエリアと比較画像のエリアとを繋ぐなどして、撮影者が写らない全天球画像を合成画像として生成する。ステップＳ２２３では、例えば、繋ぎ位置が検出できない場合に、合成不可能と判定される。
【００６７】
ステップＳ２２５にて、システム制御部５０は、画像処理部２４を用いて、１枚目の全天球画像と２枚目の全天球画像とを合成することにより、撮影者が写らない全天球画像を合成画像として生成する。ステップＳ２２６にて、システム制御部５０は、ステップＳ２２５で生成した合成画像（全天球画像）を、記録媒体２００に保存（記録）する。そして、ステップＳ２０１へ戻る。
【００６８】
ステップＳ２２７にて、システム制御部５０は、合成が行えないことをユーザーに通知する。本実施形態では、合成が行えないこと通知は、撮影が行えないことの通知（ステップＳ２１９；早い周期での赤色点滅）と同じである。なお、合成が行えないこと通知は、撮影が行えないことの通知と異なってもよい。ステップＳ２２８にて、システム制御部５０は、２枚目の全天球画像をクリア（削除）する。そして、ステップＳ２１０へ戻る。
【００６９】
このように、本実施形態では、複数回の撮影により得られた画像を合成して全天球画像を生成する。撮影時において、デジタルカメラの状態が、各撮影により得られた画像のうち、全天球画像を生成するために使用される領域に撮影者が含まれないように撮影を行うことができる適切な状態であるか判定する。適切な状態であるか否かを撮影者に知らせることにより、撮影者は、簡単に、撮影者が含まれていない全天球画像を生成するための撮影を行うことができる。
【００７０】
［第２の実施形態］
本発明の第２の実施形態について説明する。以下では、第１の実施形態と異なる処理について詳しく説明し、第１の実施形態と同じ処理についての説明は適宜省略する。
【００７１】
図５（Ｂ）は、第２の実施形態に係る撮影の様子の一例を示す。図５（Ｂ）の例では、撮影者は、位置Ｐ１で１枚目の全天球画像を撮影した後に、位置Ｐ１から位置Ｐ３へ移動する。このとき、撮影者は、図４に示すヨー方向にのみデジタルカメラ１００を回す。その状態で、位置Ｐ３にいる撮影者は２枚目の全天球画像を撮影する。
【００７２】
１枚目の全天球画像では、領域（視野範囲）５０３には撮影者が写っていないが、領域（視野範囲）５０４には撮影者が写っている。２枚目の全天球画像では、領域５０４には撮影者が写っていないが、領域５０３には撮影者が写っている。システム制御部５０は、１枚目の全天球画像の領域５０３と、２枚目の全天球画像の領域５０４とを合成する処理を少なくとも行うことにより、撮影者が写らない全天球画像を合成画像として生成する。
【００７３】
第１の実施形態では、ヨー方向におけるデジタルカメラ１００の回転角度（ヨー方向における撮影者の移動量）を１８０度程度とした（図５（Ａ））。しかしながら、回転角度が１８０度より小さくても、１枚目の全天球画像で撮影者が写り込んだ領域に撮影者が写り込まないようにすることができる。そのため、図５（Ｂ）では、１８０度よりも小さい回転角度（６０度程度）でヨー方向にデジタルカメラ１００が回転されており、それに合わせて撮影者も移動している。なお、回転角度は予め定められていてもよいし、そうでなくてもよい。例えば、システム制御部５０は、１枚目の全天球画像で撮影者が写り込んだ領域を検出し、その検出結果に基づいて必要な回転角度を決定してもよい。
【００７４】
使用される撮像部は特に限定されないが、第１の実施形態では、撮像部２２ｂで撮影された２枚の画像を合成して最終的な全天球画像が生成される。一方で、本実施形態では、１回目の撮影において撮像部２２ａにより得られた画像、１回目の撮影において撮像部２２ｂにより得られた画像、及び、２回目の撮影において撮像部２２ａにより得られた画像を合成して最終的な全天球画像が生成される。
【００７５】
［第３の実施形態］
本発明の第３の実施形態について説明する。図３は、第３の実施形態に係るフローチャートであり、デジタルカメラ１００で行われる全天球画像の撮影処理に関するフローチャートである。この処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開してシステム制御部５０が実行することで実現される。デジタルカメラ１００の電源がオンされ、モード切替スイッチ６０の操作により、撮影者除去モード２が選択されると図３の処理が開始される。本実施形態では、通信部５４を介して無線接続されたスマートフォンをデジタルカメラ１００のリモートコントローラとして用いて、デジタルカメラ１００が操作される。なお、デジタルカメラ１００は直接操作されてもよい。
【００７６】
ステップＳ３０１にて、システム制御部５０は、発光部２１ａ（前面ＬＥＤ）を所定の発光パターン１で発光させ、発光部２１ｂ（背面ＬＥＤ）を所定の発光パターン２（発光パターン１とは異なる）で発光させる。発光パターン１，２は特に限定されないが、本実施形態では、発光パターン１を緑色点灯とし、発光パターン２を緑色点滅とする。
【００７７】
ステップＳ３０２にて、システム制御部５０は、通信部５４を用いて、リモートコントローラとして使用されているスマートフォンの表示面に撮影ガイドを表示するように制御する。撮影ガイドは、撮影を補助するガイド（通知）であり、例えば「同じパターンの光が見える位置で撮影指示をして下さい」などのメッセージが記述された画面である。なお、デジタルカメラ１００が直接操作される場合は、表示部２８に撮影ガイドが表示される。
【００７８】
ステップＳ３０３にて、システム制御部５０は、通信部５４を用いて、スマートフォンの表示面に設置ガイドを表示するように制御する。設置ガイドは、デジタルカメラ１００を三脚に固定することをユーザーに促すガイド（通知）であり、例えば「三脚にデジタルカメラを設置して下さい」などのメッセージが記述された画面である。なお、デジタルカメラ１００が直接操作される場合は、表示部２８に設置ガイドが表示される。
【００７９】
ステップＳ３０４にて、システム制御部５０は、通信部５４を用いて、スマートフォンに対して撮影指示（撮影操作）があったか否かを判定する。デジタルカメラ１００が直接操作される場合は、ステップＳ３０４の判定は、シャッターボタン６１の全押しがあったか否かの判定である。撮影指示があったと判定された場合はステップＳ３１０へ進み、そうでない場合はステップＳ３０５へ進む。ステップＳ３０５にて、システム制御部５０は、設定変更操作があったか否かを判定する。設定変更操作は、スマートフォンに対して行われてもよいし、デジタルカメラ１００に対して行われてもよい。設定変更操作があったと判定された場合はステップＳ３０６へ進み、そうでない場合はステップＳ３０７へ進む。ステップＳ３０６にて、システム制御部５０は、設定変更操作に応じた設定をシステムメモリ５２に反映することで、設定を変更する（設定変更処理）。ステップＳ３０７にて、システム制御部５０は、モード変更操作があったか否かを判定する。モード変更操作は、スマートフォンに対して行われてもよいし、デジタルカメラ１００に対して行われてもよい。モード変更操作があったと判定された場合はステップＳ３０８へ進み、そうでない場合はステップＳ３０９へ進む。ステップＳ３０８にて、システム制御部５０は、撮影者除去モード２から、モード変更操作に応じた他の動作モードへ、動作モードを変更する。そして、図３の処理を終了する。ステップＳ３０９にて、システム制御部５０は、電源スイッチ７２の押下などの終了操作があったか否かを判定する。終了操作があったと判定された場合は図３の処理を終了し、そうでない場合はステップＳ３０４へ戻る。
【００８０】
ステップＳ３０４にて撮影指示があったと判定された場合は、ステップＳ３１０にて、システム制御部５０は、１枚目の全天球画像を撮影し、当該全天球画像をメモリ３２に保存（記録）する。
【００８１】
ステップＳ３１１にて、システム制御部５０は、発光部２１ａの発光パターンと発光部２１ｂの発光パターンとを入れ替える。つまり、システム制御部５０は、発光部２１ａの発光パターンを発光パターン１から発光パターン２へ切り替え、発光部２１ｂの発光パターンを発光パターン２から発光パターン１へ切り替える。発光パターンの入れ替えにより、撮影者は、撮影ガイド「同じパターンの光が見える位置で撮影指示をして下さい」に基づいて、デジタルカメラ１００の背面側に移動する。
【００８２】
ステップＳ３１２にて、システム制御部５０は、撮影指示があったか否かを判定する。撮影指示があったと判定された場合はステップＳ３１３へ進み、そうでない場合はステップＳ３１９へ進む。
【００８３】
ステップＳ３１９にて、システム制御部５０は、１回目の撮影から所定時間Ｔ１が経過したか否か、つまりタイムアウトしたか否かを判定する。本実施形態では所定時間Ｔ１を１０秒とする。所定時間Ｔ１が経過した、つまりタイムアウトしたと判定された場合は、ステップＳ３２０へ進み、そうでない場合はステップＳ３１２へ戻る。
【００８４】
ステップＳ３２０にて、システム制御部５０は、撮影に失敗したことをユーザーに通知する。例えば、発光部２１ａ，２１ｂのそれぞれにおいて発光色が緑色と赤色に交互に切り替わるように発光部２１ａ，２１ｂを発光せることにより、撮影に失敗したことがユーザーに通知される。または、スマートフォンの表示面に所定の画面を表示することにより、撮影に失敗したことがユーザーに通知される。表示部２８に所定の画面を表示することにより、撮影に失敗したことがユーザーに通知されてもよい。ステップＳ３２１にて、システム制御部５０は、撮影状態を初期化する（複数回の撮影のキャンセル）。具体的には、システム制御部５０は、メモリ３２に保存されている１枚目の全天球画像をクリア（削除）する。そして、ステップＳ３０１へ戻る。
【００８５】
ステップＳ３１２にて撮影指示があったと判定された場合は、ステップＳ３１３にて、システム制御部５０は、２枚目の全天球画像を撮影する。ステップＳ３１４にて、システム制御部５０は、メモリ３２に保存されている１枚目の全天球画像と、２枚目の全天球画像とが合成可能か否かを判定する。合成可能と判定された場合はステップＳ３１５へ進み、そうでない場合はステップＳ３１７へ進む。
【００８６】
ステップＳ３１５にて、システム制御部５０は、画像処理部２４を用いて、１枚目の全天球画像と２枚目の全天球画像とを合成することにより、撮影者が写らない全天球画像を合成画像として生成する。具体的には、１枚目の全天球画像における、第１の視野範囲と、２枚目の全天球画像における、第２の視野範囲とを合成する。ここで、例えば、第１の視野範囲は図５（Ａ）における視野範囲５０１であり、第２の視野範囲は図５（Ｂ）における視野範囲５０２である。ステップＳ３１６にて、システム制御部５０は、ステップＳ３１５で生成した合成画像（全天球画像）を、記録媒体２００に保存（記録）する。そして、ステップＳ３０１へ戻る。
【００８７】
ステップＳ３１７にて、システム制御部５０は、合成が行えないことをユーザーに通知する。例えば、発光部２１ａ，２１ｂのそれぞれを赤色で点滅させることにより、合成が行えないことがユーザーに通知される。または、スマートフォンの表示面に所定の画面を表示することにより、合成が行えないことがユーザーに通知される。表示部２８に所定の画面を表示することにより、合成が行えないことがユーザーに通知されてもよい。ステップＳ３１８にて、システム制御部５０は、２枚目の全天球画像をクリア（削除）する。そして、ステップＳ３１２へ戻る。
【００８８】
以上説明したように、各実施形態によれば、撮影者のような特定の被写体が写り込んで
おらず且つ違和感のない広範囲画像を撮影できる。
【００８９】
なお、システム制御部５０が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。
【００９０】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００９１】
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されずＶＲ画像を撮影することが可能である電子機器であれば適用可能である。もちろん、デジタルカメラではなく、スマートフォンに適用することも可能である。
【００９２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９３】
１００：デジタルカメラ  ２２ａ，２２ｂ：撮像部  ２４：画像処理部
５０：システム制御部
【図１】
2020016767.tif 000003
【図２】
2020016767.tif 000004
【図３】
2020016767.tif 000005
【図４】
2020016767.tif 000006
【図５】
2020016767.tif 000007
【手続補正書】
【提出日】令和1年7月23日(2019.7.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１のカメラ部および第２のカメラ部を備え、前記第１のカメラ部および前記第２のカメラ部を用いて撮影を行い、前記撮影により得られた複数の画像から合成画像を生成する撮像装置であって、
１回目の撮影と、前記１回目の撮影と時間差で２回目の撮影を行うことにより２つの画像を取得する取得手段と、
前記１回目の撮影により取得された第１の画像の第１の範囲および前記２回目の撮影により取得された第２の画像の第２の範囲を合成することにより、撮影者が写らない３６０度の視野範囲を有する合成画像を生成する生成手段を備えることを特徴とする撮像装置。
【請求項２】
前記取得手段は、前記１回目の撮影から所定時間内に行われた前記２回目の撮影により前記第２の画像を取得することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記１回目の撮影と前記２回目の撮影の間に通知を行う第１の通知手段をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第１の通知手段は、発光部材を発光させることにより前記通知を行うことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第１の通知手段は、所定の発光パターンまたは所定の発光色のうち少なくとも１つにしたがって前記発光部材を発光させることにより前記通知を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第１の通知手段は、前記撮影者の移動を促すために前記通知を行うことを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記１回目の撮影が行われる前に、前記撮像装置を固定して設置するように促す通知を行う第２の通知手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像装置を固定して設置するための固定手段をさらに備えることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記１回目の撮影から前記２回目の撮影までの間に移動するように前記撮影者を促すためのメッセージを表示部に表示するよう制御する表示制御手段をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第１のカメラ部および前記第２のカメラ部はそれぞれ水平角度が１８０度以上および垂直角度が１８０度以上の撮影範囲を有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記合成画像は、水平角度が３６０度および垂直角度が３６０度の視野範囲を有することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記第１のカメラ部および前記第２のカメラ部はそれぞれ前記撮像装置の前方の撮影範囲および後方の撮影範囲の撮影を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記第１のカメラ部および前記第２のカメラ部はそれぞれ撮像素子と撮影レンズを有することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記合成画像を記録媒体に記録する記録手段をさらに備えることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記生成手段は、前記画像の歪みを補正する処理を実行し、前記合成画像を生成することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記生成手段は、正距円筒図法にしたがって前記合成画像を生成することを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記第１の範囲は前記第１の画像のうち前記撮影者が写らない範囲であり、前記第２の範囲は前記第２の画像のうち前記撮影者が写らない範囲であることを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
【請求項１８】
複数のカメラ部を備え、前記複数のカメラ部を用いて撮影を行い、前記撮影により得られた複数の画像からＶＲ画像を生成する撮像装置であって、
時間差を設けて複数回の撮影を行うことにより複数の画像を取得する取得手段と、
前記取得された複数の画像を合成することによりＶＲ画像を生成する生成手段を備え、
前記ＶＲ画像は、１つのカメラ部の１回の撮影で取得される画像の視野範囲よりも広い視野範囲を有することを特徴とする撮像装置。
【請求項１９】
前記時間差は、撮影者が移動するために設けられることを特徴とする請求項１８に記載の撮像装置。
【請求項２０】
前記取得手段は、Ｎ回目の撮影を行うことにより第１の画像を取得し、Ｎ＋１回目の撮影を行うことにより第２の画像を取得し、
前記生成手段は、前記第１の画像の第１の範囲と前記第２の画像の第２の範囲を合成することにより前記ＶＲ画像を生成し、
前記Ｎ回目の撮影と前記Ｎ＋１回目の撮影の時間差に前記撮影者が移動することにより、前記撮影者は前記第２の範囲に写らないことを特徴とする請求項１９に記載の撮像装置
。
【請求項２１】
前記撮影者の移動を促すための通知を前記Ｎ回目の撮影と前記Ｎ＋１回目の撮影の間に行う第１の通知手段をさらに備えることを特徴とする請求項２０に記載の撮像装置。
【請求項２２】
前記第１の通知手段は、発光部材を発光させることにより前記通知を行うことを特徴とする請求項２１に記載の撮像装置。
【請求項２３】
前記第１の通知手段は、所定の発光パターンまたは所定の発光色のうち少なくとも１つにしたがって前記発光部材を発光させることにより前記通知を行うことを特徴とする請求項２２に記載の撮像装置。
【請求項２４】
前記撮影が行われる前に、前記撮像装置を固定して設置するように促す通知を行う第２の通知手段をさらに備えることを特徴とする請求項１８乃至２３のいずれか１項に記載の撮像装置。
【請求項２５】
前記撮像装置を固定して設置するための固定手段をさらに備えることを特徴とする請求項２４に記載の撮像装置。
【請求項２６】
前記撮影が行われてから次の撮影が行われるまでの間に移動するように撮影者を促すためのメッセージを表示部に表示するよう制御する表示制御手段をさらに備えることを特徴とする請求項１８乃至２５のいずれか１項に記載の撮像装置。
【請求項２７】
前記複数のカメラ部はそれぞれ水平角度が１８０度以上および垂直角度が１８０度以上の撮影範囲を有することを特徴とする請求項１８乃至２６のいずれか１項に記載の撮像装置。
【請求項２８】
前記ＶＲ画像は、水平角度が３６０度および垂直角度が３６０度の視野範囲を有することを特徴とする請求項１８乃至２７のいずれか１項に記載の撮像装置。
【請求項２９】
前記複数のカメラ部はそれぞれ前記撮像装置の前方の撮影範囲および後方の撮影範囲の撮影を行うことを特徴とする請求項１８乃至２８のいずれか１項に記載の撮像装置。
【請求項３０】
前記複数のカメラ部はそれぞれ撮像素子と撮影レンズを有することを特徴とする請求項１８乃至２９のいずれか１項に記載の撮像装置。
【請求項３１】
前記ＶＲ画像を記録媒体に記録する記録手段をさらに備えることを特徴とする請求項１８乃至３０のいずれか１項に記載の撮像装置。
【請求項３２】
前記生成手段は、前記画像の歪みを補正する処理を実行し、前記ＶＲ画像を生成することを特徴とする請求項１８乃至３１のいずれか１項に記載の撮像装置。
【請求項３３】
前記生成手段は、正距円筒図法にしたがって前記ＶＲ画像を生成することを特徴とする請求項１８乃至３２のいずれか１項に記載の撮像装置。
【請求項３４】
第１のカメラ部および第２のカメラ部を備え、前記第１のカメラ部および前記第２のカメラ部を用いて撮影を行い、前記撮影により得られた複数の画像から合成画像を生成する撮像装置の制御方法であって、
１回目の撮影と、前記１回目の撮影と時間差で２回目の撮影を行うことにより２つの画像を取得するステップと、
前記１回目の撮影により取得された第１の画像の第１の範囲および前記２回目の撮影により取得された第２の画像の第２の範囲を合成することにより、撮影者が写らない３６０度の視野範囲を有する合成画像を生成するステップを有することを特徴とする制御方法。
【請求項３５】
複数のカメラ部を備え、前記複数のカメラ部を用いて撮影を行い、前記撮影により得られた複数の画像からＶＲ画像を生成する撮像装置の制御方法であって、
時間差を設けて複数回の撮影を行うことにより複数の画像を取得するステップと、
前記取得された複数の画像を合成することによりＶＲ画像を生成するステップを有し、
前記ＶＲ画像は、１つのカメラ部の１回の撮影で取得される画像の視野範囲よりも広い視野範囲を有することを特徴とする制御方法。
【請求項３６】
コンピュータを、請求項１〜３３のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
【請求項３７】
コンピュータを、請求項１〜３３のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の第１の態様は、第１のカメラ部および第２のカメラ部を備え、前記第１のカメラ部および前記第２のカメラ部を用いて撮影を行い、前記撮影により得られた複数の画像から合成画像を生成する撮像装置であって、１回目の撮影と、前記１回目の撮影と時間差で２回目の撮影を行うことにより２つの画像を取得する取得手段と、前記１回目の撮影により取得された第１の画像の第１の範囲および前記２回目の撮影により取得された第２の画像の第２の範囲を合成することにより、撮影者が写らない３６０度の視野範囲を有する合成画像を生成する生成手段を備えることを特徴とする撮像装置である。
本発明の第２の態様は、複数のカメラ部を備え、前記複数のカメラ部を用いて撮影を行い、前記撮影により得られた複数の画像からＶＲ画像を生成する撮像装置であって、時間差を設けて複数回の撮影を行うことにより複数の画像を取得する取得手段と、前記取得された複数の画像を合成することによりＶＲ画像を生成する生成手段を備え、前記ＶＲ画像は、１つのカメラ部の１回の撮影で取得される画像の視野範囲よりも広い視野範囲を有することを特徴とする撮像装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の第３の態様は、第１のカメラ部および第２のカメラ部を備え、前記第１のカメラ部および前記第２のカメラ部を用いて撮影を行い、前記撮影により得られた複数の画像から合成画像を生成する撮像装置の制御方法であって、１回目の撮影と、前記１回目の撮影と時間差で２回目の撮影を行うことにより２つの画像を取得するステップと、前記１回目の撮影により取得された第１の画像の第１の範囲および前記２回目の撮影により取得された第２の画像の第２の範囲を合成することにより、撮影者が写らない３６０度の視野範囲を有する合成画像を生成するステップを有することを特徴とする制御方法である。
本発明の第４の態様は、複数のカメラ部を備え、前記複数のカメラ部を用いて撮影を行い、前記撮影により得られた複数の画像からＶＲ画像を生成する撮像装置の制御方法であって、時間差を設けて複数回の撮影を行うことにより複数の画像を取得するステップと、前記取得された複数の画像を合成することによりＶＲ画像を生成するステップを有し、前記ＶＲ画像は、１つのカメラ部の１回の撮影で取得される画像の視野範囲よりも広い視野範囲を有することを特徴とする制御方法である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の第５の態様は、コンピュータを、上述した撮像装置の各手段として機能させるためのプログラムである。本発明の第６の態様は、コンピュータを、上述した撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。