(57)【要約】【課題】広角レンズで撮影する場合であっても、被写体を確実に写り込ませた撮影画像を取得できる画像処理装置を提供する。【解決手段】画像処理装置は、所定の撮影範囲の広角画像を取得する画像取得手段と、画像取得手段により取得された広角画像のうち、撮影範囲よりも狭い範囲を処理対象範囲として設定する処理対象範囲設定手段と、処理対象範囲のうち端部に所定の被写体が存在するかを判定する被写体判定手段と、被写体判定手段により、被写体が処理対象範囲の端部に存在すると判定された場合に、広角画像のうち処理対象範囲外かつ撮影範囲内に存在する被写体の一部も処理対象範囲に含ませるように、処理対象範囲を再設定する処理対象範囲再設定手段と、を有するものである。【選択図】図５
2019062451.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮影範囲の広角画像を取得する画像取得手段と、
前記画像取得手段により取得された前記広角画像のうち、前記撮影範囲よりも狭い範囲を処理対象範囲として設定する処理対象範囲設定手段と、
前記処理対象範囲のうち端部に所定の被写体が存在するかを判定する被写体判定手段と、
前記被写体判定手段により、前記被写体が前記処理対象範囲の端部に存在すると判定された場合に、前記広角画像のうち前記処理対象範囲外かつ前記撮影範囲内に存在する前記被写体の一部も前記処理対象範囲に含ませるように、前記処理対象範囲を再設定する処理対象範囲再設定手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
前記処理対象範囲再設定手段は、前記撮影範囲のうち前記処理対象範囲を回転させることで、前記被写体の一部も前記処理対象範囲に含ませる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理対象範囲再設定手段は、前記撮影範囲のうち、前記処理対象範囲に存在する被写体及び前記処理対象範囲外に存在する前記被写体の一部を虚像被写体として切り取り、前記虚像被写体を前記処理対象範囲に貼り付け替えることで、前記被写体の一部を前記処理対象範囲に含ませる
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記処理対象範囲再設定手段は、前記広角画像を取得する撮影装置の撮影方向を調整することで、前記処理対象範囲に前記被写体の一部も含ませる
ことを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記処理対象範囲再設定手段は、ユーザに対して撮影画角の調整を促す報知を行うことで、前記処理対象範囲に前記被写体の一部も含ませる
ことを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
【請求項６】
前記画像処理装置は、前記処理対象範囲再設定手段により再設定された処理対象範囲のうち、前記被写体が存在する広角画像の領域に対して通常よりも強い歪補正を行う歪補正手段を有する
ことを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。
【請求項７】
前記処理対象範囲再設定手段は、前記被写体判定手段が複数の被写体を特定した場合に、前記複数の被写体の配置形態に基づいて、前記処理対象範囲の再設定の方式を決定する
ことを特徴とする請求項１から６までのいずれか１項に記載の画像処理装置。
【請求項８】
前記処理対象範囲は、記憶範囲である
ことを特徴とする請求項１から７までのいずれか１項に記載の画像処理装置。
【請求項９】
画像処理装置の画像処理方法であって、
所定の撮影範囲の広角画像を取得する画像取得ステップと、
取得された前記広角画像のうち、前記撮影範囲よりも狭い範囲を処理対象範囲として設定する処理対象範囲設定ステップと、
前記処理対象範囲のうち端部に所定の被写体が存在するかを判定する被写体判定ステップと、
前記被写体が前記処理対象範囲の端部に存在すると判定された場合に、前記広角画像のうち前記処理対象範囲外かつ前記撮影範囲内に存在する前記被写体の一部も前記処理対象範囲に含ませるように、前記処理対象範囲を再設定する処理対象範囲再設定ステップと、を含む
ことを特徴とする画像処理装置の画像処理方法。
【請求項１０】
画像処理装置の画像処理用プログラムであって、
コンピュータに、
所定の撮影範囲の広角画像を取得する画像取得機能と、
取得された前記広角画像のうち、前記撮影範囲よりも狭い範囲を処理対象範囲として設定する処理対象範囲設定機能と、
前記処理対象範囲のうち端部に所定の被写体が存在するかを判定する被写体判定機能と、
前記被写体が前記処理対象範囲の端部に存在すると判定された場合に、前記広角画像のうち前記処理対象範囲外かつ前記撮影範囲内に存在する前記被写体の一部も前記処理対象範囲に含ませるように、前記処理対象範囲を再設定する処理対象範囲再設定機能と、を実現させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮影装置に、魚眼レンズなどの広角レンズを使用して、半球状の範囲（半天周）を撮影するものが知られている（特許文献１参照）。通常、これらの撮影装置を用いて被写体を撮影する場合には、撮影装置の撮影姿勢を、上向き姿勢（水平撮り）又は横向き姿勢（垂直撮り）にして撮影している（図３（ａ），（ｂ）参照）。
【０００３】
そして、撮影装置で撮影された撮影画像（広角画像、半天周画像）は、撮影姿勢と関連付けられ、記憶されたり、画像処理が行われたり、表示モニタに表示されたりしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１２９２８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、広角レンズを使用した撮影装置で撮影する場合、被写体が撮影画角の外周側に存在する蓋然性が高くなるため、撮影画角の外周側に被写体の一部がはみだすことがある。そのため、被写体が途切れた撮影画像が記録・保存されてしまい、ユーザの意図どおりの撮影画像を取得することができないことがあった。
【０００６】
そこで、本発明は、上記事情に鑑みてなされたものであり、広角レンズで撮影する場合であっても、被写体を確実に写り込ませた撮影画像を取得できる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、以下の構成によって把握される。
本発明の画像処理装置は、所定の撮影範囲の広角画像を取得する画像取得手段と、前記画像取得手段により取得された前記広角画像のうち、前記撮影範囲よりも狭い範囲を処理対象範囲として設定する処理対象範囲設定手段と、前記処理対象範囲のうち端部に所定の被写体が存在するかを判定する被写体判定手段と、前記被写体判定手段により、前記被写体が前記処理対象範囲の端部に存在すると判定された場合に、前記広角画像のうち前記処理対象範囲外かつ前記撮影範囲内に存在する前記被写体の一部も前記処理対象範囲に含ませるように、前記処理対象範囲を再設定する処理対象範囲再設定手段と、を有するものである。
【０００８】
本発明の画像処理装置の画像処理方法は、所定の撮影範囲の広角画像を取得する画像取得ステップと、取得された前記広角画像のうち、前記撮影範囲よりも狭い範囲を処理対象範囲として設定する処理対象範囲設定ステップと、前記処理対象範囲のうち端部に所定の被写体が存在するかを判定する被写体判定ステップと、前記被写体が前記処理対象範囲の端部に存在すると判定された場合に、前記広角画像のうち前記処理対象範囲外かつ前記撮影範囲内に存在する前記被写体の一部も前記処理対象範囲に含ませるように、前記処理対象範囲を再設定する処理対象範囲再設定ステップと、を含むものである。
【０００９】
本発明の画像処理装置の画像処理用プログラムは、コンピュータに、所定の撮影範囲の広角画像を取得する画像取得機能と、取得された前記広角画像のうち、前記撮影範囲よりも狭い範囲を処理対象範囲として設定する処理対象範囲設定機能と、前記処理対象範囲のうち端部に所定の被写体が存在するかを判定する被写体判定機能と、前記被写体が前記処理対象範囲の端部に存在すると判定された場合に、前記広角画像のうち前記処理対象範囲外かつ前記撮影範囲内に存在する前記被写体の一部も前記処理対象範囲に含ませるように、前記処理対象範囲を再設定する処理対象範囲再設定機能と、を実現させるものである。
【発明の効果】
【００１０】
本発明によれば、広角レンズで撮影する場合であっても、被写体を確実に写り込ませた撮影画像を取得できる画像処理装置、画像処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態の画像処理装置における、（ａ）撮影装置と本体装置とを一体的に組み合わせた状態、（ｂ）撮影装置と本体装置とを分離した状態、を示す概略図である。
【図２】実施形態の画像処理装置における、（ａ）撮影装置１０、（ｂ）本体装置１００の構成を示すブロック図である。
【図３】撮影装置１０の、（ａ）上向き姿勢、（ｂ）横向き姿勢を示す概略図である。
【図４】（ａ）撮影装置の撮影範囲、（ｂ）ディスプレイに表示される広角画像、（ｃ）球面座標系で表現した広角画像を示す概略図である。
【図５】画像処理工程を示すフローチャート図である。
【図６】撮影範囲と記憶対象範囲との関係を、（ａ）球面で表現した状態、（ｂ）平面で表現した状態を示す概略図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明を実施するための形態（以下、実施形態）について詳細に説明する。なお、本明細書の実施形態においては、全体を通じて、同一の要素には同一の符号を付している。
【００１３】
実施形態の画像処理装置１は、デジタルカメラに適用した場合を例示して説明する。
図１は、実施形態の画像処理装置１における、（ａ）撮影装置１０と本体装置１００とを一体的に組み合わせた状態、（ｂ）撮影装置１０と本体装置１００とを分離した状態、を示す概略図である。図２は、実施形態の画像処理装置１における、（ａ）撮影装置１０、（ｂ）本体装置１００の構成を示すブロック図である。
【００１４】
画像処理装置１は、図１に示すように、撮影部１６を有する撮影装置１０と、本体装置１００と、を備えるもので、撮影装置１０と本体装置１００とが分離可能なセパレート型デジタルカメラとして構成されている。ただし、本体装置１００は、撮影装置１０の撮影画像データを取得できれば、スマートフォンやタブレットやパソコンなど一般的な携帯情報端末であってもよい。
【００１５】
図２（ａ）に示すように、撮影装置１０は、静止画像や動画などが撮影可能なもので、筐体が箱状に形成されており、この筐体内部に、制御部１１、電源部１２、記憶部１３、通信部１４、操作部１５、撮影部１６、姿勢検出部１８などを備えている。
【００１６】
制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じて、撮影装置１０の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。
【００１７】
記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有するもので、撮影機能を実現するためのプログラムや各種のアプリケーションなどが格納されている。なお、記憶部１３は、例えば、ＳＤカード、ＵＳＢメモリなど、着脱自在な可搬型メモリ（記録メディア）を含んでもよく、あるいは、図示しない外部サーバの記憶領域に保存するように構成されたものであってもよい。
【００１８】
通信部１４は、撮影画像を本体装置１００に送信したり、本体装置１００からの操作指示信号などを受信したりする。また、操作部１５は、電源スイッチなどの基本的な操作キー（ハードウェアキー）を備えている。
【００１９】
つぎに、撮影部１６は、被写体Ａ（や背景）などを高精細に撮影可能なカメラ部を構成するものである。撮影部１６のレンズユニット１６Ａには、魚眼レンズ１６Ｂ、撮影素子１６Ｃなどが設けられている。なお、本実施形態では、通常の撮影レンズ（図示なし）と魚眼レンズ１６Ｂとが交換可能なもので、図２では、魚眼レンズ１６Ｂを装着した状態を示している。
【００２０】
魚眼レンズ１６Ｂは、例えば、３枚構成のレンズ系からなり、画角が１８０°超という広範囲な撮影が可能な円周魚眼レンズ（全周魚眼レンズ又は広角レンズ）であり、この魚眼レンズ１６Ｂによって撮影された広角画像（魚眼画像）の全体は、円形の撮影画像Ｇ１となる。この場合、射影方式を採用しているために、魚眼レンズ１６Ｂで撮影された撮影画像Ｇ１は、その中心から端部に向かう程、大きく歪んだものとなる。
【００２１】
つまり、魚眼レンズ１６Ｂによる撮影画像Ｇ１は、その光軸Ｃ１から端部（周辺部）の方向に向かう程、大きく歪んだものとなるとともに、撮影画像Ｇ１の光軸Ｃ１に比べてその周辺部は縮小された画像となるため、ユーザがその周辺部の内容を詳細に目視確認しようとしても、その確認は極めて困難なものとなる。このような魚眼レンズ１６Ｂによる被写体像（光学像）は、撮影素子１６Ｃ（例えば、ＣＭＯＳ又はＣＣＤ）に結像されると、この撮影素子１６Ｃによって光電変換された画像信号（アナログ値の信号）が、Ａ／Ｄ変換部（図示なし）によってデジタル信号に変換されるとともに、歪補正などを含む後述の画像処理が施された後、本体装置１００側に送信されてモニタ表示される。
【００２２】
姿勢検出部１８は、撮影装置１０に加わる加速度を検出する３軸加速度センサなどで構成されている。この姿勢検出部１８は、撮影装置１０の姿勢に応じて検出されたＸ・Ｙ・Ｚ方向の各加速度成分を制御部１１に与える。なお、撮影装置１０は、上述したように箱状の筐体であり、その筐体の短辺の方向をＸ軸方向、筐体の長辺の方向をＹ軸方向、筐体の厚さ方向をＺ軸方向とすると、制御部１１は、このＸ軸、Ｙ軸、Ｚ軸の加速度成分を比較して撮影装置１０の後述する上向き姿勢ＶＳ及び横向き姿勢ＨＳを検出し、この姿勢情報を姿勢データＤ１０として、通信部１４から本体装置１００に送信する。
【００２３】
さらに、撮影装置１０には、本体装置１００に接続される接続部１０ａが設けられており、本体装置１００と一体的に組み合わせられ、セパレート型デジタルカメラとして構成される。
【００２４】
つぎに、図２（ｂ）に示すように、本体装置１００は、デジタルカメラのコントローラを構成するもので、撮影装置１０によって撮影された画像を表示する再生機能も有している。この本体装置１００は、制御部１１１、電源部１１２、記憶部１１３、通信部１１４、操作部１１５、タッチ表示部１１６を備えている。
【００２５】
制御部１１１は、電源部（二次電池）１１２からの電力供給によって動作し、記憶部１１３内の各種のプログラムに応じて、本体装置１００の全体動作を制御するもので、この制御部１１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。また、制御部１１１は、画像処理プログラムに従って、後述する画像処理工程において、画像取得手段２０、記憶範囲設定手段３０（処理対象範囲設定手段）、被写体判定手段４０、記憶範囲再設定手段５０（処理対象範囲再設定手段）、歪補正手段６０などとして機能を実現するように構成されている。
【００２６】
記憶部１１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、撮影機能や画像処理機能を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１１３Ａや、本体装置１００が動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ１１３Ｂなどを有している。
【００２７】
通信部１１４は、撮影装置１０との間で各種のデータの送受信を行う。また、操作部１１５は、電源ボタン、レリーズボタン、露出やシャッタスピードなどの撮影条件を設定する設定ボタンなど、押しボタン式の各種のキーを備えたもので、制御部１１１は、この操作部１１５からの入力操作信号に応じた処理を実行したり、入力操作信号を撮影装置１０に対して送信したりする。
【００２８】
そして、タッチ表示部１１６は、高精細液晶などのディスプレイ１１６Ａの上にタッチパネル１１６Ｂを積層配置したもので、その表示画面は、撮影された画像をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。また、ディスプレイ１１６Ａに、撮影部１６の撮影画像Ｇ１、半天球画像などを、それぞれ個別に表示したり、並列して表示したりしてもよい。また、報知手段の報知メッセージを表示してもよい。
【００２９】
そして、これらの撮影装置１０及び本体装置１００は、無線通信を用いて互いにペアリング（無線接続認識）が可能になっている。ペアリングに用いる無線通信としては、例えば、無線ＬＡＮ（Ｗｉ−Ｆｉ）やＢｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信などが挙げられる。このようにして、本体装置１００は、撮影装置１０で撮影された画像（データ）を受信取得して、画像をライブビュー画像としてディスプレイ１１６Ａに表示する。なお、本実施形態において、画像とは、保存済みの画像に限らず、ライブビュー画面に表示されている画像（ライブビュー画像：保存前の画像）を含む広義の意味である。
【００３０】
図３は、撮影装置１０の、（ａ）上向き姿勢ＶＳ、（ｂ）横向き姿勢ＨＳを示す概略図である。
撮影装置１０を用いて撮影する場合、撮影装置１０が上向き姿勢ＶＳ又は横向き姿勢ＨＳであるとして、広角画像がそれぞれ処理される。上向き姿勢ＶＳは、図３（ａ）に示すように、撮影装置１０の正面中央部に配置した魚眼レンズ１６Ｂの光軸Ｃ１方向が重力方向（鉛直）と一致する（又は許容角度範囲内となる）姿勢であり、一方、横向き姿勢ＨＳは、図３（ｂ）に示すように、撮影装置１０の魚眼レンズ１６Ｂの光軸Ｃ１方向が重力方向に対して直交する（又は許容角度範囲内となる）姿勢である。なお、上向き姿勢ＶＳには、魚眼レンズ１６Ｂの光軸Ｃ１方向が地面方向を向く下向き姿勢も含まれる。また、各許容角度範囲は、例えば、±５°から±４５°である。
【００３１】
ここで、撮影装置１０を用いて、水平撮り（上向き姿勢ＶＳ）した場合について、撮影範囲Ｆなどを説明する。
図４は、（ａ）撮影装置１０の撮影範囲Ｆ、（ｂ）ディスプレイ１１６Ａに表示される撮影画像Ｇ１、（ｃ）球面座標系で表現した撮影画像Ｇ１を示す説明図である。
【００３２】
撮影部１６の撮影範囲Ｆは、図４（ａ）に示すように、撮影地点（撮影素子１６Ｃ）から略半球分の方位を含む範囲となる。ただし、撮影部１６の光軸Ｃ１の軸回りの回転角を回転角度θ１、光軸Ｃ１に直交する軸Ｃ２の軸回りの回転角を回転角度θ２、光軸Ｃ１に対する左右水平方向の回転角を水平角度δ、光軸Ｃ１に対する上下垂直（重力）方向の回転角を垂直角度φとする。なお、一般的な水平角度δ及び垂直角度φの最大範囲は、−９０°〜＋９０°を超え、−１０５°〜＋１０５°程度である（又は、１８０°を超え、２１０°程度）。
【００３３】
また、撮影画像Ｇ１を、広角画像としてディスプレイ１１６Ａに表示すると、撮影画像Ｇ１は、図４（ｂ）に示すように、光軸Ｃ１に対する入射角度、すなわち垂直角度φに対応した像高ｈで画像が生成され、表示される。なお、像高ｈと、入射角度φとの関係は、投影モデルに応じた射影関数で決定される。
【００３４】
さらに、撮影画像Ｇ１を球面座標系で表現すると、図４（ｃ）に示すように、回転角度θ１と、垂直角度φと、を座標とする配列、つまり、座標値（θ１，φ）として表現できる。なお、回転角度θ１は、０〜３６０°（又は、−１８０°〜＋１８０°）の範囲となり、垂直角度φは、−９０°〜＋９０°（又は、０〜１８０°）の範囲となる。また、符号Ｅ１は、撮像画像Ｇ１を半球状の広角画像として処理する場合の記憶範囲を示す。記憶範囲Ｅ１とは、画像に対する所定の処理として記憶処理を行う処理対象範囲のことである。
【００３５】
ここで、撮影装置１０を上向き姿勢ＶＳとして、被写体Ａを上方の半天周とともに撮影すると、広角画像Ｇ１の外周付近に被写体Ａが写り込むことがあるが、顔部分のみや、上半身で途切れ、胴体や下半身などの被写体の一部ａ２は、写り込んでいない画像になることがあり、再度撮影する必要があり、場合によっては、再度撮影できる機会が得られないこともある（図６（ａ），（ｂ）参照）。
【００３６】
そこで、本実施形態では、広角画像Ｇ１に対して、以下の画像処理を行って、撮影装置１０の記憶範囲Ｅ１を再設定し、被写体Ａを確実に写り込ませた撮影画像Ｇ１１を取得できるようにしている。
【００３７】
つぎに、画像処理工程について説明する。
図５は、画像処理工程を示すフローチャート図である。図６は、撮影範囲Ｆと記憶範囲Ｅ１，Ｅ２との関係を、（ａ）球面で表現した状態、（ｂ）平面で表現した状態を示す概略図である。
【００３８】
まず、ステップＳ１において、撮影装置１０を、被写体Ａや風景などを撮影することが可能な状態、つまり、スタンバイ状態にする。
【００３９】
ステップＳ２において、画像取得手段２０は、撮影素子１６Ｃに結像された画像を広角画像Ｇ１として取得する。
【００４０】
ステップＳ３において、記憶範囲設定手段３０は、取得された広角画像Ｇ１のうち、撮影範囲Ｆよりも狭い範囲を記憶範囲Ｅ１として設定する。
【００４１】
ステップＳ４において、被写体判定手段４０は、目的の被写体Ａ（特に、人物の顔）が記憶範囲Ｅ１のうち端部、例えば、垂直角度φ及び水平角度δが７５°から９０°のリング状の範囲の領域などに存在するか否かを判定する。
【００４２】
ステップＳ５において、判定の結果、被写体Ａが記憶範囲Ｅ１のうち端部に存在する場合、ステップＳ６に進む。（ステップＳ５でＹｅｓの場合）
【００４３】
ステップＳ６において、記憶範囲再設定手段５０は、広角画像Ｇ１のうち記憶範囲Ｅ１外かつ撮影範囲Ｆ内に存在する被写体の一部ａ２も、再設定する新たな記憶範囲Ｅ２に含まれるように記憶範囲Ｅ１を再設定する。
【００４４】
ステップＳ７において、歪補正手段６０は、再設定された記憶範囲Ｅ２内の広角画像Ｇ１に対して、通常の歪補正を行う。
【００４５】
さらに、ステップＳ８において、歪補正手段６０は、再設定された記憶範囲Ｅ２内のうち、被写体Ａ及び被写体の一部ａ２が存在する領域に対して通常よりも強い歪補正を行う。なお、このステップＳ８において、広角画像Ｇ１中の被写体Ａに対して印加されている歪の量によっては、通常の歪補正を行ってもよいが、本実施形態のように通常よりも強い歪補正を行う理由を述べると、被写体の一部ａ２は最も広角画像Ｇ１のうち通常は記憶されない歪が強い領域の画像である可能性が高く、そのような画像に対しては、より強い歪補正を行う必要が生じるためである。
【００４６】
最後に、ステップＳ９において、歪補正を行った撮影画像（補正画像）Ｇ１１を記憶部１１３などに記録（保存）する。
【００４７】
また、ステップＳ５に戻って、判定の結果、被写体Ａが記憶範囲Ｅ１のうち端部に存在しない場合、ステップＳ７１に進む。（ステップＳ５でＮｏの場合）
【００４８】
ステップＳ７１において、歪補正手段６０は、記憶範囲Ｅ１内の広角画像Ｇ１に対して、通常の歪補正を行い、ステップＳ９に進む。
【００４９】
このように画像処理を行うことで、撮影装置１０の記憶範囲Ｅ１を記憶範囲Ｅ２に再設定し、被写体Ａを確実に写り込ませた補正画像Ｇ１１を取得することができる。また、撮影（撮影対象）を意図した被写体Ａが、記憶範囲Ｅ１のうち端部でなく、中央付近に存在すると判定した場合は、そのままの記憶範囲Ｅ１で記録するだけで、被写体Ａを確実に写り込ませた補正画像Ｇ１１を取得することができる。
【００５０】
なお、撮影装置１０の撮影が、ライブビューを利用しての撮影であれば、ステップＳ６とステップＳ７との間やステップＳ６とステップＳ７１との間に、シャッターボタンや画像記録ボタンなどの押し下げ操作を加えてもよい。
【００５１】
また、上記画像処理のフローでは、記憶範囲Ｅ１の設定を行った後に、被写体Ａの存否の判定を行っているが、記憶範囲Ｅ１の設定を行う前から（あるいは、スタンバイ状態から）、被写体Ａの存否の判定を行い続けるようなフローであってもよい。
【００５２】
ここで、ステップＳ６で行う、記憶範囲再設定手段５０による新たな記憶範囲Ｅ２の再設定の方式について、いくつか説明する。
【００５３】
１番目の再設定方式では、記憶範囲再設定手段５０は、記憶範囲Ｅ１を被写体Ａの存在方向に仮想的に所定の角度だけ回転させることで、被写体Ａの一部ａ２も記憶範囲Ｅ２に含ませるようにする（図６（ａ），（ｂ）参照）。回転させる角度としては、再設定した記憶範囲Ｅ２が撮影範囲Ｆの領域内に収まる限界が好ましい（例えば、記憶範囲Ｅ１，Ｅ２の画角が１８０°で、撮影範囲Ｆの画角が２００°であれば、最大１０°回転させることができる）。
【００５４】
これによれば、被写体Ａとは逆方向側の画像が記憶範囲Ｅ１内から記憶範囲Ｅ２外へと変更されるが、被写体Ａのより多くの部分が記憶範囲Ｅ２内に含まれるため、補正画像Ｇ１１とした場合には、被写体Ａがはっきりと映り込み、ユーザの意図に近づけることができる。
【００５５】
２番目の再設定方式では、記憶範囲再設定手段５０は、記憶範囲Ｅ１を拡大し、例えば撮影範囲Ｆまで広げて、被写体Ａの一部ａ２も記憶範囲Ｅ２に含ませるようにする。つまり、記憶範囲Ｅ１の画角が１８０°で、撮影範囲Ｆの画角が２００°であれば、記憶範囲Ｅ１の画角を２００°に拡大する。
【００５６】
これによれば、被写体Ａのより多くの部分が記憶範囲Ｅ２内に含まれるため、補正画像Ｇ１１とした場合には、被写体Ａがはっきりと映り込み、ユーザの意図に近づけることができる。
【００５７】
３番目の再設定方式では、記憶範囲再設定手段５０は、撮影範囲Ｆのうち被写体Ａ及び被写体の一部ａ２を虚像被写体Ｂ（図示なし）として切り取り、虚像被写体Ｂを記憶範囲Ｅ１に貼り付け替えることで、被写体の一部ａ２を記憶範囲Ｅ１に含ませるようにする。
【００５８】
これによっても、記憶範囲Ｅ１の輪郭（外縁）を変更することなく、記憶範囲Ｅ１内に虚像被写体Ｂを加えることで、画像自体を変更し、新たな記憶範囲Ｅ２が再設定されるため、被写体Ａを確実に記憶範囲Ｅ２内に含ませることができ、ユーザの意図に近づけることができる。
【００５９】
４番目の再設定方式では、記憶範囲再設定手段５０は、広角画像Ｇ１を取得する撮影装置１０の撮影方向を、撮影装置１０の支持機構（図示なし）を用いて調整することで、新たな記憶範囲Ｅ２に被写体の一部ａ２も含ませるようにする。この場合、撮影範囲Ｆが、新たに再設定されると言い換えることができる。
【００６０】
これによっても、撮影装置１０の撮影方向を、被写体Ａが含まれる方向に自動的に変更し、被写体の一部ａ２を記憶範囲Ｅ２に含ませるため、ユーザの意図に近づけることができる。
【００６１】
５番目の再設定方式では、記憶範囲再設定手段５０は、ユーザに対して撮影画角の調整を促す報知を行うことで、記憶範囲Ｅ１に被写体の一部ａ２も含ませるようにする。この場合も、撮影範囲Ｆが、新たに再設定されると言い換えることができる。
【００６２】
これによれば、上述した撮影装置１０の支持機構を備えていない画像処理装置１であっても、ユーザがタッチ表示部１１６に表示・報知されたメッセージなどを確認することで、撮影装置１０の撮影方向やズーム倍率の変更などを行うことにより、撮影画角を再調整して、ユーザの意図に近づけることができる。
【００６３】
なお、再設定方式を上記では順番に説明したが、これらに優先順位はなく、それぞれ独立して画像処理工程に組み込まれるものであるし、場合によっては、これらの再設定方式を複数組合せてもよい。
【００６４】
以上、説明したとおり、本実施形態の画像処理装置１は、所定の撮影範囲Ｆの広角画像Ｇ１を取得する画像取得手段２０と、画像取得手段２０により取得された広角画像Ｇ１のうち、撮影範囲Ｆよりも狭い範囲を処理対象範囲Ｅ１として設定する処理対象範囲設定手段３０と、広角画像Ｇ１内の記憶範囲Ｅ１のうち端部に所定の被写体Ａが存在するかを判定する被写体判定手段４０と、被写体判定手段４０により、被写体Ａが広角画像Ｇ１の記憶範囲Ｅ１の端部に存在すると判定された場合に、広角画像Ｇ１のうち記憶範囲Ｅ１外かつ撮影範囲Ｆ内に存在する被写体の一部ａ２も新たな記憶範囲Ｅ２に含ませるように、記憶範囲Ｅ１を再設定させる処理対象範囲再設定手段５０と、を有するものである。
【００６５】
これにより、広角画像Ｇ１内の記憶範囲Ｅ１のうち端部に所定の被写体Ａが存在すると判定されると、記憶範囲Ｅ１外に存在する被写体の一部ａ２も含むように記憶範囲Ｅ２を再設定させることができ、被写体Ａを確実に写り込ませた補正画像Ｇ１１を得ることができ、ユーザ（撮影者）の意図を反映した画像処理を行うことができる。
【００６６】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る画像処理装置、画像処理方法及びプログラムは、上述した実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変化が可能である。
【００６７】
（変形例）
上記実施形態では、被写体判定手段４０は、一つ（一人）の被写体Ａの存在を判定するものであったが、被写体判定手段４０は、複数（人）の被写体Ａ１，A２・・・を判定することもある。この場合、記憶範囲再設定手段５０は、複数の被写体Ａの配置形態に基づいて、記憶範囲Ｅ１，Ｅ２の再設定の方式を決定してもよい。
【００６８】
例えば、二人や三人の存在を判定した場合であれば、上記した１番目の再設定方式で、３つの被写体Ａの重心を演算し、その重心方向に記憶範囲Ｅ２を仮想的に回転させればよく、更に多数の被写体Ａｎを特定した場合であれば、上記した２番目、４番目又は５番目の再設定方式を選択するとよい。
【００６９】
また、上記実施形態では、画像処理装置１は、撮影装置１０と本体装置１００とが分離可能なセパレート型であったが、撮影装置１０と本体装置１００とが分離不能な一体型であってもよい。
【００７０】
上記実施形態では、画像処理装置１で画像処理用プログラムを動作させたが、画像処理用プログラムは、パソコンやスマートフォンなどに、アプリケーションソフトとしてインストールされてもよい。
【００７１】
さらに、上記実施形態では、半天周（半天球）の広角画像Ｇ１であったが、２つの撮影部１６により、全天球の広角画像を得る画像処理装置１とすることもできる。このとき、例えば、被写体Ａが一方の半天球の撮影画像Ｇ１に結像され、被写体の一部ａ２が、他方の半天球の撮影画像Ｇ１に結像された場合、通常の画像処理を行い結合すると、被写体Ａと被写体の一部ａ２との間に継ぎ目が形成されるため、半天球の撮影画像Ｇ１間の色味の違いにより、継ぎ目の目立った全天球の広角画像となることがある。そこで、上記のような画像処理を行い、各記憶範囲Ｅ１を変更することで、被写体Ａと被写体の一部ａ２とが、同じ半天球の撮影画像Ｇ１に写り込ませることができる。これにより、継ぎ目の目立たない全天球の広角画像を得ることができる。
【００７２】
また、以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
＜請求項１＞
所定の撮影範囲の広角画像を取得する画像取得手段と、
前記画像取得手段により取得された前記広角画像のうち、前記撮影範囲よりも狭い範囲を処理対象範囲として設定する処理対象範囲設定手段と、
前記処理対象範囲のうち端部に所定の被写体が存在するかを判定する被写体判定手段と、
前記被写体判定手段により、前記被写体が前記処理対象範囲の端部に存在すると判定された場合に、前記広角画像のうち前記処理対象範囲外かつ前記撮影範囲内に存在する前記被写体の一部も前記処理対象範囲に含ませるように、前記処理対象範囲を再設定する処理対象範囲再設定手段と、を有する
ことを特徴とする画像処理装置。
＜請求項２＞
前記処理対象範囲再設定手段は、前記撮影範囲のうち前記処理対象範囲を回転させることで、前記被写体の一部も前記処理対象範囲に含ませる
ことを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記処理対象範囲再設定手段は、前記撮影範囲のうち前記被写体及び前記被写体の一部を虚像被写体として切り取り、前記虚像被写体を前記処理対象範囲に貼り付け替えることで、前記被写体の一部を前記処理対象範囲に含ませる
ことを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記処理対象範囲再設定手段は、前記広角画像を取得する撮影装置の撮影方向を調整することで、前記処理対象範囲に前記被写体の一部も含ませる
ことを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
＜請求項５＞
前記処理対象範囲再設定手段は、ユーザに対して撮影画角の調整を促す報知を行うことで、前記処理対象範囲に前記被写体の一部も含ませる
ことを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
＜請求項６＞
前記画像処理装置は、前記処理対象範囲再設定手段により再設定された処理対象範囲のうち、前記被写体が存在する広角画像の領域に対して通常よりも強い歪補正を行う歪補正手段を有する
ことを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。
＜請求項７＞
前記処理対象範囲再設定手段は、前記被写体判定手段が複数の被写体を特定した場合に、前記複数の被写体の配置形態に基づいて、前記処理対象範囲の再設定の方式を決定する
ことを特徴とする請求項１から６までのいずれか１項に記載の画像処理装置。
＜請求項８＞
前記処理対象範囲は、記憶範囲である
ことを特徴とする請求項１から７までのいずれか１項に記載の画像処理装置。
＜請求項９＞
画像処理装置の画像処理方法であって、
所定の撮影範囲の広角画像を取得する画像取得ステップと、
取得された前記広角画像のうち、前記撮影範囲よりも狭い範囲を処理対象範囲として設定する処理対象範囲設定ステップと、
前記処理対象範囲のうち端部に所定の被写体が存在するかを判定する被写体判定ステップと、
前記被写体が前記処理対象範囲の端部に存在すると判定された場合に、前記広角画像のうち前記処理対象範囲外かつ前記撮影範囲内に存在する前記被写体の一部も前記処理対象範囲に含ませるように、前記処理対象範囲を再設定する処理対象範囲再設定ステップと、を含む
ことを特徴とする画像処理装置の画像処理方法。
＜請求項１０＞
画像処理装置の画像処理用プログラムであって、
コンピュータに、
所定の撮影範囲の広角画像を取得する画像取得機能と、
取得された前記広角画像のうち、前記撮影範囲よりも狭い範囲を処理対象範囲として設定する処理対象範囲設定機能と、
前記処理対象範囲のうち端部に所定の被写体が存在するかを判定する被写体判定機能と、
前記被写体が前記処理対象範囲の端部に存在すると判定された場合に、前記広角画像のうち前記処理対象範囲外かつ前記撮影範囲内に存在する前記被写体の一部も前記処理対象範囲に含ませるように、前記処理対象範囲を再設定する処理対象範囲再設定機能と、を実現させる
ことを特徴とするプログラム。
【符号の説明】
【００７３】
１      画像処理装置
１０    撮影装置
１００  本体装置
２０    画像取得手段
３０    記憶範囲設定手段（処理対象範囲設定手段）
４０    被写体判定手段
５０    記憶範囲再設定手段（処理対象範囲再設定手段）
６０    歪補正手段
Ｇ１    広角画像（撮影画像）、Ｇ１１  補正画像（撮影画像）
Ａ      被写体、ａ２  被写体の一部、Ｂ  虚像被写体
Ｅ１，Ｅ２  記憶範囲（処理対象範囲）、Ｆ  撮影範囲
【図１】
2019062451.tif 000003
【図２】
2019062451.tif 000004
【図３】
2019062451.tif 000005
【図４】
2019062451.tif 000006
【図５】
2019062451.tif 000007
【図６】
2019062451.tif 000008