(57)【要約】【課題】撮影装置の姿勢判定の精度を向上させ、所望の撮影画像を取得できる電子機器を提供する。【解決手段】撮影画像が上向き姿勢で撮影されたものであるのかを判定する姿勢方向判定手段と、撮影画像の所定の領域に、目的の被写体が存在するのかを判定する被写体判定手段と、姿勢方向判定手段により、撮影画像が上向き姿勢で撮影されたものではないと判定され、かつ、被写体判定手段により、目的の被写体が所定の領域に存在すると判定された場合に、撮影画像が横向き姿勢で撮影された画像であると判断する判断手段と、を備えるものである。【選択図】図６
2019062461.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像が上向き姿勢で撮影されたものであるのかを判定する姿勢方向判定手段と、
前記撮影画像の所定の領域に、目的の被写体が存在するのかを判定する被写体判定手段と、
前記姿勢方向判定手段により、前記撮影画像が上向き姿勢で撮影されたものではないと判定され、かつ、前記被写体判定手段により、前記目的の被写体が前記所定の領域に存在すると判定された場合に、前記撮影画像が横向き姿勢で撮影された画像であると判断する判断手段と、を備える
ことを特徴とする電子機器。
【請求項２】
前記姿勢方向判定手段は、前記撮影画像が横向き姿勢で撮影されたものであるのかを更に判定する
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記姿勢方向判定手段は、撮影画像が上向き姿勢でも横向き姿勢でもない、斜め向き姿勢で撮影されたものであるのかを更に判定し、
前記判断手段は、前記姿勢方向判定手段により、前記撮影画像が斜め向き姿勢で撮影されたものであると判定され、かつ、前記被写体判定手段により、前記目的の被写体が前記所定の領域に存在すると判定された場合に、前記撮影画像が横向き姿勢で撮影された画像であると判断する
ことを特徴とする請求項１又は２に記載の電子機器。
【請求項４】
前記判断手段により前記撮影画像が横向き姿勢で撮影された画像であると判断された場合、前記撮影画像を横向き姿勢で撮影された画像として画像処理を行う画像処理手段を備える
ことを特徴とする請求項１乃至３の何れか１項に記載の電子機器。
【請求項５】
前記撮影画像として広角画像を取得する画像取得手段を備える
ことを特徴とする請求項１乃至４の何れか１項に記載の電子機器。
【請求項６】
前記所定の領域は、前記撮影画像のうちの部分領域である
ことを特徴とする請求項１乃至５の何れかに１項に記載の電子機器。
【請求項７】
前記所定の領域は、前記撮影画像の中央領域である
ことを特徴とする請求項６に記載の電子機器。
【請求項８】
前記被写体は顔である
ことを特徴とする請求項１乃至７の何れか１項に記載の電子機器。
【請求項９】
電子機器の画像処理方法であって、
撮影画像が上向き姿勢で撮影されたものであるのかを判定する姿勢方向判定ステップと、
前記撮影画像の所定の領域に、目的の被写体が存在するのかを判定する被写体判定ステップと、
前記姿勢方向判定ステップにより、前記撮影画像が上向き姿勢で撮影されたものではないと判定され、かつ、前記被写体判定ステップにより、前記目的の被写体が前記所定の領域に存在すると判定された場合に、前記撮影画像が横向き姿勢で撮影された画像である判断する判断ステップと、を含む
ことを特徴とする画像処理方法。
【請求項１０】
電子機器の画像処理用プログラムであって、
コンピュータに、
撮影画像が上向き姿勢で撮影されたものであるのかを判定する姿勢方向判定機能と、
前記撮影画像の所定の領域に目的の被写体が存在するのかを判定する被写体判定機能と、
前記姿勢方向判定機能により、前記撮影画像が上向き姿勢で撮影されたものではないと判定され、かつ、前記被写体判定機能により、前記目的の被写体が前記所定の領域に存在すると判定された場合に、前記撮影画像が横向き姿勢で撮影された画像であると判断する判断機能と、を実現させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、画像処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
通常、デジタルカメラなどの撮影装置を用いて被写体を撮影する場合に、撮影装置の撮影姿勢を、上向き姿勢（水平撮り）又は横向き姿勢（垂直撮り）にして撮影している（図３（ａ），（ｂ）参照）。（特許文献１及び特許文献２参照）。
【０００３】
そして、撮影装置で撮影された撮影画像は、撮影姿勢と関連付けられ、記憶されたり、その撮影姿勢に応じて画像処理が行われたり、表示モニタに表示されたりしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２７９７３９号公報
【特許文献２】特開２０１４−０３６３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１及び特許文献２に記載の従来技術では、撮影装置の姿勢のみで撮影姿勢（方向）を判定しているため、ユーザの意図とは異なる撮影姿勢で撮影画像が処理されてしまい、ユーザの意図どおりの撮影画像を取得することができないことがあった。
【０００６】
そこで、本発明は、上記事情に鑑みてなされたものであり、撮影装置の姿勢判定の精度を向上させ、所望の撮影画像を取得できる電子機器、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、以下の構成によって把握される。
本発明の電子機器は、撮影画像が上向き姿勢で撮影されたものであるのかを判定する姿勢方向判定手段と、前記撮影画像の所定の領域に、目的の被写体が存在するのかを判定する被写体判定手段と、前記姿勢方向判定手段により、前記撮影画像が上向き姿勢で撮影されたものではないと判定され、かつ、前記被写体判定手段により、前記目的の被写体が前記所定の領域に存在すると判定された場合に、前記撮影画像が横向き姿勢で撮影された画像であると判断する判断手段と、を備えるものである。
【０００８】
本発明の電子機器の画像処理方法は、撮影画像が上向き姿勢で撮影されたものであるのかを判定する姿勢方向判定ステップと、前記撮影画像の所定の領域に、目的の被写体が存在するのかを判定する被写体判定ステップと、前記姿勢方向判定ステップにより、前記撮影画像が上向き姿勢で撮影されたものではないと判定され、かつ、前記被写体判定ステップにより、前記目的の被写体が前記所定の領域に存在すると判定された場合に、前記撮影画像が横向き姿勢で撮影された画像である判断する判断ステップと、を含むものである。
【０００９】
本発明の電子機器の画像処理用プログラムは、コンピュータに、撮影画像が上向き姿勢で撮影されたものであるのかを判定する姿勢方向判定機能と、前記撮影画像の所定の領域に目的の被写体が存在するのかを判定する被写体判定機能と、前記姿勢方向判定機能により、前記撮影画像が上向き姿勢で撮影されたものではないと判定され、かつ、前記被写体判定機能により、前記目的の被写体が前記所定の領域に存在すると判定された場合に、前記撮影画像が横向き姿勢で撮影された画像であると判断する判断機能と、を実現させるものである。
【発明の効果】
【００１０】
本発明によれば、撮影装置の姿勢判定の精度を向上させ、所望の撮影画像を取得できる電子機器、画像処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態の電子機器における、（ａ）撮影装置と本体装置とを一体的に組み合わせた状態、（ｂ）撮影装置と本体装置とを分離した状態、を示す概略図である。
【図２】実施形態の電子機器における、（ａ）撮影装置１０、（ｂ）本体装置１００の構成を示すブロック図である。
【図３】撮影装置１０の、（ａ）上向き姿勢、（ｂ）横向き姿勢を示す概略図である。
【図４】（ａ）撮影装置の撮影範囲、（ｂ）ディスプレイに表示される広角画像、（ｃ）球面座標系で表現した広角画像を示す概略図である。
【図５】（ａ）横向き画像処理した横向き画像、（ｂ）上向き画像処理した上向き画像の表示状態を示す概略図である。
【図６】姿勢判定処理及び画像処理工程を示すフローチャート図である。
【図７】第２実施形態における撮影装置１０の、（ａ）上向き姿勢、（ｂ）横向き姿勢、（ｃ）上向き画像として処理する場合の斜め向き姿勢、（ｄ）横向き画像として処理する場合の斜め向き姿勢を示す概略図である。
【図８】第２実施形態における姿勢判定処理及び画像処理工程を示すフローチャート図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明を実施するための形態（以下、実施形態）について詳細に説明する。なお、本明細書の実施形態においては、全体を通じて、同一の要素には同一の符号を付している。
【００１３】
実施形態の電子機器１は、デジタルカメラに適用した場合を例示して説明する。
図１は、実施形態の電子機器１における、（ａ）撮影装置１０と本体装置１００とを一体的に組み合わせた状態、（ｂ）撮影装置１０と本体装置１００とを分離した状態、を示す概略図である。図２は、実施形態の電子機器１における、（ａ）撮影装置１０、（ｂ）本体装置１００の構成を示すブロック図である。
【００１４】
電子機器１は、図１に示すように、撮影部１６を有する撮影装置１０と、本体装置１００と、を備えるもので、撮影装置１０と本体装置１００とが分離可能なセパレート型デジタルカメラとして構成されている。ただし、本体装置１００は、撮影装置１０の撮影画像データを取得できれば、スマートフォンやタブレットやパソコンなど一般的な携帯情報端末であってもよい。
【００１５】
図２（ａ）に示すように、撮影装置１０は、静止画像や動画などが撮影可能なもので、筐体が箱状に形成されており、この筐体内部に、制御部１１、電源部１２、記憶部１３、通信部１４、操作部１５、撮影部１６、姿勢検出部１８などを備えている。
【００１６】
制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じて、撮影装置１０の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。
【００１７】
記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有するもので、撮影機能を実現するためのプログラムや各種のアプリケーションなどが格納されている。なお、記憶部１３は、例えば、ＳＤカード、ＵＳＢメモリなど、着脱自在な可搬型メモリ（記録メディア）を含んでもよく、あるいは、図示しない外部サーバの記憶領域に保存するように構成されたものであってもよい。
【００１８】
通信部１４は、撮影画像Ｇ１を本体装置１００に送信したり、本体装置１００からの操作指示信号などを受信したりする。また、操作部１５は、電源スイッチなどの基本的な操作キー（ハードウェアキー）を備えている。
【００１９】
つぎに、撮影部１６は、被写体Ａ（や背景）などを高精細に撮影可能なカメラ部を構成するものである。撮影部１６のレンズユニット１６Ａには、魚眼レンズ１６Ｂ、撮影素子１６Ｃなどが設けられている。なお、本実施形態では、通常の撮影レンズ（図示なし）と魚眼レンズ１６Ｂとが交換可能なもので、図２では、魚眼レンズ１６Ｂを装着した状態を示している。
【００２０】
魚眼レンズ１６Ｂは、例えば、３枚構成のレンズ系からなり、画角が１８０°超という広範囲な撮影が可能な円周魚眼レンズ（全周魚眼レンズ又は広角レンズ）であり、この魚眼レンズ１６Ｂによって撮影された広角画像（魚眼画像）の全体は、円形の撮影画像Ｇ１となる。この場合、射影方式を採用しているために、魚眼レンズ１６Ｂで撮影された広角画像は、その中心から端部に向かう程、大きく歪んだものとなる。
【００２１】
つまり、魚眼レンズ１６Ｂによる撮影画像Ｇ１は、その光軸Ｃ１から端部（周辺部）の方に向かう程、大きく歪んだものとなるとともに、広角画像の光軸Ｃ１に比べてその周辺部は縮小された画像となるため、ユーザがその周辺部の内容を詳細に目視確認しようとしても、その確認は極めて困難なものとなる。このような魚眼レンズ１６Ｂによる被写体像（光学像）は、撮影素子１６Ｃ（例えば、ＣＭＯＳ又はＣＣＤ）に結像されると、この撮影素子１６Ｃによって光電変換された画像信号（アナログ値の信号）が、Ａ／Ｄ変換部（図示なし）によってデジタル信号に変換されるとともに、所定の画像処理が施された後、本体装置１００側に送信されてモニタ表示される。
【００２２】
姿勢検出部１８は、撮影装置１０に加わる加速度を検出する３軸加速度センサなどで構成されている。この姿勢検出部１８は、撮影装置１０の姿勢に応じて検出されたＸ・Ｙ・Ｚ方向の各加速度成分を制御部１１に与える。なお、撮影装置１０は、上述したように箱状の筐体であり、その筐体の短辺の方向をＸ軸方向、筐体の長辺の方向をＹ軸方向、筐体の厚さ方向をＺ軸方向とすると、制御部１１は、このＸ軸、Ｙ軸、Ｚ軸の加速度成分を比較して撮影装置１０の後述する上向き姿勢ＶＳ及び横向き姿勢ＨＳを検出し、この姿勢情報を姿勢データＤ１０として、通信部１４から本体装置１００に送信する。
【００２３】
さらに、撮影装置１０には、本体装置１００に接続される接続部１０ａが設けられており、本体装置１００と一体的に組み合わせられ、セパレート型デジタルカメラとして構成される。
【００２４】
つぎに、図２（ｂ）に示すように、本体装置１００は、デジタルカメラのコントローラを構成するもので、撮影装置１０によって撮影された画像を表示する再生機能も有している。この本体装置１００は、制御部１１１、電源部１１２、記憶部１１３、通信部１１４、操作部１１５、タッチ表示部１１６を備えている。
【００２５】
制御部１１１は、電源部（二次電池）１１２からの電力供給によって動作し、記憶部１１３内の各種のプログラムに応じて、本体装置１００の全体動作を制御するもので、この制御部１１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。また、制御部１１１は、画像処理プログラムに従って、後述する画像処理工程において、画像取得手段２０、姿勢方向判定手段３０、被写体判定手段４０、判断手段５０、画像処理手段６０、報知手段７０などとして機能を実現するように構成されている。
【００２６】
記憶部１１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、撮影機能や画像処理機能を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１１３Ａや、本体装置１００が動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ１１３Ｂなどを有している。
【００２７】
通信部１１４は、撮影装置１０との間で各種のデータの送受信を行う。また、操作部１１５は、電源ボタン、レリーズボタン、露出やシャッタスピードなどの撮影条件を設定する設定ボタンなど、押しボタン式の各種のキーを備えたもので、制御部１１１は、この操作部１１５からの入力操作信号に応じた処理を実行したり、入力操作信号を撮影装置１０に対して送信したりする。
【００２８】
そして、タッチ表示部１１６は、高精細液晶などのディスプレイ１１６Ａの上にタッチパネル１１６Ｂを積層配置したもので、その表示画面は、撮影された画像をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。また、ディスプレイ１１６Ａに、撮影部１６の撮影画像Ｇ１、半天球画像ＧＧなどを、それぞれ個別に表示したり、並列して表示したりしてもよい。また、報知手段７０の報知メッセージを表示してもよい。
【００２９】
そして、これらの撮影装置１０及び本体装置１００は、無線通信を用いて互いにペアリング（無線接続認識）が可能になっている。ペアリングに用いる無線通信としては、例えば、無線ＬＡＮ（Ｗｉ−Ｆｉ）やＢｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信などが挙げられる。このようにして、本体装置１００は、撮影装置１０で撮影された画像（データ）を受信取得して、画像をライブビュー画像としてディスプレイ１１６Ａに表示する。なお、本実施形態において、画像とは、保存済みの画像に限らず、ライブビュー画面に表示されている画像（ライブビュー画像：保存前の画像）を含む広義の意味である。
【００３０】
図３は、撮影装置１０の、（ａ）上向き姿勢ＶＳ、（ｂ）横向き姿勢ＨＳを示す概略図である。
撮影装置１０を用いて撮影する場合、撮影装置１０が上向き姿勢ＶＳ又は横向き姿勢ＨＳであるとして、広角画像がそれぞれ処理される。上向き姿勢ＶＳは、図３（ａ）に示すように、撮影装置１０の正面中央部に配置した魚眼レンズ１６Ｂの光軸Ｃ１方向が重力方向（地面方向）と一致する（又は許容角度範囲内となる）姿勢であり、一方、横向き姿勢ＨＳは、図３（ｂ）に示すように、撮影装置１０の魚眼レンズ１６Ｂの光軸Ｃ１方向が重力方向に対して直交する（又は許容角度範囲内となる）姿勢である。なお、上向き姿勢ＶＳには、魚眼レンズ１６Ｂの光軸Ｃ１方向が地面方向を向く下向き姿勢も含まれる。また、各許容角度範囲は、例えば、±５度から±４５度である。
【００３１】
ここで、撮影装置１０を用いて、垂直撮り（横向き姿勢ＨＳ）した場合について、撮影範囲などを説明する。
図４は、（ａ）撮影装置１０の撮影範囲、（ｂ）ディスプレイ１１６Ａに表示される広角画像、（ｃ）球面座標系で表現した広角画像を示す概略図である。
【００３２】
撮影部１６の撮影範囲は、図４（ａ）に示すように、撮影地点（撮影素子１６Ｃ）から略半球分の方位を含む範囲となる。なお、撮影部１６の光軸Ｃ１の軸回りの回転角を回転角度θ１、光軸Ｃ１に直交する軸Ｃ２の軸回りの回転角を回転角度θ２、光軸Ｃ１に対する左右水平方向の回転角を水平角度δ、光軸Ｃ１に対する上下垂直（重力）方向の回転角を垂直角度φとする。なお、一般的な水平角度δ及び垂直角度φの最大範囲は、−９０°〜＋９０°を超え、−１０５°〜＋１０５°程度である（又は、１８０°を超え、２１０°程度）。
【００３３】
また、撮影画像Ｇ１を、広角画像としてディスプレイ１１６Ａに表示すると、撮影画像Ｇ１は、図４（ｂ）に示すように、光軸Ｃ１に対する入射角度、すなわち垂直角度φに対応した像高ｈで画像が生成され、表示される。なお、像高ｈと、入射角度φとの関係は、投影モデルに応じた射影関数で決定される。
【００３４】
さらに、撮影画像Ｇ１を球面座標系で表現すると、図４（ｃ）に示すように、回転角度θ１と、垂直角度φと、を座標とする配列、つまり、座標値（θ１，φ）として表現できる。なお、回転角度θ１は、０°〜３６０°（又は、−１８０°〜＋１８０°）の範囲となり、垂直角度φは、−９０°〜＋９０°（又は、０〜１８０°）の範囲となる。また、符号Ｅは、撮影画像Ｇ１を半球の広角画像として処理する場合の範囲であり、符号Ｒ１は、後述する中央領域を示す。
【００３５】
図５は、（ａ）横向き画像処理した横向き画像Ｇ１１、（ｂ）上向き画像処理した上向き画像Ｇ１２の表示状態を示す概略図である。
撮影された画像Ｇ１に横向き画像処理して、横向き画像Ｇ１１とし、広角画像で表現すると、図５（ａ）のように、光軸Ｃ１に直交する軸Ｃ２を中心に回転するような表示が可能になる。なお、回転角度θ１を０°、４５°、９０°とする。
【００３６】
一方、撮影された画像Ｇ１に上向き画像処理して、上向き画像Ｇ１２とし、広角画像で表現すると、図５（ｂ）のように、光軸Ｃ１を中心に回転するような表示が可能になる。なお、回転角度θ１を０°、９０°、１８０°とする。
【００３７】
ここで、撮影装置１０を横向き姿勢ＨＳとして、被写体Ａを撮影し、撮影画像Ｇ１を上向き画像処理すると、ユーザは、被写体Ａを軸Ｃ２の軸回りに回転させる意図であったが、光軸Ｃ１の軸回りに回転させる上向き画像処理がされているため、ユーザの意図と不一致になり、再度撮影し直す必要があり、ユーザにストレスを与えることになるし、場合によっては、再度撮影できる機会が得られない場合もある。
【００３８】
そこで、本実施形態では、撮影画像Ｇ１に対して、以下の姿勢判定及び画像処理を行って、撮影装置の姿勢判定の精度を向上させ、意図したとおりの横向き画像Ｇ１１又は上向き画像Ｇ１２を取得できるようにしている。
【００３９】
姿勢判定処理及び画像処理工程について説明する。
図６は、姿勢判定処理及び画像処理工程を示すフローチャート図である。
【００４０】
まず、ステップＳ１において、撮影装置１０を、被写体Ａや風景などを撮影することが可能な状態、つまり、スタンバイ状態にする。
【００４１】
ステップＳ２において、画像取得手段２０は、撮影素子１６Ｃに結像された撮影画像Ｇ１を取得し、姿勢方向判定手段３０は、姿勢検出部１８の姿勢データＤ１０を取得する。
【００４２】
ステップＳ３において、姿勢方向判定手段３０は、姿勢データＤ１０に基づいて、撮影装置１０の撮影姿勢（方向）を判定する。
【００４３】
ステップＳ４において、判定の結果、撮影姿勢が上向き姿勢ＶＳでない場合、ステップＳ５に進む。
【００４４】
ステップＳ５において、被写体判定手段４０は、目的の被写体Ａ（特に、人物の顔）が、撮影画像Ｇ１の所定の領域Ｒ、例えば、中央領域Ｒ１や、垂直角度φが０°未満の領域などに存在するか否かを判定する（以降、所定の領域Ｒは、中央領域Ｒ１であるとして説明を続ける）。この被写体判定手段４０の被写体Ａの判定アルゴリズムには、公知の技術を採用することができる。
【００４５】
なお、中央領域Ｒ１は、広角画像で表現した場合に、光軸Ｃ１又は軸Ｃ２が通過する点を含み、所定の像高ｈを半径とする円形の範囲であり、例えば、撮影部１６の撮影範囲の１／４から１／１６程度の面積であることが好ましい（図４（ｂ）参照）。ただし、中央領域Ｒ１は、円形に限られず、多角形であってもよく、光軸Ｃ１又は軸Ｃ２が通過する点を含まなくてもよい。あるいは、被写体Ａの一部が、光軸Ｃ１又は軸Ｃ２と重なるような範囲に存在するときに、所定の領域Ｒに存在すると判定することもできる。
【００４６】
ステップＳ６において、判定の結果、被写体Ａが中央領域Ｒ１に存在する場合、ステップＳ７に進む。
【００４７】
ステップＳ７において、判断手段５０は、撮影画像Ｇ１が横向き姿勢ＨＳで撮影された画像であると判断し、ステップＳ８に進む。
【００４８】
ステップＳ８において、画像処理の許可が得られたか否かを判定し、画像処理の許可が得られるとステップＳ９に進む。この画像処理の許可には、ライブビューを利用しての撮影であれば、シャッターボタンや画像記録ボタンなどの押し下げ操作が相当し、記録媒体に記録済みの画像であれば、画像処理開始ボタンなどの押し下げ操作が相当する。
【００４９】
ステップＳ９において、画像処理手段６０は、撮影画像Ｇ１を横向き画像Ｇ１１として画像処理を行う。
【００５０】
ここで、ステップＳ６に戻って、判定の結果、被写体Ａが中央領域Ｒ１に存在しない場合、ステップＳ７１に進む。
【００５１】
ステップＳ７１において、報知手段７０は、撮影姿勢が横向き姿勢ＨＳであると報知し、画像処理の許可を得るステップＳ８に進む。
【００５２】
さらに、ステップＳ４に戻って、判定の結果、撮影姿勢が上向き姿勢ＶＳである場合、ステップＳ７２に進む。
【００５３】
ステップＳ７２において、報知手段７０は、撮影姿勢が上向き姿勢ＶＳであると報知し、ステップＳ８２に進む。
【００５４】
ステップＳ８２において、画像処理の許可が得られたか否かを判定し、画像処理の許可が得られるとステップＳ９２に進む。
【００５５】
ステップＳ９２において、画像処理手段６０は、撮影画像Ｇ１を上向き画像Ｇ１２として画像処理を行う。
【００５６】
このようにして、撮影画像Ｇ１は、撮影時の姿勢方向や、被写体Ａの存在位置が判定され、撮影条件に応じた画像処理が行われるため、ユーザが意図したとおりの横向き画像Ｇ１１又は上向き画像Ｇ１２を得ることができる。
【００５７】
ただし、上向き姿勢ＶＳで撮影されたものでなく、撮影画像Ｇ１の所定の領域Ｒに被写体Ａが存在すると判定したときに、少なくとも横向き姿勢ＨＳと判断し、横向き画像処理の設定が自動的に行われればよく、例えば、ステップＳ７１やステップＳ７２で、撮影姿勢を報知するとともに、エラーも報知して、次のステップＳ８又はステップＳ８２に進まないようにしてもよい。
【００５８】
また、上記フローでは、ステップＳ３で撮影姿勢方向の判定を行った後に、ステップＳ５で被写体Ａの存否の判定を行っているが、撮影姿勢方向の判定を行う前から（あるいは、スタンバイ状態から）、被写体Ａの存否の判定を行い続けるようなフローであってもよい。
【００５９】
以上、説明したとおり、本実施形態の電子機器１は、撮影画像Ｇ１が上向き姿勢ＶＳで撮影されたものであるのか否かを判定する姿勢方向判定手段３０と、撮影画像Ｇ１の所定の領域Ｒに目的の被写体Ａが存在するか否かを判定する被写体判定手段４０と、姿勢方向判定手段３０により、撮影画像Ｇ１が上向き姿勢ＶＳで撮影されたものではないと判定され、かつ、被写体判定手段４０により、目的の被写体Ａが所定の領域Ｒに存在すると判定された場合に、撮影画像Ｇ１が横向き姿勢ＨＳで撮影された画像であると判断する判断手段５０と、を備えるものである。
【００６０】
このように、撮影画像Ｇ１が上向き姿勢ＶＳで撮影されたものであるのか否かを判定し、さらに、撮影画像Ｇ１の所定の領域Ｒに目的の被写体Ａが存在するか否かを判定することで、撮影画像Ｇ１が横向き姿勢ＨＳで撮影された画像であると判断するか、撮影画像Ｇ１が上向き姿勢ＶＳで撮影された画像であると判断することができる。また、姿勢検出部１８の測定値に機械偏差や測定誤差があっても、所望の撮影姿勢でないと判断されることも抑制できる。
【００６１】
実施形態では、判断手段５０により撮影画像Ｇ１が横向き姿勢ＨＳで撮影された画像であると判断された場合、撮影画像Ｇ１を横向き姿勢ＨＳで撮影された横向き画像Ｇ１１として画像処理を行う画像処理手段６０を備える。これにより、判断手段５０の判断に応じて、撮影画像Ｇ１に対して、横向き画像Ｇ１１又は上向き画像Ｇ１２の画像処理を行うことができるため、ユーザ（撮影者）の意図をより的確に反映した画像処理を行うことができる。
【００６２】
実施形態では、所定の領域Ｒは、撮影画像Ｇ１の中央領域Ｒ１である。これにより、人物などの被写体Ａは、一般的に撮影画像Ｇ１の中央に位置するように撮影するため、中央領域Ｒ１における被写体Ａの存在を判定することで、ユーザ（撮影者）の意図をより的確に反映した画像処理を行うことができる。
【００６３】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る電子機器、画像処理方法及びプログラムは、上述した実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変化が可能である。
【００６４】
そこで、第２実施形態の電子機器１について説明する。第２実施形態の電子機器１では、姿勢判定処理及び画像処理工程が上記実施形態と異なるだけで、撮影装置１０及び本体装置１００の構造自体に異なる点がないため、第２実施形態における姿勢判定処理及び画像処理工程について説明する。
【００６５】
図７は、第２実施形態における撮影装置１０の、（ａ）上向き姿勢ＶＳ、（ｂ）横向き姿勢ＨＳ、（ｃ）上向き画像Ｇ１２として処理する場合の斜め向き姿勢ＣＳ、（ｄ）横向き画像Ｇ１１として処理する場合の斜め向き姿勢ＣＳを示す概略図である。図８は、第２実施形態における姿勢判定処理及び画像処理工程を示すフローチャート図である。
【００６６】
上記実施形態では、撮影姿勢が上向き姿勢ＶＳ又は横向き姿勢ＨＳであったが、第２実施形態では、斜め向き姿勢ＣＳも判定される。斜め向き姿勢ＣＳは、図７（ｃ），（ｄ）に示すように、撮影装置１０の正面中央部に配置した魚眼レンズ１６Ｂの光軸Ｃ１方向と重力方向とが交差する姿勢である。ここで、各姿勢の範囲は、姿勢検出部１８の姿勢データＤ１０の測定値に対する上下の閾値が範囲設定されており、測定値がその範囲にあるときに、斜め向き姿勢ＣＳと判定する。そして、例えば、上向き姿勢ＶＳが、光軸Ｃ１方向が重力方向に対して、１５°以内であり、斜め向き姿勢ＣＳが１５°から７５°であり、横向き姿勢ＨＳが７５°から９０°以下などに設定される。
【００６７】
このとき、斜め向き姿勢ＣＳにおいても、上向き画像処理と横向き画像処理とを入れ違えて画像処理を行うと、ユーザの意図との不一致がおきる。そこで、第２実施形態でも、撮影画像Ｇ１に対して、以下の姿勢判定及び画像処理を行って、撮影装置の姿勢判定の精度を向上させ、意図したとおりの横向き画像Ｇ１１又は上向き画像Ｇ１２（ただし、図７（ｃ）では、本来下向き画像となるが、下向き姿勢は、上向き姿勢ＶＳに含まれるため。）を取得できるようにしている。
【００６８】
第２実施形態における画像処理工程について説明する。
図８は、第２実施形態における姿勢判定処理及び画像処理工程を示すフローチャート図である。
【００６９】
まず、ステップＳ１１において、撮影装置１０を、被写体Ａや風景などを撮影することが可能な状態、つまり、スタンバイ状態にする。
【００７０】
ステップＳ１２において、画像取得手段２０は、撮影素子１６Ｃに結像された撮影画像Ｇ１を取得し、姿勢方向判定手段３０は、姿勢検出部１８の姿勢データＤ１０を取得する。
【００７１】
ステップＳ１３において、姿勢方向判定手段３０は、姿勢データＤ１０に基づいて、撮影装置１０の撮影姿勢（方向）を判定する。
【００７２】
ステップＳ１４において、判定の結果、撮影姿勢が上向き姿勢ＶＳでない場合、ステップＳ１５に進む。
【００７３】
さらに、ステップＳ１５において、判定の結果、撮影姿勢が斜め向き姿勢ＣＳである場合、ステップＳ１６に進む。
【００７４】
ステップＳ１６において、被写体判定手段４０は、目的の被写体Ａが、撮影画像Ｇ１の中央領域Ｒ１に存在するか否かを判定する。
【００７５】
ステップＳ１７において、判定の結果、被写体Ａが中央領域Ｒ１に存在する場合、ステップＳ１８に進む。
【００７６】
ステップＳ１８において、判断手段５０は、撮影画像Ｇ１が横向き姿勢ＨＳで撮影された画像であると判断し、ステップＳ１９に進む。
【００７７】
ステップＳ１９において、画像処理の許可が得られたか否かを判定し、画像処理の許可が得られるとステップＳ２０に進む。
【００７８】
ステップＳ２０において、画像処理手段６０は、撮影画像Ｇ１を横向き画像Ｇ１１として画像処理を行う。
【００７９】
ここで、ステップＳ１７に戻って、判定の結果、被写体Ａが中央領域Ｒ１に存在しない場合、ステップＳ１８１に進む。
【００８０】
ステップＳ１８１において、報知手段７０は、撮影姿勢が斜め向き姿勢ＣＳであると報知し、画像処理の許可を得るステップＳ１９に進む。
【００８１】
さらに、ステップＳ１５に戻って、判定の結果、撮影姿勢が斜め向き姿勢ＣＳでない場合、ステップＳ１６２に進む。
【００８２】
ステップＳ１７２において、判定の結果、被写体Ａが中央領域Ｒ１に存在する場合、ステップＳ１８２に進む。
【００８３】
ステップＳ１８２において、判断手段５０は、撮影画像Ｇ１が横向き姿勢ＨＳで撮影された画像であると判断し、ステップＳ１９２に進む。
【００８４】
ステップＳ１９２において、画像処理の許可が得られたか否かを判定し、画像処理の許可が得られると、横向き画像処理を行うステップＳ２０に進む。
【００８５】
一方、ステップＳ１７２において、判定の結果、被写体Ａが中央領域Ｒ１に存在しない場合、ステップＳ１８３に進む。
【００８６】
ステップＳ１８３において、報知手段７０は、撮影姿勢が横向き姿勢ＨＳであると報知し、画像処理の許可を得るステップＳ１９２に進む。
【００８７】
さらに、ステップＳ１４に戻って、判定の結果、撮影姿勢が上向き姿勢ＶＳである場合、ステップＳ１８４に進む。
【００８８】
ステップＳ１８４において、報知手段７０は、撮影姿勢が上向き姿勢ＶＳであると報知し、ステップＳ１９４に進む。
【００８９】
ステップＳ１９４において、画像処理の許可が得られたか否かを判定し、画像処理の許可が得られるとステップＳ２０４に進む。
【００９０】
ステップＳ２０４において、画像処理手段６０は、撮影画像Ｇ１を上向き画像Ｇ１２として画像処理を行う。
【００９１】
このように第２実施形態の姿勢判定処理及び画像処理であっても、撮影時の姿勢方向や、被写体Ａの存在位置が判定され、撮影条件に応じた画像処理が行われるため、ユーザが意図したとおりの横向き画像Ｇ１１又は上向き画像Ｇ１２を得ることができる。また、撮影姿勢が、上向き姿勢ＶＳ、横向き姿勢ＨＳ又は斜め向き姿勢ＣＳのいずれかであるかを精度よく判定することができる。さらに、姿勢検出部１８の測定値に機械偏差や測定誤差があっても、所望の撮影姿勢でないと判断されることも抑制できる。
【００９２】
以上、本発明の好ましい各実施形態について詳述したが、本発明に係る電子機器、画像処理方法及びプログラムは、上述した各実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変化が可能である。
【００９３】
（変形例）
上記各実施形態では、上向き画像処理又は横向き画像処理する際して、撮影範囲から撮影画像Ｇ１を、円形の広角画像として切り取る画像処理も行ったが、矩形画像を得るように、撮影範囲から画像を矩形状に切り取る画像処理や、横長のパノラマ画像を得るように、撮影範囲から画像をリング状に切り取る画像処理などを行ってもよい。
【００９４】
また、上向き画像処理又は横向き画像処理には、光軸Ｃ１又は軸Ｃ２の回転軸の設定以外に、ポートレートモードや風景モードなどの撮影モード（撮影シーン）の付加設定、明るさ（露出）の設定、ホワイトバランスの設定なども含まれてもよい。
【００９５】
さらに、上記各実施形態では、被写体判定手段４０は、目的の被写体Ａが、撮影画像Ｇ１の所定の領域Ｒとしての中央領域Ｒ１にあるかどうかを判定していたが、それに限らず、例えば、所定の領域Ｒを撮影画角全体領域と定義して、目的の被写体Ａが撮影画像G１に存在するか否かを判定してもよい。
【００９６】
あるいは、上記各実施形態では、姿勢方向判定手段３０は、撮影画像Ｇ１が上向き姿勢ＶＳで撮影されたものであるのかを判定したが、さらに、撮影画像Ｇ１が横向き姿勢ＨＳで撮影されたものであるのかを判定してもよい。姿勢方向判定手段３０が横向き姿勢ＨＳも判定することで、判断手段５０の判断精度を向上させることができる。
【００９７】
上記各実施形態では、電子機器１は、撮影装置１０と本体装置１００とが分離可能なセパレート型であったが、撮影装置１０と本体装置１００とが分離不能な一体型であってもよい。
【００９８】
上記各実施形態では、電子機器１で画像処理用プログラムを動作させたが、画像処理用プログラムは、パソコンやスマートフォンなどに、アプリケーションソフトとしてインストールされてもよい。
【００９９】
また、以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
＜請求項１＞
撮影画像が上向き姿勢で撮影されたものであるのかを判定する姿勢方向判定手段と、
前記撮影画像の所定の領域に、目的の被写体が存在するのかを判定する被写体判定手段と、
前記姿勢方向判定手段により、前記撮影画像が上向き姿勢で撮影されたものではないと判定され、かつ、前記被写体判定手段により、前記目的の被写体が前記所定の領域に存在すると判定された場合に、前記撮影画像が横向き姿勢で撮影された画像であると判断する判断手段と、を備える
ことを特徴とする電子機器。
＜請求項２＞
前記姿勢方向判定手段は、前記撮影画像が横向き姿勢で撮影されたものであるのかを更に判定する
ことを特徴とする請求項１に記載の電子機器。
＜請求項３＞
前記姿勢方向判定手段は、撮影画像が上向き姿勢でも横向き姿勢でもない、斜め向き姿勢で撮影されたものであるのかを判定し、
前記判断手段は、前記姿勢方向判定手段により、前記撮影画像が斜め向き姿勢で撮影されたものであると判定され、かつ、前記被写体判定手段により、前記目的の被写体が前記所定の領域に存在すると判定された場合に、前記撮影画像が横向き姿勢で撮影された画像であると判断する
ことを特徴とする請求項１又は２に記載の電子機器。
＜請求項４＞
前記判断手段により前記撮影画像が横向き姿勢で撮影された画像であると判断された場合、前記撮影画像を横向き姿勢で撮影された画像として画像処理を行う画像処理手段を備える
ことを特徴とする請求項１乃至３の何れか１項に記載の電子機器。
＜請求項５＞
前記撮影画像として広角画像を取得する画像取得手段を備える
ことを特徴とする請求項１乃至４の何れか１項に記載の電子機器。
＜請求項６＞
前記所定の領域は、前記撮影画像のうちの部分領域である
ことを特徴とする請求項１乃至５の何れかに１項に記載の電子機器。
＜請求項７＞
前記所定の領域は、前記撮影画像の中央領域である
ことを特徴とする請求項６に記載の電子機器。
＜請求項８＞
前記被写体は顔である
ことを特徴とする請求項１乃至７の何れか１項に記載の電子機器。
＜請求項９＞
電子機器の画像処理方法であって、
撮影画像が上向き姿勢で撮影されたものであるのかを判定する姿勢方向判定ステップと、
前記撮影画像の所定の領域に、目的の被写体が存在するのかを判定する被写体判定ステップと、
前記姿勢方向判定ステップにより、前記撮影画像が上向き姿勢で撮影されたものではないと判定され、かつ、前記被写体判定ステップにより、前記目的の被写体が前記所定の領域に存在すると判定された場合に、前記撮影画像が横向き姿勢で撮影された画像である判断する判断ステップと、を含む
ことを特徴とする画像処理方法。
＜請求項１０＞
電子機器の画像処理用プログラムであって、
コンピュータに、
撮影画像が上向き姿勢で撮影されたものであるのかを判定する姿勢方向判定機能と、
前記撮影画像の所定の領域に目的の被写体が存在するのかを判定する被写体判定機能と、
前記姿勢方向判定機能により、前記撮影画像が上向き姿勢で撮影されたものではないと判定され、かつ、前記被写体判定機能により、前記目的の被写体が前記所定の領域に存在すると判定された場合に、前記撮影画像が横向き姿勢で撮影された画像であると判断する判断機能と、を実現させる
ことを特徴とするプログラム。
【符号の説明】
【０１００】
１      電子機器
１０    撮影装置
１００  本体装置
２０    画像取得手段
３０    姿勢方向判定手段
４０    被写体判定手段
５０    判断手段
６０    画像処理手段
７０    報知手段
Ｇ１    撮影画像、Ｇ１１  横向き画像、Ｇ１２  上向き撮影画像
Ａ      被写体
Ｒ      領域、Ｒ１  中央領域
ＨＳ    横向き姿勢、ＶＳ  上向き姿勢、ＣＳ  斜め向き姿勢
【図１】
2019062461.tif 000003
【図２】
2019062461.tif 000004
【図３】
2019062461.tif 000005
【図４】
2019062461.tif 000006
【図５】
2019062461.tif 000007
【図６】
2019062461.tif 000008
【図７】
2019062461.tif 000009
【図８】
2019062461.tif 000010