(57)【要約】  好適な構図に補正した補正画像を容易に出力することができる画像処理装置、画像撮像装置、画像処理方法、およびプログラムを提供する。画像処理装置（１）は、第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する入力部（２）と、第一の画像から主要被写体となる第一の被写体を検出する検出部（３）と、第二の画像において第一の被写体に対応する第二の被写体が主要被写体となる構図に、第二の画像を補正した補正画像を出力する構図補正部（４）と、を備えている。
2019093090.tif 000002
【特許請求の範囲】
【請求項１】
第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、を備えていることを特徴とする画像処理装置。
【請求項２】
前記構図補正部は、前記第一の画像における前記第一の被写体の位置に基づいて、前記第二の画像を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記構図補正部は、前記第二の画像から前記補正画像への補正量が閾値未満となる場合には、当該補正画像を出力しないことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記構図補正部は、前記補正画像の画素数が閾値未満となる場合には、当該補正画像を出力しないことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記構図補正部は、前記第一の画像に応じて、前記補正画像を出力せずに、前記第一の画像を補正した画像を出力することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記構図補正部は、前記第二の画像内における前記第二の被写体の画素の状態に応じて、前記補正画像を出力するか、または、出力しないことを特徴とする、請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記構図補正部は、前記第二の画像内における前記第二の被写体の合焦度に応じて、前記補正画像を出力するか、または、出力しないことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記構図補正部は、前記第二の画像内における前記第二の被写体の動きボケ量に応じて、前記補正画像を出力するか、または、出力しないことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記構図補正部は、前記第二の画像内における前記第二の被写体の明るさに応じて、前記補正画像を出力するか、または、出力しないことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記第一の被写体は顔であることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
第一の画像を撮像する第一の撮像部と、
前記第一の画像よりも画角が広い第二の画像を撮像する第二の撮像部と、
前記第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、
前記補正画像を表示する表示部と、を備えていることを特徴とする画像撮像装置。
【請求項１２】
第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得ステップと、
前記第一の画像から主要被写体となる第一の被写体を検出する検出ステップと、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正ステップと、を含むことを特徴とする画像処理方法。
【請求項１３】
請求項１から１０のいずれか１項に記載の画像処理装置としてコンピュータを機能させるためのプログラムであって、前記取得部、前記検出部および前記構図補正部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
本願は、２０１７年１１月１０日に、日本に出願された特願２０１７−２１７５４０に優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
撮影した画像から主要被写体を推定し、当該画像の一部を切り出すことにより構図を補正する画像処理装置が知られている。【０００３】
また、画角の異なる複数の撮像部を搭載した画像処理装置では、１回の撮影で望遠画像および広角画像を取得することができる。【０００４】
特許文献１には、画角が異なる２つの撮像部を備え、表示部に表示された広角画像における切り出し範囲をユーザが変更することにより、望遠画像と、広角画像から被斜体が含まれるように切り出されたトリミングワイド画像とを取得する撮像装置および撮像方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２１１５５２号（２０１１年１０月２０日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された撮像装置および撮像方法によれば、広角画像における切り出し範囲は、一方の撮像部の焦点距離（撮影倍率）によってサイズが決定され、位置はユーザが調整する必要がある。つまり、撮影するシーンによって、焦点距離から自動で決定されたサイズではないサイズの方が、より好適な切り出しサイズである場合がある。また、ユーザの構図に関する知識が不十分であったり、ユーザによる切り出し位置の調整が不十分であったりする場合は、好適な構図のトリミングワイド画像（補正画像）とならない可能性がある。【０００７】
そこで、本発明は上記課題を鑑みて、好適な構図に補正した補正画像を容易に出力することができる画像処理装置、画像撮像装置、画像処理方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、を備えていることを特徴とする。【０００９】
本発明の一態様に係る画像撮像装置は、第一の画像を撮像する第一の撮像部と、前記第一の画像よりも画角が広い第二の画像を撮像する第二の撮像部と、前記第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、前記補正画像を表示する表示部と、を備えている。【００１０】
本発明の一態様に係る画像処理方法は、第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得ステップと、前記第一の画像から主要被写体となる第一の被写体を検出する検出ステップと、前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正ステップと、を含むことを特徴とする。
【発明の効果】
【００１１】
本発明の一態様によれば、好適な構図に補正した補正画像を容易に出力することができる画像処理装置、画像撮像装置、画像処理方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第一の実施形態に係る画像処理装置の概略構成の一例を示すブロック図である。
【図２】シンメトリ構図の一例を説明するための図である。
【図３】三分割構図の一例を説明するための図である。
【図４】日の丸構図の一例を説明するための図である。
【図５】対角線構図の一例を説明するための図である。
【図６】三角構図の一例を説明するための図である。
【図７】望遠画像を用いた構図の補正の一例を説明するための図である。
【図８】構図補正部による広角画像の構図の選択の一例について説明するための図である。
【図９】構図補正部による広角画像の構図の選択の一例について説明するための図である。
【図１０】本発明の第一の実施形態に係る画像処理装置による画像処理の一例を説明するためのフローチャートである。
【図１１】本発明の第二の実施形態に係る画像処理装置による画像処理の一例を説明するためのフローチャートである。
【図１２】本発明の第二の実施形態に係る画像処理装置の変形例の概略構成を示すブロック図である。
【図１３】本発明の第三の実施形態に係る画像処理装置による画像処理の一例を説明するためのフローチャートである。
【図１４】本発明の第四の実施形態に係る画像処理装置による画像処理の一例を説明するためのフローチャートである。
【図１５】本発明の第五の実施形態に係る画像撮像装置の概略構成の一例を示すブロック図である。
【図１６】本発明の第五の実施形態に係る画像撮像装置による画像処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
本発明に係る各実施形態について、添付図面を参照することによって以下に詳細に説明する。各添付図面は、本発明の原理に則った具体的な実施形態を示すに過ぎない。これらは本発明の理解のために用意されたに過ぎず、決して本発明を限定的に解釈させるためのものではない。また、各添付図面に図示される各部材は、本発明の理解を深めるために敢えて誇張して記載されているので、実際の各部材の間隔および大きさとは異なることに留意すべきである。
【００１４】
以下の説明において、ある図面においてある部材に付された符号と同じ符号が他の図面内の同一の部材にも付されている場合、当該同一の部材の構成および機能などは当該ある部材と同一であるため、当該同一の部材についての詳細な説明を省略する。また、以下に記載される「画像」とは、静止画像および動画像の両方を含む意味のものである。さらに、動画像に音声情報が含まれる場合、「画像」は音声情報も含むものとする。
【００１５】
＜第一の実施形態＞
本発明の第一の実施形態に係る画像処理装置１について、図１〜１０を用いて以下に説明する。
【００１６】
〔画像処理装置１〕
図１は、本発明の第一の実施形態に係る画像処理装置１の構成を示す機能ブロック図である。図１に示すように、画像処理装置１は、入力部（取得部）２と検出部３と構図補正部４と出力部５とを備えている。本実施形態に係る画像処理装置１では、図１に示すように、入力部２には、第一の画像および第二の画像の画像情報が入力される。続いて、画像処理装置１の出力部５が、構図補正部４により第二の画像の構図が補正された補正画像（出力画像）を出力する。
【００１７】
ここで、第二の画像は、第一の画像よりも画角が広い広角の画像である。以下では、説明の簡略化のため、第一の画像を望遠画像、第二の画像を広角画像として扱うことにする。
【００１８】
［入力部２］
入力部２は、同一の被写体を撮影した画角の異なる複数の画像の画像情報が入力される。すなわち、入力部２は、望遠画像および広角画像を取得する。入力部２に入力される画像情報としては、撮像素子により撮影された画像情報および記憶部（不図示）に記憶された画像情報などを挙げることができる。
【００１９】
［検出部３］
検出部３は、望遠画像から主要被写体となる第一の被写体を検出する。本実施形態において、検出部３は、顔検出処理および特徴点抽出処理により第一の被写体を検出する。顔検出処理には、従来公知の方法を適用することができ、例えば、望遠画像内の肌色の領域を抽出することで顔を検出する方法、および、顔情報を示すデータとのマッチングをする方法を適用することができる。特徴点抽出処理には、例えば、エッジ検出、コーナー検出、および、直線検出などの画像の特徴点を抽出するための様々な処理を適用することができる。本実施形態に係る検出部３は、特に、主要被写体が顔である場合に、主要被写体を好適に検出できるため好ましい。
【００２０】
［構図補正部４］
構図補正部４は、望遠画像における第一の被写体の主要被写体情報を参照して広角画像の構図を補正することで補正画像を生成（出力）する。構図補正部４は、広角画像において第一の被写体に対応する第二の被写体が主要被写体となる所定の構図となるように、広角画像を補正した補正画像を出力する。これにより、好適な構図に補正した補正画像を容易に出力することができる。
【００２１】
また、構図補正部４は、当該補正を行うための広角画像の補正量を算出し、算出した補正量に基づいて広角画像の構図を補正することで補正画像を出力する。構図補正部４は、算出した補正量に基づいて補正画像を出力することで、より正確かつ好適に補正画像を出力することができる。
【００２２】
一態様において、構図補正部４は、望遠画像における第一の被写体の位置に基づいて、広角画像を補正することで補正画像を出力してもよい。望遠画像における第一の被写体の位置に基づいて広角画像の構図を所定の構図に補正することで、第二の構図における主要被写体である第二の被写体が広角画像からはみ出ずに好適な構図に補正した補正画像を出力することができる。
【００２３】
また、所定の構図としては、例えば、シンメトリ構図、三分割構図、日の丸構図、対角線構図および三角構図などが挙げられる。構図補正部４は、これらの構図のいずれかに広角画像の構図を補正することで、より好適な構図の補正画像を出力することができる。
【００２４】
（シンメトリ構図、三分割構図、日の丸構図、対角線構図および三角構図）
以下に、シンメトリ構図、三分割構図、日の丸構図、対角線構図および三角構図について図２〜６を用いて説明する。図２はシンメトリ構図の一例を説明するための図である。図３は三分割構図の一例を説明するための図である。図４は日の丸構図の一例を説明するための図である。図５は対角線構図の一例を説明するための図である。図６は三角構図の一例を説明するための図である。
【００２５】
図２に示すように、シンメトリ構図６は、第二の被写体７が画像中心線８に対して左右対称になる構図である。図３に示すように、三分割構図９は、画像を三分割に分割し、複数の分割線１０の交点である分割点１１のうちのいずれかの位置に、第二の被写体１２が配置される構図である。図４に示すように、日の丸構図１３は、画像の中心１４に第二の被写体１５が配置される構図である。図５に示すように、対角線構図１６は、画像内の第二の被写体１７〜１９およびエッジ２０が対角線上に配置される構図である。図６に示すように、三角構図２１は、画像内の第二の被写体２２およびエッジ２３が三角形状となるように配置される構図である。
【００２６】
構図補正部４は、広角画像から補正する補正画像の構図を、上述に想定される各構図の中から選択する。
【００２７】
構図補正部４は、例えば、想定される各構図における第二の被写体の位置が、各構図にとって好適な一であるかどうかを示す指標となるスコアとして算出し、各構図で算出したスコアを比較することによって、広角画像から補正する補正画像の構図を選択する。
【００２８】
構図補正部４は、シンメトリ構図６の場合には、画像中心線８に対する第二の被写体７の左右対称の度合いをマッチングすることで、すなわち、画像中心線８から第二の被写体７がどれだけ離れているかを測定することでスコアを算出する。
【００２９】
構図補正部４は、三分割構図９の場合には、第二の被写体１２の位置が複数の分割線１０の交点である複数の分割点１１のうち、最も第二の被写体１２に近い分割点１１からどれだけ離れているかを測定することでスコアを算出する。
【００３０】
構図補正部４は、日の丸構図１３の場合には、第二の被写体１５の位置が画像の中心１４からどれだけ離れているかを測定することでスコアを算出する。
【００３１】
構図補正部４は、対角線構図１６の場合には、第二の被写体１７〜１９が配置されるエッジ２０（対角線）の長さまたは対角線と第二の被写体１７〜１９との交点の数を測定することでスコアを算出する。
【００３２】
構図補正部４は、三角構図２１の場合には、第二の被写体２２の面積、形状、および重心位置を測定することでスコアを算出する。構図補正部４は、第二の被写体２２の面積が大きければ大きいほど高い値のスコアを算出する。構図補正部４は、第二の被写体２２の形状が正三角形または二等辺三角形に近ければ近いほど高い値のスコアを算出する。また、構図補正部４は、第二の被写体２２の重心位置が中央に近ければ近いほど高い値のスコアを算出する。
【００３３】
構図補正部４は、各構図で算出したスコアのうち、最も高いスコアの構図を、補正画像の構図として選択する。すなわち、構図補正部４は、広角画像における第二の被写体の位置が、各構図のうち、いずれの構図に最も適しているかどうかを判定し、補正画像に補正するための構図を選択する。これにより、好適な構図に補正した補正画像を容易に出力することができる。
【００３４】
ここで、最も高いスコアの構図が複数ある場合には、予め各構図に優先順位をつけておき、構図補正部４が優先順位の高い構図を選択するようにしてもよい。また、構図補正部４は、ユーザによって最も高いスコアの構図のうち、いずれの構図に補正するかを選択させてもよい。この場合、構図補正部４は、ユーザの選択した構図の情報を、例えば、入力部２を介して取得することができる。
【００３５】
なお、上述の例では、構図補正部４は、各構図で算出したスコアを比較することで補正画像の構図を選択しているが、本実施形態ではこれに限定されない。本実施形態では、構図補正部４は、各構図に優先順位をつけておき、優先する順番に、各構図で算出したスコアと予め設定された閾値とを比較して、ある構図で算出したスコアが閾値より高くなった時点で、当該構図を補正画像の構図として選択してもよい。これにより、ユーザが希望する構図であり、かつ、好適な構図に補正した補正画像を出力することができる。
【００３６】
なお、上述の例において、構図補正部４は、広角画像を必要に応じて回転させながら構図を選択し、その一部を切り出すことにより補正画像を生成してもよい。この場合、構図補正部４は、補正前の広角画像に対する回転量Ｘ１、切り出し位置Ｘ２および範囲Ｘ３を変更しながら、最もスコアの高くなる回転量Ｘ１、切り出し位置Ｘ２および範囲Ｘ３の構図を選択してもよい。
【００３７】
（構図の補正）
構図補正部４は、選択した構図に広角画像を補正した後に想定される第二の被写体の位置および範囲などから、補正前の広角画像における第二の被写体の位置からの補正量を算出し、当該補正量に基づいて補正画像を出力する。ここでいう補正量とは、広角画像の回転量Ｙ１、並進量Ｙ２および範囲の補正量Ｙ３のことを意味する。回転量Ｙ１とは、補正前の広角画像における第二の被写体の位置から構図補正後の第二の被写体の位置に移動するための広角画像の回転量Ｙ１を意味する。並進量とは、構図補正前の第二の被写体の位置から、構図補正後の第二の被写体の位置に移動するための並進量を意味する。範囲とは、構図補正前の広角画像に対する構図補正後の広角画像の範囲、または、縦および横の画素数の補正量を意味する。
【００３８】
構図補正部４は、これらの補正量となり得る少なくとも一つ以上の要素に基づいて補正画像を出力する。
【００３９】
なお、構図補正部４は、回転量Ｙ１、並進量Ｙ２、範囲の補正量Ｙ３はそれぞれ、選択した構図の広角画像からの回転量Ｘ１、切り出し位置Ｘ２および範囲Ｘ３から算出する。例えば、構図補正部４は、回転量Ｙ１の値をＸ１、並進量Ｙ２の値を−Ｘ２、範囲の補正量Ｙ３の値を、補正前の画像サイズに対する範囲Ｘ３のサイズの差分値として算出してもよい。
【００４０】
ここで、第一画像、すなわち、望遠画像は、第一の被写体が拡大されて撮影されるため、第一の被写体が画像端に存在したり、第一の被写体全体が画像内に存在しなかったりする場合がある。望遠画像に対する構図補正処理において、第一の被写体が画像端に存在する場合、および、第一の被写体全体が画像内に存在しない場合は、十分な構図補正効果を得ることができない。以下に図７を用いて望遠画像に構図補正処理を行う場合の例を説明する。図７は、望遠画像を用いた構図の補正の一例を説明するための図である。図７に示すように、望遠画像の画像範囲が画像範囲２４である場合、被写体（第一の被写体）２５は画像端にあるため、並進を十分に行うことができないため、十分な構図補正効果を得ることができない。
【００４１】
一方、広角画像では、複数の被写体が画像内に存在する場合がある。広角画像に対して構図補正処理を行う場合、複数の被写体が存在すると、検出部３によって顔検出または特徴点検出されて推定された主要被写体に基づいて補正を行うことになる。そのため、ユーザが意図した主要被写体とは異なる被写体に対して、構図補正処理が行われる可能性がある。例えば、図７において、広角画像の画像範囲がシーン全体の画像範囲２７である場合、ユーザが意図した主要被写体は被写体２５であるのに対し、主要被写体を被写体２６として構図を補正する可能性がある。
【００４２】
これに対し、本実施形態に係る画像処理装置１では、望遠画像および広角画像は同一のシーンが撮影されており、構図補正部４は、望遠画像において第一の被写体および構図の解析を行ってから、広角画像において構図の補正を行う。このように、望遠画像および広角画像において同一のシーンが撮影されている場合、望遠画像として撮影される画像内の被写体が第一の被写体と推定される。また、構図補正部４は、望遠画像内の被写体と同一の被写体である広角画像内の被写体を、望遠画像内の被写体に対応する位置に配置するように構図補正を行う。
【００４３】
これにより、そのシーンにおいてユーザが意図する主要被写体である第２の被写体が好適な位置に配置されるように適切な構図補正を行った補正画像を出力することができる。また、広角画像の方が切り出し範囲の自由度が高く、第２の被写体が画角外になる可能性が低くなるため、ユーザが調整しなくても、構図補正部４が広角画像の構図を容易かつ好適に出力することができる。
【００４４】
（構図の補正の具体例）
以下に、構図補正部４による構図の補正の具体例について図７〜図９を用いて説明する。まず、検出部３は、図７の画像範囲２４の望遠画像において、顔検出または特徴点検出によりユーザが意図する第一の被写体を被写体２５であるように推定する。この場合、構図補正部４は、被写体２５の領域を示す情報を主要被写体情報とする。次に、構図補正部４は、被写体２５の主要被写体情報を参照し、広角画像の構図を補正する。構図補正部４は、望遠画像における第一の被写体である被写体２５に対応する、広角画像における第二の被写体が好適に配置される構図を選択する。
【００４５】
以下、構図補正部４による、第二の被写体が好適に配置される構図の選択例について図８および図９を用いて説明する。図８および９は、構図補正部４による広角画像の構図の選択の一例について説明するための図である。例えば、図８に示すように、第二の被写体である被写体２８が三分割構図２９の構図線である点線３０に近い位置にある場合には、構図補正部４は、三分割構図２９を補正画像の構図として優先的に選択する。一方、図９に示すように、第二の被写体である被写体３１の重心が画像の中心３２付近に配置される場合には、構図補正部４は、日の丸構図３３を補正画像の構図として優先的に選択する。
【００４６】
上述の例では、構図補正部４は、望遠画像から主要被写体情報を算出しているが、望遠画像における第一の被写体に基づいて、広角画像から主要被写体情報を算出してもよい。このような構成によっても上述の構成と同様の効果が得られる。例えば、構図補正部４は、望遠画像および広角画像の撮影条件に基づいて、広角画像内のうち、望遠画像が撮影された範囲における被写体を第一の被写体に対応する主要被写体と推定してもよい。そして、構図補正部４は、主要被写体の解析をしたり、被写体解析の結果に重み付けをしたりしてもよい。また、構図補正部４は、望遠画像を広角画像内でマッチングすることにより、広角画像内における望遠画像が撮影された範囲を推定し、推定された範囲で被写体解析をしたり、被写体解析の結果に重み付けをしたりしてもよい。
【００４７】
また、主要被写体情報は、複数の被写体の重要度を示す情報を含んでいてもよい。例えば、複数の被写体がある場合、構図補正部４は、当該複数の被写体の重要度を示す情報を参照し、最も重要度の高い被写体を第二の被写体とみなすことができる。また、構図補正部４は、重要度の高い被写体が画像内の好適な位置に配置され、重要度が低い被写体も画像内に配置される構図を選択することで、複数の被写体に対応した構図補正を行うことができる。なお、主要被写体情報に、望遠画像に第一の被写体が存在しないという情報が含まれていた場合、構図補正部４は、広角画像内で主要被写体解析を行って主要被写体情報を算出し、構図補正を行ってもよい。
【００４８】
［出力部５］
出力部５は、補正画像の画像情報を後述の画像撮像装置における表示部（不図示）または記憶部（不図示）に出力する。
【００４９】
〔画像処理〕
本実施形態に係る画像処理装置１の画像処理（画像処理方法）について、図１０を用いて説明する。図１０は、画像処理装置１による画像処理の一例を説明するためのフローチャートである。
【００５０】
本実施形態に係る画像処理装置１は、以下に説明するステップＳ１〜Ｓ８を実行することによって判定処理を行う。
【００５１】
ステップＳ１：画像処理装置１の入力部２は、同一の被写体を撮影した画角の異なる複数の画像の画像情報である望遠画像および広角画像の画像情報の入力を受け付ける。すなわち、入力部２は、望遠画像および広角画像を取得する（取得ステップ）。
【００５２】
ステップＳ２：画像処理装置１の検出部３は、望遠画像から主要被写体となる第一の被写体を検出する（検出ステップ）。
【００５３】
ステップＳ３:画像処理装置１の構図補正部４は、検出された第一の被写体の主要被写体情報を参照し、広角画像を想定される各構図に補正した場合の各構図の補正量およびスコアを算出する。
【００５４】
ステップＳ４：構図補正部４は、全ての構図について、広角画像の構図を補正した場合の補正量およびスコアを算出したかどうかを判定する。一部の構図でも補正量およびスコアの算出処理を終了していないと構図補正部４が判定した場合（ステップＳ４のＮ）、ステップＳ３に戻る。全ての構図についての補正量およびスコアの算出処理を終了したと構図補正部４が判定した場合（ステップＳ４のＹ）、ステップＳ５へと進む。
【００５５】
ステップＳ５：構図補正部４は、広角画像から補正する各構図のスコアを比較する。
【００５６】
ステップＳ６：構図補正部４は、各構図のスコアのうち、最も高いスコアの構図を補正画像の構図に選択する。すなわち、構図補正部４は、広角画像の第二の被写体が最も好適に配置される構図を選択する。
【００５７】
ステップＳ７：構図補正部４は、選択した構図および補正量に基づき、広角画像において第一の被写体に対応する第二の被写体が主要被写体となる構図に、広角画像を補正した補正画像を出力する。これにより、構図補正部４は、補正画像を出力する（構図補正ステップ）。
【００５８】
ステップＳ８：出力部５は、補正画像の画像情報を出力する（出力ステップ）。
【００５９】
上述の画像処理によれば、画像処理装置１は、ユーザが意図する第二の被写体が好適な位置に配置される補正画像を出力することができる。
【００６０】
（構図補正部４の変形例１）
上述の例では、構図補正部４は、構図のスコア算出および選択を広角画像のみで行っているが、本実施形態では、構図補正部４は、望遠画像内の第一の被写体（被写体）の配置に基づいて、補正画像の構図を決めてもよい。
【００６１】
例えば、構図補正部４は、望遠画像において、第一の被写体の中心位置に最も近い位置である構図ポイントＰ１を、構図ポイント情報として出力する。そして、構図補正部４は、広角画像を用いて構図のスコア算出を行う際、構図ポイント情報を参照し、補正画像において、構図ポイントＰ１と同一の位置となる構図ポイントＰ２を算出する。そして、構図補正部４は、当該構図ポイントＰ２に第二の被写体を配置する構図となるように補正画像を出力する。一例として、図７では、第一の被写体である被写体２５の位置が望遠画像の三分割構図の右側の構図線上に位置することから、構図補正部４は、三分割構図の右側の構図線を構図ポイントＰ１とする。そして、図８において、望遠図の構図ポイントＰ１に対応する広角図の構図ポイントＰ２である点線３０上に第二の被写体である被写体２８が配置されるように、構図補正部４は三分割構図２９を選択する。これにより、望遠画像においてユーザが意図する第一の被写体に対応する第二の被写体が、広角画像においてユーザが意図する構図のポイントに配置され、より好適な補正画像を出力することができる。
【００６２】
（構図補正部４の変形例２）
また、構図補正部４は、広角画像を用いて構図補正を行う際、補正画像における第二の被写体が占める割合が、閾値以下となる構図は選択しないようにしてもよい。これにより、第二の被写体が補正画像内で小さくなり過ぎない構図補正が実現できる。その結果、ユーザが意図する第二の被写体がより注視されやすくなるため、より好適な補正画像を出力できる。
【００６３】
＜第二の実施形態＞
第一の実施形態では、画像処理装置１の構図補正部４は補正量の値によらず、必ず補正画像を出力するが、第二の実施形態のように、補正量の値によっては補正画像を出力しない構図補正部５４（不図示）として機能してもよい。
【００６４】
第二の実施形態について、図１１および１２を参照して説明する。
【００６５】
〔画像処理装置５１〕
本実施形態に係る画像処理装置５１（不図示）は、構図補正部４の代わりに構図補正部５４を備えている点以外は、第一の実施形態に係る画像処理装置１と同様の構成である。
【００６６】
［構図補正部５４］
構図補正部５４は、補正画像を出力する際、構図の補正量と閾値との比較結果に応じて広角画像から補正画像を出力するか否かを判定する。それ以外は、構図補正部５４は構図補正部４と同様の機能を有する。
【００６７】
より具体的には、構図補正部５４は、選択した構図の補正量が閾値未満となる場合には、広角画像から、選択した構図の補正画像を出力せず、補正量が閾値以上の場合には、選択した構図の補正画像を出力する。
【００６８】
広角画像から補正画像に補正する際の補正量が小さい場合、入力部２に入力される広角画像と出力部５から出力される補正画像とが類似した画像になる可能性がある。例えば、補正量が、０度の回転量、縦方向に−１画素の並進量、および、広角画像に対して縦方向に−１画素の範囲となる場合、出力部５から出力される補正画像は、入力部２に入力される広角画像の１行目の画素が切り取られた画像となる。この場合、広角画像と補正画像とが極めて類似してしまう。その結果、例えば、出力部５が補正画像を記憶部（不図示）に出力して記憶させる場合、広角画像に類似した補正画像を保存することで、無駄に記憶部の記憶領域を低減させてしまう虞がある。
【００６９】
これに対し、構図補正部５４は、補正量が小さい場合には、広角画像に類似する補正画像を出力しないようにする。これにより、構図補正部５４は、広角画像と補正画像とが類似しないように、補正画像を出力することができる。その結果、ユーザが高い構図補正効果を感じられる補正画像を出力することができる。
【００７０】
ここで、閾値について、構図補正部５４は、補正値を構成する回転量、並進量および範囲などの要素ごとに設定してもよく、これらの要素全てに設定しても一部に設定してもよい。例えば、構図補正部５４が、回転量の閾値を１度に設定した場合、補正量の各要素のうち、回転量が１度未満となっているものは、他の要素が閾値を超えているか否かに関わらず、補正画像を出力しないことになる。
【００７１】
〔画像処理〕
本実施形態に係る画像処理装置５１における画像処理（画像処理方法）について、図１１を参照して説明する。図１１は、本実施形態に係る画像処理装置５１による画像処理の一例を説明するためのフローチャートである。
【００７２】
図１１に示すステップＳ１１〜１６、１８および１９は、図１０に示すステップＳ１〜８と同様であるため、ここではステップＳ１７についてのみ説明する。
【００７３】
ステップＳ１７：構図補正部５４は、広角画像から選択された構図の画像に補正する際の補正量が閾値以上であるか否かを判定する。選択された構図への補正量が閾値以上の場合（ステップＳ１７のＹ）、ステップＳ１８へと進む。選択された構図への補正量が閾値未満となる場合（ステップＳ１７のＮ）、すなわち、広角画像から補正画像への補正量が閾値未満となる場合には、構図補正部５４は、補正画像を出力せず、画像処理を終了する。
【００７４】
（構図補正部５４の変形例１）
上述の例では、構図補正部５４は、選択した構図の補正量が閾値未満となる場合には、広角画像から、選択した構図の補正画像を出力しないように判定しているが、本実施形態ではこれに限定されない。本実施形態では、構図補正部５４は、補正量の代わりに、広角画像から補正画像を切り出す際の切り出し範囲が別途定められた閾値未満となる場合に補正画像を出力しないように判定してもよい。
【００７５】
ここで、切り出し範囲とは、例えば、広角画像に対して補正画像が占める割合のことを意味する。なお、この切り出し範囲は、水平方向と垂直方向との２成分から構成され、閾値を成分毎に設けてもよい。
【００７６】
この場合、構図補正部５４は、望遠画像のズーム倍率に応じて異なる値を閾値に設定することができる。例えば、構図補正部５４は、ズーム倍率が高ければ高いほど、閾値を高く設定してもよい。
【００７７】
閾値未満である切り出し範囲の補正画像を出力した場合、解像度が低いため、構図補正効果が不十分となる虞がある。これに対し、本実施形態に係る画像処理装置５１における構図補正部５４は、切り出し範囲の小さい補正画像を出力しないことにより、十分に構図補正効果があり、より好適な補正画像を出力することができる。
【００７８】
（構図補正部５４の変形例２）
また、構図補正部５４は、補正量および切り出し範囲の代わりに、選択した構図の画素数が閾値未満となる場合、広角画像から選択した構図の補正画像を出力しないように判定してもよい。すなわち、構図補正部５４は、補正画像の画素数が閾値未満となる場合、補正画像を出力しなくてもよい。
【００７９】
この場合、構図補正部５４は、望遠画像の画素数を参照して定めた値に閾値を設定する。例えば、構図補正部５４は、望遠画像の画素数のＮ％に閾値を設定する。補正画像の画素数が低い場合に補正画像を出力すると、補正画像の解像度が低いため、構図補正効果が不十分となる。これに対し、上述のように、構図補正部５４が、選択した構図の画素数が閾値未満となる場合に広角画像から選択した構図の補正画像を出力しないことにより、十分に構図補正効果があり、より好適な補正画像を出力することができる。
【００８０】
（構図補正部５４の変形例３）
また、上述の例では、構図補正部５４は、広角画像と補正画像とが類似しないように閾値を設けて補正画像の出力を制限しているが、本実施形態ではこれに限定されない。本実施形態では、構図補正部５４は、上述の例の代わりに、または、加えて望遠画像と補正画像とが類似する場合には、補正画像の出力を制限してもよい。この場合、構図補正部５４は、例えば、望遠画像と出力された補正画像との類似度を判定し、類似している場合には出力制限をする。構図補正部５４は、望遠画像および補正画像の各画像の解像度を合わせた上で、各画素の階調値を比較することで類似度を判定することができる。また、構図補正部５４は、類似度の代わりに、望遠画像から補正画像への補正量が閾値未満となる場合には、広角画像から、選択した構図の補正画像を出力しないように判定してもよい。この場合、構図補正部５４は、広角画像から補正画像への補正量の閾値と同様に、補正値を構成する回転量、並進量および範囲などの要素ごとに設定したり、これらの要素全てまたは一部に設定したりすることができる。このように、望遠画像と補正画像とが類似する場合に補正画像の出力を制限した場合も、構図補正部５４は、より好適な補正画像を出力することができる。
【００８１】
また、構図補正部５４は、望遠画像における第一の被写体が遠景に配置されており、かつ、望遠画像と補正画像とが類似していると判定した場合に、補正画像の出力を制限してもよい。
【００８２】
同一の主要被写体に焦点を合わせて撮影した場合、望遠画像と広角画像とでは被写界深度が異なる。そのため、望遠画像の構図と広角画像の構図とが類似していても、背景領域にボケのある望遠画像と、全体にフォカースのあった広角画像とを同時に撮影し、望遠画像と非類似の補正画像を出力することができる。ただし、主要被写体が望遠画像の遠景に存在する場合には望遠画像における被写界深度が深くなり、望遠画像と補正画像とが類似する可能性が高い。
【００８３】
これに対し、上述のように、望遠画像における第一の被写体が遠景に配置されており、かつ、望遠画像と補正画像とが類似している場合に、構図補正部５４は、補正画像の出力を制限することで、より好適な補正画像を出力することができる。
【００８４】
（構図補正部５４の変形例４）
上述の例では、構図補正部５４が補正画像を出力する際、構図の補正量と閾値との比較結果に応じて広角画像から補正画像を出力するか否かを判定し、かつ、補正画像を出力している。ただし、本実施形態ではこれに限定されない。以下に、図１２を用いて構図補正部５４の変形例４について説明する。図１２は、画像処理装置５１の変形例の概略構成を示すブロック図である。図１２に示すように、画像処理装置５１は、比較部５５をさらに備えていてよく、当該比較部５５が、構図補正部５４の代わりに、構図の補正量と、閾値との比較結果に応じて広角画像から補正画像を出力するか否かの判定を行ってもよい。これにより、構図補正部５４のみで処理を行う場合に比べて、構図補正部５４にかかる負担を軽減することができる。なお、以下の各実施形態においても、構図補正部の代わりに、比較部が閾値を設けて補正画像の出力を制限してもよい。
【００８５】
＜第三の実施形態＞
第一の実施形態では、画像処理装置１の構図補正部４は、広角画像の構図を補正しているが、第三の実施形態のように、構図補正部１０４（不図示）のように、望遠画像の構図を補正してもよい。
【００８６】
第三の実施形態について、図１３を参照して説明する。
【００８７】
〔画像処理装置１０１〕
本実施形態に係る画像処理装置１０１（不図示）は、構図補正部４の代わりに構図補正部１０４（不図示）を備えている点以外は、第一の実施形態に係る画像処理装置１と同様の構成である。
【００８８】
［構図補正部１０４］
構図補正部１０４は、望遠画像に応じて、広角画像を補正した補正画像を出力せずに、望遠画像を補正した画像を出力する。構図補正部１０４は、望遠画像の構図のうち、好適な位置に主要被者体を配置できる構図があれば、望遠画像の構図を補正して補正画像を出力し、そうでない場合は、広角画像の構図を補正して補正画像を出力する。構図の補正は構図補正部４と同様に行うことができるため、その説明を省略する。
【００８９】
より具体的には、構図補正部１０４は、望遠画像を想定される各構図に補正した場合の各構図における主要被写体の位置が、各構図にとって好適な位置であるかどうかを示す指標となるスコアを算出する。そして、構図補正部１０４は、当該スコアが閾値以上である構図がある場合には、望遠画像の構図をスコアが閾値以上である構図のうちのいずれかに補正することで補正画像を出力する。また、構図補正部１０４は、スコアが閾値以上である構図がない場合には、構図補正部４は、広角画像において第一の被写体に対応する第二の被写体が主要被写体となる構図に、広角画像を補正した補正画像を出力する。これにより、好適な構図に補正した補正画像を容易に出力することができる。
【００９０】
このように、構図補正部１０４は、望遠画像の構図のうち、好適な位置に主要被写体を配置できる構図があり、好適に構図補正が可能な場合、望遠画像から補正画像に構図補正を行う。そうでない場合、構図補正部１０４は、検出された望遠画像における主要被写体である第一の被写体の主要被写体情報を参照して、広角画像の構図を補正する。これにより、構図補正部１０４は、よりバランスのよい構図で構図補正された補正画像を出力することができる。
【００９１】
〔画像処理〕
本実施形態に係る画像処理装置１０１における画像処理（画像処理方法）について、図１３を参照して説明する。図１３は、本実施形態に係る画像処理装置１０１による画像処理の一例を説明するためのフローチャートである。
【００９２】
図１３に示すステップＳ２１、２２、２９、および３１は、それぞれ図１０に示すステップＳ１、２、８および７と同様であるため、ここではステップＳ２３〜２８および３０についてのみ説明する。
【００９３】
ステップＳ２３:画像処理装置１０１の構図補正部１０４は、検出された第一の被写体
の主要被写体情報を参照し、望遠画像の構図を想定される各構図に補正した場合の各構図の補正量およびスコアを算出する。
【００９４】
ステップＳ２４：構図補正部１０４は、全ての構図について、望遠画像の構図を補正した場合の補正量およびスコアを算出したかどうかを判定する。一部の構図でも補正量およびスコアの算出処理を終了していないと構図補正部１０４が判定した場合（ステップＳ２４のＮ）、ステップＳ２３に戻る。全ての構図についての補正量およびスコアの算出処理を終了したと構図補正部１０４が判定した場合（ステップＳ２４のＹ）、ステップＳ２５へと進む。
【００９５】
ステップＳ２５：構図補正部１０４は、望遠画像から補正する各構図のスコアを比較する。
【００９６】
ステップＳ２６：構図補正部１０４は、各構図のスコアのうち、最も高いスコアの構図を補正画像の構図に選択する。すなわち、構図補正部１０４は、望遠画像の主要被写体が最も好適に配置される構図を選択する。
【００９７】
ステップＳ２７：構図補正部１０４は、望遠画像から選択された構図の画像に補正する際の補正量が閾値以上であるか否かを判定する。選択された構図への補正量が閾値以上の場合（ステップＳ２７のＹ）、ステップＳ２８へと進む。選択された構図への補正量が閾値未満となる場合（ステップＳ２７のＮ）、ステップＳ３０へと進む。
【００９８】
ステップＳ２８：構図補正部１０４は、選択した構図および補正量に基づき、望遠画像の構図を補正することで補正画像を出力する。このように、構図補正部１０４は、望遠画像に応じて、広角画像を補正した補正画像を出力せずに、望遠画像を補正した画像を出力する（構図補正ステップ）。
【００９９】
ステップＳ３０：構図補正部１０４は、広角画像を、想定される各構図に補正した場合の各構図の補正量およびスコアを算出し、各構図の中で最も高いスコアの構図を補正画像の構図に選択する。本ステップは、図１０のステップＳ３〜６と同様に行うため、詳細な説明を省略する。
【０１００】
＜第四の実施形態＞
第一の実施形態では、画像処理装置１の構図補正部４は画素の状態によらず、必ず補正画像を出力する。ただし、第四の実施形態のように、構図補正部は、画素の状態によっては補正画像を出力しない構図補正部１５４（不図示）として機能してもよい。
【０１０１】
第四の実施形態について、図１４を参照して説明する。
【０１０２】
〔画像処理装置１５１〕
本実施形態に係る画像処理装置１５１（不図示）は、構図補正部４の代わりに構図補正部１５４を備えている点以外は、第一の実施形態に係る画像処理装置１と同様の構成である。
【０１０３】
［構図補正部１５４］
構図補正部１５４は、望遠画像内における第一の被写体領域に対応する、広角画像内における第二の被写体領域の画素の状態に基づいて、補正画像を出力するか否かを判定する。構図補正部１５４は、ボケ、黒潰れおよび白飛びなどのある画素の状態が悪い補正画像を出力しないことで、バランスのよい構図であって、かつ、画素の状態がよい補正画像のみを出力することができる。
【０１０４】
以下に画素の状態として、合焦度を例に、構図補正部１５４の機能について説明する。この場合、構図補正部１５４は、広角画像内における第二の被写体の合焦度に応じて、補正画像を出力するか、または、出力しない。
【０１０５】
より具体的には、構図補正部１５４は、まず、望遠画像内における第一の被写体領域に対応する、広角画像内における第二の被写体領域の合焦度を測定する。構図補正部１５４は、点拡がり関数を用いて汎用の手法により合焦度を測定することができる。次に、構図補正部１５４は、第二の被写体領域の合焦度が閾値以上の場合は補正画像を出力し、合焦度が閾値未満となる場合は補正画像を出力しない。この場合、構図補正部１５４は、閾値を、例えば、第一の被写体領域の合焦度に設定してもよい。
【０１０６】
例えば、望遠画像を撮影する撮像部と、広角画像を撮影する撮像部とで、焦点位置および露出の設定の同期ができない場合は、望遠画像の撮影条件と補正画像の撮影条件とが異なる。そのため、バランスのよい構図であっても、合焦度の低い補正画像が出力される可能性がある。また、同期が可能な場合は、望遠画像を撮影する撮像部に合わせて、広角画像を撮影する撮像部の焦点位置および露出等を設定して、望遠画像の撮影条件と広角画像の撮影条件とを合わせられる。しかしながら、第二の被写体領域の一部が、望遠画像の画角よりも外にはみ出す場合は、はみ出した領域の状態が設定に反映されないため、その領域の合焦度が低くなる可能性がある。
【０１０７】
これに対し、上述の構成によれば、構図補正部１５４は、バランスのよい構図であっても合焦度の低い補正画像は出力しないため、バランスのよい構図であって、かつ、合焦度の高い補正画像のみを出力することができる。
【０１０８】
〔画像処理〕
本実施形態に係る画像処理装置１５１における画像処理（画像処理方法）について、図１４を参照して説明する。図１４は、本実施形態に係る画像処理装置１５１による画像処理の一例を説明するためのフローチャートである。図１４では、画像処理装置１５１の構図補正部１５４が、画素の状態の一例として、合焦度に基づいて補正画像を出力する場合について説明する。
【０１０９】
図１４に示すステップＳ４１は、図１０に示すステップＳ１〜６に相当し、図１４に示すステップＳ４６および４７は、図１０に示すステップＳ７および８と同様であるため、ここではステップＳ４２〜４５についてのみ説明する。
【０１１０】
ステップＳ４２：構図補正部１５４は、望遠画像内の第一の被写体領域に対応する、広角画像内の第二の被写体領域を測定する。
【０１１１】
ステップＳ４３：構図補正部１５４は、第二の被写体領域の合焦度を測定する。
【０１１２】
ステップＳ４４：構図補正部１５４は、第一の被写体領域の合焦度を測定し、閾値に設定する。
【０１１３】
ステップＳ４５：構図補正部１５４は、広角画像内における第二の被写体の合焦度に応じて、補正画像を出力するか、または、出力しない。より具体的には、構図補正部１５４は、第二の被写体領域の合焦度が、第一の被写体領域の合焦度以上であるか否か、すなわち、閾値以上であるか否かを判定する。第二の被写体領域の合焦度が閾値以上である場合（ステップＳ４５のＹ）、ステップＳ４６に進む。第二の被写体領域の合焦度が閾値未満となる場合（ステップＳ４５のＮ）、補正画像を出力せず、画像処理を終了する。
【０１１４】
（構図補正部１５４の変形例１）
上述の例では、構図補正部１５４は、合焦度の値に基づいて補正画像を出力するか否かを判定しているが、本実施形態ではこれに限定されない。本実施形態では、構図補正部１５４は、画素の状態として、合焦度の代わりに、静止画部分のボケ量を示す動きボケ量に応じて、補正画像を出力するか否かを判定してもよい。すなわち、構図補正部１５４は、動きボケ量に応じて、補正画像を出力するか、または、出力しない。
【０１１５】
まず、構図補正部１５４は、汎用の動き検出手法により、第二の被写体領域の動きボケ量を測定する。次に、構図補正部１５４は、第二の被写体領域の動きボケ量が閾値以下である場合には補正画像を出力し、動きボケ量が閾値よりも大きい場合には補正画像を出力しない。この場合、構図補正部１５４は、閾値を、例えば、第一の被写体領域の動きボケ量に設定してもよい。上述の構成によれば、構図補正部１５４は、バランスのよい構図であっても動きボケ量の低い補正画像は出力しないため、バランスのよい構図であって、かつ、動きボケ量の低い補正画像のみを出力することができる。
【０１１６】
（構図補正部１５４の変形例２）
また、構図補正部１５４は、画素の状態として、上述の例の代わりに、明るさに応じて、補正画像を出力するか否かを判定してもよい。すなわち、構図補正部１５４は、明るさに応じて、補正画像を出力するか、または、出力しない。
【０１１７】
まず、構図補正部１５４は、汎用の手法により、第二の被写体領域の明るさの度合いを測定する。次に、構図補正部１５４は、第二の被写体領域の明るさの度合いが所定の範囲内の明るさである場合は、補正画像を出力し、所定の範囲外の明るさである場合は、補正画像を出力しない。この場合、構図補正部１５４は、例えば、白飛びまたは黒潰れが発生していない場合に、所定の範囲内の明るさであるとみなしてもよい。
【０１１８】
画像が極端に明るいか、または暗い場合など、所定の範囲外の明るさである場合は、白飛びまたは黒潰れが画像内に発生する可能性がある。これに対し、上述の構成によれば、構図補正部１５４は、明るさの度合いが所定の範囲外である場合に補正画像の出力を制限する。これにより、構図補正部１５４は、バランスのよい構図であっても、白飛びまたは黒潰れのある補正画像は出力しないため、バランスがよく、かつ、白飛びまたは黒潰れのない補正画像のみを出力することができる。
【０１１９】
（構図補正部１５４の変形例３）
構図補正部１５４は、上述の各例で説明した合焦度の判定、動きボケ量の判定、および、明るさの度合いの判定を適宜組み合わせて補正画像を出力するか否かの判定を行ってもよい。例えば、構図補正部１５４は、合焦度、動きボケ量および明るさの度合いが全て判定条件を満たした場合に補正画像を出力するようにしてもよい。これにより、バランスがよく、かつ、より好適な補正画像を出力することができる。
【０１２０】
＜第五の実施形態＞
本発明に係る第五の実施形態について、図１５および１６を用いて以下に説明する。
【０１２１】
〔画像撮像装置１１０〕
図１５は、本発明の第五の実施形態に係る画像撮像装置１１０の構成を示す機能ブロック図である。図１５に示すように、本実施形態に係る画像撮像装置１１０は、第一の実施形態に係る画像処理装置１と、第一の撮像部１１１と、第二の撮像部１１２と、表示部１１３と、記憶部１１４とを備えている。
【０１２２】
画像撮像装置１１０は、第一の撮像部１１１と第二の撮像部１１２とで撮像した望遠画像および広角画像に基づいて、画像処理装置１によって補正画像を出力し、当該補正画像を表示部１１３に表示するか、または記憶部１１４に記憶する。そのため、画像撮像装置１１０は、上述の画像処理装置１と同様に、望遠画像の第一の被写体を参照しつつ、広角画像を用いて構図補正を行うことができる。これにより、望遠画像から第一の被写体がはみ出して望遠画像を用いた構図補正が難しい場合でも、バランスがよく、好適に構図が補正された補正画像を出力することができる。
【０１２３】
［第一の撮像部１１１および第二の撮像部１１２］
第一の撮像部１１１は、望遠画像を撮像し、第二の撮像部１１２は広角画像を撮像する。第一の撮像部１１１および第二の撮像部１１２は、撮像レンズと、ＣＣＤ（Charge Coupled Device）センサおよびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子とを備える。第一の撮像部１１１は第一の被写体を含む画像（静止画または動画）を撮像し、第二の撮像部１１２は第二の被写体を含む画像を撮像する。第一の撮像部１１１と第二の撮像部１１２とは焦点距離が異なるため、それぞれ、望遠画像と広角画像とを撮影することができる。
【０１２４】
［表示部１１３］
表示部１１３は、文字情報および主要被写体情報などを含む補正画像を表示する。表示部１１３は、ＬＣＤ（liquid Crystal Display）および有機ＥＬ（Electro Luminescence）ディスプレイなどの表示画面である。ユーザは、表示部１１３に表示される補正画像をプレビューとして利用し、補正画像を確認しながら、必要に応じて補正画像を記憶部１１４に記憶させる指示を、入力部２を介して行ってもよい。入力部２に入力する指示は、例えば、入力部２のシャッターボタンを押すなどの動作によって行うことができる。また、表示部１１３は、画像処理装置１が補正画像を出力しない場合には、補正画像の代わりに、望遠画像を表示してもよい。
【０１２５】
［記憶部１１４］
記憶部１１４は、補正画像、望遠画像および広角画像などの画像を記憶媒体に記憶したり、記憶媒体に記憶された画像を読み込んで画像処理装置１に出力したりするものであり、フラッシュメモリおよびハードディスクなどで構成される。
【０１２６】
〔画像処理〕
次に、本実施形態に係る画像撮像装置１１０における画像処理（画像処理方法）について、図１６を参照して説明する。図１６は、本実施形態に係る画像撮像装置１１０による画像処理の一例を説明するためのフローチャートである。
【０１２７】
図１６に示すステップＳ５２は、図１０に示すステップＳ１〜８に相当するため、ここではステップＳ５１および５３についてのみ説明する。
【０１２８】
ステップＳ５１：第一の撮像部１１１および第二の撮像部１１２は、望遠画像および広角画像を撮像するか、または、記憶部１１４から望遠画像および広角画像を読み出し、画像処理装置１の入力部２に入力する。
【０１２９】
ステップＳ５３：画像処理装置１の出力部５が表示部１１３に補正画像の画像情報を出力した場合、表示部１１３は補正画像を表示する。出力部５が記憶部１１４に補正画像の画像情報を出力した場合、記憶部１１４は補正画像を記憶する。
【０１３０】
（画像撮像装置１１０の変形例１）
上述の例では、画像処理装置１を備える画像撮像装置１１０について説明したが、画像撮像装置１１０は、画像処理装置１の代わりに、画像処理装置５１、１０１および１５１のいずれかを備えていてもよい。この場合、画像撮像装置１１０は、画像処理装置１の機能の代わりに、各画像処理装置の機能を有することになり、構図補正部以外は全て同様に動作させることができる。ここで、画像処理装置５１、１０１および１５１のいずれかが構図補正により補正画像を出力しない場合、画像撮像装置１１０は、補正画像の代わりに、望遠画像を表示部１１３に表示するか、望遠画像を記憶部１１４に記憶させてもよい。
【０１３１】
（画像撮像装置１１０の変形例２）
また、上述の例では、画像撮像装置１１０は、補正画像または望遠画像のいずれかのみを表示部１１３に表示しているが、本実施形態ではこれに限定されない。本実施形態では、画像撮像装置１１０は、補正画像と望遠画像とを同時に表示部１１３に表示してもよい。この場合、ユーザは、表示部１１３に表示される補正画像を確認しながら、望遠画像の構図を決め直してもよい。この場合、ユーザは、好適な構図の補正画像が好適となった場合に、入力部２を介して当該補正画像を記憶部１１４に記憶部する指示を行うことができる。なお、望遠画像の構図を決め直して、望遠画像の構図と補正画像の構図とが類似の構図となった場合、画像撮像装置１１０における画像処理装置１は、補正画像を出力せず、望遠画像のみを表示部１１３に表示するか、または、記憶部１１４に記憶してもよい。
【０１３２】
（画像撮像装置１１０の変形例３）
また、上述の例では、画像撮像装置１１０は記憶部１１４を備えているが、記憶部１１４は必須の構成ではなく、画像撮像装置１１０は記憶部１１４を備えていなくてもよい。この場合においても、画像撮像装置１１０は、好適な構図に補正した補正画像を容易に出力することができる。
【０１３３】
〔ハードウェアおよびソフトウェアによる実現例〕
画像処理装置１、５１、１０１および１５１の制御ブロック（特に構図補正部４、５４、１０４および１５４）は、集積回路（ＩＣチップ）などに形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【０１３４】
前者の場合、画像処理装置１、５１、１０１および１５１の制御ブロックは、ＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ（Field Programmable Gate Array）などによるハードウェアによって実現することができる。
【０１３５】
後者の場合、画像処理装置１、５１、１０１および１５１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えており、ＯＳおよび周辺機器などのハードウェアを含む。また、当該コンピュータは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（または表示環境）も含む。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphic Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）などの他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波など）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１３６】
〔まとめ〕
本発明の態様１に係る画像処理装置（１、５１、１０１、１５１）は、第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部（入力部２）と、前記第一の画像から主要被写体となる第一の被写体（２５）を検出する検出部（３）と、前記第二の画像において前記第一の被写体（２５）に対応する第二の被写体（７、１２、１５、１７、１８、１９、２２）が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部（４、５４、１０４、１５４）と、を備えている。
【０１３７】
上記の構成によれば、好適な構図に補正した補正画像を容易に出力することができる。
【０１３８】
本発明の態様２に係る画像処理装置（１、５１、１０１、１５１）において、前記態様１における構図補正部（４、５４、１０４、１５４）は、前記第一の画像における前記第一の被写体（２５）の位置に基づいて、前記第二の画像を補正してもよい。
【０１３９】
上記の構成によれば、第一の画像における第一の被写体の位置に基づいて第二の画像を補正することで、第二の被写体が第二の画像からはみ出ないため、好適な構図に補正した補正画像を出力することができる。
【０１４０】
本発明の態様３に係る画像処理装置（５１）において、前記態様１または２における構図補正部（５４）は、前記第二の画像から前記補正画像への補正量が閾値未満となる場合には、当該補正画像を出力しなくてもよい。
【０１４１】
上記の構成によれば、構図補正部は、第二の画像と補正画像とが類似しないように、補正画像を出力することができる。その結果、ユーザが構図補正効果を感じられる補正画像を出力することができる。
【０１４２】
本発明の態様４に係る画像処理装置（５１）において、前記態様１から３のいずれか１つにおける構図補正部（５４）は、前記補正画像の画素数が閾値未満となる場合には、当該補正画像を出力しなくてもよい。
【０１４３】
上記の構成によれば、構図補正部が、選択した構図の画素数が閾値未満となる場合に第二の画像から選択した構図の補正画像を出力しないことにより、十分に構図補正効果がある、より好適な補正画像を出力することができる。
【０１４４】
本発明の態様５に係る画像処理装置（１０１）において、前記態様１から４のいずれか１つにおける構図補正部（１０４）は、前記第一の画像に応じて、前記補正画像を出力せずに、前記第一の画像を補正した画像を出力してもよい。
【０１４５】
上記の構成によれば、構図補正部は、よりバランスのよい構図で構図補正された補正画像を出力することができる。
【０１４６】
本発明の態様６に係る画像処理装置（１５１）において、前記態様１から５のいずれか１つにおける構図補正部（１５４）は、前記第二の画像内における前記第二の被写体の画素の状態に応じて、前記補正画像を出力するか、または、出力しなくてもよい。
【０１４７】
上記の構成によれば、構図補正部は、第二の画像内における、ボケ、黒潰れおよび白飛びなどのある画素の状態が悪い補正画像を出力しないことで、バランスのよい構図であって、かつ、画素の状態がよい補正画像のみを出力することができる。
【０１４８】
本発明の態様７に係る画像処理装置（１５１）において、前記態様１から６のいずれか１つにおける構図補正部（１５４）は、前記第二の画像内における前記第二の被写体の合焦度に応じて、前記補正画像を出力するか、または、出力しなくてもよい。
【０１４９】
上記の構成によれば、構図補正部は、バランスのよい構図であっても合焦度の低い補正画像は出力しなくてもよいため、バランスのよい構図であって、かつ、合焦度の高い補正画像のみを出力することができる。
【０１５０】
本発明の態様８に係る画像処理装置（１５１）において、前記態様１から７のいずれか１つにおける構図補正部（１５４）は、前記第二の画像内における前記第二の被写体の動きボケ量に応じて、前記補正画像を出力するか、または、出力しなくてもよい。
【０１５１】
上記の構成によれば、構図補正部は、バランスのよい構図であっても動きボケ量の多い補正画像を出力しなくてもよいため、バランスのよい構図であって、かつ、動きボケ量の低い補正画像のみを出力することができる。
【０１５２】
本発明の態様９に係る画像処理装置（１５１）において、前記態様１から８のいずれか１つにおける構図補正部（１５４）は、前記第二の画像内における前記第二の被写体の明るさに応じて、前記補正画像を出力するか、または、出力しなくてもよい。
【０１５３】
上記の構成によれば、構図補正部は、バランスのよい構図であっても、白飛びまたは黒潰れのある補正画像は出力しなくてもよいため、バランスがよく、かつ、白飛びまたは黒潰れのない補正画像のみを出力することができる。
【０１５４】
本発明の態様１０に係る画像処理装置（１、５１、１０１、１５１）において、前記態様１から９のいずれか１つにおける前記第一の被写体（２５）は顔であってもよい。
【０１５５】
画像処理装置における検出部は、特に、第一の被写体が顔である場合に第一の被写体を好適に検出できる。
【０１５６】
本発明の態様１１に係る画像撮像装置（１１０）は、第一の画像を撮像する第一の撮像部（１１１）と、前記第一の画像よりも画角が広い第二の画像を撮像する第二の撮像部（１１２）と、前記第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部（入力部２）と、前記第一の画像から主要被写体となる第一の被写体（２５）を検出する検出部（３）と、前記第二の画像において前記第一の被写体（２５）に対応する第二の被写体（７、１２、１５、１７、１８、１９、２２）が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部（４、５４、１０４、１５４）と、前記補正画像を表示する表示部（１１３）と、を備えている。
【０１５７】
本発明の一態様に係る画像撮像装置は、本発明の一態様に係る画像処理装置と同様の効果を奏する。
【０１５８】
本発明の態様１２に係る画像処理方法は、第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得ステップと、前記第一の画像から主要被写体となる第一の被写体を検出する検出ステップと、前記第二の画像において前記第一の被写体（２５）に対応する第二の被写体（７、１２、１５、１７、１８、１９、２２）が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正ステップと、を含む。
【０１５９】
本発明の一態様に係る画像処理方法は、本発明の一態様に係る画像処理装置と同様の効果を奏する。
【０１６０】
本発明の各態様に係る画像処理装置（１、５１、１０１、１５１）は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置（１、５１、１０１、１５１）が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置（１、５１、１０１、１５１）をコンピュータにて実現させる画像処理装置（１、５１、１０１、１５１）の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１６１】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【図１】
2019093090.tif 000003
【図２】
2019093090.tif 000004
【図３】
2019093090.tif 000005
【図４】
2019093090.tif 000006
【図５】
2019093090.tif 000007
【図６】
2019093090.tif 000008
【図７】
2019093090.tif 000009
【図８】
2019093090.tif 000010
【図９】
2019093090.tif 000011
【図１０】
2019093090.tif 000012
【図１１】
2019093090.tif 000013
【図１２】
2019093090.tif 000014
【図１３】
2019093090.tif 000015
【図１４】
2019093090.tif 000016
【図１５】
2019093090.tif 000017
【図１６】
2019093090.tif 000018
【手続補正書】
【提出日】令和2年4月6日(2020.4.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、を備え、
前記構図補正部は、前記第一の画像における前記第一の被写体の位置に基づいて、前記第二の画像を補正することを特徴とする画像処理装置。
【請求項２】
第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、を備え、
前記構図補正部は、前記第一の画像に応じて、前記補正画像を出力せずに、前記第一の画像を補正した画像を出力することを特徴とする画像処理装置。
【請求項３】
第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、を備え、
前記構図補正部は、前記第二の画像内における前記第二の被写体の画素の状態に応じて、前記補正画像を出力するか、または、出力しないことを特徴とする画像処理装置。
【請求項４】
第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、を備え、
前記構図補正部は、前記第二の画像内における前記第二の被写体の合焦度に応じて、前記補正画像を出力するか、または、出力しないことを特徴とする画像処理装置。
【請求項５】
第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、を備え、
前記構図補正部は、前記第二の画像内における前記第二の被写体の動きボケ量に応じて、前記補正画像を出力するか、または、出力しないことを特徴とする画像処理装置。
【請求項６】
第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、を備え、
前記構図補正部は、前記第二の画像内における前記第二の被写体の明るさに応じて、前記補正画像を出力するか、または、出力しないことを特徴とする画像処理装置。
【請求項７】
第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、を備え、
前記第一の被写体は顔であることを特徴とする画像処理装置。
【請求項８】
第一の画像を撮像する第一の撮像部と、
前記第一の画像よりも画角が広い第二の画像を撮像する第二の撮像部と、
前記第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、
前記補正画像を表示する表示部と、を備え、
前記構図補正部は、前記第一の画像における前記第一の被写体の位置に基づいて、前記第二の画像を補正することを特徴とする画像撮像装置。
【請求項９】
第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得ステップと、
前記第一の画像から主要被写体となる第一の被写体を検出する検出ステップと、
前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正ステップと、を含み、
前記構図補正ステップは、前記第一の画像における前記第一の被写体の位置に基づいて、前記第二の画像を補正することを特徴とする画像処理方法。
【請求項１０】
請求項１から７のいずれか１項に記載の画像処理装置としてコンピュータを機能させるためのプログラムであって、前記取得部、前記検出部および前記構図補正部としてコンピュータを機能させるためのプログラム。
【国際調査報告】
2019093090.tif 000019
2019093090.tif 000020
2019093090.tif 000021
2019093090.tif 000022