(57)【要約】      （修正有）【課題】撮影した画像の構図を考慮してトリミングを行う画像処理装置を提供する。【解決手段】画像処理装置１０５は、入力された画像を複数に分割した領域ごとの代表値を算出する第１の算出手段２０１と、算出した代表値と記憶手段１０４に記憶されている構図を特定するためのテンプレートとの相関度を算出する第２の算出手段２０３と、複数の焦点領域について、焦点位置を取得する取得手段２０４と、第２の算出手段２０３で算出した相関度のうち、相関度の高い領域に、取得した焦点位置が含まれるか否かを判定する判定手段２０５と、判定手段２０５の判定結果に応じて、テンプレートの構図に従ってトリミングを行うトリミング手段２０６と、を備える。【選択図】図２
2018014546.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像を複数に分割した領域ごとの代表値を算出する第１の算出手段と、
前記算出した代表値と記憶手段に記憶されている構図を特定するためのテンプレートとの相関度を算出する第２の算出手段と、
複数の焦点領域について、焦点位置を取得する取得手段と、
前記第２の算出手段で算出した相関度のうち、相関度の高い領域に、前記取得した焦点位置が含まれるか否かを判定する判定手段と、
前記判定手段の判定結果に応じて、前記テンプレートの構図に従ってトリミングを行うトリミング手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力された画像に主要被写体を示す領域を検出する検出手段
をさらに備え、
前記第１の算出手段は、前記検出手段で検出した前記主要被写体を示す領域と、前記取得した焦点位置に基づいて前記代表値を更新し、
前記第２の算出手段は、前記更新した代表値と、前記テンプレートに基づいて相関度を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記主要被写体を示す領域として、人体を示す領域を検出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の算出手段は、所定の閾値に従って前記代表値を正規化し、前記第２の算出手段は、前記正規化した代表値を用いて前記テンプレートとの相関度を算出する
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第２の算出手段は、前記分割した領域ごとの前記正規化した代表値と前記テンプレートにおけるブロックごとの画素値の差分絶対値に従って前記相関度を算出する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記トリミング手段は、前記判定手段で前記相関度の高い領域に前記焦点位置が含まれると判定された場合、前記相関度の高い領域を前記テンプレートの構図に従ってトリミングを行う
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記トリミング手段は、前記判定手段で前記相関度の高い領域に前記焦点位置が含まれないと判定された場合、前記テンプレートの構図とは別の構図でトリミングを行う
ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記代表値は、前記分割した領域ごとに含まれる画素の輝度の平均値である
ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
入力された画像を複数に分割した領域ごとの代表値を算出する第１の算出工程と、
前記算出した代表値と記憶手段に記憶されている構図を特定するためのテンプレートとの相関度を算出する第２の算出工程と、
複数の焦点領域について、焦点位置を取得する取得工程と、
前記第２の算出工程にて算出した相関度のうち、相関度の高い領域に、前記取得した焦点位置が含まれるか否かを判定する判定工程と、
前記判定工程の判定結果に応じて、前記テンプレートの構図に従ってトリミングを行うトリミング工程と、
を有する
ことを特徴とする画像処理方法。
【請求項１０】
被写体像を撮像する撮像手段と、
前記撮像手段により得た画像に対して画像処理を行う請求項１〜８のいずれか１項に記載の画像処理装置と、
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び撮像装置に関し、特に画像データに対するトリミング制御技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置で撮影するとき、撮影者は構図を意識して撮影を行なうが、瞬時に被写体やシーンを判断して好適な構図を決定することは特に撮影初心者には難しい。従って、多くの人から共感を得られるような好ましい構図を瞬時に決定するには熟練を要する。そこで、好適な構図となるように、画像中の顔の位置と向きに応じて自動でトリミングを行なう技術がある（特許文献１参照）。また、主要被写体と副被写体の関係度に応じてトリミングを行なう手法も提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４８６９２７０号公報
【特許文献２】特許第５０８４６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、顔を考慮してはいるが、画像中に顔が存在しない場合について考慮されていない。また、特許文献２では、主要被写体と副被写体の関係の強さである関係度を算出して用いるため副被写体が存在しない場合に適用することが難しい。
【０００５】
本発明は、上記課題を鑑みて、撮影した画像の構図を考慮してトリミングを行う画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の画像処理装置は、入力された画像を複数に分割した領域ごとの代表値を算出する第１の算出手段と、前記算出した代表値と記憶手段に記憶されている構図を特定するためのテンプレートとの相関度を算出する第２の算出手段と、複数の焦点領域について、焦点位置を取得する取得手段と、前記第２の算出手段で算出した相関度のうち、相関度の高い領域に、前記取得した焦点位置が含まれるか否かを判定する判定手段と、前記判定手段の判定結果に応じて、前記テンプレートの構図に従ってトリミングを行うトリミング手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮影した画像の構図を考慮してトリミングを行う画像処理装置を提供することができる。これにより、三角構図、対角線構図、飾り窓構図などの形状から判断してトリミングを自動で行うことで、撮影シーンの状況や雰囲気が構図内に残るようなトリミングが可能となり、ユーザの作業負担を増やすことなく、ユーザに好適な印象を与えることができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の基本構成を示すブロック構成図である。
【図２】画像処理装置の構成を示すブロック構成図である。
【図３】自動トリミング処理の流れを示すフローチャートである。
【図４】領域分割の例を示す図である。
【図５】額縁構図用、三角構図用、三角構図用のテンプレート画像を示す図である。
【図６】ＡＦ測距点位置及びＡＦ測距点位置に対応する座標を示す図である。
【図７】相関度が高いテンプレート枠内にＡＦ測距点が含まれる例を示す図である。
【図８】画像処理部のブロック構成図である。
【図９】自動トリミング処理の流れを示すフローチャートである。
【図１０】トンネル内の人物を撮影するシーンの例を示す図である。。
【図１１】代表値の更新をしない場合及びする場合のトリミング例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための最良の形態について図面などを参照して説明する。本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に適用可能であるが、これに限定されるものではなく、電子回路が実装された回路基板を筐体内部に収容する電子機器に広く適用することができる。
【００１０】
（第１実施形態）
図１は、本実施形態の画像処理装置を実現する一つの例である撮像装置１００の基本構成を示すブロック図である。撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってよい。光学系１０１は、レンズ、シャッター、絞りから構成されており、ＣＰＵ１０３の制御によって被写体からの光を撮像素子１０２に結像させる。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１を通って結像した光を画像信号に変換する。
【００１１】
ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。一次記憶装置（記憶手段）１０４は、例えば、ＲＡＭのような揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理装置１０５で利用されたり、記録媒体１０６へ記憶されたりしてもよい。
【００１２】
画像処理装置１０５は、被写体像を撮像する撮像素子１０２で取得した電気信号を処理することで撮影画像を作成する。また、画像処理装置１０５は、電気信号を連続的に処理して複数枚の撮影画像を作成し、これら撮影画像の一枚を1フレームとして複数フレームにより構成される動画像を作成することができる。二次記憶装置１０７は、例えば、ＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。
【００１３】
記録媒体１０６は、一次記憶装置１０４に記憶されている、撮影により得られた画像のデータなどを記憶する。なお、記録媒体１０６は、例えば、半導体メモリカードのように撮像装置１００から取り外し可能であり、パーソナルコンピュータ等の情報処理装置に装着してデータを読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０６の着脱機構及び読み書き機能を有する。表示部１０８は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１０９は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えば、ボタン、レバー、タッチパネル等はもちろん、音声や視線などを用いた入力機器であってよい。
【００１４】
なお、本実施形態の撮像装置１００は、画像処理装置１０５が撮影画像または動画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１０９から設定可能である。画像処理装置１０５は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮影モードに応じた色調の調整等も行う。なお、画像処理装置１０５の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現してよい。また、ＣＰＵ１０３および一次記憶装置１０４、画像処理装置１０５、記録媒体１０６、二次記憶装置１０７を備えた情報処理装置が、撮像装置１００が撮影した画像を取得して、現像処理をはじめ撮影モードに応じた色調の調整などを行ってもよい。
【００１５】
図２は、本実施形態に係る画像処理装置１０５の構成を示すブロック図である。画像処理装置１０５は、領域代表値生成部２０１と、テンプレート記憶部２０２と、相関度演算部２０３と、焦点情報取得部２０４と、ＡＦ位置判定部２０５と、トリミング部２０６を含む。ここで、画像処理装置１０５の各部について、図３に示す本実施形態に係る入力された画像データを自動でトリミングする全体フローチャートを用いて説明する。
【００１６】
まず、ステップＳ３０１において、撮像装置１００にて画像の撮影を行い、一次記憶装置１０４に記憶された撮影画像データを入力し、領域代表値生成部（第１の算出手段）２０１は、入力された画像データから領域分割し、領域毎に代表値を生成（算出）する。ここで、領域代表値生成部２０１は、ＣＰＵ１０３から与えられる分割情報に従い、領域分割を行う。本実施形態では、図４に示すような、画像を横方向に１２等分、縦方向に８等分する。なお、本実施形態では、方形（ブロック）状に分割をしているが、三角形、六角形などの多角形形状をはじめ、任意の形状の領域に分割してもよい。そして、ＣＰＵ１０３は、分割した領域毎に、領域に含まれる全ての画素の輝度値の平均値を領域の代表輝度値として求める。なお、本実施形態では、分割した画像の領域ごとの代表値を輝度の平均値としているが、彩度、色相、周波数成分などの平均値を領域の代表値として求めてもよい。
【００１７】
次に、ステップＳ３０２において、領域代表値生成部２０１は、ステップＳ３０１で求められた二次元の代表値画像を、ＣＰＵ１０３から与えられる所定の閾値に従い、代表値を正規化する。例えば、二値の正規化を行う場合、代表値が１２８以上のとき２５５とし、１２８以内のとき０として代表値を更新する。また、テンプレート記憶部２０２は、一次記憶装置１０４に予め記憶された構図を特定するためのテンプレート画像データを入力する。そして、ＣＰＵ１０３から与えられる撮影画像データのアスペクト比およびサイズ（画素数）情報に基づいてテンプレート画像を縮小または拡大を行い、記憶する。
【００１８】
ここで、本実施形態では、図５（Ａ）に示すように、外周とその内部で異なる値を持つ額縁構図用のテンプレート画像を用いるが、これに限定することなく、例えば、図５（Ｂ）のような三角構図用、図５（Ｃ）のような対角線構図用テンプレート画像でもよい。また、本実施形態では、１つのテンプレート画像を用いているが、テンプレート画像を複数枚保持し、条件により適宜テンプレートを変更してもよい。例えば、後述のステップＳ３０３において、所定の閾値より低く求められた場合、テンプレートを変更してよい。また、本実施形態では、予め記憶されたテンプレート画像を用いているが、一次記憶装置１０４に記憶された撮影画像データを用いてテンプレートを作成してもよい。例えば、額縁構図用のテンプレートを作成する場合、撮影画像データを所定の複数のブロックに分割し、ブロック内画素の輝度値の平均値を求める。また、全てのブロックの平均輝度値の最小値と最大値を求め、外周のブロックに輝度の最小値、内側のブロックに最大値を割り当ててテンプレート画像としてもよい。
【００１９】
次に、ステップＳ３０３において、相関度判定部（第２の算出手段）２０３は、相関度演算を行う。具体的には、相関度を求める対象の、ステップＳ３０１及びステップＳ３０２で求めたブロック毎の代表値と、記憶されたテンプレート画像の画素値において、対応する位置のブロックの代表値と画素値の差分絶対値を、全てのブロックについて求める。そして、求められた全てのブロックの差分絶対値を加算した値である差分絶対値の和を求める。ここで、本実施形態では、差分絶対値の和が小さいほど相関度が高いことを意味する。以上の処理を、二次元の代表値画像の左上を開始点として右下までテンプレート画像を走査して行う。そして、求められた複数の差分絶対値の和のうち、差分絶対値の和が小さくなる複数のテンプレート位置座標を求める。本実施形態では、相関度が上位となる３つの位置座標を候補として抽出する。
【００２０】
次に、ステップＳ３０４において、焦点情報取得部（取得手段）２０４は、操作部１０９でユーザから設定された複数のオートフォーカス（ＡＦ）フレーム（複数の焦点領域）の内の１つの画面内の位置情報（焦点位置）を取得する。ここで、図６（Ａ）は、測距点の位置を示す測距点表示であり、表示部１０８によりファインダ視野内に表示される。例えば、図６（Ｂ）に示すように、ＡＦ測距点と画面内の位置座標の対応を予めテーブルデータとして一次記憶装置１０４に保持しておき、選択されたＡＦ測距点の画面内の縦横の位置を表す座標を取得する。また、表示部１０８上にタッチパネルが含まれる場合には、タッチパネルを介して表示部１０８上の一点を指定することで、その位置座標を取得する。なお、予め定められた設定に従ってＣＰＵ１０３が自動で選択した測距点位置の座標を取得してもよい。
【００２１】
次に、ステップＳ３０５において、ＡＦ位置判定部（判定手段）２０５は、ステップＳ３０４で取得したＡＦフレームの座標の重心位置が、ステップＳ３０３で求められた相関度が高いテンプレート位置座標における所定の領域内に含まれるか否かを判定する。図７は、例えば、図５（Ａ）に示す、外周とその内部で異なる値を持つテンプレート画像を用いた場合の判定について説明する図である。具体的には、外周とその内部で異なる値を持つテンプレート画像を用いた場合、相関度が高いテンプレート位置を囲む枠（７０１）の内側の枠領域（７０２）にＡＦ測距点（７０３）が含まれるか否かをテンプレート位置座標から求めて判定する。
【００２２】
ステップＳ３０５でＡＦフレームの座標がテンプレート画像の枠内に含まれると判定された場合（ＹＥＳ）、ステップＳ３０６において、トリミング部（トリミング手段）２０６は、トリミングを行う。つまり、ＡＦフレームの座標がテンプレート画像の枠内に含まれている場合、ステップＳ３０３で求めたテンプレート位置座標からテンプレート画像のサイズでトリミングを行う。なお、トリミングのサイズや位置は、本実施形態に限定することなく、例えば、撮影された画像の焦点距離や像高等によって調整してもよい。一方、ステップＳ３０５でＡＦフレームの座標がテンプレート画像の枠内に含まれないと判定された場合（ＮＯ）、ステップＳ３０７において別構図のトリミングを行う。以上のように、本実施形態では、ＡＦ位置判定部（判定手段）２０５の判定結果に従って、どの構図でトリミングを行うかを決定している。
【００２３】
なお、トリミングについては、例えば、画像内の主要被写体を抽出し、主要被写体を画面の真ん中に配置するような日の丸構図のトリミングを行う。なお、本実施形態では、ＡＦフレームの座標がテンプレート画像の枠内の有無に関わらずトリミングを行うが、予め被写体に合焦したか否かを判定しておき、合焦していなければトリミング領域の設定を行わないこととしてもよい。
【００２４】
以上、本実施形態によれば、自動で行うトリミングの際にＡＦフレーム位置情報を用いることで、ユーザが着目している被写体が優先的にトリミングされるため、ユーザの意図を反映した好適なトリミングを行うことができる。
【００２５】
（第２実施形態）
第１の実施形態では、ステップＳ３０１〜ステップＳ３０４において、画像を分割した領域毎に、領域に含まれる全ての画素の輝度値の平均値を領域の代表輝度値として求め、代表輝度値と画素値の差分絶対値和から相関度を求めた。これに対し、本実施形態では、分割した領域の代表輝度値算出後、人体検出情報に基づいて代表輝度値を更新することで、相関度算出の精度を向上させる。
【００２６】
本実施形態に係る撮像装置の構成は、第１実施形態において図１を参照して説明したものと同様であるため、ユニット毎の説明は省略する。図８は、本実施形態における画像処理装置１０５の構成を示すブロック図である。本実施形態に係る画像処理装置１０５は、領域代表値生成部８０１と、テンプレート記憶部８０２と、人体検出部８０３と、焦点情報取得部８０４と、領域代表値更新部８０５と、相関度演算部８０６と、トリミング部８０７を含む。ここで、画像処理装置１０５の各部について、図９に示すの本実施形態に係る入力された画像データを自動でトリミングする全体フローチャートを用いて説明する。
【００２７】
まず、ステップＳ９０１において、撮像装置１００にて画像の撮影を行い、一次記憶装置１０４に記憶された撮影画像データを入力し、領域代表値生成部８０１は、入力された画像データから領域分割し、領域毎に代表値を生成（算出）する。ここで、領域代表値生成部８０１は、ＣＰＵ１０３から与えられる分割情報に従い、領域分割を行う。本実施形態では、図４に示すような、画像を横方向に１２等分、縦方向に８等分する。なお、本実施形態では、方形（ブロック）状に分割をしているが、三角形、六角形などの多角形形状をはじめ、任意の形状の領域に分割してもよい。そして、ＣＰＵ１０３は、分割した領域毎に、領域に含まれる全ての画素の輝度値の平均値を領域の代表輝度値として求める。なお、本実施形態では、領域の代表値を輝度の平均値としているが、彩度、色相、周波数成分などの平均値を領域の代表値として求めてもよい。
【００２８】
次に、ステップＳ９０２において、領域代表値生成部８０１は、ステップＳ９０１で求められた二次元の代表値画像を、ＣＰＵ１０３から与えられる所定の閾値に従い、代表値を正規化する。例えば、二値の正規化を行う場合、代表値が１２８以上のとき２５５とし、１２８以内のとき０として代表値を更新する。また、テンプレート記憶部８０２は、一次記憶装置１０４に予め記憶された構図を特定するためのテンプレート画像データを入力する。そして、ＣＰＵ１０３から与えられる撮影画像データのアスペクト比およびサイズ（画素数）情報に基づいてテンプレート画像を縮小または拡大を行い、記憶する。ここで、本実施形態では、図５（Ａ）に示すように、外周とその内部で異なる値を持つ額縁構図用のテンプレート画像を用いる。
【００２９】
次に、ステップＳ９０３において、人体検出部８０３は、一次記憶装置１０４に記憶された撮影画像データを入力し、人体特徴量データ（辞書）を用いて画像内の主要被写体である人体を検出する。なお、人体検出には、頭と肩のシルエット形状を検出する公知の方法を用いてよい。本実施形態では、検出された人体の領域は方形（ブロック）で表現する。
【００３０】
次に、ステップＳ９０４において、焦点情報取得部８０４は、操作部１０９でユーザから設定された複数のオートフォーカス（ＡＦ）フレーム（複数の焦点領域）の内の１つの画面内の位置情報（焦点位置）を取得する。ここで、第１実施形態と同様に、図６（Ａ）に示すように、測距点の位置を示す測距点が表示部１０８によりファインダ視野内に表示される。例えば、図６（Ｂ）に示すように、ＡＦ測距点と画面内の位置座標の対応を予めテーブルデータとして一次記憶装置１０４に保持しておき、選択されたＡＦ測距点の画面内の縦横の位置を表す座標を取得する。また、表示部１０８上にタッチパネルが含まれる場合には、タッチパネルを介して表示部１０８上の一点を指定することで、その位置座標を取得する。なお、予め定められた設定に従ってＣＰＵ１０３が自動で選択した測距点位置の座標を取得してもよい。
【００３１】
次に、ステップＳ９０５において、領域代表値更新部８０５は、代表輝度値を更新する。つまり、ステップＳ９０２で求めたブロック毎の代表値を、ステップＳ９０３で検出した人体検出領域と、ステップＳ９０４で取得したＡＦフレームの座標の重心位置を用いて、テンプレート記憶部８０２に記憶されたテンプレート画像のある画素値で置き換える。ここで、図５（Ａ）に示す外周とその内部で異なる値を持つテンプレート画像を用いた場合の代表値の更新について、図１０（Ａ）に示すようなトンネル内の人物を撮影するシーンを例に説明する。図１０（Ａ）は、逆光で人物が暗くなり、ステップＳ９０２の代表値の正規化を行う閾値によっては、人物を含む周辺の代表値が、図１０（Ｂ）に示すようにトンネル部分の代表値と同じ値（０）で算出される場合がある。この場合、相関度算出部８０６で相関度が低く算出され、その結果、好適なトリミングを行うことができない可能性がある。そこで、ステップＳ９０４で取得したＡＦフレームの座標位置が、ステップＳ９０３で検出された人体検出領域内に含まれる箇所において、図１０（Ｃ）に示すように、人体領域１００１をテンプレート画像の内部の値（２５５）に置き換える。
【００３２】
次に、ステップＳ９０６において、相関度判定部８０６は、相関度演算を行う。具体的には、相関度を求める対象の、ステップＳ９０５で求めたブロック毎の代表値と、ステップＳ９０２で記憶されたテンプレート画像の画素値において、対応する位置のブロックの代表値と画素値の差分絶対値を、全てのブロックについて求める。そして、求められた全てのブロックの差分絶対値を加算した値である差分絶対値の和を求める。ここで、第１実施形態と同様に、本実施形態においても、差分絶対値の和が小さいほど相関度が高いことを意味する。以上の処理を、二次元の代表値画像の左上を開始点として右下までテンプレート画像を走査して行う。そして、求められた複数の差分絶対値の和のうち、差分絶対値の和が小さくなる複数のテンプレート位置座標を求める。本実施形態では、相関度が上位となる３つの位置座標を候補として抽出する。ステップＳ９０７において、トリミング部８０７は、ステップＳ９０６で求められたテンプレート位置座標からテンプレート画像のサイズでトリミングを行う。
【００３３】
ここで、本実施形態のように、ステップＳ９０５で人体領域の代表値を更新する場合と、第１の実施形態のように、代表値を更新しない場合のトリミング例について説明する。図１１（Ａ）は、代表値を更新しない場合のトリミング例を示す図であり、図１１（Ｂ）は、代表値を更新する場合のトリミング例を示す図である。図１１（Ａ）に示すように、代表値を更新しない場合は、ステップＳ９０６で求めたテンプレート位置座標から、トリミング枠１１０１となり、人物の首辺りでトリミングされてしまうため、全画面に対して人物の占めるバランスが良くなく、見栄えも良くない。一方、図１１（Ｂ）に示すように、代表値を更新する場合は、トリミング枠１１０２となり、人物の占めるバランスが良く、好適なトリミングを行うことができる。
【００３４】
以上、本実施形態によれば、人体が検出された領域の代表輝度値をテンプレート画像のある画素値に置き換える。これにより相関度算出の精度を向上させることができる。従って、自動で行うトリミングの際にＡＦフレーム位置情報を用いることで、ユーザが着目している被写体が優先的にトリミングされるため、ユーザの意図を反映した好適なトリミングを行うことができる。
【００３５】
また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００３６】
１０４  一次記憶装置
１０５  画像処理装置
２０１  領域代表値生成部
２０３  相関度演算部
２０４  焦点情報取得部
２０５  ＡＦ位置判定部
２０６  トリミング部
【図１】
2018014546.tif 000003
【図２】
2018014546.tif 000004
【図３】
2018014546.tif 000005
【図４】
2018014546.tif 000006
【図５】
2018014546.tif 000007
【図６】
2018014546.tif 000008
【図７】
2018014546.tif 000009
【図８】
2018014546.tif 000010
【図９】
2018014546.tif 000011
【図１０】
2018014546.tif 000012
【図１１】
2018014546.tif 000013