(57)【要約】【課題】被写体それぞれの向きを考慮したトリミングを自動で行なうことで、好適な構図の画像を容易に得る画像処理装置を提供すること。【解決手段】撮像して得られた画像の一部を切り出すトリミング手段と、前記トリミング手段でトリミングするための構図を設定する構図設定手段と、前記画像から複数の被写体を検出することが可能な被写体検出手段と、前記被写体検出手段で検出したそれぞれの被写体が向いている方向を判定する被写体向き判定手段と、を備え、前記構図設定手段は、前記被写体向き判定手段で判定した結果に基づいて構図を設定することを特徴とする。【選択図】図２
2015097322.tif 000002
【特許請求の範囲】
【請求項１】
撮像して得られた画像の一部を切り出すトリミング手段と、
前記トリミング手段でトリミングするための構図を設定する構図設定手段と、
前記画像から複数の被写体を検出することが可能な被写体検出手段と、
前記被写体検出手段で検出したそれぞれの被写体が向いている方向を判定する被写体向き判定手段と、
を備え、
前記構図設定手段は、前記被写体向き判定手段で判定した結果に基づいて構図を設定することを特徴とする画像処理装置。
【請求項２】
前記構図設定手段で設定される構図の数は、いくつであってもよいことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記トリミング手段は、前記構図設定手段で複数の構図が設定されている場合でも、必ずしも全ての構図をトリミングする必要はないことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記被写体向き判定手段は、被写体の進行方向、画像全体の進行方向、あるいは被写体の視線の向きの少なくとも１つに基づいて被写体の向きを判定することを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記構図設定手段は、前記被写体向き判定手段で被写体の向きが判定不能だった場合、構図を設定しなくてもよいことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記構図設定手段は、前記被写体検出手段で検出したそれぞれの被写体が向いている方向の空間が広くなるように構図を設定することを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項７】
前記構図設定手段は、前記被写体検出手段で検出した被写体が背を向けている場合、背景が広くなるように構図を設定することを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項８】
前記構図設定手段は、前記被写体向き判定手段で判定した結果に基づいて被写体が他の被写体と関係があるかを判断し、関係がある被写体が含まれるように構図を設定することを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項９】
前記トリミング手段は、前記構図設定手段で設定した全ての構図の中から被写体やシーンに応じて何枚トリミングしてもよいし、トリミングを行なわなくてもよいことを特徴とする請求項１乃至請求項８の何れか１項に記載の画像処理装置。
【請求項１０】
前記構図設定手段において設定された構図内の被写体の位置や向きに応じて、構図毎に評価値を算出する構図評価値算出手段をさらに備え、
前記トリミング手段は、前記構図評価値算出手段で算出された評価値に基づいて、トリミングする構図の優先順位を決定することを特徴とする請求項１乃至請求項９の何れか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対するトリミング制御技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置で撮影するとき、撮影者は構図を意識して撮影を行なうが、瞬時に被写体やシーンを判断して好適な構図を決定することは特に撮影初心者には難しく、多くの人から共感を得られるような好ましい構図を瞬時に決定するには熟練を要する。そこで、好適な構図となるように、画像中の顔の位置と向きに応じて自動でトリミングを行なう技術がある（特許文献１参照）。しかし、この手法によれば、顔の向きを考慮してはいるが、離れた被写体がいた場合には有効とは言えない。
【０００３】
また、主要被写体と副被写体の関係度に応じてトリミングを行なう手法も提案されている（特許文献２参照）。ただし、この手法では、主要被写体と副被写体の関係の強さである関係度を算出して用いるため副被写体が存在しない場合は有効ではない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４８６９２７０号明細書
【特許文献２】特許第５０８４６９６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そこで本発明は、上記課題に鑑みてなされ、その目的は、撮影シーンの状況や雰囲気が構図内に残るようなトリミングを自動で行えるようにすることで、ユーザの作業負担を増やすことなく、ユーザに好適な印象を与えるトリミング技術を実現することである。
【課題を解決するための手段】
【０００６】
上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮像して得られた画像の一部を切り出すトリミング手段と、前記トリミング手段でトリミングするための構図を設定する構図設定手段と、前記画像から複数の被写体を検出することが可能な被写体検出手段と、前記被写体検出手段で検出したそれぞれの被写体が向いている方向を判定する被写体向き判定手段と、を備え、前記構図設定手段は、前記被写体向き判定手段で判定した結果に基づいて構図を設定するように制御する。
【発明の効果】
【０００７】
本発明によれば、被写体それぞれの向きを考慮したトリミングを自動で行なうことで、好適な構図の画像を容易に得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本実施形態の撮像装置による画像撮影動作を示すフローチャートである。
【図３】本実施形態の撮像装置による構図設定処理動作を示すフローチャートである。
【図４】本実施形態の撮像装置による構図設定処理の具体例を説明するための図（１）である。
【図５】本実施形態の撮像装置による構図設定処理の具体例を説明するための図（２）である。
【図６】三分割法を説明するための図である。
【図７】本実施形態の撮像装置によるアスペクト類似度とアスペクト評価値の関係を示す図である。
【図８】本実施形態の撮像装置によるサイズ比と画素数評価値の関係を示す図である。
【図９】本実施形態の撮像装置による空間サイズ比と空間サイズ評価値の関係を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１０】
＜装置構成＞
まず、図１を参照して、本実施形態の撮像装置の主要な構成について説明する。
【００１１】
図１において、１００は画像処理装置である。１０は撮影レンズである。１２は絞り機能を備えるシャッターである。１４は被写体の光学像を電気信号に変換する撮像素子である。１６はＡ／Ｄ変換器であり、撮像素子１４のアナログ信号出力をデジタル信号に変換する。
【００１２】
１８はタイミング発生回路であり、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するもので、メモリ制御回路２２及びシステム制御回路５０により制御される。２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０では、撮像により生成された画像データを用いて所定の演算処理を行って、その演算結果をシステム制御回路５０に供給する。
【００１３】
システム制御回路５０は、その演算結果に基づいて、露光制御部４０、測距制御部４２を制御して、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。さらに、画像処理回路２０では、撮像により生成された画像データを用いてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。
【００１４】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されるデータは、画像処理回路２０を介してメモリ制御回路２２に供給され、或いは直接メモリ制御回路２２に供給され、これにより、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００１５】
２４は画像表示メモリである。２６はＤ／Ａ変換器である。２８はＴＦＴ−ＬＣＤ等からなる画像表示部である。画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８に供給され、これにより画像表示部２８に画像が表示される。画像表示部２８に撮像に係る画像を逐次表示することにより、電子ファインダ機能を実現することができる。また、画像表示部２８を用いて、再生表示機能、各種表示機能を利用することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をオン／オフすることが可能であり、表示をオフにした場合は、撮像装置１００の電力消費を大幅に低減することができる。
【００１６】
３０はメモリであり、撮影した静止画像や動画像を格納する。メモリ３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。このメモリ３０を利用することにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合においても、高速に大量の画像を保存することができる。また、メモリ３０はシステム制御回路５０の作業領域としても利用され得る。
【００１７】
３２は圧縮・伸長回路であり、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮し又は伸長する。圧縮・伸長回路３２では、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００１８】
４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、ストロボ４８と連携してフラッシュ調光を行うこともできる。４２は撮影レンズ１０のフォーカシングを制御する測距制御部である。露光制御部４０及び測距制御部４２は、撮像により生成された画像データを画像処理回路２０が演算した演算結果に基づいて、システム制御回路５０によって制御される。これにより、ＴＴＬ方式の露光制御及び測距制御が実現される。
【００１９】
４４は撮影レンズ１０のズーミングを制御するズーム制御部である。
【００２０】
４６はバリア（保護部）１０２の動作を制御するバリア制御部である。
【００２１】
４８はストロボであり、被写体を明るく照らしてピントを合いやすくするためのＡＦ補助光の投光機能を有する。なお、ストロボ４８は、単一でもよいし、閃光発光用にキセノン管、微小長秒発光用にＬＥＤなどのように複数設け、本発光時にそれぞれを切り替えて制御してもよい。
【００２２】
５０はシステム制御回路であり、撮像装置１００全体を制御する。５２はメモリであり、システム制御回路５０の動作用の定数、変数、プログラム等を記憶する。また、メモリ５２はＡＥで用いるプログラム線図も格納している。プログラム線図は、露出値に対する絞り開口径とシャッター速度の制御値との関係を定義したテーブルである。
【００２３】
５４は液晶表示装置、スピーカ等の表示部であり、システム制御回路５０によるプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する。表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数箇所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部が光学ファインダ１０４内に設置されている。
【００２４】
表示部５４の表示内容のうち、ＬＣＤ等で表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示等がある。加えて、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等がある。また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。
【００２５】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等で構成される。
【００２６】
６０、６２、６４、６６は、ユーザがシステム制御回路５０へ各種動作を指示するための操作部であり、例えばスイッチやダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。具体的に説明すると、６０はモードダイヤルスイッチであり、電源オフ、プログラムＡＥモードなどの自動露出モード、全自動モード、マニュアル露出モード、寝顔撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各モードを切り替えることができる。
【００２７】
６２はシャッタースイッチＳＷ１であり、不図示のシャッターボタンの操作途中でオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００２８】
６４はシャッタースイッチＳＷ２であり、前記シャッターボタンの操作完了でオンとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理の動作を開始する。更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００２９】
６６は各種ボタンやタッチパネル等からなる操作部である。操作部６６には、メニューボタン、セットボタン、マクロボタン、画像表示オン／オフボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。
【００３０】
８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。８２、８４はコネクタである。８６は電源であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。
【００３１】
９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェースである。９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部である。
【００３２】
なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。
【００３３】
さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
【００３４】
１０２は、撮像装置１００の撮影レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。
【００３５】
１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。
【００３６】
１１０は通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。
【００３７】
１１２は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００３８】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。
【００３９】
２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、撮像装置１００とのインタフェース２１４、撮像装置１００と接続を行うコネクタ２１６を備えている。
【００４０】
＜動作説明＞
本実施形態の撮像装置による画像撮影動作について説明する。なお、ここで説明する処理は、システム制御回路５０が、不揮発性メモリ５６に記録されたプログラムを、ＲＡＭなどの揮発性メモリ５２のワークエリアに展開し、実行することで実現される。
【００４１】
システム制御回路５０は、モードダイヤル６０が撮影可能なモードにおいて電源８６がオンされると、各種撮影準備動作を行い、撮影準備が完了すると、画像表示部２８へスルー画像の表示を開始する。ここで、スルー画像とは、静止画を撮影する前後にファインダ機能として表示させるため、撮像素子１４によって撮像された画像のことである。スルー画像表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０およびメモリ制御回路２２を介して画像表示メモリ２４に逐次書き込まれたデータは、メモリ制御回路２２およびＤ／Ａ変換器２６を介して画像表示部２８に逐次表示される。これにより、電子ビューファインダ（ＥＶＦ）機能が実現する。
【００４２】
次に、図２を参照して、スルー画像表示状態における画像撮影動作について説明する。
【００４３】
図２において、シャッタースイッチＳＷ１が押されるまでＳ２０１を繰り返す。シャッタースイッチＳＷ１が押されたならばＳ２０２に進む。
【００４４】
システム制御回路５０は、測距処理を行なって撮影レンズ１０の焦点を被写体に合わせ、測光処理を行なって絞り値及びシャッター時間を決定する（Ｓ２０２）。
【００４５】
シャッタースイッチＳＷ２が押されずに、シャッタースイッチＳＷ１が解除されたならばＳ２０１に戻る（Ｓ２０３）。シャッタースイッチＳＷ２が押されると（Ｓ２０４）、システム制御回路５０は、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器から直接メモリ制御回路２２を介して、メモリ３０に撮影した画像データを書き込む露光処理、及び、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する（Ｓ２０５）。
【００４６】
続けて、画像処理回路２０において入力された画像データをトリミングするための構図設定を行なう（Ｓ２０６）。
【００４７】
ここで、先に図３を参照して構図設定について説明する。図３において、入力された画像データから被写体を検出する（Ｓ３０１）。被写体が人物であれば顔検出することで被写体の領域を検出できる。顔検出については既知の方法で良い。例えば、画像処理回路２０は、入力された画像データから、目、鼻や口などの顔領域の構成要素に相当する形状を抽出し、目、鼻や口の存在位置関係から顔領域を算出する。また、被写体が人物でない場合の被写体検出も既知の方法で良い。例えば、入力された画像データを色や輝度で領域分割し、分割した領域の大きさや画面中心からの距離に応じて被写体らしさの重み付けをする。そして、重みが一定以上となった領域を被写体領域とする。
【００４８】
次に、被写体が検出できたかどうかを判断し（Ｓ３０２）、被写体が検出できたら被写体の向き情報を取得し（Ｓ３０３）、被写体向き情報を用いて構図の設定をする（Ｓ３０４）。Ｓ３０２で被写体を検出できていなかった場合は、被写体情報を使わずに構図を設定する（Ｓ３０４）。
【００４９】
Ｓ３０３の被写体の向き情報を取得する方法も既知の方法で良い。例えば、時間的に連続した入力画像データにおいて、Ｓ３０１で検出した同一被写体を直前フレームと比較していき、同一被写体が一定方向に移動し続けているのであれば、その進行方向を簡易的に被写体の向きとする。また、被写体が動いていない場合でも、顔が検出できていれば、左右の眼の大きさの比、または目、鼻や口などの位置関係から顔の向きを算出し、顔の向きを被写体の向きとしてもよいし、被写体の目の白目と黒目の関係から視線の向きを算出し、視線方向を被写体の向きとしてもよい。さらに、検出した顔領域を追尾している状態で、斜め顔、横顔と変化していき、目、鼻や口が検出できなくなった場合、被写体は後ろを向いている状態であるとしてもよい。
【００５０】
続いて構図を設定する（Ｓ３０４）。構図の設定には図４と図５を参照して説明する。図４、図５では例として（ａ）、（ｂ）、（ｃ）、（ｄ）の４つのシーンを説明する。それぞれのシーンには被写体がいて、被写体をＴ１からＴ１０で示している。さらに被写体それぞれの向きをＤ１からＤ９で示している。Ｔ１０のみ方向が検出できなかった被写体であり、Ｄ１０は存在しない。また、図５は図４それぞれの画像データにおける構図の例をそれぞれＷ１からＷ４で示したものである。Ｗ１からＷ４はあくまで構図の一例であり、設定される構図は１つでなくてもよい。
【００５１】
まず（ａ）のシーンでは、被写体Ｔ１とＴ２は反対方向を向いているので別々の構図にする。そのうえで切り出し位置を考える。一般的に、写真撮影では被写体が向いている方向の空間を広くとった構図が良いとされている。また、（ａ）のシーンではＴ１と一緒に切り出す被写体がないため三分割法を適用する。三分割法とは、図６に示すように、切り出す画角の水平方向と垂直方向のそれぞれを３分割するように２本ずつ線を引くことにより得られる分割線の４つの交点Ｐ１〜Ｐ４に被写体の重心などの重要な要素を置くとバランスが取れて安定した構図が得られるというものである。Ｗ１は被写体の向いている方向に空間を広くとり、かつ三分割法を適用した例である。同様にＴ２の切り出しを考えたとき、Ｔ２は画角端でさらに外側を向いている。このような場合、被写体の向いている方向に空間を広くとることができない。そのため、無理に構図を設定しなくてもよい。
【００５２】
次に（ｂ）のシーンでは、被写体Ｔ３とＴ４が後ろを向いている状態である。被写体が後ろを向いていて、かつその方向に特に被写体が見つからない場合、被写体が景色を眺めているなど、背景と被写体に関係がある場合が想定される。そのため、背景が広く入るように構図を設定する方法がある。Ｗ２は後ろを向く被写体Ｔ３とＴ４を含み、かつ背景が広く入る構図の例である。他にも、被写体Ｔ３だけ、あるいはＴ４だけを含み背景が広く入る構図としてもよい。
【００５３】
（ｃ）のシーンでは、被写体Ｔ５とＴ６が向かい合っているため、お互いに知り合いであるなど、関係がある可能性が高い。そのため両方の被写体が画角内に入るようなＷ３のような構図を設定する。このシーンでは、無理に三分割法を意識して片方の被写体が画角の端で切れてしまわないように制御する。
【００５４】
最後に（ｄ）のシーンでは、被写体Ｔ７、Ｔ８、Ｔ９が被写体Ｔ１０の方向を向いている状態であり、Ｔ７、Ｔ８、Ｔ９はＴ１０を通じて関係がある被写体として考えてよい。Ｗ４はＴ１０と関係がある被写体をすべて含む構図の例である。当然、他にも三分割法を適用したＴ１０だけを含む構図やＴ１０の方向を向いている被写体のうちＴ８とＴ９だけとＴ１０が含まれるような構図を設定してもよい。（ｄ）ではわかりやすくするためにＴ１０を用いたが、Ｔ１０の被写体が検出できないシーンも存在する。そのような場合であっても、複数の被写体の向きが特定の領域で交差するのであれば、その領域に被写体があると仮定して、その領域を向いている複数の被写体が含まれるような構図を設定してもよい。
【００５５】
以上、（ａ）、（ｂ）、（ｃ）、（ｄ）のシーンを用いて構図の設定例を説明した。これらの方法を用いることにより、（ａ）と（ｂ）であれば被写体と背景、（ｃ）、（ｄ）であれば被写体同士などの関係性を残したまま構図を設定することができる。
【００５６】
また、もしＳ３０１で被写体が検出できていなかった場合や被写体は検出できていてもＳ３０３で向きが検出できない場合は被写体情報を用いずに構図を設定してもよいし、無理に構図設定しなくてもよい。例えば、被写体は検出できているが、被写体の向きが検出できていないのであれば、単純に向きを気にせず、三分割法に適用させるだけでもよい。さらに、被写体も見つかって無い状態であれば、例えば、合焦点を中心に構図を設定するだけでもよい。
【００５７】
続いて、設定した構図のトリミングを行なう（Ｓ２０７）。システム制御部５０は、メモリ３０に書き込まれた撮影画像データを読み出し、Ｓ２０６で設定した構図に従って、画像処理回路２０で画像データのトリミングを行ない、トリミングしてつくられた画像をメモリ３０に書きこむ（Ｓ２０７）。このとき、トリミングする構図はＳ２０６で設定された構図の全部でもよいし、１．構図内に被写体が多い順、２．被写体の向いている方向に空間を広くとっている構図、３．三分割法が適用されている構図などのように優先順位と何枚までトリミングするかを決めておき、その枚数までトリミングするようにしてもよい。
【００５８】
また、設定した構図全てを画像表示部２８で表示できるようにして、ユーザが選択した構図だけをトリミングするようにしてもよい。システム制御回路５０は、メモリ３０に書き込まれた撮影画像データを読み出して、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて各種画像処理を、また、圧縮・伸長回路３２を用いて設定したモードに応じた画像圧縮処理を行った後、記録媒体２００或いは２１０へ画像データの書き込みを行う記録処理を実行する（Ｓ２０８）。
このように、本発明によれば、撮影で得られた画像データから被写体と被写体の向きを検出し、被写体の向きに応じて適切なトリミング範囲を自動で決定することができるので、ユーザに手を煩わせることなく好適なトリミング画像を容易に得ることが可能となる。
【００５９】
＜変形例＞
上述した実施形態の変形例について説明する。上述した実施形態との違いは、Ｓ２０７の処理であり、変形例ではＳ２０６で設定された全ての構図の中から、実際にトリミングする構図を決めるために評価値を用いる。切り出す構図を決めるために、切り出す構図のアスペクト、画素数、座標などを決める必要がある。これらを決める際にそれぞれ評価値を例えば０から１００のように算出し、最終的にそれぞれの評価値を総合して総合評価値の高いものから順に構図を決定する。
【００６０】
一例としては、アスペクト評価値、画素数評価値、被写体位置評価値、空間サイズ評価値、被写体関係評価値を被写体情報や設定した構図の情報などから算出し、全ての評価値の平均をとることで最終評価値を算出する。最終評価値には毎回同じ値にならないようにランダム値をかけてもよいし、被写体が人物かどうかなどのように被写体の種類に応じて評価値が変動するようにしてもよい。さらに、シーンや被写体に応じて、どの評価値を用いて最終評価値を算出するかを変えてもよい。
【００６１】
以下に各評価値の算出例を示す。ここで出てくる値はあくまでも一例であり、また、シーンや被写体に応じて、適応的にパラメータを変えてもよい。
【００６２】
アスペクト評価値は、例えば被写体と構図のアスペクト類似度応じて算出する方法であり、被写体が縦長であれば縦長のアスペクトの評価値が高くなるようにする。被写体の縦横サイズは被写体領域を包含する最小の矩形領域をつくり、この矩形から縦横のサイズを算出する。被写体が複数いる場合は、それぞれの被写体領域を包含する最小の矩形領域をつくり、さらにその全てを包含する最小の矩形領域をつくり、その矩形から縦横のサイズを算出すればよい。アスペクト評価値は、以下の式で算出したアスペクト類似度から算出する。
【００６３】
【数１】
2015097322.tif 000003
【００６４】
図７はアスペクト類似度に対応するアスペクト評価値の算出例を示すものである。
【００６５】
画素数評価値は、例えば切り出し構図中の被写体の占める割合に応じて算出する方法があり、切り出し構図中の被写体の大きさが大きすぎたり、小さすぎたりしたときは評価値が小さくなるようにする。画素数評価値は、以下の式で算出したサイズ比から算出する。
【００６６】
【数２】
2015097322.tif 000004
【００６７】
図８はサイズ比に対応する画素数評価値の算出例を示すものである。
【００６８】
被写体位置評価値は、例えば設定した構図中の被写体の重心位置に応じて算出する方法があり、被写体の重心位置が三分割法を満たしているときの評価値を１００、満たしていないときの評価値を５０にするなど簡単なものでよい。
【００６９】
空間サイズ評価値は、被写体の無い空間と被写体の向いている方向に応じて算出する方法があり、被写体の重心位置から被写体の向いている方向の空間とその反対の空間のサイズを比較し、適切な比になるときに評価値が大きくなるようにする。空間サイズ評価値は、以下の式で算出した空間サイズ比から算出する。
【００７０】
【数３】
2015097322.tif 000005
【００７１】
図９は空間サイズ比に対応する空間サイズ評価値の算出例を示すものである。
【００７２】
被写体関係評価値は、例えば設定した構図中に複数の被写体が存在する場合、被写体と被写体の間に関係がある場合の評価値を１００、関係がない場合の評価値を３０にするなど簡単なものでよく、被写体が複数検出できなかった場合、被写体関係評価値は使用しなくてよい。
【００７３】
このように設定されたそれぞれの構図の評価値を算出し、上位何位まで、もしくはトリミングする構図に必要な評価値の閾値を設けることにより、トリミング枚数を絞ることができ、無駄にトリミングデータを増やすことを避けることができ、ユーザへの負担を減らすことができる。
【００７４】
＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００７５】
１００  画像処理装置
１０  撮影レンズ
１２  シャッター
１４  撮像素子
１６  Ａ／Ｄ変換器
【図６】
2015097322.tif 000006
【図１】
2015097322.tif 000007
【図２】
2015097322.tif 000008
【図３】
2015097322.tif 000009
【図４】
2015097322.tif 000010
【図５】
2015097322.tif 000011
【図７】
2015097322.tif 000012
【図８】
2015097322.tif 000013
【図９】
2015097322.tif 000014