(57)【要約】      （修正有）【課題】連写画像において、撮影シーンの状況や雰囲気が構図内に残り、かつ前後のつながりがわかるようなトリミングを自動で行い、ユーザの作業負担を増やすことなく、ユーザに好適な印象を与えるトリミング技術を提供する。【解決手段】撮像装置は、時間的に連続した画像を取得する画像取得手段と、画像から主要被写体を検出する被写体検出手段と、時間的に連続した画像の二枚目以降において主要被写体を追尾して検出する追尾検出手段と、主要被写体情報に基づいて被写体領域を決定する被写体領域決定手段と、主要被写体情報と被写体領域に基づいてトリミング構図を決める構図決定手段と、を備える。少なくとも構図手段で決定するトリミングサイズとトリミングアスペクトは、時間的に連続した画像の一枚目で決定し、またトリミング位置は、時間的に連続した画像の二枚目以降は追尾検出被写体情報によって決定される。【選択図】図３
2018201101.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続した画像を取得する画像取得手段と、
前記画像から主要被写体を検出する被写体検出手段と、
前記時間的に連続した画像の２枚目以降において前記主要被写体を追尾して検出する追尾検出手段と、
前記主要被写体情報に基づいて被写体領域を決定する被写体領域決定手段と、
前記主要被写体情報と前記被写体領域に基づいてトリミング構図を決める構図決定手段と、
を備え、
少なくとも前記構図手段で決定するトリミングサイズとトリミングアスペクトは、前記時間的に連続した画像の１枚目で決定し、また前記トリミング位置は、前記時間的に連続した画像の二枚目以降は前記追尾検出被写体情報によって決定されることを特徴とする画像処理装置。
【請求項２】
前記時間的に連続した画像とは、撮影してから次の撮影までの間隔が所定短時間以内であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
さらに画像の領域ごとの距離情報を取得する距離情報取得手段を備え、前記被写体領域決定手段は、前記主要被写体情報と前記距離情報に基づいて決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記被写体領域決定手段は、前記時間的に連続した画像の２枚目以降では前記距離情報は使用しないことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記構図決定手段は、前記被写体検出または前記追尾検出ができない場合、前記被写体検出と前記被写体領域算出と前記トリミング構図決めをやり直すことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記構図決定手段は、トリミングサイズに占める被写体サイズの割合に応じて構図を決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
さらにトリミングサイズ更新手段を備え、トリミングサイズに占める被写体サイズの割合が所定範囲を超えたら、少なくともトリミングサイズを更新することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記トリミングサイズ更新手段は、被写体の種類、撮影モード、被写体までの距離情報の少なくとも1つに応じて前記所定範囲を可変とすることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対するトリミング制御技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置で撮影するとき、撮影者は構図を意識して撮影を行なうが、瞬時に被写体やシーンを判断して好適な構図を決定することは特に撮影初心者には難しく、多くの人から共感を得られるような好ましい構図を瞬時に決定するには熟練を要する。さらに、連写画像をトリミングする場合、トリミング画像を連続して再生してシーンの流れを確認することが多いため、前後のつながりがわかる構図になることが望ましい。
【０００３】
特許文献１は、連続して撮影した複数の画像から同一顔を検出し、同一顔の位置および大きさが揃うようにトリミングをすることで被写体の表情の変化を捉える技術である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５４２４８２７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術は、被写体やシーンを判断して好適な構図を決定するものではなく、また、連写画像のシーンのつながりがわかるようなトリミングは考慮されていない。
【０００６】
そこで本発明は、上記課題に鑑みてなされ、その目的は、連写画像において、撮影シーンの状況や雰囲気が構図内に残り、かつ前後のつながりがわかるようなトリミングを自動で行えるようにすることで、ユーザの作業負担を増やすことなく、ユーザに好適な印象を与えるトリミング技術を実現することである。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、時間的に連続した画像を取得する画像取得手段と、
前記画像から主要被写体を検出する被写体検出手段と、
前記時間的に連続した画像の２枚目以降において前記主要被写体を追尾して検出する追尾検出手段と、
前記主要被写体情報に基づいて被写体領域を決定する被写体領域決定手段と、
前記主要被写体情報と前記被写体領域に基づいてトリミング構図を決める構図決定手段と、
を備え、
少なくとも前記構図手段で決定するトリミングサイズとトリミングアスペクトは、前記時間的に連続した画像の１枚目で決定し、また前記トリミング位置は、前記時間的に連続した画像の二枚目以降は前記追尾検出被写体情報によって決定されることを特徴としている。
【発明の効果】
【０００８】
本発明によれば、連写画像のトリミングにおいて、被写体の動きや被写体の検出バラつきに影響を受けずに、前後の連続性を持たせた構図のトリミング画像を容易に得ることができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本実施形態に係る画像撮影動作を示すフローチャートである。
【図３】本実施形態に係るオートトリミング動作を示すフローチャートである。
【図４】三分割法を説明するための図である。
【図５】本実施形態に係る被写体の変化とトリミング枠の関係を示す図である。
【図６】第２の実施形態に係るオートトリミング動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１１】
＜装置構成＞
まず、図１を参照して、本実施形態の撮像装置の主要な構成について説明する。図１において、１００は画像処理装置である。１０は撮影レンズである。１２は絞り機能を備えるシャッターである。１４は被写体の光学像を電気信号に変換する撮像素子である。１６はＡ／Ｄ変換器であり、撮像素子１４のアナログ信号出力をデジタル信号に変換する。
【００１２】
１８はタイミング発生回路であり、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するもので、メモリ制御回路２２及びシステム制御回路５０により制御される。２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０では、撮像により生成された画像データを用いて所定の演算処理を行って、その演算結果をシステム制御回路５０に供給する。
【００１３】
システム制御回路５０は、その演算結果に基づいて、露光制御部４０、測距制御部４２を制御して、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。さらに、画像処理回路２０では、撮像により生成された画像データを用いてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。
【００１４】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されるデータは、画像処理回路２０を介してメモリ制御回路２２に供給され、或いは直接メモリ制御回路２２に供給され、これにより、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００１５】
２４は画像表示メモリである。２６はＤ／Ａ変換器である。２８はＴＦＴ−ＬＣＤ等からなる画像表示部である。画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８に供給され、これにより画像表示部２８に画像が表示される。画像表示部２８に撮像に係る画像を逐次表示することにより、電子ファインダ機能を実現することができる。また、画像表示部２８を用いて、再生表示機能、各種表示機能を利用することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をオン／オフすることが可能であり、表示をオフにした場合は、撮像装置１００の電力消費を大幅に低減することができる。
【００１６】
３０はメモリであり、撮影した静止画像や動画像を格納する。メモリ３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。このメモリ３０を利用することにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合においても、高速に大量の画像を保存することができる。また、メモリ３０はシステム制御回路５０の作業領域としても利用され得る。
【００１７】
３２は圧縮・伸長回路であり、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮し又は伸長する。圧縮・伸長回路３２では、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００１８】
４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、ストロボ４８と連携してフラッシュ調光を行うこともできる。４２は撮影レンズ１０のフォーカシングを制御する測距制御部である。露光制御部４０及び測距制御部４２は、撮像により生成された画像データを画像処理回路２０が演算した演算結果に基づいて、システム制御回路５０によって制御される。これにより、ＴＴＬ方式の露光制御及び測距制御が実現される。
【００１９】
４４は撮影レンズ１０のズーミングを制御するズーム制御部である。４６はバリア（保護部）１０２の動作を制御するバリア制御部である。４８はストロボであり、被写体を明るく照らしてピントを合いやすくするためのＡＦ補助光の投光機能を有する。なお、ストロボ４８は、単一でもよいし、閃光発光用にキセノン管、微小長秒発光用にＬＥＤなどのように複数設け、本発光時にそれぞれを切り替えて制御してもよい。
【００２０】
５０はシステム制御回路であり、撮像装置１００全体を制御する。５２はメモリであり、システム制御回路５０の動作用の定数、変数、プログラム等を記憶する。また、メモリ５２はＡＥで用いるプログラム線図も格納している。プログラム線図は、露出値に対する絞り開口径とシャッター速度の制御値との関係を定義したテーブルである。
【００２１】
５４は液晶表示装置、スピーカ等の表示部であり、システム制御回路５０によるプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する。表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数箇所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部が光学ファインダ１０４内に設置されている。
【００２２】
表示部５４の表示内容のうち、ＬＣＤ等で表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示等がある。加えて、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等がある。また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。
【００２３】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等で構成される。６０、６２、６４、６６は、ユーザがシステム制御回路５０へ各種動作を指示するための操作部であり、例えばスイッチやダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。具体的に説明すると、６０はモードダイヤルスイッチであり、電源オフ、プログラムＡＥモードなどの自動露出モード、全自動モード、マニュアル露出モード、寝顔撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各モードを切り替えることができる。
【００２４】
６２はシャッタースイッチＳＷ１であり、不図示のシャッターボタンの操作途中でオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００２５】
６４はシャッタースイッチＳＷ２であり、前記シャッターボタンの操作完了でオンとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理の動作を開始する。更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００２６】
６６は各種ボタンやタッチパネル等からなる操作部である。操作部６６には、メニューボタン、セットボタン、マクロボタン、画像表示オン／オフボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。
【００２７】
８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。８２、８４はコネクタである。８６は電源であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。
【００２８】
９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェースである。９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部である。
【００２９】
なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。
【００３０】
さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
【００３１】
１０２は、撮像装置１００の撮影レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。
【００３２】
１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。
【００３３】
１１０は通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。
１１２は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００３４】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。
【００３５】
２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、撮像装置１００とのインタフェース２１４、撮像装置１００と接続を行うコネクタ２１６を備えている。
【００３６】
＜動作説明＞
本実施形態の撮像装置による画像撮影動作について説明する。なお、ここで説明する処理は、システム制御回路５０が、不揮発性メモリ５６に記録されたプログラムを、ＲＡＭなどの揮発性メモリ５２のワークエリアに展開し、実行することで実現される。
【００３７】
システム制御回路５０は、モードダイヤル６０が撮影可能なモードにおいて電源８６がオンされると、各種撮影準備動作を行い、撮影準備が完了すると、画像表示部２８へスルー画像の表示を開始する。ここで、スルー画像とは、静止画を撮影する前後にファインダ機能として表示させるため、撮像素子１４によって撮像された画像のことである。スルー画像表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０およびメモリ制御回路２２を介して画像表示メモリ２４に逐次書き込まれたデータは、メモリ制御回路２２およびＤ／Ａ変換器２６を介して画像表示部２８に逐次表示される。これにより、電子ビューファインダ（ＥＶＦ）機能が実現する。
【００３８】
次に、図２を参照して、スルー画像表示状態における画像撮影動作について説明する。
【００３９】
図２において、シャッタースイッチＳＷ１が押されるまでステップＳ２０１を繰り返す。シャッタースイッチＳＷ１が押されたならばステップＳ２０２に進む。
【００４０】
システム制御回路５０は、測距処理を行なって撮影レンズ１０の焦点を被写体に合わせ、測光処理を行なって絞り値及びシャッター時間を決定する（ステップＳ２０２）。
【００４１】
ステップＳ２０３では、シャッタースイッチＳＷ２が押されずに、シャッタースイッチＳＷ１が解除されたならばステップＳ２０１に戻る。ステップＳ２０４では、シャッタースイッチＳＷ２が押されると、システム制御回路５０は、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器から直接メモリ制御回路２２を介して、メモリ３０に撮影した画像データを書き込む露光処理、及び、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する（ステップＳ２０５）。  ステップＳ２０６では、撮影画像と被写体情報に基づいてオートトリミング処理を行う。詳細は後述する。
【００４２】
ステップＳ２０７では、連写が続いていればステップＳ２０５に戻り撮影を行い、連写指示が無ければ処理を終了する。
【００４３】
次に、図３を参照して、画像処理回路２０において入力された画像を自動でトリミングするオートトリミング処理について説明する。
【００４４】
まず、ステップＳ３０１では、撮影した画像が連写２枚目以降かそうでないかで分岐する。ここで言う連写とは、連写モードでの撮影である必要は無く、時間的に連続した撮影のことであり、所定時間以内に連続して撮影することである。連写２枚目以降でない場合、まずステップＳ３０２において被写体検出を行う。被写体が人物であれば顔検出することで被写体の領域を検出できる。顔検出については既知の方法で良い。例えば、画像処理回路２０は、入力された画像データから、目、鼻や口などの顔領域の構成要素に相当する形状を抽出し、目、鼻や口の存在位置関係から顔領域を算出する。また、被写体が人物でない場合の被写体検出も既知の方法で良い。例えば、入力された画像データを色や輝度で領域分割し、分割した領域の大きさや画面中心からの距離に応じて被写体らしさの重み付けをする。そして、重みが一定以上となった領域を被写体として扱う。
【００４５】
ステップＳ３０３では、被写体領域を算出する。例えば、顔検出できた場合は、顔の位置、向き、サイズから体領域を推測し、顔と体が含まれる領域を被写体領域としても良いし、画像の領域ごとの距離情報を取得する手段を用いて、主要な顔もしくは物と等距離の領域が含まれる領域を被写体領域としても良い。距離情報の取得方法も既存のものでよく、例えば、ピント位置を動かしていき、最もコントラストが高くなった領域を等距離グループとする。さらに、背景を解析し、背景に重要な被写体がある場合は、背景の重要被写体も被写体領域に含めることで、よりユーザに好適な印象を与える構図づくりを可能にする。
【００４６】
ステップＳ３０４では、トリミングのアスペクトを決定する。アスペクトの決定は、例えば、被写体の縦横比に基づいてカメラで設定可能なアスペクトから選択しても良いし、被写体が動いている場合は進行方向に長くなるように決定しても良い。
【００４７】
ステップＳ３０５では、トリミングのサイズを決定する。サイズの決定は、例えば、カメラで設定可能な画像出力サイズの内から、被写体領域を全て囲うことができる最小のサイズを選択しても良いし、主要被写体の顔のサイズに基づいて決定しても良い。さらに、被写体が人物のときに比べて、人物以外のときの方が検出誤差が大きくなる傾向があるため、被写体が人物以外のときはトリミングサイズを大きく設定して検出誤差を吸収するなど、被写体に応じてトリミングサイズを変えるようにしてもよい。
【００４８】
ステップＳ３０６では、トリミングの位置を決定する。位置の決定は、例えば、主要被写体が画像の中心になるような、所謂、日の丸構図にしても良いし、主要被写体が動いていれば、主要被写体の進行方向に広く空間ができるようにしても良いし、主要被写体に対して三分割法を適用しても良い。三分割法とは、図４に示すように、切り出す画角の水平方向と垂直方向のそれぞれを３分割するように２本ずつ線を引くことにより得られる分割線の４つの交点Ｐ１〜Ｐ４に被写体の重心などの重要な要素を置くとバランスが取れて安定した構図が得られるというものである。
【００４９】
また、ステップＳ３０１で連写２枚目以降の場合、ステップＳ３０７において、連写一枚目で検出した被写体もしくは被写体領域の追尾を行い、ステップＳ３０６に進む。被写体追尾についても既存の方法で良い。例えば、検出被写体の部分画像をテンプレートとして記憶し、テンプレートマッチングを行う。連続画像における過去画像の被写体座標の近傍でテンプレートとの画素値の一致度が高い点を追尾領域とする。
【００５０】
ステップＳ３０１からステップＳ３０７の構図決定の例を図５を参照して説明する。図５では、連写の１枚目、２枚目、３枚目をそれぞれ（ａ）、（ｂ）、（ｃ）で表している。（ａ）では、主要被写体Ｔ１は遠く、（ｂ）、（ｃ）と同一被写体Ｔ１が徐々に近づいてきている。また、（ａ）、（ｂ）、（ｃ）におけるトリミングの範囲をそれぞれＷ１、Ｗ２、Ｗ３で示している。
【００５１】
（ａ）で示す連写１枚目のときは、ステップＳ３０２で被写体検出を行い、ステップＳ３０３で被写体領域を算出し、被写体領域を基にステップＳ３０３からステップＳ３０６で、トリミングのアスペクト、サイズ、位置を決定するが、（ｂ）、（ｃ）で示す連写２枚目以降のときは、ステップＳ３０７で被写体追尾を行い、ステップＳ３０６でトリミング位置のみを決定し、連写２枚目以降のトリミングのアスペクトとサイズは連写１枚目と同じにする。つまり、Ｗ１、Ｗ２，Ｗ３は、アスペクトとサイズは同じだが、ステップＳ３０７での被写体追尾結果に応じて位置のみ変化していく。
【００５２】
こうすることのメリットとして、まず、ステップＳ３０３の被写体領域算出が無くなるので、例として上述した距離情報や背景解析などの処理が無くなるため、処理時間を減らし、連写コマ速への影響をほとんど無くすことができる。さらに、トリミングのアスペクトやトリミングサイズを同じにすることで、被写体の動きや被写体の検出バラつきに影響を受けず、連写のトリミング画像に連続性をもたせることができるため、トリミング画像だけを画像表示部２８で次々と表示する際のユーザへのストレスを低減することができる。
【００５３】
さらに、トリミングの構図はトリミングサイズに占める被写体サイズの割合に応じて変化させても良い。例えば、（ａ）のようにトリミングサイズに占める被写体サイズの割合が十分に小さい場合、被写体の進行方向に空間をつくる構図や被写体に三分割法を適用した構図にし、（ｂ）や（ｃ）のようにトリミングサイズに占める被写体サイズが大きくなるにつれて被写体が構図の真ん中に寄せていくことで被写体がなるべく構図からはみ出さないようにする。
【００５４】
続いて、トリミングの構図が決まったらステップＳ３０８で、元画像の内側に収まっているかなど、トリミングが可能な構図か判断し、トリミングが可能な場合はシステム制御部５０は、メモリ３０に書き込まれた撮影画像データを読み出し、ステップＳ３０６で設定した構図に従って、画像処理回路２０で画像データのトリミングを行ない、トリミングしてつくられたトリミング画像データをメモリ３０に書きこむ（ステップＳ３０９）。
【００５５】
最後に、システム制御回路５０は、メモリ３０に書き込まれた画像データを読み出して、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて各種画像処理を、また、圧縮・伸長回路３２を用いて設定したモードに応じた画像圧縮処理を行った後、記録媒体２００或いは２１０へ画像データの書き込みを行う記録処理を実行する（Ｓ３１０）。
【００５６】
また、もしステップＳ３０２において、被写体検出に失敗した場合、もしくはステップＳ３０７において、被写体追尾に失敗した場合、不図示だが、オートトリミング処理を無理に行わなくてもよいし、さらに連写が続いている場合、ステップＳ２０５から連写枚数をリセットして、被写体検出と被写体領域算出とトリミング構図決めをやり直せばよい。
【００５７】
＜変形例＞
上述した実施形態の変形例について図６を参照して説明する。ステップＳ３０１からステップＳ３１０は上述した実施形態と同じであり、変形例では新たにステップＳ６０１を追加した。以下、変更点について述べる。
【００５８】
ステップＳ３０１で連写２枚目以降であると判断したとき、ステップＳ６０１に進み、トリミングサイズに占める被写体割合が所定範囲内かどうかを判断し、所定範囲内の場合は上述した実施例と同様にステップＳ３０７に進むが、所定範囲外の場合はステップＳ３０２に進む。具体的に説明すると、所定範囲内を例えば２０％〜８０％とすると、撮影した画像サイズを１００としたとき、被写体サイズが２０未満のときや８０を超えたとき、ステップＳ６０２に進むことになる。ここでのサイズとは、単純に面積としてもよいし、縦と横の長辺の長さとしてもよい。
【００５９】
ステップＳ６０１を経由した場合、ステップＳ３０４では、トリミングのアスペクトを決定し直してもよいし、アスペクトに関しては画角の変動を可能な限り減らすためにステップＳ３０３で決定したアスペクトと同じにしてもよい。
【００６０】
また、ステップＳ６０１の所定範囲は被写体の種類、撮影モード、被写体までの距離情報の少なくとも1つに応じて可変にしてもよい。例えば、被写体が子供のときや、撮影モードがスポーツモードのときや、被写体までの距離が近いときは、被写体が素早く動きまわる可能性を考慮して、所定範囲内を１０％〜９０％とし、簡単にはトリミングサイズが切り替わらないようにする。
【００６１】
このように変形例では、被写体の動きや被写体の検出バラつきに影響を受けず、連写のトリミング画像に連続性をもたせることができるため、トリミング画像だけを画像表示部２８で次々と表示する際のユーザのストレスを低減するだけでなく、トリミングサイズに占める被写体の割合に応じて適応的にトリミングサイズを変えることで、被写体が動きまわっても被写体がトリミング画角からはみ出したり、被写体が小さくなり過ぎてバランスの低い構図となったりすることを防止できる。
【００６２】
＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００６３】
１０：撮影レンズ、１２：シャッター、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生回路、２０：画像処理回路、２２：メモリ制御回路、２４：画像表示メモリ、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ、３２：画像圧縮・伸長回路、４０：露光制御部、４２：測距制御部、４４：ズーム制御部、４６：バリア制御部、４８：ストロボ、５０：システム制御回路、５２：メモリ、５４：表示部、５６：不揮発性メモリ、６０：モードダイヤルスイッチ、６２：シャッタースイッチＳＷ１、６４：シャッタースイッチＳＷ２、６６：操作部、８０：電源制御部、８２：コネクタ、８４：コネクタ、８６：電源、９０：インタフェース、９２：コネクタ、９４：インタフェース、９６：コネクタ、９８：記録媒体着脱検知部、１００：画像処理装置、１０２：保護手段、１０４：光学ファインダ、１１０：通信部、１１２：コネクタ（またはアンテナ）、２００：記録媒体、２０２：記録部、２０４：インタフェース、２０６：コネクタ、２１０：記録媒体、２１２：記録部、２１４：インタフェース、２１６：コネクタ
【図１】
2018201101.tif 000003
【図２】
2018201101.tif 000004
【図３】
2018201101.tif 000005
【図４】
2018201101.tif 000006
【図５】
2018201101.tif 000007
【図６】
2018201101.tif 000008