(57)【要約】【課題】望ましい構図範囲が画角の範囲外にある場合等にも好適な構図候補を提示する画像処理装置及び電子機器の提供。【解決手段】画像処理装置は、第１〜第ｎのフレーム画像を取得する画像取得部と、取得された第１〜ｎのフレーム画像の貼り合わせ処理を行って、貼り合わせ画像を作成する貼り合わせ画像作成部と、作成された貼り合わせ画像に基づいて、貼り合わせ画像の被写体が含まれる構図候補領域の決定処理を行う構図候補決定部を含む。【選択図】図２
2010136071.tif 000002
【特許請求の範囲】
【請求項１】
第１〜第ｎのフレーム画像を取得する画像取得部と、
取得された前記第１〜ｎのフレーム画像の貼り合わせ処理を行って、貼り合わせ画像を作成する貼り合わせ画像作成部と、
作成された前記貼り合わせ画像に基づいて、前記貼り合わせ画像の被写体が含まれる構図候補領域の決定処理を行う構図候補決定部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記構図候補領域の位置を示す情報がフレーム画像に対して重畳された画像である指示画像を作成する指示画像作成部を含むことを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記構図候補領域の位置をユーザに知らせるための前記指示画像を、表示部に出力する画像出力部を含むことを特徴とする画像処理装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記貼り合わせ画像に基づいて、前記構図候補領域の画像を含む構図確認用画像を作成する構図確認用画像作成部を含むことを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記構図確認用画像作成部は、
前記構図確認用画像として、前記構図候補領域の画像と前記第ｎのフレーム画像の両方を含む画像を作成することを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記構図確認用画像作成部は、
前記構図確認用画像として、前記構図候補領域の画像と前記第ｎのフレーム画像の両方を含む最小面積の矩形画像を作成することを特徴とする画像処理装置。
【請求項７】
請求項４乃至６のいずれかにおいて、
前記構図候補領域の位置情報を含むタグ情報を、前記構図確認用画像に関連づけて付与するタグ情報付与部を含むことを特徴とする画像処理装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記貼り合わせ画像作成部は、
第ｉ（１＜ｉ≦ｎ）のフレーム画像の貼り合わせ対象となる貼り合わせ対象画像に対して、前記第ｉのフレーム画像を貼り合わせる場合に、前記貼り合わせ対象画像と前記第ｉのフレーム画像のマッチング領域に対しては、前記貼り合わせ対象画像又は前記第ｉのフレーム画像の画素値が設定され、前記第ｉのフレーム画像が存在せず前記貼り合わせ対象画像が存在する領域に対しては、前記貼り合わせ対象画像の画素値が設定され、前記貼り合わせ対象画像が存在せず前記第ｉのフレーム画像が存在する領域に対しては、前記第ｉのフレーム画像の画素値が設定される前記貼り合わせ画像を作成することを特徴とする画像処理装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記貼り合わせ画像作成部は、
前記貼り合わせ対象画像と前記第ｉのフレーム画像のマッチング処理を行い、前記マッチング処理の結果に基づいて、前記第ｉのフレーム画像の貼り合わせ位置を決定することを特徴とする画像処理装置。
【請求項１０】
請求項９において、
人物の顔領域を検出する顔領域検出部を含み、
前記貼り合わせ画像作成部は、
検出された前記顔領域での重み付けを高くして前記貼り合わせ対象画像と前記第ｉのフレーム画像の前記マッチング処理を行い、重み付けを高くした前記マッチング処理の結果に基づいて、前記第ｉのフレーム画像の前記貼り合わせ位置を決定することを特徴とする画像処理装置。
【請求項１１】
請求項９又は１０において、
前記貼り合わせ画像作成部は、
前回の貼り合わせ位置に対する前記第ｉのフレーム画像の貼り合わせ位置のシフト量が、所定値以内である場合には、前記第ｉのフレーム画像の貼り合わせ処理をスキップすることを特徴とする画像処理装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記貼り合わせ画像の描画領域が確保される記憶部を含み、
前記貼り合わせ画像作成部は、
第ｉ（１＜ｉ≦ｎ）のフレーム画像の貼り合わせ対象となる貼り合わせ対象画像に対して、前記第ｉのフレーム画像を貼り合わせたときに、前記第ｉのフレーム画像が前記描画領域をはみ出る場合には、前記第ｉのフレーム画像が前記描画領域内に描画されるように、前記貼り合わせ画像及び前記第ｉのフレーム画像の位置をシフトする処理を行うことを特徴とする画像処理装置。
【請求項１３】
請求項１２において、
前記貼り合わせ画像作成部は、
前回の貼り合わせ位置に対する前記第ｉのフレーム画像の貼り合わせ位置のシフト量が、所定値以上である場合には、所定フレームの間、前記貼り合わせ対象画像を前記記憶部の保存用領域に保存しておくことを特徴とする画像処理装置。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記構図候補決定部は、
分割線が格子状に設定される構図候補枠の前記分割線上又は前記分割線の交点上に前記被写体が位置するように、前記構図候補領域の決定処理を行うことを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
人物の顔領域を検出する顔領域検出部を含み、
前記構図候補決定部は、
前記分割線の前記交点上に前記顔領域が位置するように、前記構図候補領域の座標を決定することを特徴とする画像処理装置。
【請求項１６】
請求項１５において、
前記構図候補決定部は、
前記顔領域の大きさに基づいて、前記構図候補領域の大きさを決定することを特徴とする画像処理装置。
【請求項１７】
請求項１乃至１６のいずれかに記載の画像処理装置を含むことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び電子機器等に関係する。
【背景技術】
【０００２】
カメラで写真を撮る際には、より良い構図で撮りたいというニーズがある。例えば特許文献１には、撮像により得られた画像データに基づいて、人物の領域を認識し、水平・黄金分割線などを考慮しバランスが良くなるように画像のトリミングを行う従来技術が開示されている。また特許文献２には、液晶モニタのメインエリアに、通常のスルー画像を表示し、サブエリアに、構図の異なる複数のスルー画像を表示する従来技術が開示されている。
【０００３】
しかしながら、これらの従来技術では、１枚のフレーム画像をトリミングすることで構図候補画像を作成している。従って、例えば人物が画面端に寄っているケースなど、望ましい構図範囲が、現在写している画角の範囲外にあるケースには対応できないという課題がある。また、フレーム画像のトリミングを行うため、解像度（画素数）が低下してしまう。
【特許文献１】特開２００６−２４６２１１号公報
【特許文献２】特開２００７−１８０６６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の幾つかの態様によれば、望ましい構図範囲が画角の範囲外にある場合等にも好適な構図候補を提示する画像処理装置及び電子機器等を提供できる。
【課題を解決するための手段】
【０００５】
本発明の一態様は、第１〜第ｎのフレーム画像を取得する画像取得部と、取得された前記第１〜ｎのフレーム画像の貼り合わせ処理を行って、貼り合わせ画像を作成する貼り合わせ画像作成部と、作成された前記貼り合わせ画像に基づいて、前記貼り合わせ画像の被写体が含まれる構図候補領域の決定処理を行う構図候補決定部とを含む画像処理装置に関係する。
【０００６】
本発明の一態様によれば、取得された第１〜第ｎのフレーム画像から貼り合わせ画像が作成され、作成された貼り合わせ画像により構図候補領域の決定処理が行われる。従って、フレーム画像よりも広い領域を対象にして構図候補領域を決定することが可能になり、望ましい構図範囲が画角の範囲外にある場合等にも好適な構図候補を提示できる。
【０００７】
また本発明の一態様では、前記構図候補領域の位置を示す情報がフレーム画像に対して重畳された画像である指示画像を作成する指示画像作成部を含んでもよい。
【０００８】
このようにすれば、構図候補領域の位置情報が重畳された指示画像を提供することが可能になる。
【０００９】
また本発明の一態様では、前記構図候補領域の位置をユーザに知らせるための前記指示画像を、表示部に出力する画像出力部を含んでもよい。
【００１０】
このようにすれば、構図候補領域の位置を表示部によりユーザに知らせることが可能になる。
【００１１】
また本発明の一態様では、前記貼り合わせ画像に基づいて、前記構図候補領域の画像を含む構図確認用画像を作成する構図確認用画像作成部を含んでもよい。
【００１２】
このようにすれば、構図候補領域をユーザが確認するための画像を、貼り合わせ画像に基づき作成できるようになる。
【００１３】
また本発明の一態様では、前記構図確認用画像作成部は、前記構図確認用画像として、前記構図候補領域の画像と前記第ｎのフレーム画像の両方を含む画像を作成してもよい。
【００１４】
このようにすれば、第ｎのフレーム画像に加え、好適な構図候補画像も提示された構図確認用画像を取得できる。
【００１５】
また本発明の一態様では前記構図確認用画像作成部は、前記構図確認用画像として、前記構図候補領域の画像と前記第ｎのフレーム画像の両方を含む最小面積の矩形画像を作成してもよい。
【００１６】
このようにすれば、第ｎのフレーム画像に加え、好適な構図候補の画像が提示された最小限の画像サイズの構図確認用画像を取得できる。
【００１７】
また本発明の一態様では、前記構図候補領域の位置情報を含むタグ情報を、前記構図確認用画像に関連づけて付与するタグ情報付与部を含んでもよい。
【００１８】
このようにすれば、構図確認用画像を記憶部に保存等した後においても、このタグ情報を利用して、構図候補領域の位置等を提示することが可能になる。
【００１９】
また本発明の一態様では、前記貼り合わせ画像作成部は、第ｉ（１＜ｉ≦ｎ）のフレーム画像の貼り合わせ対象となる貼り合わせ対象画像に対して、前記第ｉのフレーム画像を貼り合わせる場合に、前記貼り合わせ対象画像と前記第ｉのフレーム画像のマッチング領域に対しては、前記貼り合わせ対象画像又は前記第ｉのフレーム画像の画素値が設定され、前記第ｉのフレーム画像が存在せず前記貼り合わせ対象画像が存在する領域に対しては、前記貼り合わせ対象画像の画素値が設定され、前記貼り合わせ対象画像が存在せず前記第ｉのフレーム画像が存在する領域に対しては、前記第ｉのフレーム画像の画素値が設定される前記貼り合わせ画像を作成してもよい。
【００２０】
ここで貼り合わせ対象画像と第ｉのフレーム画像のマッチング領域においてこれらの画像が同じ解像度でマッチングしている必要は必ずしもない。例えば第ｉ−１のフレーム画像が取得されてから第ｉのフレーム画像が取得されるまでの間に画像ズーム等が行われた場合には、第ｉのフレーム画像の解像度を縮小した画像を貼り合わせ対象画像に貼り合わせればよい。
【００２１】
また本発明の一態様では、前記貼り合わせ画像作成部は、前記貼り合わせ対象画像と前記第ｉのフレーム画像のマッチング処理を行い、前記マッチング処理の結果に基づいて、前記第ｉのフレーム画像の貼り合わせ位置を決定してもよい。
【００２２】
このようなマッチング処理により貼り合わせ処理を実現すれば、貼り合わせ対象画像と第ｉのフレーム画像を効率良く貼り合わせることが可能になる。
【００２３】
また本発明の一態様では、人物の顔領域を検出する顔領域検出部を含み、前記貼り合わせ画像作成部は、検出された前記顔領域での重み付けを高くして前記貼り合わせ対象画像と前記第ｉのフレーム画像の前記マッチング処理を行い、重み付けを高くした前記マッチング処理の結果に基づいて、前記第ｉのフレーム画像の前記貼り合わせ位置を決定してもよい。
【００２４】
このように顔領域での重み付けを高くすれば、顔領域を中心とした領域での画質の劣化を最小限に抑えることができ、高品質な構図候補画像等を得ることができる。
【００２５】
また本発明の一態様では、前記貼り合わせ画像作成部は、前回の貼り合わせ位置に対する前記第ｉのフレーム画像の貼り合わせ位置のシフト量が、所定値以内である場合には、前記第ｉのフレーム画像の貼り合わせ処理をスキップしてもよい。
【００２６】
このようにすれば、無駄な貼り合わせ処理が行われる事態を防止でき、処理負荷の軽減を図れる。
【００２７】
また本発明の一態様では、前記貼り合わせ画像の描画領域が確保される記憶部を含み、前記貼り合わせ画像作成部は、第ｉ（１＜ｉ≦ｎ）のフレーム画像の貼り合わせ対象となる貼り合わせ対象画像に対して、前記第ｉのフレーム画像を貼り合わせたときに、前記第ｉのフレーム画像が前記描画領域をはみ出る場合には、前記第ｉのフレーム画像が前記描画領域内に描画されるように、前記貼り合わせ画像及び前記第ｉのフレーム画像の位置をシフトする処理を行ってもよい。
【００２８】
このようにすれば、第ｉのフレーム画像が優先して貼り合わせ画像に含まれるようになるため、このようにして作成された貼り合わせ画像を用いて構図候補を決定すれば、良好な構図で被写体が写った画像の生成が可能になる。
【００２９】
また本発明の一態様では、前記貼り合わせ画像作成部は、前回の貼り合わせ位置に対する前記第ｉのフレーム画像の貼り合わせ位置のシフト量が、所定値以上である場合には、所定フレームの間、前記貼り合わせ対象画像を前記記憶部の保存用領域に保存しておいてもよい。
【００３０】
このようにすれば貼り合わせ位置が大きくシフトした場合には、元の貼り合わせ対象画像が、所定フレームの間、保存されるようになるため、元に戻ったときに、保存されていた貼り合わせ対象画像を利用して貼り合わせ処理を実行できるようになる。
【００３１】
また本発明の一態様では、前記構図候補決定部は、分割線が格子状に設定される構図候補枠の前記分割線上又は前記分割線の交点上に前記被写体が位置するように、前記構図候補領域の決定処理を行ってもよい。
【００３２】
このようにすれば、最適な構図の被写体画像を得ることが可能になる。
【００３３】
また本発明の一態様では、人物の顔領域を検出する顔領域検出部を含み、前記構図候補決定部は、前記分割線の前記交点上に前記顔領域が位置するように、前記構図候補領域の座標を決定してもよい。
【００３４】
このようにすれば、最適な構図の人物の被写体画像を得ることが可能になる。
【００３５】
また本発明の一態様では、前記構図候補決定部は、前記顔領域の大きさに基づいて、前記構図候補領域の大きさを決定してもよい。
【００３６】
このようにすれば、顔領域の大きさに応じて構図候補領域の大きさを自動的に調整することが可能になる。
【００３７】
また本発明の他の態様は、上記のいずれかに記載の画像処理装置を含む電子機器に関係する。
【発明を実施するための最良の形態】
【００３８】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００３９】
１．構成例
本実施形態では、ユーザがデジタルカメラなどの電子カメラを用いて人物や風景を撮影する時に、より良い構図が得られるように、画像認識により得られた構図候補をユーザに提示する。そしてカメラの画角に好適な構図が含まれる時に、ユーザが撮影を行えるようにする例について説明する。
【００４０】
図１に本実施形態の画像処理装置１０及びこれを含む電子機器の構成例を示す。図１の電子機器は、画像処理装置１０、撮像デバイス６０、操作部７０、外部Ｉ／Ｆ（インターフェース）部８０、表示部９０を含む。また画像処理装置１０は、処理部２０、記憶部５０を含む。なおこれらの一部の構成要素（例えば撮像デバイス、操作部、外部Ｉ／Ｆ部等）を省略したり、他の構成要素（例えばスピーカ）を追加するなどの種々の変形実施が可能である。
【００４１】
図１では電子機器として例えばデジタルカメラやビデオカメラなどの電子カメラを想定している。但し本実施形態は電子カメラに限定されず、例えば携帯型情報端末、携帯電話機、携帯型ゲーム機、パーソナルコンピュータ等の種々の電子機器に適用できる。
【００４２】
撮像デバイス６０は、例えばＣＣＤやＣＭＯＳセンサなどであり、フレーム画像を撮像するためのデバイスである。図１では画像処理装置１０は、撮像デバイス６０により撮像されたフレーム画像に対して種々の画像処理を行う。なお記憶部５０から読み出されたフレーム画像や、外部Ｉ／Ｆ部８０を介して取得したフレーム画像に対して本実施形態の画像処理を行うようにしてもよい。
【００４３】
操作部７０は、電子カメラを例にとれば、シャッター、各種操作ボタン、各種ダイアルなどにより実現されるものである。なおタッチパネルディスプレイにより操作部７０の機能を実現してもよい。
【００４４】
外部Ｉ／Ｆ部８０は、例えば携帯型メモリ等の情報記憶媒体にアクセスしたり、インターネット等の外部ネットワークと接続するためのインターフェース処理を行うものである。
【００４５】
表示部９０は、例えば液晶パネルや有機ＥＬパネル等の電気光学パネルにより実現されるものであり、スルー画像等のフレーム画像を表示する。
【００４６】
画像処理装置１０が含む処理部２０は、本実施形態の種々の処理を行うものであり、その機能は、画像処理用ＩＣや、各種プロセッサ（ＣＰＵ）とソフトウェアとの組み合わせなどにより実現される。記憶部５０は、画像データ等を記憶し、処理部２０等のワーク領域となるものであり、その機能は、ＲＡＭやＨＤＤ（ハードディスクドライブ）などにより実現される。
【００４７】
処理部２０は、画像取得部２２、貼り合わせ画像作成部２４、構図候補決定部２６、顔領域検出部２８、指示画像作成部３０、画像出力部３２を含む。なおこれらの一部の構成要素（例えば顔領域検出部、指示画像作成部等）を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４８】
画像取得部２２は第１〜第ｎ（ｎは２以上の整数）のフレーム画像を取得する。例えば撮像デバイス６０から時系列に入力される第１〜第ｎのフレーム画像を取得する。なお記憶部５０から読み出したり、外部Ｉ／Ｆ部８０を介して外部から受信することで、第１〜第ｎのフレーム画像を取得してもよい。またフレーム画像とは、例えば撮像デバイス等で撮影された１フレーム分の画像である。このフレーム画像は、写真として保存される高解像度の画像であってもよいし、表示部９０に表示されるスルー画像のような低解像度の画像であってもよい。
【００４９】
貼り合わせ画像作成部２４は、取得された第１〜ｎのフレーム画像の貼り合わせ処理（モザイキング処理）を行い、貼り合わせ画像（モザイキング画像、結合画像）を作成（生成）する。ここで貼り合わせ画像は、共通な領域については同じ画像になるように複数の画像を結合した画像である。例えば第ｉ（１＜ｉ≦ｎ）のフレーム画像の貼り合わせ対象となる貼り合わせ対象画像に対して、第ｉのフレーム画像（第ｉのフレーム画像そのもの或いは第ｉのフレーム画像の解像度等を変更した画像）を貼り合わせたとする。この場合には、貼り合わせ対象画像と第ｉのフレーム画像のマッチング領域（同一又は類似画像領域）に対しては、貼り合わせ対象画像又は第ｉのフレーム画像の画素値（ＲＧＢ値）が設定される。また第ｉのフレーム画像が存在せず貼り合わせ対象画像が存在する領域に対しては、貼り合わせ対象画像の画素値が設定され、貼り合わせ対象画像が存在せず第ｉのフレーム画像が存在する領域に対しては、第ｉのフレーム画像の画素値が設定される。例えば貼り合わせ画像作成部２４は、貼り合わせ対象画像と第ｉのフレーム画像（第ｉのフレーム画像そのもの或いは第ｉのフレーム画像の解像度等を変更した画像）のマッチング処理（相関値を求める処理）を行い、マッチング処理の結果（相関値の演算結果）に基づいて、第ｉのフレーム画像の貼り合わせ位置を決定し、その貼り合わせ位置で２つの画像を貼り合わせる。
【００５０】
構図候補決定部２６は構図候補の決定処理を行う。例えば作成された貼り合わせ画像に基づいて、貼り合わせ画像の被写体（例えば人物）が含まれる構図候補領域（構図候補枠）の決定処理を行う。例えば、分割線（３分割線、黄金分割線等）が格子状に設定される構図候補枠の分割線上又は分割線の交点上に被写体（例えば人物の顔）が位置するように、構図候補領域の決定処理を行う。
【００５１】
顔領域検出部２８は、公知の種々の手法で顔領域の検出処理を行う。そして貼り合わせ画像作成部２４は、検出された顔領域での重み付けを高くして貼り合わせ対象画像と第ｉのフレーム画像のマッチング処理を行い、マッチング処理の結果に基づいて、第ｉのフレーム画像の貼り合わせ位置を決定する。また構図候補決定部２６は、分割線の交点上に顔領域が位置するように、構図候補領域の座標（位置）を決定する。また顔領域の大きさに基づいて、構図候補領域の大きさを決定してもよい。
【００５２】
指示画像作成部３０は、指示画像の作成処理を行う。ここで指示画像は、例えば構図候補領域の位置を示す情報（画像）がフレーム画像（指示画像の重畳対象となるフレーム画像）に対して重畳された画像であり、構図候補領域の位置をユーザに知らせるための画像である。
【００５３】
画像出力部３２は、表示部９０に表示するための各種画像を出力する。例えば指示画像作成部３０により指示画像が作成されると、作成された指示画像を表示部９０に出力する。
【００５４】
２．動作例
次に図２のフローチャートを用いて本実施形態の動作例について説明する。まず第１のフレーム画像ＩＭ１を取得する（ステップＳ１）。例えば撮像デバイス６０から入力された第１のフレーム画像ＩＭ１が、記憶部５０に送られて保存される。次にｉ＝２に設定され、第ｉのフレーム画像ＩＭｉ＝ＩＭ２を取得する（ステップＳ２、Ｓ３）。このように撮像デバイス６０から時系列に入力されたフレーム画像が、記憶部５０に順次送られて保存される。
【００５５】
次に、貼り合わせ対象画像ＩＭＯＢに対して、取得されたフレーム画像ＩＭｉを貼り合わせる処理を行って、貼り合わせ画像ＩＭＺを作成する（ステップＳ４）。そしてｉ＜ｎの場合にはｉがインクリメントされ（ステップＳ５、Ｓ６）、ステップＳ３に戻る。
【００５６】
例えばｉ＝２の場合には、ステップＳ４の貼り合わせ対象画像（基準画像）ＩＭＯＢは第１のフレーム画像ＩＭ１となり、第１のフレーム画像ＩＭ１と第２のフレーム画像ＩＭ２の貼り合わせ処理が行われ、作成された貼り合わせ画像は記憶部５０に保存される。次にｉ＝３になると、貼り合わせ対象画像ＩＭＯＢはフレーム画像ＩＭ１とＩＭ２を貼り合わせた画像になり、ＩＭＯＢと第３のフレーム画像ＩＭ３の貼り合わせ処理が行われ、作成された貼り合わせ画像は記憶部５０に保存される。
【００５７】
次に、作成された貼り合わせ画像ＩＭＺに基づき構図候補領域ＲＣＭを決定する（ステップＳ７）。そして構図候補領域ＲＣＭの指示画像を作成して、指示画像が重畳されたフレーム画像が出力されて表示部９０に表示される（ステップＳ８、Ｓ９）。
【００５８】
ここでステップＳ１の第１のフレーム画像ＩＭ１の取得タイミング（取得フレーム）としては種々のタイミングを想定できる。例えばカメラの電源が入れられたり、ユーザが何らかのカメラモード変更を行ったり、画像処理やモーションセンサなどによってユーザがカメラを構えたと判断されたり、カメラのシャッターボタンが半押しされたり、撮影対象が変化したタイミングなどを想定できる。即ち、カメラの電源がオンになったり、カメラモードが構図候補決定モードになった場合等に、フレーム画像ＩＭ１が取得される。そして、以下、順次にフレーム画像ＩＭ２〜ＩＭｎが取得される。
【００５９】
例えば、ユーザがカメラを構えているときに入力された第１のフレーム画像ＩＭ１（ＩＭＯＢ）と第２のフレーム画像ＩＭ２（ＩＭｉ）を貼り合せたとする。すると、フレーム１から２の間にユーザがカメラを動かした分だけ、１枚のフレーム画像（スルー画像）よりも広い範囲の被写体が含まれた貼り合わせ画像が取得されることになる。この様子を図３、図４に示す。
【００６０】
図３には、実世界において被写体（人物）にカメラを向けたときに１枚のフレーム画像（スルー画像）に入る画像領域、すなわち撮影画角が、第１、第２のフレーム画像ＩＭ１、ＩＭ２の矩形領域で示されている。
【００６１】
図４には、第１のフレーム画像ＩＭ１と第２のフレーム画像ＩＭ２と、これらの画像ＩＭ１、ＩＭ２の貼り合わせ画像ＩＭＺが示されている。図４に示すように、貼り合わせ画像ＩＭＺは、１つのフレーム画像よりも広い画像領域を有している。
【００６２】
このようにして第１〜第ｎのフレーム画像ＩＭ１〜ＩＭｎの貼り合わせ処理を行うことで、図５に示すような最終的な貼り合わせ画像ＩＭＺが完成する。ユーザはカメラを構えつつ、好適な構図を探すためにカメラを前後左右に又は上下左右に動かす。このため、図５に示すように貼り合せ画像ＩＭＺは、結果としてカメラの撮影画角よりも広い画角を反映した画像になる。
【００６３】
そして本実施形態では、作成された貼り合わせ画像ＩＭＺに基づいて構図候補の決定処理を行う（ステップＳ７）。例えば図６に示すように、フレーム画像よりも広い画像領域を有する貼り合わせ画像ＩＭＺから、構図候補領域ＲＣＭを決定する。構図候補領域ＲＣＭの決め方は様々であり、一般に人物・背景がバランス良く含まれていることが条件として挙げられる。構図候補領域ＲＣＭは、後述するように人物認識を行い、水平線などを考慮して求めてもよい。
【００６４】
また構図候補領域ＲＣＭは、第ｎのフレーム画像ＩＭｎと画像領域の一部が重なっている範囲内で決定することができる。こうすることで、現在、ユーザがカメラを向けている被写体が含まれる範囲で、好適な構図候補を決定できる。例えば図６には、貼り合せ画像ＩＭＺと、フレーム画像ＩＭｎの画像領域と、決定された構図候補領域ＲＣＭの例が示されている。同図を示すように、貼り合せ画像ＩＭＺを対象として、画像認識等により構図候補領域ＲＣＭを決定することで、フレーム画像ＩＭｎには含まれていない対象も含めて、構図候補を決定できるようになる。
【００６５】
また本実施形態では、フレーム画像と構図候補領域の位置情報を画像として重畳することで指示画像を作成して表示する（ステップＳ８、Ｓ９）。ここで構図候補領域の位置情報が重畳されるフレーム画像は、例えばフレームｎ以降のフレームの画像である。そしてこのようにして作成された指示画像は、カメラ等に設けられた表示部９０に表示され、構図候補がどの位置にあるのかをユーザに知らせる。
【００６６】
図７（Ａ）、図７（Ｂ）に指示画像の例を示す。図７（Ａ）のＢ１では、構図候補領域において、フレーム画像と重なっている領域の色を変化させている。また図７（Ｂ）では、より単純に、構図候補領域の相対位置を矢印で示している。また後述の第２の構成例で説明するように、フレーム画像と構図候補領域の画像を共に含むように貼り合わせ画像を切り抜き、表示してもよい。また指示画像の表示態様としては図７（Ａ）、図７（Ｂ）に限定されず種々の態様を採用でき、その他、音声など、ユーザにとって構図候補の位置が分かる手段であればどのようなものであってもよい。
【００６７】
このような指示画像を見たユーザは、表示部９０に提示された構図候補に合うようにカメラを動かしたりズーム操作を行ってから、シャッターボタンを押して撮影を行う。こうすることで図８に示すように、望ましい構図範囲がカメラの画角の範囲外にある場合にも、好適な構図の写真を撮影することが可能になる。
【００６８】
即ち従来技術では、例えば図４の画像ＩＭ１のように人物が画面端に寄っているケースなど、望ましい構図範囲が画角範囲外にあるケースに対応できない。これに対して本実施形態によれば、図５に示すように人物を含む広い範囲に亘って撮影された複数のフレーム画像を用いて貼り合わせ画像が作成され、この貼り合わせ画像から構図候補が決定される。従って、上記のようなケースでも図８に示すような好適な構図の画像を得ることが可能になる。
【００６９】
また従来技術では、１枚のフレーム画像をトリミングすることで構図候補画像を作成しているため、解像度が低下してしまう。これに対して本実施形態では、図６に示すように複数のフレーム画像を合成した大きなサイズの貼り合わせ画像から、図８に示すような構図候補画像をトリミングして作成できるため、解像度の低下を防止することも可能になる。
【００７０】
なお以上では、フレーム画像ＩＭ１〜ＩＭｎから貼り合わせ画像を作成し、構図候補を決定する手法について説明した。この場合に、フレーム画像ＩＭｎ以降も、順次に新しいフレーム画像を入力して、構図候補の更新を行ってもよい。即ちフレーム画像が入力される毎に貼り合わせ画像も更新し、その中で好適な構図候補を探索する。
【００７１】
またフレーム画像ＩＭｎの決め方としては種々の手法を想定できる。例えばカメラが起動してから所定時間超過分のフレーム数でｎを決めてもよい。また処理時間に余裕がある場合には、ｎ＝２として貼り合せ画像の作成と構図候補の決定を行い、フレーム画像ＩＭｎ以降のフレーム画像が入力される毎に貼り合せ画像の作成と構図候補の更新を行ってもよい。例えばｉを順次インクリメントしながら、図２のステップＳ３、Ｓ４、Ｓ７、Ｓ８、Ｓ９の処理を繰り返して、フレーム画像ＩＭｉが入力される毎に、構図候補の更新と指示画像の更新を行う。或いは、ｎの値に関係なく、貼り合せ画像の画像領域が所定の大きさ以上になったら、構図候補の決定処理に移行するようにしてもよい。このようにすれば、ユーザがカメラを動かしていないのに無駄に貼り合わせ処理が行われてしまう事態を防止できる。
【００７２】
また本実施形態では、フレーム画像ＩＭ１〜ＩＭｎの取得について、デジタルカメラの撮像デバイス６０から時系列に入力する例を述べた。しかしながら、必ずしも入力された時系列の順序で貼り合せ処理を行う必要はなく、重畳する面積などに応じて貼り合せの順番を適宜変更してもよい。また、撮像デバイス６０の撮像レートに合わせて処理を行うと、計算量が肥大化する可能性があるので、適宜フレームを間引いて撮像デバイス６０からフレーム画像を入力するようにしてもよい。
【００７３】
また貼り合せ処理においては、重畳する面積によって貼り合せ処理をスキップすることで、計算時間を節約してもよい。また、画像認識によって画像中の人領域を検出し、貼り合せ位置を人領域に優先させることで、精度の良い貼り合せ画像が得るようにしてもよい。
【００７４】
３．貼り合わせ処理
次に貼り合わせ処理の一例について説明する。なお本実施形態の貼り合わせ手法は以下に説明する手法に限定されず、公知の種々の手法を採用できる。
【００７５】
図９に貼り合わせ処理の第１の処理例のフローチャートを示す。まず貼り合わせ対象画像ＩＭＯＢとフレーム画像ＩＭｉのマッチング処理（テンプレートマッチング）を行う（ステップＳ１１）。例えば図１０において、貼り合わせ対象画像ＩＭＯＢの位置を基準にして、フレーム画像ＩＭｉの位置をＸ、Ｙ座標方向で順次シフトさせながらマッチング処理を行い、相関値を求める。相関値の算出法は一般に用いられるＳＳＤなどを利用する。
【００７６】
次に、マッチング処理の相関値が最も大きくなる位置を貼り合わせ位置ＰＣＭとして決定する（ステップＳ１２）。例えば図１０では、画像ＩＭＯＢとＩＭｉがＣ１に示す位置関係である場合に、相関値が最も高くなり、この時の画像ＩＭｉの位置（代表点の位置）が貼り合わせ位置ＰＣＭとなる。そして、決定された貼り合わせ位置ＰＣＭで、画像ＩＭＯＢに対して画像ＩＭｉを貼り合わせる（ステップＳ１３）。具体的には、図１０のＣ２のように画像ＩＭＯＢとＩＭｉがマッチングする領域（画素値の同一又は類似領域）に対しては、画像ＩＭＯＢ又はＩＭｉの画素値が設定される。またＣ３のように画像ＩＭＯＢだけが存在する領域に対しては画像ＩＭＯＢの画素値が設定され、Ｃ４のように画像ＩＭｉだけが存在する領域に対しては画像ＩＭｉの画素値が設定される。
【００７７】
このようなマッチング処理により貼り合わせ処理を実現すれば、解像度を低下させることなく２つの画像ＩＭＯＢとＩＭｉを貼り合わせることが可能になる。
【００７８】
なお貼り合わせ対象画像ＩＭＯＢとフレーム画像ＩＭｉのマッチング処理は同じ解像度の画像で行う必要は必ずしもない。例えば前回のフレーム画像ＩＭｉ−１が取得（撮影）されてから今回のフレーム画像ＩＭｉが取得されるまでの間に、ユーザがカメラのズーム操作を行い、倍率が２倍になったとする。この場合には、貼り合わせ対象画像ＩＭＯＢと、フレーム画像ＩＭｉの解像度を１／２に縮小した画像とのマッチング処理を行い、画像ＩＭＯＢに対して、解像度が縮小された画像ＩＭｉを貼り合わせればよい。
【００７９】
図１１に貼り合わせ処理の第２の処理例のフローチャートを示す。まず貼り合わせ対象画像ＩＭＯＢ、フレーム画像ＩＭｉから顔領域を検出する（ステップＳ２１）。顔領域の検出手法は公知の技術であり、例えばHaar-like特徴量とAdaBoost学習を用いたViola-Jonesの手法などが有名である。
【００８０】
次に画像ＩＭＯＢ、ＩＭｉから顔領域の重み付け（重み付け係数）を高くした画像ＩＭＯＢ’、ＩＭｉ’を作成する（ステップＳ２２）。例えば画像ＩＭＯＢ、ＩＭｉにおける顔領域での画素値（グレースケール値等）が他領域よりも相対的に高くなるような画像ＩＭＯＢ’、ＩＭｉ’を作成する。そして画像ＩＭＯＢ’とＩＭｉ’のマッチング処理（テンプレートマッチング）を行う（ステップＳ２３）。マッチング処理では画像間の相関を求める際に、顔領域が重なった場合に大きな相関値を算出するようにする。そして相関値が最も大きくなる貼り合わせ位置ＰＣＭを決定して、画像ＩＭＯＢにＩＭｉを貼り合わせる（ステップＳ２４、Ｓ２５）。
【００８１】
以上のように、顔領域の重み付けが高くなった画像を用いることにより、顔領域が重なる座標が優先されるように画像ＩＭＯＢとＩＭｉが貼り合わせられるようになる。即ち画像の貼り合わせ（接合）を行う場合に、画像間の境界では画質が劣化するおそれがある。この点、顔領域での重み付けを高くすれば、顔領域を中心とした領域では、このような画素ずれによる画質の劣化を最小限に抑えることが可能になる。例えば貼り合わせ画像をトリミングして図８に示すような構図候補画像を作成した場合に、人物の顔を中心した領域での画像を高品質なものにすることができる。
【００８２】
図１２に貼り合わせ処理の第３の処理例のフローチャートを示す。まず記憶部５０に画像の描画領域を確保する（ステップＳ３１）。例えば第１のフレーム画像ＩＭ１の領域を中心としてその領域を包含する描画領域を確保する。そして貼り合わせ対象画像ＩＭＯＢとフレーム画像ＩＭｉのマッチング処理により貼り合わせ位置を決定する（ステップＳ３２）。
【００８３】
次に、前回の貼り合わせ位置からのシフト量が所定値Ｓｍｉｎ以内か否かを判断し（ステップＳ３３）、所定値Ｓｍｉｎ以内である場合にはステップＳ３９に移行し、ｉを１だけインクリメントしてステップＳ３２に戻る。一方、シフト量が所定値Ｓｍｉｎよりも大きい場合には、シフト量が所定値Ｓｍａｘ以上か否かを判断し（ステップＳ３４）、所定値Ｓｍａｘ以上である場合には、元の貼り合わせ対象画像ＩＭＯＢを、所定フレームの間、記憶部５０の保存用領域に保存する（ステップＳ３５）。
【００８４】
次に、決定された貼り合わせ位置で貼り合わせた時に、画像ＩＭｉが、ステップＳ３１で確保した描画領域からはみ出ているか否かを判断する（ステップＳ３６）。そしてはみ出ている場合には、画像ＩＭｉが描画領域に入るように画像ＩＭＯＢ、ＩＭｉをシフトする処理を行う（ステップＳ３７）。そして、画像ＩＭＯＢに対して画像ＩＭｉを貼り合わせる（ステップＳ３８）。
【００８５】
例えば図１３（Ａ）において、ＳＦＴは、前回の貼り合わせ位置に対するフレーム画像ＩＭｉの貼り合わせ位置のシフト量である。例えば前回のフレーム画像の位置（代表点の位置）と今回のフレーム画像の位置との間の距離である。このシフト量ＳＦＴが所定値Ｓｍｉｎ以内である場合には、ステップＳ３３、Ｓ３９に示すようにフレーム画像ＩＭｉの貼り合わせ処理をスキップする。このようにスキップすれば、無駄な貼り合わせ処理が行われてしまう事態を防止できる。
【００８６】
即ち、貼り合わせ画像は例えばユーザのカメラの動きにしたがって作成されるが、カメラの動きが遅く、シフト量ＳＦＴが所定値Ｓｍｉｎ以下である場合には、２つのフレーム画像により作成された貼り合わせ画像は、元のフレーム画像と変わらない画像になる。そして、このような貼り合わせ画像を作成しなくても、その後のカメラの動きに応じた貼り合わせ画像を作成すれば、図５のような貼り合わせ画像を作成して図８のような構図候補画像を作成する目的は達成できる。そしてステップＳ３３、Ｓ３９に示すように処理をスキップすることで、例えばカメラの動きが遅い場合等に貼り合わせ処理の負荷を大幅に軽減できる。
【００８７】
また図１３（Ｂ）では、貼り合わせ対象画像ＩＭＯＢに対してフレーム画像ＩＭｉを貼り合わせたときに、フレーム画像ＩＭｉが描画領域ＲＤＲをはみ出ている。即ちフレーム画像ＩＭｉの一部を描画領域ＲＤＲの外側に描画しなければならなくなっている。このような場合には、フレーム画像ＩＭｉが描画領域ＲＤＲ内に描画されるように、ステップＳ３７に示すように貼り合わせ画像ＩＭＯＢ及びフレーム画像ＩＭｉの位置をシフトする。例えば図１３（Ｂ）ではフレーム画像ＩＭｉは右側にはみ出ているため、この場合には画像ＩＭＯＢ及びＩＭｉを反対側の左側にシフトする。これにより最新のフレーム画像ＩＭｉが必ず含まれるような貼り合わせ画像の作成が可能になる。
【００８８】
即ち、ユーザは被写体を追ってカメラを動かしていると想定されるため、最新のフレーム画像ＩＭｉには、構図の中心となる人物等の被写体が写っている可能性が高く、古いフレーム画像にはこのような被写体が写っている可能性は低い。一方、描画領域ＲＤＲとして大きな領域を確保すると、記憶部５０の使用記憶容量が圧迫されてしまう。
【００８９】
この点、図１３（Ｂ）の手法によれば、最新のフレーム画像ＩＭｉが優先して貼り合わせ画像に含まれるようになる。従って、このようにして作成された貼り合わせ画像を用いて構図候補を決定すれば、図８のように良好な構図で被写体が写った画像を生成できるようになる。
【００９０】
なお、検出されたシフト量が極端に大きい場合には、ユーザが被写体を変更しようと思ってカメラの向きを変えたという第１のケースと、ユーザがカメラを一瞬だけ違う方向に向けてしまったという第２のケースが考えられる。
【００９１】
しかしながら、これらの第１、第２のケースを判別することは難しい。そして、このように前回の貼り合わせ位置からのシフト量が大きい場合には、ステップＳ３６、Ｓ３７の処理により、元の貼り合わせ対象画像ＩＭＯＢが削除されてしまい、その後にカメラの向きが戻った場合に画像ＩＭＯＢを再利用できないという問題がある。
【００９２】
そこでステップＳ３４、Ｓ３５では、前回の貼り合わせ位置からのシフト量が所定値Ｓｍａｘ以上か否かを判断し、所定値Ｓｍａｘ以上である場合（シフト量が極端に大きい場合）には、元の貼り合わせ対象画像を、少なくとも所定フレームの間、保存用領域に保存しておく。
【００９３】
このようにすれば、前回の貼り合わせ位置から大きくシフトした後にカメラの向きが元に戻った場合に、保存しておいた元の貼り合わせ対象画像を利用して、フレーム画像を貼り合わせることが可能になる。従って上述の第２のケースの場合にも適正な貼り合わせ処理を実現できるようになる。
【００９４】
４．構図候補決定処理
次に構図候補決定処理の一例について説明する。なお本実施形態の構図候補決定手法は以下に説明する手法に限定されず、公知の種々の手法を採用できる。
【００９５】
構図候補の決め方には種々の手法があるが、三分割線や黄金分割線を用いて、分割線の線上に人物などの注目被写体が置かれるようするとバランスの良い構図になる。本実施形態ではこのような考えに基づいて構図候補を決定する。
【００９６】
図１４に構図候補決定の処理例のフローチャートを示す。まず貼り合わせ画像から顔領域を検出する（ステップＳ４１）。そして、例えば三分割線による構図候補枠ＦＲＣを作成する（ステップＳ４２）。そして、構図候補枠ＦＲＣの分割線上又は交点上に被写体（顔領域）が位置するように、構図候補領域ＲＣＭの座標（位置）を決定する（ステップＳ４３）。また顔領域の大きさに基づいて構図候補領域（構図候補枠）ＲＣＭの大きさを決定する（ステップＳ４４）。例えば顔領域が大きくなるにつれて、構図候補領域のサイズを大きくする。
【００９７】
例えば図１５（Ａ）に構図候補枠ＦＲＣの例を示す。図１５（Ａ）では、三分割線によるグリッドが構図候補枠として作成されている。三分割線とは、ある矩形に対して縦及び横をそれぞれ三等分したものである。図１５（Ａ）では、縦方向については分割線ＬＤ１、ＬＤ２により三等分され、横方向については分割線ＬＤ３、ＬＤ４により三等分されている。そしてこれらの分割線ＬＤ１、ＬＤ２とＬＤ３、ＬＤ４の交点がＰＬ１、ＰＬ２、ＰＬ３、ＰＬ４になる。
【００９８】
そして図１５（Ｂ）では、例えばグリッドの４つの交点ＰＬ１〜ＰＬ４のうちの上側の交点ＰＬ１、ＰＬ３のいずれかと、顔領域（例えばその中心座標）が重なるように、構図候補領域ＲＣＭ（構図候補枠ＦＲＣ）の座標を決定する。また顔領域の面積が小さければ、構図候補領域ＲＣＭの大きさを小さくし、顔領域の面積が大きければ、構図候補領域ＦＲＣの大きさも大きくする。このようにすることで図８に示すような構図候補画像を得ることができる。なお入力画像のサイズと比例するように構図候補領域ＦＲＣの大きさを決定することも可能である。
【００９９】
例えばカメラが被写体に近づいた場合には、被写体の顔領域も大きくなる。この時に構図候補領域ＲＣＭを大きくすれば、図８のように被写体がフレーム画像内に入るような最適な構図の画像を取得できる。一方、カメラが被写体から遠い場合には、被写体の顔領域も小さくなる。この時に構図候補領域ＲＣＭを小さくすれば、フレーム画像内での被写体の大きさが小さくなりすぎてしまう事態を防止でき、好適な構図の画像を取得できる。以上のようにすることで、カメラと被写体との距離が変化した場合にも、自動的に調整された構図候補画像を得ることが可能になる。
【０１００】
５．第２の構成例
次に、ユーザがデジタルカメラなどを用いて人物や風景を撮影する時に、より良い構図が得られるように、画像認識により得られた構図候補を含むように画像を補正し記憶する例について説明する。
【０１０１】
図１６に本実施形態の第２の構成例を示す。第２の構成例が図１と異なるのは、図１６では構図確認用画像作成部３４、タグ情報付与部３６が更に設けられている点である。その他の各ブロックについては図１とほぼ同様であるため、説明を省略する。
【０１０２】
構図確認用画像作成部３４は、貼り合わせ画像に基づいて、構図候補領域の画像を含む構図確認用画像（構図補正画像、構図検討用画像）を作成する。即ち貼り合わせ画像作成部２４により作成された貼り合わせ画像から、構図候補決定部２６により決定された構図候補領域の画像を含む画像を作成する。例えば構図確認用画像として、構図候補領域の画像と第ｎのフレーム画像の両方を含む画像を作成する。更に具体的には、構図候補領域の画像と第ｎのフレーム画像の両方を含む最小面積の矩形画像を作成する。
【０１０３】
タグ情報付加部３６は、構図候補領域の位置情報を含むタグ情報を、構図確認用画像に関連づけて付与する処理を行う。例えばデジタルカメラ用の画像ファイルの規格であるＥｘｉｆ（Exchangeable Image File Format）を利用して、画像の付加情報として構図候補領域の位置情報やサイズ情報を構図確認用画像に付与する。
【０１０４】
図１７に第２の構成例の動作を説明するフローチャートを示す。図１７のステップＳ５１〜Ｓ５７は図２のステップＳ１〜Ｓ７と同様であるため説明を省略する。
【０１０５】
ステップＳ５１〜Ｓ５７でフレーム画像ＩＭ１〜ＩＭｎの貼り合わせ画像が作成され、ステップＳ５７で構図候補領域ＲＣＭが決定されたものとする。この場合のｎの値は、ユーザのシャッターボタンの押下や、所定フレーム数の経過などによって決められ、フレームｎに到達すると構図確認用画像作成部３４が動作を開始する。そして、決定された構図候補領域ＲＣＭを含む構図確認用画像ＩＭＣＨを作成する（ステップＳ５８）。また構図候補領域ＲＣＭの位置情報やサイズ情報を含むタグ情報を構図確認用画像ＩＭＣＨに関連づけて付与する（ステップＳ５９）。そしてタグ情報が関連づけられた構図確認用画像ＩＭＣＨを記憶部５０に記憶したり、表示部９０に表示する。
【０１０６】
図１８に構図確認用画像ＩＭＣＨの一例を示す。図１８の構図確認用画像ＩＭＣＨは、フレーム画像ＩＭｎと、構図候補画像を共に含み、且つ最小の矩形内に収まるように補正された画像になっている。このような構図確認用画像ＩＭＣＨが記憶部５０に保存される。
【０１０７】
これによりユーザは、自身が注目する被写体が写っているフレーム画像ＩＭｎと、本実施形態により提示された構図候補画像の両方を含む１枚の画像を得ることができる。従って、後日に画像を見返すときに、改めて構図の検討を行うことが可能になる。
【０１０８】
なお、フレーム画像ＩＭｎと構図候補画像を別々の画像として保存するようにしてもよい。また画像出力部３２によって、カメラに設けられた表示部９０に構図確認用画像を表示してもよい。また指示画像作成部３０により作成された図７（Ａ）、図７（Ｂ）の指示画像を表示部９０に表示しながら、ユーザが好きな構図で撮影を行い、構図確認用画像作成部３４で作成された構図確認用画像を記憶部５０に記憶するようにしてもよい。
【０１０９】
以上の本実施形態では、デジタルカメラにおいて好適な構図をユーザに提供する例について述べた。しかしながら、デジタルカメラのみならず、動画の撮影ができるビデオカメラにおいては、本実施形態のような構図候補を表示することで、ユーザは好適な構図の動画を撮影できるようになる。また、静止画撮影機能のついたビデオカメラでも、本実施形態のように好適な構図を含む静止画を得ることができる。
【０１１０】
また本実施形態ではユーザがリアルタイムに撮影を行うことを想定しているが、ビデオカメラによって撮影された通常の動画ファイルを対象として、コンピュータによりオフラインで同様の処理をすることも可能である。その場合は、適宜決められたフレームｎに対して、時系列に前後のフレームの画像を用いて貼り合せ画像を作成する。これにより、更に広い領域を対象として構図候補を決定することができる。そして、リアルタイムにビデオカメラで撮像する場合と同様に、構図候補を含む静止画及び動画を得ることができる。
【０１１１】
また図１７のステップＳ５９のように、構図確認用画像に構図候補領域の位置やサイズの情報を含むタグ情報を付加すれば、後日に構図を検討する際に、このタグ情報を利用することで、図６のように構図候補領域の位置やサイズをユーザに知らせたり、図７（Ａ）、図７（Ｂ）に示すような指示画像を表示することが可能になる。
【０１１２】
以上に説明した本実施形態の手法によれば以下のような効果を奏することができる。即ちカメラを用いて撮像する場合に、構図を決めるために、ある程度カメラを動かしながら無意識に構図を決めているのが一般的である。このとき本実施形態では、例えばスルー画像用の画像を内部メモリに蓄積しておき、画像間マッチングにより貼りあわせ画像を作成している。構図候補の決定は単体の画像ではなく、この貼り合わせ画像を対象に行う。構図候補が決定したら、スルー画像に重畳する形で構図候補を表示する。
【０１１３】
このように本実施形態の手法によれば、現在写されているスルー画像よりも広い画角を対象として構図候補の決定が行えるので、より好ましい構図候補の提供が可能となる。またユーザは構図候補とスルー画像が合うようにカメラ本体を動かし撮影するので、解像度の低下を抑制しながら、好ましい構図の写真を得ることが可能になる。
【０１１４】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、電子機器の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【図面の簡単な説明】
【０１１５】
【図１】本実施形態の画像処理装置、電子機器の構成例。
【図２】本実施形態の動作を説明するためのフローチャート。
【図３】貼り合わせ処理についての説明図。
【図４】貼り合わせ処理についての説明図。
【図５】作成された貼り合わせ画像の例。
【図６】構図候補の決定処理についての説明図。
【図７】図７（Ａ）、図７（Ｂ）は指示画像の例。
【図８】作成された構図候補画像の例。
【図９】貼り合わせ処理の第１の処理例を説明するためのフローチャート。
【図１０】第１の処理例の説明図。
【図１１】貼り合わせ処理の第２の処理例を説明するためのフローチャート。
【図１２】貼り合わせ処理の第３の処理例を説明するためのフローチャート。
【図１３】図１３（Ａ）、図１３（Ｂ）は第３の処理例の説明図。
【図１４】構図候補の決定処理例を説明するためのフローチャート。
【図１５】図１５（Ａ）、図１５（Ｂ）は構図候補の決定処理例の説明図。
【図１６】本実施形態の画像処理装置、電子機器の第２の構成例。
【図１７】第２の構成例の動作を説明するためのフローチャート。
【図１８】作成された構図確認用画像の例。
【符号の説明】
【０１１６】
ＩＭＯＢ  貼り合わせ対象画像、ＩＭｉ  第ｉのフレーム画像、
ＩＭＺ  貼り合わせ画像、ＲＣＭ  構図候補領域、ＩＭＣＨ  構図確認用画像、
１０  画像処理装置、２０  処理部、２２  画像取得部、２４  貼り合わせ画像作成部、
２６  構図候補決定部、２８  顔領域検出部、３０  指示画像作成部、
３２  画像出力部、３４  構図確認用画像作成部、３６  タグ情報付与部、
５０  記憶部、６０  撮像デバイス、７０  操作部、８０  外部Ｉ／Ｆ部、
９０  表示部
【図１】
2010136071.tif 000003
【図２】
2010136071.tif 000004
【図３】
2010136071.tif 000005
【図４】
2010136071.tif 000006
【図５】
2010136071.tif 000007
【図８】
2010136071.tif 000008
【図９】
2010136071.tif 000009
【図１０】
2010136071.tif 000010
【図１１】
2010136071.tif 000011
【図１２】
2010136071.tif 000012
【図１３】
2010136071.tif 000013
【図１４】
2010136071.tif 000014
【図１５】
2010136071.tif 000015
【図１６】
2010136071.tif 000016
【図１７】
2010136071.tif 000017
【図１８】
2010136071.tif 000018
【図６】
2010136071.tif 000019
【図７】
2010136071.tif 000020