(57)【要約】【課題】簡単に、より好ましい構図の画像を切り出す。【解決手段】注目画像重心検出部９１は、原画像に含まれる顔の画像などの注目画像のそれぞれの重心を検出する。全体重心計算部９２は、複数の注目画像のそれぞれの重心から、複数の注目画像の全体の重心である全体重心を計算する。切り出し領域決定部９３は、原画像における領域の向かい合う縁のうちの一方の縁から全体重心までの距離と、その領域の向かい合う縁のうちの他方の縁から全体重心までの距離との比率が、例えば黄金比などの美感を起こさせる値になるようにその領域を決定する。本発明は、デジタルカメラに適用できる。【選択図】図４
2008061184.tif 000002
【特許請求の範囲】
【請求項１】
原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段と、
複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段と、
前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段と
を備える画像処理装置。
【請求項２】
前記決定手段により決定された前記領域の画像を前記原画像から切り出して、新たな画像を生成する生成手段をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記生成手段により生成した新たな画像の画素数を、所定の画素数に変換する変換手段をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、矩形の前記領域の上下または左右に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように矩形の前記領域を決定する
請求項１に記載の画像処理装置。
【請求項５】
前記決定手段は、前記原画像のアスペクト比と同じアスペクト比の矩形の前記領域を決定する
請求項４に記載の画像処理装置。
【請求項６】
前記決定手段は、前記原画像における最大の前記領域を決定する
請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、前記比率が１：１乃至１：２．２のいずれかの値になるように前記領域を決定する
請求項１に記載の画像処理装置。
【請求項８】
前記決定手段は、前記比率が１：２になるように前記領域を決定する
請求項１に記載の画像処理装置。
【請求項９】
前記決定手段は、前記原画像における前記領域の上下に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の上下に向かい合う縁のうちの他方の縁から前記全体重心までの距離との前記比率が１：２になるように前記領域を決定する
請求項８に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記比率が黄金比になるように前記領域を決定する
請求項１に記載の画像処理装置。
【請求項１１】
前記決定手段は、前記原画像における前記領域の上下に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の上下に向かい合う縁のうちの他方の縁から前記全体重心までの距離との前記比率が黄金比になるように前記領域を決定する
請求項１０に記載の画像処理装置。
【請求項１２】
前記検出手段は、複数の前記注目画像のそれぞれの注目度を検出し、
前記計算手段は、複数の前記注目画像のそれぞれの重心から、前記注目度を重みとして、前記全体重心を計算する
請求項１に記載の画像処理装置。
【請求項１３】
原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し、
複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し、
前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する
ステップを含む画像処理方法。
【請求項１４】
原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し、
複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し、
前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する
ステップをコンピュータに実行させるプログラム。
【請求項１５】
原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段と、
複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段と、
前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、プログラム、並びに撮像装置に関し、特に、簡単に、より好ましい構図の画像を切り出すことができるようにした画像処理装置および方法、プログラム、並びに撮像装置に関する。
【背景技術】
【０００２】
被写体を撮像して、画像（写真）をデータとして記録（記憶）するデジタルスチルカメラが広く用いられるようになってきた。
【０００３】
デジタルスチルカメラを用いて何気なく撮像された、いわゆる記念写真、集合写真、スナップ写真、または風景写真などの写真を後で見てみると、どうも構図が良くないと感じることがある。
【０００４】
そのような写真のほとんどは、人物や動物や静物などの被写体の画像が、その写真の中の好ましい位置に配置されるように切り出されることで、より好ましい構図の写真になる。この切り出しの処理は、デジタルスチルカメラからパーソナルコンピュータに一旦画像のデータ（以下、画像データと称する）を取り込んで、パーソナルコンピュータに切り出しの機能を有するプログラムを実行させて行われる。
【０００５】
従来のカメラには、撮像ユニットが、撮影方向を切り換え、カメラが、被写領域を分割した各単位測距領域について測距を行い、近い距離を示す領域を主被写体領域とみなし、主被写体領域が画面の中央に来るように撮像ユニットの撮影方向を制御すると同時に、被写体が一定以上の大きさとなるようにするズーミングを制御するようにしているものがある（例えば、特許文献１参照）。
【０００６】
【特許文献１】特開２０００−９８４５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
パーソナルコンピュータを用いて切り出す場合、使用者は、各種の面倒な操作をしなければならなかった。
【０００８】
また、元の写真からどのように切り出したら適切であるかの判断に迷うこともあり、大変な手間がかかってしまう。さらに、このような判断は、いわゆる美的なセンスがないとできない。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、簡単に、より好ましい構図の画像を切り出すことができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段と、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段と、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段とを備える。
【００１１】
画像処理装置に、前記決定手段により決定された前記領域の画像を前記原画像から切り出して、新たな画像を生成する生成手段をさらに設けることができる。
【００１２】
画像処理装置に、前記生成手段により生成した新たな画像の画素数を、所定の画素数に変換する変換手段をさらに設けることができる。
【００１３】
前記決定手段には、矩形の前記領域の上下または左右に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように矩形の前記領域を決定させることができる。
【００１４】
前記決定手段には、前記原画像のアスペクト比と同じアスペクト比の矩形の前記領域を決定させることができる。
【００１５】
前記決定手段には、前記原画像における最大の前記領域を決定させることができる。
【００１６】
前記決定手段には、前記比率が１：１乃至１：２．２のいずれかの値になるように前記領域を決定させることができる。
【００１７】
前記決定手段には、前記比率が１：２になるように前記領域を決定させることができる。
【００１８】
前記決定手段には、前記原画像における前記領域の上下に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の上下に向かい合う縁のうちの他方の縁から前記全体重心までの距離との前記比率が１：２になるように前記領域を決定させることができる。
【００１９】
前記決定手段には、前記比率が黄金比になるように前記領域を決定させることができる。
【００２０】
前記決定手段には、前記原画像における前記領域の上下に向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の上下に向かい合う縁のうちの他方の縁から前記全体重心までの距離との前記比率が黄金比になるように前記領域を決定させることができる。
【００２１】
前記検出手段には、複数の前記注目画像のそれぞれの注目度を検出させ、前記計算手段には、複数の前記注目画像のそれぞれの重心から、前記注目度を重みとして、前記全体重心を計算させることができる。
【００２２】
本発明の一側面の画像処理方法は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定するステップを含む。
【００２３】
本発明の一側面のプログラムは、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定するステップをコンピュータに実行させる。
【００２４】
本発明の一側面の撮像装置は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段と、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段と、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段とを備える。
【００２５】
本発明の一側面においては、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心が検出され、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心が計算され、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域が決定される。
【発明の効果】
【００２６】
以上のように、本発明の一側面によれば、より好ましい構図とすることができる。
【００２７】
また、本発明の一側面によれば、簡単に、より好ましい構図の画像を切り出すことができる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２９】
本発明の一側面の画像処理装置は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段（例えば、図４の注目画像重心検出部９１）と、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段（例えば、図４の全体重心計算部９２）と、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段（例えば、図４の切り出し領域決定部９３）とを備える。
【００３０】
画像処理装置に、前記決定手段により決定された前記領域の画像を前記原画像から切り出して、新たな画像を生成する生成手段（例えば、図４の画像切り出し生成部９４）をさらに設けることができる。
【００３１】
画像処理装置に、前記生成手段により生成した新たな画像の画素数を、所定の画素数に変換する変換手段（例えば、図３の画素数変換エンジン５４）をさらに設けることができる。
【００３２】
本発明の一側面の画像処理方法は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し（例えば、図５のステップＳ１４）、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し（例えば、図５のステップＳ１５）、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する（例えば、図５のステップＳ１６）ステップを含む。
【００３３】
本発明の一側面のプログラムは、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し（例えば、図５のステップＳ１４）、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算し（例えば、図５のステップＳ１５）、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する（例えば、図５のステップＳ１６）ステップをコンピュータに実行させる。
【００３４】
本発明の一側面の撮像装置は、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する検出手段（例えば、図４の注目画像重心検出部９１）と、複数の前記注目画像のそれぞれの重心から、複数の前記注目画像の全体の重心である全体重心を計算する計算手段（例えば、図４の全体重心計算部９２）と、前記原画像における領域の向かい合う縁のうちの一方の縁から前記全体重心までの距離と、前記領域の向かい合う縁のうちの他方の縁から前記全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように前記領域を決定する決定手段（例えば、図４の切り出し領域決定部９３）とを備える。
【００３５】
図１および図２は、本発明の一実施の形態のデジタルカメラ１を示す図である。図１に示されるように、デジタルカメラ１は、使用者の操作に応じて被写体を撮像し、被写体の静止画像である画像（写真）を画像データとして記憶（記録）する。
【００３６】
デジタルカメラ１は、撮像し、画像データとして記憶された画像の構図を補正する。
【００３７】
また、図２で示されるように、デジタルカメラ１は、不揮発性の半導体メモリなどを内蔵するメモリカードなどの媒体であるメディア１１であって、装着されたメディア１１に画像データとして記憶（記録）されている画像の構図を補正する。メディア１１には、デジタルカメラ１または他のデジタルカメラで撮像された画像の画像データが記憶（記録）されている。
【００３８】
なお、メディア１１は、半導体メモリなどを内蔵するメモリカードに限らず、ハードディスクなどの磁気ディスク、またはDVD（Digital Versatile Disc）などの光ディスク若しくは光磁気ディスクなどであってもよい。また、メディア１１は、着脱可能なものであっても、デジタルカメラ１に内蔵されているものであっても良い。
【００３９】
図３は、デジタルカメラ１の構成の例を示すブロック図である。デジタルカメラ１は、光学系３１、イメージャ３２、信号処理部３３、RAM（Random Access Memory）３４、表示部３５、および入力部３６から構成される。
【００４０】
光学系３１は、レンズおよび絞りなどからなり、被写体の光学的な画像をイメージャ３２の受光部に結像させる。イメージャ３２は、CCD（Charge Coupled Device）イメージセンサまたはCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサなどからなり、その受光部に結像された光学的な被写体の画像を電気信号に変換して、変換により得られた画像の電気信号を信号処理部３３に供給する。
【００４１】
信号処理部３３は、複数の電子部品が設けられた基板として構成されるか、またはシステムIC（Integrated Circuit）などとして構成され、イメージャ３２から供給された画像の電気信号に各種の信号処理を適用して、画像データを生成する。また、信号処理部３３は、画像データに各種の信号処理を適用する。RAM３４は、DRAM（Dynamic Random Access Memory）などからなり、信号処理部３３における信号処理の対象となる画像データを一時的に記憶する。
【００４２】
表示部３５は、LCD（Liquid Crystal Display）または有機EL（Electro Luminescence）ディスプレイなどからなり、信号処理部３３の制御に応じて、各種の画像を表示する。
【００４３】
入力部３６は、ボタン、スイッチ、または表示部３５に重ねて設けられるタッチパネルなどからなり、使用者の操作に応じた信号を信号処理部３３に供給する。
【００４４】
また、信号処理部３３は、装着されたメディア１１から画像データを読み出すか、またはメディア１１に画像データを記憶（記録）させる。
【００４５】
さらに、信号処理部３３は、カメラ信号処理エンジン５１、JPEG（Joint Photographic Experts Group）エンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、画像表示用エンジン５５、制御用CPU（Central Processing Unit）５６、画像信号用バス５７、制御信号用バス５８、外部メディアコントローラ５９、入力インタフェース６０、およびデータバス６１から構成される。
【００４６】
カメラ信号処理エンジン５１、JPEGエンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、画像表示用エンジン５５、制御用CPU５６、データバス６１、およびRAM３４は、画像データの信号である画像信号が伝送される画像信号用バス５７によって相互に接続されている。
【００４７】
カメラ信号処理エンジン５１、JPEGエンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、または画像表示用エンジン５５は、それぞれ、画像データを画像信号用バス５７を介してRAM３４に供給し、画像データをRAM３４に一時的に記憶させるか、またはRAM３４に一時的に記憶されている画像データを、画像信号用バス５７を介してRAM３４から読み出す。
【００４８】
また、カメラ信号処理エンジン５１、JPEGエンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、画像表示用エンジン５５、および制御用CPU５６は、制御信号が伝送される制御信号用バス５８によって相互に接続されている。
【００４９】
制御用CPU５６は、制御信号用バス５８を介して制御信号を取得し供給することで、カメラ信号処理エンジン５１、JPEGエンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、または画像表示用エンジン５５のそれぞれを制御する。
【００５０】
さらに、制御用CPU５６、外部メディアコントローラ５９、および入力インタフェース６０は、データバス６１によって相互に接続されている。
【００５１】
制御用CPU５６は、データバス６１を介して外部メディアコントローラ５９を制御し、外部メディアコントローラ５９に、画像信号用バス５７およびデータバス６１を介して供給された画像データをメディア１１に記憶させるか、またはメディア１１に記憶されている画像データをメディア１１から読み出させる。
【００５２】
カメラ信号処理エンジン５１は、制御信号用バス５８を介した制御用CPU５６の制御の基に、イメージャ３２から供給された画像の電気信号に、デジタル信号への変換、ノイズ除去、またはホワイトバランスの調整などの各種の信号処理を適用する。カメラ信号処理エンジン５１は、信号処理を適用して得られた画像データをRAM３４に一時的に記憶させる。
【００５３】
JPEGエンジン５２は、制御信号用バス５８を介した制御用CPU５６の制御の基に、カメラ信号処理エンジン５１から供給され、RAM３４に一時的に記憶されている画像データを、RAM３４から読み出して、JPEG方式で符号化する。JPEGエンジン５２は、符号化された画像データを画像信号用バス５７およびデータバス６１を介して、外部メディアコントローラ５９に供給する。この場合、外部メディアコントローラ５９は、JPEG方式で符号化された画像データをメディア１１に記憶（記録）させる。
【００５４】
また、JPEGエンジン５２は、制御信号用バス５８を介した制御用CPU５６の制御の基に、外部メディアコントローラ５９によって、メディア１１から読み出された、JPEG方式で符号化されている画像データを画像信号用バス５７およびデータバス６１を介して取得して、JPEG方式で符号化されている画像データを復号する。JPEGエンジン５２は、復号された画像データをRAM３４に一時的に記憶させる。
【００５５】
注目画像検出エンジン５３は、制御信号用バス５８を介した制御用CPU５６の制御の基に、RAM３４に一時的に記憶されている画像データを、画像信号用バス５７を介してRAM３４から読み出して、読み出された画像データによる画像に含まれる注目画像を検出する。すなわち、注目画像検出エンジン５３は、画像データとして読み出された画像に含まれる画像のうちの注目する画像である注目画像を検出する。注目画像は、人物や目立つ被写体など、注目する者または注目する物（注目物）の画像である。
【００５６】
言い換えれば、注目画像検出エンジン５３は、画像データによる画像に含まれる画像のうち、目立つ画像、ひと目を引く画像である注目画像を検出する。
【００５７】
より具体的には、例えば、注目画像検出エンジン５３は、顔の画像である注目画像を検出する。また、例えば、注目画像検出エンジン５３は、画像データによる画像に含まれる画像のうちの、他の画像と形状が異なるか、色が異なるか、大きさが異なるか、または模様が異なる画像である注目画像を検出する。
【００５８】
なお、所定の被写体の画像に限らず、画像のうちの、目立つ領域、ひと目を引く領域の画像が注目画像として検出されるようにしても良い。また、使用者が、入力部３６への操作によって注目画像を直接指定するようにしてもよい。
【００５９】
注目画像検出エンジン５３は、画像データによる画像における注目画像の範囲を示すデータを画像信号用バス５７または制御信号用バス５８を介して制御用CPU５６に供給する。
【００６０】
画素数変換エンジン５４は、制御信号用バス５８を介した制御用CPU５６の制御の基に、RAM３４に一時的に記憶されている画像データを、画像信号用バス５７を介してRAM３４から読み出して、画像の画素数の変換の処理を画像データに適用する。画素数変換エンジン５４は、画素数が変換された画像の画像データを画像信号用バス５７を介してRAM３４に供給し、RAM３４に一時的に記憶させる。
【００６１】
画像表示用エンジン５５は、制御信号用バス５８を介した制御用CPU５６の制御の基に、RAM３４に一時的に記憶されている画像データを、画像信号用バス５７を介してRAM３４から読み出して、読み出された画像データと表示部３５とに応じたイメージデータを生成し、そのイメージデータを表示部３５に供給することで、その読み出された画像データに応じた画像を表示部３５に表示させる。また、画像表示用エンジン５５は、制御用CPU５６の制御に応じて、GUI（Graphical User Interface）の画像を表示部３５に表示させる。
【００６２】
制御用CPU５６は、組み込み型のCPUから構成されるか、またはシステムICに内蔵されているCPUとして構成される。制御用CPU５６は、内蔵されているROM（Read Only Memory）またはRAMに記憶されているプログラムを実行して、入力インタフェース６０およびデータバス６１を介して供給される使用者の操作に応じた入力部３６からの信号に応じて、制御信号用バス５８を介して制御信号を取得し供給することで、カメラ信号処理エンジン５１、JPEGエンジン５２、注目画像検出エンジン５３、画素数変換エンジン５４、画像表示用エンジン５５、外部メディアコントローラ５９、および入力インタフェース６０を制御する。
【００６３】
外部メディアコントローラ５９は、画像データを含む各種のデータの、装着されたメディア１１への記憶（記録）を制御すると共に、装着されたメディア１１に記憶（記録）されている各種のデータの読み出しを制御する。なお、メディア１１が磁気ディスクまたは光ディスクなどである場合、図示せぬドライブが設けられ、外部メディアコントローラ５９は、そのドライブによるメディア１１へのデータの記録または読み出しを制御する。
【００６４】
入力インタフェース６０は、入力部３６からの信号を入力して、入力した信号を整形し、所定の方式にするなどして、入力部３６からの信号をデータバス６１を介して制御用CPU５６に供給する。
【００６５】
図４は、プログラムを実行する制御用CPU５６によって実現される機能の構成を示すブロック図である。プログラムを実行する制御用CPU５６によって、画像読み込み部７１、構図補正部７２、画素数変換制御部７３、表示制御部７４、および記憶制御部７５が実現される。
【００６６】
画像読み込み部７１は、撮像された画像またはメディア１１に画像データとして記憶されている画像である、構図の補正の対象となる原画像を読み込む。
【００６７】
構図補正部７２は、読み込まれた原画像の構図を補正する。すなわち、構図補正部７２は、読み出された原画像から、より好ましい構図の画像を切り出す。
【００６８】
構図補正部７２は、注目画像重心検出部９１、全体重心計算部９２、切り出し領域決定部９３、および画像切り出し生成部９４を含む。
【００６９】
注目画像重心検出部９１は、読み込まれた原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出する。全体重心計算部９２は、複数の注目画像のそれぞれの重心から、複数の注目画像の全体の重心である全体重心を計算する。
【００７０】
切り出し領域決定部９３は、全体重心を基に、原画像のうち、より好ましい構図の画像の領域を決定する。より詳細には、切り出し領域決定部９３は、原画像における領域の向かい合う縁のうちの一方の縁から全体重心までの距離と、領域の向かい合う縁のうちの他方の縁から全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように領域を決定する。
【００７１】
画像切り出し生成部９４は、決定された領域の画像を、原画像から切り出して、新たな画像を生成する。
【００７２】
構図補正部７２は、生成された新たな画像、すなわちより好ましい構図で切り出された画像を画素数変換制御部７３に供給する。
【００７３】
画素数変換制御部７３は、画素数変換エンジン５４に、より好ましい構図とされた画像の画素数を、所定の画素数に変換させる。例えば、画素数変換制御部７３は、画素数変換エンジン５４に、より好ましい構図とされた画像の画素数を、原画像の画素数と同じに変換させる。
【００７４】
表示制御部７４は、画像表示用エンジン５５を制御して、表示部３５に、原画像またはより好ましい構図とされ画素数が変換された画像を表示させる。
【００７５】
記憶制御部７５は、外部メディアコントローラ５９を制御して、より好ましい構図とされ画素数が変換された画像の画像データをメディア１１に記憶させる。
【００７６】
次に、図５のフローチャートを参照して、構図の補正の処理の例を説明する。ステップＳ１１において、画像読み込み部７１は、構図の補正の対象となる原画像を読み込む。
【００７７】
すなわち、例えば、撮像された画像の構図を補正する場合、画像読み込み部７１は、カメラ信号処理エンジン５１から供給された画像データを、RAM３４の記憶領域のうち、構図の補正の対象となる原画像を記憶するための特定の記憶領域に格納することによって、撮像された画像である原画像を読み込む。
【００７８】
また、例えば、メディア１１に記憶されている画像データによる画像の構図を補正する場合、画像読み込み部７１は、外部メディアコントローラ５９に、メディア１１に記憶されている画像データをメディア１１から読み出させる。読み出した画像データがJPEG方式で符号化されている場合、画像読み込み部７１は、JPEGエンジン５２にその画像データを復号させる。画像読み込み部７１は、このようにメディア１１から読み出した画像データを、RAM３４の記憶領域のうち、構図の補正の対象となる原画像を記憶するための特定の記憶領域に格納することによって、原画像を読み込む。
【００７９】
ステップＳ１２において、表示制御部７４は、画像表示用エンジン５５を制御して、表示部３５に原画像を表示させる。
【００８０】
図６に示されるように、デジタルカメラ１の表示部３５は、原画像１０１を表示する。
【００８１】
なお、図６に示されるように、デジタルカメラ１の面のうち、表示部３５が設けられているデジタルカメラ１の面には、構図補正ボタン１０２、上向きのボタンと下向きのボタンと右向きのボタンと左向きのボタンとからなる十字ボタン１０３、決定ボタン１０４、およびメニューボタン１０５が配置されている。構図補正ボタン１０２、十字ボタン１０３、決定ボタン１０４、およびメニューボタン１０５は、入力部３６を構成する。
【００８２】
ステップＳ１３において、構図補正部７２は、入力インタフェース６０およびデータバス６１を介して供給される、使用者の操作に応じた入力部３６からの信号を基に、使用者によって構図補正ボタン１０２が押圧されて、原画像１０１の構図の補正が指示されたか否かを判定する。
【００８３】
ステップＳ１３において、構図補正ボタン１０２が使用者によって押圧されて、原画像１０１の構図の補正が指示されたと判定された場合、ステップＳ１４に進み、構図補正部７２の注目画像重心検出部９１は、原画像１０１上の複数の注目画像のそれぞれについて、重心および注目度を検出する。
【００８４】
ここで、注目度とは、注目画像の目立つ度合いまたはひと目を引く度合いを示す値である。
【００８５】
ステップＳ１４をより詳細に説明すると、注目画像重心検出部９１は、注目画像検出エンジン５３に、原画像１０１に含まれる注目画像を検出させ、原画像１０１における注目画像の範囲および注目画像の特徴量を示すデータを画像信号用バス５７または制御信号用バス５８を介して制御用CPU５６に供給させる。
【００８６】
例えば、顔の画像である注目画像を検出する場合、注目画像検出エンジン５３は、原画像１０１の画素のうち、肌色の所定の範囲の色相の画素を検出し、その画素が配置される領域のうち、所定の大きさ以上の領域の画像を特定する。さらに、注目画像検出エンジン５３は、特定された画像に、目の画像および口の画像が含まれるか否かを判定することによって、その画像が顔の画像であるかを判定する。
【００８７】
注目画像検出エンジン５３は、このように検出した顔の画像である注目画像の範囲を示すデータを制御用CPU５６に供給する。
【００８８】
また、例えば、この場合、注目画像検出エンジン５３は、注目画像の特徴量として、顔の画像の大きさを示すデータを制御用CPU５６に供給する。
【００８９】
例えば、図７で示されるように、原画像１０１に７人の人物の画像が含まれている場合、図８で示されるように、原画像１０１に含まれる７人の人物の顔の画像のそれぞれである注目画像１３１−１乃至注目画像１３１−７が検出される。例えば、図８で示されるように、それぞれ四角の範囲の顔の画像である注目画像１３１−１乃至注目画像１３１−７が検出されると、注目画像１３１−１乃至注目画像１３１−７のそれぞれの四角の範囲と大きさとを示すデータが制御用CPU５６に供給される。
【００９０】
例えば、原画像１０１に含まれる画像のうちの、他の画像と形状が異なるか、色が異なるか、大きさが異なるか、または模様が異なる画像である注目画像を検出する場合、注目画像重心検出部９１は、注目画像検出エンジン５３に、原画像１０１に含まれる画像の輪郭を検出させて、輪郭を検出した画像のそれぞれについて、形状、色、大きさ、模様などの特徴を示す特徴量を検出させる。そして、注目画像検出エンジン５３は、画像のそれぞれの特徴量を基に、より特徴的な画像である注目画像を検出する。例えば、注目画像検出エンジン５３は、検出した特徴量と予め定めた閾値とを比較し、閾値以上（以下）の特徴量の画像を注目画像として検出する。
【００９１】
注目画像検出エンジン５３は、このように検出した注目画像の範囲を示すデータを制御用CPU５６に供給する。
【００９２】
また、この場合、注目画像検出エンジン５３は、注目画像の特徴量を示すデータ、または、例えば、その特徴量を正規化した値を示すデータなどの特徴量に応じたデータを制御用CPU５６に供給する。
【００９３】
注目画像重心検出部９１は、注目画像検出エンジン５３から供給された、原画像１０１における注目画像の範囲を示すデータから、原画像１０１上の複数の注目画像のそれぞれについて、重心を計算することによって、注目画像の重心を検出する。注目画像重心検出部９１は、注目画像検出エンジン５３から供給された、注目画像の特徴量を示すデータから、注目画像の注目度を示すデータを計算することによって、注目画像の注目度を検出する。
【００９４】
例えば、図８で示される、四角の範囲の顔の画像である注目画像１３１−１乃至注目画像１３１−７が検出された場合、注目画像１３１−１乃至注目画像１３１−７のそれぞれの四角の範囲の中央の位置に相当する重心が、注目画像１３１−１乃至注目画像１３１−７のそれぞれについて検出される。
【００９５】
また、注目画像１３１−１乃至注目画像１３１−７のそれぞれについて注目度が検出される。
【００９６】
例えば、図８で示される、注目画像１３１−１乃至注目画像１３１−７のそれぞれに対して、後述する式（３）の関係を満たし、均等の（同じ値の）注目度が検出される。
【００９７】
また、例えば、注目画像１３１−１乃至注目画像１３１−７のそれぞれについて、互いに異なる値の注目度が検出される。より具体的には、例えば、注目画像１３１−１乃至注目画像１３１−７のそれぞれの四角の範囲の大きさに応じた注目度が、注目画像１３１−１乃至注目画像１３１−７のそれぞれについて検出される。この場合、注目画像１３１−１乃至注目画像１３１−７のそれぞれについて、注目画像１３１−１乃至注目画像１３１−７の順に、より目立つことを示す、より大きい値の注目度が検出されることになる。
【００９８】
なお、注目画像検出エンジン５３が、注目画像のそれぞれの重心と注目度とを検出するようにしてもよい。
【００９９】
図５に戻り、ステップＳ１５において、構図補正部７２の全体重心計算部９２は、複数の注目画像のそれぞれの重心から、検出された注目度で重み付けして、複数の注目画像の全体の重心である全体重心を計算する。
【０１００】
注目画像の数が全部でN個であり、原画像１０１の座標上の、注目画像のそれぞれの重心の位置を（xk,yk）（k=1,2,・・・,N）で表し、注目画像の注目度をwkで表すと、原画像１０１における、全体重心の位置（xc,yc）のｘ座標上の座標値xcおよびｙ座標上の座標値ycは、式（１）および式（２）により計算される。ただし、式（１）および式（２）における注目度wkは、式（３）で示される条件を満たす。
【０１０１】
【数１】
2008061184.tif 000003
【０１０２】
【数２】
2008061184.tif 000004
【０１０３】
【数３】
2008061184.tif 000005
【０１０４】
図８で示される例において、顔の画像である注目画像１３１−１乃至注目画像１３１−７のそれぞれについての重心と注目度から、全体重心１３２の位置（xc,yc）が計算されることになる。
【０１０５】
なお、ステップＳ１４において、注目画像のそれぞれの位置（例えば、注目画像の範囲）および注目度が検出され、ステップＳ１５において、注目画像のそれぞれの位置および注目度から、全体重心１３２が計算されるようにしてもよい。
【０１０６】
ステップＳ１６において、構図補正部７２の切り出し領域決定部９３は、その領域において全体重心１３２が予め決められた位置になるように、原画像１０１から切り出す領域を決定する。より具体的には、ステップＳ１６において、切り出し領域決定部９３は、原画像１０１における切り出す領域の向かい合う縁のうちの一方の縁から全体重心１３２までの距離と、切り出す領域の向かい合う縁のうちの他方の縁から全体重心１３２までの距離との比率が、美感を起こさせる予め定めた値になるように切り出す領域を決定する。
【０１０７】
例えば、図８で示されるように、全体重心１３２を基に、切り出す領域１３３が決定される。
【０１０８】
さらに詳しく説明すると、図９で示されるように、全体重心１３２の水平方向の位置が領域１３３の水平方向の中心と一致し、全体重心１３２の鉛直（上下）方向の位置が領域１３３の上端から１／２．６の位置になるように、すなわち領域１３３の上下方向が全体重心１３２によって黄金率約１：１．６１８に分割され、かつ、領域１３３のアスペクト比が原画像１０１のアスペクト比と同一になり、なおかつ、領域１３３の面積が最大になるように、矩形の切り出す領域１３３が決定される。
【０１０９】
すなわち、切り出し領域決定部９３は、矩形の領域１３３の左側の縁から全体重心１３２までの距離と、その右側の縁から全体重心１３２までの距離との比率が１：１になり、矩形の領域１３３の上側の縁から全体重心１３２までの距離と、下側の縁から全体重心１３２までの距離との比率が、黄金比である１：１．６１８になり、原画像１０１のアスペクト比と同じアスペクト比であって、原画像１０１の範囲で最大の面積となる矩形の領域１３３を決定する。
【０１１０】
なお、図１０で示されるように、全体重心１３２が領域１３３の中心となるように切り出す領域１３３が決定されたり、図１１で示されるように、領域１３３における全体重心１３２の左右方向の位置が、領域１３３の左側の縁を基準として、予め決められたｍ：１−ｍ（０≦ｍ≦１）となり、領域１３３における全体重心１３２の上下方向の位置が、領域１３３の上側の縁を基準として、予め決められたｎ：１−ｎ（０≦ｎ≦１）となるように、切り出す領域１３３が決定されたりするようにしてもよい。
【０１１１】
さらに、図１２で示されるように、領域１３３のうち、領域１３３の左右方向の比率が１：１．２：１となり、領域１３３の上下方向の比率が１：１．２：１となる中心の領域（図１２中において点線で表される領域）に全体重心１３２が収まるように切り出す領域１３３が決定されるようにしてもよい。すなわち、矩形の領域１３３の上下または左右に向かい合う縁のうちの一方の縁から全体重心１３２までの距離と、他方の縁から全体重心１３２までの距離との比率が、１：１乃至１：２．２のいずれかの値になるように切り出す領域１３３が決定されるようにしてもよい。
【０１１２】
この場合、切り出す領域１３３に含まれる画像の構図は、好ましい構図になる。例えば、全体重心１３２が領域１３３の中心に位置する場合のその領域１３３に含まれる画像の構図は、所定の領域のうち、その領域の左右方向の比率が１：１．２：１となり、その領域の上下方向の比率が１：１．２：１となる中心の領域から全体重心１３２がはみ出した位置にある場合のその領域に含まれる画像の構図に比較すると、良いと言える。所定の領域のうち、その領域の左右方向の比率が１：１．２：１となり、その領域の上下方向の比率が１：１．２：１となる中心の領域から全体重心１３２がはみ出した位置にある場合のその領域に含まれる画像において、注目画像があまりにも端によってしまうからである。
【０１１３】
特に、矩形の領域１３３の上下または左右に向かい合う縁のうちの一方の縁から全体重心１３２までの距離と、他方の縁から全体重心１３２までの距離との比率が、１：２の値になるように切り出す領域１３３が決定され、いわゆる３分構図とされると、その切り出す領域１３３の画像の構図は、良好なものとなる。
【０１１４】
しかしながら、その比率が１：２．２を超えてしまうと、その構図は不快なものとなってしまう。
【０１１５】
図５に戻り、ステップＳ１７において、構図補正部７２は、決定された領域１３３に注目画像の全てが入っているか否かを判定する。例えば、ステップＳ１７において、構図補正部７２は、切り出す領域１３３に顔の画像である注目画像１３１−１乃至注目画像１３１−７のすべてが入っているか否かを判定する。
【０１１６】
ステップＳ１７において、決定された領域に注目画像の全てが入っていないと判定された場合、注目画像の欠けた画像を切り出すことは好ましくないので、ステップＳ１６に戻り、上述した処理を繰り返す。この場合、ステップＳ１６において、切り出し領域決定部９３は、原画像１０１における切り出す領域の向かい合う縁のうちの一方の縁から全体重心までの距離と、切り出す領域の向かい合う縁のうちの他方の縁から全体重心までの距離との比率が、美感を起こさせる予め定めた値であって、前回のステップＳ１６における値と異なる値になるように切り出す領域を決定する。
【０１１７】
このようにすることで、注目画像の全てが入った切り出す領域１３３を決定することができる。
【０１１８】
ステップＳ１７において、決定された領域１３３に注目画像の全てが入っていると判定された場合、ステップＳ１８に進み、構図補正部７２の画像切り出し生成部９４は、決定された領域１３３の画像を原画像１０１から切り出して、切り出し後画像を生成する。生成された切り出し後画像は、画像データとしてRAM３４に記憶される。
【０１１９】
例えば、図８で示されるように、原画像１０１上の顔の画像である注目画像１３１−１乃至注目画像１３１−７のそれぞれについて重心と注目度とが検出され、全体重心１３２の位置が計算され、切り出す領域１３３が決定されると、ステップＳ１８において、画像切り出し生成部９４は、切り出す領域１３３の画像を原画像１０１から切り出して、図１３で示されるように、切り出し後画像１５１を生成する。
【０１２０】
ステップＳ１９において、画素数変換制御部７３は、画素数変換エンジン５４に、より好ましい構図とされた切り出し後画像１５１の画素数を、原画像１０１の画素数と同じに変換させる。この際、画素数変換エンジン５４は、画素を補間するなどして、切り出し後画像１５１の縦および横のそれぞれのサイズおよび画素数を、原画像１０１の縦および横のそれぞれのサイズおよび画素数と同じになるように、変換する。
【０１２１】
なお、画素数変換制御部７３は、画素数変換エンジン５４に、より好ましい構図とされた切り出し後画像１５１の画素数を、予め決められた任意の画素数に変換させるようにしてもよい。
【０１２２】
また、画素数変換制御部７３は、画素数変換エンジン５４に、より好ましい構図とされた切り出し後画像１５１の画素数を、使用者から予め指定されている画素数に変換させるようにしてもよい。
【０１２３】
ステップＳ２０において、表示制御部７４は、画像表示用エンジン５５を制御して、切り出し後画像１５１を表示部３５に表示させる。例えば、図１４で示されるように、デジタルカメラ１の表示部３５には、切り出し後画像１５１が表示される。
【０１２４】
この場合、表示制御部７４は、画像表示用エンジン５５を制御して、表示部３５に、切り出し後画像１５１と共に、切り出し後画像１５１の保存を指示するためのボタン１７１および切り出し後画像１５１の保存の取消（切り出し後画像１５１の破棄）を指示するためのボタン１７２を表示させる。
【０１２５】
使用者は、表示部３５に表示されている切り出し後画像１５１を見て、その切り出し後画像１５１が気に入った場合、ボタン１７１を操作し、その切り出し後画像１５１が気に入らない場合、ボタン１７２を操作することになる。
【０１２６】
ステップＳ２１において、記憶制御部７５は、入力インタフェース６０およびデータバス６１を介して供給される、使用者の操作に応じた入力部３６からの信号を基に、切り出し後画像１５１の保存が指示されたか否かを判定する。
【０１２７】
例えば、ステップＳ２１において、記憶制御部７５は、表示部３５に重ねて設けられているタッチパネルの領域のうちボタン１７１が表示されている位置がタップされるか、または十字ボタン１０３によってボタン１７１にフォーカスがあてられている状態とされて決定ボタン１０４が押圧されることにより、ボタン１７１が操作されると、切り出し後画像１５１の保存が指示されたと判定する。例えば、ステップＳ２１において、記憶制御部７５は、表示部３５に重ねて設けられているタッチパネルの領域のうちボタン１７２が表示されている位置がタップされるか、または十字ボタン１０３によってボタン１７２にフォーカスがあてられている状態とされて決定ボタン１０４が押圧されることにより、ボタン１７２が操作されると、切り出し後画像１５１の保存の取消（切り出し後画像１５１の破棄）が指示され、切り出し後画像１５１の保存が指示されていないと判定する。
【０１２８】
ステップＳ２１において、切り出し後画像１５１の保存が指示されたと判定された場合、ステップＳ２２に進み、記憶制御部７５は、外部メディアコントローラ５９を制御して、RAM３４に記憶されている、より好ましい構図とされ画素数が変換された切り出し後画像１５１の画像データをメディア１１に記憶させ、処理は終了する。
【０１２９】
なお、切り出し後画像１５１は、JPEGエンジン５２によってJPEG方式で符号化されてから、メディア１１に画像データとして記憶されるようにしてもよい。
【０１３０】
一方、ステップＳ２１において、切り出し後画像１５１の保存が指示されていないと判定された場合、ステップＳ２２はスキップされて、切り出し後画像１５１の画像データをメディア１１に記憶させることなく、そのまま処理は終了する。
【０１３１】
ステップＳ１３において、原画像１０１の構図の補正が指示されていないと判定された場合、構図を補正する必要はないので、ステップＳ１４乃至ステップＳ２２はスキップされて、処理は終了する。
【０１３２】
このように、原画像１０１の構図を補正した、より好ましい構図の切り出し後画像１５１を簡単に得ることができ、切り出し後画像１５１を保存することができる。
【０１３３】
切り出し後画像１５１を保存することによって、図１５で示されるように、原画像１０１と同様に、任意に所望の切り出し後画像１５１を表示部３５に表示させることができ、使用者が切り出し後画像１５１を任意に閲覧できるようになる。
【０１３４】
なお、切り出し後画像１５１の画素数を変換することなく、原画像１０１の決定された領域１３３から切り出された切り出し後画像１５１の画像データをそのままメディア１１に記憶させるようにしてもよい。
【０１３５】
図１６は、原画像１０１の他の例を示す図であり、図１７は、図１６の原画像１０１から、図５のフローチャートを参照して説明した構図の補正の処理により生成された切り出し後画像１５１の他の例を示す図である。また、図１８は、原画像１０１のさらに他の例を示す図であり、図１９は、図１８の原画像１０１から、図５のフローチャートを参照して説明した構図の補正の処理により生成された切り出し後画像１５１のさらに他の例を示す図である。
【０１３６】
図１６乃至図１９で示されるように、構図がいまいちな原画像１０１から、簡単に、より好ましい構図の切り出し後画像１５１を切り出すことができる。
【０１３７】
今までは「構図が悪い」ことで「失敗写真」とされていた写真（原画像１０１）は、往々にして削除されてしまうことが多かったが、切り出しなおして「良い構図」とされることにより、そういったせっかく撮った写真（原画像１０１）を捨てなくても良くなる。
【０１３８】
撮像直後に限らず、撮像された写真の構図を撮影後にいつでも、しかも、面倒な選択や操作をすることなく「良い構図」の写真に直すことができるので、撮像のときに構図に気を配る必要がなく、より気楽に写真を撮ることができるようになる。
【０１３９】
なお、原画像１０１について領域１３３を決定してから、領域１３３の画像を切り出すことなく、決定した領域１３３の画像を表示部３５に表示させるようにしてもよい。このようにすることで、画像データを増やすことなく、原画像１０１を、より良い構図の画像として表示し閲覧させることができる。
【０１４０】
また、メディア１１に画像データとして記憶されている複数の原画像１０１の構図を一括して補正するようにすることもできる。
【０１４１】
図２０は、メニューボタン１０５が押圧されることよって表示されるメニューのコマンドが選択されると実行される構図の補正の処理であって、メディア１１に画像データとして記憶されている複数の原画像１０１の構図を一括して補正する場合の、構図の補正の処理の他の例を説明するフローチャートである。
【０１４２】
ステップＳ５１において、表示制御部７４は、画像表示用エンジン５５を制御して、表示部３５に、構図の補正の指示を受け付ける画面を表示させる。例えば、ステップＳ５１において、図２１で示されるように、「構図補正実行しますか？」などの文字が配置されている、構図の補正の指示を受け付ける画面２０１が表示部３５に表示される。画面２０１には、メディア１１に画像データとして記憶されている全ての原画像１０１の構図の補正を指示するためのボタン２０２および構図の補正の取消を指示するためのボタン２０３が配置されている。
【０１４３】
ステップＳ５２において、構図補正部７２は、入力インタフェース６０およびデータバス６１を介して供給される、使用者の操作に応じた入力部３６からの信号を基に、メディア１１に画像データとして記憶されている全ての原画像１０１の構図の補正が指示されたか否かを判定する。
【０１４４】
例えば、ステップＳ５２において、構図補正部７２は、表示部３５に重ねて設けられているタッチパネルの領域のうちボタン２０２が表示されている位置がタップされるか、または十字ボタン１０３によってボタン２０２にフォーカスがあてられている状態とされて決定ボタン１０４が押圧されることにより、ボタン２０２が操作されると、メディア１１に画像データとして記憶されている全ての原画像１０１の構図の補正が指示されたと判定する。例えば、ステップＳ５２において、構図補正部７２は、表示部３５に重ねて設けられているタッチパネルの領域のうちボタン２０３が表示されている位置がタップされるか、または十字ボタン１０３によってボタン２０３にフォーカスがあてられている状態とされて決定ボタン１０４が押圧されることにより、ボタン２０３が操作されると、構図の補正の取消が指示され、構図の補正が指示されていないと判定する。
【０１４５】
ステップＳ５２において、メディア１１に画像データとして記憶されている全ての原画像１０１の構図の補正が指示されたと判定された場合、例えば、図２２で示されるように、「構図補正実行中です．．．」などの文字が配置されている、構図の補正の処理が実行中であることを示す画面２２１が表示部３５に表示されて、ステップＳ５３に進み、画像読み込み部７１は、メディア１１から構図の補正の対象となる原画像１０１を読み込む。
【０１４６】
例えば、ステップＳ５３において、画像読み込み部７１は、外部メディアコントローラ５９に、メディア１１に記憶されている画像データをメディア１１から読み出させる。読み出した画像データがJPEG方式で符号化されている場合、画像読み込み部７１は、JPEGエンジン５２にその画像データを復号させる。画像読み込み部７１は、このようにメディア１１から読み出した画像データを、RAM３４の記憶領域のうち、構図の補正の対象となる原画像１０１を記憶するための特定の記憶領域に格納することによって、原画像１０１を読み込む。
【０１４７】
ステップＳ５４乃至ステップＳ５６は、それぞれ、図５のステップＳ１４乃至ステップＳ１６のそれぞれと同様なので、その説明は省略する。
【０１４８】
ステップＳ５７およびステップＳ５８は、それぞれ、図５のステップＳ１８およびステップＳ１９のそれぞれと同様なので、その説明は省略する。
【０１４９】
ステップＳ５９は、図５のステップＳ２２と同様なので、その説明は省略する。
【０１５０】
ステップＳ６０において、構図補正部７２は、メディア１１に画像データとして記憶されている全ての原画像１０１の構図を補正したか否かを判定する。例えば、ステップＳ６０において、構図補正部７２は、画像読み込み部７１から通知される、メディア１１に画像データとして記憶されている原画像１０１の総数と、ステップＳ５４乃至ステップＳ５９の処理によって構図を補正した原画像１０１の数とを比較することにより、メディア１１に画像データとして記憶されている全ての原画像１０１の構図を補正したか否かを判定する。
【０１５１】
ステップＳ６０において、メディア１１に画像データとして記憶されている全ての原画像１０１の構図を補正していないと判定された場合、構図を補正すべき原画像１０１がまだあるので、ステップＳ６１に進み、画像読み込み部７１は、メディア１１から構図の補正の対象となる次の原画像１０１を読み込んで、ステップＳ５４に戻り、次の原画像１０１を対象として上述した処理を繰り返す。
【０１５２】
ステップＳ６０において、メディア１１に画像データとして記憶されている全ての原画像１０１の構図を補正したと判定された場合、処理は終了する。
【０１５３】
また、ステップＳ５２において、全ての原画像１０１の構図の補正が指示されていないと判定された場合、構図を補正する必要はないので、ステップＳ５３乃至ステップＳ６１はスキップされて、処理は終了する。
【０１５４】
このように、メディア１１に画像データとして記憶されている複数の原画像１０１の構図を一括して補正することができる。すなわち、メディア１１に画像データとして記憶されている複数の原画像１０１のそれぞれの構図を補正した、より好ましい構図の切り出し後画像１５１を簡単に切り出すことができ、切り出し後画像１５１を保存することができる。
【０１５５】
これにより、メディア１１に画像データとして記憶されている原画像１０１の構図を補正した切り出し後画像１５１を、任意に、原画像１０１と同様に表示部３５に表示させることができ、使用者はこのような切り出し後画像１５１を任意に閲覧できるようになる。
【０１５６】
なお、本発明は、デジタルカメラ１に限らず、画像を撮像する機器、画像を表示する機器、または画像を保存する機器など画像を取り扱う機器に適用することができ、具体的には、携帯電話機、携帯型の画像再生装置、据え置き型の画像再生装置若しくは画像記録装置、撮像した画像などを記憶するストレージ装置、または画像を提供するサーバなどに適用できる。
【０１５７】
また、画像は、静止画像または動画像のいずれであってもよい。例えば、動画像である原画像の構図を補正する場合には、予め定めた時間間隔のフレームに上述した処理を適用して領域を決定し、決定した領域を基準として、動画像上の時間の経過に応じて領域が連続的に変化するようにすれば、より好ましい構図の動画を切り出すことができるようになる。
【０１５８】
このように、原画像から、より好ましい構図の画像を切り出すようにした場合には、より好ましい構図の画像を得ることができる。また、原画像に含まれる画像のうちの注目する画像である注目画像であって、複数の注目画像のそれぞれの重心を検出し、複数の注目画像のそれぞれの重心から、複数の注目画像の全体の重心である全体重心を計算し、原画像における領域の向かい合う縁のうちの一方の縁から全体重心までの距離と、領域の向かい合う縁のうちの他方の縁から全体重心までの距離との比率が、美感を起こさせる予め定めた値になるように領域を決定するようにした場合には、簡単に、より好ましい構図の画像を切り出すことができる。
【０１５９】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１６０】
図２３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。
【０１６１】
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
【０１６２】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１６３】
また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。
【０１６４】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
【０１６５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１６６】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１６７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１６８】
【図１】本発明の一実施の形態のデジタルカメラを示す図である。
【図２】本発明の一実施の形態のデジタルカメラを示す図である。
【図３】デジタルカメラの構成の例を示すブロック図である。
【図４】プログラムを実行する制御用CPUによって実現される機能の構成を示すブロック図である。
【図５】構図の補正の処理の例を説明するフローチャートである。
【図６】デジタルカメラの表示部および入力部を示す図である。
【図７】原画像の例を示す図である。
【図８】原画像、注目画像、全体重心、および切り出す領域の例を示す図である。
【図９】切り出す領域を説明する図である。
【図１０】切り出す領域を説明する図である。
【図１１】切り出す領域を説明する図である。
【図１２】切り出す領域を説明する図である。
【図１３】切り出し後画像の例を示す図である。
【図１４】デジタルカメラの表示部および入力部を示す図である。
【図１５】デジタルカメラの表示部および入力部を示す図である。
【図１６】原画像の例を示す図である。
【図１７】切り出し後画像の例を示す図である。
【図１８】原画像の例を示す図である。
【図１９】切り出し後画像の例を示す図である。
【図２０】構図の補正の処理の他の例を説明するフローチャートである。
【図２１】デジタルカメラの表示部および入力部を示す図である。
【図２２】デジタルカメラの表示部および入力部を示す図である。
【図２３】パーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
【０１６９】
１  デジタルカメラ，  １１  メディア，  ３１  光学系，  ３２  イメージャ，  ３３  信号処理部，  ３４  RAM，  ３５  表示部，  ３６  入力部，  ５１  カメラ信号処理エンジン，  ５２  JPEGエンジン，  ５３  注目画像検出エンジン，  ５４  画素数変換エンジン，  ５５  画像表示用エンジン，  ５６  制御用CPU，  ７１  画像読み込み部，  ７２  構図補正部，  ７３  画素数変換制御部，  ７４  表示制御部，  ７５  記憶制御部，  ９１  注目画像重心検出部，  ９２  全体重心計算部，  ９３  切り出し領域決定部，  ９４  画像切り出し生成部，  １０１  原画像，  １３１−１乃至１３１−７  注目画像，  １３２  全体重心，  １３３  領域，  １５１  切り出し後画像，  ３０１  CPU，  ３０２  ROM，  ３０３  RAM，  ３０８  記憶部，  ３１１  リムーバブルメディア
【図１】
2008061184.tif 000006
【図２】
2008061184.tif 000007
【図３】
2008061184.tif 000008
【図４】
2008061184.tif 000009
【図５】
2008061184.tif 000010
【図６】
2008061184.tif 000011
【図７】
2008061184.tif 000012
【図８】
2008061184.tif 000013
【図９】
2008061184.tif 000014
【図１０】
2008061184.tif 000015
【図１１】
2008061184.tif 000016
【図１２】
2008061184.tif 000017
【図１３】
2008061184.tif 000018
【図１４】
2008061184.tif 000019
【図１５】
2008061184.tif 000020
【図１６】
2008061184.tif 000021
【図１７】
2008061184.tif 000022
【図１８】
2008061184.tif 000023
【図１９】
2008061184.tif 000024
【図２０】
2008061184.tif 000025
【図２１】
2008061184.tif 000026
【図２２】
2008061184.tif 000027
【図２３】
2008061184.tif 000028