(57)【要約】【課題】適切にベストショット候補画像を選ぶ電子カメラを提供する。【解決手段】電子カメラ１は、撮像された画像群に含まれる複数の画像各々に対し、所定の因子に基づく評価値をそれぞれ演算する演算部１１と、演算部１１の演算結果に基づいて、画像群の中の各画像に対して序列をつける評価処理部１１と、所定の条件に基づいて、因子を変更する因子変更部１１と、を備える。【選択図】図１
2013175804.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像群に含まれる複数の画像各々に対し、所定の因子に基づく評価値をそれぞれ演算する演算部と、
前記演算部の演算結果に基づいて、前記画像群の中の各画像に対して序列をつける評価処理部と、
所定の条件に基づいて、前記因子を変更する因子変更部と、
を備えることを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記因子変更部は、前記撮像時の電子カメラに対する設定に基づいて、前記因子に対する重みを変化させることを特徴とする電子カメラ。
【請求項３】
請求項２に記載の電子カメラにおいて、
前記重み付け部はさらに、前記画像に含まれる顔に基づいて、前記因子に対する重みを変化させることを特徴とする電子カメラ。
【請求項４】
請求項２または３に記載の電子カメラにおいて、
前記撮像時の電子カメラに対する設定は、スイング撮影か否かの切替え、三脚撮影か否かの切替え、撮影シーンの切替え、フラッシュ撮影か否かの切替え、および画質設定の切替えのうち少なくとも１つを含むことを特徴とする電子カメラ。
【請求項５】
請求項１〜４のいずれか一項に記載の電子カメラにおいて、
前記評価処理部は、撮影指示の前後においてそれぞれ撮像された画像群の中の各画像に対して序列をつけることを特徴とする電子カメラ。
【請求項６】
請求項５に記載の電子カメラにおいて、
焦点検出処理に用いるエリアの変更が前記撮像時の各画像ごとに許可されることを特徴とする電子カメラ。
【請求項７】
請求項６に記載の電子カメラにおいて、
焦点検出処理の調節範囲が続けて撮像される画像間で制限されることを特徴とする電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子カメラに関する。
【背景技術】
【０００２】
複数枚の画像の中から最良の画像を自動的に選ぶ技術が知られている（特許文献１参照）。従来技術では、画像選定に用いる評価基準を、あらかじめ指定された基準画像を評価した結果に基づいて決定し、決定した評価基準を用いて画像を選ぶ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８７９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、上述したように決定した評価因子を用いてベストショット候補画像を選ぶので、必ずしもベストショット候補とはいえない画像が選ばれる場合があった。例えば、一般に「像ブレがない」に対応する評価因子を用いて評価すると適切なベストショット候補画像を選べる可能性が高いが、スイング撮影モードで撮影した画像群を「像ブレがない」に対応する評価因子を用いて評価しても、適切なベストショット候補画像を選ぶことは困難である。
【課題を解決するための手段】
【０００５】
本発明による電子カメラは、撮像された画像群に含まれる複数の画像各々に対し、所定の因子に基づく評価値をそれぞれ演算する演算部と、演算部の演算結果に基づいて、画像群の中の各画像に対して序列をつける評価処理部と、所定の条件に基づいて、因子を変更する因子変更部と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明による電子カメラでは、適切にベストショット候補画像を選ぶことができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。
【図２】プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。
【図３】メインＣＰＵが実行する画像評価処理の流れを説明するフローチャートである。
【図４】電子カメラの設定内容と評価処理項目との関係を説明する図である。
【図５】(a)は横位置の場合のフレームアウトエリアを例示する図、(b)は縦位置の場合のフレームアウトエリアを例示する図である。
【図６】AFエリアおよび中心微小領域を例示する図である。
【図７】評価対象エリアを例示する図である。
【図８】構図最適度を示す評価値の算出を説明する図である。
【図９】コンピュータ装置を例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による電子カメラ１の要部構成を説明するブロック図である。電子カメラ１は、メインＣＰＵ１１によって制御される。
【０００９】
撮影レンズ２１は、撮像素子２２の撮像面上に被写体像を結像させる。撮像素子２２はＣＣＤイメージセンサまたはＣＭＯＳイメージセンサによって構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路２３へ出力する。撮像回路２３は、撮像素子２２から出力される光電変換信号に対するアナログ処理（ゲインコントロールなど）を行う他、内蔵するＡ／Ｄ変換回路でアナログ撮像信号をディジタルデータに変換する。
【００１０】
メインＣＰＵ１１は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。画像処理回路１２は、例えばＡＳＩＣとして構成され、撮像回路２３から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、例えば、輪郭強調や色温度調整（ホワイトバランス調整）処理、画像信号に対するフォーマット変換処理が含まれる。
【００１１】
画像圧縮回路１３は、画像処理回路１２による処理後の画像信号に対して、例えばJPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路１４は、撮像画像を液晶モニタ１９に表示させるための表示用信号を生成する。
【００１２】
液晶モニタ１９は液晶パネルによって構成され、表示画像作成回路１４から入力される表示用信号に基づいて画像や操作メニュー画面などを表示する。映像出力回路２０は、表示画像作成回路１４から入力される表示用信号に基づいて、画像や操作メニュー画面などを外部の表示装置に表示させるための映像信号を生成して出力する。
【００１３】
バッファメモリ１５は、画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、記録媒体３０へ記録する前の画像ファイルを記憶したり、記録媒体３０から読み出した画像ファイルを記憶したりするために使用される。本実施形態では、撮影指示前（レリーズボタンの全押し操作前）に撮像素子２２によって所定のフレームレートで取得するプリキャプチャー画像を一時的に記憶する場合にも使用される。プリキャプチャー画像については後述する。
【００１４】
フラッシュメモリ１６は、メインＣＰＵ１１が実行するプログラムや、メインＣＰＵ１１が行う処理に必要なデータなどが格納される。フラッシュメモリ１６が格納するプログラムやデータの内容は、メインＣＰＵ１１からの指示によって追加、変更が可能に構成されている。
【００１５】
カードインターフェース(I/F)１７はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記録媒体３０が接続される。カードインターフェース１７は、メインＣＰＵ１１からの指示により、接続された記録媒体３０に対するデータの書き込みや、記録媒体３０からのデータの読み込みを行う。記録媒体３０は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【００１６】
操作部材１８は、電子カメラ１の各種ボタンやスイッチ類を含み、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインＣＰＵ１１へ出力する。半押しスイッチ１８ａおよび全押しスイッチ１８ｂは、レリーズボタン（不図示）の押下操作に連動して、それぞれがオン信号をメインＣＰＵ１１へ出力する。半押しスイッチ１８ａからのオン信号（半押し操作信号）は、レリーズボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ１８ｂからのオン信号（全押し操作信号）は、レリーズボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。半押し操作信号は、メインＣＰＵ１１に対して撮影準備の開始を指示する。全押し操作信号は、メインＣＰＵ１１に対して記録用画像の取得開始を指示する。
【００１７】
＜撮影モード＞
電子カメラ１は、上記全押し操作信号に応じて１コマずつ撮影画像を取得して記録媒体３０へ記録する通常の撮影モードと、上記半押し操作信号を受けると高速シャッタ秒時（例えば１２５分の１秒より高速）の静止画像を１２０フレーム／毎秒（120fps）で連写撮影して複数コマの連写撮影画像を取得し、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後の所定のフレーム画像をそれぞれ記録媒体３０へ記録するプリキャプチャー撮影モードとを有する。各撮影モードは、操作部材１８からの操作信号に応じて切替え可能に構成されている。
【００１８】
＜再生モード＞
再生モードの電子カメラ１は、上記各撮影モードにおいて記録された画像を各コマごとに、あるいは所定数のコマごとに、液晶モニタ１９に再生表示する。
【００１９】
本実施形態は、連写された画像群やプリキャプチャーされた画像群などの複数フレームの画像からベストショット候補画像を選ぶ点に特徴を有するので、以下の説明はこの点を中心に行う。図２は、プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。プリキャプチャー撮影モードは、例えば、モード切替スイッチによって切替えられる。
【００２０】
＜プリキャプチャー撮影＞
図２において、時刻ｔ０に半押し操作信号が入力されると、メインＣＰＵ１１はレリーズ待機処理を開始させる。レリーズ待機処理では、例えば、１２０フレーム／毎秒(120fps)のフレームレートで被写体像を撮像して露出演算やフォーカス調節を行うとともに、取得した画像データを逐次バッファメモリ１５へ記憶する。
【００２１】
プリキャプチャー撮影のために使用するバッファメモリ１５のメモリ容量は、あらかじめ十分な容量が確保されている。メインＣＰＵ１１は、時刻ｔ０以降にバッファメモリ１５内に記憶したフレーム画像のフレーム枚数が所定枚数（例えばＡ枚）に達した場合には、古いフレーム画像から順に上書き消去する。これにより、プリキャプチャー撮影のために使用するバッファメモリ１５のメモリ容量を制限できる。
【００２２】
時刻ｔ１に全押し操作信号が入力されると、メインＣＰＵ１１はレリーズ処理を開始させる。レリーズ処理では、時刻ｔ１以前に撮像したＡ枚のフレーム画像と、時刻ｔ１以降に撮像されるＢ枚のフレーム画像とを合わせた（Ａ＋Ｂ）枚のフレーム画像を記録媒体３０への記録候補画像とする。
【００２３】
メインＣＰＵ１１は、（Ａ＋Ｂ）枚のフレーム画像のうち、あらかじめメニュー操作によって指示されているＣ枚のフレーム画像（Ｃ＜(Ａ＋Ｂ)）を選び、該Ｃ枚のフレーム画像を関連づけて、記録媒体３０へそれぞれ記録させる。図２における黒い帯は、記録候補画像である（Ａ＋Ｂ）枚のフレーム画像が取得される区間を表す。斜線の帯は、バッファメモリ１５に一旦は記憶されたものの、上書き消去されたフレーム画像が取得された区間を表す。
【００２４】
本実施形態では、記録方式として、（Ａ＋Ｂ）枚のフレーム画像のうちＣ枚のフレーム画像を記録媒体３０へ記録する第１記録方式と、（Ａ＋Ｂ）枚のフレーム画像を全て記録媒体３０へ記録する第２記録方式とが操作部材１８からの操作信号に応じて切替え可能に構成されている。本実施形態では、第１記録方式が選択されているものとして説明する。
【００２５】
メインＣＰＵ１１は、以下のように（Ａ＋Ｂ）枚のフレーム画像からＣ枚のフレーム画像を選ぶ。図３は、メインＣＰＵ１１が実行する画像評価処理の流れを説明するフローチャートである。メインＣＰＵ１１は、（Ａ＋Ｂ）枚のフレーム画像がバッファメモリ１５に入力されると、図３による処理を起動する。
【００２６】
図３のステップＳ１０において、メインＣＰＵ１１は、ユーザー操作によって設定されている内容をフラッシュメモリ１６に記憶させてステップＳ２０へ進む。記憶させる内容は、例えば、スイング撮影モードか否か、設定されている撮影シーンモード、設定されているピクチャーコントロール、露出に関するユーザー操作内容、フラッシュ撮影か否か、および三脚撮影か否かを含む。図４におけるcase番号を記憶させてもよい。
【００２７】
撮影シーンモードは、例えば、ポートレート撮影に適したモード、夜景と人物の撮影に適したモード、夜景のみの撮影に適したモード、風景撮影に適したモードがある。ピクチャーコントロールは、画像処理の際に用いる画質調整アルゴリズムであり、例えば、「スタンダード」、「ポートレート」、「ビビッド」に適した画質調整アルゴリズムの使い分けが可能に構成されている。例えば、「スタンダード」は標準的な画像に仕上げ、「ポートレート」は人物の肌色を重視した画像に仕上げ、「ビビッド」は「スタンダード」に比べて色鮮やかな画像に仕上げるように画質を調整する。
【００２８】
スイング撮影モードは、パンニング撮影のように、電子カメラ１を固定しない撮影に適したモードである。三脚撮影モードは、電子カメラ１を固定することを前提としたモードである。スイング撮影モードのON/OFF設定、撮影シーンモードの切替え設定、ピクチャーコントロールの切替え設定、フラッシュ撮影モードのON/OFF設定、三脚撮影のあり/なし切替えは、例えばメニュー操作によって行われる。露出に関するユーザー操作は、シャッター速度を速める操作(UP)、遅くする操作(Down)、絞りを開く操作、絞る操作、ISO感度を高める操作(UP)、下げる操作(Down)である。
【００２９】
図３のステップＳ２０において、メインＣＰＵ１１は、人物が撮影されている画像群か否かを判別する。メインＣＰＵ１１は、（Ａ＋Ｂ）＝Ｎ枚のフレーム画像について順番に「顔」検出処理を施す。「顔」検出処理は公知であるため説明を省略する。メインＣＰＵ１１は、フレーム画像に「顔」が含まれると判定した場合は人物が撮影されている画像群と判定し、フレーム画像に「顔」が含まれていないと判定した場合は人物が撮影されていない画像群と判定してステップＳ３０へ進む。
【００３０】
ステップＳ３０において、メインＣＰＵ１１は、ステップＳ２０の判別結果に基づいて評価処理項目を決定し、ステップＳ４０へ進む。ここで、ステップＳ２０においてフレーム画像の中で「顔」が検出されている場合は２人以下の場合と３人以上の場合とで処理内容を異ならせる。
【００３１】
図４は、ユーザー操作によって設定されている内容と、ステップＳ２０の人物判別結果と、対応する評価処理項目との関係を説明するテーブルである。本実施形態では、テーブル中に数値が記載されている評価処理項目についての評価値を算出し、符号が「−」と記載の評価処理項目については評価値の算出を省略する。テーブル中「１」と記載の評価処理項目については、後述する評価因子の重みＷpを、例えば１とする。また、テーブル中「２」と記載の評価処理項目については評価因子の重みをＷpより上げて、テーブル中「０．５」と記載の評価処理項目については評価因子の重みをＷpより下げる。なお、符号が「−」と記載の評価処理項目については、重みＷpを「０」にするのと等価である。重みＷp(p=１〜１０)については後述する。
【００３２】
本実施形態では、評価処理項目４１〜評価処理項目４６が、Ｎ枚のフレーム画像からＣ枚のフレーム画像を残すためにＸ枚を排除するための評価値算出に用いる評価因子であるため、不要因子と呼ぶ。Ｘは、Ｎ／２より大きくすると、後述の序列付与処理が軽くなって好適である。また、評価処理項目４５〜評価処理項目５０は、Ｃ枚のフレーム画像に優劣を示す序列を付与するための評価値算出に用いる評価因子であるため、必要因子（または最適評価因子）と呼ぶ。評価処理項目４５および４６は、不要因子および必要因子間で重複する。各評価因子については後述する。
【００３３】
ステップＳ４０において、メインＣＰＵ１１は、ステップＳ３０において決定した評価処理項目に対応する評価因子を用いて評価値算出を行う。メインＣＰＵ１１はさらに、評価値に対してユーザー操作による設定内容に基づく重みを適用してステップＳ５０へ進む。重みの適用については、評価因子とともに後述する。ステップＳ５０において、メインＣＰＵ１１は、評価値の低い（不要度が高い）方から順番にＸ枚のフレーム画像（不要画像）を選出するとともに、Ｎ枚のフレーム画像から除外してＣ枚のフレーム画像を残してステップＳ６０へ進む。
【００３４】
ステップＳ６０において、メインＣＰＵ１１は、ステップＳ３０において決定した評価処理項目に対応する評価因子を用いて評価値算出を行う。メインＣＰＵ１１はさらに、評価値に対してユーザー操作による設定内容に基づく重みを適用してステップＳ７０へ進む。ステップＳ７０において、メインＣＰＵ１１は、Ｃ枚のフレーム画像のフレーム画像について、評価値の高い方から順番に序列をつけて図３による処理を終了する。
【００３５】
上述した評価因子と重みの適用について、以下に詳細に説明する。
＜複数人物間接近度検出＞
評価処理項目４１では、評価対象画像における複数人物間の接近度を示す評価値H1(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦ｎ≦Ｎ）について検出された「顔」領域の面積Sが、あらかじめ設定されている所定面積を超える場合において、以下の値を取得する。面積は、例えば「顔」領域を構成する画素数で表す。
【００３６】
メインＣＰＵ１１は、フレーム画像nにおいて検出した「顔」であって、該「顔」の面積Sが所定面積を超えるものを計数し、計数した「顔」の数（すなわち人数）をKS(n)とする。そして、フレーム画像nにおいて検出した「顔」領域の面積をSk(n)とする。また、フレーム画像nにおいて「顔」領域の中心に相当する座標を（x_k(n),y_k(n)）とする。さらに、当該「顔」領域の水平方向の辺をLx_k(n)とし、当該「顔」領域の垂直方向の辺をLy_k(n）と表す。ここで、nはＮ枚の連写画像を構成するフレーム画像を示すフレーム番号であり、kはフレーム画像nにおいて上記所定面積を超えた「顔」領域を示す「顔」番号である。
【００３７】
メインＣＰＵ１１は、KS(n)≦１の場合は、人物間の接近について考慮しないので、複数人物間接近度を示す評価値H1(n)＝１とする。一方、KS(n)＞１の場合は、以下のループ処理をm回繰り返す。ただし、m＝Combination(KS(n),2)である。
例えば、KS(n)＝２の場合を例に説明すると、
R1x＝|x_1(n)−x_2(n)|により、「顔」領域の中心間の水平方向の長さxを算出し、
R1y＝|y_1(n)＋y_2(n)|により、「顔」領域の中心間の垂直方向の長さyを算出し、
R2x＝W1(Lx_1(n)＋Lx_2(n))/2により、「顔」領域の水平方向の辺の1/2を加算し、加算結果に重みＷ１を乗算する。Ｗ１は、評価処理項目４１に対する重みであり、図４に例示したテーブル値にしたがう。例えば、シーンモードが「ポートレート」へ設定された場合であって、人物が３人検出されている場合（図４においてcase2）のＷ１（Ｗp(p=１)）は、図４より「２」である。
R2y＝W1(Ly_1(n)＋Ly_2(n))/2により、「顔」領域の垂直方向の辺の1/2を加算し、加算結果に上記重みＷ１を乗算する。
そして、R1x＜R2xまたはR1y＜R2yが成立する場合にhm(n)＝１とし、上記以外の場合には  hm(n)＝０とする。さらに、「顔」の数（すなわち人数）分の全組み合わせをm回繰り返す。
【００３８】
以上により、上記hm(n)の総和についてΣhm(n)＞０が成立する場合にフレーム画像nでの接近評価値H1(n)＝０とする。一方、上記hm(n)の総和についてΣhm(n)＝０が成立する場合には接近評価値H1(n)＝１とする。
【００３９】
＜顔部不要物検出＞
評価処理項目４２では、評価対象画像における「顔」検出の信頼度を示す評価値H2(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」領域の面積Sが最大となる「顔」領域について、当該「顔」検出処理時に得られている信頼度情報（最小値０〜最大値を１とする）を取得する。信頼度情報は、「顔」らしさや「顔」曲率の指数を用いてもよい。ここで、「顔」らしさの場合は、顔検出されている「顔」領域の画像から種々の特徴量（色情報、顔の各パーツ（目、鼻、口など）の配置関係の情報など）を抽出し、それらを総合的に判断して「顔」検出の信頼度としての「顔らしさ」を測る。「顔」曲率の場合は、エッジ検出等の手法で抽出された顔の輪郭の曲率が不自然に変化しているか否かを調べることで、「顔」検出の信頼度を算出する。例えば、抽出したエッジ（輪郭）に対して曲線（または楕円）を当てはめ、急激なエッジの変化（輪郭が滑らかにつながらない）があれば、髪の毛や手などが顔を覆っている等の事情が生じていると推定し、信頼度（評価値H2(n)）を下げる処理をする。メインＣＰＵ１１は、フレーム画像nでの顔不要部評価値H2(n)＝Ｗ２×信頼度情報とする。Ｗ２は、評価処理項目４２に対する重みであり、図４に例示したテーブル値にしたがう。例えば、ピクチャーコントロールが「ポートレート」へ設定された場合であって、人物が１人検出されている場合（図４においてcase8）のＷ２（Ｗp(p=２)）は、図４より「２」である。
【００４０】
＜目瞑り検出＞
評価処理項目４３では、評価対象画像における目瞑りの有無を示す評価値H3(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」領域の面積Sが最大となる「顔」領域について、目瞑り検出を行う。目瞑り検出処理は公知であるため説明を省略する。メインＣＰＵ１１は、目瞑り検出結果を用いて、目瞑りありの場合にフレーム画像nでの目瞑り評価値H3(n)＝０とする。一方、目瞑りなしの場合には、目瞑り評価値H3(n)＝Ｗ３×１とする。Ｗ３は、評価処理項目４３に対する重みであり、図４に例示したテーブル値にしたがう。例えば、スイング撮影設定が「ＯＮ」へ設定された場合であって、人物が検出されている場合（図４においてcase11）のＷ３（Ｗp(p=３)）は、図４より「１」である。
【００４１】
＜フレームアウト検出＞
評価処理項目４４では、評価対象画像において人物が判別されている場合は、当該人物の「顔」領域がフレームから外れているか否かを示す評価値H4(n)を算出する。また、評価対象画像において人物が判別されていない場合は、人物以外の主要被写体と推定される「主要被写体」の領域がフレームから外れているか否かを示す評価値H4(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」領域（「主要被写体」領域）であって、該「顔」（「主要被写体」）の面積Sが所定面積を超えるもののうち、画面中心から最も遠い「顔」（「主要被写体」）領域についての中心座標(FO_x,FO_y)を取得する。そして、図５(a)および図５(b)に例示するフレームアウトエリアを設定し、取得した(FO_x,FO_y)がフレームアウトエリアに含まれるか否かに応じてフレームアウト評価値H4(n)を以下のように定める。
【００４２】
図５(a)は、フレーム画像nが横位置の場合のフレームアウトエリアを例示する図である。メインＣＰＵ１１は、上記中心座標(FO_x,FO_y)が斜線部５１に含まれる場合はフレームアウトに該当し、フレーム画像nでのフレームアウト評価値H4(n)＝０とする。一方、上記中心(FO_x,FO_y)が斜線部５１に含まれない場合はフレームアウトなしに該当し、フレームアウト評価値H4(n)＝Ｗ４×１とする。Ｗ４は、評価処理項目４４に対する重みであり、図４に例示したテーブル値にしたがう。例えば、シーンモードが「夜景」へ設定された場合（図４においてcase5）のＷ４（Ｗp(p=４)）は、図４より「０．５」である。
【００４３】
図５(b)は、フレーム画像nが縦位置の場合のフレームアウトエリアを例示する図である。メインＣＰＵ１１は、横位置の場合と同様に、上記中心座標(FO_x,FO_y)が斜線部５２に含まれるか否かに応じてフレームアウト評価値H4(n)を定める。フレーム画像における斜線部５１および５２の範囲は、例えば、水平辺の長さに対して左右１／８ずつ、垂直辺の長さに対して下から１／８とする。
【００４４】
なお、画面中心から最も遠い「顔」（「主要被写体」）領域についての中心座標(FO_x,FO_y)を用いてフレームアウトか否かを判定する代わりに、ピント合わせに用いられたフォーカスポイント（フォーカスエリア(AFエリア)の中心）のうち画面中心から最も遠いものに対応する座標(FP_x,FP_y)を用いて、当該座標(FP_x,FP_y)が図５(a),図５(b)の斜線部５１，５２に含まれるか否かに応じてフレームアウトか否かを判定するように構成してもよい。
【００４５】
＜AF・顔エリアブレ検出/鮮鋭度＞
評価処理項目４５では、評価対象画像におけるブレの程度を示す評価値H50(n)、および評価対象画像における鮮鋭度を示す評価値H51(n)をそれぞれ算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」領域の面積Sが最大となる「顔」領域（人物が判別されている場合）について、HPF（ハイパスフィルタ）の出力値の平均値HPF_av(n)を取得する。平均値HPF_av(n)は、「顔」領域に含まれる画素データから高周波数成分を抽出して平均した値であるので、コントラストが高いか低いかを判定するのに好適である。
【００４６】
メインＣＰＵ１１は、HPF_av(n)＜HPF_kが成立する場合にフレーム画像nでのブレ評価値H50(n)＝Ｗ５０×HPF_av(n)/ HPF_kとする。一方、HPF_av(n)≧HPF_kが成立する場合にはブレ評価値H50(n)＝１とする。ただし、Ｗ５０は、ブレ評価値に対する重みであり、図４に例示したテーブル値にしたがう。例えば、露出に関する操作であって絞りが「開放」側へ設定された場合（図４においてcase18または19）のＷ５０（Ｗp(p=５０)）は、図４より「２」である。HPF_kは所定値であり、例えば、あらかじめ合焦した際に算出したHPF出力値の平均値HPF_av(n)を用いる。
【００４７】
また、メインＣＰＵ１１は、フレーム画像nでの鮮鋭度評価値H51(n)＝Ｗ５１×HPF_av(n)/ HPF_kとする。ただし、ただし、Ｗ５１は、鮮鋭度評価値に対する重みであり、図４に例示したテーブル値にしたがう。例えば、露出に関する操作であって絞りが「開放」側へ設定された場合（図４においてcase18または19）のＷ５１（Ｗp(p=５１)）は、図４より「２」である。HPF_kは上記所定値である。
【００４８】
なお、上述した説明では、面積Sが最大の「顔」領域に含まれる画素データついてのHPF（ハイパスフィルタ）の出力平均値HPF_av(n)を取得することにより、「顔」についてのブレ評価値H50(n)、および「顔」についての鮮鋭度評価値H51(n)を得るようにした。この代わりに、ピント合わせに用いられたフォーカスエリア(AFエリア)に含まれる画素データついてのHPF（ハイパスフィルタ）の出力値平均値HPF_av(n)を取得するように構成してもよい（人物が判別されていない場合はこちらの手法を用いる）。AFエリアに含まれる画素データついてHPF（ハイパスフィルタ）の出力平均値を取得することにより、ピント合わせに用いた被写体についてのブレ評価値H50(n)、およびピント合わせに用いた被写体についての鮮鋭度評価値H51(n)が得られる。
【００４９】
＜全体輝度ヒストグラム＞
評価処理項目４６では、評価対象画像における白飛びや黒潰れの頻度を示す評価値H6(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について、画像全体（画像を構成する全画素データを用いて）の輝度ヒストグラムを算出する。最大階調値（８ビットデータの場合は255）の頻度をHLとし、最小階調値（0）の頻度をLLとする。メインＣＰＵ１１は、白飛び・潰れの規格化頻度割合である評価値H6(n)＝Ｗ６×（HL+LL）/（全画素数）とする。Ｗ６は、評価処理項目４６に対する重みであり、図４に例示したテーブル値にしたがう。例えば、露出に関する操作であってISO感度が「ＵＰ」側へ設定された場合（図４においてcase22または23）のＷ６（Ｗp(p=６)）は、図４より「２」である。
【００５０】
なお、最大階調値の頻度を所定の第１判定閾値以上となるデータの頻度とし、最小階調値の頻度を所定の第２判定閾値以下となるデータの頻度としてもよい。
【００５１】
＜顔面積検出＞
評価処理項目４７では、評価対象画像における「顔」の最大面積を示す評価値H7(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」領域の面積Sが最大となる「顔」領域についての面積S(n)を算出する。上述したように、面積は「顔」領域を構成する画素数で表す。メインＣＰＵ１１は、顔面積評価値H7(n)＝Ｗ７×S(n)とする。Ｗ７は、評価処理項目４７に対する重みであり、図４に例示したテーブル値にしたがう。例えば、スイング撮影設定が「ＯＮ」された場合であって、人物が検出されている場合（図４においてcase11）のＷ７（Ｗp(p=７)）は、図４より「２」である。
【００５２】
＜笑顔度検出＞
評価処理項目４８では、評価対象画像における「顔」の笑顔度合いを示す評価値H8(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」についての笑顔レベルを取得する。笑顔レベルの判定は上記「顔」検出時に行われる。笑顔レベルは、例えば、レベル３（大笑い）と、レベル２（中笑い）と、レベル１（微笑み）との３段階に分けられる。メインＣＰＵ１１は、笑顔度評価値H8(n)＝Ｗ８×笑顔レベルとする。Ｗ８は、評価処理項目４８に対する重みであり、図４に例示したテーブル値にしたがう。例えば、スイング撮影設定が「ＯＮ」された場合であって、人物が検出されている場合（図４においてcase11）のＷ８（Ｗp(p=８)）は、図４より「１」である。
【００５３】
＜被写体の大きさ検出＞
評価処理項目４９では、評価対象画像における被写体の大きさを示す評価値H9(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について、ピント合わせに用いられたフォーカスエリア(AFエリア)より、中心微小領域（例えば3×3画素）の平均輝度Y0、および平均色（Cr0,Cb0）を求める。図６は、AFエリア６１および中心微小領域６２を例示する図である。中心微小領域６２は、以下に説明する領域解析のための基準エリアである。
【００５４】
メインＣＰＵ１１は、各フレーム画像nにおける平均輝度Y0および平均色（Cr0,Cb0）を用いて、以下の手順で被写体の大きさ評価値H9(n)を算出する。
【００５５】
(i)中心微小領域に、１のフラグを立てる。
(ii)周囲の画素値が、所定の許容値rn(ただし、n=1:Y,2:Cr,3:Cb)以内であればFlagを立てる。具体的には、
(|Y(x,y)−Y0|＞r1)が成立する場合はFlag1＝0をセットし、成立しない場合はFlag1＝1をセットする。
(|Cr(x,y)−Cr0|＞r2)が成立する場合はFlag2＝0をセットし、成立しない場合はFlag2＝1をセットする。
(|Cb(x,y)−Cb0|＞r3)が成立する場合はFlag3＝0をセットし、成立しない場合はFlag3＝1をセットする。
上記Flag1〜Flag3について、(Flag1*Flag2*Flag3＝1)が成立する場合はFlag＝1をセットし、成立しない場合はFlag＝0をセットする。
【００５６】
(iii)評価対象エリアを基準エリアである微小領域６２を囲む辺からスタートし、その周囲辺を段階的に増加させ（第１評価エリア７１→第２評価エリア７２→第３評価エリア７３…）、Flagがすべて０となった時点で処理を終了する。図７は、増加させる評価対象エリア７１〜７３を例示する図である。
(iv)Flagが１となっている面積Dを算出する。メインＣＰＵ１１は、第n画像での被写体の大きさ評価値H9(n)＝Ｗ９×Dとする。Ｗ９は、評価処理項目４９に対する重みであり、図４に例示したテーブル値にしたがう。例えば、シーンモードが「風景」へ設定された場合（図４においてcase6）のＷ９（Ｗp(p=９)）は、図４より「０．５」である。
【００５７】
＜構図最適度検出＞
評価処理項目５０では、評価対象画像における構図の最適度を示す評価値H10(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について、ピント合わせに用いられたフォーカスエリア(AFエリア)、または、検出されている「顔」領域についての中心座標(Qx,Qy)を取得する。
【００５８】
メインＣＰＵ１１はさらに、図８に例示するように、画面内に５点の構図評価座標点P1〜P5をそれぞれ設け、その５点と上記中心座標(Qx,Qy)との距離KS(m)（ただし、m=1,2,…5）を次式（１）によりそれぞれ算出する。
【数１】
2013175804.tif 000003
【００５９】
メインＣＰＵ１１は、５つの距離KS(m)のうち、最小値Min(KS(m))×Ｗ１０を第n画像での構図評価値H10(n)とする。Ｗ１０は、評価処理項目５０に対する重みであり、図４に例示したテーブル値にしたがう。例えば、三脚撮影モードが「あり」へ設定された場合（図４においてcase29または30）のＷ１０（Ｗp(p=１０)）は、図４より「０．５」である。
【００６０】
ここで、上述したステップＳ５０におけるＸ枚の除外処理（すなわち、Ｃ枚の最適候補画像の選出処理）の詳細を説明する。メインＣＰＵ１１は、以下のように不用画像評価値RMVを算出し、最適候補画像を選出する。ただし、arn,brn,crnは、それぞれ所定係数である。
RMV(n)=ar1*H1(n)+ar2*H2(n)+ar3*H3(n)+ar4*H4(n)+ar5*H50(n)+ar6*H6(n)
【００６１】
不要に関する評価値RMVは、０に近づくにつれて不用度が高い。メインＣＰＵ１１は、入力された全画像（Ｎ枚）に対してRMV(n)を求め、不要度の高い順にＸ枚をカウントし、Ｎ枚からＸ枚を除外した残りＣが所定画像数（例えば、５〜１０枚のうちいずれかの値）となるようにＸを可変させる。上記Ｃは、最適候補画像数である。
【００６２】
上述したステップＳ７０における序列付与処理（すなわちランキング設定処理）の詳細を説明する。メインＣＰＵ１１は、Ｃ枚の最適候補画像について、以下のように最適画像評価値OPTを算出し、ランキング表示または代表（最適）画像を選出する。ただし、aon,bon,conは、それぞれ所定係数である。
OPT(n)=ao5*H51(n)+ao6*H6(n)+ao7*H7(n)+ao8*H8(n)+bo9*H9(n)+ao10*H10(n)
【００６３】
メインＣＰＵ１１は、選出されたＣ枚（本例では５〜１０枚のうちいずれかの値）の画像に対してOPT(n)を求め、この値が高い順にランキングを付けるとともに、この値が最も高い画像を最適候補画像を代表する（最適）画像とする。
【００６４】
また、ユーザー操作による複数（Ｍ個）の設定を組合せる場合の重みＷの取り扱いは、テーブル中の数値にそれぞれ「−１」を加え、これらを足し合わせた値を組合せ数Ｍで除して１を加えるものとする。例えば、評価処理項目４６において、シーンモードが「風景」へ設定され、かつピクチャーコントロールが「ビビッド」へ設定された場合（図４においてcase6とcase10の組合わせ）は、図４より、２つのＷ６＝１が存在する。これをＷ６ａ＝１、Ｗ６ｂ＝１と表す。この場合のメインＣＰＵ１１は、｛(Ｗ６ａ−１)＋(Ｗ６ｂ−１)｝/２＋１＝１をＷ６として重みを適用する。
【００６５】
他の例を説明すると、例えば、評価処理項目４５において、シーンモードが「風景」へ設定され、ピクチャーコントロールが「ビビッド」へ設定され、さらに露出に関する操作であって絞りが「絞る」側へ設定された場合（図４においてcase6とcase10とcase21の組合わせ）は、図４より、２つのＷ５＝１と、１つのＷ５＝２が存在する。これをＷ５ａ＝１、Ｗ５ｂ＝１、Ｗ５ｃ＝２と表す。この場合のメインＣＰＵ１１は、｛(Ｗ５ａ−１)＋(Ｗ５ｂ−１)＋(Ｗ５ｃ−１)｝/３＋１＝１．３３をＷ５として重みを適用する。
【００６６】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１は、撮像された画像群に含まれる複数の画像各々に対し、所定の因子に基づく評価値をそれぞれ演算するメインＣＰＵ１１と、メインＣＰＵ１１の演算結果に基づいて、画像群の中の各画像に対して序列をつける評価処理メインＣＰＵ１１と、所定の条件に基づいて、因子を変更するメインＣＰＵ１１と、を備えるようにしたので、画像群から適切にベストショット候補画像を選ぶことができる。
【００６７】
（２）上記電子カメラ１において、メインＣＰＵ１１は、撮像時の電子カメラ１に対する設定に基づいて、因子に対する重みを変化させるようにしたので、例えば、スイング撮影モードか否かで「像ブレ」に対応する評価因子の重みを変えて、電子カメラ１に設定されるモードに応じたベストショット候補画像を選ぶことができる。
【００６８】
（３）上記電子カメラ１において、メインＣＰＵ１１はさらに、画像に含まれる顔に基づいて、因子に対する重みを変化させるようにしたので、例えば、画像に含まれる人物の数によって評価因子の重みを変えて、人物の数に応じたベストショット候補画像を選ぶことができる。
【００６９】
（４）上記電子カメラ１において、撮像時の電子カメラ１に対する設定は、スイング撮影か否かの切替え、三脚撮影か否かの切替え、撮影シーンの切替え、フラッシュ撮影か否かの切替え、および画質設定の切替えのうち少なくとも１つを含むので、電子カメラ１の設定状態に応じたベストショット候補画像を選ぶことができる。
【００７０】
（５）上記電子カメラ１において、メインＣＰＵ１１は、撮影指示の前後においてそれぞれ撮像された画像群の中の各画像に対して序列をつけるので、ユーザーがレリーズボタンを全押しした前後に取得された画像群から適切にベストショット候補画像を選ぶことができる。
【００７１】
（変形例１）
上述したステップＳ４０において実行する評価処理項目の数は、不要因子を用いるものであれば、上述した４１〜４６を全て行わなくても、これらの評価処理項目中から適宜選んで行う構成にしてもよい。また、ステップＳ６０において実行する評価処理項目の数は、必要因子を用いるものであれば、上述した４５〜５０を全て行わなくても、これらの評価処理項目中から適宜選んで行う構成にしてよい。
【００７２】
（変形例２）
上記第１記録方式によって記録媒体３０に記録されているＣ枚の画像を液晶モニタ１９に再生表示する場合、メインＣＰＵ１１は、Ｃ枚のうち代表（最適）画像のみを再生表示するように指示されている場合には、代表（最適）画像のみを再生表示させる。一方、Ｃ枚の画像を全てを再生表示するように指示されている場合は、ランキング順に１枚ずつ再生表示させたり、複数の画像をランキング情報とともにリスト表示させたりする。
【００７３】
また、上記第２記録方式によって記録媒体３０に記録されている（Ａ＋Ｂ）枚の画像を液晶モニタ１９に再生表示する場合、メインＣＰＵ１１は、（Ａ＋Ｂ）枚のうち代表（最適）画像のみを再生表示するように指示されている場合には、代表（最適）画像のみを再生表示させる。一方、（Ａ＋Ｂ）枚のうちＣ枚の画像を再生表示するように指示されている場合は、ランキング順に１枚ずつ再生表示させたり、複数の画像をランキング情報とともにリスト表示させたりする。
【００７４】
（変形例３）
電子カメラ１は、上述した（Ａ＋Ｂ）枚の画像を続けて取得する際に、ピント合わせに用いるオートフォーカスエリア(AFエリア)をショットごとに異ならせるように構成してもよい。例えば、複数のAFエリアのうち１つのAFエリアだけを使ってピント合わせを行う場合において、該AFエリアから主要被写体が一時的に外れた場合でも、周囲のAFエリアを用いて引き続き主要被写体を捉えてピントを合わせを続けるようにする。メインＣＰＵ１１は、このようなAFエリア設定（例えばダイナミックAFと呼ぶ）へ、例えばスイング撮影設定が「ＯＮ」へ操作された場合に自動的に切替える。これにより、ユーザーが選んだAFエリアだけを使ってピントを合わせるAFエリア設定（シングルAFと呼ぶ）がなされていた場合でも、スイング撮影設定の「ＯＮ」に応じて自動的にダイナミックAFに切替わるから、スイング撮影時にショットごとにピント状態が大きく変化する（ばらつく）ことが抑えられる。
【００７５】
変形例３のメインＣＰＵ１１はさらに、隣接するフレーム間でフォーカシングレンズの位置が大きく変化しないように、フレーム間においてフォーカシングレンズの調節範囲を制限する。これにより、スイング撮影時のオートフォーカス処理が甘めになるものの、あるフレームの前後で大きくピント状態が変動するというばらつきを抑えることができる。
【００７６】
（変形例４）
図３による処理を行う画像評価処理プログラムを図９に示すコンピュータ装置１００に実行させることにより、画像処理装置を構成してもよい。画像評価処理プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
【００７７】
パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。画像評価処理プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００７８】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００７９】
１…電子カメラ
１１…メインＣＰＵ
１４…表示画像作成回路
１５…バッファメモリ
１８…操作部材
１９…液晶モニタ
２２…撮像素子
【図１】
2013175804.tif 000004
【図２】
2013175804.tif 000005
【図３】
2013175804.tif 000006
【図４】
2013175804.tif 000007
【図５】
2013175804.tif 000008
【図６】
2013175804.tif 000009
【図７】
2013175804.tif 000010
【図８】
2013175804.tif 000011
【図９】
2013175804.tif 000012