(57)【特許請求の範囲】
【請求項１】
連続的に撮影された画像を順次取得する画像取得手段と、
前記取得した画像から顔を検出する顔検出手段と、
前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出手段と、
前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する抽出手段と、
前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを、最良画像候補として抽出する最良画像候補抽出手段と、
前記抽出された最良画像候補の画像群から最良画像を選択する最良画像選択手段と、
前記選択された最良画像を記録媒体に記録する記録手段と、
を備え、
前記表情変化量算出手段は、各顔部品に対応する複数の特徴点を抽出する特徴点抽出手段と、前記抽出した特徴点の座標位置を正規化する正規化手段と、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出する算出手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記最良画像選択手段は、前記最良画像候補の顔と平常顔を表す表情テンプレートとを比較して、前記最良画像候補の顔と前記表情テンプレートにより表される平常顔との特徴量の差分に基づいて各最良画像候補に対して笑顔らしさのスコアを算出する算出手段と、前記算出手段によって算出されたスコアに基づいて前記最良画像候補の画像群から最良画像を選択する選択手段と、を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量は、特徴点の位置、特徴点間の距離、または皺の有り/無しを表すことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記表情テンプレートを作成するテンプレート作成手段であって、前記取得したフレーム画像から抽出された顔の表情変化量が閾値以下であるか否かを判別するとともに、表情変化量が閾値を越えているフレーム画像の枚数が所定の枚数以上であるか否かを判別し、前記表情変化量が閾値を超えているフレーム画像の枚数が前記所定の枚数以上である場合、前記表情変化量が閾値を超えている複数枚のフレーム画像の顔部品の前記特徴量の平均値を算出し、この平均値を示す前記表情テンプレートを作成するテンプレート作成手段を備えたことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記最良画像選択手段は、前記最良画像候補の顔と所定の表情を表す表情テンプレートとを比較し、その比較結果に基づいて各最良画像候補に対してスコアを付ける第１の評価手段と、前記最良画像候補の顔の向きを検出し、その検出した顔の向きに基づいて各最良画像候補に対してスコアを付ける第２の評価手段と、前記最良画像候補の人物の視線方向を検出し、その検出した視線方向に基づいて各最良画像候補に対してスコアを付ける第３の評価手段のうちの少なくとも１つの評価手段と、前記少なくとも１つの評価手段によって評価されたスコアに基づいて前記最良画像候補の中から最良画像を選択する選択手段と、を有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記選択手段は、前記スコアが最も高い画像を最良画像として選択し、又は前記スコアが所定の規定値以上の最良画像候補の中で前記表情変化量算出手段によって算出された表情変化量が最大の画像を最良画像として選択することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記顔検出手段によって複数の顔が検出された場合に、該複数の顔の輝度、位置、大きさ、及び顔の確からしさのうちの１つ以上の条件から代表顔を選択する代表顔選択手段を更に備え、前記選択された代表顔を、前記対象フレームの画像から検出された顔とすることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
被写体を連続的に撮像可能な撮像手段と、
請求項１から７のいずれかに記載の画像処理装置と、を備え、
前記画像取得手段は、前記撮像手段によって連続的に撮影された画像を順次取得することを特徴とする撮像装置。
【請求項９】
撮影指示手段と、
前記撮影指示手段による１回の撮影指示により前記記録媒体に記録される画像の記録枚数を設定する記録枚数設定手段と、を更に備え、
前記撮影指示手段により撮影が指示されると、前記設定された記録枚数に達するまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
撮影終了指示手段を更に備え、
前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記設定された記録枚数に達する前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
撮影指示手段を更に備え、
前記撮影指示手段により撮影が指示されると、前記記録媒体の残容量がなくなるまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴とする請求項８に記載の撮像装置。
【請求項１２】
撮影終了指示手段を更に備え、
前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記記録媒体の残容量がなくなる前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
音声発生手段を更に備え、
前記記録媒体に画像が記録される毎に前記音声発生手段から記録タイミングを知らせる音を発生することを特徴とする請求項８から１２のいずれかに記載の撮像装置。
【請求項１４】
前記撮像手段によって連続的に撮影された画像を表示する画像表示手段と、
前記記録媒体に記録された最新の１乃至複数の画像を、前記画像表示手段の全表示画面の面積よりも小さい面積の縮小画像として前記画像表示手段に表示させる表示制御手段と、を更に備えたこと特徴とする請求項８から１３のいずれかに記載の撮像装置。
【請求項１５】
前記記録媒体に記録可能な最大記録予定枚数と、前記記録媒体に画像が記録される毎に更新される現在の記録枚数とを表示する表示手段を更に備えたことを特徴とする請求項８から１４のいずれかに記載の撮像装置。
【請求項１６】
前記記録媒体に画像が記録される毎に更新される現在の記録枚数を表示するとともに、少なくとも現在の記録枚数が前記記録媒体に記録可能な最大記録予定枚数に近づくと、前記現在の記録枚数の表示形態を変化させる表示手段を更に備えたことを特徴とする請求項８から１５のいずれかに記載の撮像装置。
【請求項１７】
連続的に撮影された画像を順次取得するステップと、
前記取得した画像から顔を検出するステップと、
前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出ステップと、
前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出するステップと、
前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを、最良画像候補として抽出するステップと、
前記抽出された最良画像候補の画像群から最良画像を選択する最良画像選択ステップと、
前記選択された最良画像を記録媒体に記録するステップと、
を含み、
前記表情変化量算出ステップにて、各顔部品に対応する複数の特徴点を抽出し、前記抽出した特徴点の座標位置を正規化し、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出することを特徴とする画像処理方法。
【請求項１８】
前記最良画像選択ステップは、前記最良画像候補の顔と平常顔を表す表情テンプレートとを比較して、前記最良画像候補の顔と前記表情テンプレートにより表される平常顔との特徴量の差分に基づいて各最良画像候補に対して笑顔らしさのスコアを算出し、前記算出されたスコアに基づいて前記最良画像候補の画像群から最良画像を選択することを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
前記特徴量は、特徴点の位置、特徴点間の距離、または皺の有り/無しを表すことを特徴とする請求項１８に記載の画像処理方法。
【請求項２０】
前記表情テンプレートを作成するテンプレート作成ステップであって、前記取得したフレーム画像から抽出された顔の表情変化量が閾値以下であるか否かを判別するとともに、表情変化量が閾値を越えているフレーム画像の枚数が所定の枚数以上であるか否かを判別し、前記表情変化量が閾値を超えているフレーム画像の枚数が前記所定の枚数以上である場合、前記表情変化量が閾値を超えている複数枚のフレーム画像の顔部品の前記特徴量の平均値を算出し、この平均値を示す前記表情テンプレートを作成するテンプレート作成ステップを備えたことを特徴とする請求項１８または１９に記載の画像処理方法。
【請求項２１】
連続的に撮影された画像を順次取得する機能と、
前記取得した画像から顔を検出する機能と、
前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出機能と、
前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する機能と、
前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを、最良画像候補として抽出する機能と、
前記抽出された最良画像候補の画像群から最良画像を選択する最良画像選択機能と、
前記選択された最良画像を記録媒体に記録する機能と、
をコンピュータに実現させる画像処理プログラムであって、
前記表情変化量算出機能は、各顔部品に対応する複数の特徴点を抽出し、前記抽出した特徴点の座標位置を正規化し、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出することを特徴とする画像処理プログラム。
【請求項２２】
前記最良画像選択機能は、前記最良画像候補の顔と平常顔を表す表情テンプレートとを比較して、前記最良画像候補の顔と前記表情テンプレートにより表される平常顔との特徴量の差分に基づいて各最良画像候補に対して笑顔らしさのスコアを算出し、前記算出されたスコアに基づいて前記最良画像候補の画像群から最良画像を選択することを特徴とする請求項２１に記載の画像処理プログラム。
【請求項２３】
前記特徴量は、特徴点の位置、特徴点間の距離、または皺の有り/無しを表すことを特徴とする請求項２２に記載の画像処理プログラム。
【請求項２４】
前記表情テンプレートを作成するテンプレート作成機能であって、前記取得したフレーム画像から抽出された顔の表情変化量が閾値以下であるか否かを判別するとともに、表情変化量が閾値を越えているフレーム画像の枚数が所定の枚数以上であるか否かを判別し、前記表情変化量が閾値を超えているフレーム画像の枚数が前記所定の枚数以上である場合、前記表情変化量が閾値を超えている複数枚のフレーム画像の顔部品の前記特徴量の平均値を算出し、この平均値を示す前記表情テンプレートを作成するテンプレート作成機能を備えたことを特徴とする請求項２２または２３に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに係り、特にベストショット画像を記録する技術に関する。
【背景技術】
【０００２】
従来、顔画像を含む人物の画像を連続的に入力し、この画像から人物の顔の状態、例えば人物の瞳の状態などを判定し、ユーザの希望する最適な顔画像を含む画像を自動的に選択する顔画像処理方法が提案されている（特許文献１）。これにより、例えば一定時間、カメラを被写体に向けることで目のつぶっていない最適な顔画像を含んだ画像を得ることができるようにしている。
【０００３】
また、顔を含む画像を入力画像とし、入力画像の顔における所定部位群（目、口、鼻）の夫々について特徴点を求め、所定部位群の夫々について特徴量（例えば、目の端点（特徴点）と口の端点（特徴点）との距離）を求めるとともに、各表情の顔毎に所定部位群の夫々について特徴量を求め、これらの特徴量の変化量に基づいてそれぞれ得点を計算し、この入力画像から算出した得点の分布と、各表情毎に計算した所定部位群の夫々に対する得点の分布とを比較し、その比較結果に基づいて入力画像の顔が、どの表情の顔かを判別する画像処理装置が提案されている（引用文献２）。
【０００４】
また、引用文献２に記載の撮像装置は、ユーザが所望の表情（例えば、笑顔）の画像を撮影したい場合には、顔を含む時系列の画像を撮影し、各画像から算出した得点の分布と、笑顔から計算した所定部位群の夫々に対する得点の分布とを比較し、これらの得点の分布の近い画像のみを記録することで、所望の表情の画像のみを記録することができるようにしている。
【特許文献１】特開２０００−２５９８３３号公報
【特許文献２】特開２００５−５６３８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明は、連続的に入力する画像毎に、ユーザの希望する最適な顔画像（例えば、目つぶり等のない顔画像）か否かを判定するため、画像処理の負荷が大きいという問題がある。
【０００６】
また、引用文献２に記載の発明も、時系列に連続した各画像毎に顔の表情を判別するため、画像処理の負荷が大きいという問題がある。
【０００７】
更に、引用文献１、２に記載の発明は、最適な顔画像、あるいは所望の表情の顔画像を連続して入力すると、これらの画像（例えば、同じ表情の顔を有する同一の画像）が全て記録することになり、記録媒体の記憶容量を無駄に消費するという問題がある。
【０００８】
本発明はこのような事情に鑑みてなされたもので、連続的に撮影された画像の中から記録に残したい顔が撮影された画像（ベストショット画像）のみを記録することができるとともに、ベストショット画像を効率的に抽出することができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために本発明は、連続的に撮影された画像を順次取得する画像取得手段と、前記取得した画像から顔を検出する顔検出手段と、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出手段と、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する抽出手段と、前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを、最良画像候補として抽出する最良画像候補抽出手段と、前記抽出された最良画像候補の画像群から最良画像を選択する最良画像選択手段と、前記選択された最良画像を記録媒体に記録する記録手段と、を備え、前記表情変化量算出手段は、各顔部品に対応する複数の特徴点を抽出する特徴点抽出手段と、前記抽出した特徴点の座標位置を正規化する正規化手段と、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出する算出手段と、を有することを特徴とする画像処理装置を提供する。
【００１０】
即ち、連続的に撮影された画像の中から顔の表情変化が大きな対象フレームの画像を抽出し、その抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録するようにしている。
【００１１】
尚、顔の表情変化の大きな画像ほど好ましい画像（記録に残したい顔が撮影された画像（ベストショット画像））である可能性が高い。また、２つの画像間の顔の表情の変化量を算出する画像処理は、顔の表情自体を解析する画像処理に比べて画像処理の負荷が小さい。更に、同一の表情の顔が連続して撮影されている場合に、これらの顔が撮影された画像を連続して記録することがなく、記録媒体の記憶容量を無駄に消費することがない。
【００１７】
本発明の一実施形態では、前記顔検出手段によって複数の顔が検出された場合に、該複数の顔の輝度、位置、大きさ、及び顔の確からしさのうちの１つ以上の条件から代表顔を選択する代表顔選択手段を更に備え、前記選択された代表顔を、前記対象フレームの画像から検出された顔とすることを特徴としている。即ち、複数の人物が撮影されている場合には、注目人物を１人選択する。これにより、注目人物に対するベストショット画像を記録することができ、また、記録すべき画像の選択処理が簡易になる。
【００２０】
本発明の一実施形態では、前記最良画像選択手段は、前記最良画像候補の顔と所定の表情を表す表情テンプレートとを比較し、その比較結果に基づいて各最良画像候補に対してスコアを付ける第１の評価手段と、前記最良画像候補の顔の向きを検出し、その検出した顔の向きに基づいて各最良画像候補に対してスコアを付ける第２の評価手段と、前記最良画像候補の人物の視線方向を検出し、その検出した視線方向に基づいて各最良画像候補に対してスコアを付ける第３の評価手段のうちの少なくとも１つの評価手段と、前記少なくとも１つの評価手段によって評価されたスコアに基づいて前記最良画像候補の中から最良画像を選択する選択手段と、を有することを特徴としている。
【００２１】
前記第１の評価手段は、例えば、最良画像候補の顔部品の特徴点と所定の表情を表す表情テンプレートとの一致度が高い程、高いスコアを付ける。尚、一致度は、各特徴点間の距離の平均距離や総和等を算出することで求めることができる。また、表情テンプレートとしては、笑顔テンプレートを含む複数の表情テンプレートを使用することができる。
【００２２】
また、前記第２の評価手段は、最良画像候補の顔の向きがより正面を向いている程、高いスコアを付け、前記第３の評価手段は、被撮影者の視線方向が撮像装置の方を向いている程、高いスコアを付ける。そして、前記選択手段は、前記第１、第２、第３の評価手段によって付けられた３つのスコアのうちの少なくとも１つのスコア（２以上のスコアの合計点を含む）に基づいて前記最良画像候補の中から最良画像を選択する。
【００２３】
本発明の一実施形態では、前記選択手段は、前記スコアが最も高い画像を最良画像として選択し、又は前記スコアが所定の規定値以上の最良画像候補の中で前記表情変化量算出手段によって算出された表情変化量が最大の画像を最良画像として選択することを特徴としている。
【００２４】
本発明の一実施形態では、被写体を連続的に撮像可能な撮像手段と、前記画像処理装置と、を備え、前記画像取得手段は、前記撮像手段によって連続的に撮影された画像を順次取得することを特徴としている。
【００２５】
これにより、被写体を連続的に撮影しながら、顔の表情変化の大きな画像をベストショット画像候補として記録媒体に記録できるようにしている。
【００２６】
本発明の一実施形態では、撮影指示手段と、前記撮影指示手段による１回の撮影指示により前記記録媒体に記録される画像の記録枚数を設定する記録枚数設定手段と、を更に備え、前記撮影指示手段により撮影が指示されると、前記設定された記録枚数に達するまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴としている。
【００２７】
例えば、シャッターボタン等の撮影指示手段から１回の撮影指示入力があると、顔の表情変化の大きな画像が、予め設定された記録枚数に達するまで順次記録される。
【００２８】
本発明の一実施形態では、撮影終了指示手段を更に備え、前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記設定された記録枚数に達する前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴としている。
【００２９】
１回の撮影指示入力により記録される記録枚数が予め設定されていても、例えば、所望の表情の顔（ベストショット画像）が撮影された場合には、ユーザは、撮影終了指示手段を操作して撮影動作等を終了させることができる。
【００３０】
本発明の一実施形態では、撮影指示手段を更に備え、前記撮影指示手段により撮影が指示されると、前記記録媒体の残容量がなくなるまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴としている。
【００３１】
本発明の一実施形態では、撮影終了指示手段を更に備え、前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記記録媒体の残容量がなくなる前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴としている。
【００３２】
尚、前記撮影終了指示手段は、前記撮影指示手段と同一の操作手段（シャッターボタン）を共用してもよく、例えば、シャッターボタンが１回押下されると、撮影が指示され、撮影中に再度押下されると、撮影終了が指示されるようにすることができる。
【００３３】
本発明の一実施形態では、音声発生手段を更に備え、前記記録媒体に画像が記録される毎に前記音声発生手段から記録タイミングを知らせる音を発生することを特徴としている。これにより、ユーザは、記録タイミングを確認することができ、どのような表情の顔画像が記録されたかを知ることができる。
【００３４】
本発明の一実施形態では、前記撮像手段によって連続的に撮影された画像を表示する画像表示手段と、前記記録媒体に記録された最新の１乃至複数の画像を、前記画像表示手段の全表示画面の面積よりも小さい面積の縮小画像として前記画像表示手段に表示させる表示制御手段と、を更に備えたこと特徴としている。これにより、ユーザは、記録された画像を確認することができ、表情や構図のバリエーションを考慮したカメラワークを実現することができる。
【００３５】
本発明の一実施形態にて、前記記録媒体に記録可能な最大記録予定枚数と、前記記録媒体に画像が記録される毎に更新される現在の記録枚数とを表示する表示手段を更に備えたことを特徴としている。これにより、ユーザは、記録媒体に記録することができる残りの記録可能枚数を考慮した撮影が可能になる。
【００３６】
本発明の一実施形態にて、前記記録媒体に画像が記録される毎に更新される現在の記録枚数を表示するとともに、少なくとも現在の記録枚数が前記記録媒体に記録可能な最大記録予定枚数に近づくと、前記現在の記録枚数の表示形態を変化させる表示手段を更に備えたことを特徴とする。これにより、ユーザは、記録媒体に記録することができる残りの記録可能枚数を考慮した撮影が可能になる。尚、現在の記録枚数の表示色を変化させたり、現在の記録枚数を点滅表示させることにより、現在の記録枚数の表示形態を変化させることができる。
【００３７】
また、本発明は、連続的に撮影された画像を順次取得するステップと、前記取得した画像から顔を検出するステップと、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出ステップと、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出するステップと、前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを、最良画像候補として抽出するステップと、前記抽出された最良画像候補の画像群から最良画像を選択する最良画像選択ステップと、前記選択された最良画像を記録媒体に記録するステップと、を含み、前記表情変化量算出ステップにて、各顔部品に対応する複数の特徴点を抽出し、前記抽出した特徴点の座標位置を正規化し、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出することを特徴とする画像処理方法を提供する。
【００４０】
また、本発明は、連続的に撮影された画像を順次取得する機能と、前記取得した画像から顔を検出する機能と、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出機能と、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する機能と、前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを、最良画像候補として抽出する機能と、前記抽出された最良画像候補の画像群から最良画像を選択する最良画像選択機能と、前記選択された最良画像を記録媒体に記録する機能と、をコンピュータに実現させる画像処理プログラムであって、前記表情変化量算出機能は、各顔部品に対応する複数の特徴点を抽出し、前記抽出した特徴点の座標位置を正規化し、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出することを特徴とする画像処理プログラムを提供する。
【発明の効果】
【００４３】
本発明によれば、連続的に撮影された画像の中から顔の表情変化が大きな対象フレームの画像を抽出し、その抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録するようにしたため、連続的に撮影された画像の中から記録に残したい顔が撮影された画像（ベストショット画像）のみを記録することができるとともに、ベストショット画像を効率的に抽出することができる。
【発明を実施するための最良の形態】
【００４４】
以下、添付図面に従って本発明に係る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムの好ましい実施の形態について説明する。
［撮像装置の構成］
図１は本発明に係る撮像装置（デジタルカメラ）１０の実施の形態を示すブロック図である。
【００４５】
このデジタルカメラ１０は、静止画や動画の記録及び再生する機能を備えており、操作部１２は、電源ボタン、シャッターボタン、モードレバー、ズームキー、再生ボタン、上下左右キーからなるマルチファンクションの十字キー、メニュー／ＯＫボタン、表示／戻るボタン等を含んでいる。
【００４６】
モードレバーは、回転させることにより、オート撮影モード、マニュアル撮影モード、人物撮影モード、風景撮影モード及び夜景撮影モード等の選択が可能なシーンポジション、動画撮影モード、及び本発明に係るベストショット撮影モードのうちのいずれかを設定できるようになっている。また、シャッターボタンは、半押し時にＯＮして自動露出調整（ＡＥ）又は自動焦点調整（ＡＦ）等の撮影準備を行わせるスイッチＳ１と、全押し時にＯＮして本画像の取り込みを行わせるスイッチＳ２とを有している。
【００４７】
表示部（液晶モニタ）１４は、動画（スルー画）を表示して電子ビューファインダとして使用できるとともに、撮影した記録前の画像（プレビュー画像）やカメラに装填されたメモリカード等の記録媒体１６から読み出した画像等を表示することができる。また、表示部１４は、カメラの動作モードやホワイトバランス、画像のピクセル数、感度等をマニュアル設定する際の各種のメニュー画面をメニュー／ＯＫボタンの操作に応じて表示させ、十字キー及びメニュー／ＯＫボタンの操作に応じてマニュアル設定項目の設定が可能なグラフィカル・ユーザ・インターフェース（ＧＵＩ）用の画面を表示する。
【００４８】
前記操作部１２から操作信号が入力する中央処理装置（ＣＰＵ）１８は、デジタルカメラ１０内の各部を統括制御するもので、カメラ制御プログラムにしたがった処理を実行する。ＣＰＵ１８は、制御バス２０及びデータバス２２に接続されている。
【００４９】
制御バス２０及びデータバス２２には、ＣＰＵ１８の他にＳＤＲＡＭ（シンクロナス・ダイナミックＲＡＭ）２４、表情判断部２６、特徴点追跡部２８、顔検出部３０、ＥＥＰＲＯＭ３２、デジタル信号処理部３４、圧縮伸長部３６、音声制御部３８、表示制御部４０、及び外部メディア制御部４１が接続されている。また、Ａ／Ｄ変換回路５４は、データバス２２に接続されている。
【００５０】
ＣＰＵ１８は、ＳＤＲＡＭ２４、ＥＥＰＲＯＭ３２との間で必要なデータの授受を行う。ＥＥＰＲＯＭ３２には、カメラ制御プログラム、固体撮像素子の欠陥情報等のカメラ制御に関する各種のパラメータ、本発明に係る画像処理プログラム、基準テンプレート、表情テンプレート等が記憶されている。
【００５１】
ＣＰＵ１８は、ＥＥＰＲＯＭ３２に格納されたカメラ制御プログラムをＳＤＲＡＭ２４に展開し、ＳＤＲＡＭ２４をワークメモリとして使用しながら各種処理を実行する。
【００５２】
このデジタルカメラ１０において、操作部１２の電源ボタンがＯＮ操作されると、ＣＰＵ１８はこれを検出し、カメラ内電源をＯＮにし、撮影モードで撮影スタンバイ状態にする。この撮影スタンバイ状態では、ＣＰＵ１８は、通常、表示部１４に動画（スルー画）を表示させる。
【００５３】
ユーザ（撮影者）は、表示部１４に表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。
【００５４】
通常の静止画撮影モードが設定され、撮影スタンバイ状態時にシャッターボタンが半押しされると、ＣＰＵ１８はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光時には、固体撮像素子（ＣＣＤ）５０を介して取り込まれる画像信号の積算値等に基づいて被写体の明るさを測光する。この測光した値（測光値）は、本撮影時における絞り４４の絞り値、及びシャッター速度の決定に使用される。尚、本撮影時には、ＣＰＵ１８は、前記測光値に基づいて決定した絞り値に基づいて絞り駆動部５８を介して絞り４４を駆動するとともに、前記測光値に基づいて決定したシャッター速度になるように撮像素子駆動部６０を介してＣＣＤ５０での電荷蓄積時間（いわゆる電子シャッター）を制御する。
【００５５】
また、ＣＰＵ１８は、ＡＦ制御時にはフォースレンズを至近から無限遠に対応するレンズ位置に順次移動させるとともに、各レンズ位置毎にＣＣＤ５０を介して取り込まれるＡＦエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値を取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズを移動させるコントラストＡＦを行う。尚、動画撮影モードの場合には、評価値が常にピークを維持するようにフォースレンズの位置を制御する、いわゆる山登り制御によるコンティニアスＡＦを行う。
【００５６】
被写体光は、フォーカスレンズ、ズームレンズ等を含む撮影レンズ４２、絞り４４、赤外線カットフィルタ４６、及び光学ローパスフィルタ４８を介してＣＣＤ５０の受光面に入射する。
【００５７】
ＣＣＤ５０は、所定のカラーフィルタ配列（例えば、ハニカム配列、ベイヤ配列）のＲ、Ｇ、Ｂのカラーフィルタが設けられたカラーＣＣＤで構成されており、ＣＣＤ５０の受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、撮像素子駆動部６０から加えられるタイミング信号に従って読み出され、電圧信号（画像信号）としてＣＣＤ５０から順次出力される。
【００５８】
アナログ信号処理部５２は、ＣＤＳ回路及びアナログアンプを含み、ＣＤＳ回路は、ＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、アナログアンプは、ＣＰＵ１８から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力される画像信号を増幅する。Ａ／Ｄ変換回路５４は、アナログ信号処理部５２から出力されたアナログの画像信号をデジタルの画像信号に変換し、この変換された画像信号（Ｒ、Ｇ、ＢのＲＡＷデータ）は、データバス２２を介してＳＤＲＡＭ２４に転送され、ここに一旦蓄えられる。
【００５９】
顔検出部３０は、スルー画や動画から人物の顔を検出し、その顔の位置や大きさの情報をＣＰＵ１８に出力する。即ち、顔検出部３０は、画像照合回路及び顔画像テンプレート（顔辞書）を含み、画像照合回路は、スルー画等の画面内で、対象領域の位置を移動させながら、対象領域の画像と顔辞書とを照合し、両者の相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。また、顔検出部３０は、顔部品辞書と照合することで、顔部品（目、鼻、口、眉等）を検出する。
【００６０】
ＣＰＵ１８は、顔検出部３０から顔領域の位置及び大きさを示す情報を取得すると、その取得した人物の顔領域を囲む顔検出枠をスルー画に合成して、表示部１４に表示させることができるようになっている。
【００６１】
また、このようにして検出された顔領域の位置及び大きさは、人物の顔に合焦させるためのＡＦエリアや、人物の顔の明るさが適正になるようにＡＥエリアとして利用される。
【００６２】
表情判断部２６及び特徴点追跡部２８は、本発明に係るベストショット撮影モードでの撮影時に動作する。ここで、ベストショット撮影モードとは、動画、又は連写と同様に連続的にフレーム画像を撮影し、ベストショット画像と思われるフレーム画像を抽出し、これを記録媒体１６に記録するモードである。
【００６３】
特徴点追跡部２８は、連続的に撮影された各フレーム画像中の顔画像の特徴点を検出するもので、顔検出部３０によって検出された各顔部品から特徴点を検出する。
【００６４】
図２に示すように、この実施の形態では、両眉の４点、両目の８点、鼻の頂点の１点、口の４点の合計１７点の特徴点Ｐｉ(ｘｉ,ｙｉ）(ｉ＝１〜１７）を検出する。また、特徴点追跡部２８は、順次撮影される各フレーム画像に対して、上記特徴点Ｐｉ(ｘｉ,ｙｉ）を追跡する。
【００６５】
表情判断部２６は、比較対象の前後のフレームの画像から検出された顔の表情の変化を表す表情変化量を算出するとともに、最良画像を選択するための表情判断を行う。
【００６６】
表情変化量は、表情変化に依存しにくい特徴点（両目の外縁及び鼻の頂点）を使用し、前フレームとの特徴点の位置合わせを行う。若しくはＫＬＴ法（Kanade-Lucas-Tomasi の特徴点追跡アルゴリズム）などの対応点検出手法によりフレーム間の特徴点を追跡し、位置合わせを行う。そして、次式に示すように、各特徴点間の差分（距離）の総和を表情変化量として算出する。
【００６７】
［数１］
表情変化量＝Σ（√（ｘｉ−ｘｉ−１）２＋（ｙｉ−ｙｉ−１）２）
尚、上記［数１］式に示すように表情変化量は、各特徴点間の距離の総和によって求めているが、各特徴点間の距離の自乗の総和に基づいて求めるようにしてもよい。
【００６８】
表情判断部２６は、上記のようにして求めた表情変化量が所定の閾値以上の場合、対象フレームの前後ｍフレームの画像を最良画像候補として取得し、この画像群から例えば、笑顔らしさを算出し、笑顔らしさが最も大きいフレーム画像を最良画像（ベストショット画像）として抽出する。尚、ベストショット画像の選択等の詳細については後述する。
【００６９】
デジタル信号処理部３４は、ホワイトバランス調整回路、ガンマ補正回路、同時化回路、輝度・色差信号生成回路、輪郭補正回路、挿入用画像の画像変換回路、及び合成処理回路等を含む画像処理手段として機能し、ＣＰＵ１８からのコマンドに従ってＳＤＲＡＭ２４を活用しながら所定の信号処理を行う。即ち、ＳＤＲＡＭ２４から読み出されたＲ、Ｇ、Ｂの画像信号は、ホワイトバランス調整回路によりＲ、Ｇ、Ｂの画像信号ごとにデジタルゲインをかけることでホワイトバランス調整が行われ、ガンマ補正回路によりガンマ特性に応じた階調変換処理が行われ、同時化回路により単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する同時化処理が行われる。同時化されたＲ、Ｇ、Ｂの画像信号は、更に輝度・色差データ生成回路により輝度信号Ｙと色差信号Ｃｒ、Ｃｂ（ＹＣ信号）に変換され、Ｙ信号は、輪郭補正回路により輪郭強調処理される。デジタル信号処理部３４で処理されたＹＣ信号は再びＳＤＲＡＭ２４に蓄えられる。
【００７０】
デジタル信号処理部３４によって処理され、ＳＤＲＡＭ２４に蓄えられたＹＣ信号は、圧縮伸長部３６によって圧縮され、所定のフォーマット（例えば、ＪＰＥＧ（Joint Photographic Experts Group））形式の画像ファイルとして、外部メディア制御部４１を介して記録媒体１６に記録される。記録媒体１６としては、デジタルカメラ１０に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体を用いることができる。
【００７１】
一方、操作部１２の再生ボタンを操作して再生モードが選択されると、記録媒体１６に記録されている最終コマの画像ファイルが外部メディア制御部４１を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸長部３６を介して非圧縮のＹＣ信号に伸長される。
【００７２】
伸長されたＹＣ信号は、ＳＤＲＡＭ２４（又は図示しないＶＲＡＭ）に保持され、表示制御部４０によって表示用の信号形式に変換されて表示部１４に出力される。これにより、表示部１４には記録媒体１６に記録されている最終コマの画像が表示される。
【００７３】
その後、順コマ送りスイッチ（十字キーの右キー）が押されると、順方向にコマ送りされ、逆コマ送りスイッチ（十字キーの左キー）が押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルが記録媒体１６から読み出され、上記と同様にして画像が表示部１４に再生される。
【００７４】
音声制御部３８は、カメラの各種の動作音や動画再生時の音声の他に、ベストショット画像が記録される毎に記録タイミングを知らせる音（シャッター音などの刺激音）をスピーカ３９から発生させる。
【００７５】
＜第１実施形態＞
次に、１回の撮影指示により予め設定された記録枚数ｎ枚のベストショット画像を撮影・記録する第１実施形態について説明する。
【００７６】
図３は本発明に係る第１実施形態の全体の処理の流れを示すフローチャートである。
【００７７】
まず、撮影モードとしてベストショット撮影モードを選択し、シャッターボタンを押下すると、撮影が開始される（ステップＳ１０）。尚、１回の撮影指示により記録される記録枚数ｎは、デフォルトで決定された枚数でもよいし、ユーザの枚数指定によって適宜設定した枚数（１枚を含む）でもよい。また、このベストショット撮影モードでの撮影は、動画又は連写と同様に連続的にフレーム画像を撮影する。
【００７８】
撮影したフレーム画像をＳＤＲＡＭ２４に一時的に保存する（ステップＳ１２）。続いて、特徴点追跡部２８により一時的に保存された対象フレームの画像から人物の顔の特徴点を抽出する（ステップＳ１４）。この対象フレームは、連続的に撮影された毎フレームでもよいし、数フレームおきのフレームでもよい。尚、対象フレームを数フレームおきにした方が、表情の変化が分かりやすく、また、処理負荷を小さくすることができる。
【００７９】
人物の顔の特徴点として、図２で説明したように顔部品の各部の位置に対応した１７点の特徴点Ｐｉ(ｘｉ,ｙｉ）が抽出される。
【００８０】
次に、表情判断部２６は、今回の対象フレームの画像から抽出された顔の特徴点Ｐｉ(ｘｉ,ｙｉ）と、ＳＤＲＡＭ２４に保存されている前回の対象フレームの画像から抽出された顔の特徴点Ｐｉ−１(ｘｉ−１,ｙｉ−１）とを、前述した［数１］式に代入することにより表情変化量を算出する（ステップＳ１６）。
【００８１】
この算出した表情変化量が所定の閾値以上か否かを判別し（ステップＳ１８）、表情変化量が閾値未満の場合には、ステップＳ１２に戻り、表情変化量が閾値以上の場合には、人物の顔の表情が大きく変化したと見なし、ステップＳ２０に遷移させる。
【００８２】
ステップＳ２０では、表情変化量が閾値以上と判定された今回の対象フレームを含む前後ｍフレームの画像群を、最良画像候補として抽出する。
【００８３】
次に、ステップＳ２０で抽出した２ｍ＋１枚のフレーム画像（最良画像候補）から１枚の最良画像（ベストショット画像）を選択する（ステップＳ２２）。
【００８４】
ここで、ベストショット画像の選択方法としては、以下の方法が考えられる。
【００８５】
（１）最良画像候補の顔と所定の表情（例えば、笑顔）を表す笑顔テンプレートとを比較し、その比較結果に基づいて各最良画像候補に対して笑顔らしさのスコアを付ける。
【００８６】
［笑顔らしさのスコア算出］
まず、評価対象の対象フレームの顔の特徴点と笑顔テンプレートの正規化処理を行う。図４に示すように、鼻の頂点を基準点とし、１７個の特徴点からなる笑顔テンプレート及び対象フレームの顔の特徴点のそれぞれにおいて、各特徴点の基準点間距離を算出する（Ｄ１ｉ，Ｄ２ｉ）。各特徴点において、基準点間距離の比率（Ｄ１ｉ／Ｄ２ｉ）を算出し、全特徴点における比率の平均を算出する。この平均比率を用いて対象フレームの顔の特徴点を拡縮処理することにより、対象フレームの顔の特徴点座標の正規化処理を行う（スケールを笑顔テンプレートに合わせる）（図４（Ａ），（Ｂ）参照）。
【００８７】
続いて、正規化後の対象フレームの特徴点と、笑顔テンプレートの特徴点との各特徴点間距離の差分平均を笑顔らしさのスコアとして算出する（図４（Ｂ），（Ｃ）参照）。尚、差分平均が小さい程、笑顔らしさのスコアは高くなる。
【００８８】
このようにして各最良画像候補に付けられた笑顔らしさのスコアの最も高い最良画像候補をベストショット画像として選択する。
【００８９】
（２）最良画像候補の顔と笑顔テンプレートとを比較し、その比較結果に基づいて各最良画像候補に対して笑顔らしさのスコアを付ける。そして、笑顔らしさのスコアが所定の規定値以上の最良画像候補の中で、表情変化量が最大の画像をベストショット画像として選択する。
【００９０】
図３に戻って、ステップＳ２２によりベストショット画像が選択されると、そのベストショット画像は、記録媒体１６に記録される。
【００９１】
続いて、ベストショット画像の記録枚数をカウントし（ステップＳ２４）、カウント数がｎ枚に達したか否かを判別する（ステップＳ２６）。カウント数がｎ枚に達していない場合には、ステップＳ１２に戻り、カウント数がｎ枚に達した場合には、ベストショット画像の撮影を終了する。
【００９２】
尚、ＳＤＲＡＭ２４は、少なくとも表情変化量の算出を行っている今回の対象フレームの前後ｍフレームの画像を一時的に保持する必要がある。
【００９３】
また、ステップＳ１６での表情変化量の算出時に、前後のフレームの特徴点Ｐｉ(ｘｉ,ｙｉ）と、特徴点Ｐｉ−１(ｘｉ−１,ｙｉ−１）とを上記と同様にして正規化することが好ましく、これによれば、顔の大きさ等に依存しない顔の表情変化量を算出することができる。
【００９４】
更に、笑顔らしさのスコアは、上記の例に限らず、平常顔との特徴量の差分により算出しても良い。
【００９５】
特徴量は、特徴点の位置や特徴点間距離、若しくは皺の有り/無しなどにより表現される。
【００９６】
図５は平常顔の特徴点と笑顔１、２の特徴点とを示している。
【００９７】
・笑顔１
図５（Ｂ）に示すように笑顔１は、図５（Ａ）に示す平常顔に比べて唇の両端が引き上げられており、さらに鼻唇の皺が表れていることで平常顔に対して笑顔らしい顔となっている。例えば「唇の両端が引き上げられる」と、「鼻唇の皺が現れる又は深まる」とをそれぞれ１点とすると、笑顔１の笑顔らしさのスコアは２点となる。
【００９８】
・笑顔２
図５（Ｃ）に示す笑顔２は、図５（Ａ）に示す平常顔に比べて笑顔１からさらに口が開いたことにより口の高さが大きくなっており、さらに頬が持ち上がることで目の高さが低くなっている。「口が開かれる」と、「目が細くなる」とをそれぞれ１点とすると、笑顔２の笑顔らしさは４点となる。
【００９９】
各特徴量は、一律同じ重みではなく特徴量ごとに重要度を表す重み付けをすることで、さらにスコアリングの信頼度が高まる。
【０１００】
＜第１実施形態の変形例＞
上記第１実施形態では、予め設定された記録枚数ｎだけベストショット画像が記録するまで撮影・記録が繰り返されるが、これに限らず、撮影が指示されると、記録媒体１６の残容量がなくなるまで撮影・記録を繰り返すようにしてもよい。
【０１０１】
また、撮影終了指示手段を設けることにより、ユーザは任意のタイミングで撮影動作等を終了させることができる。
【０１０２】
例えば、所望の表情の顔（ベストショット画像）が撮影された場合には、ユーザは、撮影終了指示手段を操作することにより、ベストショット画像の記録枚数が設定枚数ｎに達する前に、あるいは記録媒体１６の残容量がなくなる前に、撮影動作等を終了させることができる。尚、撮影終了指示手段は、撮影指示手段と同一の操作手段（シャッターボタン）を共用してもよく、例えば、シャッターボタンが１回押下されると、撮影が指示され、撮影中に再度押下されると、撮影終了が指示されるようにすることができる。
【０１０３】
また、上記第１実施形態では、規定値以上の表情変化量が検出された対象フレームの前後ｍフレームの画像を最良画像候補として抽出するようにしたが、これに限らず、対象フレームと、その対象フレームの前のｍフレーム、又は後のｍフレームのいずれか一方を最良画像候補としてもよい。
【０１０４】
更に、第１実施形態では、最良画像候補の中からベストショット画像を選択する際に、各最良画像候補の笑顔らしさのスコアを算出するようにしたが、笑顔らしさのスコアを求めずに、最良画像候補の中で表情変化量が最大の画像をベストショット画像として選択してもよい。
【０１０５】
＜第２実施形態＞
図６は本発明に係る第２実施形態の全体の処理の流れを示すフローチャートである。尚、図３に示した第１実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【０１０６】
図３に示した第１実施形態では、前後の対象フレームの顔の表情変化量を算出するようにしたが、図６に示す第２実施形態では、連続的に撮影される対象フレームの顔と、平常顔テンプレート（基準テンプレート）の顔との表情変化量を算出する点で相違する。
【０１０７】
１回の撮影指示により予め設定された記録枚数ｎ枚のベストショット画像の撮影・記録が開始されると（ステップＳ１０）、平常顔テンプレートを作成する（ステップＳ３０）。
【０１０８】
図７は平常顔テンプレートを作成する処理手順を示すフローチャートである。尚、図３に示した第１実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【０１０９】
この平常顔テンプレートの作成のフローチャートでは、顔の表情変化量が少ない所定の枚数ｋのフレーム画像を抽出し、この抽出したフレーム画像の顔部品の特徴点の平均値から平常顔テンプレートを作成する。
【０１１０】
図７に示すように、平常顔テンプレートの作成処理が開始されると、前後のフレーム画像から抽出された顔の特徴点に基づいて算出された表情変化量が、所定の閾値以下か否かを判別し（ステップＳ３２）、表情変化量が閾値を越えている場合には、所定の枚数ｋをカウントするカウンタのカウント数をリセットするとともに、ＳＤＲＡＭ２４に一時保持しているフレーム画像をクリア（ステップＳ３４）し、ステップＳ１２に戻る。尚、所定の枚数ｋは、例えば、同じ表情が連続していて平常顔と認定できる所定の時間をフレーム周期で除算することによって求めることができる。
【０１１１】
ステップＳ３２において、表情変化量が所定の閾値以下と判別されると、カウンタのカウント数を１だけインクリメントし（ステップＳ３６）、現在のカウント数が所定の枚数ｋ以上か否かを判別する（ステップＳ３８）。現在のカウント数が所定の枚数ｋ未満の場合には、ステップＳ１２に戻り、現在のカウント数が所定の枚数ｋ以上になると、ステップＳ３９に遷移する。
【０１１２】
ステップＳ３９では、ＳＤＲＡＭ２４に保存されている所定の枚数ｋのフレーム画像中の顔部品の特徴点の平均値を算出し、この平均の特徴点の位置座標を平常顔テンプレートとする。
【０１１３】
図６に戻って、上記のようにして平常顔テンプレートの作成が終了すると、実際のベストショット画像の撮影・記録が開始される。
【０１１４】
第１実施形態（図２）のステップＳ１６は、前後の対象フレームの顔の表情変化量を算出するようにしたが、第２実施形態のステップＳ１６’では、入力する対象フレームから抽出された顔の特徴点Ｐｉ(ｘｉ,ｙｉ）と、平常顔テンプレートの特徴点とから表情変化量を算出する。尚、ステップＳ１６’での表情変化量の算出に際しては、両者の特徴点を正規化しておくことが好ましい。
【０１１５】
これにより、平常顔を基準にした顔の表情の変化量を算出することができ、この表情変化量が大きい対象フレームに基づいて抽出された２ｍ＋１枚のフレーム画像（最良画像候補）から１枚の最良画像（ベストショット画像）が選択され、記録媒体１６に記録される。尚、ベストショット画像の選択等は、第１実施形態と同様に行われる。
【０１１６】
＜第２実施形態の変形例＞
上記第２実施形態では、実際のベストショット画像の撮影・記録が開始される前に、平常顔テンプレートを作成するようにしたが、平常顔テンプレートを事前に作成し、ＥＥＰＲＯＭ３２に登録しておいてもよい。平常顔テンプレートを事前に作成する場合には、無表情顔のデータベースを使って同様に平常顔テンプレートを作成してもよい。
【０１１７】
また、撮影する人物毎に平常顔テンプレートを登録し、ベストショット画像の撮影前に撮影する人物に対応する平常顔テンプレートを読み出すようにしてもよい。
【０１１８】
更に、複数人の平常顔から平均的な平常顔テンプレートを作成し、これをＥＥＰＲＯＭ３２に登録するようにしてもよい。
【０１１９】
更にまた、人物の属性に応じて平常顔テンプレートを作成し、これをＥＥＰＲＯＭ３２に登録するようにしてもよい。人物の属性としては、例えば、性別、年齢、子供／大人、人種等が考えられる。
【０１２０】
尚、平常顔テンプレートは、デジタルカメラ１０で作成する場合に限らず、出荷前に予めＥＥＰＲＯＭ３２に登録してもよいし、外部からの入力により登録できるようにしてもよい。
【０１２１】
＜第３実施形態＞
図８は本発明に係る第３実施形態の全体の処理の流れを示すフローチャートである。尚、図３に示した第１実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【０１２２】
図８に示す第３実施形態では、第１実施形態に比べてステップＳ４０の処理が追加され、かつステップＳ２２’のベストショット画像の選択方法が異なっている。
【０１２３】
ステップＳ４０では、各最良画像候補の顔の向きを判定する。
【０１２４】
［顔向きのスコア算出］
図９に示すように、右目の内側の端点をａ、左目の内側の端点をｂとする。鼻の頂点を通り線分ａｂと直交する直線と、線分ａｂとの交点をｃとする。
【０１２５】
距離ａｃと距離ｂｃとの比較によりスコアリングを行う。
【０１２６】
距離の差分や比に基づいてスコアを算出するが、距離ａｃと距離ｂｃの値が近いほど正面顔に近いと判断し、スコアを大きくする。片方の目しか抽出できなかった場合は、横顔と判断し、スコアを０とする。
【０１２７】
また、正面顔を０°、横顔を９０°として１０°刻みで０°〜９０°までの辞書を利用し、それぞれのフレームでどの角度の辞書と一致度が高いかを判定し、それぞれ一致度の高い角度に応じてスコアリングを行う。
【０１２８】
図８に戻って、ステップＳ２２’は、ステップＳ２０で抽出した２ｍ＋１枚のフレーム画像（最良画像候補）から１枚の最良画像（ベストショット画像）を選択する。図３に示した第１実施形態では、笑顔らしさのスコア、又は笑顔らしさのスコアと表情変化量に基づいてベストショット画像を選択するようにしたが、ステップＳ２２’は、笑顔らしさのスコアと顔向きのスコアとを加算したスコアを各最良画像候補のスコアとし、このスコアが最大の最良画像候補をベストショット画像として選択する。
【０１２９】
また、前記加算したスコアが所定の規定値以上の最良画像候補の中で、表情変化量が最大の画像をベストショット画像として選択するようにしてもよい。
【０１３０】
そして、ステップＳ２２’では、上記のようにして選択したベストショット画像を記録媒体１６に記録する。
【０１３１】
＜第３実施形態の変形例＞
上記第３実施形態では、顔向きのスコアをベストショット画像の選択に使用したが、この顔向きのスコアの代わりに、又は顔向きのスコアとともに、被撮影者の視線方向を判定し、視線方向がカメラに向いている程、高いスコアになるようにスコアリングを行い、そのスコアをベストショット画像の選択に使用するようにしてもよい。
【０１３２】
視線方向の判定は、目領域中の瞳の位置を検出し、例えば、顔の向きが正面、かつ瞳の位置が目領域の中心に位置している場合には、視線方向がカメラに向いていると判定する。このように、顔の向きと、目領域中の瞳の位置とに基づいて被撮影者の視線方向を判定することができる。
【０１３３】
尚、笑顔らしさのスコア、顔向きのスコア、視線方向のスコア、及び表情変化量のうちの１つ又は２以上を適宜組み合わせて、最良画像候補の中でベストショット画像を選択するようにしてもよい。
【０１３４】
また、笑顔テンプレートの他に、他の表情の表情テンプレートも準備しておき、最良画像候補に最も近い表情テンプレートを使用して、各最良画像候補について、その表情らしさのスコアを付けるようにしてもよい。
【０１３５】
＜第４実施形態＞
図１０は本発明に係る第４実施形態の全体の処理の流れを示すフローチャートである。尚、図３に示した第１実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【０１３６】
図１０に示す第４実施形態では、第１実施形態に比べてステップＳ５０の処理が追加され、かつステップＳ２２”のベストショット画像の選択方法が異なっている。
【０１３７】
ステップＳ５０では、フレーム画像中に複数の顔が検出された場合に、代表顔を選択する。代表顔は、顔検出部３０で検出された複数の顔の顔領域の中で最も大きいものとする。また、顔の輝度、位置、大きさ、顔の確からしさの内１つ以上の条件から、各条件において重要度を決定する点数をそれぞれの顔領域に設定し、トータルの点数が最も高い顔を代表顔としてもよい。
【０１３８】
ステップＳ１４〜Ｓ１８は、ステップＳ５０で選択した代表顔に対する処理のみを行う。
【０１３９】
ステップＳ２２”は、ステップＳ２０で抽出した２ｍ＋１枚のフレーム画像（最良画像候補）から１枚の最良画像（ベストショット画像）を、以下のようにして選択する。
【０１４０】
（１）笑顔らしさがある閾値以上の顔が最も多いフレームをピックアップし、それが複数フレームあった場合は、それらのフレームの中で代表顔の笑顔らしさが最も大きいフレームをベストショット画像として抽出する。
【０１４１】
（２）笑顔らしさがある閾値以上の顔が最も多いフレームをピックアップし、それが複数フレームあった場合は、それらのフレームの中で代表顔の表情変動量が最も大きいフレームをベストショットとして抽出する。
【０１４２】
上記（１）、（２）の場合には、代表顔以外の顔についても、笑顔らしさのスコアを算出する必要がある。
【０１４３】
（３）代表顔の笑顔らしさが最も大きいフレームをベストショット画像として抽出する。
【０１４４】
（４）代表顔の笑顔らしさがある閾値以上のフレームをピックアップし、それらのフレームの中で代表顔の表情変動量が最も大きいフレームをベストショット画像として抽出する。
【０１４５】
上記（３）、（４）の場合には、代表顔以外の顔については、笑顔らしさのスコアを算出する必要がなく、第１実施形態のステップＳ２２と同様の処理になる。
【０１４６】
尚、第３実施形態、第３実施形態の変形例で説明したように、顔向きのスコア、視線方向のスコアを考慮してベストショット画像を選択してもよい。
【０１４７】
＜第５実施形態＞
次に、ベストショット撮影モードでの撮影時のユーザインターフェースについて説明する。
【０１４８】
このベストショット撮影モードでのベストショット画像の記録タイミングは、カメラ側が決定するため、これを表示や音によってユーザに知らせる。
【０１４９】
図１１はベストショット撮影モードでの撮影時に表示部１４に表示される表示画面の第１の例を示している。この表示部１４には、スルー画が表示されるとともに、ベストショット（ＢＳ）の最大記録枚数（１００）と、現在の記録枚数（８）とが表示されるようになっている。
【０１５０】
これにより、ユーザは、ベストショット画像の記録可能な残り枚数を把握することができるとともに、現在の記録枚数がカウントアップされることで、ベストショット画像の記録タイミングも把握することができる。
【０１５１】
図１２はベストショット撮影モードでの撮影時に表示部１４に表示される表示画面の第２の例を示している。
【０１５２】
図１２（Ａ）及び（Ｂ）に示す表示部１４の表示画面には、それぞれスルー画とともに、現在の記録枚数が表示されているが、現在の記録枚数に応じてその表示色が変化している。
【０１５３】
即ち、ベストショット（ＢＳ）の最大記録枚数と現在の記録枚数との割合が小さければ緑色、半分程度であれば黄色、最大記録枚数に近い場合は赤色といった具合に徐々に現在の記録枚数の表示色を変化させる。
【０１５４】
図１２に示す例では、ベストショット（ＢＳ）の最大記録枚数（１００）を前提としているため、現在の記録枚数が８枚の場合には、「８」は緑色で表示され（図１２（Ａ））、現在の記録枚数が９８枚の場合には、「９８」は赤色で表示される（図１２（Ｂ））。
【０１５５】
尚、最大記録枚数と現在の記録枚数との割合に応じて現在の記録枚数の表示色を変化させる場合に限らず、最大記録枚数に近づいたときのみ表示色を変化させるようにしてもよい。また、表示色を変化させる場合に限らず、例えば、記録枚数を点滅表示させもよく、要は現在の記録枚数の表示形態を変化させることにより、最大記録枚数に近づいたことが把握できれば、如何なる表示形態でもよい。
【０１５６】
図１３はベストショット撮影モードでの撮影時に表示部１４に表示される表示画面の第３の例を示している。
【０１５７】
図１３（Ａ）に示す表示部１４の表示画面には、スルー画とともに、記録媒体１６に記録されている最新のベストショット画像の縮小画像が小ウインドウに表示されている。
【０１５８】
図１３（Ｂ）に示す表示部１４の表示画面には、スルー画とともに、記録媒体１６に記録されている最新の５ショット分のベストショット画像の縮小画像が小ウインドウに表示されている。新たにベストショット画像が記録されると、表示部１４の表示画面に表示されているベストショット画像の縮小画像は更新される。
【０１５９】
尚、表示部１４の表示画面中に表示するベストショット画像の縮小画像の表示枚数は、この実施の形態に限定されない。
【０１６０】
更に、ベストショット画像が記録される度に、音声制御部３８からスピーカ３９を介して記録タイミングを知らせる音（シャッター音などの刺激音）を発生させる。
【０１６１】
また、ベストショット画像の記録枚数、記録画像の表示、及び記録時の音刺激は、複合的に実施してもよく、これによりユーザへの支援効果をより高めることができる。
【０１６２】
＜変形例＞
この実施の形態では、デジタルカメラ１０を例に説明したが、監視カメラ、カメラ付き携帯電話等にも本発明は適用できる。また、パソコン等にも本発明に係る画像処理プログラムをインストールすることにより、本発明に係る画像処理装置としての機能をもたせることができる。例えば、ビデオ撮影された動画、ＴＶ画像等の連続的に撮影された画像を入力画像とし、この入力画像からベストショット画像を抽出し、静止画として記録することができる。
【０１６３】
また、本発明は、上記の各実施形態をそれぞれ適宜組み合わせて適用してもよい。
【０１６４】
更に、本発明に係る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいことは言うまでもない。
【図面の簡単な説明】
【０１６５】
【図１】図１は本発明に係る撮像装置（デジタルカメラ）の実施の形態を示すブロック図である。
【図２】図２は顔部品の位置に関連づけられた顔の特徴点の一例を示す図である。
【図３】図３は本発明に係る第１実施形態の全体の処理の流れを示すフローチャートである。
【図４】図４は対象フレームの顔の特徴点と笑顔テンプレートの正規化を説明するために用いた図である。
【図５】図５は平常顔の特徴点と笑顔１、２の特徴点とを示す図である。
【図６】図６は本発明に係る第２実施形態の全体の処理の流れを示すフローチャートである。
【図７】図７は平常顔テンプレートを作成する処理手順を示すフローチャートである。
【図８】図８は本発明に係る第３実施形態の全体の処理の流れを示すフローチャートである。
【図９】図９は顔向きの検出方法を説明するために用いた図である。
【図１０】図１０は本発明に係る第４実施形態の全体の処理の流れを示すフローチャートである。
【図１１】図１１はベストショット撮影モードでの撮影時に表示部に表示される表示画面の第１の例を示す図である。
【図１２】図１２はベストショット撮影モードでの撮影時に表示部に表示される表示画面の第２の例を示す図である。
【図１３】図１３はベストショット撮影モードでの撮影時に表示部に表示される表示画面の第３の例を示す図である。
【符号の説明】
【０１６６】
１０…撮像装置（デジタルカメラ）、１２…操作部、１４…表示部、１６…記録媒体、１８…中央処理装置（ＣＰＵ）、２４…ＳＤＲＡＭ、２６…表情判断部、２８…特徴量追跡部、３０…顔検出部、３２…ＥＥＰＲＯＭ、３４…デジタル信号処理部、３８…音声制御部、３９…スピーカ、４０…表示制御部、１４…表示部、４２…撮影レンズ、５０…ＣＣＤ、５２…アナログ信号処理部、５４…Ａ／Ｄ変換回路
【図１】
0004720810.tif 000002
【図２】
0004720810.tif 000003
【図３】
0004720810.tif 000004
【図４】
0004720810.tif 000005
【図５】
0004720810.tif 000006
【図６】
0004720810.tif 000007
【図７】
0004720810.tif 000008
【図８】
0004720810.tif 000009
【図９】
0004720810.tif 000010
【図１０】
0004720810.tif 000011
【図１１】
0004720810.tif 000012
【図１２】
0004720810.tif 000013
【図１３】
0004720810.tif 000014