【手続補正書】
【提出日】平成22年10月1日(2010.10.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
連続的に撮影された画像を順次取得する画像取得手段と、
前記取得した画像から顔を検出する顔検出手段と、
前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出手段と、
前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する抽出手段と、
前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する記録手段と、
を備え、
前記表情変化量算出手段は、各顔部品に対応する複数の特徴点を抽出する特徴点抽出手段と、前記抽出した特徴点の座標位置を正規化する正規化手段と、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出する算出手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記顔検出手段によって複数の顔が検出された場合に、該複数の顔の輝度、位置、大きさ、及び顔の確からしさのうちの１つ以上の条件から代表顔を選択する代表顔選択手段を更に備え、前記選択された代表顔を、前記対象フレームの画像から検出された顔とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出する最良画像候補抽出手段と、
前記抽出された最良画像候補の画像群から最良画像を選択する最良画像選択手段と、
を更に備え、
前記記録手段は、前記選択された最良画像を前記記録媒体に記録することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記最良画像選択手段は、前記最良画像候補の顔と所定の表情を表す表情テンプレートとを比較し、その比較結果に基づいて各最良画像候補に対してスコアを付ける第１の評価手段と、前記最良画像候補の顔の向きを検出し、その検出した顔の向きに基づいて各最良画像候補に対してスコアを付ける第２の評価手段と、前記最良画像候補の人物の視線方向を検出し、その検出した視線方向に基づいて各最良画像候補に対してスコアを付ける第３の評価手段のうちの少なくとも１つの評価手段と、前記少なくとも１つの評価手段によって評価されたスコアに基づいて前記最良画像候補の中から最良画像を選択する選択手段と、を有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記選択手段は、前記スコアが最も高い画像を最良画像として選択し、又は前記スコアが所定の規定値以上の最良画像候補の中で前記表情変化量算出手段によって算出された表情変化量が最大の画像を最良画像として選択することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
被写体を連続的に撮像可能な撮像手段と、
請求項１から５のいずれかに記載の画像処理装置と、を備え、
前記画像取得手段は、前記撮像手段によって連続的に撮影された画像を順次取得することを特徴とする撮像装置。
【請求項７】
撮影指示手段と、
前記撮影指示手段による１回の撮影指示により前記記録媒体に記録される画像の記録枚数を設定する記録枚数設定手段と、を更に備え、
前記撮影指示手段により撮影が指示されると、前記設定された記録枚数に達するまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴とする請求項６に記載の撮像装置。
【請求項８】
撮影終了指示手段を更に備え、
前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記設定された記録枚数に達する前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴とする請求項７に記載の撮像装置。
【請求項９】
撮影指示手段を更に備え、
前記撮影指示手段により撮影が指示されると、前記記録媒体の残容量がなくなるまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
撮影終了指示手段を更に備え、
前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記記録媒体の残容量がなくなる前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
音声発生手段を更に備え、
前記記録媒体に画像が記録される毎に前記音声発生手段から記録タイミングを知らせる音を発生することを特徴とする請求項６から１０のいずれかに記載の撮像装置。
【請求項１２】
前記撮像手段によって連続的に撮影された画像を表示する画像表示手段と、
前記記録媒体に記録された最新の１乃至複数の画像を、前記画像表示手段の全表示画面の面積よりも小さい面積の縮小画像として前記画像表示手段に表示させる表示制御手段と、を更に備えたこと特徴とする請求項６から１１のいずれかに記載の撮像装置。
【請求項１３】
前記記録媒体に記録可能な最大記録予定枚数と、前記記録媒体に画像が記録される毎に更新される現在の記録枚数とを表示する表示手段を更に備えたことを特徴とする請求項６から１２のいずれかに記載の撮像装置。
【請求項１４】
前記記録媒体に画像が記録される毎に更新される現在の記録枚数を表示するとともに、少なくとも現在の記録枚数が前記記録媒体に記録可能な最大記録予定枚数に近づくと、前記現在の記録枚数の表示形態を変化させる表示手段を更に備えたことを特徴とする請求項６から１３のいずれかに記載の撮像装置。
【請求項１５】
連続的に撮影された画像を順次取得するステップと、
前記取得した画像から顔を検出するステップと、
前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出ステップと、
前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出するステップと、
前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録するステップと、
を含み、
前記表情変化量算出ステップにて、各顔部品に対応する複数の特徴点を抽出し、前記抽出した特徴点の座標位置を正規化し、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出することを特徴とする画像処理方法。
【請求項１６】
前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出するステップと、
前記抽出された最良画像候補の画像群から最良画像を選択するステップと、
を更に含み、
前記選択された最良画像を前記記録媒体に記録することを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
連続的に撮影された画像を順次取得する機能と、
前記取得した画像から顔を検出する機能と、
前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出機能と、
前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する機能と、
前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する機能と、
をコンピュータに実現させる画像処理プログラムであって、
前記表情変化量算出機能は、各顔部品に対応する複数の特徴点を抽出し、前記抽出した特徴点の座標位置を正規化し、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出することを特徴とする画像処理プログラム。
【請求項１８】
前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出する機能と、
前記抽出された最良画像候補の画像群から最良画像を選択する機能と、
を更にコンピュータに実現させ、前記選択された最良画像を前記記録媒体に記録することを特徴とする請求項１７に記載の画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
前記目的を達成するために本発明は、連続的に撮影された画像を順次取得する画像取得手段と、前記取得した画像から顔を検出する顔検出手段と、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出手段と、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する抽出手段と、前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する記録手段と、を備え、前記表情変化量算出手段は、各顔部品に対応する複数の特徴点を抽出する特徴点抽出手段と、前記抽出した特徴点の座標位置を正規化する正規化手段と、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出する算出手段と、を有することを特徴とする画像処理装置を提供する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明の一実施形態では、前記顔検出手段によって複数の顔が検出された場合に、該複数の顔の輝度、位置、大きさ、及び顔の確からしさのうちの１つ以上の条件から代表顔を選択する代表顔選択手段を更に備え、前記選択された代表顔を、前記対象フレームの画像から検出された顔とすることを特徴としている。即ち、複数の人物が撮影されている場合には、注目人物を１人選択する。これにより、注目人物に対するベストショット画像を記録することができ、また、記録すべき画像の選択処理が簡易になる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明の一実施形態では、前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出する最良画像候補抽出手段と、前記抽出された最良画像候補の画像群から最良画像を選択する最良画像選択手段と、を更に備え、前記記録手段は、前記選択された最良画像を前記記録媒体に記録することを特徴としている。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明の一実施形態では、前記最良画像選択手段は、前記最良画像候補の顔と所定の表情を表す表情テンプレートとを比較し、その比較結果に基づいて各最良画像候補に対してスコアを付ける第１の評価手段と、前記最良画像候補の顔の向きを検出し、その検出した顔の向きに基づいて各最良画像候補に対してスコアを付ける第２の評価手段と、前記最良画像候補の人物の視線方向を検出し、その検出した視線方向に基づいて各最良画像候補に対してスコアを付ける第３の評価手段のうちの少なくとも１つの評価手段と、前記少なくとも１つの評価手段によって評価されたスコアに基づいて前記最良画像候補の中から最良画像を選択する選択手段と、を有することを特徴としている。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
本発明の一実施形態では、前記選択手段は、前記スコアが最も高い画像を最良画像として選択し、又は前記スコアが所定の規定値以上の最良画像候補の中で前記表情変化量算出手段によって算出された表情変化量が最大の画像を最良画像として選択することを特徴としている。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
本発明の一実施形態では、被写体を連続的に撮像可能な撮像手段と、前記画像処理装置と、を備え、前記画像取得手段は、前記撮像手段によって連続的に撮影された画像を順次取得することを特徴としている。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
本発明の一実施形態では、撮影指示手段と、前記撮影指示手段による１回の撮影指示により前記記録媒体に記録される画像の記録枚数を設定する記録枚数設定手段と、を更に備え、前記撮影指示手段により撮影が指示されると、前記設定された記録枚数に達するまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴としている。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
本発明の一実施形態では、撮影終了指示手段を更に備え、前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記設定された記録枚数に達する前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴としている。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
本発明の一実施形態では、撮影指示手段を更に備え、前記撮影指示手段により撮影が指示されると、前記記録媒体の残容量がなくなるまで前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を繰り返すことを特徴としている。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
本発明の一実施形態では、撮影終了指示手段を更に備え、前記撮影指示手段により撮影が指示された後、前記撮影終了指示手段による撮影終了が指示されると、前記記録媒体の残容量がなくなる前に前記撮像手段による撮影動作、及び前記画像処理装置による画像処理を終了させることを特徴としている。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
尚、前記撮影終了指示手段は、前記撮影指示手段と同一の操作手段（シャッターボタン）を共用してもよく、例えば、シャッターボタンが１回押下されると、撮影が指示され、撮影中に再度押下されると、撮影終了が指示されるようにすることができる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
本発明の一実施形態では、音声発生手段を更に備え、前記記録媒体に画像が記録される毎に前記音声発生手段から記録タイミングを知らせる音を発生することを特徴としている。これにより、ユーザは、記録タイミングを確認することができ、どのような表情の顔画像が記録されたかを知ることができる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
本発明の一実施形態では、前記撮像手段によって連続的に撮影された画像を表示する画像表示手段と、前記記録媒体に記録された最新の１乃至複数の画像を、前記画像表示手段の全表示画面の面積よりも小さい面積の縮小画像として前記画像表示手段に表示させる表示制御手段と、を更に備えたこと特徴としている。これにより、ユーザは、記録された画像を確認することができ、表情や構図のバリエーションを考慮したカメラワークを実現することができる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
本発明の一実施形態にて、前記記録媒体に記録可能な最大記録予定枚数と、前記記録媒体に画像が記録される毎に更新される現在の記録枚数とを表示する表示手段を更に備えたことを特徴としている。これにより、ユーザは、記録媒体に記録することができる残りの記録可能枚数を考慮した撮影が可能になる。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
本発明の一実施形態にて、前記記録媒体に画像が記録される毎に更新される現在の記録枚数を表示するとともに、少なくとも現在の記録枚数が前記記録媒体に記録可能な最大記録予定枚数に近づくと、前記現在の記録枚数の表示形態を変化させる表示手段を更に備えたことを特徴とする。これにより、ユーザは、記録媒体に記録することができる残りの記録可能枚数を考慮した撮影が可能になる。尚、現在の記録枚数の表示色を変化させたり、現在の記録枚数を点滅表示させることにより、現在の記録枚数の表示形態を変化させることができる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
また、本発明は、連続的に撮影された画像を順次取得するステップと、前記取得した画像から顔を検出するステップと、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出ステップと、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出するステップと、前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録するステップと、を含み、前記表情変化量算出ステップにて、各顔部品に対応する複数の特徴点を抽出し、前記抽出した特徴点の座標位置を正規化し、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出することを特徴とする画像処理方法を提供する。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】削除
【補正の内容】
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
前記画像処理方法において、記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出するステップと、前記抽出された最良画像候補の画像群から最良画像を選択するステップと、を更に含み、前記選択された最良画像を前記記録媒体に記録することを特徴としている。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
また、本発明は、連続的に撮影された画像を順次取得する機能と、前記取得した画像から顔を検出する機能と、前記取得した毎フレーム若しくは数フレームおきの画像を対象フレームの画像とし、今回の対象フレームの画像から検出された顔と、前回の対象フレームの画像から検出された顔との表情の変化を表す表情変化量を算出する表情変化量算出機能と、前記算出された表情変化量が所定の規定値以上となる対象フレームの画像を抽出する機能と、前記抽出された対象フレームの画像、又は前記抽出された対象フレームの画像の近傍のフレームの画像を記録媒体に記録する機能と、をコンピュータに実現させる画像処理プログラムであって、前記表情変化量算出機能は、各顔部品に対応する複数の特徴点を抽出し、前記抽出した特徴点の座標位置を正規化し、比較する２つの顔に対して前記正規化した特徴点の座標位置間の各距離の総和、又は各距離の自乗の総和に基づいて前記表情変化量を算出することを特徴とする画像処理プログラムを提供する。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】削除
【補正の内容】
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
前記画像処理プログラムにおいて、前記抽出された対象フレームの画像と、該対象フレームの画像の前後少なくとも一方の連続する数フレームの画像とを最良画像候補として抽出する機能と、前記抽出された最良画像候補の画像群から最良画像を選択する機能と、を更にコンピュータに実現させ、前記選択された最良画像を前記記録媒体に記録することを特徴としている。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
表情判断部２６は、上記のようにして求めた表情変化量が所定の閾値以上の場合、対象フレームの前後ｍフレームの画像を最良画像候補として取得し、この画像群から例えば、笑顔らしさを算出し、笑顔らしさが最も大きいフレーム画像を最良画像（ベストショット画像）として抽出する。尚、ベストショット画像の選択等の詳細については後述する。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
続いて、正規化後の対象フレームの特徴点と、笑顔テンプレートの特徴点との各特徴点間距離の差分平均を笑顔らしさのスコアとして算出する（図４（Ｂ），（Ｃ）参照）。尚、差分平均が小さい程、笑顔らしさのスコアは高くなる。