【手続補正書】
【提出日】平成21年12月21日(2009.12.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行する代表顔抽出部を有し、
前記代表顔抽出部は、
画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする画像処理装置。
【請求項２】
前記代表顔抽出部は、
画像フレームから検出された検出顔各々のフレーム内の位置が中心に近いほど高いスコアとした位置スコアを算出し、位置スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記代表顔抽出部は、
画像フレームから検出された検出顔各々のサイズが大きいほど高いスコアとしたサイズスコアを算出し、サイズスコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記代表顔抽出部は、
画像フレームから検出された検出顔各々の顔らしさの評価値が高いほど高いスコアとした顔評価値スコアを算出し、顔評価値スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記代表顔抽出部は、
画像フレームから検出された検出顔の検出顔数が、先行する顔検出フレームにおける検出顔数より増加しているか否かを判定し、増加していることを条件として、検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記代表顔抽出部は、
画像フレームから検出された検出顔各々の個人識別を実行し、先行する顔検出フレームにおける検出顔と異なる人物の顔を優先的にインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記代表顔抽出部は、
画像フレームから検出された検出顔各々の笑顔の度合いを判定し、笑顔の度合いの高いほど高いスコア値とした笑顔スコアを算出し、笑顔スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記代表顔抽出部は、
画像フレームから検出された検出顔各々の子供顔の度合いを判定し、子供顔の度合いの高いほど高いスコア値とした子供顔スコアを算出し、子供顔スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記代表顔抽出部は、
画像フレームから検出された検出顔各々の異なる特徴に基づく複数のスコアを算出し、さらに複数のスコアに基づいて総合スコアを算出して、総合スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記代表顔抽出部は、
選択されたインデックス用の顔画像に対応するメタデータを生成し、記録メディアに対する記録処理を実行する構成であることを特徴とする請求項１〜９いずれかに記載の画像処理装置。
【請求項１１】
前記メタデータには、
インデックス用の顔画像として選択された顔画像に対応するフレーム番号、顔位置情報、顔サイズ情報を含む構成であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記メタデータには、
インデックス用の顔画像として選択された顔画像に対応するスコア情報を含む構成であることを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
撮像部と、
前記撮像部において撮影された動画像データを入力し、入力動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行する代表顔抽出部を有し、
前記代表顔抽出部は、
画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行する構成を有することを特徴とする撮像装置。
【請求項１４】
画像処理装置において実行する画像処理方法であり、
代表顔抽出部が、動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行する代表顔抽出ステップを有し、
前記代表顔抽出ステップは、
画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行するステップを有することを特徴とする画像処理方法。
【請求項１５】
画像処理装置において画像処理を実行させるコンピュータ・プログラムであり、
代表顔抽出部に、動画像データを構成する画像フレームから顔画像領域を検出し、検出した顔画像からインデックス情報とする顔画像を選択する処理を実行させる代表顔抽出ステップを有し、
前記代表顔抽出ステップは、
画像フレームから検出された検出顔各々の特徴に基づくスコアを算出し、スコアの高い検出顔をインデックス用の顔画像として選択する処理を実行するステップを有することを特徴とするコンピュータ・プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
カメラ信号処理部１０３において種々の調整がされた画像データは、代表顔抽出部１１４における顔検出処理およびインデックス用顔選択処理の結果として生成される撮影画像対応のメタデータとともに記録再生部１０４を介して記録メディア１０５に記録される。メタデータには、顔が検出されたフレームの情報、検出された顔領域の位置、サイズ、さらに、後段で説明するスコア情報などが含まれる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
一方、顔インデックス表示領域３０２は、コンテンツインデックス表示領域３０１に表示されたサムネイル画像が属するコンテンツ（動画像データ）から、顔検出処理と、インデックス用顔選択処理の結果得られるメタデータに基づいてインデックスとして選択された顔領域を含むフレームからその顔領域を切り出した顔のサムネイル画像（縮小画像）の一覧画像データが表示される領域である。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
コンテンツインデックス表示領域３０１中のコンテンツインデックス送り／戻しキー３０３ａ，ｂを操作することで、顔インデックス表示領域３０２に表示される顔インデックスも、コンテンツインデックス表示領域３０１に表示されるインデックスに対応して切り替えられることになる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
顔に対する「フレーム内の座標位置」、「サイズ」について、図６を参照して説明する。
顔の「フレーム内の座標位置」は、例えば図６に示すように、フレームの左上端を原点、横方向をＸ、縦方向をＹとして、フレームから検出された顔領域４２１左上端までのオフセットの座標（Ｘ，Ｙ）として求められる。
顔の「サイズ」は、フレームから検出された顔領域４２１のＸ方向の幅と、Ｙ方向の高さとして算出される。
なお、「（顔らしさを表す）顔スコア評価値」は、例えば、「特開２００５−１５７６７９」に記載された技術を用いて実行される顔検出において、人物の顔である確からしさを示す評価値であり、人物の顔であると特定できる特徴量が多い場合には、高い評価値となり、少ない場合は低い評価値となる。なお、この評価値算出処理の詳細は、「特開２００５−１５７６７９」に記載されており、本発明においても、この開示技術を適用して「（顔らしさを表す）顔スコア評価値」を算出する。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
また、距離スコア算出フレーム４５１の顔［Ｐ３（ｔ）］の距離スコアは、
Ｐ３（ｔ）：距離スコア=（１００＋１００）＝２００
となる。（１００＋１００）の先の１００は、距離スコア算出フレーム４５１の顔［Ｐ３（ｔ）］は、参照フレーム４６１である前回の処理フレーム（Ｔ−１）の検出顔［Ｐ１（ｔ−１）に最も近い位置にないという条件に基づいて設定されたスコア［１００］であり、（１００＋１００）の後の１００は、距離スコア算出フレーム４５１の顔［Ｐ３（ｔ）］は、参照フレーム４６１である前回の処理フレーム（Ｔ−１）の検出顔［Ｐ２（ｔ−１）に最も近い位置にないという条件に基づいて設定されたスコア［１００］である。距離スコア算出フレーム４５１の顔［Ｐ３（ｔ）］の距離スコアは、これらのスコア［１００］と［１００］の加算値として、算出され、
Ｐ３（ｔ）：距離スコア=（１００＋１００）＝２００
となる。