(57)【要約】【課題】画像ファイル群や動画データの内容を容易に認識することを可能にする。【解決手段】デジタルカメラ１０のメイン制御部２５では、顔画像抽出部６１によって各画像データから顔画像を抽出し、この顔画像データから特徴量算出部６２によって特徴量を算出する。特徴量比較判定部６３によって、特徴量の分布を示すマップを作成して比較判定を行って同一人物のグループを判定し、さらに代表画像決定部６４によって最も出現頻度の高いグループの中から特徴量が中心値の顔画像を代表画像として決定する。代表画像決定部６４で決定された代表画像は、対応する画像ファイル群と関連付けした情報とともにメモリカード２１に保存する。【選択図】図３
2007174378.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系と、この撮影光学系から入射する被写体光を光電変換して撮像信号を出力する撮像素子と、この撮像素子から出力された撮像信号を信号処理して画像データを生成する信号処理手段と、前記画像データをイベント毎にグループ化した画像ファイル群として記憶媒体に保存するデータ書き込み手段とを備えたデジタルカメラにおいて、
前記画像データから画像内における顔画像を抽出する顔画像抽出手段と、この顔画像抽出手段によって抽出された顔画像の特徴量を算出する特徴量算出手段と、同じ前記画像ファイル群内の前記顔画像から取得された前記特徴量を比較し、これらの特徴量が近似する前記顔画像は同一人物であると判定する特徴量比較判定手段と、この特徴量比較判定手段によって同一人物であると判定された前記顔画像のうち、最も出現頻度が多いものを代表画像として決定し、この代表画像に基づく代表画像データを前記画像ファイル群と関連付けて保存する代表画像決定手段とを備えたことを特徴とするデジタルカメラ。
【請求項２】
画像を再生表示する表示手段を備えており、前記画像ファイル群に対応する前記代表画像を前記表示手段に表示して前記画像ファイル群の選択操作を行うことを特徴とする請求項１記載のデジタルカメラ。
【請求項３】
複数の画像データを取得して、これらの複数の画像データをイベント毎にグループ化した画像ファイル群を作成して記憶媒体に保存する撮像装置の画像ファイリング処理プログラムにおいて、
前記画像データから画像内における顔画像を抽出する顔画像抽出処理と、抽出された顔画像の特徴量を算出する特徴量算出処理と、同じ前記画像ファイル群内における顔画像の前記特徴量を比較して、特徴量が近似する前記顔画像を同一人物であると判定する特徴量比較判定処理と、この特徴量比較判定処理によって同一人物であると判定された顔画像のうち、最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記画像ファイル群と関連付けて前記記憶媒体に保存する代表画像決定処理とを撮像装置に行わせることを特徴とする撮像装置の画像ファイリング処理プログラム
【請求項４】
複数の画像データをイベント毎にグループ化した画像ファイル群を作成してファイリングする画像ファイリング方法において、
前記画像データから画像内における顔画像を抽出する顔画像抽出工程と、前記顔画像から特徴量を算出する特徴量算出工程と、同じ画像ファイル群内における顔画像の前記特徴量を比較し、特徴量が近似する顔画像を同一人物として判定する特徴量比較判定工程と、同一人物であると判定された前記顔画像のうち、前記画像ファイル群の中で最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記画像ファイル群と関連付けて保存する代表画像決定工程とを有することを特徴とする画像ファイリング方法。
【請求項５】
複数の画像データを取得し、イベント毎にグループ化した画像ファイル群を作成して記憶媒体に保存する画像ファイリング処理をコンピュータに実行させるための画像ファイリング処理プログラムにおいて、
前記画像データから画像内における顔画像を抽出する顔画像抽出処理と、前記顔画像から特徴量を算出する特徴量算出処理と、同じ画像ファイル群内における顔画像の前記特徴量を比較し、特徴量が近似する顔画像を同一人物であると判定する特徴量比較判定処理と、同一人物であると判定された前記顔画像のうち、前記画像ファイル群の中で最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記画像ファイル群と関連付けて保存する代表画像決定処理とを前記コンピュータに実行させることを特徴とする画像ファイリング処理プログラム。
【請求項６】
複数の動画データをファイリングする画像ファイリング方法において、
前記動画データを構成するフレーム画像から顔画像を抽出する顔画像抽出工程と、前記顔画像から特徴量を算出する特徴量算出工程と、同じ動画データ内における顔画像の前記特徴量を比較し、特徴量が近似する顔画像を同一人物として判定する特徴量比較判定工程と、同一人物であると判定された前記顔画像のうち、前記動画データの中で最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記動画データと関連付けて保存する代表画像決定工程とを有することを特徴とする画像ファイリング方法。
【請求項７】
複数の動画データを取得して記憶媒体に書き込み、且つ記憶媒体から動画データを読み出して動画を再生する動画記録再生装置において、
前記動画データを構成するフレーム画像から顔画像を抽出する顔画像抽出手段と、抽出された顔画像の特徴量を算出する特徴量算出手段と、前記動画データ内における全ての顔画像の特徴量を比較して、特徴量が近似する前記顔画像を同一人物であると判定する特徴量比較判定手段と、この特徴量比較判定部によって同一人物であると判定された顔画像のうち、最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記動画データと関連付けて前記記憶媒体に保存する代表画像決定手段とを備えたことを特徴とする動画記録再生装置。
【請求項８】
複数の動画データを取得して記憶媒体に記憶する画像ファイリング処理をコンピュータに実行させるための画像ファイリング処理プログラムにおいて、
前記動画データを構成するフレーム画像から顔画像を抽出する顔画像抽出処理と、抽出された顔画像の特徴量を算出する特徴量算出手段と、前記動画データ内における全ての顔画像の特徴量を比較して、特徴量が近似する前記顔画像を同一人物であると判定する特徴量比較判定処理と、この特徴量比較判定処理によって同一人物であると判定された顔画像のうち、前記動画データ内で最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記動画データと関連付けて保存する代表画像決定処理とをコンピュータに実行させることを特徴とする画像ファイリング処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像データをファイリングする画像ファイリング方法、デジタルカメラ、画像ファイリング処理プログラム及び動画記録再生装置に関する。
【背景技術】
【０００２】
ＣＣＤイメージセンサなどの撮像素子によって取得した撮像信号は、信号処理が施されて画像データとなりメモリカードなどの記憶媒体に記憶される。また、近年では、静止画の画像データだけではなく動画もデジタルデータとしてＤＶＤディスクなどの大容量記憶媒体に保存することも多くなってきている。このようにして画像データを記憶する場合、後から画像を再生、消去、あるいは外部機器や別のメディアなどにデータ転送する際には、ユーザーの利便性を考慮して複数の画像データを整理して保存しておく場合が多い。
【０００３】
例えば特許文献１に記載されている顔認識に基づいたデジタル媒体の整理方法では、複数のデジタル写真（画像データ）から顔の画像を検出し、検出された顔に基づいてデジタル写真（画像データ）を整理分類している。
【０００４】
一方、実際に複数の画像データを使用するときに最も使い勝手のよい整理の仕方は、撮影時のイベント、例えば旅行や、行事及びそれらの日付などが入ったイベント名を画像データに付して、同じイベント毎にグループ化して画像ファイル群として使用するファイリング方法である。そして、特許文献２，３は、このような画像ファイリング方法に適した構成が記載されている。
【０００５】
特許文献２に記載されているコンピュータソフトウェアプログラムでは、異なる状況下である期間にわたり撮影された画像データについて、予め設定された基準に従って整理しており、例えば、予め設定されたカテゴリの中から選択して、あるいは、ユーザーがカスタマイズしたカテゴリに基づいて画像データをグループ化している。
【０００６】
特許文献３に記載されている画像情報処理方法及びその装置では、階層化ツリー構造のファイルシステムで、一画像を一ファイルに割り当てて、さらに画像データのグループに共通のディレクトリ名を割り当てており、このファイルシステムを用いて画像処理などを行うとき、所望のディレクトリに所属する各ファイルの画像データの縮小画像（サムネイル画像）や、所望のディレクトリに所属する別のディレクトリ（すなわち所望のディレクトリの下位層に位置するディレクトリ）のうちの１つのファイルの画像データの縮小画像（サムネイル画像）を表示する構成としている。
【特許文献１】特開２００５−１７４３０８号公報
【特許文献２】特開２００２−２１６１０４号公報
【特許文献３】特開平１０−４００６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献２，３記載の構成では、画像が整理された状態にあるとしても、ユーザーがそれを容易に認識することができず、画像を利用する際に所望の画像を探すことが困難であったり、イベント名だけを見ても内容が思い出せない場合もあった。さらに特許文献３では、画像ファイル群に所属する１つのサムネイル画像を表示する構成としているが、このようなサムネイル画像は画像ファイル群の一番最初に記憶されている画像データのサムネイル画像が使用されることが多く、一番最初の画像データだけでは、イベントの内容自体を把握できないことがある。また、上記特許文献１記載の構成では、各画像データから顔画像を検出しているものの、その顔画像に基づく分類の下にイベント名などのカテゴリ分類が位置しており、顔画像からイベントの内容を認識することができない。
【０００８】
本発明は、上記事情を考慮してなされたものであり、グループ化された画像ファイル群、あるいは動画データの内容をユーザーが容易に認識することができ、利便性を向上させることが可能な画像ファイリング装置、デジタルカメラ、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明のデジタルカメラは、撮影光学系と、この撮影光学系から入射する被写体光を光電変換して撮像信号を出力する撮像素子と、この撮像素子から出力された撮像信号を信号処理して画像データを生成する信号処理手段と、前記画像データをイベント毎にグループ化した画像ファイル群として記憶媒体に保存するデータ書き込み手段とを備えたデジタルカメラにおいて、前記画像データから画像内における顔画像を抽出する顔画像抽出手段と、この顔画像抽出手段によって抽出された顔画像の特徴量を算出する特徴量算出手段と、同じ前記画像ファイル群内の前記顔画像から取得された前記特徴量を比較し、これらの特徴量が近似する前記顔画像は同一人物であると判定する特徴量比較判定手段と、この特徴量比較判定手段によって同一人物であると判定された前記顔画像のうち、最も出現頻度が多いものを代表画像として決定し、この代表画像に基づく代表画像データを前記画像ファイル群と関連付けて保存する代表画像決定手段とを備えたことを特徴とする。なお、画像を再生表示する表示手段を備えており、前記画像ファイル群に対応する前記代表画像を前記表示手段に表示して前記画像ファイル群の選択操作を行うことが好ましい。
【００１０】
請求項３の画像ファイリング処理プログラムでは、複数の画像データを取得して、これらの複数の画像データをイベント毎にグループ化した画像ファイル群を作成して記憶媒体に記憶する撮像装置の画像ファイリング処理プログラムにおいて、前記画像データから画像内における顔画像を抽出する顔画像抽出処理と、抽出された顔画像の特徴量を算出する特徴量算出処理と、同じ前記画像ファイル群内における顔画像の前記特徴量を比較して、特徴量が近似する前記顔画像を同一人物であると判定する特徴量比較判定処理と、この特徴量比較判定処理によって同一人物であると判定された顔画像のうち、最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記画像ファイル群と関連付けて前記記憶媒体に保存する代表画像決定処理とを撮像装置に行わせることを特徴とする。
【００１１】
請求項４記載の画像ファイリング方法では、複数の画像データをイベント毎にグループ化した画像ファイル群を作成してファイリングする画像ファイリング方法において、前記画像データから画像内における顔画像を抽出する顔画像抽出工程と、前記顔画像から特徴量を算出する特徴量算出工程と、同じ画像ファイル群内における顔画像の前記特徴量を比較し、特徴量が近似する顔画像を同一人物として判定する特徴量比較判定工程と、同一人物であると判定された前記顔画像のうち、前記画像ファイル群の中で最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記画像ファイル群と関連付けて保存する代表画像決定工程とを有することを特徴とする。
【００１２】
請求項５記載の画像ファイリング処理プログラムでは、複数の画像データを取得し、イベント毎にグループ化した画像ファイル群を作成して記憶媒体に保存する画像ファイリング処理をコンピュータに実行させるための画像ファイリング処理プログラムにおいて、前記画像データから画像内における顔画像を抽出する顔画像抽出処理と、前記顔画像から特徴量を算出する特徴量算出処理と、同じ画像ファイル群内における顔画像の前記特徴量を比較し、特徴量が近似する顔画像を同一人物であると判定する特徴量比較判定処理と、同一人物であると判定された前記顔画像のうち、前記画像ファイル群の中で最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記画像ファイル群と関連付けて保存する代表画像決定処理とを前記コンピュータに実行させることを特徴とする。
【００１３】
請求項６記載の画像ファイリング方法では、複数の動画データをファイリングする画像ファイリング方法において、前記動画データを構成するフレーム画像から顔画像を抽出する顔画像抽出工程と、前記顔画像から特徴量を算出する特徴量算出工程と、同じ動画データ内における顔画像の前記特徴量を比較し、特徴量が近似する顔画像を同一人物として判定する特徴量比較判定工程と、同一人物であると判定された前記顔画像のうち、前記動画データの中で最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記動画データと関連付けて保存する代表画像決定工程とを有することを特徴とする。
【００１４】
請求項７記載の動画記録再生装置では、動画データを取得して記憶媒体に書き込み、且つ記憶媒体から動画データを読み出して動画を再生する動画記録再生装置において、前記動画データを構成するフレーム画像から顔画像を抽出する顔画像抽出手段と、抽出された顔画像の特徴量を算出する特徴量算出手段と、前記動画データ内における全ての顔画像の特徴量を比較して、特徴量が近似する前記顔画像を同一人物であると判定する特徴量比較判定手段と、この特徴量比較判定部によって同一人物であると判定された顔画像のうち、最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記動画データと関連付けて前記記憶媒体に保存する代表画像決定手段とを備えたことを特徴とする。
【００１５】
複数の動画データを取得して記憶媒体に記憶する画像ファイリング処理をコンピュータに実行させるための画像ファイリング処理プログラムにおいて、前記動画データを構成するフレーム画像から顔画像を抽出する顔画像抽出処理と、抽出された顔画像の特徴量を算出する特徴量算出手段と、前記動画データ内における全ての顔画像の特徴量を比較して、特徴量が近似する前記顔画像を同一人物であると判定する特徴量比較判定処理と、この特徴量比較判定処理によって同一人物であると判定された顔画像のうち、前記動画データ内で最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを前記動画データと関連付けて保存する代表画像決定処理とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、画像データから画像内における顔画像を抽出する顔画像抽出処理と、抽出された顔画像の特徴量を算出する特徴量算出処理と、同じ画像ファイル群内における顔画像の前記特徴量を比較して、特徴量が近似する顔画像を同一人物であると判定する特徴量比較判定処理と、この特徴量比較判定処理によって同一人物であると判定された顔画像のうち、最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを画像ファイル群と関連付けて記憶媒体に保存する代表画像決定処理とを実行しているので、画像ファイル群の内容を容易に認識することが可能であり、利便性が向上する。
【００１７】
また、本発明では、動画データを構成するフレーム画像から顔画像を抽出する顔画像抽出処理と、抽出された顔画像の特徴量を算出する特徴量算出手段と、動画データ内における全ての顔画像の特徴量を比較して、特徴量が近似する顔画像を同一人物であると判定する特徴量比較判定処理と、この特徴量比較判定処理によって同一人物であると判定された顔画像のうち、動画データ内で最も出現頻度の高いものを代表画像として決定し、この代表画像に基づく代表画像データを動画データと関連付けて保存する代表画像決定処理とを実行しているので、動画データの内容を容易に認識することが可能であり、利便性が向上する。
【発明を実施するための最良の形態】
【００１８】
本発明を適用したデジタルカメラについて図１及び図２に示すデジタルカメラ１０は、略直方体形状のカメラ本体１１の前面に、撮影レンズ１２と、ストロボ発光部１３とが設けられている。また、カメラ本体１１の背面には、画像を表示する表示手段であるＬＣＤ１５、及び操作ボタン１６、カーソルボタン１７が設けられている。また、カメラ本体１１の上面には、レリーズボタン１８と、電源ボタン１９とが設けられている。さらに、カメラ本体１１の右側面には、画像データなどが記憶されるメモリカード２１が着脱自在に装填されるスロット２２が設けられている。
【００１９】
次にデジタルカメラ１０の電気的構成について説明する。図３に示すように、デジタルカメラ１０には、各部を統括的に制御するメイン制御部２５を備えている。メイン制御部２５は、ＣＰＵ３０を主構成要素とし、画像の撮影、記録、再生、消去及びデータ転送など各種制御プログラムに基づいて制御を実行する。ＣＰＵ３０には、記憶手段であるＲＯＭ２７、ＲＡＭ２８が設けられている。ＲＯＭ２７には、各種制御プログラム、及び各種制御用のデータとともに、後述する画像ファイリング処理プログラムＰＧ１が記憶されている。また、ＲＡＭ２８には、作業用データが一時的に記憶される。
【００２０】
撮影レンズ１２の背後には、撮影レンズ１２を透過した被写体光を撮像する撮像手段であるＣＣＤイメージセンサ３１が配置されている。撮影レンズ１２は、固定レンズ１２ａ、ズームレンズ１２ｂ及びフォーカスレンズ１２ｃからなり、ズームレンズ１２ｂ及びフォーカスレンズ１２ｃは、ズームレンズ駆動モータ３２及びフォーカスレンズ駆動モータ３３の駆動によってそれぞれ移動される。また、ＣＣＤイメージセンサ３１の前方には、絞り機構３４が配置されている。絞り機構３４は、絞り駆動モータ３６の駆動によってＦ値（絞り値）が切り換えられる。
【００２１】
ズーム駆動モータ３２、フォーカス駆動モータ３３、及び絞り駆動モータ３６は、ドライバ３９、４０、４１にそれぞれ接続されており、これらのドライバ３９〜４１を介してメイン制御部２５によって駆動を制御されている。
【００２２】
ＣＣＤイメージセンサ３１には、ＣＣＤドライバ４３が接続されている。ＣＣＤドライバ４３は、タイミングジェネレータ４４から入力されるクロックパルスに応じて、垂直駆動信号及び水平駆動信号をＣＣＤイメージセンサ３１に入力して、ＣＣＤイメージセンサ３１を駆動する。また、タイミングジェネレータ４４は、ＣＰＵ３０に接続されており、メイン制御部２５は、このタイミングジェネレータ４４を制御して、クロックパルスを発生させることによってＣＣＤイメージセンサ３１の駆動を制御する。
【００２３】
また、ＣＣＤイメージセンサ３１には、相関二重サンプリング回路（ＣＤＳ）４５、及びアンプ（ＡＭＰ）４６が接続されている。これらによって、ＣＣＤイメージセンサ３１から出力された撮像信号に対して、ノイズの除去や増幅が施される。
【００２４】
その後、ノイズの除去や増幅が施された撮像信号が、Ａ／Ｄ変換器４７によってアナログ信号からデジタル信号に変換されて、画像入力コントローラ４８に画像データとして出力される。
【００２５】
画像入力コントローラ４８は、データバス４９を介してＣＰＵ３０に接続されており、メイン制御部２５によって制御される。また、画像入力コントローラ４８には、データバス４９を介してバッファメモリ５０、及びビデオメモリ５１が接続されている。メイン制御部２５は、画像入力コントローラ４８を制御して、画像データをバッファメモリ５０またはビデオメモリ５１に記憶させる。
【００２６】
また、ＣＰＵ３０には、データバス４９を介して画像信号処理回路５２が接続されており、撮像された高解像度の画像データがバッファメモリ５０に一時的に記憶されている間に、画像データに対して階調変換、ホワイトバランス補正、γ補正等の各種画像処理、及びＹＣ変換処理等を施す。
【００２７】
ビデオメモリ５１には、ＬＣＤ１５に画像を表示させる際に、解像度の低い画像データが一時的に記憶され、画像信号処理回路５２によって簡易な画像処理と簡易なＹＣ変換処理等が施される。このビデオメモリ５１に記憶された画像データは、データバス４９を介してＬＣＤドライバ５３に送信される。ＬＣＤドライバ５３は、画像データに対して信号処理を施して、画像をＬＣＤ１５に表示させる。
【００２８】
また、ＣＰＵ３０には、データバス４９を介して、圧縮伸張処理回路５４、及びメディアコントローラ（データ書き込み手段）５５が接続されている。圧縮伸張処理回路５４は、バッファメモリ５０に記憶された画像データに対してＪＰＥＧ方式等の圧縮形式により圧縮処理を施す。メイン制御部２５は、メディアコントローラ（データ書き込み手段）５５を制御して、圧縮処理された画像データ、及び後述する管理情報などをメモリカード５６に記憶させる。また、圧縮伸張処理回路５４は、メモリカード５６に記憶された画像データを再生する際に、圧縮された画像データに対して伸張処理を行う。
【００２９】
さらに、ＣＰＵ３０には、データバス４９を介して、ストロボ装置５７、時計回路５８が接続されている。メイン制御部２５は、ストロボ装置５７を制御することによって、ストロボ発光部１３からストロボ光を被写体に向けて放射させる。また、時計回路５８によって出力された日付は、後述するイベント名入力のときに、画像ファイル群を示すイベント名とともに管理情報ファイル７６（図６参照）に保存される。
【００３０】
本実施形態では、メイン制御部２５は、画像ファイリング処理プログラムＰＧ１を実行することによって、顔画像抽出部６１、特徴量算出部６２、特徴量比較判定部６３、代表画像決定部６４として機能する。
【００３１】
顔画像抽出部６１は、メモリカード５６に記憶された複数の画像データから画像内における顔画像を抽出する顔画像抽出処理を行う。顔画像の抽出方法としては、例えば、予め設定された顔や眼の画像などとマッチングを行うことなどによって抽出する。
【００３２】
特徴量算出部６２は、顔画像抽出部６１で抽出された顔画像から特徴量を算出する特徴量算出処理を行う。特徴量としては、例えば、図４に示すように、顔画像６５の縦長Ｈに対する横幅Wの比（Ｗ／Ｈ）や、顔画像６５の縦長Hに対する口の位置Ｌの比（Ｌ／Ｈ）、あるいは、顔画像の横幅Ｗに対する眼の間隔Ｇの比（Ｇ／Ｗ）、また肌色と黒色（髪の色）との比率や、顔の面積に対する眼の面積の比率など、顔画像の特徴を数値化できるものであればよい。
【００３３】
図５は、複数の画像データについて、特徴量の算出を行って、その算出値の分布をマップ化したものである。なお、本実施形態においては、上述したような特徴量のなかから２つの特徴量Ａ，Ｂを算出しており、横軸は特徴量Ａ、縦軸は特徴量Ｂを示す。
【００３４】
特徴量比較判定部６３は、同じ画像ファイル群内から抽出された顔画像の特徴量Ａ，Ｂを比較し、特徴量Ａ，Ｂが近似する顔画像を同一人物として判定する特徴量比較判定処理を行う。この特徴量Ａ，Ｂの近似による同一人物の判定方法としては例えば、図５に示すように、予め設定した半径Ｒの近似範囲を使用し、この半径Ｒの近似範囲内に収まる特徴量Ａ，Ｂを有する顔画像を同一人物のグループ（実線６６，点線６７，６８で囲まれた部分）として判定する。
【００３５】
代表画像決定部６４は、上述のようにして同一人物であると判定された顔画像のうち、最も出現頻度の高いものを代表画像として決定する代表画像決定処理を行う。図５に示す例では、実線で囲まれた同一人物のグループ６６内にある顔画像の出現頻度が最も高いため、このグループ６６内にある顔画像が代表画像として決定される。なお、これら出現頻度の高いグループ６６内にある顔画像の中から１つの代表画像を決定するときには、例えば特徴量A，Ｂがグループ６６の中心値に位置する顔画像（図５の符号６６ａで示す特徴量A，Ｂを有する顔画像）を選択する。
【００３６】
そして、代表画像決定部６４で決定された代表画像は、対応する画像ファイル群に関連付けされてメモリカード２１に保存される。このような代表画像を保存するときには、図６に示すようなファイル構造となる。メモリカード２１のルートディレクトリ７１には、画像フォルダ７２と、管理フォルダ７３とが設けられており、画像フォルダ７２内には、イベント毎にグループ化された各画像ファイル群７４ａ〜７４ｃが保存されており、管理フォルダ７３には、管理情報ファイル７６及び代表画像７７ａ〜７７ｃが保存される。代表画像７７ａ〜７７ｃはそれぞれ、画像ファイル群７４ａ〜７４ｃに対応しており、これらが関連付けされていることを示す情報が管理情報ファイル７６に書き込まれている。なお、図６では、３つの画像ファイル群７４ａ〜７４ｃについて図示しているが、画像ファイル群の数はこれに限るものではない。
【００３７】
上記構成の作用について図７に示すフローチャートに沿って説明する。デジタルカメラ１０で撮影を行うときには、先ず、デジタルカメラ１０の電源をオン状態にして撮影モードを選択すると、図８（Ａ）に示すイベント名入力画面８０が表示される。このイベント名入力画面８０では、例えば、前回撮影したときに入力したイベント名である「２００５／４／１５旅行」の続き、という選択肢８１があり、さらにこれとは別の複数の選択肢８２ａ〜８２ｄとして「同窓会」「旅行」「花見」「誕生日」などのイベント名が表示される。なお、これらの選択操作を行うとき、該当するイベント名の選択肢８１，８２ａ〜８２ｄの周囲に太線枠８３が表示されており、カーソルボタン１７を上下方向に操作することによって、太線枠８３が移動するようになっている。また、イベント名の数としては上述したものに限らず、より多くのイベント名を設定し、画面をスクロールすることによってイベント名が全て表示できるようにすればよい。そしてユーザーはカーソルボタン１７を操作してこれらの選択肢のうちのいずれかを選択し、操作ボタン１６を押して所望のイベント名に決定する。
【００３８】
そしてイベント名の入力を終えると、イベント名入力画面８０から、図８（Ｂ）に示すビューファインダ画面８２に切り換わる。ビューファインダ画面８２には、スルー画像が表示されるとともにイベント名入力画面８０で入力したイベント名８３が表示される。なお、このイベント名８３が入力されたとき、時計回路５８から出力された日付８４を管理情報ファイル７６に保存し、イベント名８３とともに日付８４を表示する。ユーザーは、ビューファインダとしてのＬＣＤ１５を見ながらレリーズボタン１８を押圧操作して撮影を行う。そして、撮影が行われると、画像データがメモリカード２１に記憶される。また、別の撮影機会が訪れた際には、また別のイベント名を入力して撮影を行い、画像データ及びイベント名がメモリカード２１に記憶される。このようにして撮影された画像データは、それぞれ１つずつの画像ファイルが割り当てられ、さらにこれらの画像ファイルがイベント毎にグループ化され、画像ファイル群が作成される。
【００３９】
撮影実行後、画像ファイル群が作成されると、メイン制御部２５では、先ず、上述したように、顔画像抽出部６１によって各画像データから顔画像を抽出する。さらに、この顔画像データから特徴量算出部６２によって特徴量Ａ，Ｂが算出され、これらの特徴量Ａ，Ｂが管理情報ファイル７６に書き込まれる。そして、画像ファイル群の全ての画像データに対して、全ての顔画像の抽出、特徴量の算出、及び管理情報ファイル７６への特徴量Ａ，Ｂの書き込みが行われる。なお、画像データから顔画像が抽出されなかった場合、上述した特徴量Ａ，Ｂの代わりに顔画像が無いという情報を管理情報ファイル７６に書き込む。
【００４０】
次に撮影モードが解除されると、メイン制御部２５は、これまで撮影された画像ファイル群の中で顔画像が抽出されたか否かを判定し、顔画像の抽出があった場合には、特徴量比較判定部６３によって、特徴量Ａ，Ｂの分布を示すマップを作成して比較判定を行う。そして、この特徴量Ａ，Ｂの比較から同一人物のグループが判定され、さらに代表画像決定部６４によって最も出現頻度の高いグループの中から特徴量Ａ，Ｂが中心値の顔画像が代表画像として決定される。そして、代表画像決定部６４で決定された代表画像は、少なくとも顔画像を含む範囲で切り抜かれた代表画像データとなり管理フォルダに保存され、同時にこの代表画像データと対応する画像ファイル群とを関連付けする情報が管理情報ファイル７６に書き込まれる。なお、画像ファイル群の中で顔画像の抽出が無かった場合には、顔画像の比較判定は行われず、画像ファイル群で一番最初に撮影された画像データを代表画像として管理フォルダに保存する。
【００４１】
上述のようにして、画像ファイリング処理された画像ファイル群を再生するときのシーケンスを図９に示すフローチャートに沿って説明する。先ず、再生モードを選択すると、メイン制御部２５は、メモリカード２１から管理情報ファイル７６を読み込み、図１０（Ａ）に示すようなイベント名リスト画面８５がＬＣＤ１５に表示される。イベント名リスト画面８５では、複数の画像ファイル群を示すイベント名８６ａ〜８６ｃ及びそれに対応する代表画像８７ａ〜８７ｃとがセットになったイベントメニュー８８ａ〜８８ｃ（矩形状の枠内）がそれぞれ表示される。ユーザーはカーソルボタン１７を操作してこれらのうちの１つを選択する。なお、このカーソルボタン１７による選択操作をするとき、図１０（Ａ）及び図１０（Ｂ）に示すように該当するイベントメニュー８８ａ〜８８ｃの周囲が太線枠８９で表示されるようになり、カーソルボタン１７を上下方向に操作することによって太線枠８９の位置が変更される。そして、所望の画像ファイル群を示すイベントメニュー８８ａ〜８８ｃが太線枠８９で囲まれている状態で操作ボタン１６を押して選択入力を決定する。
【００４２】
ユーザーによって所望の画像ファイル群が選択されると、メイン制御部２５は、ＬＣＤ１５の表示をイベント名リスト画面８５（図１０（Ａ）及び図１０（Ｂ））から画像一覧表示画面９０（図１０（Ｃ）及び図１０（Ｄ））に切り換える。なお、図１０（Ａ）のイベント名リスト画面８５で選択決定すると、図１０（Ｃ）の画像一覧表示画面９０となり、図１０（Ｂ）のイベント名リスト画面８５で選択決定すると図１０（Ｄ）の画像一覧表示画面９０となる。画像一覧表示画面９０では、画像ファイル群内の画像を複数のサムネイル画像９０ａで表示し、ユーザーはこれらのサムネイル画像を見ながらカーソルボタン１７を操作して画像を選択し、操作ボタン１６を押して画像選択を決定する。そして、選択された画像がＬＣＤ１５に大きく表示される。なお、このような選択操作を行うとき、例えば図１０（Ｃ）に示す一覧表示画面９０の中に所望の画像がない場合にはキャンセル操作をして図１０（Ａ）に示すイベント名リスト画面（イベントメニュー８８ａで示す画像ファイル群が選択された状態）に戻る。そして再度、画像ファイル群の選択を行い、例えば、図１０（Ｂ）に示すように別のイベントメニュー８８ｂで示す画像ファイル群を選択決定すると、図１０（Ｄ）に示す別の画像一覧表示画面９０が表示される。
【００４３】
このようにしてユーザーはイベント名とともに代表画像を見て画像ファイル群を選択することができるので、画像ファイル群の内容を容易に認識することが可能であり、画像ファイル群の選択にかかる手間や時間が短縮されるため利便性が向上する。
【００４４】
なお、上記実施形態においては、デジタルカメラに本発明を適用しているがこれに限るものではなく、デジタルカメラなどの撮像装置によって画像データを取得した後、その画像データを撮像装置から転送して使用するパーソナルコンピュータなどにも適用することができる。以下で説明する本発明の第２実施形態では、画像ファイリング装置としてのパーソナルコンピュータに本発明を適用した例を説明する。このパーソナルコンピュータ（以下ＰＣと称する。）１００は、図１１に示すように、主構成要素としてＣＰＵ１０３を有するメイン制御部１０２を備えている。ＣＰＵ１０３には、画像データ読み取り部１０５，画像表示部１０５，操作パネル１０６が接続されている。画像データ読み取り部１０４は、メモリカードなどの記録メディアから画像データを読み取るためのコネクタ、及びＣＤ等の光ディスクから画像データを読み取るためのディスクドライブ等から構成される。画像表示部１０５は、液晶ディスプレイなどを備え、画像データとして読み取られた静止画等を表示する。操作パネル１０６は、ユーザーの入力操作を検知し、その操作信号をＣＰＵ１０３に送る。
【００４５】
ＲＯＭ１０１には、画像ファイリング処理プログラムＰＧ２等が記憶されている。ＲＡＭ１０７には、画像データ読み取り部１０４から読み取られた画像データ等が一時的に記憶される。メイン制御部１０２は、画像ファイリング処理プログラムＰＧ２を実行することによって、顔画像抽出部１１１、特徴量算出部１１２、特徴量比較判定部１１３、代表画像決定部１１４として機能する。
【００４６】
上記構成の作用について以下に説明する。パーソナルコンピュータ１００の電源をオン状態にし、画像データ読み取り部１０４にメモリカード又は光ディスクなどをセットすると、メイン制御部１０２がこれを検知し、記憶された静止画の画像データを読み出す。読み出された画像データは、ＲＡＭ１０７にコピーされる。なお、画像ファイリング処理プログラムＰＧ２は、画像データ読み取り部１０４による画像データ読み取りの前に起動状態としていてもよいし、画像データの読み取りを契機として起動状態となる設定にしてもよい。そして、メイン制御部１０２は、読み出した画像データに対して画像ファイリング処理を行う。以降は上記第１実施形態と同様に、先ず、顔画像抽出部１１１によって各画像データから顔画像が抽出される。さらに、この顔画像データから特徴量算出部１１２によって特徴量が算出される。そして、画像ファイル群の全ての画像データに対して、全ての顔画像の抽出、特徴量の算出が行われる。次にメイン制御部１０２は、特徴量比較判定部１１３によって、特徴量の分布を示すマップを作成して比較を行う。そして、この特徴量の比較から同一人物が判定され、さらに代表画像決定部１１４によって最も出現頻度の高いグループの中から１つの顔画像が代表画像として決定される。そして、この代表画像に基づく代表画像データがＲＡＭ１１７に保存されるとともに、画像ファイル群に関連付けされた情報がＲＡＭ１１７に保存される。なお、代表画像が決定された後は、画像ファイル群を示すイベント名とともに代表画像を表示するようにしてもよいし、メモリカードの管理フォルダに代表画像を保存するとともに画像ファイル群との関連付けを管理情報ファイルに書き込ませるようにしてもよい。このようにして、イベント名とともに代表画像を画像ファイル群と関連付けて保存しているので、画像再生のときにユーザーが内容を容易に認識することができる。
【００４７】
なお、上記第１及び第２実施形態においては、主に静止画の画像データを取得してファイリングするデジタルカメラを含む撮像装置や、パーソナルコンピュータなどの画像ファイリング装置に本発明を適用しているが、これに限るものではない。以下で説明する本発明の第３実施形態では、動画データを取得して記録し、またその動画を再生する画像記録再生装置に本発明を適用した例を説明する。図１２において、本発明の第３実施形態を適用した画像記録再生装置としてのＤＶＤレコーダ１２０は、各部を統括的に制御するメイン制御部１２１を備えている。メイン制御部１２１は主にＣＰＵ１２２から構成され、ＲＯＭ１２３に記憶された画像ファイリング用プログラムＰＧ３を実行する。さらに、ＣＰＵ１２２には、データバス１２４を介して画像入力コントローラ１２６、画像信号処理回路１２７、圧縮処理回路１２８、ビデオエンコーダ１２９、三次元ＹＣ検出回路１３１、ＳＤＲＡＭ１３２、メディアコントローラ１３４等が接続されている。
【００４８】
さらに、ＤＶＤレコーダ１２０は、チューナー１３６と、チューナー１３６及び画像入力コントローラ１２６に接続されたＡ／Ｄ変換回路１３７を設けている。チューナー１３６は、アンテナ１３６ａによってテレビ放送などの電波を受信し、ユーザーが選択した放送局に応じた受信信号を映像信号に変換してＡ／Ｄ変換回路１３７へ送信する。Ａ／Ｄ変換回路１３７では、アナログの映像信号がデジタルの動画データに変換されて、画像入力コントローラ１２６へと送られる。
【００４９】
画像入力コントローラ１２６は、データバス１２４を介してＣＰＵ１２２に接続されており、メイン制御部１２１によって制御される。メイン制御部２５は、画像入力コントローラ１２６を制御して、動画データをＳＤＲＡＭ１３２に一時記憶させる。
【００５０】
画像信号処理回路１２７では、ＳＤＲＡＭ１３２に一時記憶された動画データに対して階調変換、ホワイトバランス補正、γ補正等の各種画像処理、及びＹＣ変換処理等を施す。また、三次元ＹＣ検出回路１３１は、輝度信号及び色信号から動き検出を行ってノイズの低減などを行う。
【００５１】
ビデオエンコーダ１２９では、画像信号処理回路１２７や、三次元ＹＣ検出回路１３１によって信号処理された動画データ、または入力を行うためのメニュー画面などをビデオ信号に変換してモニタ１３９に出力し、このビデオ信号を受信したモニタ１３９は、表示画面１３９ａに動画、あるいはメニュー画面などを表示する。
【００５２】
メディアコントローラ１３４は、信号処理が施された動画データをＤＶＤディスク１４１に書き込む。また、入力インターフェース１４２は、リモコン装置などからなり、画像の記録／再生に必要なユーザーの入力操作を検知し、操作信号をＣＰＵ１２２に送る。
【００５３】
メイン制御部１２１は、画像ファイリング用プログラムＰＧ３を実行することによって、顔画像抽出部１５１、特徴量算出部１５２、特徴量比較判定部１５３、代表画像決定部１５４として機能する。
【００５４】
次に、上記構成の画像記録再生装置の作用について図１３に示すフローチャートに沿って説明する。ユーザーはＤＶＤレコーダ１２０の電源をオン状態とし、入力インターフェース１４２によって所望の録画番組（放送局、放送時間など）を選択し、録画の実行を入力する。録画実行の入力信号を受けたＣＰＵ１２２は、チューナー１３６を動作させて選択された放送局からの映像信号を取得する。チューナー１３６から取得された映像信号は、Ａ／Ｄ変換回路１３７でデジタル信号に変換され、画像信号処理回路１２７、３次元ＹＣ検出回路１３１で信号処理されて動画データとなり、ＳＤＲＡＭ１３２に一時的に書き込まれた後、メディアコントローラ１３４によってＤＶＤディスク１４１に書き込まれる。なお、このメディアコントローラ１３４によって録画番組の動画データが書き込まれるとき、対応する番組名もＤＶＤディスク１４１に書き込まれる。
【００５５】
受信したテレビ放送局の映像信号からなる動画データがＤＶＤディスク１４１に記録されると、メイン制御部１２１では、画像ファイリング処理プログラムＰＧ３を実行する。そしてメイン制御部１２１は、先ず、動画データから一定の時間間隔で静止画フレームを抜き出す。この抜き出された静止画フレームから顔画像抽出部１５１によって顔画像が抽出され、さらにこの顔画像データから特徴量算出部１５２によって特徴量が算出される。そして、録画番組の終了まで、動画データから抜き出された全ての静止画フレームに対して、全ての顔画像の抽出、特徴量の算出が行われる。
【００５６】
次に、録画番組が終了すると、メイン制御部１２２は、録画番組（動画データ）の中で顔画像が抽出されたか否かを判定し、顔画像の抽出があった場合には、特徴量比較判定部１５３によって、特徴量の分布を示すマップを作成して比較判定を行う。そして、この特徴量の比較から同一人物のグループが判定され、さらに代表画像決定部１５４によって最も出現頻度の高いグループの中から特徴量が中心値の顔画像が代表画像として決定される。
そして、代表画像決定部１５４で決定された代表画像は、その顔画像を含む静止画フレームが管理フォールに保存され、同時にこの代表画像データと対応する録画番組（動画データ）とを関連付けする情報が書き込まれる。なお、動画データの中で顔画像の抽出が無かった場合には、動画データの中で一番最初に抜き出された静止画フレームを代表画像として保存する。
【００５７】
なお、この動画データ及び代表画像がＤＶＤディスク１４１に保存されるときのファイル構造を図１４に示す。ＤＶＤディスク１４１のルートディレクトリ１６１には、録画番組フォルダ１６２と、管理フォルダ１６３とが設けられており、録画番組フォルダ１６２内には、各録画番組ファイル（動画データ）１６４ａ〜１６４ｃが保存されており、管理フォルダ１６３には、ディスク全体の管理情報ファイル１６６、各録画番組の管理情報ファイル１６７ａ〜１６７ｃ、及び代表画像１６８ａ〜１６８ｃが保存される。各録画番組の管理情報ファイル１６７ａ〜１６７ｃには、各録画番組ファイル１６４ａ〜１６４ｃの情報（日付、放送局、番組名など）とともに、録画番組ファイル１６４ａ〜１６４ｃにそれぞれ対応する代表画像１６８ａ〜１６８ｃが関連付けされていることを示す情報がそれぞれ書き込まれている。また、ディスク全体の管理情報ファイル１６６には、各録画番組ファイル１６４ａ〜１６４ｃがＤＶＤディスク１４１のどの位置に記録されているかの情報などが書き込まれる。
【００５８】
上述のようにして、画像ファイリング処理された動画データを再生するときのシーケンスを図１５に示すフローチャートに沿って説明する。先ず、入力インターフェース１４２を操作して再生モードを選択すると、メイン制御部１２１は、ＤＶＤディスク１４１から、管理情報ファイル１６６，１６７ａ〜１６７ｃを読み込み、図１６（Ａ）に示すような録画番組リスト画面１７０がモニタ１３９に表示される。録画番組リスト画面１７０では、録画番組（動画データ）を示す番組名１７１ａ〜１７１ｃ（日付、放送局、及びタイトル（野球中継「○○対××」、宇宙への旅、サスペンスシアター）などからなる。）と、これに対応する代表画像１７２ａ〜１７２ｃとがセットになって１つの枠内に収まった録画番組メニュー１７３ａ〜１７３ｃがそれぞれ表示される。
【００５９】
ユーザーは入力インターフェース１４２を操作してこれらのうちの１つを選択する。なお、この選択操作を行うとき、図１６（Ａ）及び図１６（Ｂ）に示すように該当する録画番組メニュー１７３ａ〜１７３ｃの周囲が太線枠１７４で表示されるようになり、カーソルボタンなどで上下方向の操作を行うことによって太線枠１７４の位置が変更される。そして、所望の録画番組（動画データ）を示す録画番組メニューが太線枠１７４で囲まれてる状態で操作ボタンを押して選択入力を決定する。
【００６０】
ユーザーによって所望の録画番組メニュー１７３ａ〜１７３ｃが選択されると、メイン制御部１２１は、録画番組リスト画面１７０（図１６（Ａ）及び図１６（Ｂ））から録画番組メニュー１７３ａ〜１７３ｂに対応する動画データ１６４ａ〜１６４ｃを読み出して再生画面１８０（図１６（Ｃ）及び図１６（Ｄ））に切り換えて動画再生表示を開始する。なお、この動画データの再生が終了すると、再度、録画番組リスト画面１７０に戻る。また、録画番組メニューの選択操作を行うとき、例えば図１６（Ｃ）に示す動画再生表示が所望の録画番組でない場合にはキャンセル操作をして図１６（Ａ）に示す録画番組リスト画面１７０に戻る。そして再度、録画番組の選択を行い、例えば、図１６（Ｂ）に示すように別の録画番組メニュー１７３ｂで示す録画番組（動画データ）を選択決定すると、図１６（Ｄ）に示す別の録画番組（動画データ）が再生表示される。
【００６１】
このようにしてユーザーは代表画像を見て録画番組（動画データ）を選択することができるので、録画番組（動画データ）の内容を容易に認識することが可能であり、録画番組（動画データ）の選択にかかる手間や時間が短縮されるため利便性が向上する。
【図面の簡単な説明】
【００６２】
【図１】本発明の第１実施形態を適用したデジタルカメラの正面側斜視図である。
【図２】本発明の第１実施形態を適用したデジタルカメラの背面側斜視図である。
【図３】本発明の第１実施形態を適用したデジタルカメラの概略的な構成を示すブロック図である。
【図４】顔画像から算出する特徴量を示す説明図である。
【図５】顔画像から算出された特徴量の分布マップである。
【図６】画像ファイル群及び代表画像を保存するときのディレクトリ構造を示す説明図である。
【図７】撮影及び画像ファイリング処理を実行するときのシーケンスを示すフローチャートである。
【図８】イベント名を入力するときの画面表示を示す説明図である。
【図９】画像再生を行うときのシーケンスを示すフローチャートである。
【図１０】画像再生を行うときの画面表示を示す説明図である。
【図１１】本発明の第２実施形態を適用した画像ファイリング装置の概略的な構成を示すブロック図である。
【図１２】本発明の第３実施形態を適用した画像記録再生装置の概略的な構成を示すブロック図である。
【図１３】番組（動画データ）の録画及びファイリング処理を行うときのシーケンスを示すフローチャートである。
【図１４】録画番組ファイル（動画データ）及び代表画像を保存するときのディレクトリ構造を示す説明図である。
【図１５】動画再生を行うときのシーケンスを示すフローチャートである。
【図１６】動画再生を行うときの画面表示を示す説明図である。
【符号の説明】
【００６３】
１０  デジタルカメラ
１２  撮影レンズ
２５  メイン制御部
３０  ＣＰＵ
３２  ＣＣＤイメージセンサ（撮像素子）
６１，１１１，１５１  顔画像抽出部
６２，１１２，１５２  特徴量算出部
６３，１１３，１５３  特徴量比較判定部
６４，１１４，１５４  代表画像決定部
【図１】
2007174378.tif 000003
【図２】
2007174378.tif 000004
【図３】
2007174378.tif 000005
【図４】
2007174378.tif 000006
【図５】
2007174378.tif 000007
【図６】
2007174378.tif 000008
【図７】
2007174378.tif 000009
【図８】
2007174378.tif 000010
【図９】
2007174378.tif 000011
【図１０】
2007174378.tif 000012
【図１１】
2007174378.tif 000013
【図１２】
2007174378.tif 000014
【図１３】
2007174378.tif 000015
【図１４】
2007174378.tif 000016
【図１５】
2007174378.tif 000017
【図１６】
2007174378.tif 000018