(57)【要約】 【課題】  動画から特定の人物が写っているコマを検出してそのコマの静止画像を出力する、撮像装置、再生装置、プログラム、および記憶媒体の提供【解決手段】  動画再生時に、前処理として各コマの顔データを検出し、顔情報を構成する。顔データの検出処理が終了してから、人物５１を指定若しくは選択するとその人物の顔の特徴データが抽出され内蔵メモリに保持される。次に、再度動画が再生され、顔情報を基に人物が写っているコマの人物の顔の特徴データを抽出して内蔵メモリ保持されている比較用の人物５１の顔の特徴データと順次比較し、類似度が閾値より高い人物が写っているコマが特定人物５１が写っているコマと判定してそのコマの画像データを順次表示し、出力する。【選択図】  図４
2007228453.tif 000002
【特許請求の範囲】
【請求項１】
動画を撮像する動画撮像手段と、
前記動画撮像手段によって撮像された動画を記録保存する動画記録手段と、
前記動画記録手段に記録されている動画を再生する画像再生手段と、
特定人物の顔画像を選択する顔画像選択手段と、
前記顔画像選択手段によって選択された特定人物の顔画像と前記動画再生手段によって再生されたコマの動画像の中の人物の顔画像との類似度を判定する特定人物判定手段と、
前記判定手段により顔画像の類似度が高い動画像から静止画像を生成して出力する静止画像出力手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記画像再生手段によって再生される動画の各コマ毎に人物の数およびそれぞれの顔の位置データを取得する顔データ取得手段を備え、
前記特定人物判定手段は、前記顔画像選択手段によって選択された特定人物の顔画像と顔データ取得手段によって取得された各コマ毎の動画像の中の各顔画像の位置データを基にそれぞれの顔画像との類似度を判定する特定人物判定手段と、
を備えたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記動画像の中の人物の数は撮像装置に顔を向けた人物の数であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
動画を記録保存する動画記録手段と、
前記動画記録手段に記録されている動画を再生する画像再生手段と、
特定人物の顔画像を選択する顔画像選択手段と、
前記顔画像選択手段によって選択された特定人物の顔画像と前記動画再生手段によって再生されたコマの動画像の中の人物の顔画像との類似度を判定する特定人物判定手段と、
前記判定手段により顔画像の類似度が高い動画像から静止画像を生成して出力する静止画像出力手段と、
を備えたことを特徴とする再生装置。
【請求項５】
前記画像再生手段によって再生される動画の各コマ毎に人物の数およびそれぞれの顔の位置データを取得する顔データ取得手段を備え、
前記特定人物判定手段は、前記顔画像選択手段によって選択された特定人物の顔画像と顔データ取得手段によって取得された各コマ毎の動画像の中の各顔画像の位置データを基にそれぞれの顔画像との類似度を判定する特定人物判定手段と、
を備えたことを特徴とする請求項４に記載の再生装置。
【請求項６】
画像記録メモリを備えたコンピュータに、
前記画像記録メモリに記録されている動画を再生する機能と、
前記再生される動画の各コマ毎に人物の顔の数を取得する機能と、
前記撮像装置に顔を向けた人物の顔の位置データを取得する機能と、
ユーザに特定人物の顔画像を選択させる機能と、
前記選択された特定人物の顔画像と前記再生されたコマ毎に前記取得されたコマ毎の動画像の中の各人物の顔画像の位置データを基にそれぞれの顔画像との類似度を判定する機能と、
前記判定手段により顔画像の類似度が高い動画像から静止画像を生成して出力する機能と、
を実行させるプログラム。
【請求項７】
請求項６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画から特定の人物が写っているコマを検出して静止画像を出力する特定人物画像出力技術に関する。
【背景技術】
【０００２】
従来、動画像に含まれる特定の人物を中心にして動画像を抽出する技術が知られている。このような技術として、たとえば、動画像をフレーム単位に分割して複数の静止画像を生成し、生成した各静止画像毎に、静止画像に顔領域が含まれているか否かを判定し、判定した顔領域の顔と特定人物画像の顔との類似度を判定し、その判定結果に基づいて、静止画像に特定人物画像が含まれていると判定し、抽出用テンプレートに基づいて静止画像から人物画像領域を抽出する。そして、抽出した人物画像領域に基づいて特定人物画像を中心に動画像を再生するものがある（たとえば、特許文献１参照）。
【０００３】
一方、顔抽出技術を利用してプリント注文時の枚数設定を簡易化する技術として、記録媒体に格納された撮影画像を分析して顔領域を抽出し、抽出した顔領域の数をカウントして人数情報を生成して記録媒体に保持し、プリント注文の際の枚数指定の煩雑さを軽減する技術がある（特許文献２参照）。
【０００４】
【特許文献１】特開平２００５−１８４５１号広報
【特許文献２】特開２００４−１４５５６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１の動画像再生方法では１人の人物だけが写っている場合は人物を特定しやすいが、動画には通常１人の人物だけでなく複数の人物が写されているので１人の人物が写っているコマや複数の人物が写っているコマから１人の人物を特定するに場合については開示がないといった課題があった。  
また、上記特許文献２に記載の技術では顔領域を検出して人数情報を生成することはできるが、動画等の連続撮影画像から特定の人物が写っているシーンを静止画像として出力することはできないといった課題があった。
【０００６】
本発明は上記課題を解決するためになされたものであり、動画から特定の人物（個人）が写っているコマを検出してそのコマの静止画像を出力する、撮像装置、再生装置、プログラム、および記憶媒体の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載の発明では、動画を撮像する動画撮像手段と、動画撮像手段によって撮像された動画を記録保存する動画記録手段と、動画記録手段に記録されている動画を再生する画像再生手段と、特定人物の顔画像を選択する顔画像選択手段と、顔画像選択手段によって選択された特定人物の顔画像と動画再生手段によって再生されたコマの動画像の中の人物の顔画像との類似度を判定する特定人物判定手段と、判定手段により顔画像の類似度が高い動画像から静止画像を生成して出力する静止画像出力手段と、を備えたことを特徴とする撮像装置を提供する。
これにより、長時間動画の中から特定人物が写っているコマから静止画像を生成し、記録メディア３０に記録したり、外部装置に送信したり、印刷することができる。ここで、動画とはＭＰＥＧやモーションＪＰＥＧや高速連写も含む概念である。また、画像再生とは、撮像時に動画記録手段に取り込んでいく画像をリアルタイムで読んでいく場合も含む概念である。
【０００８】
また、請求項２に記載の発明では、画像再生手段によって再生される動画の各コマ毎に人物の数およびそれぞれの顔の位置データを取得する顔データ取得手段を備え、特定人物判定手段は、顔画像選択手段によって選択された特定人物の顔画像と顔データ取得手段によって取得された各コマ毎の動画像の中の各顔画像の位置データを基にそれぞれの顔画像との類似度を判定する特定人物判定手段と、を備えたことを特徴とする請求項１に記載の撮像装置を提供する。
これにより、動画中の各コマに写っている人物の顔と選択された特定人物の顔との類似性を基に動画中の各コマから特定人物の写っているコマから静止画像を生成できるので特定人物の判定精度が高い。また、複数の人物が写っているコマからも人物を容易に特定できる。
【０００９】
また、請求項３に記載の発明では、動画像の中の人物の数は撮像装置に顔を向けた人物の数であることを特徴とする請求項２に記載の撮像装置を提供する。
これにより、動画中の各コマの中で撮像装置の方に顔を向けた人物が写っているコマだけを特定人物判定対象とすることができるので、特定人物の有無定が容易である。
【００１０】
また、請求項４に記載の発明では、動画を記録保存する動画記録手段と、動画記録手段に記録されている動画を再生する画像再生手段と、特定人物の顔画像を選択する顔画像選択手段と、顔画像選択手段によって選択された特定人物の顔画像と動画再生手段によって再生されたコマの動画像の中の人物の顔画像との類似度を判定する特定人物判定手段と、判定手段により顔画像の類似度が高い動画像から静止画像を生成して出力する静止画像出力手段と、を備えたことを特徴とする再生装置を提供する。  
これにより、長時間動画の中から特定人物が写っているコマから静止画像を生成し、記録メディア３０に記録したり、外部装置に送信したり、印刷することができる。
【００１１】
また、請求項５に記載の発明では、画像再生手段によって再生される動画の各コマ毎に人物の数およびそれぞれの顔の位置データを取得する顔データ取得手段を備え、特定人物判定手段は、顔画像選択手段によって選択された特定人物の顔画像と顔データ取得手段によって取得された各コマ毎の動画像の中の各顔画像の位置データを基にそれぞれの顔画像との類似度を判定する特定人物判定手段と、を備えたことを特徴とする請求項４に記載の再生装置を提供する。  
これにより、動画中の各コマに写っている人物の顔と選択された特定人物の顔との類似性を基に動画中の各コマから特定人物の写っているコマから静止画像を生成できるので特定人物の判定精度が高い。また、複数の人物が写っているコマからも人物を容易に特定できる。
【００１２】
また、請求項６に記載の発明では、画像記録メモリを備えた撮像装置のコンピュータに、  画像記録メモリに記録されている動画を再生する機能と、再生される動画の各コマ毎に撮像装置に顔を向けた人物の数を取得する機能と、撮像装置に顔を向けた人物の顔の位置データを取得する機能と、ユーザに特定人物の顔画像を選択させる機能と、選択された特定人物の顔画像と再生されたコマ毎に取得されたコマ毎の動画像の中の各人物の顔画像の位置データを基にそれぞれの顔画像との類似度を判定する機能と、判定手段により顔画像の類似度が高い動画像から静止画像を生成して出力する機能と、を実行させるプログラムを提供する。
これにより、撮像装置は長時間動画の中から各コマに写っている撮像装置の方を向いた人物の顔と選択された特定人物の顔との類似性を基に動画中の各コマから特定人物の写っているコマから静止画像を生成できるので判定精度の高い静止画像を出力できる。また、複数の人物が写っているコマからも人物を容易に特定できる。
【００１３】
また、請求項７に記載の発明では、請求項６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体を提供する。
この記憶媒体に格納されたプログラムを実行することにより、撮像装置は、動画再生時に、選択されたと人物と類似性の高い人物が写っているコマの静止画像を生成し、出力できる。
【発明の効果】
【００１４】
本発明によれば、長時間動画の中から特定人物が写っているコマの静止画像を生成し、記録媒体に記録したり、外部装置に送信したり、印刷することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明の各実施形態に共通する撮像装置の一実施例としてのデジタルカメラの外観を示す図であり、ここでは主として正面（図１（ａ））及び背面（図１（ｂ））の外観を示す。デジタルカメラ１００は、図１（ａ）に示すように正面側に撮像レンズ（レンズ群）２を有している。また、デジタルカメラ１００の背面には図１（ｂ）に示すように、モードダイアル３、液晶モニタ画面４、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、およびメニューキー１０等のキーが設けられている。また、上面にはシャッターキー８、電源ボタン９が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ（以下、パソコン）やモデム等の外部装置とＵＳＢケーブルに接続する場合に用いるＵＳＢ端子接続部が設けられている。
【００１６】
図２は図１に示したデジタルカメラ１００のブロック図であり、デジタルカメラ１００は、（静止画）通常撮影モード、マクロ撮影モード、連写モード、速写モード、・・、動画撮影モード、高速連写モード、・・・等の撮影モードや、静止画再生モード、動画再生モード等の再生モード等静止画撮影モードと動画撮影モード、連写画像再生モード等を有している。また、動画再生モードの下位モードとして、動画像から静止画像を生成（静止画像化）して出力するための静止画出力モードを有している。なお、高速連写モードは例えば、１秒間に５０枚以上の画像を連続撮影する撮影モードであり、本発明は動画から静止画を生成する場合だけでなく、高速連写モードで撮影された画像から選択した画像とその画像を中心として前後に撮影された画像から静止画像を生成する場合にも適用できる。
【００１７】
つまり、デジタルカメラ１００は、カメラ本体１と、カメラ本体１に着脱可能な記録メディア３０から構成されており、カメラ本体１にはズームレンズやフォーカスレンズからなる光学系１２およびＣＣＤ１３が配置されている。
【００１８】
ＣＣＤ１３は本発明の撮像手段であり、タイミングジェネレータ１７から送られる駆動信号により駆動され、被写体の光像を光電変換し撮像信号として出力する。ＣＣＤ１３の出力信号はＣＤＳ回路１４で相関二重サンプリングおよびゲイン調整され、Ａ／Ｄ変換回路１５でデジタル信号に変換される。Ａ／Ｄ変換された撮像信号はＤＳＰブロック１６に入力され、ぺデスタルクランプ等の処理が施された後、ＤＳＰブロック１６内の輝度・色差マトリックス回路で輝度（Ｙ）信号および色差（ＵＶ）信号に変換される。なお、ＤＳＰブロック１６ではオートアイリス（ＡＥ）、ホワイトバランス（ＷＢ）、輪郭強調などの画像の品質向上のための処理も行われる。
【００１９】
ＤＳＰブロック１６で変換されたＹＵＶデータは解像度変換ブロック１８で予め設定された画像サイズに変換された後、１フレーム分のデータが順次内蔵メモリ２４（例えば、ＳＤ内蔵メモリ２４）に格納される。内蔵メモリ２４に格納された１フレーム分のＹＵＶデータは表示コントローラ２１に送られ、そこでビデオ信号に変換された後、ＬＣＤ（液晶表示部）１２によりスルー画像、つまり動画像として表示される。
【００２０】
静止画モードでの撮影時に内蔵メモリ２４に格納された１フレーム分のＹＵＶデータはデータ圧縮・伸張ブロック１９でＪＰＥＧ方式等によってデータ圧縮後コード化され、内蔵メモリ内でファイル化された後、メディアコントローラ２０を介して記録メディア３０に静止画データ（静止画ファイル）として記録される。
【００２１】
記録メディア３０は本発明の動画記録手段に相当し、動画撮影時に内蔵メモリ２４に格納されたＹＵＶデータは順次データ圧縮・伸張ブロック１９に送られ、所定の動画記録方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ）のコーデックによりデータ圧縮した後にコード化され、内蔵メモリ２４内でファイル化された後、メディアコントローラ２０を介して動画ファイルとして記録メディア３０に記録される。なお、動画撮影のフレームレートはタイミングジェネレータ１７で生成されるタイミング信号によって決まり、コード化されるデータの圧縮率はデータ圧縮・伸張ブロック１９内の電子化テーブル値によって決定される。  
【００２２】
また、記録メディア３０は本発明の特定画像記録手段に相当し、動画中の各コマから検出した個人（特定の人物）の顔データ若しくは予め静止画撮影された個人（特定の人物）の顔データからなる顔情報（＝顔データ×動画中のコマ数）を所定の領域に記録する。本実施例では顔データを顔が写っている人物数（＝顔の数）および顔の位置データ（顔を囲む矩形の四隅の座標値）を各コマに対応付けて記憶したデータとしたが、単に顔が写っている人物数だけを各コマに対応付けて記憶したデータとしてもよい。顔データにはコマの人数＝０の場合も含む（図３参照）。
【００２３】
データ圧縮・伸張ブロック１９は、静止画または動画の再生時には記録メディア３０から読み出された静止画や動画データを伸張し、静止画データや動画像のフレームデータとして内蔵メモリ２４に展開する。展開された画像は表示コントローラ２１に送られ、そこでビデオ信号に変換された後、ＬＣＤ２２により再生画像として表示される。なお、ＬＣＤ２２にはスルー画像や再生画像だけでなく、必要に応じてデジタルカメラ１００における各種の機能に関する選択や設定を行うためのメニュー画面や設定画面も表示される。
【００２４】
音声処理ブロック２５は、動画撮影時においてカメラ本体１に内蔵されたマイク２６に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ２４に送る。内蔵メモリ２４に送られたオーディオデータはフレームデータとともにストリームデータとして記録メディア３０に順次書き込まれる。また、音声処理ブロック２５は、動画撮影時には、内蔵メモリ２４から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体１に内蔵された内蔵スピーカ２７から音声出力させる。
【００２５】
キー入力ブロック２８は、上述したモードダイアル３、カーソルキー５、ＳＥＴキー６、ズームボタン７（Ｗボタン７−１、Ｔボタン７−２）、シャッターキー８、電源ボタン９、およびメニューキー１０と、キーが操作されると操作されたキーの操作信号を生成してＣＰＵ２３に送出するキー処理部（図示せず）等から構成されている。
【００２６】
モードダアル３は撮影モードや再生モードの選択を行うものである。ユーザはモードダイアル３を操作して、（静止画）通常撮影モード、マクロ撮影モード、連写モード、速写モード、・・、動画撮影モード、・・・等の撮影モードや、静止画再生モード、動画再生モード等の再生モード等を選択することができる。
【００２７】
カーソルキー５はモード設定やメニュー選択等に際して液晶モニタ画面４に表示されるメニューやアイコン等をカーソルでポイント（指定）する際に操作するキーであり、カーソルキー５の操作によりカーソルを上下又は左右に移動させることができる。また、動画再生モードの下位モードである静止画出力モードにおいて１コマに写っている人数が指定されたときは、カーソルキー５を右方向（＞）操作することにより動画再生中に自動停止した画面を進行方向に１コマずつ進めることができる。また、カーソルキー５を左方向（＜）操作することにより画面を逆方向に１コマずつ進めることができる。
【００２８】
ＳＥＴキー６はカーソルキー５によってカーソル表示されている項目や画像を選択、設定若しくは確認する際に押すキーである。また、本実施例では動画像から生成した静止画像を記録メディア３０に記録する際の指示を行なう操作手段としても用いられる。
【００２９】
ズームボタン７は、ズーム操作に用いられ、光学ズームの場合はズームボタン７（Ｗボタン７−１またはＴボタン７−２）の操作に対応して画角が実際に変化し、液晶モニタ画面４にはワイド（広角）画像又はテレ（望遠）画像が表示される。電子ズームの場合はズームボタン７の操作に対応して光学系１２からの画像がデジタルズーム処理により画像が拡大／縮小されて表示される。
【００３０】
シャッターキー８は、撮影時にレリーズ操作を行うもので、２段階のストロークを有しており、静止画撮影モードでは１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮影処理を行うための撮影指示信号を発生する。また、動画撮影モードでは録画開始／終了の指示に用いられるほか、静止画出力モードにおいて、シャッターキー８を半押しすると表示中の動画像を停止させて静止表示し、シャッターキー８を全押しすると停止解除となり、動画表示を続行させる動画表示停止／停止解除キーとして用いることができる。なお、シャッターキー８を全押しすると表示中の動画像を停止させて静止表示し、シャッターキー８を半押しすると停止解除となり、動画表示を続行させる動画表示停止／停止解除キーとして用いるようにしてもよい。
【００３１】
メニューキー１０はその時点で処理可能な選択メニューやアイコンを表示する場合に操作されるキーである。
【００３２】
顔データ出力ブロック３１は、動画再生モードの下位モードである静止画出力モードにおいて動画中のコマから人数（顔が写されている人物の数（０人を含む））および位置を検出し、検出データをＣＰＵ２３に送る。人数の検出方法は公知の方法を用いることもできる。例えば、前述した特許文献２（特開２００４−１４５５６３号公報）に記載の人数情報を取得する方法を適宜採用することができる。また、顔の位置は１フレーム分の動画像での位置（例えば、顔画像を区画する矩形の位置データ（フレームの所定の位置を原点としてＸ、Ｙ座標で表される顔画像を含む４点の座標））であり、公知の方法により取得することができる。この顔データ出力処理のために専用の回路を設けても良いしＣＰＵ２３で顔データ出力処理用のプログラムを実行させるようにしてもよい。
【００３３】
特定人物検出ブロック３２は、動画像の中から選択された人物の顔部分若しくは予め記録メディア３０に登録されている人物画像の顔部分や顔情報を基に読み出した各コマの人物像の顔部分の特徴データを抽出する特徴抽出部（図示せず）と予め記録メディア３０に登録されている人物画像の顔部分と顔情報を基に読み出した各コマの人物像の顔部分の特徴データをそれぞれ比較し、特定の人物の写っているコマを検出する人物検出部からなる。
動画中の指定されたコマから顔画像を検出して動画中の指定されたコマから抽出された個人の顔データと比較して人物を特定する方法は、公知の方法、例えば、前述した特許文献１（特開２００４−１４５５６３号公報）を適宜採用することができる。また、予め静止画撮影された特定の個人の顔データと動画中の指定されたコマから抽出された個人の顔データと比較して特定人物を特定する方法は、公知の方法、例えば、同特許文献１で引用している特開２０００−３００３３号公報に開示されている技術を適宜採用することができる。この特定人物検出処理のために専用の回路を設けても良いしＣＰＵ２３で特定人物検出用のプログラムを実行させるようにしてもよい。
【００３４】
上述した各ブロックはＣＰＵ２３によって制御されており、ＣＰＵ２３が各ブロックの制御に必要とされるプログラムやデータはＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリであるプログラムメモリ２９に記憶されている。そしてＣＰＵ２３は上記プログラムおよびキー入力ブロック２８からのキー入力信号に基づき動作することにより、本発明の顔位置情報取得手段、制御手段として機能する。なお、プログラムメモリ２９にはユーザによって設定されたシステムや各機能に関する設定データも記憶されている。  
【００３５】
図３は顔データ出力ブロック３１によって動画の各コマから検出される顔データの説明図である。図３（ａ）はある動画の各コマにおける顔が映っている人物数を示し、図３（ｂ）、（ｃ）は数検出ブロックから１コマ毎に出力される顔データの例、図３（ｄ）は検出人数＝０の場合の顔データの例を示す。
【００３６】
今、図３（ａ）に示すように動画中に、２人（コマ数ｉ、０人（コマ数ｊ−ｉ）、３人（コマ数ｋ−ｊ）、２人（コマ数ｌ−ｋ）、１人（コマ数ｍ−ｌ）、４人（コマ数ｎ−ｍ）、３人（コマ数ｐ−ｎ）、０人（コマ数ｑ−ｐ）の順にコマが並んでいるものとする（人数＝０の場合は人物は写っていないコマである）。なお、人数が同じコマが続いていても途中の出入りがある場合があるので同じ人物が写っているとは限らない。例えば、人物画１人のシーンが１００コマ続いている場合でも１００コマとも同一人物が写っているとは限らない。
【００３７】
顔データ出力ブロック３１は、図３（ａ）のようなコマの並びの動画像を順次読み取ると、図３（ｂ）、（ｃ）、（ｄ）に示すような可変長の顔データを出力する。顔データはコマの順序（先頭のコマからの数）を記憶するコマ番号記憶欄４１と、検出された人数を記憶する人数記憶欄４２と、顔の位置（例えば顔画像を囲む矩形領域の四隅の座標値）を記憶する位置記憶欄４３からなり、検出された人数が１人の場合は図３（ｂ）に示すように位置記憶欄４３は１つでよいが、検出された人数が複数の場合は図３（ｃ）に示すように複数（図示の例では３個（記憶欄４３−１、４３−２、４３−３））となる。人数＝０の場合は位置記憶欄４３には特定の値（例えば、無効値（ｎｕｌｌ））が書き込まれる。
また、顔データは内蔵メモリ２４の所定の領域にコマの順に追加記憶され、動画再生モードでは再生終了時、撮影モードでは動画撮影終了時に内蔵メモリ２４から取り出されて顔情報として再生対象であった動画若しくは撮影された動画に関連付けられて記録メディア３０に記録される。
【００３８】
図４は特定人物出力方法の説明図であり、図４（ａ）〜図４（ｄ）は特定の人物が写っているコマの動画像を静止画表示した例であり、図４（ａ）には３人の人物５１、５２、５３人が、図４（ｂ）には４人の人物５１、５２、５３、５４が、図４（ｃ）には再び３人の人物５１、５２、５３が、図４（ｄ）には人物５１だけが登場するがこのうち人物５１が共通している。つまり、動画再生時に、前処理として顔データ検出ブロック３１から各コマの顔データが出力されて内蔵メモリ２４に順次記憶され、顔情報を構成する。顔データ検出ブロック３１による検出処理が終了してから、人物５１を指定若しくは選択すると特定人物検出部３２でその人物の顔領域の特徴データを抽出し、内蔵メモリ２４に保持する。次に、再度動画が再生され、特定人物検出部３２で顔情報を基に人物の顔が写っているコマに写されている人物の顔領域の特徴データを抽出すると共に内蔵メモリ２４に保持されている特定の人物５１の顔領域の特徴データとを順次比較し、類似度の高い顔が写っているとそのコマを特定人物５１が写っているコマとしてそのコマの画像データを抽出し、順次表示する。この際、人物が０人のコマは結果的に読み飛ばされ特定人物検出部３２による処理を経ないので、その分処理時間が短縮する。
【００３９】
図５は特定人物画像出力機能を備えたデジタルカメラの静止画出力時のＣＰＵによる制御動作を示すフローチャートであり、デジタルカメラ１００に顔データ出力機能（ステップＳ３〜ステップＳ７に相当）および特定人物検出機能（ステップＳ８〜ステップＳ１７に相当）を実現させるためのプログラムを説明するためのものである。  
以下に示す処理は基本的にＣＰＵが予めフラッシュメモリ等のプログラムメモリに記憶されたプログラムに従って実行する例で説明するが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部をネットワークを介して受信して実現するようにしてもよい。以下、図１〜図５に基いて説明する。なお、図５に示すフローチャートでは動画再生モードを例として説明するが、本発明の適用範囲は動画再生モードに限定されず、例えば、前述した高速連写モードで撮影した連続撮影画像（高速連写画像）の再生時における静止画像出力にも適用できる。
【００４０】
なお、下記図５のフローチャートの説明では予め特定人物の顔が撮影され、静止画像が記録メディア３０に登録されている場合を例として説明するが、再生する動画のコマの動画像の中から特定人物を指定するようにしてもよい。
【００４１】
図５で、動画再生モード選択後、静止画出力モードが選択されると、ＣＰＵ２３は記録メディア３０に記録されている各動画ファイルの代表画像（通常は先頭フレームの縮小画像）をＬＣＤ２２に一覧表示させ、ユーザに所定のキー操作（たとえば、カーソルキー５の操作）により、所望の動画ファイルを選択させる（ステップＳ１）。
【００４２】
ＣＰＵ２３は記録メディア３０の管理領域を調べ、上記ステップＳ１で選択された動画ファイルに関連付けられた顔情報の有無を判定し、顔情報が選択された動画ファイルに関連付けられて記録されている場合はステップＳ８に進む（ステップＳ２）。つまり、ステップＳ１で選択された動画ファイルに関連付けられて記録されている顔情報がある場合は、下記ステップＳ３〜Ｓ７で動画ファイルから顔データ出力および顔情報の記録処理を行わなくてもよいので、直ちにステップＳ８以下の特定人物検出動作を開始できる。
【００４３】
ＣＰＵ２３は、メディアコントローラ２０を制御し、上記ステップＳ１で選択された動画ファイルのフレーム画像を記録メディア３０から読み出してデータ圧縮・伸張ブロック１９で伸張させて動画像データを再生し（ステップＳ３）、顔データ出力ブロック３１を制御して上記ステップＳ３で再生した画像データから顔領域の抽出を行なわせ、抽出させたそれぞれの顔領域の画面上の座標を位置データとして取得すると共に抽出した顔領域の数のカウントを行わせてそのコマの中でカメラの方を向いている人物像の数情報（人数情報）を取得し（ステップＳ４）、そのコマで取得した人数情報と各顔領域の位置データからなる顔データを生成して内蔵メモリ２４に確保した顔情報記憶エリアに追加記憶する（ステップＳ５）。顔情報記憶エリアは可変長の顔データを動画のコマ数分記憶するに十分なサイズを備えており、顔データが読み取られたコマと１対１に対応付けられて順次記憶される。
【００４４】
ＣＰＵ２３は上記ステップＳ３〜Ｓ５の動作を上記ステップＳ１で選択された動画ファイルの動画像データの読み取りが終わるまで（つまり全コマを読み取るまで）繰り返し（ステップＳ６）、全データの処理が終わると内蔵メモリ２４の顔情報記憶エリアに記憶した各顔データを顔情報として記録メディア３０に記録されている動画ファイルのうち上記ステップＳ１で選択した動画ファイルと関連付けて記録メディア３０に記録する（ステップＳ７）。
【００４５】
顔情報がすでに記録メディア３０に存在しているか上記ステップＳ７で顔情報の記録が終了すると、動画ファイルのうち上記ステップＳ１で選択した動画ファイルと関連付けて記録メディア３０に記録されている顔情報を読み出して内蔵メモリ２４の顔情報記憶エリアに記憶する（ステップＳ８）。
【００４６】
次に、ＣＰＵ２３は記録メディア３０に登録されている人物の比較用顔画像を読み出して（ステップＳ９）、ＬＣＤ２２に比較用の特定人物選択用のウインドウを表示してユーザの選択を促し、キー入力ブロック２８からの信号を調べ、ユーザによって比較用の顔画像が選択された場合はステップＳ１１に進み、そうでない場合は選択を待つ（ステップＳ１０）。比較用の顔画像は所定サイズの大きさの矩形に囲まれた顔画像からなり、顔画像の選択は、例えば、カーソルキー５により顔画像を選択およびＳＥＴキー６を押して確定することにより行うことができる。
【００４７】
ＣＰＵ２３は特定人物検出ブロック３２の特徴抽出部を制御して上記ステップＳ１０で選択（若しくは指定）した比較用の顔画像の特徴データを抽出させ、内蔵メモリ２４の所定エリアに保持（記憶）する（ステップＳ１１）。
【００４８】
ＣＰＵ２３は、記録メディア３０に記録されている動画ファイルのうち上記ステップＳ１で選択された動画ファイルをオープンして読み取り可能状態にしてから（ステップＳ１２）、メディアコントローラ２０を制御して１コマ分の動画フレーム画像（圧縮データ）を記録メディア３０から読み出してデータ圧縮・伸張ブロック１９で伸張させて画像データを再生し（ステップＳ１３）、上記ステップＳ８で内蔵メモリ２４に記憶した顔情報から現在のコマの順序と一致するコマ番号の顔データを取り出してその人数記憶欄４２からそのコマに写っている顔の数が０の場合にはステップＳ１３に戻り、０でない場合はそれぞれの顔領域の位置データを取り出し（ステップＳ１４）、特定人物検出ブロック３２の特徴抽出部を制御してその顔の特徴データを抽出させ（ステップＳ１５）、上記ステップＳ１１で抽出した比較用顔画像の特徴データと比較して類似度を判定し、類似度が所定の閾値以上の場合には同一人物の顔（つまり、求める特定人物）と判定してステップＳ１８に進む（ステップＳ１６）。また、類似度が所定の閾値未満の場合には顔データの人数記憶欄４２に記憶されている人数−１回分上記ステップＳ１５の類似度判定動作を繰り返し、人数−１＝０になるとステップＳ１３に戻る（ステップＳ１７）。このステップＳ８〜Ｓ１７により、特定人像を含むコマを検出できる。また、特定人物像を含まないコマは表示されずスキップされる（つまり、読み飛ばされる）ので動画表示時間を短縮できる。
【００４９】
ＣＰＵ２３は、類似度が所定の閾値以上の場合には上記ステップＳ１３で再生した画像データを内蔵メモリ２４にフレームデータとして展開してから表示コントローラ２１を介してＬＣＤ２２に表示させる（ステップＳ１８）。これにより、特定人物像を含むコマの動画像が表示される（図４参照）。
【００５０】
シャッターキー８が半押しされるとＣＰＵ２３は動画表示を停止するので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、シャッターキー８が半押しされた場合はＬＣＤ２２にそのコマの動画像を静止表示する（ステップＳ１９）。ここで、ユーザはカーソルキー５の操作により静止表示する画像を前のコマに戻したり、次のコマに進めることができるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、カーソルキー５が操作された場合はカーソルキー５の操作に応じて画面を１コマずつ前に戻して静止表示したり、次のコマに進めて静止表示する（ステップＳ２０）。
【００５１】
ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、ユーザが静止画記録指示操作（例えば、ＳＥＴキー６の押し下げ）を行うとステップＳ２２に進み、動画表示指示（シャッターキー８の全押し）があるとステップＳ１３に戻る（ステップＳ２１）。なお、このステップで静止画を外部装置に送信する送信指示操作の有無を判定できるようにしてもよい。
【００５２】
ユーザが静止画記録指示操作を行うとＣＰＵ２３は、現在表示されているコマの画像データ（動画像データ）から静止画データを生成して記録メディア３０の静止画記録領域に記録する（ステップＳ２２）。なお、このステップに上記ステップＳ２０で送信指示操作があったとき、静止画を外部装置に送信するステップを含むようにしてもよい。
【００５３】
ユーザが終了操作（例えば、ＳＥＴキー６の長押し）があると動画再生処理を終了し、そうでない場合はステップＳ１３に戻る（ステップＳ２３）。
【００５４】
上記図５のフローチャートに示した動作により、長時間動画の中から特定人物が写っているコマだけを表示し、記録メディア３０に記録したり、外部装置に送信したり、印刷することができる。また、顔情報が選択された動画と関連付けられていない場合は顔データを生成して顔情報として記録する時間を要するが、特定人物検出の際は人物の顔が映っていないコマを読み飛ばすので処理が短時間で済み、一顔情報を記録しておけば次回から、顔データ出力処理を伴うことなく直ちに特定人物検出動作を開始できる。つまり、この場合の特定人物検出動作は顔データ出力処理を伴わないのでより短時間で済む。
【００５５】
なお、上記図５のフローチャートでは圧縮された動画データから静止画像を生成して出力（記録若しくは送信）する例について述べたが、圧縮されていない動画データから所定時間間隔のフレームデータを自動的に選択してそのフレーム画像から静止画像を生成して出力するようにしてもよい。
【００５６】
また、上記図５のフローチャートではステップＳ１９、Ｓ２０に示すようにユーザの指示があったコマのみ静止画像を生成して出力するようにしたが、ステップＳ１９のユーザの静止画記録指示を行わないようにして、特定人物を含むコマの全てから静止画像を生成して出力するようにしてもよい。
【００５７】
また、上記図５のフローチャートでは特定人物を含むコマを出力（記録メディア３０に記録したり、外部処理装置に送信）する場合、これらの画像を表示するようにしたが、これらの画像を表示することなく、記録メディア３０から読み出したコマ（１動画フレーム分の画像データ）のうち条件に適合したコマのみを出力するようにしてもよい。
【００５８】
（変形例）  
上記実施例では、予め特定人物の顔が撮影され、静止画像が記録メディア３０に登録されている場合を例とし、記録メディア３０に登録されている人物の顔画像を読み出し（図５のステップＳ９）、ＬＣＤ２２に比較用の特定人物選択用のウインドウを表示してユーザの選択を促し、キー入力ブロック２８からの信号を調べ、ユーザによって比較用の顔画像が選択されたか否かを調べて後段の処理に進む（図５のステップＳ１０）ように構成したが、再生する動画のコマの動画像の中から特定人物を指定するようにしてもよい。
【００５９】
図６は上記変形例におけるデジタルカメラの静止画出力時のＣＰＵによる制御動作を示すフローチャートであり、ステップＳ１〜Ｓ８、ステップＳ１８〜Ｓ２３の動作は図５のフローチャートのステップＳ１〜Ｓ８、ステップＳ１８〜Ｓ２３の動作と同様である。
【００６０】
ＣＰＵ２３は、記録メディア３０に記録されている動画ファイルのうち上記ステップＳ１で選択された動画ファイルをオープンして読み取り可能状態にしてから（ステップＳ９）、メディアコントローラ２０を制御して１コマ分の動画フレーム画像（圧縮データ）を記録メディア３０から読み出してデータ圧縮・伸張ブロック１９で伸張させて画像データを再生し、動画像を表示する（ステップＳ１０）。
【００６１】
ＣＰＵ２３は、比較用顔画像の特徴データが内蔵メモリ２４の所定エリアに保持されているか否かを調べ、保持されている場合は上記ステップＳ１０で再生した動画データのＬＣＤ２２への出力を停止して動画像を表示しないようにしてからステップＳ１６に進み、保持されていない場合はステップＳ１２に進む（ステップＳ１１）。これにより、動画から比較用の人物が選択されるとステップＳ１６以降の特定人物検出処理が実行される。
【００６２】
ユーザはシャッターキー８の半押し操作（動画停止指示操作）により動画表示を停止できるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べシャッターキー８が半押しされた場合はステップＳ１３に進み、シャッターキー８の操作がない場合はステップＳ１０に戻る（ステップＳ１２）。
【００６３】
ユーザはカーソルキー５の操作により静止表示する画像を前のコマに戻したり、次のコマに進めることができるので、ＣＰＵ２３はキー入力ブロック２８からの信号を調べ、カーソルキー５が操作された場合はカーソルキー５の操作に応じて画面を１コマずつ前に戻して静止表示したり、次のコマに進めて静止表示する（ステップＳ１３）。
【００６４】
次に、ＣＰＵ２３はキー入力ブロック２８からの信号を調べユーザが比較顔画像選択・指定操作（例えば、ＳＥＴキー６の押し下げ）を行ったか否かを調べ、比較顔画像選択・指定操作を行った場合はステップＳ１５に進み、動画表示指示（シャッターキー８の全押し）があるとステップＳ１０に戻る（ステップＳ１４）。
【００６５】
ＣＰＵ２３は、特定人物検出部３１の特徴抽出部を制御して上記ステップＳ１４で比較顔画像抽出指示のあったコマの動画像データから比較用の顔画像の特徴データを抽出させ、内蔵メモリ２４の所定エリアに保持（記憶）する（ステップＳ１５）。比較用の顔画像は所定サイズの大きさの矩形に囲まれた顔画像からなるものとする。
【００６６】
次に、ＣＰＵ２３は、上記ステップＳ８で内蔵メモリ２４に記憶した顔情報から現在のコマの順序と一致するコマ番号の顔データを取り出してその人数記憶欄４２からそのコマに写っている顔の数が０の場合にはステップＳ１０に戻り、０でない場合はそれぞれの顔領域の位置データを取り出し（ステップＳ１６）、特定人物検出ブロック３２の特徴抽出部を制御してその顔画像の特徴データを抽出させ（ステップＳ１７−１）、上記ステップＳ１６で抽出した比較用顔画像の特徴データと比較して類似度を判定し、類似度が所定の閾値以上の場合には同一人物の顔（つまり、求める特定人物）と判定してステップＳ１８に進む（ステップＳ１７−２）。また、類似度が所定の閾値未満の場合には顔データの人数記憶欄４２に記憶されている人数−１回分上記ステップＳ１７−２の類似度判定動作を繰り返し、人数−１≦０になるとステップＳ１０に戻る（ステップＳ１７−３）。
【００６７】
上記図５のフローチャートおよび図６のフローチャートではシャッター８を半押し操作すると動画表示を停止させ、全押し操作すると動画表示を再開させるものとしたが、シャッター８を全押し操作すると動画表示を停止させ、半押し操作すると動画表示を再開させるようにしてもよい。
【００６８】
上記図５のフローチャートおよび図６のフローチャートに示す制御動作は、図５および図６の各ステップおよびその説明で「動画」を「高速連写画」、「動画像」を「連写画像」とすれば高速連写画像からの静止画像生成を行う場合の制御フローとして適用できる。
【００６９】
以上、本発明のいくつかの実施例について説明したが本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。例えば、カメラという用語は、デジタルカメラ等の電子カメラのほかやカメラ付き携帯電話機や撮像機能を有する情報機器、映像機器などにも適用し得るものである。
また、一旦撮像した動画像を後で再生するときに人物の数などを取得しているが、撮像時にリアルタイムで取得するようにしてもよい。
【図面の簡単な説明】
【００７０】
【図１】デジタルカメラの外観構成の一例を示す図である。
【図２】図１に示したデジタルカメラのブロック図である。
【図３】動画の各コマから検出される顔データの説明図である。
【図４】特定人物出力方法の説明図である。
【図５】特定人物画像出力機能を備えたデジタルカメラの静止画出力時のＣＰＵによる制御動作を示すフローチャートである。
【図６】変形例に係わるデジタルカメラの静止画出力時のＣＰＵによる制御動作を示すフローチャートである。
【符号の説明】
【００７１】
１３  ＣＣＤ（撮像部）
１９  データ圧縮・伸張ブロック
２１  表示コントローラ
２２  ＬＣＤ
２３  ＣＰＵ
３０  記録メディア
３１  顔データ出力ブロック（顔データ取得手段）
３２  特定人物検出ブロック
４０  顔データ
１００  デジタルカメラ
【図１】
2007228453.tif 000003
【図２】
2007228453.tif 000004
【図３】
2007228453.tif 000005
【図４】
2007228453.tif 000006
【図５】
2007228453.tif 000007
【図６】
2007228453.tif 000008