(57)【特許請求の範囲】
【請求項１】
動画データから第１の条件に基づいて第１の代表フレームを抽出する第１の代表フレーム抽出手段と、
前記動画データから、前記第１の条件とは異なる第２の条件に基づいて第２の代表フレームを抽出する第２の代表フレーム抽出手段と、
前記抽出された第１の代表フレームと第２の代表フレームをサムネイルとして前記動画データに関連付けて保存する制御手段と、
前記動画データから人物の顔を認識する顔認識手段とを有し、
前記第２の代表フレーム抽出手段は、前記動画データのうち、前記顔認識手段で顔が認識されたフレームを前記第２の代表フレームとして抽出し、
前記第１の代表フレーム抽出手段は、前記動画データのうち、前記顔認識手段で顔が認識されていないフレームを前記第１の代表フレームとして抽出し、
前記制御手段は、前記第１の代表フレームと前記第２の代表フレームとを合成した画像を前記サムネイルとして前記動画データに関連づけて保存する
ことを特徴とする画像処理装置。
【請求項２】
前記第２の代表フレーム抽出手段は、前記動画データのうち、前記顔認識手段により最も長く認識された人物の顔を含むフレームを前記第２の代表フレームとして抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の代表フレーム抽出手段は、前記動画データのうちの前記顔認識手段により最も長く認識された人物の顔を含むフレームのうち、該人物の顔の向きが最も正面を向いているフレームを前記第２の代表フレームとして抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の代表フレーム抽出手段は、前記動画データにおいて前記顔認識手段により認識された人物の顔うち、ユーザーにより選択された人物の顔を含むフレームを前記第２の代表フレームとして抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記顔認識手段による認識の結果に関する情報を記録手段に記録し、
前記第２の代表フレーム抽出手段は、前記記録手段に記録された前記認識の結果に関する情報を参照して前記第２の代表フレームを抽出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記第１の代表フレーム抽出手段は、前記動画データの撮影時の画角の情報に基づいて前記第１の代表フレームを抽出することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記第１の代表フレーム抽出手段は、前記動画データに含まれる前記第１の代表フレームの候補となるフレームのうち、最も撮影時の画角が広いフレームを前記第１の代表フレームとして抽出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記動画データの撮影時の画角に関する情報を記録手段に記録し、
前記第１の代表フレーム抽出手段は、前記記録手段に記録された前記画角に関する情報を参照して前記第１の代表フレームを抽出することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記第１の代表フレーム抽出手段および前記第２の代表フレーム抽出手段のうち一方は、輝度の高さ、音の大きさのうち、他方の代表フレーム抽出手段とは異なる条件に基づいて前記第１の代表フレームまたは前記第２の代表フレームを抽出することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記制御手段は、前記第２の代表フレームの一部範囲を切り出したものを前記第１の代表フレームに重畳した画像を前記サムネイルとして前記動画データに関連づけて保存するように制御することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記第１の条件に合致するフレームが無く前記第１の代表フレームが抽出されなかった場合、または前記第２の条件に合致するフレームが無く前記第２の代表フレームが抽出されなかった場合は、前記制御手段は、第１の代表フレームと第２の代表フレームのうち抽出された一方と、前記動画データの先頭フレームとをサムネイルとして前記動画データに関連づけて保存することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
動画データから第１の条件に基づいて第１の代表フレームを抽出する第１の代表フレーム抽出ステップと、
前記動画データから、前記第１の条件とは異なる第２の条件に基づいて第２の代表フレームを抽出する第２の代表フレーム抽出ステップと、
前記抽出された第１の代表フレームと第２の代表フレームをサムネイルとして前記動画データに関連付けて保存する制御ステップと、
前記動画データから人物の顔を認識する顔認識ステップとを有し、
前記第２の代表フレーム抽出ステップは、前記動画データのうち、前記顔認識ステップで顔が認識されたフレームを前記第２の代表フレームとして抽出し、
前記第１の代表フレーム抽出ステップは、前記動画データのうち、前記顔認識ステップで顔が認識されていないフレームを前記第１の代表フレームとして抽出し、
前記制御ステップは、前記第１の代表フレームと前記第２の代表フレームとを合成した画像を前記サムネイルとして前記動画データに関連づけて保存する
ことを特徴とする画像処理装置の制御方法。
【請求項１３】
コンピュータを、請求項１乃至１１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【請求項１４】
コンピュータを、請求項１乃至１１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録されたデータから画像を出力する画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
従来、ビデオカメラや動画再生装置等には、撮影した動画データを一覧表示する際に、各々の動画データに対してサムネイルと呼ばれる動画の代表画像を表示する機能を備えるものがある。ユーザは、サムネイルを見ることによって、複数の動画データを再生することなく、各々の動画データの内容を把握することができる。
【０００３】
従来のサムネイル作成方法としては、動画データの最初の１フレームをサムネイルとする方法が一般的に用いられている。動画データの最初の１フレームをサムネイルとすることで、サムネイルを決定する際の処理が非常に簡単になる。
【０００４】
しかしながら、同じシーンから始まり内容の異なる動画を複数撮影した場合、上記サムネイル作成方法を用いると、類似したサムネイルとなってしまい、再生する際に識別しにくい。このような問題に関しては、例えば、複数の動画データに対して、類似したサムネイルの作成を抑制する方法が提案されている（特許文献１参照）。特許文献１では、複数の動画データに対してそれぞれ特徴の異なるフレームを抽出しサムネイルとすることで、同様のシーンから始まる複数の動画も識別しやすくなる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−００６１２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来例では、複数の動画データに対して類似したサムネイルの作成を抑制するという条件を用いているため、全く内容が同じ動画に対しても異なるサムネイルを作成してしまい、動画の内容をうまく表しているとは言えない。
【０００７】
また、前述したように、動画データの最初の１フレームをサムネイルとする方法も、同じシーンから始まり内容の異なる動画データに対して同じサムネイルを作成してしまうので、動画の内容を識別することが困難である。
【０００８】
本発明は、上記問題に鑑みて成されたものであり、動画の最初の１フレームからサムネイルを作成する場合に起こる内容識別の困難さを軽減することができ、動画の内容を忠実に表現したわかりやすいサムネイルを作成できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、動画データから第１の条件に基づいて第１の代表フレームを抽出する第１の代表フレーム抽出手段と、前記動画データから、前記第１の条件とは異なる第２の条件に基づいて第２の代表フレームを抽出する第２の代表フレーム抽出手段と、前記抽出された第１の代表フレームと第２の代表フレームをサムネイルとして前記動画データに関連付けて保存する制御手段と、前記動画データから人物の顔を認識する顔認識手段とを有し、前記第２の代表フレーム抽出手段は、前記動画データのうち、前記顔認識手段で顔が認識されたフレームを前記第２の代表フレームとして抽出し、前記第１の代表フレーム抽出手段は、前記動画データのうち、前記顔認識手段で顔が認識されていないフレームを前記第１の代表フレームとして抽出し、前記制御手段は、前記第１の代表フレームと前記第２の代表フレームとを合成した画像を前記サムネイルとして前記動画データに関連づけて保存することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、動画の最初の１フレームからサムネイルを作成する場合に起こる内容識別の困難さを軽減することができる。また、動画の内容を忠実に表現したわかりやすいサムネイルを作成することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る画像処理装置の一例であるビデオカメラの概略構成を示すブロック図である。
【図２】第１の実施形態におけるサムネイル作成処理のフローチャートである。
【図３】（ａ）は図２のステップＳ１３０における第１の代表フレーム抽出処理の詳細を示すフローチャート、（ｂ）は図２のステップＳ１４０における第２の代表フレーム抽出処理の詳細を示すフローチャートである。
【図４】図２のステップＳ１５０におけるサムネイルを作成する処理の詳細を示すフローチャートである。
【図５】第１の実施形態における、動画データをモニタに一覧表示したときのサムネイルの一例を示す図である。
【図６】第２の実施形態における２つの代表フレームからサムネイルを作成する処理の一例を示すフローチャートである。
【図７】（ａ）は第１の代表フレーム、（ｂ）は第２の代表フレーム、（ｃ）は第１の代表フレームと第２の代表フレームを合成して作成されたサムネイルを示す図である。
【図８】第２の実施形態における、動画データをモニタに一覧表示したときのサムネイルの一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００１５】
図１は、本発明の実施形態に係る画像処理装置の一例であるビデオカメラの概略構成を示すブロック図である。
【００１６】
図１において、１０１はレンズ、１０２はレンズ１０１で集められた光を電荷に変換するＣＣＤやＣＭＯＳなどの撮像素子である。１０３は撮像素子１０２で生成された電荷を所定のフォーマットの映像信号に変換する信号処理回路である。１０４はレンズ１０１の制御を行うレンズ制御回路である。１０５はビデオカメラのシステム全体を制御するＣＰＵである。１１２はＲＡＭであり、ＣＰＵ１０５の作業領域となる。１１３はＲＯＭであり、ビデオカメラを制御する上で必要なプログラムを有している。
【００１７】
１０６は、ＤＶＤ、ハードディスク、不揮発性メモリなどの記録メディアである。１０７はＣＰＵ１０５と記録メディア１０６との間のデータの入出力を制御する記録メディア制御回路である。１０８は、撮影中の映像や再生された映像が出力（表示）されるモニタである。１０９は記録メディア１０６から読み出された動画データを映像としてモニタ１０８に表示するための再生回路である。１１０は、モニタ上にメニューや撮影情報を表示させるためのＯＳＤ（On Screen Display）回路である。１１１はユーザがビデオカメラを操作するための操作スイッチである。１１４はリアルタイムクロックであり、日付情報と時刻情報をＣＰＵ１０５に伝達する。１１５は外部入出力部であり、撮影した映像を外部のモニタやレコーダに出力したり、他のビデオカメラやプレーヤから映像を入力したりできる。
【００１８】
本実施形態では、ＣＰＵ１０５は、撮影された被写体の中から人物の顔を認識する公知の顔認識機能を備えるものとする。
【００１９】
［第１の実施形態］
第１の実施形態では、ビデオカメラで撮影時に記録された動画データから、主要人物のフレームと風景のフレームの２枚をサムネイルとする例を述べる。
【００２０】
まず、主要人物のフレーム及び風景のフレームの抽出方法について簡単に説明する。
【００２１】
主要人物の代表フレームを作成する際、顔認識機能を用いて撮影された被写体の中で、顔認識された時間が最も長い顔を主顔と判定し、この主顔を含むフレームのうち、最も正面を向いているフレームを主要人物の代表フレームとして抽出する。すなわち、これらを、後述する第１の条件と区別して、第２の条件とする。例えば、ＣＰＵ１０５が、顔認識を行った際に、その顔の検出時間と以前認識した顔の検出時間とを比較し、検出時間の長いものを主顔としてＲＡＭ１１２に記録する。新しい顔が認識された場合、ＣＰＵ１０５は、以前記録された主顔と新しく認識した顔の検出時間とを比較し、新しく認識した顔の検出時間の方が長くなった場合は、新しい顔を主顔としてＲＡＭ１１２に新たに記録する。最終的に、動画中で最も検出時間の長かった顔のあるフレームを主顔としてＲＡＭ１１２に記録させ、その記録されたフレームの中から顔の向きが最も正面を向いているフレームを代表フレームとして抽出する。なお、本実施形態では、認識した顔の検出時間を主顔の判定基準としたが、これに限定されず、検出回数であってもよい。また、ユーザにより選択された人物の顔であってもよい。
【００２２】
風景の代表フレームを作成する際、撮影された被写体の中で最も画角が広いフレームを、風景の代表フレームとする。すなわち、これらを第１の条件とする。具体的には、ＣＰＵ１０５は、ズームの倍率と、ＡＦで算出した被写体までの距離から算出された値により画角の広さを判定する。例えば、ズームが１倍で、被写体までの距離が１のときに、画角が（Ａ，Ｂ）である場合、ズームがＣ倍で被写体までの距離がＤという条件で画角の広さを算出すると、画角は（Ａ／Ｃ×Ｄ，Ｂ／Ｃ×Ｄ）となる。そして、ＣＰＵ１０５は、各フレームに対して画角の広さを算出し、その算出値をＲＡＭ１１２に記録する。顔認識されていないフレームがある場合は、顔認識されていないフレームの中で最も画角の広いものを風景の代表フレームとして抽出する。顔認識されていないフレームがない場合は、すべてのフレームの中で最も画角の広いものを風景の代表フレームとして抽出する。
【００２３】
上述したように、第１の実施形態では、顔認識時間の最も長かった主顔がどの顔であるのかと、主顔のうち最も正面を向いているフレームがどのフレームであるのかという撮影情報により主要人物の代表フレームを決定する。また、どのフレームが最も画角が広いかという撮影情報により、風景の代表フレームを決定する。
【００２４】
次に、第１の実施形態におけるサムネイル作成処理を図２を用いて説明する。このサムネイル作成処理は、ＣＰＵ１０５がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することにより実現される。
【００２５】
図２のフローは、操作スイッチ１１１によってビデオカメラの電源がＯＮになったときに開始する。
【００２６】
まず、ステップＳ１００では、ＣＰＵ１０５が、動画の録画が開始したか否かを判定する。録画が開始した場合はステップＳ１１０へ進み、そうでない場合はステップＳ１００へ戻る。
【００２７】
ステップＳ１１０では、ＣＰＵ１０５は、撮影された動画データを記録メディア１０６に記録すると共に、主要人物と風景の特定に必要となる、画角の広さ、主顔、顔の向きが最も正面を向いているフレームの３つの撮影情報をＲＡＭ１１２に記録する。すなわち、ステップＳ１１０では、上述した主要人物のフレーム及び風景のフレームの抽出方法により撮影情報が取得されてＲＡＭ１１２に記録される。そして、ステップＳ１２０に進む。
【００２８】
ステップＳ１２０では、ＣＰＵ１０５は、録画が終了したか否かを判定する。録画が終了した場合はステップＳ１３０へ進み、録画が終了していない場合はステップＳ１１０に戻る。
【００２９】
ステップＳ１３０では、ＣＰＵ１０５は、第１の代表フレームの抽出処理を実行し、ステップＳ１４０へ進む。ステップＳ１３０は、第１の代表フレーム抽出手段の一例である。第１の代表フレームの抽出処理の詳細については後述する。
【００３０】
ステップＳ１４０では、ＣＰＵ１０５は、第２の代表フレームの抽出処理を実行し、ステップＳ１５０へ進む。ステップＳ１４０は、第２の代表フレーム抽出手段の一例である。第２の代表フレームの抽出処理の詳細については後述する。
【００３１】
ステップＳ１５０では、ＣＰＵ１０５は、第１の代表フレーム、第２の代表フレームからサムネイルを作成する処理を実行し、本処理を終了する。ステップＳ１５０の詳細については後述する。
【００３２】
次に、ステップＳ１３０における第１の代表フレーム抽出処理、ステップＳ１４０における第２の代表フレーム抽出処理、及びステップＳ１５０におけるサムネイルを作成する処理の詳細について説明する。
【００３３】
図３（ａ）は、図２のステップＳ１３０における第１の代表フレーム抽出処理の詳細を示すフローチャートである。なお、第１の実施形態では、第１の代表フレーム抽出処理が風景を抽出するものとする。
【００３４】
図３（ａ）において、ステップＳ１３１では、ＣＰＵ１０５は、撮影情報における主顔の情報を参照し、記録された動画データから顔認識されていないフレームがあるか否かを判定する。すなわち、ＣＰＵ１０５は第１の判定手段として機能する。この結果、顔認識されていないフレームがあると判定した場合はステップＳ１３２へ進み、顔認識されていないフレームがないと判定した場合はステップＳ１３３へ進む。
【００３５】
ステップＳ１３２では、ＣＰＵ１０５は、顔認識されていないフレームのみを第１の代表フレーム候補とし、ステップＳ１３４へ進む。
【００３６】
ステップＳ１３３では、ＣＰＵ１０５は、全フレームを第１の代表フレーム候補とし、ステップＳ１３４へ進む。
【００３７】
ステップＳ１３４では、ＣＰＵ１０５は、撮影情報における画角の広さの情報を参照し、第１の代表フレーム候補の中で最も画角の広いものを第１の代表フレームとし、リターンする。画角の広さはＲＡＭ１１２に記録されたデータから判断する。
【００３８】
図３（ｂ）は、図２のステップＳ１４０における第２の代表フレーム抽出処理の詳細を示すフローチャートである。なお、第１の実施形態では、第２の代表フレーム抽出処理が代表的な人物の顔を抽出するものとする。
【００３９】
ステップＳ１４１では、ＣＰＵ１０５は、撮影情報を参照し、記録された動画データから顔認識されたフレームがあるか否かを判定する。この結果、顔認識されたフレームがあると判定した場合はステップＳ１４２へ進み、顔認識されたフレームがないと判定した場合は、リターンする。
【００４０】
ステップＳ１４２では、ＣＰＵ１０５は、最も長く認識した顔を含んだフレームを第２の代表フレーム候補とし、ステップＳ１４３へ進む。第２の代表フレーム候補は、ＲＡＭ１１２に主顔として記録された顔を含むフレームである。
【００４１】
ステップＳ１４３では、ＣＰＵ１０５は、第２の代表フレーム候補の中で、顔が最も正面を向いているものを第２の代表フレームとし、リターンする。第２の代表フレームは、ＲＡＭ１１２に正面向きに近い顔フレームとして記録されたフレームである。
【００４２】
図４は、図２のステップＳ１５０におけるサムネイルを作成する処理の詳細を示すフローチャートである。
【００４３】
ステップＳ１５１では、ＣＰＵ１０５は、第１の代表フレーム及び第２の代表フレームが２つとも抽出されたか否かを判定し、２つとも抽出されたと判定した場合はステップＳ１５２へ進み、２つとも抽出されなかったと判定した場合はステップＳ１５３へ進む。２つ抽出されない場合とは、録画中に顔認識されたフレームが一つも無く、第１の代表フレームのみが抽出されるような場合である。
【００４４】
ステップＳ１５２では、ＣＰＵ１０５は、抽出された２つの代表フレームをサムネイルとして保存する。
【００４５】
ステップＳ１５３では、ＣＰＵ１０５は、代表フレームが１つ抽出されたか否かを判定し、抽出されたと判定した場合はステップＳ１５４へ進む。代表フレームが１つ抽出された場合とは、図３（ａ）の第１の代表フレームの抽出処理及び図３（ｂ）の第２の代表フレームの抽出処理のいずれか一方のみから代表フレームが抽出された場合である。
【００４６】
ステップＳ１５３の判定において、代表フレーム１つも抽出されなかったと判定した場合はステップＳ１５５へ進む。代表フレームが１つも抽出されなかった場合とは、例えば、外部入出力部１１５から入力された動画データを本ビデオカメラに記録するときに、必要な撮影情報を参照できず、代表フレームが一つも抽出されない場合である。
【００４７】
ステップＳ１５４では、ＣＰＵ１０５は、動画の最初のフレームと抽出されたフレームをサムネイルとして保存する。
【００４８】
ステップＳ１５５では、ＣＰＵ１０５は、動画の最初のフレームと動画の中盤のフレームをサムネイルとして保存する。動画の中盤のフレームとは、撮影開始から終了までの間で時間的にちょうど真中にあたるフレームとする。
【００４９】
ステップＳ１５２、Ｓ１５４、Ｓ１５５で作成されたサムネイルは、ＣＰＵ１０５により、動画データに関連付けて記録メディア１０６に記録される。動画データをモニタ１０８に一覧表示する場合は、図５に示すように動画データ１つに対して、２つのサムネイルを横に並べて表示する。図示例では、サムネイル１が第１の代表フレーム、サムネイル２が第２の代表フレームとなる。また、動画データ１〜４の表示部分には、動画データのファイル名が表示される。
【００５０】
以上のように、第１の実施形態によれば、動画データ中の主要人物の代表フレームと風景の代表フレームの２つの代表フレームからサムネイルを作成することで、動画の内容を忠実に表現したわかりやすいサムネイルを作成することができる。特に、主被写体となる可能性の高い主要人物のフレームをサムネイル作成のための代表フレームの１つとして用いることで、誰を撮影した動画であるかを明示できる。そして、主要人物の代表フレームを抽出した条件とは異なる条件で風景の代表フレームを決定するので、同一人物を撮影した場合でも、風景を頼りに撮影場所の違いを識別でき、個々の動画データの識別が容易になる。
【００５１】
なお、第１の実施形態では、画角情報と顔認識情報を基に、風景と主顔を代表フレームとして抽出したが、他の抽出手法を用いて代表フレームを抽出してもよい。例えば、輝度の高さ、音の大きさ、といったような任意の条件でフレームを抽出してもよい。輝度の高さは、屋外なのか屋内なのかを判別する際などに利用でき、音の大きさは盛り上がっているのかどうかを判別する際などに利用できると考えられる。
【００５２】
また、第１の実施形態では、図５に示すように、第１の代表フレームと第２の代表フレームを横に並べて表示したが、表示方法はこれに限定しない。例えば、縦に２つ並べたり、異なる大きさで２つ並べたりしてもよい。
【００５３】
［第２の実施形態］
第２の実施形態では、第１の実施形態と同様に、ビデオカメラで撮影した動画の中で、主要人物のフレームと風景のフレームの２枚を抽出するが、２枚並べて表示するのではなく、２枚を合成してサムネイルを作成する例を述べる。第２の実施形態におけるサムネイル作成処理及び代表フレーム抽出処理については、第１の実施形態で説明した図２のフローチャート及び図３のフローチャートと同様の処理なので、それらの説明を省略する。
【００５４】
以下、第２の実施形態における図２のステップＳ１５０での処理である第１及び第２の代表フレームからサムネイルを作成する処理について図６を用いて述べる。なお、このサムネイル作成における各処理は、ＣＰＵ１０５がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することにより実現される。
【００５５】
図６は、第２の実施形態における２つの代表フレームからサムネイルを作成する処理の一例を示すフローチャートである。なお、図６のステップＳ１５１、Ｓ１５３は、第１の実施形態で説明した図４のステップＳ１５１、Ｓ１５３と同様の処理なのでそれらの説明を省略する。
【００５６】
図６のステップＳ２５２では、ＣＰＵ１０５は、抽出された２つの代表フレームを合成し、サムネイルとして保存する。代表フレームの合成方法については、図７に示す代表フレームの例を用いて、具体的に説明する。
【００５７】
図７（ａ）に第１の代表フレーム、図７（ｂ）に第２の代表フレームを示す。図７（ｃ）には、第１の代表フレームと第２の代表フレームを合成して作成されたサムネイルを示す。
【００５８】
まず、ＣＰＵ１０５は、第２の代表フレームにおいて、顔認識した部分を切り取る。次に、ＣＰＵ１０５は、切り取った顔の部分を拡大もしくは縮小し、第１の代表フレーム（風景の代表フレームの全体範囲を用いると良い）の右上に図７（ｃ）に示したように合成する。そして、合成した画像をサムネイルとして保存する。
【００５９】
ステップＳ２５４では、ＣＰＵ１０５は、抽出された１つの代表フレームをサムネイルとして保存する。
【００６０】
ステップＳ２５５では、ＣＰＵ１０５は、動画の最初のフレームをサムネイルとして保存する。
【００６１】
ステップＳ２５２、Ｓ２５４、Ｓ２５５で作成されたサムネイルは、動画データに関連付けて記録メディア１０６に記録される。
【００６２】
図８は、動画データをモニタ１０８に一覧表示したときのサムネイル表示例を示す図である。
【００６３】
図８において、動画データ１、２、４、６、７は撮影中に顔認識されたフレームがあったものであり、２つの代表フレームを合成したサムネイルが表示されている。動画データ３，５，８は撮影中に顔認識されたフレームがなかったものであり、１つの代表フレームがサムネイルとして表示されている。
【００６４】
以上のように、第２の実施形態によれば、動画データ中の主要人物の代表フレームと風景の代表フレームを合成してサムネイルを作成することで、限られた表示範囲において、動画内容のわかりやすいサムネイルを作成することができる。風景は一部が隠れても内容把握の妨げにはならず、顔は顔だけ切り取っても誰かわかるので周りが無くても問題はないため、主要人物と風景の画像を合成することで、限られた領域を有効に使うことができる。
【００６５】
なお、第２の実施形態では、２つの代表フレームを合成して図７（ｃ）のように出力したが、合成する方法についてはこれに限定しない。例えば、切り抜いた主顔を右上ではなく左下に合成してもよく、２つの代表フレームを任意の大きさに拡大もしくは縮小して合成してもよい。
【００６６】
以上説明したように、本発明によれば、異なる２つの条件によって抽出した２つの代表フレームを用いることで内容のわかりやすいサムネイルを作成することが可能となる。また、動画データ中の主要な人物をサムネイルとすることで、誰を撮影した動画であるかを明示できる。さらに、主要な人物だけでなく、代表的なフレームもサムネイルとするので、同一人物を撮影した場合でも、個々の動画データの識別が容易になる。そして、２つの代表フレームを合成したものをサムネイルとすることで、限られた表示範囲において、より内容のわかりやすいサムネイルを作成することが可能となる。
【００６７】
なお、ＣＰＵ１０５の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
【００６８】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００６９】
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明はＰＣやＰＤＡ、携帯電話端末や携帯型の動画再生装置、プリンタ装置に設けられたディスプレイなど、複数の画像を同時に表示するように制御可能な表示制御装置であれば適用可能である。
【００７０】
本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。
【符号の説明】
【００７１】
１０５  ＣＰＵ
１０６  記録メディア
１０７  記録メディア制御回路
１０８  モニタ
１０９  再生回路
１１０  ＯＳＤ回路
１１１  操作スイッチ
１１２  ＲＡＭ
１１３  ＲＯＭ
１１５  外部入出力部
【図１】
0005665380.tif 000002
【図２】
0005665380.tif 000003
【図３】
0005665380.tif 000004
【図４】
0005665380.tif 000005
【図５】
0005665380.tif 000006
【図６】
0005665380.tif 000007
【図７】
0005665380.tif 000008
【図８】
0005665380.tif 000009