(57)【要約】【課題】動画データの内容把握を容易とするインデックス表示処理を実現する構成を提供する。【解決手段】例えばデジタルカメラにおいて動画データをメディアに記録し、ユーザの静止画撮り込み要求などに応じて選択された複数の静止画を動画データ対応のインデックス画像としてメディアに記録する。さらに、これら複数の静止画の情報を動画対応の管理情報に関連静止画情報として記録する。インデックス画像の再生処理においては、管理情報内の関連静止画情報に従ってインデックス画像（静止画）をメディアから読み出し、読み出した複数の静止画を表示部に順次表示するスライドショー表示を行う。この構成により、ユーザは動画の内容を誤りなく容易に把握することが可能となる。【選択図】図５
2010213136.tif 000002
【特許請求の範囲】
【請求項１】
動画データをメディアに記録するとともに、前記動画データに対応する管理情報を生成して前記メディアに記録する制御を行う制御部を有し、
前記制御部は、
前記動画データの構成フレームからの顔検出またはユーザ操作に応じて選択された複数の静止画を、動画データ対応のインデックス画像として前記メディアに記録し、さらに、前記複数の静止画の情報を関連静止画情報として前記管理情報に記録する処理を実行し、
前記制御部は、さらに、
前記管理情報内の関連静止画情報に従ってインデックス画像として設定した複数の静止画をメディアから読み出し、読み出した複数の静止画を表示部に順次表示するインデックス画像のスライドショー表示を行う画像処理装置。
【請求項２】
前記制御部は、
前記複数の静止画各々のパス情報を、前記関連静止画情報として前記管理情報に記録する処理を実行し、
前記スライドショー表示に際して、前記パス情報を適用して複数の静止画をメディアから読み出す処理を行う請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、
前記複数の静止画各々の再生タイミング時間情報を、前記関連静止画情報として前記管理情報に記録する処理を実行し、
前記スライドショー表示中の動画再生指示の入力に応じて、前記再生タイミング時間情報を適用して前記スライドショー表示に適用した静止画を起点とした動画再生を実行する請求項１に記載の画像処理装置。
【請求項４】
前記制御部は、
前記動画データの記録処理中のユーザからの静止画撮り込み指示を入力し、該静止画撮り込み指示入力タイミングに対応する記録フレームをインデックス用静止画として前記メディアに記録する処理を行う請求項１に記載の画像処理装置。
【請求項５】
前記制御部は、
前記動画データの記録中における顔または笑顔検出情報を入力し、顔または笑顔検出フレームをインデックス用静止画として前記メディアに記録する処理を行う請求項１に記載の画像処理装置。
【請求項６】
前記制御部は、
前記動画データの記録処理中のユーザの操作情報を入力し、該操作情報入力タイミングに対応する記録フレームをインデックス用静止画として前記メディアに記録する処理を行う請求項１に記載の画像処理装置。
【請求項７】
前記ユーザの操作情報は、ズームイン操作である請求項６に記載の画像処理装置。
【請求項８】
前記制御部は、
前記スライドショー表示における各静止画の表示時間を、静止画の属性に応じて算出したスコアに応じた時間に設定して表示制御を行う構成である請求項１に記載の画像処理装置。
【請求項９】
前記制御部は、
動画データ対応のインデックス画像として前記メディアに記録する静止画のスコアを算出し、算出したスコア情報を前記関連静止画情報として前記管理情報に記録する処理を実行し、前記スライドショー表示における各静止画の表示時間を前記スコアに応じた時間に設定した表示制御を行う構成である請求項１に記載の画像処理装置。
【請求項１０】
前記制御部は、
静止画対応のスコアを、静止画に含まれる顔の数、または顔の大きさ、または顔の笑顔度、または顔の年齢、または顔の向き、または静止画撮り込みが自動で実行されたか手動で実行されたかの少なくともいずれかの判定情報を適用して算出する請求項８または９に記載の画像処理装置。
【請求項１１】
前記制御部は、
前記スライドショー表示において、静止画に含まれる顔の拡大表示処理を行う請求項１に記載の画像処理装置。
【請求項１２】
画像処理装置において実行する画像処理方法であり、
制御部が、動画データをメディアに記録するとともに、前記動画データに対応する管理情報を生成して前記メディアに記録する制御を行う動画記録ステップと、
前記制御部が、前記動画データの構成フレームからの顔検出またはユーザ操作に応じて選択された複数の静止画を、動画データ対応のインデックス画像として前記メディアに記録し、さらに、前記複数の静止画の情報を関連静止画情報として前記管理情報に記録する静止画記録ステップと、
前記制御部は、さらに、前記管理情報内の関連静止画情報に従ってインデックス画像として設定した複数の静止画をメディアから読み出し、読み出した複数の静止画を表示部に順次表示するインデックス画像のスライドショー表示を行う画像表示ステップを実行する画像処理方法。
【請求項１３】
画像処理装置において画像処理を実行させるプログラムであり、
制御部に、動画データをメディアに記録させるとともに、前記動画データに対応する管理情報を生成して前記メディアに記録させる動画記録ステップと、
前記制御部に、前記動画データの構成フレームからの顔検出またはユーザ操作に応じて選択された複数の静止画を、動画データ対応のインデックス画像として前記メディアに記録させ、さらに、前記複数の静止画の情報を関連静止画情報として前記管理情報に記録させる静止画記録ステップと、
前記制御部に、前記管理情報内の関連静止画情報に従ってインデックス画像として設定した複数の静止画をメディアから読み出させ、読み出した複数の静止画を表示部に順次表示するインデックス画像のスライドショー表示を行わせる画像表示ステップを有するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、例えばビデオカメラなどによって撮像された動画像データからインデックスとする静止画を選択し、選択したインデックス用静止画を順次表示する処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
昨今のデジタルカメラ、デジタルビデオカメラなどの撮像装置、あるいはＤＶＤプレーヤなどの画像処理装置は、例えば画像表示部やモニタ画面に記録媒体（記録メディア）に格納された画像データの一覧を表示する機能を備えているものが多い。
【０００３】
例えば、撮像装置やＤＶＤプレーヤなど動画再生可能な装置は、動画のタイトルまたはチャプターをメニュー形式で並べて表示し、これらの表示データからユーザに再生コンテンツを選択させて再生処理を行なうものがある。また、例えば撮像装置において撮影された複数の動画ファイルに対応する代表画像を選択して選択した代表画像の縮小画像（サムネイル画像）を表示する、いわゆるインデックス表示処理を可能としたものがある。
【０００４】
例えばカメラの撮影した動画ファイルの一覧リストの表示処理などでは、各動画ファイルの代表画として選択されたインデックス画像の縮小画像（サムネイル画像）を表示する処理が行われる。従って、内容把握を容易にするためには、各動画ファイルからできるだけ意味のあるフレーム画像をインデックスとして選択することが必要となる。
【０００５】
インデックス画像の選定方法としては、たとえば各動画ファイルの先頭画像を選択する手法が多く用いられる。しかし、先頭画像には、その動画ファイルを把握可能な画像が含まれていない場合も多い。このような場合、先頭画像はインデックス画像の役割を果たすことができない。
【０００６】
このような問題点に対する対策を開示した従来技術として、例えば特許文献１（特開平１１−２８４９４８号公報）がある。特許文献１に記載のカメラの処理は以下の通りである。まず、動画の記録期間中にシーンチェンジを検出し、検出したシーンチェンジの画像を選択してサムネイル画像を生成する。さらに、一定時間間隔でサムネイル画像を作成する。さらに、これらのサムネイル画像をインデックス表示でぱらぱら表示（スライドショー表示）する。
【０００７】
しかしながら、この特許文献１の手法によるインデックス画像の生成手法を適用したとしても、ユーザが本当に見たい場面がサムネイル画像として作成されるとは限らない。従ってこのようなインデックス画像のスライドショーを行っても、ユーザがコンテンツの特徴をつかめない場合がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１１−２８４９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、例えば上述の問題点に鑑みてなされたものであり、例えばカメラによって撮影した動画データからの顔検出またはユーザ操作を条件としてインデックス画像を選択し、選択した画像の情報を管理情報に記録する。さらに、管理情報を適用して複数の静止画を順次表示することで、内容の把握し易いインデックス表示を可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の側面は、
動画データをメディアに記録するとともに、前記動画データに対応する管理情報を生成して前記メディアに記録する制御を行う制御部を有し、
前記制御部は、
前記動画データの構成フレームからの顔検出またはユーザ操作に応じて選択された複数の静止画を、動画データ対応のインデックス画像として前記メディアに記録し、さらに、前記複数の静止画の情報を関連静止画情報として前記管理情報に記録する処理を実行し、
前記制御部は、さらに、
前記管理情報内の関連静止画情報に従ってインデックス画像として設定した複数の静止画をメディアから読み出し、読み出した複数の静止画を表示部に順次表示するインデックス画像のスライドショー表示を行う画像処理装置にある。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記複数の静止画各々のパス情報を、前記関連静止画情報として前記管理情報に記録する処理を実行し、前記スライドショー表示に際して、前記パス情報を適用して複数の静止画をメディアから読み出す処理を行う。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記複数の静止画各々の再生タイミング時間情報を、前記関連静止画情報として前記管理情報に記録する処理を実行し、前記スライドショー表示中の動画再生指示の入力に応じて、前記再生タイミング時間情報を適用して前記スライドショー表示に適用した静止画を起点とした動画再生を実行する。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記動画データの記録処理中のユーザからの静止画撮り込み指示を入力し、該静止画撮り込み指示入力タイミングに対応する記録フレームをインデックス用静止画として前記メディアに記録する処理を行う。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記動画データの記録中における顔または笑顔検出情報を入力し、顔または笑顔検出フレームをインデックス用静止画として前記メディアに記録する処理を行う。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記動画データの記録処理中のユーザの操作情報を入力し、該操作情報入力タイミングに対応する記録フレームをインデックス用静止画として前記メディアに記録する処理を行う。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記ユーザの操作情報は、ズームイン操作である。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記スライドショー表示における各静止画の表示時間を、静止画の属性に応じて算出したスコアに応じた時間に設定して表示制御を行う構成である。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記制御部は、動画データ対応のインデックス画像として前記メディアに記録する静止画のスコアを算出し、算出したスコア情報を前記関連静止画情報として前記管理情報に記録する処理を実行し、前記スライドショー表示における各静止画の表示時間を前記スコアに応じた時間に設定した表示制御を行う構成である。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記制御部は、静止画対応のスコアを、静止画に含まれる顔の数、または顔の大きさ、または顔の笑顔度、または顔の年齢、または顔の向き、または静止画撮り込みが自動で実行されたか手動で実行されたかの少なくともいずれかの判定情報を適用して算出する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記スライドショー表示において、静止画に含まれる顔の拡大表示処理を行う。
【００２１】
さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
制御部が、動画データをメディアに記録するとともに、前記動画データに対応する管理情報を生成して前記メディアに記録する制御を行う動画記録ステップと、
前記制御部が、前記動画データの構成フレームからの顔検出またはユーザ操作に応じて選択された複数の静止画を、動画データ対応のインデックス画像として前記メディアに記録し、さらに、前記複数の静止画の情報を関連静止画情報として前記管理情報に記録する静止画記録ステップと、
前記制御部は、さらに、前記管理情報内の関連静止画情報に従ってインデックス画像として設定した複数の静止画をメディアから読み出し、読み出した複数の静止画を表示部に順次表示するインデックス画像のスライドショー表示を行う画像表示ステップを実行する画像処理方法にある。
【００２２】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
制御部に、動画データをメディアに記録させるとともに、前記動画データに対応する管理情報を生成して前記メディアに記録させる動画記録ステップと、
前記制御部に、前記動画データの構成フレームからの顔検出またはユーザ操作に応じて選択された複数の静止画を、動画データ対応のインデックス画像として前記メディアに記録させ、さらに、前記複数の静止画の情報を関連静止画情報として前記管理情報に記録させる静止画記録ステップと、
前記制御部に、前記管理情報内の関連静止画情報に従ってインデックス画像として設定した複数の静止画をメディアから読み出させ、読み出した複数の静止画を表示部に順次表示するインデックス画像のスライドショー表示を行わせる画像表示ステップを有するプログラムにある。
【００２３】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２５】
本発明の一実施例の構成によれば、例えばデジタルカメラにおいて動画データをメディアに記録し、ユーザの静止画撮り込み要求などに応じて選択された複数の静止画を動画データ対応のインデックス画像としてメディアに記録する。さらに、これら複数の静止画の情報を動画対応の管理情報に関連静止画情報として記録する。インデックス画像の再生処理においては、管理情報内の関連静止画情報に従ってインデックス画像（静止画）をメディアから読み出し、読み出した複数の静止画を表示部に順次表示するスライドショー表示を行う。この構成により、ユーザは動画の内容を誤りなく容易に把握することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の画像処理装置の一実施例であるデジタルカメラの画像記録処理構成を示すブロック図である。
【図２】デジタルカメラのメディアに記録される情報の構成について説明する図である。
【図３】１つの動画像ファイルに対応する管理情報の構成例について説明する図である。
【図４】本発明の画像処理装置の一実施例であるデジタルカメラの画像再生処理構成を示すブロック図である。
【図５】本発明の画像処理装置において実行するインデックス画像を適用した再生処理例について説明する図である。
【図６】本発明の画像処理装置において実行するインデックス画像を適用した再生処理例について説明する図である。
【図７】本発明の画像処理装置において実行するインデックス画像を適用した再生処理例について説明する図である。
【図８】本発明の画像処理装置において実行するインデックス画像を適用した再生処理に適用するスコアの設定例について説明する図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら本発明の実施形態に係る画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。
【００２８】
以下では、本発明について以下の項目に従って順次説明する。
（１）本発明の画像処理装置の一例であるデジタルカメラの記録処理構成例
（２）本発明の画像処理装置の一例であるデジタルカメラの再生処理構成例
（３）インデックス画像の再生処理の具体例
（４）静止画記録処理のトリガについて
（５）インデックス表示処理における各静止画表示時間の制御処理について
【００２９】
［（１）本発明の画像処理装置の一例であるデジタルカメラの記録処理構成例］
まず、図１のブロック図を参照して本発明の画像処理装置の一例であるデジタルカメラの記録処理構成例について説明する。図１はデジタルカメラにおいて画像記録処理に関連する処理を行うブロックを選択して示したブロック図である。
【００３０】
図１に示すデジタルカメラ１００は、動画および静止画を撮影してメディア１０１に記録する処理を行う。各ブロックの制御は制御部（マイクロコンピュータ）１０３が一括して行う。ユーザ操作部１１０に対するユーザの操作情報が制御部１０３に入力され動画像データの撮影が開始される。撮影画像は例えばＣＣＤやＣＭＯＳなどの光学信号を電気信号に変換する映像変換手段１１１に入力される。
【００３１】
映像変換手段１１１は、撮影画像に対応する電気信号を生成して映像処理手段１１２に入力する。映像処理手段１１２は、入力電気信号に対する信号処理を実行する。例えば、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）処理、ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）処理、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理、さらに、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）、ＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）、ＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）などのカメラ信号処理を施す。
【００３２】
映像処理手段１１２は、顔検出部１１８を有する。顔検出部１１８は、撮影された画像に含まれる顔領域の検出を行う。検出情報には、顔の数、サイズ、顔が笑顔であるか否か、顔年齢等の情報が含まれる。なお、これらの検出処理には既存の検出処理構成を適用する。顔検出部１１８による検出情報は制御部１０３の制御により、管理情報としてメディア１０１に記録される。管理情報の詳細については後述する。
【００３３】
映像処理手段１１２において信号処理の施された画像データは、バッファメモリ１０６に格納される。バッファメモリ１０６に格納された動画データは、動画コンテンツ圧縮手段１１３において動画圧縮される。例えばＭＰＥＧ形式の圧縮データが生成される。圧縮データは、メディア１０１の記録ファイルの管理を実行するファイルシステム部１０２に入力される。ファイルシステム部１０２は、メディア１０１に記録する動画に対応する管理情報を作成し、その後メディア１０１に記録する。なお、管理情報はメディア１０１に記録されるが、記録処理、再生処理に際しては、一時的に読み出されて管理ファイルメモリ１０４に展開されている。ファイルシステム部１０２は生成した管理情報を管理ファイルメモリ１０４にある管理ファイルにも反映させる。
【００３４】
動画記録中に静止画記録ボタン１０９がユーザによって操作されたことを制御部１０３が検出すると、制御部１０３の制御の下、バッファメモリ１０６に格納された動画像を構成する１つの画像フレームデータが静止画コンテンツ圧縮手段１１４に入力される。このようにして記録された静止画は、記録中の動画像に対応するインデックス画像としてメディア１０１に記録される。
【００３５】
静止画コンテンツ圧縮手段１１４は、バッファメモリ１０６から入力した静止画像に対して、静止画圧縮処理を実行する。この圧縮処理により例えばＪＰＥＧ形式の圧縮データが生成される。圧縮データは、ファイルシステム部１０２に出力される。ファイルシステム部１０２は、静止画（インデックス画像）に対応する管理情報を作成し、その後メディア１０１に記録する。ファイルシステム部１０２の生成する管理情報は、管理ファイルメモリ１０４にある管理ファイルにも反映させる。なお、最終的には管理ファイルメモリ１０４の内容もメディア１０１に記録される。
【００３６】
図２に、メディア１０１に記録される情報の構成を示す。図２（ａ）はメディアに記録されるデータの全体構成であり、図２（ｂ）は管理情報の構成に対応する。
図２（ａ）に示すように、メディアには、ルートフォルダ（ＲｏｏｔＦｏｌｄｅｒ）が設定され、ルートフォルダ（ＲｏｏｔＦｏｌｄｅｒ）の下位に、圧縮動画像データのファイル群が設定される動画像実データフォルダ、圧縮静止画データのファイル群が設定される静止画像実データフォルダ、さらに、これらの記録データに対応する管理情報ファイルを格納した管理情報フォルダが設定される。
【００３７】
管理情報フォルダは図２（ｂ）に示す仮想フォルダ構造を持つ。仮想ルートフォルダ（ＲｏｏｔＦｏｌｄｅｒ）２０１以下に、動画像対応の管理情報を記録する動画対応管理情報仮想フォルダ２１１、静止画像対応の管理情報を記録する静止画対応管理情報仮想フォルダ２２１が設定される。
【００３８】
動画対応管理情報仮想フォルダ２１１の下位に、各動画像のメタデータに基づいて取得される撮影日時情報に対応する仮想フォルダが設定され、その下位に各動画像ファイルに対応する管理情報ファイルに相当する仮想フォルダ［ｘｘｘｘｘ．ＭＰＧ］が設定される。
【００３９】
静止画（インデックス）についても動画像と同様、静止画対応管理情報仮想フォルダ２２１の下位に、撮影日時情報に対応する仮想フォルダが設定され、その下位に各静止画像に対応する管理情報ファイルに相当する仮想フォルダ［ｘｘｘｘｘ．ＪＰＧ］が設定される。
【００４０】
たとえば動画コンテンツ［Ｍ２Ｕ００００２．ＭＰＧ］を記録中に、ユーザが静止画記録ボタン１０９を操作し、インデックス画像としての静止画コンテンツ［ＤＳＣ００００２．ＪＰＧ］、［ＤＳＣ００００３．ＪＰＧ］を記録したとする。
【００４１】
これらの動画および静止画の管理情報は、それぞれ別の管理仮想フォルダに記録される。
すなわち、図２（ｂ）に示す動画対応仮想フォルダ２１５、静止画対応仮想フォルダ２２５，２２６が動画または静止画に対応する管理情報仮想フォルダの記録位置となる。
【００４２】
これらの各管理情報ファイルに対応する仮想フォルダは、矢印で示すように同時に記録した動画と静止画である関連情報が双方の管理情報に記録され、一方の管理情報から他方の管理情報を特定することが可能な構成となっている。
【００４３】
すなわち、ある１つの動画像に対応して記録された静止画は、動画像の管理情報を用いて特定することが可能であり、ある１つの静止画に対応する動画は、静止画像の管理情報を用いて特定することが可能な構成を持つ。
【００４４】
１つの動画像ファイルに対応する管理情報の構成例を図３に示す。図３に示す動画像対応管理情報は、例えば、動画コンテンツＭ２Ｕ００００２．ＭＰＧに対応して記録される管理情報、すなわち、図２（ｂ）に示す動画対応仮想フォルダ２１５内のデータ構成である。
【００４５】
図３に示すように、動画像対応管理情報には、以下の情報が含まれる。
作成日時
更新日時
プロファイル（撮影条件など）
再生時間
関連静止画リスト
これらの情報が含まれる。
【００４６】
関連静止画リストは、この動画管理情報に対応する動画の記録中に記録された静止画（インデックス）についての情報である。関連静止画リストは、各静止画に対応する情報として以下の情報を持つ。
関連静止画へのパス情報
関連静止画の再生タイミング時間
関連静止画のメタ情報（人数、顔、顔サイズなど）
これらの情報が、各静止画に対応して記録される。
【００４７】
関連静止画へのパス情報は、メディアの静止画記録位置を示し、静止画をメディア読み出すために用いられる。
関連静止画の再生タイミング時間は、静止画を記録した動画像の再生位置を示す。例えば動画像スタートからの時間情報である。
関連静止画のメタ情報（人数、顔、顔サイズ、笑顔度、顔年齢、顔の向きなど）は、記録した静止画の属性情報であり、その静止画に含まれる人の数、顔の有無、数、顔サイズなどの情報が記録される。
【００４８】
図３に示すように、関連静止画へのパス情報、再生タイミング時間、メタ情報（人数、顔、顔サイズ、笑顔度、顔年齢、顔の向きなど）は、１つの動画ファイルに対応して記録された静止画各々について記録される。
【００４９】
上述したように、本発明の画像処理装置の制御部１０３は、動画データをメディアに記録するとともに、動画データに対応する管理情報を生成してメディア１０１に記録する制御を行う。また制御部１０３は、動画データの構成フレームからの顔検出またはユーザ操作に応じて選択された複数の静止画を、動画データ対応のインデックス画像としてメディア１０１に記録し、さらに、複数の静止画のパス情報や再生タイミング時間情報、メタ情報などの静止画情報を関連静止画情報として管理情報に記録する処理を実行する。
【００５０】
［（２）本発明の画像処理装置の一例であるデジタルカメラの再生処理構成例］
次に、図４のブロック図を参照して本発明の画像処理装置の一例であるデジタルカメラの再生処理構成例について説明する。図４に示すデジタルカメラ１００は、図１を参照して説明したデジタルカメラ１００と同じカメラであり、再生処理に関連する処理ブロックを示した図てある。
【００５１】
図４において、図１と共するブロックは共通の参照符号を示している。図１に示されていないブロックは、図４に太線枠で示すブロックであり、再生処理制御ボタン３０１、コンテンツ伸張手段３０２、映像処理手段３０３、映像表示手段３０４である。
【００５２】
メディア１０１に記録された動画像や静止画像は、ユーザの再生要求に応じて再生される。再生要求は、再生処理制御ボタン３０１のユーザ操作によって制御部１０３に入力される。制御部１０３は各処理ブロックを制御して、メディア１０１に記録された画像を映像表示部３０４に表示する制御を行う。
【００５３】
まず、再生処理の実行時にはメディア１０１に記録された管理情報ファイルが、ファイルシステム部１０２によって、管理ファイルメモリ１０４に取り込まれる。すなわち、図２（ｂ）に示す管理情報などが管理ファイルメモリ１０４に取り込まれる。
【００５４】
制御部１０３は、管理ファイルメモリ１０４に取り込まれた管理情報を適用して、ユーザの指示に応じた画像データの取り出しをファイルシステム部１０２に命じる。ファイルシステム部１０２は指定データをメディア１０１から読み出して、コンテンツ伸張手段３０２に出力する。
【００５５】
コンテンツ伸張手段３０２は、再生対象データが動画像データである場合はＭＰＥＧ方式に従った伸張処理を実行し、再生対象データが静止画像データである場合はＪＰＥＧ方式に従った伸張処理を実行し、伸張結果をバッファメモリ１０６に出力する。
【００５６】
バッファメモリ１０６に出力された画像データに対して、映像処理手段３０３において、画像表示のための信号処理が実行される。その処理結果が、映像表示手段３０４に出力されて表示される。
【００５７】
ユーザは映像表示手段３０４に出力される表示結果を観察しながら再生処理制御ボタン３０１、あるいはユーザ操作部１１０を操作して、表示コンテンツの制御を行う。例えば、コンテンツリストの表示、見たいコンテンツの選択、さらに、動画再生の場合は、早送り、巻き戻し、停止処理などの処理、静止画再生の場合はスライドショーの再生処理などを行うことができる。
【００５８】
［（３）インデックス画像の再生処理の具体例］
次に、図５以下を参照して本発明の画像処理装置において実行するインデックス画像を適用した再生処理例について説明する。
【００５９】
インデックス画像は、先に説明したように動画像の記録中にユーザ指示によって決定された静止画である。これらの静止画（インデックス画像）情報は、動画像に対応する管理ファイル（図３参照）に記録される。
【００６０】
特定の動画像に対応するインデックス画像の情報は、図３に示す動画像に対応する管理ファイルから取得可能であり、再生することが可能となる。１つの動画ファイルに対応して例えば複数の静止画がインデックスとして登録されている場合、これらをぱらぱら漫画のようなスライドショー形式で表示することができる。
【００６１】
インデックス画像の再生処理例について図５以下を参照して説明する。
図５には、
（ａ）従来型の装置におけるインデックス表示
（ｂ）本発明の装置におけるぱらぱらインデックス表示（スライドショー形式）
これらの２つのインデックス表示例を示している。
【００６２】
（ａ）従来型の装置におけるインデックス表示は、図５（ａ）に示すように、メディア１０１に格納された複数の動画像ファイル（００１〜００４）に対応して選択された１つの静止画のみが、インデックスとして表示される。このインデックス画像は、例えば、動画像ファイルの先頭のフレームに対応する静止画の縮小画像（サムネイル）である。しかし、先にも説明したように、このような先頭画像は、動画ファイルの内容を把握するには不十分な画像である場合が多い。
【００６３】
これに対して、本発明のインデックス表示処理は、図５（ｂ）に示すように、ユーザによって選択された動画像００２について、その動画像ファイルに対応して登録された静止画の縮小画像（サムネイル）が一定時間ごとに表示する処理として実行される。これらの静止画は、ユーザによる静止画記録ボタン１０９（図１参照）の操作に応じて記録された静止画である。インデックス表示は、図５（ｂ）に示すように、これらの静止画をぱらぱら漫画のようなスライドショー形式で表示する処理として実行される。
【００６４】
このインデックス表示に適用する静止画は、図３を参照して説明した動画ファイルに対応する管理情報として登録された静止画である。図３に示す例では、関連静止画１〜３の３つの静止画が登録されているので、これら３つの静止画が一定時間ごとに映像表示手段３０４に表示されることになる。
【００６５】
再生処理に際して、図４に示す制御部１０３は、ユーザの指定した動画像に対応する管理情報ファイルを管理ファイルメモリ１０４から読み出して、その動画対応の管理情報に登録された静止画のパス情報を取得してファイルシステム部１０２に提供する。ファイルシステム部１０２は、パス情報に従ってメディア１０１から静止画を取り出す。コンテンツ伸張手段３０２はこれらの静止画の伸張処理を実行し、バッファメモリ１０６に格納する。
【００６６】
その後、映像処理手段３０３において処理された複数の静止画像が映像表示手段３０４に順次、出力される。なお、静止画の切り替え時間は、予め設定済みの時間とする。例えば１枚のインデックス画像の表示時間を３秒とする設定では、関連静止画１〜３が各々３秒ずつ表示されることになる。図５（ｂ）に示す例では、ｔ２＝ｔ１＋３秒、ｔ３＝ｔ２＋３秒となる。このようなばらばら漫画のようなインデックス表示、すなわちスライドショー形式で表示される複数の静止画は、動画記録に際してユーザが静止画記録ボタン１０９（図１参照）を操作して撮り込んだ静止画であり、ユーザの印象が深い画像である可能性が高い。
【００６７】
従って、図５（ｂ）に示すようなばらばら漫画のようなインデックス表示を行うことで、ユーザは動画ファイルの内容について容易に把握できる。すなわち、効率的に誤りなく動画コンテンツファイルの内容を認識することが可能となる。
【００６８】
なお、図５（ｂ）に示す例では、ばらばら漫画のようなスライドショー形式でのインデックス表示を実行する画像は、ユーザの選択した１つの動画コンテンツ（図の例では００２）のみとしている。インデックス表示は、このように１つの動画のみではなく、すべての表示された動画ファイル００１〜００４について行ってもよい。すなわち、動画ファイル００１〜００４を一斉にばらばら漫画のようなスライドショー形式でインデックス表示を実行する構成としてもよい。
【００６９】
このような処理を行う場合、制御部１０３は、表示されたすべての動画に対応する管理情報（図３参照）を取得し、それらの管理情報に記録された関連静止画のパス情報を取得してファイルシステム部１０２を介してすべての関連静止画の読み出しを実行する。これらを各動画ファイルの表示領域において、一斉にスライドショー形式で表示する処理を行うことになる。
【００７０】
また、図６に示すように、１つの選択動画について拡大表示を行って、その選択動画の管理情報に登録された複数の静止画（インデックス画像）を順次表示するスライドショー形式（ばらばら漫画）のインデックス表示を実行する構成としてもよい。
【００７１】
また、インデックス表示の実行中に、インデックス画像を起点として動画再生を実行することも可能である。例えば図７に示すように、動画ファイル［００２］についてのインデックス表示を実行中に、ユーザによる動画再生指示を再生処理制御ボタン３０１（図４参照）を介して入力する。
【００７２】
制御部１０３は、動画再生指示の入力を検知すると、インデックス表示実行中の動画ファイルの管理情報を、管理ファイル用メモリ１０４から取得して参照する。管理情報には、図３を参照して説明したように、インデックス表示されている関連静止画各々についての再生タイミング時間情報が記録されている。
【００７３】
再生タイミング時間情報は、先に説明したように、インデックスとして選択された静止画の動画ファイル中の再生位置を示す情報であり、例えば動画ファイルの開始位置からの時間情報である。制御部１０３は、動画ファイルの再生開始位置をこの静止画の再生タイミング時間情報に設定して、動画ファイルの読み出しを行うように制御する。この制御によって、インデックス画像を起点とした動画再生が開始される。
【００７４】
上述したように、本発明の画像処理装置の制御部１０３は、メディア１０１に記録した管理情報（図３参照）内の関連静止画情報、例えばパス情報を適用してインデックス画像として設定した複数の静止画をメディア１０１から読み出し、読み出した複数の静止画を表示部に順次表示するインデックス画像のスライドショー表示を行う。また制御部１０３は、スライドショー表示中において、ユーザから動画再生指示が入力された場合、管理情報（図３参照）内の関連静止画情報として記録された再生タイミング時間情報を適用してスライドショー表示に適用した静止画を起点とした動画再生を実行する。
【００７５】
［（４）静止画記録処理のトリガについて］
上述の実施例では、インデックスとして利用する静止画の記録タイミングは、ユーザによる静止画記録ボタン１０９（図１参照）の操作としていた。すなわち、ユーザが動画記録を実行中に、静止画を撮り込みたいタイミングで静止画記録ボタン１０９を操作することで静止画を記録し、この静止画をインデックスとして設定する構成として説明した。
【００７６】
しかし、静止画の撮り込みは、ユーザ操作のみならずその他のトリガによって行う構成としてもよい。例えば、動画記録中に顔検出がなされた場合にその顔検出のなされたフレームをインデックスとしての静止画として記録する。あるいは、動画記録中に笑顔検出がなされた場合にその笑顔検出のなされたフレームをインデックス静止画として記録する。あるいは、動画記録中にズームイン操作を行った場合に、ズームイン操作のなされたフレームをインデックス静止画として記録するなどの設定が可能である。
【００７７】
顔検出や笑顔検出は、図１に示す映像処理手段１１２内の顔検出部１１８において既存の顔検出または笑顔検出処理を適用して実行される。顔検出部１１８が撮影中の動画から顔または笑顔検出を行い、その検出情報が制御部１０３に出力される。制御部１０３は、顔または笑顔が検出されたフレームを静止画記録するように制御する。この結果として、動画ファイルに対応する管理情報（図３）には、顔または笑顔検出のなされた静止画情報が関連静止画情報として登録される。なお、このように顔検出による静止画記録を実行した場合、制御部１０３が顔検出フレームから顔領域を取り出して顔領域を拡大したサムネイルを生成して表示する構成としてもよい。
【００７８】
また、ズームイン操作による静止画記録は、例えばユーザ操作部１１０の操作情報を制御部１０３が入力し、この操作タイミングにおいて撮影中のフレームを静止画として記録する制御を行う。この結果として、動画ファイルに対応する管理情報（図３）には、ズームイン操作のなされたタイミングの静止画情報が関連静止画情報として登録される。
【００７９】
［（５）インデックス表示処理における各静止画表示時間の制御処理について］
上述した実施例では、スライドショー形式で複数の静止画を順次切り替えて表示する場合、各静止画の表示時間を予め規定した一定時間、例えば３秒とする設定として説明した。しかし、インデックスとして設定された複数の静止画の表示時間を、各々異なる時間に設定する構成としてもよい。
【００８０】
例えば、静止画を記録するトリガの種類によって点数付けを行い、スライドショーの再生時間を点数によって切り替える。具体的には、例えば図８に示すようなスコア判定基準とスコア設定を利用する。すなわち、
（ａ）写っている人物の数が多いほど高スコアとする。
（ｂ）手動キャプチャ（静止画撮り込み）と自動キャプチャでは手動キャプチャを高スコアとする。
（ｃ）顔の大きさが大きいほど高スコアとする。
（ｄ）笑顔の度合いが高いほど高スコアトする。
（ｅ）顔年齢は設定値（例えばユーザ設定）に近いほど高スコアとする。
（ｆ）顔の向きは正面に近いほど高スコアとする。
【００８１】
制御部１０３はインデックスとしてメディア１０１に記録する静止画について、上記の基準に従ったスコアを算出し、算出したスコア情報を関連静止画情報として管理情報（図３参照）に記録する処理を実行する。さらに、制御部１０３は、スライドショー表示における各静止画の表示時間を、各静止画のスコアに応じた時間に設定した表示制御を行う。
【００８２】
なお、動画データの記録処理時には管理情報にスコアを記録しない設定としてもよい。この場合、例えば図８のようなスコア設定テーブルをメモリに保存し、制御部１０３がスライドショーの実行時にインデックスとして利用する静止画のスコアを算出する。スライドショー形式で複数の静止画を順次切り替えて表示する場合、制御部１０３は、スコアが高い静止画の表示時間を長く設定し、スコアの低い静止画の表示時間を短く設定して表示を行う。
【００８３】
このような処理により、動画ファイルに記録されたフレームから、ユーザの印象の高いと推定される画像が長く表示されるスライドショー表示が可能となり、ユーザによる動画ファイルの内容把握が容易となる。
【００８４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００８５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【００８７】
以上、説明したように、本発明の一実施例の構成によれば、例えばデジタルカメラにおいて動画データをメディアに記録し、ユーザの静止画撮り込み要求などに応じて選択された複数の静止画を動画データ対応のインデックス画像としてメディアに記録する。さらに、これら複数の静止画の情報を動画対応の管理情報に関連静止画情報として記録する。インデックス画像の再生処理においては、管理情報内の関連静止画情報に従ってインデックス画像（静止画）をメディアから読み出し、読み出した複数の静止画を表示部に順次表示するスライドショー表示を行う。この構成により、ユーザは動画の内容を誤りなく容易に把握することが可能となる。
【符号の説明】
【００８８】
１００  デジタルカメラ
１０１  メディア
１０２  ファイルシステム部
１０３  制御部
１０４  管理ファイル用メモリ
１０６  バッファメモリ
１０９  静止画記録ボタン
１１０  ユーザ操作部
１１１  映像変換手段
１１２  映像処理手段
１１３  動画コンテンツ圧縮手段
１１４  静止画コンテンツ圧縮手段
１１８  顔検出部
２０１  仮想ルートフォルダ（ＲｏｏｔＦｏｌｄｅｒ）
２１１  動画対応管理情報仮想フォルダ
２１５  動画対応仮想フォルダ
２２１  静止画対応管理情報仮想フォルダ
２２５，２２６  静止画対応仮想フォルダ
３０１  再生処理制御ボタン
３０２  コンテンツ伸張手段
３０３  映像処理手段
３０４  映像表示手段
【図１】
2010213136.tif 000003
【図３】
2010213136.tif 000004
【図４】
2010213136.tif 000005
【図５】
2010213136.tif 000006
【図６】
2010213136.tif 000007
【図７】
2010213136.tif 000008
【図８】
2010213136.tif 000009
【図２】
2010213136.tif 000010