(57)【要約】【課題】偶然写りこんだ人物を代表画像としてサムネール画像を生成してしまう不都合を防止して、主な被写体を反映できるようなサムネール画像を生成できるようにする。【解決手段】特定人物が認識された時の経過時間が顔画像検出期間Ｔ１内である場合は、前記特定人物が認識された映像フレームからサムネール画像データを生成するようにし、特定人物が認識された時の経過時間が顔画像検出期間Ｔ１を越えている場合は、ディフォルトの代表画像位置Ｔ２の映像フレームからサムネール画像データを生成するようにして、偶然写りこんだ人物を代表画像としてサムネール画像を生成してしまう不都合を防止して、撮影の主たる被写体が検出対象となる特定人物であるのかまたは別の被写体であるのかを判定し、主な被写体を反映したサムネール画像を生成することができるようにする。【選択図】図１
2008252354.tif 000002
【特許請求の範囲】
【請求項１】
入力または再生された映像から前記映像に含まれる特定人物の顔の特徴量を検出して前記特定人物の認識を行う特徴量検出手段を備えた画像処理装置であって、
前記特徴量検出手段によって認識された特定人物の顔の特徴量を記憶部に記憶する特徴量記憶手段と、
前記映像の入力または再生開始から第１の所定の期間内に、前記記憶部に予め記憶されている特定人物の顔の特徴量に基づいて、前記映像から前記特定人物が前記特徴量検出手段によって認識された場合は、前記映像の中の前記特定人物が認識された映像フレームから前記映像の代表画像としてサムネール画像を生成するサムネール画像生成手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記映像の入力または再生開始から終了までの時間に応じて、前記第１の所定の期間を変更する期間変更手段を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量検出手段は、前記第１の所定の期間を経過すると、前記映像に含まれる特定人物の特徴量の検出を停止することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記サムネール画像生成手段は、前記特徴量検出手段によって前記第１の所定の期間内に前記映像から前記特定人物が認識されなかった場合は、前記映像の入力または再生開始から第２の所定の期間が経過した映像フレームから前記サムネール画像を生成することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記サムネール画像生成手段は、前記特徴量検出手段によって認識された特定人物に関する付加情報を前記サムネール画像に付加することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記映像に含まれる特定人物の顔の表情を判定する表情判定手段を備え、
前記サムネール画像生成手段は、前記特徴量検出手段によって前記特定人物が認識された映像フレームが複数枚ある場合は、前記表情判定手段によって判定された表情が所定の表情に該当する映像フレームから前記サムネール画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
入力または再生された映像から前記映像に含まれる特定人物の顔の特徴量を検出して前記特定人物の認識を行う特徴量検出工程を備えた画像処理方法であって、
前記特徴量検出工程において認識した特定人物の顔の特徴量を記憶部に記憶する特徴量記憶工程と、
前記映像の入力または再生開始から第１の所定の期間内に、前記記憶部に予め記憶されている特定人物の顔の特徴量に基づいて、前記映像から前記特定人物を前記特徴量検出工程において認識した場合は、前記映像の中の前記特定人物が認識された映像フレームから前記映像の代表画像としてサムネール画像を生成するサムネール画像生成工程とを備えたことを特徴とする画像処理方法。
【請求項８】
前記映像の入力または再生開始から終了までの時間に応じて、前記第１の所定の期間を変更する期間変更工程を備えたことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記特徴量検出工程においては、前記第１の所定の期間を経過すると、前記映像に含まれる特定人物の特徴量の検出を停止することを特徴とする請求項７または８に記載の画像処理方法。
【請求項１０】
前記サムネール画像生成工程においては、前記特徴量検出工程において前記第１の所定の期間内に前記映像から前記特定人物を認識しなかった場合は、前記映像の入力または再生開始から第２の所定の期間が経過した映像フレームから前記サムネール画像を生成することを特徴とする請求項７〜９の何れか１項に記載の画像処理方法。
【請求項１１】
前記サムネール画像生成工程においては、前記特徴量検出工程において認識した特定人物に関する付加情報を前記サムネール画像に付加することを特徴とする請求項７〜１０の何れか１項に記載の画像処理方法。
【請求項１２】
前記映像に含まれる特定人物の顔の表情を判定する表情判定工程を備え、
前記サムネール画像生成工程においては、前記特徴量検出工程において前記特定人物を認識した映像フレームが複数枚ある場合は、前記表情判定工程において判定した表情が所定の表情に該当する映像フレームから前記サムネール画像を生成することを特徴とする請求項７に記載の画像処理方法。
【請求項１３】
入力または再生された映像から前記映像に含まれる特定人物の顔の特徴量を検出して前記特定人物の認識を行う特徴量検出工程と、
前記特徴量検出工程において認識した特定人物の顔の特徴量を記憶部に記憶する特徴量記憶工程と、
前記映像の入力または再生開始から第１の所定の期間内に、前記記憶部に予め記憶されている特定人物の顔の特徴量に基づいて、前記映像から前記特定人物を前記特徴量検出工程において認識した場合は、前記映像の中の前記特定人物が認識された映像フレームから前記映像の代表画像としてサムネール画像を生成するサムネール画像生成工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
請求項１３に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、プログラム、及び記録媒体に関し、特に、撮影した動画像のサムネール画像を生成するために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、光ディスクや磁気ディスク、半導体メモリなどを記録メディアとするビデオレコーダーが一般化している。これらの記録メディアは、従来のテープメディアと比べてランダムアクセスが可能なため、記録したカットの一覧表示を行い、再生するカットを選択する方式が一般的に用いられている。カットの一覧表示には、カット中の画像フレームから選択された代表画像を縮小したサムネール画像と呼ばれる画像が用いられている。
【０００３】
従来、このサムネール画像としては、カットの先頭フレーム、またはカットの先頭から所定秒後のフレーム画像から生成された縮小画像が用いられている。所定秒後の縮小画像を用いる理由としては、例えばテレビドラマなどでは、カットの先頭が黒画像であり、実際の映像はフェードインを用いて編集されている場合があり、カットの先頭フレームでは一覧表示での識別に必ずしも有効ではないからである。
【０００４】
一方、映像アーカイブなどで用いるためのデータベースの検索手法として、俳優など特定人物が写った画面からシーンの代表画面を生成する方式が、特許文献１で提案されている。この特許文献１に記載の方式は、俳優名での分類、検索を目的としたものであるため、対象となる人物がシーン中に登場した場合は、シーンの主な内容にかかわらず対象人物に関連付けられる。
【０００５】
図１４は、特許文献１で開示されているデータベース検索のための人物代表画像作成の処理手順を示すフローチャートである。図１４に記載のフローチャートでは、一連の記録済みビデオ映像から、指定した人物が登場したフレームをシーン毎に代表画像として取り出すものである。
【０００６】
まず、ステップＳ１４０１で対象となるビデオ映像の処理を開始する。ステップＳ１４０２でフラグを０にリセットする。次に、ステップＳ１４０３に進み、処理するフレームの読み出しを行う。その後、ステップＳ１４０４でシーンチェンジが検出されたか否かを判定する。この判定の結果、シーンチェンジが検出された場合はステップＳ１４０５に進み、前シーンの代表画像を表示し、ステップＳ１４０６でフラグを０にリセットする。一方、ステップＳ１４０４の判定の結果、シーンチェンジが検出されなかった場合は、ステップＳ１４０７に進む。
【０００７】
そして、ステップＳ１４０７でフラグが０であるか否かを判定する。この判定の結果、０である場合は、ステップＳ１４０８で代表画像を記憶し、ステップＳ１４０９でフラグを１にセットする。一方、ステップＳ１４０７の判定の結果、０でない場合は、ステップＳ１４１０に進む。
【０００８】
そして、ステップＳ１４１０で顔画像の検出を行い、ステップＳ１４１１で検出結果を判定する。この判定の結果、顔画像が検出された場合は、ステップＳ１４１２に進み、代表画像を更新し、ステップＳ１４０２に戻る。また、ステップＳ１４１１の判定の結果、顔画像が検出されなかった場合は、ステップＳ１４０２に戻り、処理を繰り返す。
【０００９】
【特許文献１】特開２００１−１６７１１０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
前述したような従来の固定的なサムネール画像を生成する方法は、テレビチューナー付きのビデオレコーダーでテレビドラマなどを録画する際には、シーンの始まりの画面が確認できるため、有効な方法である。ところが、家庭用ビデオカメラでカットの一覧表示を行う場合は、必ずしも有効とはいえない。
【００１１】
家庭用ビデオカメラを用いた撮影は、テレビドラマのようにシナリオに沿ったものではなく、被写体を記録する場合が大半である。このため、家庭用ビデオカメラにおける一覧表示では、シーンの流れよりも主な被写体が何であったかをある程度反映したものを用いることが望ましい。従来の固定的な代表画像フレーム設定では、この用途に適したサムネール画像を生成することは困難であり、家庭用として撮影することを主に目的としたサムネール画像を生成することが可能なビデオカメラが望まれていた。
【００１２】
また、特許文献１で提案されている特定人物による代表画像を生成する方式は、被写体を反映した代表画像生成方式である。ところがこの方式は、俳優名によるデータベース検索を目的としており、カットの主な内容に関わらず特定人物が登場するか否いかによって代表画像を決定する方式である。
【００１３】
例えば、主な被写体が風景であり、カットの最後に特定人物が偶然写りこんだというように、家庭用ビデオカメラ撮影でありがちな条件においても、特定人物の代表画像が生成される。このため、この方式は、家庭用ビデオカメラで一覧表示させるためのサムネール生成には必ずしも有効とはいえない。単純に特定人物の登場の有無だけではなく、カットにおける主な被写体を反映できるようなサムネール画像を生成する機能を持ったビデオカメラが望まれていた。
【００１４】
本発明は前述の問題点に鑑み、偶然写りこんだ人物を代表画像としてサムネール画像を生成してしまう不都合を防止して、主な被写体を反映したサムネール画像を生成できるようにすることを目的としている。
【課題を解決するための手段】
【００１５】
本発明の画像処理装置は、入力または再生された映像から前記映像に含まれる特定人物の顔の特徴量を検出して前記特定人物の認識を行う特徴量検出手段を備えた画像処理装置であって、前記特徴量検出手段によって認識された特定人物の顔の特徴量を記憶部に記憶する特徴量記憶手段と、前記映像の入力または再生開始から第１の所定の期間内に、前記記憶部に予め記憶されている特定人物の顔の特徴量に基づいて、前記映像から前記特定人物が前記特徴量検出手段によって認識された場合は、前記映像の中の前記特定人物が認識された映像フレームから前記映像の代表画像としてサムネール画像を生成するサムネール画像生成手段とを備えたことを特徴とする。
【００１６】
本発明の画像処理方法は、入力または再生された映像から前記映像に含まれる特定人物の顔の特徴量を検出して前記特定人物の認識を行う特徴量検出工程を備えた画像処理方法であって、前記特徴量検出工程において認識した特定人物の顔の特徴量を記憶部に記憶する特徴量記憶工程と、前記映像の入力または再生開始から第１の所定の期間内に、前記記憶部に予め記憶されている特定人物の顔の特徴量に基づいて、前記映像から前記特定人物を前記特徴量検出工程において認識した場合は、前記映像の中の前記特定人物が認識された映像フレームから前記映像の代表画像としてサムネール画像を生成するサムネール画像生成工程とを備えたことを特徴とする。
【００１７】
本発明のプログラムは、入力または再生された映像から前記映像に含まれる特定人物の顔の特徴量を検出して前記特定人物の認識を行う特徴量検出工程と、前記特徴量検出工程において認識した特定人物の顔の特徴量を記憶部に記憶する特徴量記憶工程と、前記映像の入力または再生開始から第１の所定の期間内に、前記記憶部に予め記憶されている特定人物の顔の特徴量に基づいて、前記映像から前記特定人物を前記特徴量検出工程において認識した場合は、前記映像の中の前記特定人物が認識された映像フレームから前記映像の代表画像としてサムネール画像を生成するサムネール画像生成工程とをコンピュータに実行させることを特徴とする。
【００１８】
本発明の記録媒体は、前記に記載のプログラムを記録したことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、映像の入力または再生開始から所定の期間内に、入力または再生された映像から特定人物が認識された場合は、前記特定人物が認識された映像フレームからサムネール画像を生成するようにした。これにより、偶然写りこんだ人物を代表画像としてサムネール画像を生成してしまう不都合を防止することが可能となり、撮影の主たる被写体が検出対象となる特定人物であるのかまたは別の被写体であるのかを判定することができる。したがって、主な被写体を反映したサムネール画像を生成することができる。
【発明を実施するための最良の形態】
【００２０】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
図１は、本実施形態における画像処理装置１００の映像記録処理回路の構成例を示すブロック図である。画像処理装置１００は、例えばビデオカメラであり、映像とともに音声の記録処理を行う。なお、音声に関しては本発明の内容に直接関わらないため説明を省略する。
【００２１】
第１の端子１０１には、レンズ等の光学系と、ＣＣＤ等のセンサーと、カメラ信号処理回路とからなる撮像手段から映像信号が入力される。入力された映像信号は、動画像符号化回路１０４において、例えばＭＰＥＧ２などの符号化方式を用いて圧縮符号化される。なお、圧縮符号化処理の詳細については本発明の内容に直接関係しないため説明を省略する。
【００２２】
マルチプレクサ１０５は、圧縮符号化された動画像データに音声データ、サブコードデータ等を多重化してＡＶデータを作成する。なお、これらの映像記録処理以外のビデオカメラ構成要素については説明を省略する。マルチプレクサ１０５によって多重化されたＡＶデータは、メディア記録回路１０６によって記録メディア１０７に記録される。記録メディアとしては光学ディスク、磁気ディスク、固体メモリ等があるが、ＡＶデータとともに一覧用のサムネール画像を記録可能なメディアであれば何でもよい。システムコントローラ１０３は、第２の端子１０２から入力される記録開始指示によって各ブロックを制御し、ＡＶデータの記録をコントロールする。
【００２３】
一方、第１の端子１０１を介して入力された映像信号は、代表画像生成制御回路１１６が第１のスイッチ１０９を制御することにより、後述の顔画像検出処理のサイクルごとにフレームメモリ１０８に記憶される。なお、このサイクルは顔画像検出処理能力が高ければ毎フレームごとでもよく、処理能力や必要な検出間隔に応じて間歇的であってもよい。
【００２４】
特徴量検出回路１１２は、フレームメモリ１０８に記憶された映像フレーム（映像信号）に対して画像特徴量の検出を行う。本実施形態では、人物の顔画像を判定するための画像特徴量を用いた例について説明する。画像特徴量を用いた顔画像判定については、部分画像の色相や目、鼻、口といった顔画像に特有の構造を利用したアルゴリズムが提案され、携帯用機器の個人認証などでもすでに実用化されている。本実施形態では、前記アルゴリズムに基づいて画像特徴量を用いた顔画像判定を行う。なお、本発明は、特徴量検出方法とは直接関係ないため、既に公知である顔画像判定のためのアルゴリズムについての詳細な説明は省略する。
【００２５】
特徴量記憶メモリ（記憶部）１１４には、特定人物の認識に必要な特徴量が予め記憶されている。例えば、画像処理装置１００で記録する前に、家族などの特定人物を被写体として撮像し、その際に、代表画像生成制御回路１１６が特徴量記憶手段として機能し、第２のスイッチ１１３を書き込み側に制御する。これにより、特徴量検出回路１１２から出力される画像特徴量を、特徴量記憶メモリ１１４に記憶することができる。これらの制御は、システムコントローラ１０３から送られる指示に基づいて代表画像生成制御回路１１６が各部を制御することにより行う。
【００２６】
特徴量比較回路１１５は、特徴量検出回路１１２から出力される画像特徴量と、特徴量記憶メモリ１１４に記憶されている画像特徴量とを比較することによって現在撮影中の映像フレームに特定人物の顔画像が含まれているか否かを判定する。そして、特徴量比較回路１１５及び特徴量検出回路１１２が、特徴量検出手段として機能する。記録時間計数回路１１７は、システムコントローラ１０３から出力される記録開始情報に基づき、記録開始から顔画像判定を行った映像フレームまでの経過時間を計数する。
【００２７】
代表画像生成制御回路１１６は、特徴量比較回路１１５による顔画像の特徴量比較結果と、記録時間計数回路１１７において計数された記録開始からの経過時間とに応じて、代表画像とすべき映像フレームを決定する。そして、第３のスイッチ１１８を制御することによって、代表画像となるべき映像フレームの画像を代表画像メモリ１１０に記憶する。ここで行われる特徴量比較結果と記録開始からの経過時間とに基づいた代表画像決定方法の詳細については、フローチャートを参照しながら後述する。
【００２８】
サムネール画像生成回路１１１は、代表画像メモリ１１０に記憶された代表画像を縮小その他必要な変換処理を行ってサムネール画像データを生成する。この際、特定人物の顔画像を含む映像フレームが代表画像として選択された場合は、予め記憶させておいた特定人物の名前等の付加情報をサムネール画像データに付加することも可能である。そして、生成されたサムネール画像データをメディア記録回路１０６によって記録メディア１０７に記録する。
【００２９】
図２は、本実施形態において、顔画像検出結果と記録開始からの経過時間とによって代表画像を決定し、サムネール画像データを作成する処理手順の一例を示すフローチャートである。
まず、ステップＳ２０１において、処理を開始する。次に、ステップＳ２０２において、代表画像生成制御回路１１６は、顔画像検出状態を保持する顔画像検出フラグ（Flg）を、未検出状態を表す「０」にリセットする。また、記録時間計数回路１１７で計数される経過時間tを「０」にリセットする。
【００３０】
次に、ステップＳ２０３において、システムコントローラ１０３の制御によって映像信号の記録を開始する。そして、ステップＳ２０４において、代表画像生成制御回路１１６は第１のスイッチ１０９を制御して、顔画像検出処理を行うための映像フレームＦ（ｔ）をフレームメモリ１０８に書き込む。
【００３１】
次に、ステップＳ２０５において、代表画像生成制御回路１１６は、経過時間ｔと顔画像検出の有効期間である第１の時間期間Ｔ１とを比較する。この比較の結果、経過時間ｔが第１の時間期間Ｔ１以内である場合は、ステップＳ２０６以降の顔画像検出処理に進む。一方、ステップＳ２０５の比較の結果、経過時間ｔが第１の時間期間Ｔ１を越えている場合は、顔画像検出処理をスキップして、ステップＳ２１２に進む。
【００３２】
なお、このステップＳ２０５における経過時間ｔと顔画像検出期間（第１の時間期間）Ｔ１との比較によって、今回の撮影の主たる被写体が検出対象となる人物であるのか、または別の被写体であるのかを判定する。この判定は、シナリオに沿った撮影ではない家庭用ビデオカメラを用いた撮影では、主となる被写体を狙ってから撮影開始される場合が多いことに基づいている。
【００３３】
次に、ステップＳ２０６において、代表画像生成制御回路１１６は、顔画像検出フラグ（Flg）をチェックすることにより、顔画像検出が既になされているかどうかを判定する。この判定の結果、顔画像検出フラグ（Flg）が、検出済みを表す「１」にセットされている場合は、以下の検出処理をスキップしてステップＳ２１２に進む。一方、ステップＳ２０６の判定の結果、顔画像検出フラグ（Flg）が「０」であり、顔画像が未検出である場合は、ステップＳ２０７の顔画像特徴量検出処理に進む。
【００３４】
次に、ステップＳ２０７において、特徴量検出回路１１２は、既に記憶されている特定人物の顔画像を判定するための顔画像特徴量Ｄ（Ｆ（ｔ））を映像フレームＦ（ｔ）から検出して、特徴量比較回路１１５に特徴量Ｐを出力する。そして、ステップＳ２０８において、特徴量比較回路１１５は、特徴量記憶メモリ１１４に記憶された特定人物の顔画像特徴量Ｍと特徴量Ｐとを所定の関数Ｃ（Ｐ，Ｍ）を用いて比較し、比較結果Ｋを算出する。
【００３５】
次に、ステップＳ２０９において、特徴量比較回路１１５は、比較結果Ｋを所定の閾値Ｋｔｈと比較することによって、映像フレームＦ（ｔ）内に特定人物の顔画像が検出されたか否かを判定する。この判定の結果、比較結果Ｋが所定の閾値Ｋｔｈ以上であり、顔画像が検出された場合は、ステップＳ２１０に進む。そして、ステップＳ２１０において、代表画像生成制御回路１１６は第３のスイッチ１１８を制御して映像フレームＦ（ｔ）を代表画像として代表画像メモリ１１０に書き込む。そして、ステップＳ２１１において、代表画像生成制御回路１１６は、顔画像検出フラグ（Flg）を検出済みを示す「１」にセットする。
【００３６】
一方、ステップＳ２０９の判定の結果、比較結果Ｋが所定の閾値Ｋｔｈ未満であり、顔画像が検出されなかった場合は、以下のステップＳ２１０、Ｓ２１１の処理をスキップしてステップＳ２１２に進む。このように、経過時間ｔが第１の時間期間Ｔ１を越えるまで顔画像検出を実行し、検出された先頭の顔画像が代表画像メモリ１１０に記憶される。
【００３７】
次に、ステップＳ２１２において、代表画像生成制御回路１１６は、顔画像が第１の時間期間Ｔ１内に検出されなかった場合の代表画像フレーム位置である第２の時間期間Ｔ２と経過時間ｔとを比較する。この比較の結果、経過時間ｔが第２の時間期間Ｔ２を越えている場合は以下のステップＳ２１３、Ｓ２１４の処理をスキップしてステップＳ２１５に進む。
【００３８】
一方、ステップＳ２１２の比較の結果、経過時間ｔが第２の時間期間Ｔ２以内である場合は、ステップＳ２１３において、代表画像生成制御回路１１６は、顔画像検出フラグ（Flg）をチェックする。このチェックの結果、顔画像検出フラグ（Flg）が検出済みを表す「１」にセットされている場合は、以下のステップＳ２１４の処理をスキップしてステップＳ２１５に進む。
【００３９】
一方、ステップＳ２１３のチェックの結果、顔画像検出フラグ（Flg）が「０」であり、顔画像が未検出である場合は、ステップＳ２１４に進み、代表画像生成制御回路１１６は、現在の映像フレームＦ（ｔ）を代表画像メモリ１１０に書き込む。このように、顔画像が検出されていない場合は、経過時間ｔが第２の時間期間Ｔ２を越えるまで代表画像メモリ１１０に記憶される内容は、最新の映像フレームＦ（ｔ）によって更新される。
【００４０】
次に、ステップＳ２１５において、代表画像生成制御回路１１６は、ユーザの操作等によって、システムコントローラ１０３から記録停止が指示されたか否かを判定する。この判定の結果、記録停止が指示されていない場合は、ステップＳ２１６に進み、処理を継続する。そして、ステップＳ２１６において、記録時間計数回路１１７は、経過時間ｔを所定の検出単位でインクリメントする。前述したように、顔画像検出処理能力が高くかつ要求される検出間隔が短い場合は毎フレームごとにインクリメントを行い、検出間隔を長く取る場合は所定のインターバル処理となるようにインクリメントする。そして、インクリメントした後はステップＳ２０４に戻り、処理を繰り返す。
【００４１】
一方、ステップＳ２１５の判定の結果、記録停止が指示された場合は、ステップＳ２１７に進み、サムネール画像生成回路１１１は、代表画像メモリ１１０に記憶されている映像フレームからサムネール画像データを生成する。そして、ステップＳ２１８において、メディア記録回路１０６は、生成されたサムネール画像データを記録メディア１０７に記録して処理を終了する。
【００４２】
図２のフローチャートに示すように、ステップＳ２０７以降の顔画像検出処理は経過時間ｔが第１の時間期間Ｔ１以下である期間のみ行われる。このため、経過時間ｔが第１の時間期間Ｔ１を越えてからは顔画像検出処理自体を停止させることも可能である。この場合、特徴量検出回路１１２、特徴量比較回路１１５等は、クロック供給を停止するなどの省エネルギーに対応するための実装が可能である。このように実際の検出時間を記録冒頭の短時間に限定することによって、本実施形態の画像処理装置１００をビデオカメラ等の携帯機器に適用した場合でも、バッテリー消費に対する影響を抑えることが可能である。
【００４３】
図３は、以上の処理によって代表画像を選択する具体例を示す図である。図３に示す例では、顔画像が検出されなかった場合のディフォルトの代表画像位置（第２の時間期間）Ｔ２＜顔画像検出期間（第１の時間期間）Ｔ１として説明する。
【００４４】
図３（ａ）に示す例では、経過時間ｔ＜Ｔ２＜Ｔ１であり、顔画像検出期間Ｔ１内に特定人物の顔画像が検出されたため、経過時間ｔの位置の映像フレームが代表画像として選択される。また、図３（ｂ）に示す例ではＴ２＜経過時間ｔ＜Ｔ１であり、顔画像検出期間Ｔ１内に特定人物の顔画像が検出されたため、経過時間ｔの位置の映像フレームが代表画像として選択される。一方、図３（ｃ）に示す例ではＴ２＜Ｔ１＜経過時間ｔであり、顔画像検出期間Ｔ１内に特定人物の顔画像が検出されなかったため、ディフォルトの代表画像位置Ｔ２の映像フレームが代表画像として選択される。
【００４５】
図４は、代表画像を選択する他の具体例を示す図である。図４に示す例では、顔画像検出期間（第１の時間期間）Ｔ１＜顔画像が検出されなかった場合のディフォルトの代表画像位置（第２の時間期間）Ｔ２として説明する。
【００４６】
図４（ａ）に示す例では、経過時間ｔ＜Ｔ１＜Ｔ２であり、顔画像検出期間Ｔ１内に特定人物の顔画像が検出されたため、経過時間ｔの位置の映像フレームが代表画像として選択される。一方、図４（ｂ）に示す例ではＴ１＜経過時間ｔ＜Ｔ２であり、顔画像検出期間Ｔ１内に特定人物の顔画像が検出されなかったため、ディフォルトの代表画像位置Ｔ２の映像フレームが代表画像として選択される。また、図４（ｃ）に示す例ではＴ１＜Ｔ２＜経過時間ｔであり、顔画像検出期間Ｔ１内に特定人物の顔画像が検出されなかったため、ディフォルトの代表画像位置Ｔ２の映像フレームが代表画像として選択される。
【００４７】
以上のように本実施形態によれば、前述したように家庭用ビデオカメラにおいては、主となる被写体を狙ってから撮影を開始する場合が多い。このことに基づき、顔画像検出結果と撮影開始からの経過時間とを利用して、撮影の主たる被写体が検出対象となる人物であるのかまたは別の被写体であるのかを判定し、撮影意図を反映したサムネール画像を作成することが実現できる。
【００４８】
（第２の実施形態）
図５は、本実施形態における画像処理装置５００の映像記録処理回路の構成例を示すブロック図である。
第１の端子５０１には、レンズ等の光学系、ＣＣＤ等のセンサー、カメラ信号処理回路からなる撮像手段から映像信号が入力される。入力された映像信号は、動画像符号化回路５０４において、例えばＭＰＥＧ２などの符号化方式を用いて圧縮符号化される。マルチプレクサ５０５は、圧縮符号化された動画像データに音声データ、サブコードデータ等を多重化する。なお、第１の実施形態と同様に、これらの映像記録処理以外のビデオカメラ構成要素については説明を省略する。
【００４９】
マルチプレクサ５０５によって多重化されたＡＶデータは、メディア記録回路５０６によって記録メディア５０７に記録される。システムコントローラ５０３は、第２の端子５０２から入力される記録開始指示によって各ブロックを制御し、ＡＶデータの記録をコントロールする。
【００５０】
一方、第１の端子５０１を介して入力された映像信号は、代表画像生成制御回路５１６が第１のスイッチ５１３を制御することにより、後述の顔画像検出処理のサイクルごとにフレームメモリ５０８に記憶される。なお、このサイクルは顔画像検出処理能力が高ければ毎フレームごとでもよく、処理能力や必要な検出間隔に応じて間歇的であってもよい。
【００５１】
特徴量検出回路５１２は、フレームメモリ５０８に記憶された映像フレーム（映像信号）に対して画像特徴量の検出を行う。本実施形態では、人物の顔画像を判定するための画像特徴量を用いた例について説明する。
【００５２】
特徴量記憶メモリ（記憶部）５１４には、特定人物の認識に必要な特徴量が予め記憶されている。例えば、画像処理装置５００で記録する前に、家族などの特定人物を被写体として撮像し、その際に、代表画像生成制御回路５１６が特徴量記憶手段として機能し、第２のスイッチ５１８を書き込み側に制御する。これにより、特徴量検出回路５１２から出力される画像特徴量を特徴量記憶メモリ５１４に記憶することができる。これらの制御は、システムコントローラ５０３から送られる指示に基づいて代表画像生成制御回路５１６が各部を制御することにより行う。
【００５３】
特徴量比較回路５１５は、特徴量検出回路５１２から出力される画像特徴量と、特徴量記憶メモリ５１４に記憶されている画像特徴量とを比較することによって現在撮影中の映像フレームに特定人物の顔画像が含まれているか否かを判定する。そして、特徴量比較回路５１５及び特徴量検出回路５１２が、特徴量検出手段として機能する。記録時間計数回路５１７は、システムコントローラ５０３から出力される記録開始情報に基づき、記録開始から顔画像判定を行った映像フレームまでの経過時間を計数する。
【００５４】
代表画像生成制御回路５１６は、特徴量比較回路５１５による顔画像の特徴量比較結果と、記録時間計数回路５１７において計数された記録開始からの経過時間とに応じて、代表画像とすべき映像フレームを決定する。そして、この時点の映像フレームを再生時に特定するためのインデックス情報を代表画像インデックスメモリ５１９に記憶する。インデックス情報としては、記録しているカット先頭からのフレーム番号などを利用する。本実施形態は、第１の実施形態と異なり、実際の代表画像を記憶するかわりにインデックス情報を記憶することによって代表画像候補を保持している。これによって撮影時に必要なメモリ容量を削減することができる。
【００５５】
代表画像の読み出しは、記録終了後にこのインデックス情報を用いて、記録メディア５０７に記録した動画データを再生することによって行う。システムコントローラ５０３は、記録終了後にメディア再生回路５２０を制御し、記録メディア５０７から今回の記録データのうちインデックス情報で指定された映像フレームの再生に必要なデータを読み出す。
【００５６】
読み出されたＡＶデータからデマルチプレクサ５２１によって映像データを取り出し、動画像復号化回路５２２によって圧縮符号化された動画像データから動画像を再生する。そして、再生された動画像中におけるインデックス情報で指定された映像フレームを第３のスイッチ５２３を制御することによって代表画像メモリ５１０に記憶する。
【００５７】
サムネール画像生成回路５１１は、代表画像メモリ５１０に記憶された代表画像を縮小その他必要な変換処理を行ってサムネール画像データを生成する。この際、特定人物の顔画像を含む映像フレームが代表画像フレームとして選択された場合は、予め記憶させておいた特定人物の名前等の付加情報をサムネール画像データに付加することも可能である。そして、生成されたサムネール画像データをメディア記録回路５０６によって記録メディア５０７に記録する。
【００５８】
図６−１及び図６−２は、本実施形態において、顔画像検出結果と記録開始からの経過時間とによって代表画像を決定し、サムネール画像データを作成する処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、処理を開始する。次に、ステップＳ６０２において、代表画像生成制御回路５１６は、顔画像検出状態を保持する顔画像検出フラグ（Flg）を未検出状態を表す「０」にリセットする。また、記録時間計数回路５１７で計数される経過時間ｔを「０」にリセットする。
【００５９】
次に、ステップＳ６０３において、システムコントローラ５０３の制御によって映像信号の記録を開始する。そして、ステップＳ６０４において、代表画像生成制御回路５１６は第１のスイッチ５１３を制御して、顔画像検出処理を行うための映像フレームＦ（ｔ）をフレームメモリ５０８に書き込む。
【００６０】
次に、ステップＳ６０５において、代表画像生成制御回路５１６は、経過時間ｔと顔画像検出の有効期間である第１の時間期間Ｔ１とを比較する。この比較の結果、経過時間ｔが第１の時間期間Ｔ１以内である場合は、ステップＳ６０６以降の顔画像検出処理に進む。一方、ステップＳ６０５の比較の結果、経過時間ｔが第１の時間期間Ｔ１を越えている場合は、顔画像検出処理をスキップして、ステップＳ６１２に進む。
【００６１】
次に、ステップＳ６０６において、代表画像生成制御回路５１６は、顔画像検出フラグ（Flg）をチェックすることにより、顔画像検出が既になされているかどうか判定する。この判定の結果、顔画像検出フラグ（Flg）が検出済みを表す「１」にセットされている場合は、以下の検出処理をスキップしてステップＳ６１２に進む。一方、ステップＳ６０６の判定の結果、顔画像検出フラグ（Flg）が「０」であり、顔画像が未検出の場合は、ステップＳ６０７の顔画像特徴量検出処理に進む。
【００６２】
次に、ステップＳ６０７において、特徴量検出回路５１２は、既に記憶されている特定人物の顔画像を判定するための顔画像特徴量Ｄ（Ｆ（ｔ））を映像フレームＦ（ｔ）から検出して、特徴量Ｐを出力する。そして、ステップＳ６０８において、特徴量比較回路５１５は、特徴量記憶メモリ５１４に記憶された特定人物の顔画像特徴量Ｍと特徴量Ｐとを所定の関数Ｃ（Ｐ，Ｍ）を用いて比較し、比較結果Ｋを算出する。
【００６３】
次に、ステップＳ６０９において、特徴量比較回路５１５は、比較結果Ｋを所定の閾値Ｋｔｈと比較することによって、映像フレームＦ（ｔ）内に特定人物の顔画像が検出されたか否かを判定する。この判定の結果、比較結果Ｋが所定の閾値Ｋｔｈ以上であり、顔画像が検出された場合は、ステップＳ６１０に進む。そして、ステップＳ６１０において、代表画像生成制御回路５１６は、映像フレームＦ（ｔ）のインデックス情報を代表画像インデックスメモリ５１９に書き込む。そして、ステップＳ６１１において、代表画像生成制御回路５１６は、顔画像検出フラグ（Flg）を検出済みを示す「１」にセットする。本実施形態では、インデックス情報として経過時間ｔを用いている。
【００６４】
一方、ステップＳ６０９の判定の結果、比較結果Ｋが所定の閾値Ｋｔｈ未満であり、顔画像が検出されなかった場合は、以下のステップＳ６１０、Ｓ６１１の処理をスキップしてステップＳ６１２に進む。このように、経過時間ｔが第１の時間期間Ｔ１を越えるまで顔画像検出を実行し、検出された先頭の顔画像に対するインデックス情報が代表画像インデックスメモリ５１９に記憶される。
【００６５】
ステップＳ６１２において、代表画像生成制御回路５１６は、顔画像が第１の時間期間Ｔ１内に検出されなかった場合の代表画像フレーム位置である第２の時間期間Ｔ２と経過時間ｔとを比較する。この比較の結果、経過時間ｔが第２の時間期間Ｔ２を越えている場合は、以下のステップＳ６１３、Ｓ６１４の処理をスキップしてステップＳ６１５に進む。
【００６６】
一方、ステップＳ６１２の比較の結果、経過時間ｔが第２の時間期間Ｔ２以内である場合は、ステップＳ６１３において、代表画像生成制御回路５１６は、顔画像検出フラグ（Flg）をチェックする。このチェックの結果、顔画像検出フラグ（Flg）が検出済みを表す「１」にセットされている場合は、以下のステップＳ６１４の検出処理をスキップしてステップＳ６１５に進む。
【００６７】
一方、ステップＳ６１３のチェックの結果、顔画像検出フラグ（Flg）が「０」であり、顔画像が未検出である場合は、ステップＳ６１４に進む。そして、ステップＳ６１４において、代表画像生成制御回路５１６は、現在の映像フレームＦ（ｔ）のインデックス情報を代表画像インデックスメモリ５１９に書き込む。このように、顔画像が検出されていない場合は経過時間ｔが第２の時間期間Ｔ２を越えるまで代表画像インデックスメモリ５１９に記憶される内容は、最新の映像フレームＦ（ｔ）のインデックス情報によって更新される。
【００６８】
次に、ステップＳ６１５において、代表画像生成制御回路５１６は、ユーザの操作等によってシステムコントローラ５０３から記録停止が指示されたか否かを判定する。この判定の結果、記録停止が指示されていない場合は、ステップＳ６１６に進み、処理を継続する。そして、ステップＳ６１６において、記録時間計数回路５１７は、経過時間ｔを所定の検出単位でインクリメントする。前述したように、顔画像検出処理能力が高くかつ要求される検出間隔が短い場合は毎フレームごとにインクリメントを行い、検出間隔を長く取る場合は所定のインターバル処理となるようにインクリメントする。そして、インクリメントした後はステップＳ６０４に戻り、処理を繰り返す。
【００６９】
一方、ステップＳ６１５の判定の結果、記録停止が指示された場合は、ステップＳ６１７に進み、システムコントローラ５０３の制御により、代表画像インデックスメモリ５１９からインデックス情報ｔｍを読み出す。そして、ステップＳ６１８において、メディア再生回路５２０は、読み出したインデックス情報ｔｍを用いて今回記録したＡＶデータを読み出し、代表画像として選択された映像フレームＦ（ｔｍ）を再生する。
【００７０】
次に、ステップＳ６１９において、代表画像生成制御回路５１６は、映像フレームＦ（ｔｍ）を代表画像メモリ５１０に書き込む。そして、ステップＳ６２０において、サムネール画像生成回路５１１は、代表画像メモリ５１０に記憶されている映像フレームからサムネール画像データを生成する。そして、ステップＳ６２１において、メディア記録回路５０６は、生成されたサムネール画像データを記録メディア５０７に記録して処理を終了する。
【００７１】
以上のように本実施形態によれば、前述したように家庭用ビデオカメラにおいては、主となる被写体を狙ってから撮影を開始する場合が多い。このことに基づき、顔画像検出結果と撮影開始からの経過時間とを利用して、撮影の主たる被写体が検出対象となる人物であるのかまたは別の被写体であるのかを判定し、撮影意図を反映したサムネール画像を作成することが実現できる。
【００７２】
（第３の実施形態）
第２の実施形態の構成では、代表画像となる映像フレームの読み出しは記録終了後に行われる。そこで本実施形態では、実際の撮影時間に応じて顔画像検出期間（第１の時間期間）Ｔ１を変える例について説明する。
【００７３】
図８−１及び図８−２は、本実施形態において、顔画像検出結果と記録開始からの経過時間とによって代表画像を決定し、サムネール画像データを作成する処理手順の一例を示すフローチャートである。なお、図８−１及び図８−２に示すフローチャートにおける各処理を実行するための映像記録処理回路は第２の実施形態と同様であるため説明を省略する。
【００７４】
まず、ステップＳ８０１において、処理を開始する。次に、ステップＳ８０２において、代表画像生成制御回路５１６は、顔画像検出状態を保持する顔画像検出フラグ（Flg）を未検出状態を表す「０」にリセットする。また、記録時間計数回路５１７で計数される経過時間ｔを「０」にリセットする。
【００７５】
次に、ステップＳ８０３において、システムコントローラ５０３の制御によって映像信号の記録を開始する。そして、ステップＳ８０４において、代表画像生成制御回路５１６は第１のスイッチ５１３を制御することにより、顔画像検出処理を行うための映像フレームＦ（ｔ）をフレームメモリ５０８に書き込む。
【００７６】
次に、ステップＳ８０５において、代表画像生成制御回路５１６は、顔画像検出フラグ（Flg）をチェックすることにより、顔画像検出が既になされているかどうかを判定する。この判定の結果、顔画像検出フラグ（Flg）が、検出済みを表す「１」にセットされている場合は、以下の検出処理をスキップしてステップＳ８１２に進む。一方、ステップＳ８０５の判定の結果、顔画像検出フラグ（Flg）が「０」であり、顔画像が未検出である場合は、ステップＳ８０６の顔画像特徴量検出処理に進む。
【００７７】
次に、ステップＳ８０６において、特徴量検出回路５１２は、既に記憶されている特定人物の顔画像を判定するための顔画像特徴量Ｄ（Ｆ（ｔ））を映像フレームＦ（ｔ）から検出して、特徴量比較回路５１５に特徴量Ｐを出力する。そして、ステップＳ８０７において、特徴量比較回路５１５は、特徴量記憶メモリ５１４に記憶された特定人物の顔画像特徴量Ｍと特徴量Ｐとを所定の関数Ｃ（Ｐ，Ｍ）を用いて比較し、比較結果Ｋを算出する。
【００７８】
次に、ステップＳ８０８において、特徴量比較回路５１５は、比較結果Ｋを所定の閾値Ｋｔｈと比較することによって、映像フレームＦ（ｔ）内に特定人物の顔画像が検出されたか否かを判定する。この判定の結果、比較結果Ｋが所定の閾値Ｋｔｈ以上であり、顔画像が検出された場合は、ステップＳ８０９に進む。そして、ステップＳ８０９において、代表画像生成制御回路５１６は、映像フレームＦ（ｔ）のインデックス情報を代表画像インデックスメモリ５１９に書き込む。そして、ステップＳ８１０において、代表画像生成制御回路５１６は、顔画像検出フラグ（Flg）を検出済みを示す「１」にセットする。本実施形態では、インデックス情報として経過時間ｔを用いている。
【００７９】
一方、ステップＳ８０８の判定の結果、比較結果Ｋが所定の閾値Ｋｔｈ未満であり、顔画像が検出されなかった場合は、以下のステップＳ８０９、Ｓ８１０の処理をスキップしてステップＳ８１２に進む。このように、検出された先頭の顔画像に対するインデックス情報が代表画像インデックスメモリ５１９に記憶される。本実施形態と第２の実施形態とが異なる点は、ビデオデータの記録時には顔画像検出の時間制限（第１の時間期間）Ｔ１が無いという点である。
【００８０】
ステップＳ８１２において、ユーザの操作等によってシステムコントローラ１０３から記録停止が指示されたか否かを判定する。この判定の結果、記録停止が指示されていない場合は、ステップＳ８１１に進み、処理を継続する。そして、ステップＳ８１１において、記録時間計数回路５１７は、経過時間ｔを所定の検出単位でインクリメントする。前述したように、顔画像検出処理能力が高くかつ要求される検出間隔が短い場合は毎フレームごとにインクリメントを行い、検出間隔を長く取る場合は所定のインターバル処理となるようにインクリメントする。そして、インクリメントした後はステップＳ８０４に戻り、処理を繰り返す。
【００８１】
一方、ステップＳ８１２の判定の結果、記録停止が指示された場合は、ステップＳ８１３に進み、代表画像生成制御回路５１６は期間変更手段として機能し、記録開始から記録停止までの経過時間Ｔ３から、第１の時間期間Ｔ１を計算する。本実施形態では、Ｔ１＝Ｔ３／３となるよう第１の時間期間Ｔ１を設定している。すなわち、記録開始からクリップの先頭１／３までが顔画像検出の有効期間となる。
【００８２】
次に、ステップＳ８１４において、代表画像生成制御回路５１６は、ディフォルトの代表画像フレーム位置である第２の時間期間Ｔ２と、記録開始から記録停止までの経過時間Ｔ３とを比較し、第２の時間期間Ｔ２の有効性を検証する。この比較の結果、経過時間Ｔ３が第２の時間期間Ｔ２未満である場合は、第２の時間期間Ｔ２が経過した時の映像フレームは存在しないため、ステップＳ８１５に進み、代表画像生成制御回路５１６は、第２の時間期間Ｔ２を経過時間Ｔ３に置き換える。一方、ステップＳ８１４の比較の結果、経過時間Ｔ３が第２の時間期間Ｔ２以上である場合は、第２の時間期間Ｔ２が経過した時の映像フレームが存在するため、ステップＳ８１５をスキップしてステップＳ８１６に進む。
【００８３】
次に、ステップＳ８１６において、代表画像生成制御回路５１６は、顔画像検出フラグ（Flg）をチェックする。このチェックの結果、顔画像検出フラグ（Flg）が「０」であり、顔画像が未検出である場合は、ステップＳ８１９に進み、代表画像生成制御回路５１６は、代表画像インデックスｔｍの時間を第２の時間期間Ｔ２とする。一方、ステップＳ８１６のチェックの結果、顔画像検出フラグ（Flg）が検出済みを表す「１」にセットされている場合は、ステップＳ８１７に進む。そして、ステップＳ８１７において、システムコントローラ５０３の制御により、代表画像インデックスメモリ５１９からインデックス情報ｔｍを読み出す。
【００８４】
次に、ステップＳ８１８において、代表画像生成制御回路５１６は、インデックス情報ｔｍの時間と顔画像検出の有効期間である第１の時間期間Ｔ１とを比較する。この比較の結果、インデックス情報ｔｍの時間が第１の時間期間Ｔ１以内である場合は、ステップＳ８２０以降の代表画像フレームを読み出す処理に進む。一方、ステップＳ８１８の比較の結果、インデックス情報ｔｍの時間が第１の時間期間Ｔ１を越えている場合は、ステップＳ８１９に進み、代表画像生成制御回路５１６は、代表画像インデックスｔｍの時間を第２の時間期間Ｔ２とする。
【００８５】
次に、ステップＳ８２０において、メディア再生回路５２０は、このインデックス情報ｔｍを用いて今回記録したＡＶデータを読み出し、代表画像として選択された映像フレームＦ（ｔｍ）を再生する。そして、ステップＳ８２１において、代表画像生成制御回路５１６は、映像フレームＦ（ｔｍ）を代表画像メモリ５１０に書き込む。そして、ステップＳ８２２において、サムネール画像生成回路５１１は、代表画像メモリ５１０に記憶されている映像フレームからサムネール画像データを生成する。そして、ステップＳ８２３において、メディア記録回路５０６は、生成されたサムネール画像データを記録メディア５０７に記録して処理を終了する。
【００８６】
図７は、以上の処理によって代表画像を選択する具体例を示す図である。なお、本実施形態では、顔画像検出期間（第１の時間期間Ｔ１）については、Ｔ１＝Ｔ３／３であるものとして説明する。
【００８７】
図７（ａ）に示す例では、Ｔ１＜Ｔ２＜顔画像を検出した時間ｔｍであり、顔画像検出期間Ｔ１内に特定人物の顔画像が検出されなかったため、第２の時間期間Ｔ２の位置の映像フレームが代表画像として選択される。一方、図７（ｂ）に示す例では、Ｔ２＜顔画像を検出した時間ｔｍ＜Ｔ１であり、顔画像検出期間Ｔ１内に特定人物の顔画像が検出されたため、顔画像を検出した時間ｔｍの位置の映像フレームが代表画像として選択される。
【００８８】
このように図７（ａ）及び図７（ｂ）に示す例では、記録開始から顔画像が検出されるまでの時間は同一であるが、記録開始から記録停止までのクリップ全体の記録時間Ｔ３が異なっている。このため、代表画像として選択される映像フレームが異なっている。図７（ａ）に示す例では、クリップの終わり付近で特定人物が写っており、この場合は、特定人物が主な被写体とは判定されない。一方、図７（ｂ）に示す例では、クリップ先頭から１／３以内に特定人物が写っており、この場合は、特定人物が主な被写体である可能性が高いと判定される。
【００８９】
以上のように本実施形態によれば、前述したように家庭用ビデオカメラにおいては、主となる被写体を狙ってから撮影を開始する場合が多い。このことに基づき、顔画像検出結果と撮影開始からの経過時間とを利用して、撮影の主たる被写体が検出対象となる人物であるのかまたは別の被写体であるのかを判定し、撮影意図を反映したサムネール画像を作成することが実現できる。
【００９０】
（第４の実施形態）
本実施形態は、ビデオカメラ等による撮影時のみならず、撮影後のビデオクリップデータに対して処理を行う例について説明する。図９は、本実施形態における画像記録装置９００の映像記録処理回路の構成例を示すブロック図である。なお、本実施形態では記録済みのビデオデータに対しての処理を説明するため記録時の構成要素は省略しているが、ビデオカメラなどの画像処理装置に適用することも可能であることは言うまでもない。
【００９１】
図９において、システムコントローラ９０３の制御に従い、メディア再生回路９２０は記録メディア９０７から対象となるビデオクリップのＡＶデータを読み出す。読み出されたＡＶデータからデマルチプレクサ９２１によって映像データを取り出し、動画像復号化回路９２２によって、例えばＭＰＥＧ等の符号化方式で圧縮符号化された動画像データから動画像を再生する。
【００９２】
再生された動画像の映像フレームはフレームメモリ９０８に記憶される。前述した第１〜第３の実施形態では、撮影時におけるリアルタイム処理であった。一方、本実施形態ではシステムコントローラ９０３によって記録メディア９０７から読み出す処理自体を制御することによって特徴量検出処理に同期させて映像フレームを再生することが可能である。このため、特徴量検出処理能力が高くない場合でも各コマ毎の処理をすることが可能である。
【００９３】
特徴量検出回路９１２は、フレームメモリ９０８に記憶された映像フレームに対して画像特徴量の検出を行う。本実施形態では、人物の顔画像を判定するための画像特徴量を用いた例について説明する。特徴量記憶メモリ（記憶部）９１４には、特定人物の認識に必要な特徴量が予め記憶されている。この特徴量を記憶させる手段については、例えば、第１〜第３の実施形態と同様な手順で行う。
【００９４】
特徴量比較回路９１５は、特徴量検出回路９１２から出力される画像特徴量と、特徴量記憶メモリ９１４に記憶されている画像特徴量とを比較することによって現在再生中の映像フレームに特定人物の顔画像が含まれているか否かを判定する。そして、特徴量比較回路９１５及び特徴量検出回路９１２が、特徴量検出手段として機能する。再生時間計数回路９１７は、システムコントローラ９０３から出力される再生開始情報に基づき、再生開始から顔画像判定を行った映像フレームまでの経過時間を計数する。
【００９５】
代表画像生成制御回路９１６は、特徴量比較回路９１５による顔画像の特徴量比較結果と、再生時間計数回路９１７において計数された再生開始からの経過時間に応じて、代表画像とすべき映像フレームを決定する。そして、第１のスイッチ９０９を制御することによって、決定した時点の映像フレームを代表画像メモリ９１０に記憶する。
【００９６】
サムネール画像生成回路９１１は、代表画像メモリ９１０に記憶された映像フレームを縮小その他必要な変換処理を行ってサムネール画像データを生成する。この際、特定人物の顔画像を含む映像フレームが代表画像フレームとして選択された場合は、予め記憶させておいた特定人物の名前等の付加情報をサムネール画像データに付加することも可能である。そして、生成されたサムネール画像データをメディア記録回路９０６によって記録メディア９０７に記録する。
【００９７】
図１０は、本実施形態において、顔画像検出結果と記録開始からの経過時間とによって代表画像を決定し、サムネール画像データを作成する処理手順の一例を示すフローチャートである。
まず、ステップＳ１００１において、処理を開始する。次に、ステップＳ１００２において、代表画像生成制御回路９１６は、顔画像検出状態を保持する顔画像検出フラグ（Flg）を未検出状態を表す「０」にリセットする。また、再生時間計数回路９１７で計数される経過時間ｔを「０」にリセットする。
【００９８】
ステップＳ１００３において、システムコントローラ９０３の制御によって映像フレームの再生を開始する。そして、ステップＳ１００４において、代表画像生成制御回路９１６は、顔画像検出処理を行うための映像フレームＦ（ｔ）をフレームメモリ９０８に書き込む。
【００９９】
次に、ステップＳ１００５において、代表画像生成制御回路９１６は、経過時間ｔと顔画像検出の有効期間である第１の時間期間Ｔ１とを比較する。この比較の結果、経過時間ｔが第１の時間期間Ｔ１以内である場合は、ステップＳ１００６以降の顔画像検出処理に進む。一方、ステップＳ１００５の比較の結果、経過時間ｔが第１の時間期間Ｔ１を越えている場合は、顔画像検出処理をスキップして、ステップＳ１０１２に進む。
【０１００】
次に、ステップＳ１００６において、代表画像生成制御回路９１６は、顔画像検出フラグ（Flg）をチェックすることにより、顔画像検出が既になされているかどうかを判定する。この判定の結果、顔画像検出フラグ（Flg）が、検出済みを表す「１」にセットされている場合は、以下の検出処理をスキップしてステップＳ１０１２に進む。一方、ステップＳ１００６の判定の結果、顔画像検出フラグ（Flg）が「０」であり、顔画像が未検出である場合は、ステップＳ１００７の顔画像特徴量検出処理に進む。
【０１０１】
次に、ステップＳ１００７において、特徴量検出回路９１２は、既に記憶されている特定人物の顔画像を判定するための顔画像特徴量Ｄ（Ｆ（ｔ））映像フレームＦ（ｔ）から検出して、特徴量比較回路９１５に特徴量Ｐを出力する。そして、ステップＳ１００８において、特徴量比較回路９１５は、特徴量記憶メモリ９１４に記憶された特定人物の顔画像特徴量Ｍと特徴量Ｐとを所定の関数Ｃ（Ｐ，Ｍ）を用いて比較し、比較結果Ｋを算出する。
【０１０２】
次に、ステップＳ１００９において、特徴量比較回路９１５は、比較結果Ｋを所定の閾値Ｋｔｈと比較することによって、映像フレームＦ（ｔ）内に特定人物の顔画像が検出されたか否かを判定する。この判定の結果、比較結果Ｋが所定の閾値Ｋｔｈ以上であり、顔画像が検出された場合は、ステップＳ１０１０に進む。そして、ステップＳ１０１０において、代表画像生成制御回路９１６は、映像フレームＦ（ｔ）を代表画像メモリ９１０に書き込む。そして、ステップＳ１０１１において、代表画像生成制御回路９１６は、顔画像検出フラグ（Flg）を検出済みを示す「１」にセットする。
【０１０３】
一方、ステップＳ１００９の判定の結果、比較結果Ｋが所定の閾値Ｋｔｈ未満であり、顔画像が検出されなかった場合は、以下のステップＳ１０１０、Ｓ１０１１の処理をスキップしてステップＳ１０１２に進む。このように、経過時間ｔが第１の時間期間Ｔ１を越えるまで顔画像検出を実行し、検出された先頭の顔画像が代表画像メモリ９１０に記憶される。
【０１０４】
次に、ステップＳ１０１２において、代表画像生成制御回路９１６は、顔画像が第１の時間期間Ｔ１内に検出されなかった場合の代表画像フレーム位置である第２の時間期間Ｔ２と経過時間ｔとを比較する。この比較の結果、経過時間ｔが第２の時間期間Ｔ２を越えている場合は、以下のステップＳ１０１３、Ｓ１０１４の処理をスキップしてステップＳ１０１５に進む。
【０１０５】
一方、ステップＳ１０１２の比較の結果、経過時間ｔが第２の時間期間Ｔ２以内である場合は、ステップＳ１０１３において、代表画像生成制御回路９１６は、顔画像検出フラグ（Flg）をチェックする。このチェックの結果、顔画像検出フラグ（Flg）が検出済みを表す「１」にセットされている場合は、以下のステップＳ１０１４の処理をスキップしてステップＳ１０１５に進む。
【０１０６】
一方、ステップＳ１０１３のチェックの結果、顔画像検出フラグ（Flg）が「０」であり、顔画像が未検出である場合は、ステップＳ１０１４に進み、代表画像生成制御回路９１６は、現在の映像フレームＦ（ｔ）を代表画像メモリ９１０に書き込む。このように、顔画像が検出されていない場合は、経過時間ｔが第２の時間期間Ｔ２を越えるまで代表画像メモリ９１０に記憶される内容は最新の映像フレームＦ（ｔ）によって更新される。
【０１０７】
次に、ステップＳ１０１５において、ユーザの操作等によってシステムコントローラ９０３から記録停止が指示されたか否かを判定する。この判定の結果、記録停止が指示されていない場合は、ステップＳ１０１６に進み、処理を継続する。そして、ステップＳ１０１６において、再生時間計数回路９１７は、経過時間ｔを所定の検出単位でインクリメントする。前述したように、顔画像検出処理能力が高くかつ要求される検出間隔が短い場合は毎フレームごとにインクリメントを行い、検出間隔を長く取る場合は所定のインターバル処理となるようにインクリメントする。そして、インクリメントした後はステップＳ１００４に戻り処理を繰り返す。
【０１０８】
一方、ステップＳ１０１５の判定の結果、記録停止が指示された場合は、ステップＳ１０１７に進み、サムネール画像生成回路９１１は、代表画像メモリ９１０に記憶されている映像フレームからサムネール画像データを生成する。そして、ステップＳ１０１８において、メディア記録回路９０６は、生成されたサムネール画像データを記録メディア９０７に記録して処理を終了する。
【０１０９】
本実施形態は、記録済みのビデオデータに対してサムネール画像データを生成するものであり、記録時に処理を行う場合と比べてリアルタイム性が要求されないため、ハードウェアコストを抑えることが可能である。
【０１１０】
以上のように本実施形態によれば、前述したように家庭用ビデオカメラにおいては、主となる被写体を狙ってから撮影を開始する場合が多い。このことに基づき、顔画像検出結果と撮影開始からの経過時間とを利用して、撮影の主たる被写体が検出対象となる人物であるのかまたは別の被写体であるのかを判定し、撮影意図を反映したサムネール画像を作成することが実現できる。
【０１１１】
（第５の実施形態）
図１１は、本実施形態における画像処理装置１１００の映像記録処理回路の構成例を示すブロック図である。
第１の端子１１０１には、レンズ等の光学系、ＣＣＤ等のセンサー、カメラ信号処理回路からなる撮像手段から映像信号が入力される。入力された映像信号は、動画像符号化回路１１０４において、例えばＭＰＥＧ２などの符号化方式を用いて圧縮符号化される。マルチプレクサ１１０５は、圧縮符号化された動画像データに音声データ、サブコードデータ等を多重化する。なお、第１〜第３の実施形態と同様に、これらの映像記録処理以外のビデオカメラ構成要素については説明を省略する。
【０１１２】
マルチプレクサ１１０５によって多重化されたＡＶデータは、メディア記録回路１１０６によって記録メディア１１０７に記録される。システムコントローラ１１０３は、第２の端子１１０２から入力される記録開始指示によって各ブロックを制御し、ＡＶデータの記録をコントロールする。
【０１１３】
一方、第１の端子１１０１を介して入力された映像信号は、代表画像生成制御回路１１１６が第１のスイッチ１１０９を制御することにより、後述の顔画像検出処理のサイクルごとにフレームメモリ１１０８に記憶される。なお、このサイクルは顔画像検出処理能力が高ければ毎フレームごとでもよく、処理能力や必要な検出間隔に応じて間歇的であってもよい。
【０１１４】
特徴量検出回路１１１２は、フレームメモリ１１０８に記憶された映像フレーム（映像信号）に対して画像特徴量の検出を行う。本実施形態では、人物の顔画像を判定するための画像特徴量を用いた例について説明する。
【０１１５】
特徴量記憶メモリ（記憶部）１１１４には、特定人物の認識に必要な特徴量が予め記憶されている。例えば、ビデオカメラの記録前に家族などの特定人物を被写体として撮像し、その際に、代表画像生成制御回路１１１６が特徴量記憶手段として機能し、第２のスイッチ１１１３を書き込み側に制御する。これにより、特徴量検出回路１１１２から出力される画像特徴量を特徴量記憶メモリ１１１４に記憶することができる。これらの制御は、システムコントローラ１１０３から送られる指示に基づいて代表画像生成制御回路１１１６が各部を制御することによって行う。
【０１１６】
特徴量比較回路１１１５は、特徴量検出回路１１１２から出力される画像特徴量と、特徴量記憶メモリ１１１４に記憶されている画像特徴量とを比較することによって現在撮影中の映像フレームに特定人物の顔画像が含まれているか否かを判定する。そして、特徴量比較回路１１１５及び特徴量検出回路１１１２が、特徴量検出手段として機能する。記録時間計数回路１１１７は、システムコントローラ１１０３から出力される記録開始情報に基づき、記録開始から顔画像判定を行った映像フレームまでの経過時間を計数する。
【０１１７】
一方、表情判定回路１１２４は、フレームメモリ１１０８に記憶された映像フレームに対して人物の表情に関する表情特徴量の検出と、その表情特徴量による表情の判定を行う。表情特徴量による表情の判定によって、「まばたき」、「笑い」、「泣き」、「怒り」などの特定表情の識別が可能であることが知られているが、本実施形態では人物のまばたき検知を用いた例について説明する。特定人物が写った映像フレームであっても、特定人物がまばたきしている映像フレームは、代表画像として望ましくない。そこで、「まばたき」を検出することによって代表画像を選択する有効性を高める。
【０１１８】
代表画像生成制御回路１１１６は、特徴量比較回路１１１５による顔画像の特徴量比較結果と、記録時間計数回路１１１７において計数された記録開始からの経過時間と、表情判定回路１１２４におけるまばたき検出結果とに応じて、代表画像とすべき映像フレームを決定する。そして、第３のスイッチ１１１８を制御することによって、代表画像となるべき映像フレームの画像を代表画像メモリ１１１０に記憶する。ここで行われる特徴量比較結果と、記録開始からの経過時間と、まばたき検出結果とに基づいた代表画像決定方法の詳細については、フローチャートを参照しながら後述する。
【０１１９】
サムネール画像生成回路１１１１は、代表画像メモリ１１１０に記憶された代表画像を縮小その他必要な変換処理を行ってサムネール画像データを生成する。この際、特定人物の顔画像を含む映像フレームが代表画像フレームとして選択された場合は、予め記憶させておいた特定人物の名前等の付加情報をサムネール画像データに付加することも可能である。そして、生成されたサムネール画像データをメディア記録回路１１０６によって記録メディア１１０７に記録する。
【０１２０】
図１２は、本実施形態において、顔画像検出結果と記録開始からの経過時間と表情判定結果とによって代表画像を決定し、サムネール画像データを作成する処理手順の一例を示すフローチャートである。
まず、ステップＳ１２０１において、処理を開始する。次に、代表画像生成制御回路１１１６は、ステップＳ１２０２において、顔画像検出状態を保持する顔画像検出フラグ（Flg）を未検出状態を表す「０」にリセットする。また、記録時間計数回路１１１７で計数される経過時間ｔを「０」にリセットする。さらに、「まばたき」を検知するためのまばたき検知フラグ（Eflg）を初期状態の「０」にリセットする。
【０１２１】
次に、ステップＳ１２０３において、システムコントローラ１１０３の制御によって映像信号の記録を開始する。そして、ステップＳ１２０４において、代表画像生成制御回路１１１６は、顔画像検出処理のためのフレームＦ（ｔ）をフレームメモリ１１０８に書き込む。
【０１２２】
次に、ステップＳ１２０５において、代表画像生成制御回路１１１６は、経過時間ｔと顔画像検出の有効期間である第１の時間期間Ｔ１とを比較する。この比較の結果、経過時間ｔが第１の時間期間Ｔ１以内である場合、ステップＳ１２０６以降の顔画像検出処理に進む。一方、ステップＳ１２０５の比較の結果、経過時間ｔが第１の時間期間Ｔ１を越えている場合は、顔画像検出処理をスキップして、ステップＳ１２１２に進む。
【０１２３】
次に、ステップＳ１２０６において、特徴量検出回路１１１２は、既に記憶されている特定人物の顔画像を判定するための顔画像特徴量Ｄ（Ｆ（ｔ））を映像フレームＦ（ｔ）から検出して、特徴量比較回路１１１５に特徴量Ｐを出力する。そして、ステップＳ１２０７において、特徴量比較回路１１１５は、特徴量記憶メモリ１１１４に記憶された特定人物の顔画像特徴量Ｍと特徴量Ｐとを所定の関数Ｃ（Ｐ，Ｍ）を用いて比較し、比較結果Ｋを算出する。
【０１２４】
次に、ステップＳ１２０８において、特徴量比較回路１１１５は、比較結果Ｋを所定の閾値Ｋｔｈと比較することによって、映像フレームＦ（ｔ）内に特定人物の顔画像が検出されたか否かを判定する。この判定の結果、比較結果Ｋが所定の閾値Ｋｔｈ未満であり顔画像が検出されなかった場合は、以下のステップＳ１２０９〜Ｓ１２１１の処理をスキップしてステップＳ１２１２に進む。一方、ステップＳ１２０８の判定の結果、比較結果Ｋが所定の閾値Ｋｔｈ以上であり顔画像が検出された場合は、ステップＳ１２０９に進む。
【０１２５】
次に、ステップＳ１２０９において、代表画像生成制御回路１１１６は、顔画像検出フラグ（Flg）をチェックすることにより、顔画像検出が既になされているかどうかを判定する。この判定の結果、顔画像検出フラグ（Flg）が「０」であり、顔画像が未検出である場合は、ステップＳ１２１０に進む。そして、ステップＳ１２１０において、代表画像生成制御回路１１１６は、映像フレームＦ（ｔ）を代表画像として代表画像メモリ１１１０に書き込む。そして、ステップＳ１２１１において、代表画像生成制御回路１１１６は、顔画像検出フラグ（Flg）を検出済みを示す「１」にセットする。
【０１２６】
次に、ステップＳ１２１２において、代表画像生成制御回路１１１６は、顔画像が第１の時間期間Ｔ１内に検出されなかった場合の代表画像フレーム位置である第２の時間期間Ｔ２と経過時間ｔとを比較する。この比較の結果、経過時間ｔが第２の時間期間Ｔ２を越えている場合は、以下のステップＳ１２１３、Ｓ１２１４の処理をスキップしてステップＳ１２１５に進む。
【０１２７】
一方、ステップＳ１２１２の比較の結果、経過時間ｔが第２の時間期間Ｔ２以内である場合は、ステップＳ１２１３において、代表画像生成制御回路１１１６は、顔画像検出フラグ（Flg）をチェックする。このチェックの結果、顔画像検出フラグ（Flg）が検出済みを表す「１」にセットされている場合は、以下のステップＳ１２１４の検出処理をスキップしてステップＳ１２１５に進む。
【０１２８】
一方、ステップＳ１２１３のチェックの結果、顔画像検出フラグ（Flg）が「０」であり、顔画像が未検出である場合は、ステップＳ１２１４に進み、代表画像生成制御回路１１１６は、現在の映像フレームＦ（ｔ）を代表画像メモリ１１１０に書き込む。このように、顔画像が検出されていない場合は、経過時間ｔが第２の時間期間Ｔ２を越えるまで代表画像メモリ１１１０に記憶される内容は最新の映像フレームＦ（ｔ）によって更新される。
【０１２９】
一方、ステップＳ１２０９の判定の結果、顔画像検出フラグ（Flg）が検出済みを表す「１」にセットされている場合は、ステップＳ１２１９からステップＳ１２２３までのまばたき検出処理に進む。
【０１３０】
ステップＳ１２１９において、表情判定回路１１２４は、まばたき検知フラグ（Eflg）をチェックする。このチェックの結果、まばたき検知フラグ（Eflg）が「１」である場合は、「まばたき」をしていない特定人物の顔画像を含む代表画像が既に選択されていることを示している。このため、以下のステップＳ１２２０〜Ｓ１２２３までの処理をスキップしてステップＳ１２１５に進む。
【０１３１】
一方、ステップＳ１２１９のチェックの結果、まばたき検知フラグ（Eflg）が「０」である場合は、「まばたき」をしていない特定人物の顔画像を含む代表画像がまだ選択されていないことを示している。そこで、現映像フレームのまばたき判定を行うため、ステップＳ１２２０に進む。そして、ステップＳ１２２０において、表情判定回路１１２４は、映像フレームＦ（ｔ）の表情特徴量Ｈ（Ｆ（ｔ））を検出する。そして、「まばたき」に関する表情特徴量Ｅを検出結果とする。
【０１３２】
次に、ステップＳ１２２１において、表情判定回路１１２４は、検出された「まばたき」に関する表情特徴量Ｅを所定の閾値Ｅｔｈと比較することによって、映像フレームＦ（ｔ）の顔画像が「まばたき」をしているか否かを判定する。この判定の結果、表情特徴量Ｅ＜所定の閾値Ｅｔｈであり、「まばたき」をしていると判定した場合は、以下のステップＳ１２２２、Ｓ１２２３の処理をスキップしてステップＳ１２１５に進む。
【０１３３】
一方、ステップＳ１２２１の判定の結果、表情特徴量Ｅ≧所定の閾値Ｅｔｈであり、「まばたき」をしていないと判定した場合は、ステップＳ１２２２に進む。そして、ステップＳ１２２２において、代表画像生成制御回路１１１６は、映像フレームＦ（ｔ）を代表画像として代表画像メモリ１１１０に書き込む。そして、ステップＳ１２２３において、代表画像生成制御回路１１１６は、まばたき検知フラグ（Eflg）を「１」にセットする。
【０１３４】
このように、経過時間ｔが第１の時間期間Ｔ１を越えるまで顔画像検出を実行し、検出された顔画像のうち、「まばたき」をしていない先頭の映像フレームが代表画像メモリ１１１０に記憶される。なお、第１の時間期間Ｔ１までで複数枚の映像フレームで「まばたき」をしていないと判定した場合は、その中の先頭の映像フレームが代表画像メモリ１１１０に記憶される。また、顔画像が検出されなかった場合は、第２の時間期間Ｔ２を越えない範囲で最後に処理した映像フレームが代表画像メモリ１１１０に記憶される。
【０１３５】
次に、ステップＳ１２１５において、ユーザの操作等によってシステムコントローラ１１０３から記録停止が指示されたか否かを判定する。この判定の結果、記録停止が指示されていない場合は、ステップＳ１２１６に進み、処理を継続する。そして、ステップＳ１２１６において、記録時間計数回路１１１７は、経過時間ｔを所定の検出単位でインクリメントする。前述したように、顔画像検出処理能力が高くかつ要求される検出間隔が短い場合は毎フレームごとにインクリメントを行い、検出間隔を長く取る場合は所定のインターバル処理となるようにインクリメントする。そして、インクリメントした後はステップＳ１２０４に戻り、処理を繰り返す。
【０１３６】
一方、ステップＳ１２１５の判定の結果、記録停止が指示された場合は、ステップ１２１７に進み、サムネール画像生成回路１１１１は、代表画像メモリ１１１０に記憶されている映像フレームからサムネール画像データを生成する。そして、ステップＳ１２１８において、メディア記録回路１１０６は、生成されたサムネール画像データを記録メディア１１０７に記録して処理を終了する。
【０１３７】
図１３は、以上の処理によって代表画像を選択する具体例を示す図である。図１３に示す例では、顔画像が検出されなかった場合のディフォルトの代表画像位置（第２の時間期間）Ｔ２＜顔画像検出期間（第１の時間期間）Ｔ１として説明する。
【０１３８】
図１３（ａ）に示す例では、まず、経過時間ｔｅにおいて、「まばたき」をしている特定人物の顔画像が検出されたが、後に、経過時間ｔ（ｔ＜Ｔ１）において、「まばたき」をしていない特定人物の顔画像が検出されている。このため、経過時間ｔの位置の映像フレームが代表画像として選択される。
【０１３９】
また、図１３（ｂ）に示す例では、経過時間ｔ（ｔ＜Ｔ１）において、「まばたき」をしている特定人物の顔画像が検出されたが、顔画像検出期間Ｔ１以内に「まばたき」をしていない顔画像が検出されていない。このため、経過時間ｔの位置の映像フレームが代表画像として選択される。
【０１４０】
さらに、図１３（ｃ）に示す例では、Ｔ２＜Ｔ１＜経過時間ｔであり、顔画像検出期間Ｔ１内に特定人物の顔画像が検出されなかったため、ディフォルトの代表画像位置Ｔ２の映像フレームが代表画像として選択される。
【０１４１】
以上のようにように本実施形態によれば、前述したように家庭用ビデオカメラにおいては、主となる被写体を狙ってから撮影を開始する場合が多い。このことに基づき、顔画像検出結果と撮影開始からの経過時間とを利用して、撮影の主たる被写体が検出対象となる人物であるのかまたは別の被写体であるのかを判定し、撮影意図を反映したサムネール画像作成が実現できる。
【０１４２】
また、本実施形態では、映像を記録する時に行うことも可能であり、記録済みのビデオデータから処理を行うことも可能である。特に、後者の場合はリアルタイム処理が必要でないため、ソフトウェアによる処理も可能である。また、特定人物の検出と表情検出とを組み合わせて、「まばたき」をしている等の望ましくない映像フレームを除外して、より最適な代表画像を選択してサムネール画像データを作成することが可能である。
【０１４３】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録（記憶）したコンピュータ読み取り可能な記録媒体（記憶媒体）は本発明に含まれる。
【０１４４】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体（記憶媒体）等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１４５】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２、６−１，６−２、８−１，８−２、１０、１２に示すフローチャートに対応したプログラム）をシステムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１４６】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１４７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１４８】
プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【０１４９】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体（記憶媒体）にダウンロードすることによっても供給できる。
【０１５０】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１５１】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１５２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１５３】
さらに、その他の方法として、まず記録媒体（記憶媒体）から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１５４】
【図１】本発明の第１の実施形態における画像処理装置の映像処理回路の構成例を示すブロック図である。
【図２】本発明の第１の実施形態におけるサムネール画像データを作成する処理手順の一例を示すフローチャートである。
【図３】本発明の第１の実施形態における代表画像を選択する具体例を示す図である。
【図４】本発明の第１の実施形態における代表画像を選択する他の具体例を示す図である。
【図５】本発明の第２の実施形態における画像処理装置の映像処理回路の構成例を示すブロック図である。
【図６−１】本発明の第２の実施形態におけるサムネール画像データを作成する処理手順の一例を示すフローチャートである。
【図６−２】本発明の第２の実施形態におけるサムネール画像データを作成する処理手順の一例を示すフローチャートである。
【図７】本発明の第３の実施形態における代表画像を選択する具体例を示す図である。
【図８−１】本発明の第３の実施形態におけるサムネール画像データを作成する処理手順の一例を示すフローチャートである。
【図８−２】本発明の第３の実施形態におけるサムネール画像データを作成する処理手順の一例を示すフローチャートである。
【図９】本発明の第４の実施形態における画像処理装置の映像処理回路の構成例を示すブロック図である。
【図１０】本発明の第４の実施形態におけるサムネール画像データを作成する処理手順の一例を示すフローチャートである。
【図１１】本発明の第５の実施形態における画像処理装置の映像処理回路の構成例を示すブロック図である。
【図１２】本発明の第５の実施形態におけるサムネール画像データを作成する処理手順の一例を示すフローチャートである。
【図１３】本発明の第５の実施形態における代表画像を選択する具体例を示す図である。
【図１４】従来における代表画像を選択する処理手順の一例を示すフローチャートである。
【符号の説明】
【０１５５】
１００  画像処理装置
１０１  第１の端子
１０２  第２の端子
１０３  システムコントローラ
１０４  動画像符号化回路
１０５  マルチプレクサ
１０６  メディア記録回路
１０７  記録メディア
１０８  フレームメモリ
１０９  第１のスイッチ
１１０  代表画像メモリ
１１１  サムネール画像生成回路
１１２  特徴量検出回路
１１３  第２のスイッチ
１１４  特徴量記憶メモリ
１１５  特徴量比較回路
１１６  代表画像生成制御回路
１１７  記録時間係数回路
１１８  第３のスイッチ
【図１】
2008252354.tif 000003
【図２】
2008252354.tif 000004
【図３】
2008252354.tif 000005
【図４】
2008252354.tif 000006
【図５】
2008252354.tif 000007
【図６−１】
2008252354.tif 000008
【図６−２】
2008252354.tif 000009
【図７】
2008252354.tif 000010
【図８−１】
2008252354.tif 000011
【図８−２】
2008252354.tif 000012
【図９】
2008252354.tif 000013
【図１０】
2008252354.tif 000014
【図１１】
2008252354.tif 000015
【図１２】
2008252354.tif 000016
【図１３】
2008252354.tif 000017
【図１４】
2008252354.tif 000018