(57)【要約】【課題】重要なシーンを繰り返し再生したり、不要なシーンを飛ばして再生したりする操作が容易な装置を提供できるようにする。【解決手段】記録媒体から動画像信号を再生する再生手段と、再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、前記動画像信号の巻き戻しの指示を出力する指示手段と、前記動画像信号の再生中に前記指示手段により前記巻き戻しの指示が出力されると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備え、再生中の動画像に含まれる特徴部分が写っているシーンを容易に繰り返し再生することができるようにする。【選択図】図１
2010045765.tif 000002
【特許請求の範囲】
【請求項１】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、
前記動画像信号の巻き戻しの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記巻き戻しの指示が出力されると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項２】
前記検出手段は、前記再生手段により再生された動画像信号を用いて、前記動画像信号における特徴部分の画像を検出する特徴検出手段を含むことを特徴とする請求項１記載の再生装置。
【請求項３】
前記特徴検出手段は、前記再生された動画像信号から所定の間隔で選択したフレームに含まれる前記特徴部分の画像を検出することを特徴とする請求項２記載の再生装置。
【請求項４】
前記制御手段は、前記指示手段により前記巻き戻しの指示が出力されたときに再生していたフレームに含まれる前記特徴部分の画像の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項１記載の再生装置。
【請求項５】
前記検出手段は、前記再生された動画像信号において前記特徴部分の画像が消失したことを検出し、前記制御手段は前記動画像信号の再生中に前記特徴部分の画像が消失したことを検出してから所定期間以内に前記指示手段より巻き戻しの指示があると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項１記載の再生装置。
【請求項６】
前記検出手段は、前記再生された動画像信号における複数の前記特徴部分の画像が出現した出現位置をそれぞれ検出し、前記制御手段は、前記指示手段により前記巻き戻しの指示が出力されると、前記複数の出現位置のうちの何れか一つの前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項１記載の再生装置。
【請求項７】
前記複数の特徴部分の画像のうちの一つを任意に選択する選択手段を備え、
前記制御手段は、前記指示手段により前記巻き戻しの指示が出力されると、前記複数の出現位置のうちの前記選択手段により選択された特徴部分の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項６記載の再生装置。
【請求項８】
撮像手段と、前記撮像手段から出力された動画像信号を前記記録媒体に記録する記録手段とを備え、
前記検出手段は前記撮像手段から出力された動画像信号を用いて、前記動画像信号における特徴部分の画像を検出する特徴検出手段を含み、前記記録手段は前記検出手段により検出された前記出現位置の情報を前記記録媒体に記録し、前記制御手段は前記記録媒体に記録された前記出現位置の情報に基づいて、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項１記載の再生装置。
【請求項９】
入力された動画像信号を前記記録媒体に記録する記録手段を備え、
前記検出手段は前記入力された動画像信号を用いて、前記動画像信号の複数の画面に含まれる特徴部分の画像を検出する特徴検出手段を含み、前記記録手段は前記検出手段により検出された前記出現位置の情報を前記録媒体に記録し、前記制御手段は、前記記録媒体に記録された前記出現位置の情報に基づいて、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項１記載の再生装置。
【請求項１０】
前記制御手段は、前記出現位置よりも所定期間前の位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項１から９の何れか１項に記載の再生装置。
【請求項１１】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、
前記動画像信号の早送りの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記早送りの指示が出力されると、前記早送りの指示に対応した再生位置よりも後の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項１２】
前記制御手段は、前記指示手段により前記早送りの指示が出力されたときに再生していた画面に含まれる前記特徴部分の画像の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項１１記載の再生装置。
【請求項１３】
前記制御手段は、前記指示手段により前記早送りの指示が出力されたときに再生していた画面に含まれる前記特徴部分の画像と同じ画像の次の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項１２記載の再生装置。
【請求項１４】
前記検出手段は、前記再生された動画像信号において前記特徴部分の画像が消失したことを検出し、前記制御手段は前記動画像信号の再生中に前記特徴部分の画像が消失したことを検出してから所定期間以内に前記指示手段より早送りの指示があると、前記早送りの指示に対応した再生位置よりも後の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項１１記載の再生装置。
【請求項１５】
前記検出手段は、前記動画像信号における複数の前記特徴部分の画像が出現した出現位置をそれぞれ検出し、前記制御手段は、前記指示手段により前記早送りの指示が出力されると、前記複数の出現位置のうちの何れか一つの前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項１１記載の再生装置。
【請求項１６】
前記複数の特徴部分の画像のうちの一つを任意に選択する選択手段を備え、
前記制御手段は、前記指示手段により前記早送りの指示が出力されると、前記複数の出現位置のうちの前記選択手段により選択された特徴部分の出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項１５記載の再生装置。
【請求項１７】
前記再生手段は前記出現位置を示す情報を前記記録媒体から再生し、前記検出手段は前記再生手段により再生された前記出現位置を示す情報に基づいて前記出現位置を検出することを特徴とする請求項１１記載の再生装置。
【請求項１８】
入力された動画像信号を前記記録媒体に記録する記録手段を備え、
前記検出手段は前記入力された動画像信号を用いて、前記動画像信号の複数の画面に含まれる特徴部分の画像を検出する特徴検出手段を含み、前記記録手段は前記検出手段により検出された前記特徴部分の画像に関する付加情報を前記動画像信号の複数の画面にそれぞれ付加して前記記録媒体に記録することを特徴とする請求項１１記載の再生装置。
【請求項１９】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像を含む画面を検出する検出手段と、
前記動画像信号の頭出しの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記頭出しの指示が出力されると、前記検出手段により検出された画面に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項２０】
記録媒体から動画像信号を再生する再生手段と、
前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、
前記動画像信号の頭出しの指示を出力する指示手段と、
前記動画像信号の再生中に前記指示手段により前記頭出しの指示が出力されると、前記頭出しの指示に対応した再生位置より前の前記出現位置に関連した位置、または、前記頭出しの指示に対応した再生位置より後の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備えることを特徴とする再生装置。
【請求項２１】
前記制御手段は、前記頭出しの指示に対応した再生位置の直前の前記出現位置に関連した位置、または、前記頭出しの指示に対応した再生位置の次の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御することを特徴とする請求項２０記載の再生装置。
【請求項２２】
記録媒体から動画像を再生する再生装置であって、
前記動画像の再生中に巻き戻しの指示があると、前記巻き戻しの指示があった時点で再生中の動画像のフレームに含まれる特徴部分の出現位置まで戻って前記動画像を再生することを特徴とする再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は再生装置に関し、特に、動画像の再生装置に関する。
【背景技術】
【０００２】
従来、ディスク媒体などの記録媒体に記録された動画像を再生する装置が知られている。動画像は静止画とは異なり、短時間でその内容を把握することは難しい。そこで、動画像の内容を短時間で把握するために、この種の装置では、例えば高速再生機能や、動画像中における所定の画面をサムネイル画像として一覧画面で表示する機能を持つものがある。
【０００３】
また、ビデオカメラなど、動画像や静止画を撮影し、記録媒体に記録する装置も知られている。一般に、ユーザがビデオカメラにより撮影する動画像の被写体は人物を含むことが多い。
【０００４】
近年、顔検出技術の発展により、撮影した動画像から人物が写っているシーンを再生する技術開発が行われている。例えば、動画像に含まれる人物の顔を一覧表示したり、人物の顔を含むシーンを時系列に並べて表示したりして、そこからユーザが選択した顔に対応するシーンを再生する技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−８３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の様に記録した動画像を再生する場合には、通常、各シーンの先頭から順番に再生する。そして、重要なシーンは巻き戻して繰り返し再生したり、不要なシーンでは早送り再生したり、或いは数秒〜十数秒単位のスキップなどを行いながら再生することが一般的である。
【０００７】
このため、重要なシーンを繰り返し再生したり、不要なシーンを飛ばして再生したりする操作が煩わしいという問題があった。また、動画像の再生中に特定の顔が写っているシーンを繰り返し再生したい場合にも、やはり、ユーザが自分で巻き戻し、早送りの操作を行う必要があった。また、特開２００２−８３５４号公報に記載の技術では、動画像の再生中に特定の顔を含むシーンを頭出しすることができず、動画像の再生を一度中断して一覧表示や時系列表示などの選択画面に戻る必要があった。
本発明は前述の問題点に鑑み、重要なシーンを繰り返し再生したり、不要なシーンを飛ばして再生したりする操作が容易な装置を提供できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明の再生装置は、記録媒体から動画像信号を再生する再生手段と、前記再生手段により再生された動画像信号において特徴部分の画像が出現した出現位置を検出する検出手段と、前記動画像信号の巻き戻しの指示を出力する指示手段と、前記動画像信号の再生中に前記指示手段により前記巻き戻しの指示が出力されると、前記巻き戻しの指示に対応した再生位置よりも前の前記出現位置に関連した位置から前記動画像信号を再生するように前記再生手段を制御する制御手段とを備える。
【発明の効果】
【０００９】
本発明によれば、重要なシーンを繰り返し再生したり、不要なシーンを飛ばして再生したりする操作が容易となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態におけるビデオカメラの構成例を示すブロック図である。
【図２】動画像の様子を示す図である。
【図３】管理テーブルの例を示す図である。
【図４】操作スイッチの外観図である。
【図５】実施形態における巻き戻し処理を示すフローチャートである。
【図６】管理テーブルと記録テーブルの例を示す図である。
【図７】再生時の処理を示すフローチャートである。
【図８】管理テーブルと記録テーブルの例を示す図である。
【図９】再生時の処理を示すフローチャートである。
【図１０】付加情報の例を示す図である。
【図１１】動画像の再生画面を示す図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
本実施形態においては、ディスク型の記録媒体に動画像を記録するデジタルビデオカメラに対して本発明を適用した場合について説明する。図１は、本発明の実施形態におけるビデオカメラ１００の構成例を示すブロック図である。
【００１２】
ＣＰＵ１１０は、バス１１６により、ＲＡＭ１１２、ＲＯＭ１１３およびその他の各ブロックに接続されている。ＣＰＵ１１０は、ＲＯＭ１１３に格納された制御プログラムに従い各ブロックを制御する。また、ＣＰＵ１１０は、動作時の一時的なデータの格納場所としてＲＡＭ１１２を用いる。また、ＣＰＵ１１０は操作部１１１からの指示に従い各種処理を行う。操作部１１１は電源スイッチや撮影開始、停止を指示する記録スイッチ、記録した動画の再生を指示する再生スイッチなど各種のスイッチを備えている。メモリ１１４は、各ブロックにおける処理のため動画像信号を記憶する他、必要なデータを記憶するために用いられる。
【００１３】
撮像部１０１は、レンズ、絞り、撮像素子、及びこれらのドライバ等を有し、被写体の画像を撮影し、動画像信号を出力する。画像処理部１０２は、ＣＰＵ１１０の制御により、撮影時には撮像部１０１からの動画像信号を入力し、再生時にはＣＯＤＥＣ１０４から動画像信号を入力する。そして、入力した動画像信号に対し、色変換や解像度変換といった各種の画像信号処理を行う。特徴検出部１０３はメモリ１１４を用いて、撮影した動画像信号、或いは、再生された動画像信号から、画像に含まれる特徴部分の数とそれらの大きさ、位置などの付加情報を検出して取得する。
【００１４】
本実施形態では、特徴検出部１０３は人物の顔を特徴部分として検出する。そして、特徴検出部１０３の検出結果に基づいて、動画像のうち顔部分の画像の時間軸上の出現点を、特徴部分の画像が出現した出現位置としてＣＰＵ１１０により管理する。また、顔部分が複数回検出された場合、検出された顔部分が互いに同じ顔であるかどうかを判断する。なお、特徴検出部１０３が顔以外の特定の画像を特徴部分として検出するようにしてもよい。
【００１５】
また、ＣＯＤＥＣ１０４は撮影時には画像処理部１０２から動画像信号を入力し、ＭＰＥＧ等の公知の動画符号化方式に従いこの動画像信号を符号化してその情報量を圧縮する。そして、圧縮した動画像信号をメモリ１１４に記憶する。ディスク制御部１０５は、メモリ１１４から、圧縮された動画像信号を読み出してディスク１０６に記録する。なお、本実施形態では、動画像信号を記録する記録媒体として、ハードディスク（ＨＤＤ）を用いるが、メモリカードや光ディスクなど、他の種類の記録媒体を用いることも可能である。
【００１６】
また、再生時には、ディスク制御部１０５は、ディスク１０６から動画像信号を読み出してメモリ１１４に記憶する。ＣＯＤＥＣ１０４は、メモリ１１４より、再生された動画像信号を読み出して復号して画像処理部１０２に出力する。
【００１７】
また、画像処理部１０２は、撮像部１０１から出力された動画像信号、或いは、再生された動画像信号を処理してメモリ１１４に記憶する。描画処理部１０７は、ＣＰＵ１１０の指示に従い、各種の文字や図形の情報をメモリ１１４に記憶し、動画像信号に多重する。
【００１８】
表示制御部１０８は、メモリ１１４より読み込んだ動画像信号を表示部１０９に表示する。従って、撮影時には撮像部１０１で得られた動画像が表示部１０９に表示され、再生時には再生された動画像が表示部１０９に表示される。また、出力部１１５は、メモリ１１４より読み込んだ動画像信号をビデオカメラ１００の外部の表示装置などに出力し、撮影された動画像や再生された動画像を表示させる。
【００１９】
撮影モードにおいては、撮像部１０１により撮影された動画像が表示部１０９に表示される。そして、ユーザが操作部１１１により撮影開始を指示すると、前述の様に、撮像部１０１により得られた動画像信号が処理されて、ディスク１０６に記録される。また、撮影停止の指示があると、ディスク１０６に対する動画像信号の記録を停止する。本実施形態では、撮影開始の指示から撮影停止の指示までの間に記録された一連の動画像信号を一つのファイルとして管理し、一つの動画ファイルを一つのシーンとして扱う。また、本実施形態では、撮影時において、画像処理部１０２により、記録する動画像信号の先頭フレームを縮小し、代表画像信号を生成する。ディスク制御部１０５は、この代表画像信号を各動画ファイルと共にディスク１０６に記録する。
【００２０】
また、操作部１１１により再生モードが指示されると、ＣＰＵ１１０はディスク制御部１０５に対し、ディスク１０６に記録された各シーンの代表画像信号を再生するよう、指示する。ディスク制御部１０５はディスク１０６から代表画像信号を再生し、メモリ１１４に記憶する。描画処理部１０７は、再生された代表画像信号に基づいて、各シーンの代表画像の一覧画面を示すインデックス画面を生成し、メモリ１１４に記憶する。
【００２１】
表示制御部１０８は、このインデックス画面を表示部１０９に表示する。ユーザは、操作部１１１を操作することにより、インデックス画面に表示された代表画像のうち、所望のシーンの代表画像を任意に選択し、再生を指示する。ＣＰＵ１１０は、操作部１１１により再生開始が指示されると、ディスク制御部１０５に対し、選択されたシーンの動画像信号を再生する様に指示する。ディスク制御部１０５は、選択されたシーンの動画像信号をディスク１０６から再生し、前述のように、再生された動画像信号が表示部１０９に表示される。
【００２２】
次に、動画像の再生中における巻き戻し処理について説明する。
図２は、ディスク１０６に記録された動画像信号のうちの一つのシーンの動画像信号の様子を示す図である。図２の各フレームは、後述の様に、特徴検出部１０３が動画像信号から選択して顔検出処理を行ったフレームである。例えば、フレーム２０１〜２１６は１秒間隔である。本実施形態では、３０フレーム／秒の動画像信号を記録再生するので、図２においては、３０フレームに１フレームの動画像を取り出した様子を示している。図２において、フレーム２０１がシーンの先頭フレームであり、２１６がシーンの最後のフレームである。
【００２３】
図２の動画像では、顔２５０がフレーム２０３で出現し、フレーム２０７で消失している。また、顔２６０がフレーム２０５で出現し、フレーム２０９で消失している。また、顔２６１がフレーム２１１で出現し、フレーム２１３で消失している。また、顔２５１がフレーム２１３で出現し、フレーム２１５で消失している。
【００２４】
図２において、２１７は顔２５０が出現してから、消失後所定期間経過するまでの期間を示している。ここで、消失後の所定期間は３秒に設定した。また、２１８は顔２６０が出現してから、消失後所定期間経過するまでの期間を示している。また、２１９は顔２６１が出現してから、消失後所定期間経過するまでの期間を示している。また、２２０は顔２５１が出現してから、消失後所定期間経過するまでの期間を示しているが、図２では、顔２５１が消失してから２秒後に最後のフレームが再生されるため、期間２２０は最後のフレーム２１６までの期間となっている。
【００２５】
本実施形態においては、顔が出現したフレームに加えて、顔が消失したフレームを検出することにより、顔の出現期間を管理している。そして、動画像の再生中に、顔が出現してから、消失後所定期間経過するまでの間に巻き戻しの操作が行われた場合、指示があった時点で表示中のフレームに含まれる顔、或いは、直前に消失した顔の時間軸上の出現点（フレーム）まで戻って動画像を再生する。なお、特徴部分の画像の出現位置に関連した位置、例えば、出現位置よりも所定期間前の位置から動画像信号を再生するようにしてもよい。
【００２６】
次に、動画像の再生時のビデオカメラ１００の動作について説明する。
前述の様に、ディスク１０６から再生された動画像信号をＣＯＤＥＣ１０４により復号し、画像処理部１０２は復号した動画像信号を処理してメモリ１１４に記憶する。特徴検出部１０３は、メモリ１１４に記憶された再生動画像信号から顔部分を検出する。なお、本実施形態では、特徴検出部１０３は、再生された動画像信号において、所定の間隔で選択したフレームに含まれる顔を検出する。ここでは、１秒間隔で選択したフレームから顔を検出するが、もちろん、これよりも長い間隔、或いは、短い間隔でフレームを選択して顔検出処理を行ってもよく、全てのフレームについて顔検出処理を行ってもよい。
【００２７】
特徴検出部１０３は、再生したフレームに顔の画像が含まれていた場合、その位置及び大きさの情報をＣＰＵ１１０に出力する。なお、ここでは、検出した顔の中心の位置を顔の位置の情報として出力する。
【００２８】
このとき、顔の中心位置を、画面の左上からの水平方向（Ｘ方向）及び垂直方向（Ｙ方向）の画素数として出力する。ＣＰＵ１１０は、特徴検出部１０３からの検出結果に基づいて、検出した顔を識別するためのＩＤとその位置、大きさ、そして、動画像のうち顔が出現した位置（出現点）を対応づけて管理テーブルに登録し、ＲＡＭ１１２に保存する。
【００２９】
本実施形態では、出現点を当該シーンの先頭からの経過時間（フレーム数）として登録するが、動画像中の時間軸上の位置がわかれば他の形式で登録することも可能である。また、再生したフレームに顔が含まれていない場合、顔を含んでいないことを示す検出結果をＣＰＵ１１０に出力する。また、特徴検出部１０３により検出されていた顔が検出されなくなってから所定期間（ここでは３秒）経過すると、この顔の情報を管理テーブルから削除し、検出されなくなったフレームを消失点として管理テーブルに登録する。
【００３０】
例えば、図２に示す動画像信号の再生時において、特徴検出部１０３は、フレーム２０１、２０２には顔が含まれていないため、フレーム２０１、２０２の再生時には顔を含んでいないことを示す検出結果をＣＰＵ１１０に出力する。また、特徴検出部１０３は、フレーム２０３が再生されると顔２５０を検出し、その位置及び大きさの情報をＣＰＵ１１０に出力する。ＣＰＵ１１０は、特徴検出部１０３からの検出結果に基づいて、検出した顔を識別するためのＩＤ（ここでは２５０）とその位置、大きさ、出現点（ここではフレーム２０３）を対応づけて管理テーブルに登録し、ＲＡＭ１１２に保存する。図３（ａ）は、フレーム２０３の再生時の管理テーブル３００の様子を示す。
【００３１】
その後、フレーム２０４の再生時にも特徴検出部１０３は顔２５０を検出し、ＣＰＵ１１０はその検出結果と、管理テーブル３００に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム２０３で登録した顔と同一であると判断し、管理テーブル３００に登録されている顔２５０の位置、大きさを更新する。
【００３２】
同様に、フレーム２０５の再生時に特徴検出部１０３は顔２５０に加えて顔２６０を検出し、ＣＰＵ１１０はその位置、大きさ、出現点を管理テーブル３００に登録する。図３（ｂ）は、フレーム２０５の再生時の管理テーブル３００の内容を示す。ＣＰＵ１１０は、このように、複数の顔の時間軸上の出現点を管理する。
【００３３】
フレーム２０７の再生時には、顔２６０の検出結果だけがＣＰＵ１１０に出力される。そのため、ＣＰＵ１１０は、フレーム２０６まで検出されていた顔２５０がフレーム２０７で消失したと判断し、顔２５０の位置と大きさの情報を管理テーブル３００から削除し、消失点（フレーム２０７）の情報を登録する。図３（ｃ）は、フレーム２０７の再生時の管理テーブル３００を示す。その後、フレーム２０８の再生時にも特徴検出部１０３は顔２６０を検出し、管理テーブル３００に登録されている顔２６０の位置、大きさを更新する。
【００３４】
フレーム２０９の再生時には、顔を含まない旨の検出結果が特徴検出部１０３から出力されるため、ＣＰＵ１１０は、フレーム２０８まで検出されていた特徴部分、この場合は顔２６０が消失したと判断する。そして、顔２６０の消失点（フレーム２０９）を管理テーブル３００に登録する。また、顔２５０の消失点から所定期間経過しているので、管理テーブル３００から顔２５０の情報を削除する。図３（ｄ）は、フレーム２０９の再生時の管理テーブル３００を示す。以下、フレーム２１０〜２１６の再生時にも同様に処理を行う。
【００３５】
次に、この動画像の再生時に、ユーザが操作部１１１を操作して巻き戻しを指示したときのビデオカメラ１００の動作について説明する。
図４は、操作部１１１の外観図である。操作部１１１はダイヤルスイッチ４０１と、巻き戻しボタン４０２と、早送りボタン４０３と、再生／一時停止ボタン４０４と、停止ボタン４０５とを備えている。
【００３６】
図５は、動画像の再生中に巻き戻しボタン４０２が操作された場合に、ＣＰＵ１１０が行う巻き戻し処理を示すフローチャートである。
前述の様に、動画像信号の再生中に巻き戻しの指示があると、管理テーブルに出現中の顔の情報が登録されているかどうかを検出する。そして、巻き戻し指示があったときに再生中のフレームに顔が含まれているかどうか判別する（Ｓ５０１）。この判別の結果、再生中のフレームに顔が含まれていない場合には、更に、管理テーブルに消失点近傍（消失して３秒以内）の顔の情報が登録されているかどうかを検出する。そして、巻き戻し指示があったときに再生中のフレームが、顔の消失点から所定期間以内に再生されたフレームであるかどうかを判別する（Ｓ５０５）。この判別の結果、顔の消失点から所定期間以内での巻き戻し指示では無いと判別した場合には、現在再生中のシーンの先頭から動画像信号を再生するように、ディスク制御部１０５及び各部を制御する（Ｓ５０６）。
【００３７】
また、Ｓ５０１の判別で、巻き戻し指示があった時に再生中のフレームに顔が含まれていた場合、或いは、Ｓ５０５の判別で、顔の消失点から所定期間以内に巻き戻しの指示があった場合には、Ｓ５０２に進む。Ｓ５０２では、管理テーブルに複数の顔の情報が登録されているかどうかを判別する。この判別の結果、顔の情報が複数登録されていた場合、これら複数の顔のうちの何れかを選択する（Ｓ５０３）。
【００３８】
本実施形態では所定の条件に従い、複数の顔に優先度を付加し、最も優先度が高い顔の情報を選択する。例えば、本実施形態では、各顔の画面中心からの距離や、大きさ、出現してからの経過時間の長さなどを元に優先順位を付加する。また、Ｓ５０２で顔の情報が一つしか登録されていない場合には、Ｓ５０３の選択処理は行わずに、この一つの顔の情報を選択する。
【００３９】
そして、管理テーブルに基づいて、選択された顔の出現点から動画像信号を再生するように、ディスク制御部１０５及び各ブロックを制御する（Ｓ５０４）。例えば、図２の動画像を再生する場合には、先頭フレーム２０１からフレーム２０３の直前のフレームの再生中に巻き戻し指示があると、先頭フレーム２０１から動画像が再生される。
【００４０】
また、フレーム２０３からフレーム２０５の直前のフレームの再生中に巻き戻し指示があると、顔２５０の出現点であるフレーム２０３から動画像が再生される。即ち、巻き戻し指示があったときに再生中のフレームよりも時間軸上で前にある顔２５０の出現点から動画像が再生される。
【００４１】
また、フレーム２０５からフレーム２０７の直前のフレームの再生中に巻き戻し指示があると、二つの顔２５０、２６０のうちの何れか、例えば、顔２５０の出現点であるフレーム２０３に戻り、このフレーム２０３から動画像が再生される。また、フレーム２０７からフレーム２０９の直前のフレームの再生中に巻き戻し指示があると、二つの顔２５０、２６０のうちの何れか、例えば、顔２５０の出現点であるフレーム２０３に戻り、このフレーム２０３から動画像が再生される。
【００４２】
また、フレーム２０９からフレーム２１１の直前のフレームの再生中に巻き戻し指示があると、顔２６０の出現点であるフレーム２０５に戻り、フレーム２０５から動画像が再生される。以下、フレーム２１１〜２１６の再生中に巻き戻し指示があった場合も、同様にＣＰＵ１１０が各部を制御して巻き戻し処理を行う。
【００４３】
この様に、本実施形態においては、動画像の再生中に巻き戻し指示があると、そのときに再生中のフレームに含まれている顔の出現点まで戻り、この出現点から自動的に動画像を再生する。そのため、再生中の動画像に含まれる人物が写っているシーンを容易に繰り返し再生することができる。
【００４４】
なお、本実施形態では、顔を含むフレームの再生中だけでなく、顔が消失してから所定期間以内に巻き戻しの指示があった場合にも、当該顔の出現点まで戻って動画像を再生していた。しかし、これに限らず、顔を含むフレームの再生中において巻き戻しの指示があったときに限って、顔の出現点まで戻って再生するようにしてもよい。
【００４５】
また、顔の出現点のフレームから動画像を再生するのではなく、出現点のフレームよりも前のフレームから動画像を再生するようにしてもよい。例えば、顔の出現点のフレームよりも所定時間だけ前の位置から動画像を再生するようにしてもよい。
【００４６】
特に、特徴検出部１０３による顔の検出間隔が長い場合、例えば、１０秒以上の間隔で顔を検出しているような場合には、管理テーブルに登録された出現点よりも前の位置まで戻って動画像を再生する。こうすることで、顔の検出間隔が長い場合でも、動画像中で実際に顔が出現した位置から再生することが可能となる。
【００４７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
本実施形態のビデオカメラは、図１のビデオカメラ１００と同じ構成である。本実施形態においては、動画像の撮影時に特徴部分を検出し、その検出結果を動画像の付加情報としてディスク１０６に記録しておく。そして、動画像信号の再生時には、この付加情報に基づいて動画像の再生処理を制御する。
【００４８】
以下、動画像の撮影時のビデオカメラ１００の動作について説明する。
動画像の撮影指示があると、撮像部１０１から出力された動画像信号を画像処理部１０２が処理し、メモリ１１４に記憶する。特徴検出部１０３は、メモリ１１４に記憶された動画像信号から、前述の様に顔の部分を検出し、検出結果をＣＰＵ１１０に出力する。なお、本実施形態においても、特徴検出部１０３は、所定期間おきに選択したフレームに含まれる顔の部分を検出する。そして、動画撮影中に検出した顔の出現点の情報を登録した管理テーブルを生成する。更に、動画の撮影を停止した後、この管理テーブルに基づいて、各顔の出現点の情報を記載した記録テーブルを生成し、動画像信号に対応づけてディスク１０６に記録する。
【００４９】
例えば、図２に示した動画像を撮影した場合、特徴検出部１０３はフレーム２０３の撮影時に顔２５０を検出する。そして、ＣＰＵ１１０はその検出結果から顔２５０の位置、大きさ、出現点をＲＡＭ１１２の管理テーブル３００に登録する。図６（ａ）は、フレーム２０３の撮影時の管理テーブル３００を示す。
【００５０】
その後、フレーム２０４の撮影時にも特徴検出部１０３は顔２５０を検出し、ＣＰＵ１１０はその検出結果と、図６（ａ）の管理テーブル３００に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム２０３で登録した顔と同一であると判断し、管理テーブル３００に登録されている顔２５０の位置、大きさを更新する。
【００５１】
同様に、フレーム２０５の撮影時には特徴検出部１０３は顔２５０に加えて顔２６０を検出し、ＣＰＵ１１０はその位置、大きさ、出現点を管理テーブル３００に登録する。
フレーム２０７の撮影時には、フレーム２０６まで検出されていた顔２５０が消失しており、ＣＰＵ１１０は顔２５０の位置、大きさを管理テーブル３００から削除する。その後、フレーム２０８の撮影時にも特徴検出部１０３は顔２６０を検出し、管理テーブル３００に登録されている顔２６０の位置、大きさを更新する。また、フレーム２０９の撮影時には、フレーム２０８まで検出されていた顔２６０が消失しており、ＣＰＵ１１０は顔２６０の位置、大きさを管理テーブル３００から削除する。
【００５２】
以下、フレーム２１０〜２１６の撮影時にも同様に処理を行ことにより、フレーム２１６までの動画像の撮影を終えた時点で、管理テーブルは図６（ｂ）に示す内容となる。
ＣＰＵ１１０は動画像の撮影停止の指示があると、管理テーブル３００に登録された顔とその出現点の情報に基づいて、各顔の出現点を示す記録テーブルを作成する。例えば、図２の動画像を撮影した場合、撮影停止後、図６（ｂ）の管理テーブル３００に基づいて図６（ｃ）に示す記録テーブル６００を作成する。そして、ディスク制御部１０５を制御し、作成した記録テーブル６００を動画像信号に対応づけてディスク１０６に記録する。
【００５３】
次に、ディスク１０６に記録した動画像の再生時のビデオカメラ１００の動作について説明する。本実施形態では、ディスク１０６に記録された動画像の再生時に、ＣＰＵ１１０はディスク制御部１０５を制御して、ディスク１０６に記録されている記録テーブル６００を読み出し、ＲＡＭ１１２に記憶する。
【００５４】
以下、動画像の再生時に、ユーザが操作部１１１により巻き戻し、或いは早送りを指示したときのビデオカメラ１００の動作について説明する。
図７は、本実施形態におけるＣＰＵ１１０による処理を示すフローチャートである。前述の様に、動画像信号をディスク１０６から再生し、動画像の再生中に巻き戻し、或いは早送りの指示があると図７のフローが開始する。
【００５５】
まず、巻き戻しの指示かどうかを判別する（Ｓ７０１）。この判別の結果、巻き戻しの指示であった場合、ＣＰＵ１１０は、ＲＡＭ１１２に記憶した記録テーブルに登録された顔の出現点を確認し、巻き戻し指示があったときに再生している位置より前方に出現点があるかどうか判別する（Ｓ７０２）。この判別の結果、前方に出現点があった場合、最も近い顔の出現点を検出し、出現点へ戻り、この出現点から動画像を再生するように、ディスク制御部１０５及び各部を制御する（Ｓ７０３）。また、Ｓ７０２の判別の結果、巻き戻し指示があったときに再生している位置より前方に顔の出現点がなかった場合には、再生中のシーンの先頭に戻って動画像を再生する（Ｓ７０４）。
【００５６】
また、Ｓ７０１の判別で、早送りの指示であった場合、ＣＰＵ１１０は、ＲＡＭ１１２に記憶した記録テーブルに登録された顔の出現点を確認し、早送り指示があったときに再生している位置より後方に出現点があるかどうか判別する（Ｓ７０５）。この判別の結果、後方に出現点があった場合、最も近い顔の出現点を検出する。そして、この、次の出現点に進んで動画像を再生するように、ディスク制御部１０５及び各部を制御する（Ｓ７０６）。また、早送り指示があったときに再生している位置より後方に顔の出現点がなかった場合には、再生中のシーンの次のシーンの先頭から動画像を再生する（Ｓ７０７）。
【００５７】
例えば、図２のフレーム２０１からフレーム２０３の直前のフレームの再生中に巻き戻し指示があった場合、図６（ｃ）の記録テーブル６００には、巻き戻し指示があった時点よりも前に顔の出現点がない。このため、ＣＰＵ１１０は、再生中のシーンの先頭まで戻り、フレーム２０１から動画像を再生するよう各部を制御する。
【００５８】
また、フレーム２０３からフレーム２０５の直前のフレームの再生中に巻き戻し指示があった場合、ＣＰＵ１１０は、巻き戻し指示があった時点よりも前方にある最も近い出現点であるフレーム２０３に戻って動画像を再生するように各部を制御する。また、フレーム２０５からフレーム２１１の再生中に巻き戻し指示があった場合、ＣＰＵ１１０は、前方にある最も近い顔の出現点であるフレーム２０５に戻って動画像を再生するように各部を制御する。
【００５９】
以下、フレーム２１１〜２１６の再生中に巻き戻し指示があった場合も、同様にＣＰＵ１１０が前方にある最も近い顔の出現点へ戻って動画像を再生するように、各部を制御する。
【００６０】
また、図２のフレーム２０１からフレーム２０３の直前のフレームの再生中に早送り指示があった場合、ＣＰＵ１１０は、図６（ｃ）の記録テーブル６００に基づいて各部を制御する。この場合、後方にある最も近い出現点であるフレーム２０３に進んで動画像を再生するよう各部を制御する。
また、フレーム２０３からフレーム２０５の直前のフレームの再生中に早送り指示があった場合、ＣＰＵ１１０は後方にある最も近い出現点であるフレーム２０５に進んで動画像を再生するよう各部を制御する。
【００６１】
以下、フレーム２０５〜２１２の再生中に早送りボタン３０３が押下された場合も同様に、ＣＰＵ１１０が、早送り指示があった時点よりも後方にある最も近い顔の出現点へ進んで動画像を再生するように各部を制御する。また、フレーム２１３〜２１６の再生中に早送り指示があった場合、図６（ｃ）の記録テーブル６００には後方に出現点がないため、ＣＰＵ１１０は次のシーンの先頭から動画像を再生するよう各部を制御する。
【００６２】
このように、再生制御を行うことにより、本実施形態によれば、動画像の再生中に、人物が写っているシーンを容易に繰り返し再生したり、或いは、人物が写っていないシーンを容易に飛ばして再生したりすることができる。
【００６３】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
本実施形態のビデオカメラは、図１のビデオカメラ１００と同じ構成である。本実施形態においては、動画像の撮影中に、撮影された動画像に含まれる顔を検出すると共に、各フレームで検出された顔が同じものであるか判断する。そして、判断結果を動画像の付加情報としてディスク１０６に記録しておき、再生時にはこの付加情報を使って早送りの処理を行う。
【００６４】
以下、動画像の撮影時におけるビデオカメラ１００の動作について説明する。
動画像の撮影指示があると、撮像部１０１から出力された動画像信号を画像処理部１０２が処理し、メモリ１１４に記憶する。特徴検出部１０３は、メモリ１１４に記憶された動画像信号から、前述の様に顔の部分を検出し、検出結果をＣＰＵ１１０に出力する。なお、本実施形態においても、特徴検出部１０３は、所定期間おきに選択したフレームに含まれる顔の部分を検出する。更に、本実施形態では、特徴検出部１０３は、検出した顔の特徴情報をＣＰＵ１１０に出力する。本実施形態では、人物の顔を特徴部分として検出しているので、特徴情報とは、例えば目、鼻、口などの特徴点を抽出して得たベクトル情報である。特徴検出部１０３はこの様な検出した顔に関する特徴情報をＣＰＵ１１０に出力する。
【００６５】
そして、ＣＰＵ１１０は、特徴検出部１０３から出力される検出結果に基づいて、検出された顔の出現点、消失点を含む管理テーブルを生成し、ＲＡＭ１１２に記憶する。
例えば、図２に示した動画像を撮影した場合、特徴検出部１０３はフレーム２０３の撮影時に顔２５０を検出する。そして、ＣＰＵ１１０はその検出結果から顔２５０の位置、大きさ、出現点、及び特徴情報をＲＡＭ１１２の管理テーブル３００に登録する。図８（ａ）は、フレーム２０３の撮影時の管理テーブル３００を示す。
【００６６】
その後、フレーム２０４の撮影時にも特徴検出部１０３は顔２５０を検出し、ＣＰＵ１１０はその検出結果と、図８（ａ）の管理テーブル３００に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム２０３で登録した顔と同一であると判断し、管理テーブル３００に登録されている顔２５０の位置、大きさを更新する。また、顔２５０の特徴情報はこれまでのフレームの平均値を算出して更新する。
【００６７】
同様に、フレーム２０５の撮影時には特徴検出部１０３は顔２５０に加えて顔２６０を検出し、ＣＰＵ１１０はその位置、大きさ、出現点、特徴情報をＲＡＭ１１２の管理テーブル３００に登録する。フレーム２０７の撮影時には、フレーム２０６まで検出されていた顔２５０が消失しているので、ＣＰＵ１１０は顔２５０の位置、大きさの情報を管理テーブル３００から削除し、消失点の情報を登録する。
【００６８】
その後、フレーム２０８の撮影時にも特徴検出部１０３は顔２６０を検出し、管理テーブル３００に登録されている顔２６０の位置、大きさ、特徴情報を更新する。フレーム２０９の撮影時には、フレーム２０８まで検出されていた顔２６０が消失しているので、ＣＰＵ１１０は顔２６０の位置、大きさを管理テーブル３００から削除し、消失点の情報を登録する。
【００６９】
以下、フレーム２１０〜２１６の撮影時にも同様に処理を行い、フレーム２１６までの動画像の撮影を終えた時点で、管理テーブル３００は図８（ｂ）に示す内容となる。ここで、Ａｖｅ（）は、括弧内の特徴情報の平均値を示している。また、Ｃ１０３〜Ｃ１０６は顔２５０のフレーム２０３〜２０６における特徴情報を示している。Ｃ２０５〜Ｃ２０８は顔２６０のフレーム２０５〜２０８における特徴情報を示している。また、Ｃ３１１〜Ｃ３１２は顔２６１のフレーム２１１〜２１２における特徴情報を示し、Ｃ４１３〜Ｃ４１４は顔２５１のフレーム２１３〜２１４における特徴情報を示している。
【００７０】
ＣＰＵ１１０は、動画像の撮影を停止すると、ＲＡＭ１１２に記憶した管理テーブルに登録された特徴情報より、登録された各顔の同一性を判別し、同一と判断した顔の情報に同じ識別番号を付加した記録テーブルを作成する。そして、ＣＰＵ１１０はディスク制御部１０５を制御し、作成した記録テーブルを動画像信号に対応づけてディスク１０６に記録する。
【００７１】
図８（ｃ）は、図８（ｂ）の管理テーブル３００に基づいて作成した記録テーブル８００を示している。図８（ｂ）の管理テーブル３００に登録された各顔の情報のうち、顔２５０と顔２５１が同一、顔２６０と顔２６１が同一と判断し、前者に識別番号１、後者に識別番号２を付加した記録テーブル８００が作成される。
【００７２】
次に、ディスク１０６に記録した動画像の再生時のビデオカメラ１００の動作について説明する。本実施形態では、ディスク１０６に記録された動画像の再生時に、ＣＰＵ１１０はディスク制御部１０５を制御して、ディスク１０６に記録されている記録テーブルを読み出し、ＲＡＭ１１２に記憶する。
【００７３】
以下、動画像の再生時に、ユーザが操作部１１１により巻き戻し、或いは早送りを指示したときのビデオカメラ１００の動作について説明する。図９は、本実施形態におけるＣＰＵ１１０による処理を示すフローチャートである。前述の様に動画像信号をディスク１０６から再生し、動画像の再生中に巻き戻し、或いは早送りの指示があると図９のフローが開始する。
【００７４】
まず、操作部１１１による指示が巻き戻しの指示かどうかを判別する（Ｓ９０１）。この判別の結果、巻き戻しの指示であった場合、ＲＡＭ１１２に記憶された記録テーブルに基づいて、巻き戻しの指示があった際に再生していたフレームに顔が含まれているかどうかを検出する。具体的には、巻き戻しの指示があった際に再生していたフレームの位置が、記録テーブルに登録された顔の出現点から消失点までの間に含まれるかどうかを判別する（Ｓ９０２）。
【００７５】
Ｓ９０２の判別の結果、再生中のフレームに顔が含まれていない場合には、更に、記録テーブルに消失点近傍（消失して３秒以内）の顔の情報が登録されているかどうかを検出する。そして、巻き戻し指示があったときに再生中のフレームが、顔の消失点から所定期間（３秒）以内に再生されたフレームであるかどうかを判別する（Ｓ９０６）。
【００７６】
Ｓ９０６の判別の結果、顔の消失点から所定期間以内での巻き戻し指示では無いと判別した場合には、現在再生中のシーンの先頭から動画像信号を再生するように、ディスク制御部１０５及び各部を制御する（Ｓ９０７）。
【００７７】
また、Ｓ９０２の判別の結果、巻き戻し指示があった時に再生中のフレームに顔が含まれていた場合。或いは、Ｓ９０６の判別の結果、顔の消失点から所定期間以内に巻き戻しの指示があった場合には、管理テーブルに複数の顔の情報が登録されているかどうかを判別する（Ｓ９０３）。この判別の結果、顔の情報が複数登録されていた場合、これら複数の顔のうちの何れかを選択する（Ｓ９０４）。このとき、本実施形態では、出現してからの時間が最も長い顔を選択する。そして、記録テーブル８００に基づいて、選択された顔の出現点から動画像信号を再生するように、ディスク制御部１０５及び各ブロックを制御する（Ｓ９０５）。
【００７８】
また、Ｓ９０１の判別で、巻き戻し指示ではなく、早送りの指示であった場合、ＲＡＭ１１２に記憶した記録テーブル８００に基づいて、早送りの指示があった際に再生していたフレームに顔が含まれているかどうかを判別する（Ｓ９０８）。この判別の結果、再生中のフレームに顔が含まれていない場合には、更に、記録テーブル８００に消失点近傍（消失して３秒以内）の顔の情報が登録されているかどうかを検出する。そして、早送り指示があったときに再生中のフレームが、顔の消失点から所定期間（３秒）以内に再生されたフレームであるかどうかを判別する（Ｓ９１３）。
【００７９】
Ｓ９１３で、顔の消失点から所定期間以内での早送り指示では無いと判別した場合には、現在再生中のシーンの次のシーンの先頭から動画像信号を再生するように、ディスク制御部１０５及び各部を制御する（Ｓ９１４）。
【００８０】
また、Ｓ９０８で、早送り指示があった時に再生中のフレームに顔が含まれていた場合。或いは、Ｓ９１３で、顔の消失点から所定期間以内に早送りの指示があった場合には、管理テーブル３００に複数の顔の情報が登録されているかどうかを判別する（Ｓ９０９）。この判別の結果、顔の情報が複数登録されていた場合、これら複数の顔の何れかを選択する（Ｓ９１０）。このとき、本実施形態では、出現してからの時間が最も長い顔を選択する。
【００８１】
次に、選択された顔に付加されたＩＤと同じＩＤが付加された顔の情報が記録テーブル８００に登録されているかどうかを判別する。同じＩＤの顔の情報が記録テーブル８００に登録されていた場合、現在の再生位置よりも後に当該顔の出現点があるかどうかを判別する（Ｓ９１１）。そして、次の出現点がある場合には、この同じＩＤの顔次の出現点まで進み、動画像を再生するようにディスク制御部１０５及び各ブロックを制御する（Ｓ９１２）。
【００８２】
また、Ｓ９１１で、同じＩＤの顔の情報が管理テーブルに登録されていない場合、或いは、現在の再生位置よりも後に同じＩＤの顔の出現点が登録されていなかった場合、Ｓ９１４に進み、次のシーンの先頭から動画像を再生する。
【００８３】
例えば、図２のフレーム２０１からフレーム２０３の直前のフレームの再生中に巻き戻し指示があった場合、図８（ｃ）の記録テーブル８００には、巻き戻し指示があった時点よりも前に顔の出現点がない。このため、ＣＰＵ１１０は、再生中のシーンの先頭まで戻り、フレーム２０１から動画像を再生するよう各部を制御する。
【００８４】
また、フレーム２０３からフレーム２０５の直前のフレームの再生中に巻き戻し指示があった場合、ＣＰＵ１１０は、顔２５０の出現点であるフレーム２０３に戻って動画像を再生するように各部を制御する。また、フレーム２０５からフレーム２０７の直前のフレームの再生中に巻き戻し指示があった場合、ＣＰＵ１１０は、顔２５０と顔２６０のうち、出現してからの期間が長い顔２５０を選択する。そして、この顔２５０の出現点であるフレーム２０３に戻って動画像を再生するように各部を制御する。また、フレーム２０７からフレーム２０９の直前のフレームの再生中に巻き戻し指示があった場合、ＣＰＵ１１０は、顔２６０の出現点であるフレーム２０５に戻って動画像を再生するように各部を制御する。
【００８５】
以下、フレーム２１１〜２１６の再生中に巻き戻し指示があった場合も、同様にＣＰＵ１１０が前方にある最も近い顔の出現点へ戻って動画像を再生するように、各部を制御する。
【００８６】
また、図２のフレーム２０１からフレーム２０３の直前のフレームの再生中に早送り指示があった場合、ＣＰＵ１１０は、次のシーンの先頭から動画像をするよう各部を制御する。また、フレーム２０３からフレーム２０５の直前のフレームの再生中に早送り指示があった場合、ＣＰＵ１１０は、顔２５０と同じＩＤが付加された顔２５１の出現点であるフレーム２１３に進んで動画像を再生するよう各部を制御する。
【００８７】
また、フレーム２０５からフレーム２０７の直前のフレームの再生中に早送り指示があった場合、ＣＰＵ１１０は、顔２５０と顔２６０のうち、出現してからの期間が長い顔２５０を選択する。そして、この顔２５０と同じＩＤが付加された顔２５１の出現点であるフレーム２１３に進んで動画像を再生するよう各部を制御する。また、フレーム２０７からフレーム２０９の直前のフレームの再生中に早送り指示があった場合、ＣＰＵ１１０は、顔２６０と同じＩＤが付加された顔２６１の出現点であるフレーム２１１に進んで動画像を再生するよう各部を制御する。
【００８８】
また、フレーム２１１〜フレーム２１４の再生中に早送りの指示があっても、その後に同じＩＤが付加された顔の出現点が無いため、次のシーンの先頭から動画像を再生するように各部を制御する。
【００８９】
このように、本実施形態によれば、動画像の再生中に、特定の人物が写っているシーンを容易に繰り返し再生したり、或いは、特定の人物が写っている次のシーンを容易に頭出しして再生したりすることができる。
【００９０】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。本実施形態のビデオカメラは、図１のビデオカメラ１００と同じ構成である。本実施形態では、動画像の撮影時に検出した特徴部分の位置と大きさを、付加情報として動画像の各フレームに付加して記録する。更に、本実施形態では、動画像の再生時に、再生中の動画像の同じフレームに複数の顔が含まれていた場合、ユーザが何れかの顔を選択できるようにした。そして、選択した顔の出現点を頭出しして再生したり、或いは、選択した顔と同じ顔が次に出現する点を頭出しして再生したりできるようにした。
【００９１】
以下、動画像の撮影時におけるビデオカメラ１００の動作について説明する。
動画像の撮影指示があると、撮像部１０１から出力された動画像信号を画像処理部１０２が処理し、メモリ１１４に記憶する。特徴検出部１０３は、メモリ１１４に記憶された動画像信号から、前述の様に顔の部分を検出し、検出結果をＣＰＵ１１０に出力する。なお、本実施形態においても、特徴検出部１０３は、所定期間おきに選択したフレームに含まれる顔の部分を検出する。また、本実施形態においても、特徴検出部１０３は、検出した顔の特徴情報をＣＰＵ１１０に出力する。
【００９２】
ＣＰＵ１１０は、特徴検出部１０３の出力に基づいて前述のように管理テーブルを作成すると共に、特徴検出部１０３から新たに検出結果が出力される度に管理テーブルの内容を更新する。そして、ＣＰＵ１１０はディスク制御部１０５を制御し、記録する動画像信号の各フレームに対し、管理テーブルに登録された顔の位置と大きさを示す付加情報を付加して記録する。
【００９３】
例えば、図２に示した動画像を撮影した場合、特徴検出部１０３はフレーム２０３の撮影時に顔２５０を検出する。そして、ＣＰＵ１１０はその検出結果から顔２５０の位置、大きさ、出現点、及び特徴情報をＲＡＭ１１２の管理テーブル３００に登録する。図８（ａ）は、フレーム２０３の撮影時の管理テーブル３００を示す。
【００９４】
その後、フレーム２０４の撮影時にも特徴検出部１０３は顔２５０を検出し、ＣＰＵ１１０はその検出結果と、図８（ａ）の管理テーブル３００に登録された内容とを照合する。そして、それらの位置と大きさから、フレーム２０３で登録した顔と同一であると判断し、管理テーブル３００に登録されている顔２５０の位置、大きさを更新する。また、顔２５０の特徴情報はこれまでのフレームの平均値を算出して更新する。
【００９５】
同様に、フレーム２０５の撮影時には特徴検出部１０３は顔２５０に加えて顔２６０を検出し、ＣＰＵ１１０はその位置、大きさ、出現点、特徴情報をＲＡＭ１１２の管理テーブル３００に登録する。フレーム２０７の撮影時には、フレーム２０６まで検出されていた顔２５０が消失しているので、ＣＰＵ１１０は顔２５０の位置、大きさの情報を管理テーブル３００から削除し、消失点の情報を登録する。
【００９６】
その後、フレーム２０８の撮影時にも特徴検出部１０３は顔２６０を検出し、管理テーブル３００に登録されている顔２６０の位置、大きさ、特徴情報を更新する。フレーム２０９の撮影時には、フレーム２０８まで検出されていた顔２６０が消失しているので、ＣＰＵ１１０は顔２６０の位置、大きさを管理テーブル３００から削除し、消失点の情報を登録する。
【００９７】
以下、フレーム２１０〜２１６の撮影時にも同様に処理を行い、フレーム２１６までの動画像の撮影を終えた時点で、管理テーブル３００は図８（ｂ）に示す内容となる。
ＣＰＵ１１０は、動画像の撮影を停止すると、ＲＡＭ１１２の管理テーブルに登録された特徴情報より、登録された各顔の同一性を判別し、同一と判断した顔の情報に同じ識別番号を付加した記録テーブルを作成する。
【００９８】
図８（ｃ）は、図８（ｂ）の管理テーブル３００に基づいて作成した記録テーブル８００を示している。図８（ｂ）の管理テーブル３００に登録された各顔の情報のうち、顔２５０と顔２５１が同一、顔２６０と顔２６１が同一と判断し、前者に識別番号１、後者に識別番号２を付加した記録テーブル８００が作成される。
【００９９】
ＣＰＵ１１０はディスク制御部１０５を制御し、作成した記録テーブル８００を動画像信号に対応づけてディスク１０６に記録する。
【０１００】
図１０は、動画像信号に付加されて記録される付加情報の様子を示す図である。例えば、図２の動画像を記録する場合には、フレーム２０５からフレーム２０７の直前のフレームに対し、図１０の付加情報が付加される。
【０１０１】
次に、ディスク１０６に記録した動画像の再生時のビデオカメラ１００の動作について説明する。本実施形態では、ディスク１０６に記録された動画像の再生時に、ＣＰＵ１１０はディスク制御部１０５を制御して、ディスク１０６に記録されている記録テーブルを読み出し、ＲＡＭ１１２に記憶する。
【０１０２】
また、本実施形態では、ＣＰＵ１１０がディスク制御部１０５を制御し、再生された動画像の各フレームに付加された付加情報を取得する。そして、取得した各フレームの付加情報に基づいて、動画像の各フレームにおける顔の位置と大きさを検出する。そして、ＣＰＵ１１０は、描画処理部１０７を制御して、再生された動画像の各画面における顔の部分に検出枠の画像を多重して表示する。このとき、一つのフレームに複数の顔が含まれている場合、ＣＰＵ１１０は、何れかの顔の部分に対し、検出枠を多重して表示する。
【０１０３】
そして、ユーザは、図４に示した操作部１１１のダイヤルスイッチ４０１を操作することで、複数の顔の中から検出枠を表示する対象の顔を選択することができる。なお、本実施形態では、ユーザがダイヤルスイッチ４０１を操作すると、ＣＰＵ１１０が検出枠を表示し、操作終了後所定期間経過すると検出枠の表示を停止する。
【０１０４】
図１１は、図２の動画像の再生中における再生画面の例を示す図である。例えば、フレーム２０５の再生中、顔２５０に検出枠１１０１を多重して表示している。フレーム２０５〜フレーム２０７の直前のフレームまでの間、複数の顔が含まれるため、これらのフレームの再生中にユーザがダイヤルスイッチ４０１を操作すると、ＣＰＵ１１０は検出枠１１０１にて選択している顔を切り替える。
【０１０５】
例えば、フレーム２０５において、特徴部分として顔２５０に対して検出枠が描画されている状態において、巻き戻しボタン３０２が押下される場合がある。この場合、記録テーブル８００によりＣＰＵ１１０は特徴部分（顔２５０）の出現点であるフレーム２０３より所定時間（例えば３秒）前に戻って再生を行うようディスク制御部１０５及び各ブロックを制御する。ただし、特徴部分の出現点が動画像の先頭から所定時間以内の場合は、動画像の先頭から再生を行う。
【０１０６】
本実施形態における再生時の処理は、図９のフローで説明した処理と同様であるが、Ｓ９０４、及び、Ｓ９１０における顔の選択方法が異なる。
即ち、本実施形態では、巻き戻し、或いは、早送りの指示があった時に再生中の画面に複数の顔が含まれていた場合、検出枠によってユーザが選択した顔を選択する。そして、ユーザによって選択された顔の出現点を頭出しして、動画像を再生する。
【０１０７】
具体的には、例えば、図２におけるフレーム２０５からフレーム２０７の直前のフレームまでの間に早送り指示があった場合、再生中の画面には顔２５０と顔２６０が含まれている。そして、これら顔２５０と顔２６０のうち、検出枠１１０１により顔２５０が選択されていた場合、同じ識別番号を持つ顔２５１の出現点であるフレーム２１３に頭出しして動画像を再生するように、ＣＰＵ１１０が各部を制御する。
【０１０８】
以上、説明したように、本実施形態によれば、所望の人物が写っているシーンを容易に繰り返し再生したり、所望の人物が写っている次のシーンを容易に頭出しして再生したりすることができる。
【０１０９】
（本発明に係る他の実施の形態）
前述した本発明の実施の形態における画像再生装置、画像記録再生装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【０１１０】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１１１】
なお、本発明は、前述した画像再生装置の制御方法における各工程を実行するソフトウェアのプログラム（実施の形態では図５、図７、図９に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１１２】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１１３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１１４】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１１５】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１１６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施の形態の機能が実現され得る。
【０１１７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。
【符号の説明】
【０１１８】
１００  ビデオカメラ、１０１  撮像部、１０２  画像処理部、１０３  特徴検出部、１０４  ＣＯＤＥＣ、１０５  ディスク制御部、１０６  ディスク、１０７  描画処理部、１０８  表示制御部、１０９  表示部、１１０  ＣＰＵ、１１１  操作部、１１２  ＲＡＭ、１１３  ＲＯＭ、１１４  メモリ、１１５  出力部、１１６  バス
【図１】
2010045765.tif 000003
【図２】
2010045765.tif 000004
【図３】
2010045765.tif 000005
【図４】
2010045765.tif 000006
【図５】
2010045765.tif 000007
【図６】
2010045765.tif 000008
【図７】
2010045765.tif 000009
【図８】
2010045765.tif 000010
【図９】
2010045765.tif 000011
【図１０】
2010045765.tif 000012
【図１１】
2010045765.tif 000013