【事件の表示】
　特許第３４０４８０３号「動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法」の請求項１から請求項６までに係る特許に対する特許異議の申立てについて、次のとおり決定する。
【結　論】
　訂正を認める。
　特許第３４０４８０３号の請求項１から請求項６までに係る特許を維持する。
【理　由】
第一．手続の経緯
　特許第３４０４８０３号（請求項の数６）に係る発明についての出願は、平成５年６月１８日の出願であり、その発明について、平成１５年３月７日に特許権の設定の登録があった。
　その後、その請求項１から請求項６まで（全請求項）に係る特許について、平成１５年１１月１２日付けで特許異議申立人・金子和弘から特許異議の申立てがあった。
　平成１６年７月２０日付けで取消しの理由が通知されたところ、同通知において指定された期間内に訂正請求書（平成１６年９月２７日付け）が提出された。
　
第二．訂正の請求
　〈結論〉
　訂正を認める。
　〈理由〉
１．請求の内容等
　（ａ）請求の趣旨
　本件訂正の請求（平成１６年９月２７日付け）の趣旨は、願書に添付した明細書（特許明細書）を、要約、下記（ｂ）のとおりに訂正することを求めるものである。
　（ｂ）訂正の内容
　訂正事項１
　請求項１において、「動画像を撮影する際に撮影者がカメラを操作したカメラ操作情報」（訂正前）を、「動画像を撮影するために撮影者がカメラを操作したカメラ操作情報」（訂正後）に訂正する。
　訂正事項２
　請求項２において、「動画像を撮影する際に撮影者がカメラを操作したカメラ操作情報」（訂正前）を、「動画像を撮影するために撮影者がカメラを操作したカメラ操作情報」（訂正後）に訂正する。
　訂正事項３
　請求項４において、「撮像装置のカメラ操作情報」（訂正前）を「動画像を撮影するために撮影者がカメラを操作したカメラ操作情報」（訂正後）に訂正し、「・・の少なくとも１つを入力とし」（訂正前）を「・・のうち少なくとも前記カメラ操作情報を入力とし」（訂正後）に訂正する。
　訂正事項４
　請求項５において、「撮像装置のズームなどのカメラ操作情報」（訂正前）を「動画像を撮影するために撮影者がカメラを操作したズーム操作などのカメラ操作情報」（訂正後）に訂正し、「・・の少なくとも１つを入力とし」（訂正前）を「・・のうち少なくとも前記カメラ操作情報を入力とし」（訂正後）に訂正する。
　訂正事項５
　請求項６において、「撮像装置のズームなどのカメラ操作情報」（訂正前）を「動画像を撮影するために撮影者がカメラを操作したズームなどのカメラ操作情報」（訂正後）に訂正し、「・・の少なくとも１つを入力とし」（訂正前）を「・・のうち少なくとも前記カメラ操作情報を入力とし」（訂正後）に訂正する。
　訂正事項６
　明細書の段落0005を訂正する（訂正内容省略）。
　訂正事項７
　明細書の段落0006を訂正する（訂正内容省略）。
　訂正事項８
　明細書の発明の名称を、「静止画像抽出装置、動画像記録装置および静止画像自動抽出方法」に訂正する。
　
２．訂正の適合性
　（ａ）訂正の目的
　訂正事項１及び訂正事項２について
　訂正前の「動画像を撮影する際に撮影者がカメラを操作したカメラ操作情報」のうち、「撮影する際に」（訂正前）を「撮影するために」と限定するものであり、特許請求の範囲の減縮に該当する。
　訂正事項３から訂正事項５までについて
　各訂正事項の「動画像を撮影する際に撮影者がカメラを操作した」（訂正後）については、訂正事項１および訂正事項２と同様であり、特許請求の範囲の減縮に該当する。
　各訂正事項の「・・の少なくとも前記カメラ操作情報を入力とし」（訂正後）は、少なくとも一つの入力すべき情報（訂正前）を「カメラ操作情報」（訂正後）に限定するものであり、特許請求の範囲の減縮に該当する。
　訂正事項４（請求項５）の「ズーム操作など」（訂正後）は、ズームがカメラ操作によるものであることを明瞭にするものであり、明りょうでない記載の釈明に該当する。
　訂正事項６から訂正事項８までについて
　訂正した特許請求の範囲の記載との整合を図るものであり、明りょうでない記載の釈明に該当する。
　（ｂ）訂正の範囲
　訂正事項１から訂正事項８までについて
　各訂正事項に関して、特許明細書には「カメラ操作とはビデオカメラで撮影した際の録画開始操作やズーム操作などであり、録画開始操作情報は録画開始操作が行われた時点にフラグを立てて録画開始点を示す情報であり、ズーム操作情報はズーム倍率を表す情報である。録画開始操作情報もズーム操作情報もともに、ビデオカメラのボタン操作をもとに検出可能な情報である。」（段落0010）と記載されている。
　したがって、訂正事項１から訂正事項８までは、いずれも、願書に添付した明細書又は図面に記載した事項の範囲内においてする訂正である。
　（ｃ）特許請求の範囲の拡張・変更
　訂正事項１から訂正事項８までは、訂正の前後において、特許請求の範囲に記載された用語の意義の解釈、産業上の利用分野、解決しようとする課題及び効果に変更をもたらすものではない。
　したがって、訂正事項１から訂正事項８までは、いずれも、実質上特許請求の範囲を拡張し又は変更するものではない。
　
３．まとめ
　以上、本件訂正は、特許法等の一部を改正する法律（平成６年法律第１１６号）第６条第１項の規定によりなお従前の例とされる、特許法第１２０条の４第２項の規定に適合し、かつ、同条第３項において準用する特許法第１２６条第２項及び第３項の規定にも適合するから、これを認める。
　
第三．本件発明
　訂正を認める。
　本件において、訂正後の請求項１から請求項６までに係る発明（以下、本件各発明ともいう）は、それぞれ、訂正した明細書の特許請求の範囲の請求項１から請求項６までに記載された事項によりに特定されるところの、下記のとおりのものである。
　　　　　記２（訂正後の特許請求の範囲）
　【請求項１】動画像を撮影するために撮影者がカメラを操作したカメラ操作情報を取り込むカメラ操作情報獲得手段と、撮像した画像を処理して得られた画像処理情報を取り込む画像処理情報獲得手段と、センサーからの信号を処理して得られた撮影中の撮影状態情報を取り込む撮影状態情報獲得手段と、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出する静止画像抽出手段を備え、前記画像処理情報獲得手段からの画像処理情報と前記撮影状態情報獲得手段からの撮影状態情報の少なくとも一つの情報と前記カメラ操作情報獲得手段からのカメラ操作情報をもとにして前記静止画像抽出手段で静止画像を抽出することを特徴とする静止画像抽出装置。
　【請求項２】動画像を撮影するために撮影者がカメラを操作したカメラ操作情報を取り込むカメラ操作情報獲得手段と、撮像した画像を処理して得られた画像処理情報を取り込む画像処理情報獲得手段と、センサーからの信号を処理して得られた撮影中の撮影状態情報を取り込む撮影状態情報獲得手段と、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出する静止画像抽出手段と、静止画像の情報を記録する静止画像情報記録手段を備え、撮像装置で撮像した動画像を動画像記録媒体に記録するとともに、前記画像処理情報獲得手段からの画像処理情報と前記撮影状態情報獲得手段からの撮影状態情報の少なくとも一つの情報と前記カメラ操作情報獲得手段からのカメラ操作情報をもとにして前記静止画像抽出手段で静止画像を抽出し、抽出した静止画像の情報を記録することを特徴とする動画像記録装置。
　【請求項３】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出するために、撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報の少なくとも一つの情報と撮像装置のズームや撮影開始操作などのカメラ操作情報を入力とし、静止画像抽出知識にもとづいて各画像についての評価値を求め、評価値が高い画像を抽出することを特徴とする静止画像自動抽出方法。
　【請求項４】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出するために、一定条件を満足する画像に対して、前記動画像を撮影するために撮影者がカメラを操作したカメラ操作情報と撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報のうち少なくとも前記カメラ操作情報を入力とし、前記カメラ操作情報と前記画像処理情報と前記撮影状態情報が所定の抽出条件を満足した画像を抽出することを特徴とする静止画像自動抽出方法。
　【請求項５】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出するために、撮影開始操作から一定時間経過後の画像に対して、前記動画像を撮影するために撮影者がカメラを操作したズーム操作などのカメラ操作情報と撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報のうち少なくとも前記カメラ操作情報を入力とし、前記カメラ操作情報と前記画像処理情報と前記撮影状態情報が所定の条件を満足した画像を抽出することを特徴とする請求項４記載の静止画像自動抽出方法。
　【請求項６】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出するために、撮影開始操作から撮影終了操作までの間に撮影された画像の数に一定比率を乗じた画像数以降に撮影された画像に対して、前記動画像を撮影するために撮影者がカメラを操作したズームなどのカメラ操作情報と撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報のうち少なくとも前記カメラ操作情報を入力とし、前記カメラ操作情報と前記画像処理情報と前記撮影状態情報が所定の条件を満足した画像を抽出することを特徴とする請求項４記載の静止画像自動抽出方法。
　
第四．特許異議の申立て
１．申立ての概要
　特許異議の申立ての理由は、概略、下記のとおりである。
　　　　　記（申立ての理由）
　　対象請求項：請求項１から請求項６まで（全請求項）
　　違反条項　：特許法第２９条第２項
　　証拠方法　：特開平２−２１４２７１号公報（甲１）
　　　　　　　　特開平５−３７８９３号公報（甲２）
　　　　　　　　特開平２−１５１１８８号公報（甲３）
　
２．取消しの理由
　当審が通知した取消しの理由は、概略、下記のとおりである。
　　　　　記（取消しの理由）
　請求項１から請求項６までに係る発明は、いずれも、下記刊行物に記載された各発明に基づいて当業者が容易に発明をすることができたものであるから、特許法第２９条第２項の規定に違反してされたものである。
　　　　　記
　　刊行物１：特開平２−２１４２７１号公報（甲１）
　　刊行物２：特開平５−３７８９３号公報（甲２）
　　刊行物３：特開平２−１５１１８８号公報（甲３）
　
３．申立ての理由の検討
　（ａ）特許異議申立人が提出した証拠方法（刊行物）のいずれにも、訂正後の請求項１から請求項６までに係る各発明が備える下記の構成は記載されていない。
　　　　　記（本件各発明が備える構成）
　請求項１および請求項２に係る発明
　　画像処理情報と撮影状態情報の少なくとも一つの情報とカメラ操作情報をもとにして静止画像抽出手段で静止画像を抽出すること。
　請求項３に係る発明
　　画像処理情報と撮影状態情報の少なくとも一つの情報とカメラ操作情報を入力とし、静止画像抽出知識にもとづいて各画像についての評価値を求め、評価値が高い画像を抽出すること。
　請求項４から請求項６までに係る発明
　　カメラ操作情報と画像処理情報と撮影状態情報が所定の抽出条件を満足した画像を抽出すること。
　（ｂ）本件は、従来ＶＩＳＳ信号により抽出していた画像は、同信号が録画開始の際に自動的に記録されたものに過ぎないため、動画像の内容を十分に表現するものではなく代表画像としては必ずしも適切ではなかった点に鑑み、上記構成を備えることにより、動画像の内容を十分に表現する代表画像を自動的に抽出することを可能とするものである（訂正明細書の段落0003、0004、0008および0071）。すなわち、本件各発明は、代表画像が動画像の内容を十分に表現するために、カメラ操作情報や画像処理情報や撮影状態情報というカテゴリの異なる複数の情報をもとにして、動画像の内容を評価し抽出するものであることが認められる。
　（ｃ）上記証拠方法（刊行物）は、いずれも、複数の情報をもとにして動画像の内容を評価するとの思想に基づくものではなく、上記構成に至る動機を欠くものである。
　特開平２−２１４２７１号公報（甲１）は、ビデオカメラの操作部のトリガ釦が押される毎に画像メモリに逐一書き込むものである。複数の情報をもとにして動画像の内容を評価し静止画像を抽出するものではない。
　特開平５−３７８９３号公報（甲２）は、シーンチェンジがある毎に静止画を抽出するものである。複数の情報をもとにして動画像の内容を評価し静止画像を抽出するものではない。
　特開平２−１５１１８８号公報（甲３）には、撮影時のレンズ・データおよびパン・チルト・データを記録することが記載されている。しかし、これら複数のデータの使途については、「２つのビデオ信号の合成の際のデフォーカス処理、動き連動処理を容易に行う」（２頁左上欄６行〜11行）ものであり、複数の情報をもとにして動画像の内容を評価し静止画像を抽出するために用いる旨の記載はない。
　（ｄ）申立人は、甲１はカメラ操作情報をもとに甲２は画像処理情報をもとに動画像中から静止画を抽出するものであるところ、これらの情報は被写体画像、撮影状態等が大きく変化したことを意味するものであり、さらに、甲３のレンズ・データ、パン・チルト・データ等からなる撮影状態情報もまったく同様に被写体画像、撮影状態が大きく変化したこと意味するものであるから、これらの情報を適宜用いて動画像の変化を抽出し、静止画像の抽出タイミングとすることは、当業者には何ら困難ではないとの趣旨の主張をする（申立書14頁）。
　前記のとおり、甲１および甲２が複数の情報をもとに静止画像を抽出することを開示するものではない上に、甲３が複数の情報の存在は開示するもののこれらを静止画像の抽出に用いることを開示するものではない以上、甲１、甲２および甲３を組み合わせることの動機を欠いていると言うべきである。主張は採用できない。
　
第五．むすび
　以上のとおり、訂正後の請求項１から請求項６までに係る特許は、いずれも、特許異議の申立ての理由及び証拠によっては、取り消すことができない。
　よって、結論のとおり決定をする。
【異議決定日】
平成１６年１２月１３日（２００４．１２．１３）
【訂正の要旨】
審決（決定）の【理由】欄参照。
（５４）【発明の名称】
静
（５７）【特許請求の範囲】
　【請求項１】動画像を撮影する
ため
　【請求項２】動画像を撮影する
ため
　【請求項３】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出するために、撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報の少なくとも一つの情報と撮像装置のズームや撮影開始操作などのカメラ操作情報を入力とし、静止画像抽出知識にもとづいて各画像についての評価値を求め、評価値が高い画像を抽出することを特徴とする静止画像自動抽出方法。
　【請求項４】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出するために、一定条件を満足する画像に対して、
前記動画像を撮影するために撮影者がカメラを操作した
うち
前記カメラ操作情報
　【請求項５】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出するために、撮影開始操作から一定時間経過後の画像に対して、
前記動画像を撮影するために撮影者がカメラを操作した
操作
うち
前記カメラ操作情報
　【請求項６】撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出するために、撮影開始操作から撮影終了操作までの間に撮影された画像の数に一定比率を乗じた画像数以降に撮影された画像に対して、
前記動画像を撮影するために撮影者がカメラを操作した
うち
前記カメラ操作情報
【発明の詳細な説明】
　【０００１】
　【産業上の利用分野】
　本発明は、ビデオカメラなどで撮影された動画像の中から、代表的な画像を自動的に抽出する方法及びその装置に関するものである。
　【０００２】
　【従来の技術】
　従来の技術として、例えばＶＴＲでは記録された動画像を管理するための情報を、ビデオテープに動画像とともに記録するというものがある。一例として、ＶＩＳＳ（ＶＨＳ　Ｉｎｄｅｘ　Ｓｅａｒｃｈ　Ｓｙｓｔｅｍ）について説明する。ＶＩＳＳとは、ＶＨＳ方式のＶＴＲにおいて高速頭出しを行うために開発されたものである。ビデオテープには、通常の画像情報を記録するビデオトラック以外に、この高速頭出しを行うためのＶＩＳＳ信号を記録するコントロールトラックが存在する。このＶＩＳＳ信号は、ビデオテープに画像情報を録画し始めたときに、コントロールトラックに自動的に記録される。また、ユーザが見たい場面に対してＶＩＳＳ信号を記録することもできる。このようにしてビデオテープ上に記録されたＶＩＳＳ信号を利用して、イントロサーチと呼ばれる早送り再生を行うことができる。イントロサーチとは、早送り中にＶＩＳＳ信号を見つけると、ある時間だけ再生状態にし、その後再び早送りするという動作をテープの終わりまで繰り返すものである。
　【０００３】
　【発明が解決しようとする課題】
　しかしながら、従来のＶＴＲにおいて自動的に記録されるＶＩＳＳ信号は、ビデオテープに画像情報を録画し始めたときに記録されるため、イントロサーチのようにＶＩＳＳ信号の付いている部分の画像を抽出した場合、抽出された画像は動画像の内容を十分に表現するものではない。また、動画像の内容を十分に表現する部分にＶＩＳＳ信号を付与しようとすると、ユーザが手動で行わなければならず、膨大な手間がかかる。
　【０００４】
　本発明はかかる点に鑑み、動画像の内容を十分に表現する代表画像を自動的に抽出する装置および動画像記録媒体を提供することを目的とする。
　【０００５】
　【課題を解決するための手段】
　上記課題を解決するために、
本発明の静止画像自動抽出方法は、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出するために、一定条件を満足する画像に対して、前記動画像を撮影するために撮影者がカメラを操作したカメラ操作情報と撮像した画像を処理して得られた画像処理情報とセンサーからの信号を処理して得られた撮影中の撮影状態情報のうち少なくとも前記カメラ操作情報を入力とし、前記カメラ操作情報と前記画像処理情報と前記撮影状態情報が所定の抽出条件を満足した画像を抽出する
　また本発明の静止画像抽出装置は、動画像を撮影する
ため
撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像の中から少なくとも１枚の静止画像を抽出する静止画像抽出手段を備え、前記画像処理情報獲得手段からの画像処理情報と前記撮影状態情報獲得手段からの撮影状態情報の少なくとも一つの情報と前記カメラ操作情報獲得手段からのカメラ操作情報をもとにして前記静止画像抽出手段で静止画像を抽出する
　【０００７】
　さらに本発明の動画像記録装置は、撮像装置で撮影した動画像を動画像記録媒体に記録するとともに、前記静止画像抽出手段で抽出した静止画像の情報を記録する静止画像情報記録手段を備える。
　【０００８】
　【作用】
　以上のような構成において、撮影時における撮影者のズームなどのカメラ操作情報や、画像処理を行って得られる例えばフォーカスやアイリスの信頼性や被写体の位置や障害物の存在状況などの画像処理情報や、センサーから得られる例えばパンなどの撮影状態情報をもとにして評価を行い、評価値が高いか、もしくは一定の条件を満足する画像を動画像の中から抽出する。これによって、抽出される静止画像は動画像の内容を十分に表現したものとなる。
　【０００９】
　また、抽出した静止画像の情報を動画像とともに記録することによって、静止画像情報をもとに代表画像を容易に検索したり、出力したりすることが可能となる。
　【００１０】
　【実施例】
　本発明の動画像記録媒体の実施例を図１に示す。図１は動画像記録媒体の一例としてビデオテープを示すが、ビデオディスクやＩＣメモリなどの他の記録媒体であってもよい。図１に示すように、ビデオテープには映像信号とともに、映像信号に対応してフレーム単位で代表画像の抽出情報を記録しておく。ここで代表画像の抽出情報とは、カメラ操作情報と画像処理情報と撮影状態情報である。カメラ操作とはビデオカメラで撮影した際の録画開始操作やズーム操作などであり、録画開始操作情報は録画開始操作が行われた時点にフラグを立てて録画開始点を示す情報であり、ズーム操作情報はズーム倍率を表す情報である。録画開始操作情報もズーム操作情報もともに、ビデオカメラのボタン操作をもとに検出可能な情報である。画像処理情報は撮像素子で撮像した映像信号をもとにして自動的もしくは人間が関与して抽出処理した情報で、例えばフォーカス制御を行うために求めた映像信号の高周波成分の周波数や大きさ、あるいはフレーム間における輝度信号や色信号の差異を求めたフレーム間差分値、あるいは映像信号から被写体領域の位置や大きさなどの情報を抽出したもの、逆光や過順光の状態、さらにはγ補正値や色温度などである。撮影状態情報はカメラの撮影状態をセンサーで検出した情報で、例えば角速度センサーによって検出したパンニングなどのカメラの動き情報、あるいは光量センサーによる被写体光量や絞り開度センサーで検出したレンズの絞り開度、あるいはレンズ位置検出によるフォーカス距離などがある。
　【００１１】
　以上のような代表画像抽出情報を動画像記録媒体に備えることによって、以降の実施例で説明するように動画像中の代表画像を抽出することが可能となる。
　【００１２】
　次に本発明の静止画像抽出装置の第１の実施例について説明する。図２に本実施例の構成図を示す。本実施例は、動画像記録媒体に映像信号とともに代表画像を抽出するための情報を記録しておき、動画像記録媒体から代表画像の抽出情報を読み出して評価し、評価結果にもとづいて１カット（カメラにおいて録画開始操作をしてから録画終了操作をするまでの間に連続して撮影された動画像のかたまり）の中から代表的な画像を静止画像として抽出するものである。図２で１は再生信号入力部、２はカメラ操作情報獲得部、３は画像処理情報獲得部、４は撮影状態情報獲得部、５は映像信号獲得部、６は代表画像抽出情報評価部、７は代表画像管理部、８は代表画像記憶部、９は出力装置である。以上の構成における各部の動作について以下で詳細に説明する。
　【００１３】
　まず、再生信号入力部１には動画像記録媒体に記録された情報を再生して入力する。カメラ操作情報獲得部２および画像処理情報獲得部３および撮影状態情報獲得部４では、再生信号入力部１に入力された再生信号からそれぞれカメラ操作情報と画像処理情報と撮影状態情報を読み出す。本実施例ではコード化された各情報をデコードする。代表画像抽出情報評価部６は、カメラ操作情報に含まれる録画開始操作情報を検出し、次の録画開始操作情報を検出するまでの同一カット内の各画像に対して、カメラ操作情報の中の録画開始操作情報以外の情報と画像処理情報と撮影状態情報をもとに、各画像がカットの代表画像として適当な画像であるかどうかの評価を行う。代表画像として適当であると評価された画像に関して、代表画像管理部７は映像信号獲得部５から１フレームの画像を取り込み、代表画像記憶部８に記憶する。出力装置９は代表画像記憶部８に記憶された代表画像を取り出して出力するものであり、ディスプレイやプリンタなどである。なお、代表画像抽出情報評価部６の動作については、後述の静止画像自動抽出方法の実施例で詳細に説明する。
　【００１４】
　以上の実施例では、動画像記録媒体に映像信号とともにあらかじめ代表画像を抽出するための情報を記録しておき、動画像記録媒体から代表画像の抽出情報を読み出して代表画像を抽出する場合について説明を行った。しかし、代表画像を抽出するための情報の一部、もしくは全部が動画像記録媒体に存在しない場合でも、動画像記録媒体に記録された映像信号を処理することによって、代表画像を抽出するための情報を獲得し、獲得した情報をもとに代表画像を抽出することができる。これについて以下の第２の実施例の静止画像抽出装置で詳細に説明する。
　【００１５】
　図３に比較例として、映像信号のみからすべての代表画像抽出情報を獲得する装置の構成を示す。図３で１０はフレーム間差分値検出部、１１はメモリ、１２は変化量検出部、１３はカットチェンジ検出部、１４はカメラワーク検出部、１５は動きベクトル検出部、１６はカメラワークパラメタ推定部、１７は被写体情報検出部、１８は動領域検出部、１９は領域内特徴量抽出部、２０はフォーカス情報検出部、２１は高域通過フィルタ、２２は平均値算出部である。以上の構成における各部の動作について以下で詳細に説明する。
　【００１６】
　まず、フレーム間差分値検出部１０およびカットチェンジ検出部１３の動作について説明する。フレーム間差分値検出部１０は、動画像信号を１フレーム遅延させるためのメモリ１１と、連続するフレーム間で動画像信号の差分を求める変化量検出部１２からなる。動画像の連続するフレーム間の差を求める信号は輝度値やｒｇｂ値などを用い、変化量検出部１２において画素単位で連続するフレーム間の画像信号の差分演算を行い、画素ごとの差分値の総和を求めてフレーム間差分値として出力する。カットチェンジ検出部１３は、フレーム間差分値検出部１０で求めたフレーム間差分値に対して閾値処理をする。すなわち、所定の閾値とフレーム間差分値との比較を行い、フレーム間差分値が閾値より大きい場合は、２枚のフレーム間で画像内容が大きく変化していると考えて、その部分でカットチェンジがあったと判断する。ビデオカメラでは、録画開始操作を行うことによってカットチェンジが生じるため、逆に画像信号からカットチェンジを検出することによって録画開始操作を推定することができる。したがって、カットチェンジ検出部１３では、閾値を越えるフレーム間差分値が検出された時点で、録画開始操作情報を出力する。なお、図３で示したフレーム間差分値検出部１０の構成は一例であり、図４で示すような他の構成でもよい。図４で４４は動画像信号の１フレームにおける色ヒストグラムを求める色ヒストグラム検出部、４５は求めたヒストグラムを記憶するヒストグラムメモリ、４６は連続するフレーム間で色ヒストグラムの差異を検出するヒストグラム差分検出部である。図４に示す構成では、フレーム間で画素ごとの比較を行うのではなくフレーム全体で比較を行うものであるが、画面を複数のブロックに分割し、ブロック単位でフレーム間の差分を求める構成としてもよい。
　【００１７】
　次にカメラワーク検出部１４について説明する。まず、動きベクトル検出部１５の動作を説明する。図５は、検出する動きベクトルの画面内での位置を説明するための図である。図５（ａ）は、全画面で水平、垂直方向にＭ，Ｎ本の直線を格子状に配列した図であり、Ｍ・Ｎ個の交点は検出すべき動きベクトルの位置を示している。以下Ｍ・Ｎ個の交点を格子点と呼び、水平、垂直方向で各々ｉ，ｊ番目の格子点を、
　格子点（ｉ，ｊ）　　（１≦ｉ≦Ｍ，１≦ｊ≦Ｎ）と呼ぶ。
　【００１８】
　この比較例において格子点位置での動きベクトルは、各格子点の周辺で複数の代表点を選び、代表点マッチングにより求める。図５（ｂ）は、図５（ａ）の格子点（ｉ，ｊ）近傍を拡大した図であり、格子点とその周辺の（２・ｍ＋１）・（２・ｎ＋１）個の代表点の位置関係を示す。以下、格子点（ｉ，ｊ）の代表点のうち、水平、垂直方向にそれぞれｋ，ｌ番目のものを、
　代表点（ｉ，ｊ，ｋ，ｌ）　（−ｍ≦ｋ≦ｍ，−ｎ≦ｌ≦ｎ）と呼ぶ。図５（ｂ）からわかるように、代表点（ｉ，ｊ，０，０）は格子点（ｉ，ｊ）に等しい。
　【００１９】
　以下に、動きベクトル検出部１５の具体的なブロック図を示した図６を用いて、動きベクトルを求める方法を説明する。
　【００２０】
　動きベクトル検出部１５の入力は映像信号であり、ｒフレームに１回（ｒ：所定数）入力されるように設定されているとする。ここで、ある時刻ｔの画像を第０フレーム目の画像とし、以後、時刻（ｔ＋τ）の画像を第（３０・τ）フレーム目の画像と呼ぶことにする。
　【００２１】
　今、第Ｒフレーム目の画像が入力されたものとする。入力画像はまず、ＢＰＦ２３においてバンドパスフィルタに通される。ここで座標位置（ｘ，ｙ）でのＢＰＦ処理後の画像の値をＩ（ｘ，ｙ）とする。
　【００２２】
　一方、代表点値記憶部２４は、ｒフレーム前すなわち第（Ｒ−ｒ）フレーム目のＢＰＦ処理後の画像の代表点の値が記憶されている。すなわち、代表点（ｉ，ｊ，ｋ，ｌ）の値
　　Ｙ（ｉ，ｊ，ｋ，ｌ）＝Ｉ（ｐｏｓ＿ｘ（ｉ，ｋ），ｐｏｓ＿ｙ（ｊ，ｌ））
　　１≦ｉ≦Ｍ，１≦ｊ≦Ｎ，−ｍ≦ｋ≦ｍ，−ｎ≦ｌ≦ｎ
　　ｐｏｓ＿ｘ（ｉ，ｋ）：代表点（ｉ，ｊ，ｋ，ｌ）のｘ座標
　　ｐｏｓ＿ｙ（ｉ，ｋ）：代表点（ｉ，ｊ，ｋ，ｌ）のｙ座標が記憶される。
　【００２３】
　マッチング部２５は、ＢＰＦ２３からＢＰＦ処理後の画像Ｉ（ｘ，ｙ）を、代表点値記憶部２４からｒフレーム前の代表点の値Ｙ（ｉ，ｊ，ｋ，ｌ）を入力し、代表点マッチングにより各格子点での動きベクトルを求める。すなわち、格子点（ｉ，ｊ）に関して、
　【００２４】
　【数１】
　【００２５】
が最小となるｇ，ｈを（２・Ｇ）・（２・Ｈ）の範囲内（−Ｇ≦ｇ≦Ｇ，−Ｈ≦ｈ≦Ｈ）で探索することにより、動きベクトル（ｇ，ｈ）が求まる。
　【００２６】
　代表点値記憶部２４の内容は、マッチング部２５の処理が終了した後、更新される。具体的には、代表点位置記憶部２６において記憶されている代表点の座標
　　ｐｏｓ＿ｘ（ｉ，ｊ，ｋ，ｌ）、ｐｏｓ＿ｙ（ｉ，ｊ，ｋ，ｌ）
　１≦ｉ≦Ｍ，１≦ｊ≦Ｎ，−ｍ≦ｋ≦ｍ，−ｎ≦ｌ≦ｎを用いて、第Ｒフレーム目のＢＰＦ処理後の画像の代表点での値を記録する。
　【００２７】
　以上のようにして、入力された画像とｒフレーム前の画像の２枚の画像から動きベクトルを求めることができる。
　【００２８】
　次に、カメラワークパラメタ推定部１６において、動きベクトルからカメラワークパラメタを推定する方法を説明する。
　【００２９】
　動画像から推定できるカメラワークは、カメラの水平、垂直方向の変化（パンニング、チルティング）、カメラ画角の変化（ズーミング）、カメラの水平・垂直・前後の位置の変化（トラッキング、ブーミング、ドリーイング）などが考えられる。本実施例では簡単のため、パンニング、チルティング、ズーミングの３種類の操作を推定する方法を説明する。
　【００３０】
　まず、上記３種類のカメラワークによって、カメラの撮像面に投影された点がどのように移動するか考える。図７はカメラの撮像面と被写体の位置関係を示す図であり、カメラの空間の３次元座標を（ｘ，ｙ，ｚ）で表し、撮像面上の２次元座標を（Ｘ，Ｙ）で表している。また、カメラの位置を３次元座標の原点とし、カメラの光軸をｚ軸とする。撮像面はｚ＝Ｆ（Ｆ：焦点距離）に位置し、被写体の任意の点の座標ｕ１＝（ｘ１，ｙ１，ｚ１）が撮像面のＵ１＝（Ｘ１，Ｙ１）に投影されることを示している。ここで被写体の座標と撮像面上の座標との関係は、
　【００３１】
　【数２】
　　Ｘ１＝Ｆ・ｘ１／ｚ１
　　Ｙ１＝Ｆ・ｙ１／ｚ１
　【００３２】
で表せる。
　図７の座標を用いて、まずズーミングによる、被写体の座標の撮像面上の移動を考える。図８（ａ）は、焦点距離の変化によって起こるズーミングを示したものである。同図のように焦点距離がＦからＦ’に変化したとき、ｕ１の被写体の投影がＵ１＝（Ｘ１，Ｙ１）からＵ２＝（Ｘ２，Ｙ２）に移動する。
　【００３３】
　ただし、（数２）からＵ２は
　　Ｕ２＝Ｕ１・Ｆ’／Ｆ＝ｆ・Ｕ１
　ただし、ｆ＝Ｆ’／Ｆを満たす。
　【００３４】
　同様にして図８（ｂ）を用いてパンニング、チルティングの場合を考える。パンニング、チルティングはそれぞれカメラをｙ軸、ｘ軸について回転する操作に等しい。同図のようにカメラがｘ軸についてθＸだけ回転した場合、被写体の空間での座標ｕ１はｕ３に移動する。ただし、ｕ３は（数３）をみたす。
　【００３５】
　【数３】
　【００３６】
　ｘに関する回転角θＸが十分小さいと仮定すると、移動後の撮像面上の座標Ｕ３＝（Ｘ３，Ｙ３）に対して（数２）の関係から
　Ｘ３＝Ｘ１、Ｙ３＝Ｙ１＋Ｆ・θＸの関係が導かれる。これを一般化すると、ｘ軸、ｙ軸に対してともに回転するカメラ操作の場合、任意の座標の操作前後の関係は
　　Ｕ３＝Ｕ１＋Ｐ
　ただし、Ｐ＝（ｐｘ，ｐｙ）
　ｐｘ、ｐｙ：ｘ軸、ｙ軸の回転成分と表すことができる。
　【００３７】
　以上のことからズーミング、パンニング、チルティングを合成した一般的なカメラ操作に対して、カメラ操作前後の座標Ｕ１＝（Ｘ１，Ｙ１）、Ｕ’＝（Ｘ’，Ｙ’）は
　Ｕ’＝ｆ・Ｕ＋Ｐを満たすことがわかる。以後ｆをズーム要素、Ｐを回転ベクトルと呼ぶ。
　【００３８】
　従って、ズーム要素と回転ベクトルを求めることにより、カメラの操作量を推定することができることがわかる。
　【００３９】
　以下に、動きベクトル検出部１５で求めた動きベクトルから、ズーム要素と回転ベクトルを推定する方法を説明する。ここで、格子点（ｉ，ｊ）に関して、位置（２次元座標）をＵｉ，ｊ、動きベクトル検出部１５で求められた動きベクトルをｖｉ，ｊとする。
　【００４０】
　今、ズーム要素ｆ、回転ベクトルＰのカメラ操作が起こったとき、格子点（ｉ，ｊ）は
　Ｕ’ｉ，ｊ（ｆ，Ｐ）＝ｆ・Ｕｉ，ｊ＋Ｐの位置に移動するはずである。従って実際に起こったカメラ操作のｆ、Ｐを推定するには、実際に移動した位置
　Ｕｒｅａｌｉ，ｊ＝Ｕｉ，ｊ＋ｖｉ，ｊとの誤差
　Ｅ（ｆ，Ｐ）＝Σ（Ｕ’ｉ，ｊ（ｆ，Ｐ）−Ｕｒｅａｌｉ，ｊ）２が最小になるようなｆ、Ｐを求めればよい。誤差Ｅはｆ、Ｐに関して２次式なので、誤差Ｅを最小とするｆ、Ｐは一意に
　【００４１】
　【数４】
　【００４２】
と決まる。ただし、＜・，・＞は内積を示す。従って、カメラワークパラメタ推定部１６では、動きベクトル検出部１５から動きベクトルｖｉ，ｊと格子点位置Ｕｉ，ｊを入力し、（数４）によってｆ，Ｐを計算することにより、ズーミング、パンニング、チルティングの各カメラワークパラメタを推定することができる。
　【００４３】
　次に被写体情報検出部１７の動作について説明する。被写体情報検出部１７はビデオカメラで被写体をトラッキングしている状態において、被写体の位置や大きさ、色などの被写体情報を抽出するものである。すなわち、カメラワーク検出部１４でパンニングを検出し、さらに動領域検出部１８で動領域を検出できた場合に対して、領域内特徴量抽出部１９で動領域から領域内の特徴量を抽出する。動領域検出部１８における動作をさらに詳述する。
　【００４４】
　動領域検出部１８には、動きベクトル検出部１５で検出した画面内のＭ・Ｎ個の格子点の動きベクトルｖｉ，ｊと、カメラワーク検出部１４で検出したパンニングによるカメラの動きベクトルＶｐが入力される。動領域検出部１８では、（数５）を満たす格子点を抽出し、抽出した格子点の連結関係にもとづいて、パンニング
　【００４５】
　【数５】
　　｜ｖｉ，ｊ−Ｖｐ｜＞ε　　　　　　　ただし、εは所定の値
　【００４６】
によるカメラの動きベクトルとは異なる領域を抽出する。領域内特徴量抽出部１９では、動領域検出部１８で検出した動領域から領域内の特徴量として、重心位置と面積と色を抽出する。
　【００４７】
　次にフォーカス情報検出部２０の動作について説明する。フォーカス情報検出部２０は画像のピンボケ状態を検出するためのもので、画像の高周波成分の量をもとにしている。すなわち、画像がレンズの焦点ずれなどでぼけた状態では映像信号の高周波成分の値が小さくなる。このため、高域通過フィルタ２１で画像の高周波成分を取り出し、平均値算出部２２で画面全体、もしくは指定領域内での高周波成分の平均値を求める構成としている。
　【００４８】
　以上のようにして映像信号を処理することによって、代表画像を抽出するための情報を獲得することができる。本実施例ではγ補正値、色温度、逆光や過順光状態、被写体光量などについては記載しなかったが、これらの情報も映像信号を処理することによって獲得することができる。代表画像を抽出するための情報を獲得した後、獲得した情報をもとに代表画像を抽出する構成と手法については静止画像抽出装置の第１の実施例と同様であり、説明は省略する。
　【００４９】
　以上説明した代表画像抽出情報を獲得する装置は、動画像記録媒体に代表画像を抽出するための情報が存在しない場合に、動画像記録媒体から読み込んだ映像信号をもとにして代表画像抽出情報を獲得するものであったが、同様にしてビデオカメラで撮影中に、撮像素子から取り込んだ映像信号をもとにして代表画像抽出情報を獲得することもできる。この場合の構成は図３と同様であり説明は省略するが、ビデオカメラに備えたセンサーによって検出可能な代表画像抽出情報が存在する場合は、映像信号から代表画像抽出情報を獲得する必要がないことはいうまでもない。さらに、ビデオカメラで撮影中に獲得した代表画像抽出情報は、映像信号とともに動画像記録媒体に記録してもよい。
　【００５０】
　次に本発明の動画像記録装置の実施例の構成を図９に示す。本実施例はビデオカメラに静止画像抽出装置を備えた構成であり、ビデオカメラで撮影中に代表画像として抽出する静止画像を決定し、動画像記録媒体に映像信号を記録するとともに抽出する静止画像の情報を記録するものである。図９で本発明の動画像記録装置２７は、カメラ操作情報獲得部２８、画像処理情報獲得部２９、撮影状態情報獲得部３０、映像信号獲得部３１、代表画像抽出情報評価部３２、静止画像情報記録部３３、映像信号記録部３４からなる。以上の構成における各部の動作について以下で詳細に説明する。
　【００５１】
　カメラ操作情報獲得部２８は、ビデオカメラで撮影した際の録画開始操作やズーム操作などの情報を獲得する部分である。録画開始操作情報は録画開始操作が行われた時点にフラグを立てて録画開始点を示す情報であり、ズーム操作情報はズーム倍率を表す情報である。録画開始操作情報もズーム操作情報もともに、ビデオカメラのボタン操作をもとに検出する。画像処理情報獲得部２９は、撮像素子で撮像した映像信号を処理した情報を獲得する部分で、例えばフォーカス制御を行うために求めた映像信号の高周波成分の周波数や大きさ、あるいはフレーム間における輝度信号や色信号の差異を求めたフレーム間差分値、あるいは映像信号から求めた被写体領域の位置や大きさなどの情報、逆光や過順光の状態、さらにはγ補正値や色温度などを抽出する。撮影状態情報獲得部３０は、カメラの撮影状態をセンサーで検出した情報を獲得する部分で、例えば角速度センサーによって検出したパンニングなどのカメラの動き情報、あるいは光量センサーによる被写体光量や絞り開度センサーで検出したレンズの絞り開度、あるいはレンズ位置検出によるフォーカス距離などを獲得する。
　【００５２】
　代表画像抽出情報評価部３２は、カメラ操作情報に含まれる録画開始操作情報を検出し、次の録画開始操作情報を検出するまでの同一カット内の各画像に対して、カメラ操作情報の中の録画開始操作情報以外の情報と画像処理情報と撮影状態情報をもとに、各画像がカットの代表画像として適当な画像であるかどうかの評価を行う。代表画像として適当であると評価された画像に関して、静止画像情報記録部３３を介して静止画像情報を記録媒体３５の静止画像情報記録媒体に記録する。なお、代表画像抽出情報評価部３２の動作については、後述の静止画像自動抽出方式の実施例で詳細に説明する。
　【００５３】
　以下では、静止画像情報記録部３３で記録する静止画像情報についてさらに説明する。静止画像情報とは、代表画像抽出情報評価部３２で代表画像として適当であると評価された静止画像そのもの、あるいは縮小などの画像処理したもの、あるいは静止画像に対応する動画像記録媒体上の格納位置情報、あるいは静止画像に対応する動画像に付与したフラグなどである。
　【００５４】
　静止画像情報が静止画像そのもの、あるいは縮小した画像の場合は、映像信号獲得部３１と映像信号記録部３４によってカメラで撮影した動画像を記録する動画像記録媒体上の記録位置とは異なる位置、あるいは動画像を記録する動画像記録媒体とは異なる記録媒体に静止画像情報である画像を記録する。たとえば動画像記録媒体がビデオテープの場合は、静止画像情報の画像だけをまとめてテープの先頭部分、もしくはテープの終端部分に記録するか、あるいはテープとは別に備えたＩＣメモリに静止画像情報だけを記録する。
　【００５５】
　静止画像情報が静止画像に対応する動画像記録媒体上の格納位置情報の場合は、映像信号獲得部３１と映像信号記録部３４によってカメラで撮影した動画像を記録する動画像記録媒体上の記録位置とは異なる位置、あるいは動画像を記録する動画像記録媒体とは異なる記録媒体に、静止画像情報である静止画像に対応する動画像記録媒体上の格納位置情報を記録する。
　【００５６】
　静止画像情報が静止画像に対応する動画像に付与したフラグの場合は、映像信号獲得部３１と映像信号記録部３４によってカメラで撮影した動画像を記録する動画像記録媒体上の記録位置と同じ位置に静止画像情報を記録する。すなわち、たとえば１フレーム単位で記録する映像信号の先頭部分に静止画像情報のフラグを記録する。
　【００５７】
　以上のようにしてビデオカメラで撮影した映像信号を動画像記録媒体に記録するとともに、撮影した動画像の中から代表画像を抽出し、代表画像の静止画像情報を記録媒体に記録する。これによって記録された静止画像情報を読みだして代表画像をディスプレイやプリンタに出力することが可能となる。
　【００５８】
　次に本発明における静止画像自動抽出方法の実施例を説明する。静止画像自動抽出方式は、図２の代表画像抽出情報評価部６および図９の代表画像抽出情報評価部３２における処理方法である。
　【００５９】
　本発明の静止画像自動抽出方法は、録画開始操作をしてから録画終了操作をするまでの間に連続して撮影された動画像の中から、代表的な画像を静止画像として自動的に抽出するものである。ここで代表的な画像とは、撮影者の意図、撮影された画像の状態、被写体の状態をもとに評価して選びだした画像をいう。
　【００６０】
　撮影者の意図は、ズームやパンなどのカメラワークに反映される。すなわち、ズームインしているときは、注目している被写体が画面に存在する場合であり、重要な画像と考えられる。また、パンしているときは、ある場面から別の場面に移動している最中であり、重要ではないと考えられる。さらに、パンしている場合でも、トラッキングしている被写体が存在する場合は、重要であると考えられる。このようにカメラワークから撮影者の意図を推定し、重要な部分を代表画像として抽出することが望ましい。
　【００６１】
　撮影された画像の状態とは、撮影時にフォーカス制御がうまく行われていない場合のぼけた画像状態や、アイリス制御が不適切な場合の過順光や逆光の状態、さらにはγ補正が不適切な場合などの状態、あるいは絞りやフォーカスの調整中の状態などをいう。これらの画像状態は、ビデオカメラでの撮影時におけるフォーカス制御やアイリス制御の情報、あるいはγ補正値をもとに判断することができる。また、フォーカス制御やアイリス制御、γ補正の情報がない場合であっても、映像信号を処理することによって求めることが可能である。これらの画像状態を評価して、代表画像としては画像状態が良好なものを抽出することが望ましい。
　【００６２】
　被写体の状態とは、撮影している被写体の位置や大きさなどの状態、撮影中にカメラの前を人が横切った場合などの障害物の存在状況、撮影中にフラッシュが光った場合などの状態、被写体にスポットライトが照射されている状態などをいう。被写体の位置や大きさに関しては、位置がカメラの中央で面積が大きいほうが望ましく、障害物は存在しない方が望ましい。また、フラッシュが光った場合の画像は代表画像として抽出しない方が望ましい。また、スポットライトが照射されている画像は注目画像であり、代表画像として抽出することが望ましい。ここで、被写体の位置や面積の検出方法に関しては第３の実施例において図３の被写体情報検出部１７で説明している。また、フラッシュや障害物の検出方法に関しては、図３のフレーム間差分値検出部１０で求めたフレーム間差分値をもとに検出可能である。すなわち、フラッシュはフレーム間差分値が急変するため、所定のしきい値をもとに検出できる。障害物の場合は、画面の中に障害物が入るときと画面から障害物が出るときにフレーム間差分値が変化するため、フレーム間差分値が所定のしきい値を越えてから、所定の時間内に再びフレーム間差分値がしきい値を越える場合は、障害物が画面内に存在するとして検出できる。また、スポットライトの照射は、被写体光量をもとに検出することができる。
　【００６３】
　以上のような代表画像を抽出するための知識に基づいて、以下では具体的な代表画像の抽出手法を説明する。本実施例の構成例を図１０に示す。図１０で３６は重み付け加算部、３７はゲート信号発生部、３８はゲート部、３９は最大値検出部である。重み付け加算部３６にはズーム倍率と被写体情報が入力され、それぞれの信号に重みを付けて加算する。ここで、被写体情報はカメラで被写体をトラッキングしているときに得られる情報で、トラッキング時の被写体の位置と大きさをもとにしている。被写体情報は、被写体位置がカメラの中心に近いほど、また被写体の面積が大きいほど大きな値になるようにする。ゲート部３８は、ゲート信号発生部３７のゲート信号をもとにスイッチのオン、オフを行う。最大値検出部３９は、ゲート部３８から入力される値の最大値を検出する。
　【００６４】
　ゲート信号発生部３７は、パン信号と映像信号の高周波成分値とフレーム間差分値などをもとにゲート信号を発生する。ゲート信号の発生方法を図１１に示す。図１１（ａ）はパン信号で、パンニング中が０で、パンしていないときが１となる信号である。（ｂ）は映像信号の高周波成分値であり、値が小さいほど画像がぼけた状態であることを意味する。（ｃ）は（ｂ）の信号をしきい値処理して２値化したものであり、しきい値以下の場合は０にしている。。（ｄ）はフレーム間差分値である。（ｅ）は（ｄ）の信号をしきい値処理し、しきい値以上の場合は０にし、さらに（ｄ）の信号がしきい値を越えてから所定時間内に再びしきい値を越えた場合は、０と０の間の区間も０にする処理を行う。すなわち、単独でフレーム間差分値が大きくなる場合は、フラッシュなどによる画像異常が発生したものと判断し、フレーム間差分値がしきい値以上である期間だけ０にする。しかし、前述したように障害物がカメラの前を通過する場合には、フレーム間差分値は複数のピークをとるため、障害物が画面の中に存在する期間はフレーム間差分値がしきい値以下であっても０にする。以上のようにして２値化した（ａ）（ｃ）（ｅ）の３信号の論理積をとることによって、ゲート信号を発生する。
　【００６５】
　以上のようにして図１０で示した構成で評価値が最大値となる画像を求めることによって、パンしている期間や画像がぼけた期間、さらにフラッシュや障害物が存在する期間を除いた中から、ズーム倍率が高く、被写体が画面中央に大きく写っている画像を代表画像として抽出することができる。なお、最大値検出部３９で最大値を検出するのは、１カット全体であっても、または１カット内の複数の区間であってもよい。
　【００６６】
　なお、図１０では重み付け加算部３６とゲート信号発生部３７とゲート部３８の構成によって複数の入力からひとつの評価値を求めているが、この構成に限ったものではなく、ファジィ推論などのルールに基づいたものや、ニューラルネットワークによって求める構成も可能である。さらに、本実施例の構成にはγ補正値や被写体光量、逆光や過順光状態、絞り開度、フォーカス距離に関する情報の処理を示さなかったが、これらの信号も同様にして利用することができる。すなわち、γ補正値や絞り開度やフォーカス距離の値が変動しているとき、また逆光や過順光状態のときには代表画像として抽出しないようにゲート信号を発生させてもよい。また、被写体光量からスポットライトが照射されていることを検出して評価値を高くするようにしてもよい。
　【００６７】
　以上説明した静止画像自動抽出方式の実施例の構成は、撮影者が撮影開始操作をしてから撮影終了操作をするまでの間に撮影された動画像のすべてに対して評価を行って代表画像を抽出しているが、撮影者が撮影開始操作をしてから所定時間経過後の画像から評価を行い、所定の条件を満足した時点の画像を代表画像として抽出する構成でもよい。以下ではこの構成の実施例について説明する。
　【００６８】
　本実施例の構成を図１２に示す。図１２で４０はタイマー、４１はゲート部、４２は評価部である。タイマー４０は、撮影開始操作が行われてからの経過時間を測定し、撮影開始から一定時間が経過した時点でゲート部４１のゲートを開くようにゲート信号を発生する。評価部４２はゲート部４１を通過したフォーカスの高周波成分値と、フレーム間差分値が条件を満足しているかどうかの評価を行う。評価部４２での条件は、フォーカスの高周波成分値が所定のしきい値以上で、かつフレーム間差分値が所定のしきい値以下であるという条件である。評価部４２では条件が満足された時点でそれ以降の評価を中止し、条件が満足された時点の静止画像を代表画像として抽出する。なお、本実施例では評価に用いた信号はフォーカスの高周波成分値とフレーム間差分値のふたつだけであるが、パンやズームなどの他の信号を用いてもよい。
　【００６９】
　さらに静止画像自動抽出方式の別の実施例の構成を説明する。本実施例の構成を図１３に示し、図１２と同一のものには同一番号を付け説明は省略する。本実施例は、撮影開始操作から撮影終了操作までの間に撮影された画像の数に一定比率を乗じた画像数から評価を行い、所定の条件を満足した時点の画像を代表画像として抽出するものである。図１３の構成では撮影開始操作から撮影終了操作までの間に撮影された画像に対し、中間フレーム以降の画像を評価するものである。このために中間フレーム検出部４３において、撮影開始操作から撮影終了操作までに撮影されたフレームの中間フレームを検出し、中間フレームを検出した時点でゲート部４１のゲートを開くようにゲート信号を発生する。ゲート部４１および評価部４２の動作は図１２の構成と同様であり、説明は省略する。
　【００７０】
　【００７１】
　【発明の効果】
　本発明の静止画像抽出装置は画像抽出情報をもとにして、動画像の中から動画像の内容を十分に表現する静止画像を代表画像として抽出することが可能となり、動画像の内容を短時間で把握することができる。
　【００７２】
　さらに、本発明の動画像記録装置はカメラで撮影した映像信号を動画像記録媒体に記録するとともに、撮影した動画像の中から代表画像を抽出し、代表画像の静止画像情報を記録媒体に記録することによって、記録された静止画像情報を読みだして代表画像をディスプレイやプリンタに高速に出力することが可能となる。
【図面の簡単な説明】
　【図１】
　本発明の一実施例における動画像記録媒体を示す図
　【図２】
　本発明の実施例の静止画像抽出装置の構成を示す図
　【図３】
　本発明の比較例の静止画像抽出装置における代表画像情報抽出装置の構成を示す図
　【図４】
　同比較例の静止画像自動抽出装置におけるフレーム間差分値検出部の他の構成を示すブロック図
　【図５】
　同比較例の静止画像自動抽出装置における動きベクトル検出部における動きベクトルを検出する格子点を説明する図
　【図６】
　同比較例の静止画像自動抽出装置における動きベクトル検出部の構成を示す図
　【図７】
　カメラの撮像面と被写体の位置関係を示す図
　【図８】
　ズーミングとチルティングでのカメラの撮像面と被写体の位置関係を示す図
　【図９】
　本発明の実施例の動画像記録装置の構成を示す図
　【図１０】
　同実施例における代表画像抽出情報評価部の構成を示す図
　【図１１】
　同代表画像抽出情報評価部におけるゲート信号発生部の動作を説明する図
　【図１２】
　同代表画像抽出情報評価部の異なる構成図
　【図１３】
　同代表画像抽出情報評価部の異なる構成図
　【符号の説明】
　１　再生信号入力部
　２、２８　カメラ操作情報獲得部
　３、２９　画像処理情報獲得部
　４、３０　撮影状態情報獲得部
　５、３１　映像信号獲得部
　６、３２　代表画像抽出情報評価部
　７　代表画像管理部
　８　代表画像記憶部
　９　出力装置
　３３　静止画像情報記録部
　３６　重み付け加算部
　３７　ゲート信号発生部
　３８、４１　ゲート部
　３９　最大値検出部
　４０　タイマー
　４２　評価部
　４３　中間フレーム検出部