(57)【特許請求の範囲】
【請求項１】
動画を取得する撮像部と、
前記動画を撮影する間に、前記動画を構成するフレーム画像の品質に関する情報を取得する選別情報取得部と、
前記選別情報取得部が取得した情報に基づき、前記動画をその品質に応じて選別するための情報である画像選別情報を生成する選別情報生成部と、
前記選別情報生成部が生成した前記画像選別情報に基づき、前記動画を構成する各フレーム画像が抽出対象となる対象静止画として適切か否かを判定する画像判定部と、
前記画像選別情報を前記動画と共に記録する記録部と、を有し、
前記画像判定部は、前記撮像部が前記動画を取得している間の撮像条件に基づき、前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として不適か否かを示す第１の判定情報を生成し、前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として適するか否かを示す第２の判定情報を生成し、
前記記録部は、前記第１及び第２の判定情報、又は前記第１及び第２の判定情報から得られる総合判定情報を前記画像選別情報の一部又は全部として前記動画と共に記録する
ことを特徴とする撮像装置。
【請求項２】
動画を撮影する間に、前記動画を構成するフレーム画像の品質に関する情報を取得する選別情報取得工程と、
前記選別情報取得工程にて取得された情報に基づき、前記動画をその品質に応じて選別するための情報である画像選別情報を生成する選別情報生成工程と、
前記選別情報生成工程にて生成された前記画像選別情報に基づき、前記動画を構成する各フレーム画像が抽出対象となる対象静止画として適切か否かを判定する画像判定工程と、
前記画像選別情報を前記動画と共に記録する記録工程と、を有し、
前記画像判定工程は、
前記動画を取得している間の撮像条件に基づき、前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として不適か否かを示す第１の判定情報を生成する工程と、
前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として適するか否かを示す第２の判定情報を生成する工程とを含み、
前記記録工程は、
前記第１及び第２の判定情報、又は前記第１及び第２の判定情報から得られる総合判定情報を前記画像選別情報の一部又は全部として前記動画と共に記録する工程を含む
ことを特徴とする画像処理方法。
【請求項３】
動画を撮影する間に、前記動画を構成するフレーム画像の品質に関する情報を取得する選別情報取得処理と、
前記選別情報取得処理にて取得された情報に基づき、前記動画をその品質に応じて選別するための情報である画像選別情報を生成する選別情報生成処理と、
前記選別情報生成処理にて生成された前記画像選別情報に基づき、前記動画を構成する各フレーム画像が抽出対象となる対象静止画として適切か否かを判定する画像判定処理と、
前記画像選別情報を前記動画と共に記録する記録処理と
をコンピュータに実行させるためのプログラムであって、
前記画像判定処理は、
前記動画を取得している間の撮像条件に基づき、前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として不適か否かを示す第１の判定情報を生成する処理と、
前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として適するか否かを示す第２の判定情報を生成する処理とを含み、
前記記録処理は、
前記第１及び第２の判定情報、又は前記第１及び第２の判定情報から得られる総合判定情報を前記画像選別情報の一部又は全部として前記動画と共に記録する処理を含む
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ等の撮影機能を有する撮像装置、並びにその撮像装置における画像処理方法及びプログラムに関し、特に、静止画や動画から所望の品質の静止画を選別するための技術に関する。
【背景技術】
【０００２】
特定の被写体が撮影された動画又は静止画を探す場合に、目視による探索は動画等の量が大量になると作業も膨大となり、現実的ではない。そこで、従来から、特定の被写体が撮影された動画等を自動的に検索する技術が提案されている。例えば、特許文献１には、多数の動画、静止画の中から、所望のオブジェクト（例えば、人物、顔、ペットなど）を含む動画あるいは静止画を検索するに先立って、各オブジェクトを検索するための情報を動画（データ）あるいは静止画（データ）に自動的に付加するようにした画像情報処理装置が開示されている。
【０００３】
この画像情報処理装置は、動画あるいは静止画に含まれる一のオブジェクトに対し、動画あるいは静止画に予め関連づけられた関連コンテンツからオブジェクトに関連する情報であるオブジェクト関連情報を抽出し、動画に対応する動画データあるいは静止画に対応する静止画データと対応づけて、抽出されたオブジェクト関連情報に対応するオブジェクト関連情報データを記憶するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１６０４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の画像情報処理装置においては、記録された動画又は静止画に対し、これらの画像に含まれるオブジェクトを検出し、オブジェクト関連情報を抽出し、抽出されたオブジェクト関連情報に対応するオブジェクト関連情報データを記憶する等の解析処理を実行しないと所望の画像を抽出することができない。すなわち、検索に先立って、記録された動画等の解析処理が必要になり、速やかな検索や画像の抽出をすることができない。
【０００６】
本発明は、このような問題点を解決するためになされたものであり、画像を撮影して記録する前までに、動画を構成するフレーム画像、又は静止画の品質に関する情報を生成しておくことで、速やかに画像の自動選別が可能な撮像装置、画像処理方法及びプログラムを提供することを目的とする。
【０００７】
また、本発明は、所望の品質を有する撮像画像を自動選別するための情報を生成することで、一定の品質を有する撮像画像を自動で取得することが可能となる可能な撮像装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、動画を取得する撮像部と、前記動画を撮影する間に、前記動画を構成するフレーム画像の品質に関する情報を取得する選別情報取得部と、前記選別情報取得部が取得した情報に基づき、前記動画をその品質に応じて選別するための情報である画像選別情報を生成する選別情報生成部と、前記選別情報生成部が生成した前記画像選別情報に基づき、前記動画を構成する各フレーム画像が抽出対象となる対象静止画として適切か否かを判定する画像判定部と、前記画像選別情報を前記動画と共に記録する記録部と、を有し、前記画像判定部は、前記撮像部が前記動画を取得している間の撮像条件に基づき、前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として不適か否かを示す第１の判定情報を生成し、前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として適するか否かを示す第２の判定情報を生成し、前記記録部は、前記第１及び第２の判定情報、又は前記第１及び第２の判定情報から得られる総合判定情報を前記画像選別情報の一部又は全部として前記動画と共に記録することを特徴とするものである。
【０００９】
本発明においては、選別情報生成部が、撮像画像である動画を構成するフレーム画像、又は静止画の品質に関する情報である画像選別情報を生成するため、動画から静止画を抽出する際に、ユーザの望む品質の画像を選別することができる。また、画像選別情報は、撮像画像を撮影している間乃至撮影した撮像画像を記録する前までに生成する。すなわち、動画データの圧縮処理前に生成されるため、例えば動画データとは別に保存すれば、圧縮動画データを伸張処理することなく自動選別することが可能となる。また、第１及び第２の判定情報を使用することで、ユーザはより品質の高いフレーム画像を絞り込むことができる。
【００２２】
本発明に係る画像処理方法は、動画を撮影する間に、前記動画を構成するフレーム画像の品質に関する情報を取得する選別情報取得工程と、前記選別情報取得工程にて取得された情報に基づき、前記動画をその品質に応じて選別するための情報である画像選別情報を生成する選別情報生成工程と、前記選別情報生成工程にて生成された前記画像選別情報に基づき、前記動画を構成する各フレーム画像が抽出対象となる対象静止画として適切か否かを判定する画像判定工程と、前記画像選別情報を前記動画と共に記録する記録工程と、を有し、前記画像判定工程は、前記動画を取得している間の撮像条件に基づき、前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として不適か否かを示す第１の判定情報を生成する工程と、前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として適するか否かを示す第２の判定情報を生成する工程とを含み、前記記録工程は、前記第１及び第２の判定情報、又は前記第１及び第２の判定情報から得られる総合判定情報を前記画像選別情報の一部又は全部として前記動画と共に記録する工程を含むことを特徴とするものである。
【００２３】
本発明に係るプログラムは、動画を撮影する間に、前記動画を構成するフレーム画像の品質に関する情報を取得する選別情報取得処理と、前記選別情報取得処理にて取得された情報に基づき、前記動画をその品質に応じて選別するための情報である画像選別情報を生成する選別情報生成処理と、前記選別情報生成処理にて生成された前記画像選別情報に基づき、前記動画を構成する各フレーム画像が抽出対象となる対象静止画として適切か否かを判定する画像判定処理と、前記画像選別情報を前記動画と共に記録する記録処理とをコンピュータに実行させるためのプログラムであって、前記画像判定処理は、前記動画を取得している間の撮像条件に基づき、前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として不適か否かを示す第１の判定情報を生成する処理と、前記動画を構成する各フレーム画像毎にそれらのフレーム画像が前記対象静止画として適するか否かを示す第２の判定情報を生成する処理とを含み、前記記録処理は、前記第１及び第２の判定情報、又は前記第１及び第２の判定情報から得られる総合判定情報を前記画像選別情報の一部又は全部として前記動画と共に記録する処理を含むことを特徴とするものである。
【発明の効果】
【００２４】
本発明によれば、画像を撮影して記録する前までに当該画像を自動選別するための情報を生成しておくことで、速やかに画像の自動選別が可能な撮像装置、画像処理方法及びプログラムを提供することができる。
【００２５】
また、本発明によれば、所望の品質を有する撮像画像を自動選別するための情報を生成することで、一定の品質を有する撮像画像を自動で取得することが可能となる可能な撮像装置、画像処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態１に係る撮像装置（デジタルビデオカメラ）１の全体構成を示すブロック図である。
【図２】本発明の実施の形態１にかかる画像選別情報付き動画データの生成方法を示すフローチャートである。
【図３】本発明の実施の形態２にかかる撮像装置を示すブロック図である。
【図４】あるフレーム画像に含まれる被写体情報を示す図である。
【図５】図４に示すフレーム画像より時間的に１枚後のフレーム画像に含まれる被写体情報を示す図である。
【図６】本発明の実施の形態２にかかる画像選別情報付き動画データの生成方法を示すフローチャートである。
【図７】本発明の実施の形態３にかかる撮像装置を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下に図面を参照しながら、本発明に係る撮像装置の好適な実施形態を説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２８】
＜本発明の実施の形態１．＞
本実施の形態においては、撮像画像である動画を構成するフレーム画像又は静止画の品質に関する情報である画像選別情報を生成し、その撮像画像に付加する等する。ここで、この画像選別情報を使用することで、典型的には、動画データから所望の品質の静止画を選別することが可能となる。
【００２９】
動画データは多数のフレーム画像から構成され、これら全フレーム画像が静止画として抽出可能であるが、例えばズーム倍率の変更中であるとか、撮影状態が不安定なタイミングのフレーム画像は、静止画として抽出するには不向きである。しかしながら、これをユーザが選別するには、ユーザが動画を再生しながら、被写体の動き等を監察して選別のタイミングを調節する必要が生じる。また、ユーザがタイミングを調整して静止画を抽出した場合であっても、撮影条件等に応じては必ずしも所望の品質の静止画を得られるとは限らない。
【００３０】
なお、本明細書において、「品質」とは、撮影条件による画質の美しさ、鮮明さ等のみならず、所望の被写体が含まれているか、被写体の大きさ・位置・向き、被写体の笑顔の度合い等、画像に含まれる被写体がユーザの望む形で写っているかも「品質」に含まれるものとする。すなわち、画像に含まれる被写体がユーザの望む形で写っていれば、品質が高いと評価できるものとする。
【００３１】
また、例えば自分の顔や家族の顔を登録しておく等し、登録した人物が映っているフレーム画像を自動的に選別又はピックアップすることができれば、ユーザによる静止画抽出処理が容易となる。更には、撮影時の撮影条件や撮影画像の被写体情報等に基づき、各フレーム画像が静止画抽出に適さないフレーム画像であるか否か、適したフレーム画像であるか否かなどが予め判断してあれば、ユーザが静止画を抽出する際の補助となり得る。
【００３２】
そこで、本実施の形態１においては、動画の撮影時に撮影条件に関する情報を取得し、これに基づき画像選別情報を生成し、動画データと共に記録する。画像選別情報を動画データと共に記録することで、動画データから静止画を抽出する際に、静止画として抽出するには品質が不十分なフレーム画像を取り除く自動選別処理を実行することができる。ここでは、本実施の形態における撮像装置の特徴的な構成を説明するのに先立ち、本発明の理解を容易とするため、先ず、本実施の形態にかかる撮像装置の全体構成について説明する。
【００３３】
図１は、本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の全体構成を示すブロック図である。撮像装置１は動画及び静止画を撮像することができる。
【００３４】
なお、本発明は、動画を撮像できるものであれば、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、その他の電子機器においても採用することができる。
【００３５】
撮像装置１は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４で構成される撮像部１００を有する。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。
【００３６】
撮像装置１を用いた撮像は以下の手順で行われる。撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
【００３７】
アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０７は、Ａ／Ｄ変換部１０６から出力された画像デジタルデータを取り込んで、バス２００を介してラインメモリ２０３やメインメモリ２０４に格納する。
【００３８】
撮像装置１が動画を撮像する場合は、Ａ／Ｄ変換部１０６から出力されたデジタル画像データはバス２００を介して、メインメモリ２０４に格納される。以下、動画のデジタル画像データを動画データと呼ぶ。
【００３９】
静止画像を取得する場合は、撮像素子１０４で取得されたデジタル画像データから任意のタイミングで静止画フレーム（フレーム画像）を取得し、ラインメモリ２０３にそのフレーム画像の一部であるフレームデータを格納し、所定の圧縮処理等を施しデジタル画像データを生成した後、メインメモリ２０４がそのデジタル画像データを格納する。
【００４０】
上記のように処理することで、撮像装置１が動画と静止画を同時に撮像する場合等に、静止画データが直接ラインメモリ２０３により圧縮処理されたのち、その圧縮後の静止画データがメインメモリ２０４に格納されるため、メインメモリ２０４へのデータの格納量を削減することができる。これにより、メインメモリ２０４のバス帯域を確保することができ、例えば、毎秒６０枚取得される静止画フレーム等の圧縮後の静止画データのメインメモリ２０４への書き込みが可能となるのである。
【００４１】
デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０４に格納されたデジタル画像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。
【００４２】
デジタル信号処理部１０８はまた、撮像素子１０４等から出力される撮像時の感度情報、例えば、ＡＧＣ（Automatic Gain Control）ゲイン又はＩＳＯ（International Organization for Standardization：国際標準化機構）感度等から、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００４３】
多重化部１０９は、メインメモリ２０４に格納されたデジタル画像データを多重化しストリームデータを生成する。
【００４４】
圧縮・伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従い、ラインメモリ２０３やメインメモリ２０４に格納されたデジタル画像データに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部４００からの指令に従い、カード型記録媒体３０２等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。
【００４５】
なお、本実施の形態の撮像装置１では、静止画データに対してはＪＰＥＧ規格に準拠した圧縮方式が、動画データに対してはＭＰＥＧ（Moving Picture Experts Group）２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。
【００４６】
音声・画像処理部２０２は、バス２００を介して中央制御部４００の指示に従い、メインメモリ２０４から読み出したデジタル画像データに所定の画像処理を施す。例えばメニュー画像やＯＳＤ画像等、各種処理のための画像データを生成し、その画像データをメインメモリ２０４から読み出されたオリジナルの画像デジタルデータに重畳させて液晶モニタ３０４に出力する。この出力によって、液晶モニタ３０４に表示される画像は各種画像データが合成されたものとなる。
【００４７】
フラッシュＲＯＭ２０５は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。メインメモリ２０４は、上述の各処理に加え、中央制御部１００の演算作業領域として使用されるとともに、各種データの一時記憶領域としても使用される。ＶＲＡＭ２０６は、表示用の画像データの一時記憶領域として使用される。
【００４８】
メディア制御部２０７は、中央制御部４００の指令に従い、カードＩ／Ｆ３０１を通じてカード型記録媒体３０２へのデータの書き込みやデータの読み出しを制御する。
【００４９】
液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばメインメモリ２０４に一時記録された画像データや各種メニュー画像等、各種画像を表示する。スピーカ３０５は、例えばメインメモリ２０４に一時記録された音声を出力する。操作部３０６は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。
【００５０】
入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal  Computer）等に接続される。
【００５１】
中央制御部４００はＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ、及びワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成され、撮像部１００等による撮像処理、液晶モニタ３０４への各種画像の表示処理、及びカード型記録媒体３０２への各種データの記録処理、並びに後述する選別情報抽出処理、選別情報生成処理、画像判定処理、及び画像自動選別処理等の全体の動作を統括的に制御する。
【００５２】
＜実施の形態１の構成詳細＞
次に、本実施の形態にかかる撮像装置の詳細に説明する。上述したように、本実施の形態においては、動画データから静止画を切り出す際に、当該静止画が所望の品質を有するか否かで自動選別を可能とするための画像選別情報を生成して撮像画像と共に記録する。この画像選別情報を使用することで、撮影した画像を自動選別することが可能となる。
【００５３】
なお、本実施の形態においては、例えば、一の動画ファイルから、一定以上の品質のフレーム画像を静止画抽出候補として自動選別することを可能とする場合について説明するが、例えば、複数の動画ファイルから、一定以上の品質のフレーム画像が一定以上含まれる動画ファイルを自動選別する場合等にも適用することができることは言うまでもない。以下の説明においては、動画データから、静止画として抽出する対象となり得るフレーム画像（対象静止画）を、キャプチャフレームともいう。
【００５４】
本実施の形態においては、中央制御部４００は、選別情報取得部４０１、選別情報生成部４０２、画像判定部４０３及び画像自動選別部４０４を有している。選別情報取得部４０１は、撮像画像である動画を構成するフレーム画像の品質に関する情報を取得する。選別情報生成部４０２は、選別情報取得部４０１が取得した情報に基づき、画像をその品質に応じて選別するための情報である画像選別情報を生成する。この選別情報生成部４０２は、撮像部１００が動画を取得している間に取得された品質に関する情報として撮像条件情報を、選別情報取得部４０１から取得して、取得した撮影条件情報に基づき、動画を構成する各フレーム画像毎に、画像選別情報を生成する。
【００５５】
ここで、選別情報取得部４０１は、撮影条件として、例えば撮影時の焦点距離情報、シャッタースピード、絞り情報、及び感度情報のいずれか１以上の情報を、フレーム画像毎又は一定間隔で取得する。焦点情報としては、上述のズームレンズ１０２の図示しないズームアクチュエータから撮像時の焦点距離情報がフレーム画像毎又は一定のタイミング毎に取得される。シャッタースピード情報としては、撮像素子１０４の備えるイメージセンサの露光期間が取得される。絞り情報としては、上述の絞り１０３の図示しない絞りアクチュエータから絞りの大きさが取得される。感度情報は、撮像素子１０４のＡＧＣゲイン等の感度の値が取得される。なお、静止画の抽出に適した情報であれば、上述の例に限定はされない。
【００５６】
選別情報生成部４０２は、選別情報取得部４０１から上記のような撮影条件情報を受け取り、これに基づき前記画像選別情報を生成する。ここで、選別情報生成部４０２は、簡単には、撮影条件情報をそのまま画像選別情報とすることができる。画像を自動選別するためには、撮影条件情報を後述するように評価する必要があるが、これは選別情報生成部４０２が行ってもよく、画像判定部４０３が行ってもよく、また、画像判定部４０３を設けない場合などにおいては、画像自動選別部４０４が行ってもよい。すなわち、画像自動選別部４０４の選別の段階前までに撮影条件情報の評価を行えばよい。
【００５７】
選別情報生成部４０２が、後述するように、例えば圧縮・伸張処理部２０１で動画データが圧縮処理されるまでに、画像選別情報を生成すれば、動画データと共に圧縮処理されることができる。また、動画データと別ファイルとすれば、圧縮処理された動画データの伸張処理をすることなく、画像選別情報が参照できるため、例えば圧縮処理された動画データを再生することなく、画像の自動選別が可能となる。
【００５８】
また、選別情報生成部４０２で撮影条件情報からそれぞれの評価値を求めておき、これを画像選別情報とし、画像判定部４０３や画像自動選別部４０４により、その評価値に基づき、各フレーム画像がキャプチャフレームとして不適か否かを判断してもよい。なお、さらに、選別情報生成部４０２により、撮影条件情報の評価値を求め、更に、キャプチャフレームとして不適か否かを判定し、この判定結果を画像選別情報としてもよい。この場合は、画像判定部４０３は不要となり、画像自動選別部４０４においての処理が高速化する。
【００５９】
画像判定部４０３は、選別情報生成部４０２が生成した画像選別情報に基づき、動画を構成する各フレーム画像の抽出すべき抽出静止画としての適否を判定する。本実施の形態においては、画像判定部４０３は、撮像条件に基づき、動画を構成する各フレーム画像毎に当該フレーム画像が抽出静止画として不適か否かを示す第１の判定情報を生成する。上述のように選別情報生成部４０２は、画像選別情報を各フレーム画像毎に生成するため、画像判定部４０３は、各フレーム画像毎に、当該フレーム画像が静止画としての抽出に耐えうる品質を有しないか否か、すなわちキャプチャフレームとして不適か否かを判断することができ、その結果である第１の判定情報を画像選別情報として動画データに付与することができる。
【００６０】
この第１の判定情報は、簡単には、当該フレーム画像が静止画として抽出するフレーム画像として不適か否かを、例えば１又は０の１ビットのフラグで表わすことができる。動画データから静止画を抽出する際に、画像自動選別部４０４により、予めこのフラグが１（静止画として抽出するフレーム画像として不適）であるフレーム画像を自動で除去することができ、ユーザには、動画データの中から、少なくとも静止画としては抽出が不向きなフレーム画像を除いたフレーム画像の中から、所望の静止画を抽出させることができる。
【００６１】
ここで、本実施の形態においては、選別情報生成部４０２で生成された画像選別情報及び画像判定部４０３で生成された第１の判定情報は、中央制御部４００から多重化部１０９に送られる。多重化部１０９は、圧縮・伸張処理部２０１が圧縮処理した動画データと共に、画像選別情報、第１の判定情報を多重化して、メディア制御部２０７に送り、カードＩ／Ｆ３０１を介してカード型記録媒体３０２へ記録する等する。
【００６２】
また、第１の判定情報を含む画像選別情報は、動画データとは別のファイル（隠しファイルであってもよい）に格納し、動画データのヘッダーを介し、当該動画データと、画像選別情報とを結びつけるようにしてもよい。或は、画像データと画像選別情報を同一ファイルに格納し、動画データのヘッダーを介し、動画データと画像選別情報を結びつけるようにしてもよい。
【００６３】
少なくとも、動画データと画像選別情報とは、時間的に結び付けられるように格納する。例えば００：０１：００〜００：０３：００はフォーカス＝合焦、焦点距離＝５．２、Ｆ＝３．０、シャッタースピード＝１／６０等のように記録してもよい。または、フレーム１２０〜１４０はフォーカス＝合唱、焦点距離＝５．２、Ｆ＝３．０、シャッタースピード=１／６０のように記録してもよい。
【００６４】
画像自動選別部４０４は、ユーザによる要請等に応じて、画像選別情報を使用して、動画を構成する各フレーム画像のうち、静止画として抽出するには不適なフレーム画像を自動的に取り除く選別処理を実行する。抽出するには不適なフレーム画像とは、撮影条件値又は撮影条件情報から算出した評価値が、当該フレーム画像が所定の品質を有していないと判断されるような値を示しているものである。撮像条件値が、所定の品質を有していないと判断される値であった場合には、自動的にそのフレーム画像を静止画抽出対象外と設定することができる。また、第１の判定情報のようなフラグを有していれば、当該フラグの値に応じて自動選別処理を行うことができ、極めて高速に選別処理を行うことが可能となる。
【００６５】
＜撮影条件情報及びその評価＞
選別情報取得部４０１は、撮影条件情報として、上述したように、撮影時の、例えば、焦点距離情報、シャッタースピード（イメージセンサの露光期間）情報、絞り（アイリス）情報、及び感度（ＡＧＣゲインまたはＩＳＯ感度）情報等のうちいずれか１つ以上を、撮像部１００よりフレーム画像毎、又は一定間隔で取得する。
【００６６】
焦点距離、シャッタースピード、絞り、感度等の撮影条件を示す各種パラメータが変動している場合、つまり、ズーム移動や照度変化等の撮影環境に変化が生じている場合は、フォーカスやゲイン、ホワイトバランス等の制御の変化中でもあり、画像の状態は不安定であるので静止画として抽出するには適したフレーム画像ではないと判断することが可能である。
【００６７】
以下、撮影条件情報の具体的な利用方法の一例について説明する。
焦点距離：
焦点距離が、フレーム画像間で一定値以上、すなわち所定の閾値以上の変動をしている場合は、ズーム中又はフォーカシング中と判別することができ、キャプチャフレームから除外することができる。
【００６８】
シャッタースピード：
シャッタースピード（イメージセンサの露光期間）が、１／６０又は１／５０より長い場合は、同一画像が数フレーム連続する。例えば、シャッタースピード１／３０の場合は２フレームごとに画像が更新される。したがって、そのような場合は、連続する画像の中から１つのフレーム画像のみをキャプチャフレームとして抽出することができ、他のフレーム画像をキャプチャフレームから除外することができる。例えば、ＮＴＳＣの１／１５シャッタの場合、「画像１、画像１、画像１、画像１、画像２、画像２、画像２、画像２、…」と４フレーム毎に画像が更新されるため、例えば、その４フレームの先頭のフレーム画像のみキャプチャフレームとし、その他のフレーム画像をキャプチャフレームから除外することができる。これにより、同一シーン（画像）のキャプチャを防止することができる。
【００６９】
絞り：
絞り（アイリス）が、フレーム間で一定値以上の変動をしている場合は、ズーム、フォーカシング等のレンズ制御の変化や、ゲイン調整、ホワイトバランス等の画像処理に変化が生じ、被写体の照度の変化やズーム動作の可能性があると判断することができる。よって、絞り（アイリス）が、フレーム間で一定値以上の変動をしている場合は、当該フレーム画像をキャプチャフレームから除外することができる。
【００７０】
感度：
感度（ＡＧＣゲインまたはＩＳＯ感度）が、フレーム間で一定値以上の変動をしている場合は、フォーカシング、絞り等のレンズ制御の変化や、ホワイトバランス等の画像処理の変化が生じ、被写体の照度の変化があると判断することができる。よって、フレーム間で一定値以上の変動をしている場合は、当該フレーム画像をキャプチャフレームから除外することができる。
【００７１】
なお、撮影条件情報は、これらの値に限らず、動画撮影時の撮影条件を判断することができるものであればよい。すなわち、静止画抽出の自動選別の際に使用できるような値であればよい。ただし、これら焦点距離、シャッタースピード、絞り及び感度のような情報は、撮影時に取得することが最も好ましい情報であり、動画撮影後に解析により取得しようとしても取得困難であったり、正確な値を得られなかったりするものである。このような、後の動画解析等により得ることができない、得ることが困難、又は得るために複雑な解析処理が必要となるような情報を、予め撮影時に取得することで、静止画抽出に不適なフレーム画像を自動選別する際に極めて有効に利用することができる。
【００７２】
また、これらの撮影条件情報は、フレーム画像毎又は一定間隔で取得されるため、フレーム画像間で焦点距離等がどのくらい変化しているかを算出することができる。したがって、選別情報生成部４０２は、各フレーム画像間での変化量を算出し、撮影条件情報と共に、又は撮影条件情報に替えて当該変化量を画像選別情報として生成してもよい。この変化量を画像選別情報とすることで、画像判定部４０３や、画像自動選別部４０４においては、上述したように、例えばある一定値以上焦点距離が変化していたら、当該フレーム画像は、ピントが合っていないと考えられ、キャプチャフレームとしては不適なフレーム画像であると瞬時に判断することができる。
【００７３】
画像判定部４０３は、撮影条件情報に基づき、各フレーム画像がキャプチャフレームに不適か否かを判定し、その結果として第１の判定情報を生成する。ここで、画像判定部４０３は、各撮影条件情報について、その撮影条件情報値又はそのフレーム画像間における変化量に対して閾値を定める等の基準を設け、各撮影条件情報のいずれか１つでも基準に満たない場合、すなわち、例えば焦点距離、シャッタースピード、絞り及び感度等においては、その変化量が所定の閾値を上回った場合に、当該フレーム画像はキャプチャフレームとしては不適である旨を示す第１の判定情報を生成することができる。
【００７４】
また、各撮影条件情報値のいずれか２以上乃至全部が閾値を上回ったら、キャプチャフレームとしては不適であると判定してもよい。さらには、ユーザが抽出したい静止画の品質を指定し、その品質を下回るようなフレーム画像を全部キャプチャフレームとしては不適であると判定してもよい。画像判定部４０３で、撮影条件情報に基づき予め画像判定しておくことで、ユーザが動画データから静止画を抽出する段階になって、画像自動選別部４０４による自動選別処理を高速化することができる。
【００７５】
一方で、画像判定部４０３を設けず、又は画像判別情報として第１の判定情報と共に撮影条件情報も記録しておくことで、画像自動選別部４０４は、画像自動選別処理に撮影条件情報を利用することができる。つまり、画像自動選別部４０４は、撮影条件情報に基づき、画像判定部４０３と同様の判定方法により、動画を構成する各フレーム画像がキャプチャフレームに適さないか否かを判定し、自動選別することができる他、例えば、ユーザが動画を構成するフレーム画像のうち３割程度は抽出対象から削減したいと考えた場合、画像自動選別部４０４が各撮影条件値の閾値を動的に変更し、キャプチャに不適と判断されるフレーム画像が全フレーム画像の３割となるように設定することができる。これにより、ユーザは撮影条件上、品質が高い所望の枚数のフレーム画像を自動選別させることができる。
【００７６】
なお、本実施の形態においては、画像判定部４０３が第１の判定情報を生成するものとして説明しているが、上述したように選別情報生成部４０２が判定機能を有するものとし、画像判定部４０３を省略してもよい。
【００７７】
＜画像選別情報付き動画データ生成方法＞
次に、本実施の形態における画像選別情報（第１の判定情報）付き動画データの生成方法について説明する。図２は、本実施の形態にかかる画像選別情報付き動画データの生成方法を示すフローチャートである。図２に示すように、ユーザが操作部３０６の図示しない録画ボタンを押したとき、動画の撮像が開始され、本処理は、中央制御部４００の統括制御によりプログラムに従い実行される。
【００７８】
上述の通り、撮像部１００及びアナログ画像信号処理部１０５を介して、動画データがメインメモリ２０４に一時記憶される（ステップＳ１０１）。
【００７９】
この間、すなわち撮影開始時から撮影終了時までの間、撮像部１００により撮影条件情報を取得し、選別情報取得部４０１には、撮像部１００より撮影条件情報が送られる（ステップＳ１０２）。そして、本実施の形態においては、選別情報生成部４０２は、選別情報取得部４０１から撮影条件情報を受け取り、これを画像選別情報とし、画像判定部４０３に送る。画像判定部４０３は、撮影条件情報の値、又は各フレーム画像間の撮影条件値の変化量等から、各フレーム画像がキャプチャフレームに不適か否かを示す第１の判定情報を生成する（ステップＳ１０３）。画像判定部４０３は、この第１の判定情報を含む画像選別情報を多重化部１０９に送り、多重化部１０９は、この画像選別情報を圧縮動画データと共に多重化し（ステップＳ１０４）、例えばカード型記録媒体３０２に、画像選別情報付き動画データとして記録する（ステップＳ１０５）。
【００８０】
＜実施の形態１の効果＞
以上、本発明の実施の形態１においては、撮影時に撮影条件情報を各フレーム画像毎等に取得することで、その撮影条件情報や、そのフレーム画像間の変化量を画像選別情報（タグ）として生成し、動画データと共に記録することができる。従って、当該動画データから静止画を抽出する際に、各フレーム画像が静止画として抽出するに足る品質を有していないか否、すなわちキャプチャフレームとして不適か否かを自動選別することができ、ユーザが所望の静止画を抽出する際に必要な時間を短縮化することができる。
【００８１】
特に従来の技術では、撮影時に取得される静止画に対しては、シャッタを押されたとき、又はシャッタを半押しされたときに、フォーカス、絞り、露光、シャッタスピード（＝センサーの露光期間）等の調整をすることができるが、再生時のキャプチャ画像に対してはそのような調整をすることはできない。よって、再生時のキャプチャにおいて、より良いシーンを特定するためには、撮影時の撮影条件がよいことが必須条件となる。しかし、すでに記録された動画データからは、正確な撮影条件情報を直接知ることができない。
【００８２】
例えば、フォーカスは、特定エリアのエッジレベルを検出することで合焦しているかを判断することができる。被写体の検出もフォーカス同様に再度検出させることで可能になる。しかし、絞り、露光、シャッタースピード、ゲイン等の相互的に関与する撮影情報は個別に抽出することが困難であり、その精度も低くなる。すなわち、再生動画から撮影情報を検出することは不可能ではないものの、検出精度が得られなかったり、処理の負荷（時間や電力）が大きくなったりする。したがって、従来は、動画データから静止画をキャプチャする場合は、ユーザがキャプチャシーンを指定する方法が一般的な方法となっている。
【００８３】
これに対し、本実施の形態においては、撮影時に撮影情報を取得し、画像選別情報として動画データと共に記録する。したがって、フレーム画像の自動選別や、静止画抽出の際にこの画像選別情報を利用すれば、当該撮影条件情報に基づき、より品質が高いフレーム画像を、記録された動画データから抽出することができ、言いかえれば、撮影時のキャプチャのように最適な撮影条件のフレーム画像を選別することができる。
【００８４】
また、画像選別情報は、動画データの圧縮処理前に取得することができるため、この動画データと共に圧縮処理することで、圧縮動画の利便性が向上する。
【００８５】
さらに、この画像選別情報を動画データと共に圧縮処理せず、又は一旦圧縮された動画データを伸張処理せずとも参照できる態様で保存することで、この画像選別情報を参照するのに動画データを伸張処理する必要がなくなり、よってユーザは、動画データを再生することなく、自動選別処理を極めて高速に実行させることができる。
【００８６】
さらに、静止画として抽出するに足る品質を有さないフレーム画像を抽出対象から除外することができるため、次に説明する、動画データの各フレーム画像に含まれる被写体の顔検出や顔認証等の識別処理において、予め本実施の形態における画像選別情報を使用してそのようなフレーム画像を除外しておけば、同一シーンの処理や静止画抽出するには品質が劣っているようなフレーム画像の処理を、処理対象から除外することができて処理速度を向上させることができる。
【００８７】
＜実施の形態１の変形例＞
ところで、本実施の形態においては、動画を構成する各フレーム画像について撮影条件情報を取得する。ここでは、上記の格納情報を利用したキャプチャ静止画データへのＥｘｉｆ（Exchangeable image file format）情報の付加について説明する。通常、静止画には、Ｅｘｉｆ情報が付加される。Ｅｘｉｆ情報には、カメラの機種や撮影時の条件情報を画像に埋め込んでいて、ビューワやフォトレタッチソフト等で応用することができる。例えば、Ｅｘｉｆ２．２ではＥｘｉｆ Ｐｒｉｎｔという規格を組み込み、撮影時の条件情報を元に自動的に最適化を行って、的確な状態でプリント出力を可能とする。プリンタによっては、撮影条件に応じて、コントラスト補正や暗部や明部の補正、ホワイトバランス補正等を行うことができる。
【００８８】
ただし、記録された動画データからキャプチャした静止画には、動画データにカメラ情報がないため、Ｅｘｉｆ情報を付加することができない。これに対し、本実施の形態においては、画像選別情報を作成するに当たり、撮影条件情報を取得する。よって、撮影条件情報を加工して画像選別情報を生成する場合でも、撮影条件情報も合わせて記録するようにすれば、これらは動画データの各フレーム単位に用意される情報であるため、キャプチャしたフレーム画像（静止画）も撮像条件情報を有する。したがって、これを利用することで、キャプチャフレームにもＥｘｉｆ情報を付加することが可能となる。
【００８９】
＜本発明の実施の形態２．＞
次に、本発明の実施の形態２について説明する。上述の実施の形態１は、画像選別情報として撮影条件情報を使用するものであったが、本実施の形態においては、画像選別情報として、画像内に含まれる被写体の情報を使用する場合について説明する。
【００９０】
本実施の形態にかかる撮像装置の構成は、図１に示す実施の形態１の構成と同様であるが、中央制御部４１０における選別情報取得部４１１、選別情報生成部４１２、画像判定部４１３、画像自動選別部４１４が、それぞれ被写体情報に基づき機能する点が実施の形態１と異なる。
【００９１】
なお、実施の形態においても、動画データから静止画を抽出する際の自動選別を可能とするための画像選別情報を生成して撮像画像と共に記録する撮像装置について説明する。つまり、本実施の形態にかかる撮像装置を、一の動画ファイルから、一定以上の基準を満たすフレーム画像を静止画抽出候補として自動選別することを可能とする場合について説明するが、複数の動画ファイルから、一定以上の基準を満たすフレーム画像が一定以上含まれる動画ファイルを自動選別する場合等や、複数の静止画から一定以上の基準を満たす静止画を自動選別する場合にも適用することができることは言うまでもない。
【００９２】
図３は、本発明の実施の形態２にかかる撮像装置を示すブロック図である。図３に示すように、中央制御部４１０は、選別情報生成部４１２、画像判定部４１３、画像自動選別部４１４、及び登録画像ＤＢ４１５を有する。
【００９３】
本実施の形態における選別情報取得部４１１は、動画データに含まれる被写体を、動画を構成するフレーム画像の品質に関する情報として検出し、登録画像ＤＢ４１５の登録画像のいずれに一致するか否かを検出する。そして、一致した被写体があった場合には、その登録画像に一致した被写体の数、大きさ、角度若しくは方角、画面上の位置、及び笑顔レベルのいずれか１以上を検出する。この被写体情報は、動画を撮影する間に取得される。
【００９４】
ここで、本明細書における「動画を撮影する間」とは、撮影開始時から動画データ（生データ）がメインメモリ２０４に書き込まれ、これが読み出されて圧縮・伸張処理部２０１で圧縮処理される前までを意味する。動画データは圧縮処理されると、伸張処理しない限り、被写体に関する情報を得ることができないが、本実施の形態においては、フレーム画像の品質の良否判定に使用可能な被写体に関する情報を、圧縮処理される前までに取得しておく。これにより、もし動画が圧縮処理されても、この被写体に関する情報を評価し、フレーム画像の良否を判断することができ、すなわち、動画データを伸張処理することなく、フレーム画像の自動選別が可能となる。
【００９５】
選別情報生成部４１２は選別情報取得部４１１が検出した被写体に関する情報に基づき、当該動画を構成する各フレーム画像毎に画像選別情報を生成する。具体的には、選別情報生成部４１２は、登録画像に一致した被写体の数、大きさ、角度若しくは方角、画面上の位置、及び笑顔レベルのいずれか１以上の検出結果、この検出結果をランク付けした優先度、及びその被写体が一致した登録画像に設定される優先度のいずれか１以上を、フレーム画像毎又は一定間隔毎に取得し、その取得結果に基づき画像選別情報を生成する。この画像選別情報も、動画データと別ファイルとすれば、動画データが圧縮処理された後であっても、この画像選別情報のみを読み出し、画像の僭越処理を行うことができる。
【００９６】
そして、本実施の形態においては、登録画像ＤＢ４１５を有する。登録画像ＤＢ４１５は、登録画像が登録された画像データベースであるが、例えば、本人や家族、友達等の画像をＩＤ（識別番号）別に登録画像として登録しておくことができる。
【００９７】
そして、選別情報取得部４１１が、フレーム画像に含まれる被写体が、登録画像のいずれに一致するか否かを検出する。そして、フレーム画像に含まれる被写体が登録画像に一致した場合、登録画像に一致した被写体の数、大きさ、角度若しくは方角、画面上の位置、及び笑顔レベルのいずれか１以上を検出する。選別情報生成部４１２は、その検出結果、この検出結果をランク付けした優先度、及び被写体が一致した登録画像に設定される優先度のいずれか１以上を、フレーム画像毎又は一定間隔で取得し、当該取得結果に基づき画像選別情報を生成する。
【００９８】
画像判定部４１３は、画像判定部４０３と同様に、選別情報生成部４１２により生成された画像選別情報に基づき、動画を構成する各フレーム画像がキャプチャフレームとしての品質を有するか否かを判定する。ここで、画像判定部４１３は、被写体に関する情報に基づき生成された画像選別情報を使用し、各フレーム画像がキャプチャフレームとして適しているか否かを判定する。実施の形態１では、キャプチャフレームとして不適か否かを判定したのに対し、本実施の形態においては、適しているか否かを判定する。
【００９９】
すなわち、本実施の形態においては、画像選別情報として被写体に関する情報を使用する。よって、ユーザが取りたいと思っている所望の被写体が所望の大きさ、位置で撮影されていると判断できる場合は、当該フレーム画像はキャプチャフレームとして適していると判断することができるのである。よって、画像判定部４１３は、このような画像選別情報に基づき、各フレーム画像について、当該フレーム画像がキャプチャフレームに適しているか否かを示す第２の判断情報（フラグ等）を生成する。
【０１００】
選別情報生成部４１２が生成した画像選別情報や画像判定部４１３が生成した第２の判定情報は、多重化部１０９に送られ、圧縮・伸張処理部２０１にて圧縮処理された動画データと共に多重化され、カード型記録媒体３０２等に記録される。
【０１０１】
画像自動選別部４１４は、記録後の動画データから静止画抽出に好ましいフレーム画像のみを自動選別する。本実施の形態においては、動画データは、第２の判定情報を含む画像選別情報を有するため、当該画像選別情報に基づき自動選別が可能である。例えば、ユーザがある動画データについて静止画抽出を行いたい場合に、その静止画抽出に先立ち、画像自動選別部４１４は、動画データから画像選別情報を読み出し、全フレーム画像のうち、例えば、第２の判定情報を参照して、キャプチャフレームとして適すると判断されるフレーム画像のみ自動選別する。または、ユーザが例えば１０分の動画データから、１００枚のフレームを自動選別したい場合には、画像選別情報を参照し、最適と判断されるフレーム画像１００枚を自動で選別することができる。ユーザは例えば選ばれた１００枚のフレーム画像から更に所望の１０枚のフレーム画像を抽出したりすることができる。
【０１０２】
＜被写体に関する情報＞
次に、被写体に関する情報について詳細に説明する。
登録画像：
事前に登録された登録画像には、登録画像毎にＩＤを有する。このＩＤ（識別情報）には、優先度を設定しておいてもよい。そして、撮影時に顔認証等の認証処理により、登録画像が検出されたら、その登録ＩＤ自体を、画像選別情報とすることも可能である。なお、本実施の形態においては、各フレーム画像毎に被写体の検出を行うものとして説明するが、所定間隔毎に行うようにしてもよい。また、本実施の形態においては、予め登録画像ＤＢ４１５を有するものとして説明するが、例えば、検出された被写体毎に順に自動的にＩＤを付して自動的に登録画像ＤＢを生成するようにしてもよい。その場合は、最も検出率が高い順に優先度を選定したり、ある程度の数の登録画像ＤＢが生成されたら、ユーザが各登録画像について優先度を設定するようにしてもよい。
【０１０３】
被写体の検出結数：
各フレーム画像において検出された被写体が登録画像に一致した数を記録する。なお、本実施の形態においては、登録画像に一致した被写体の数のみをカウントするものとして説明するが、登録されていない被写体が検出された場合もこれをカウントするようにしてもよい。この場合、登録されている被写体と、未登録との被写体とを区別するようにしてもよい。
【０１０４】
被写体の大きさ：
各フレーム画像において検出された被写体が登録画像に一致した場合、その画面に占める大きさ、例えばピクセル数を記録する。
【０１０５】
被写体の角度、方向：
各フレーム画像において検出された被写体が登録画像に一致した場合、その角度、方向を記録する。なお、一般的の顔検出処理において、登録された顔情報と動画データ内に含まれる対象物との照合や顔の方向を検知する技術は周知であるのでここではその詳細は説明しないが、一般的には顔の輪郭、目や鼻、口等の器官情報の位置や形から特徴を抽出し、一致する画像を検索する。そして、一定レベルの一致があれば、検出と判断する。被写体の顔の向きについても、同様の方法で顔の輪郭、目や鼻、口等の器官情報の位置や形から方向を検出する。
【０１０６】
被写体の位置：
各フレーム画像において検出された被写体が登録画像に一致した場合、その画面内での位置を記録する。
【０１０７】
被写体の笑顔レベル：
各フレーム画像において検出された被写体が登録画像に一致した場合、その笑顔レベルを記録する。
【０１０８】
被写体のピント：
各フレーム画像において検出された被写体が登録画像に一致した場合、その被写体の周辺のエッジレベルを検出し、フォーカスが合っているかを判定することができる。
【０１０９】
被写体の動きベクトル：
各フレーム画像において検出された被写体が登録画像に一致した場合、その被写体の動きベクトルを検出し、その動きの大きさに応じて各フレーム画像を評価する。
【０１１０】
検出結果の優先度：
各フレーム画像について、各検出結果の優先度を記録する。優先度とは、上記の検出結果をランク付けしたものを使用することができる。つまり、例えば、被写体の検出数、大きさ、角度・方角、位置、笑顔レベル、ピント、動きベクトルをこの順等で優先順位を設定する。
【０１１１】
各フレーム画像について各被写体情報を抽出し、それらの被写体についてそれぞれサイズ、位置、優先度、動きベクトル等の情報を取得するが、この場合、優先度に応じて必要な情報のみ取得するようにしてもよい。例えば、画面内に被写体が１００人含まれていた場合であっても、すべてに顔枠や名前、笑顔レベル等の認証処理をする必要性は低い。このため、優先度を用いて上位から一定数処理を実行する。画像選別情報として格納する情報も上位から一定数とすることができる。
【０１１２】
＜動画データにおける被写体情報＞
次に、フレーム画像間での被写体追従方法について説明する。図４及び図５は、それぞれ表１及び表２を示す図である。あるフレーム画像１において図４に示す表１のような検出結果が得られた場合について説明する。ここでの被写体とは、画像判定部４１３に登録されている登録画像との一致が検出されたものをいう。被写体の検出結果順にＮｏ.１、Ｎｏ.２、Ｎｏ.３、…、Ｎｏ.１０と番号を付す。この番号に、被写体の登録画像ＩＤ、大きさ、角度・方向、位置、笑顔レベル、優先度をリンクさせる。そして、次のフレーム画像２の検出結果は図５に示す表２のようになったとする。
【０１１３】
上記のように表２においては、Ｎｏ.４、Ｎｏ.６、Ｎｏ.７がフレーム画像２で消失し、Ｎｏ.８、Ｎｏ.９が追加されていることを示している。これは、Ｎｏ.４、Ｎｏ.６、Ｎｏ.７の被写体が、画面からいなくなり、逆にＮｏ.８、Ｎｏ.９の被写体が、画面内に新たに加わったことを示す。よって、Ｎｏ.１、Ｎｏ.２、Ｎｏ.３、Ｎｏ.５は双方のフレーム画像に存在するため、被写体の追従を行う。このような追従、情報整理を常に行うことで、顔検出枠を表示したり、顔にフォーカスを合わせたり、追従する被写体を判別ししたりすることができる。なお、このような追従動作は、撮影時に通常行われているものであり、よってこのような追従記録を、画像選別情報として、撮影時乃至動画の記録までに取得することは可能である。
【０１１４】
＜画像選別情報の評価方法＞
次に、上述のようにして検出した被写体情報（タグ）の利用方法又は評価方法について説明する。
【０１１５】
登録画像との照合
被写体は、登録画像ＤＢ４１５に含まれる登録画像との一致が検出されている。この登録画像は、それぞれＩＤを有する。この場合、例えばユーザが指定したＩＤを有するフレーム画像を、キャプチャフレームとして抽出することが可能となる。ここで、登録画像は、ユーザ等の顔画像にとどまらず、ペット等の動物を登録画像とすることも可能である。また、必要に応じて、ユーザの愛車などの物体を登録画像として設定することも可能である。
【０１１６】
被写体の大きさの評価
ユーザに指定された登録画像ＩＤに一致する被写体の大きさが一定以上である場合、当該フレーム画像は、キャプチャフレームとして適したフレーム画像と判断する。
【０１１７】
被写体の角度、方向の評価
ユーザに指定された登録画像ＩＤに一致する被写体の角度、方向が一定範囲内である場合、当該フレーム画像は、キャプチャフレームとして適したフレーム画像と判断する。
【０１１８】
笑顔の評価
ユーザに指定された登録画像ＩＤに一致する被写体の笑顔レベルが一定レベル以上である場合、キャプチャフレームとして適したフレーム画像と判断する。また、例えば、集合写真等、フレーム画像内に、ユーザに指定された登録画像ＩＤに一致する被写体が複数存在する場合、各被写体の笑顔レベルの平均値が一定レベル以上であれば、当該フレーム画像は、キャプチャフレームとして適したフレーム画像と判断する。なお、集合写真であっても、特定の被写体の笑顔レベルのみに注目するようにしてもよい。
【０１１９】
被写体の動きの評価
連続するフレーム画像において、上述の表１及び表２に示したように、追従可能な被写体の場合、各種情報も連続的に取得できる。したがって、例えば、位置情報に注目し、被写体の動きを把握して、動き量が一定範囲内である場合にのみ、当該フレーム画像をキャプチャフレームとして適したフレーム画像と判断する。
【０１２０】
画像判定部４１３は、例えば、これらのうち、１つでもキャプチャフレームとして適したフレーム画像と判断された場合には、キャプチャフレームとして適していることを示す値（例えば１）を第２の判定情報に設定することができる。このように、第２の判定情報を付与することで、画像自動選別部４１４は、即座にキャプチャフレームとして抽出すべきか否かを判断して自動選別することができる。
【０１２１】
また、画像判定部４１３を設けない場合に、選別情報生成部４１２が、被写体の検出数、大きさ、角度・方角、位置、笑顔レベル、ピント、動きベクトル等の値を画像選別情報とした場合は、各フレーム画像がこれらの情報を画像選別情報として有するものとなる。この場合は、画像自動選別部４１４が、画像選別情報に含まれる各値を適宜評価し、いずれか１つでもキャプチャフレームとして合格のフレーム画像があれば、抽出候補として当該フレーム画像を抽出することもできるし、評価結果を優先度等に応じて重みづけして、総合的に勘案し、キャプチャフレームとして適するか否かを評価してもよい。
【０１２２】
画像判定部４１３により事前に判定しておくことで、画像自動選別部４１４での自動選別を高速に実行することができる。一方で、画像自動選別部４１４で画像選別情報に基づき選別処理を行わせる場合には、例えば、ユーザが優先順等を変更することもでき、また、自動選別するフレーム画像の枚数も、評価結果に応じて動的に変更することができる。
【０１２３】
画像自動選別部４１４の自動選別方法の一例について説明する。画像自動選別部４１４は、画像選別情報に含まれる被写体の検出数に応じて点数を設定する。被写体検出数が１であれば、１０点、２であれば３０点等とする。被写体の大きさについても同様で、画面の５％未満の大きさであれば、１０点、画面の５乃至１０％の大きさであれば２０点等である。角度・方角についても、正面を向いていると判断できれば１００点、横向きであれば３０点などとする。笑顔レベルは、０乃至１００％で算出されるものであれば、その値をそのまま得点とする。
【０１２４】
次に、これらの得点を各検出結果に設定された優先度に応じて重みづけして、各フレーム画像について合計点を算出する。そして、各合計点を１００点満点で換算しなおし、これを評価基準とする。なお、ここまで算出した結果を画像選別情報としてもよい。画像自動選別部４１４は、この１００点満点の評価基準を使用し、例えば７０点以上のフレーム画像については、キャプチャフレームとして適している等と判定する。もしくは、ユーザが最適なフレーム画像を１００枚抽出するよう指示した場合は、この評価値の高い順に１００枚のフレーム画像を自動選別することができる。
【０１２５】
なお、例えば被写体の大きさが一定以下である場合、被写体の動きベクトルが一定以上大きい場合、被写体のエッジレベルが一定以上小さい場合などに、静止画として抽出すべきフレーム画像としては不適であると判断されるものについては、これらの評価値を−１０００点などとすることで、当該フレーム画像の点数が上記の場合であれば、７０点を超えないような値に設定し、キャプチャフレームとして選別されないようにすることも可能である。
【０１２６】
＜画像選別情報付き動画データ生成方法＞
次に、本実施の形態における画像選別情報（第２の判定情報）付き動画データの生成方法について説明する。図６は、本実施の形態にかかる画像選別情報付き動画データの生成方法を示すフローチャートである。図６に示すように、ユーザが操作部３０６の図示しない録画ボタンを押したとき、動画の撮像が開始され、本処理は、中央制御部４００の統括制御によりプログラムに従い実行される。
【０１２７】
上述の通り、アナログ画像信号処理部１０５を介して、動画データがメインメモリ２０４に一時記憶される（ステップＳ２０１）。
【０１２８】
選別情報取得部４１１は、メインメモリ２０４に格納された動画データを読み出し、解析して、被写体情報を入手する（ステップＳ２０２）。なお、被写体の顔検出処理は、例えば、顔検出部を別途有する場合は、そこで処理した結果を選別情報生成部４１２が受け取るようにしてもよい。
【０１２９】
選別情報生成部４１２は、被写体の情報から画像選別情報を生成する。選別情報生成部４１２は、被写体の検出数、大きさ、角度・方角、位置、笑顔レベル、ピント、動きベクトル等の情報を取得したら、これらの情報を上述のような評価基準に従って、例えば１００点満点の評価値に換算し、これを画像選別情報とする（ステップＳ２０３）。
【０１３０】
画像判定部４１３は、選別情報生成部４１２から受け取った画像選別情報に基づき、各フレーム画像がキャプチャフレームに適しているか否かを示す第２の判定情報を生成する（ステップＳ２０４）。例えば、各フレーム画像の１００点満点の評価値を画像選別情報として受け取ると、例えば７０点以上の評価値のフレーム画像は１、６９点以下の評価値のフレーム画像は０等に設定した第２の判定情報を生成する。
【０１３１】
画像判定部４１３は、第２の判定情報を含む画像選別情報を多重化部１０９に送り、圧縮動画データと共に多重化し（ステップＳ２０５）、例えばカード型記録媒体３０２に、画像選別情報付き動画データとして記録する（ステップＳ２０６）。
【０１３２】
＜実施の形態２の効果＞
以上、本発明の実施の形態２においては、動画を構成する各フレーム画像から被写体に関する情報を取得し、これに基づき画像選別情報を生成して動画データに付与する。これにより、例えば画像自動選別部４１４により、キャプチャフレームとして適したフレーム画像のみを抽出することが可能となる。
【０１３３】
また、ユーザの指定した登録ＩＤの被写体が移っているフレーム画像のみ抽出するというようなことも可能となる。すなわち、動画データからユーザがキャプチャのタイミングを指示しなくても、自動キャプチャすることが可能となる。
【０１３４】
さらに、被写体の検出数、大きさ、角度・方角、位置、笑顔レベル、ピント、動きベクトル等の情報の評価対象の被写体情報のそれぞれに優先度を設定することで、自動キャプチャの際に、１つの動画データからの最大キャプチャ枚数を指定すること等ができる。すなわち、抽出されたキャプチャフレームの優先度に基づき、上位レベルのフレーム画像から抽出することが可能となる。
【０１３５】
さらにまた、動画再生時は、画像選別情報から顔や人物、動物、物体の情報を取得し、指定された被写体のフレーム画像のみを表示したり、指定されたフレーム画像で一時停止したりすることで、ユーザに静止画キャプチャを促すこともできる。また、指定された被写体を検索することで、関連するシーンを自動的に再生、キャプチャすることができる。
【０１３６】
また、静止画キャプチャのみならず、各動画データは、それを構成するフレーム画像毎に画像選別情報を有しているため、これを参照して、動画データ自体の評価を行うことができ、例えば、複数の動画ファイルの中から、指定した登録画像の被写体を有するフレーム画像を最も多く含む動画ファイルを抽出することも可能である。
【０１３７】
さらに、本実施の形態においては、動画ファイルについて、被写体情報から画像選別情報を生成するものとして説明したが、静止画ファイルについても同様に行うことができる。つまり、静止画についても、各静止画の被写体情報を抽出し、画像選別情報を付加して記録しておけば、ユーザは全静止画を再生することなく、所望の静止画を抽出することが可能となる。
【０１３８】
さらにまた、これらの被写体情報は、動画データであっても静止画データであっても、圧縮して記録された後は、伸張処理しないと検出できない情報である。よって、画像選別情報は、伸張処理しなくても読み出せる場所に記録しておくことで、動画データ又は静止画データを例えば再生などの伸張処理することなく、所望の静止画を自動選別することができるので、自動選別処理を高速化することができる。
【０１３９】
＜実施の形態２の変形例＞
ここで、本実施の形態の変形例について説明する。従来は、再生する動画ファイルのビットレートによらず、固定のビットレートで静止画キャプチャ処理を行っている。このため、キャプチャした静止画の画質は、再生する動画ファイルのビットレートに依存するものとなっていた。
【０１４０】
これに対し、本変形例においては、再生する動画ファイルのビットレートに関する情報を画像選別情報として取得し、この情報に応じて最適なキャプチャ処理を行うものである。そこで、本実施の形態においては、メディア制御部２０７によって、カード型記録媒体３０２等の記録メディアに格納されている動画データのビットレート情報に関する情報を取得し、キャプチャの際は、最適な量子化パラメータを設定する。すなわち、キャプチャを行う際、記録されている動画ファイルからビットレートに関する情報を取得し、最適な量子化パラメータ設定することでより適した静止画を記録する。
【０１４１】
または、圧縮・伸張処理部２０１で動画データを圧縮処理する際、そのビットレートに関する情報を選別情報生成部４０２に送り、選別情報生成部４０２は、これを画像選別情報に含め、多重化部１０９に送り、圧縮された動画データとも多重化するようにしてもよい。また、上述したように、画像選別情報が、圧縮動画ファイルとは異なるファイルとして保存されるようにしてもよい。
【０１４２】
このように、画像選別情報に動画データの圧縮時のビットレートに関する情報を含めることで、動画圧縮時のビットレートが高ければＪＰＥＧ（Joint Photographic Experts Group）エンコード時の量子化パラメータ（ＪＰＥＧエンコードの精度）も高く、動画圧縮時のビットレートが低ければＪＰＥＧエンコード時の量子化パラメータも低くなるよう制御することができる。これによって、記録静止画の画質が最適化され、静止画ファイルのデータ量も最適に抑えることができる。
【０１４３】
例えば、６４０×３６０を１９２０×１０８０でキャプチャするような、画像拡大を行った後にキャプチャする場合は、超解像度処理等を施さない限り、実解像度（空間周波数）は１９２０×１０８０ではなく６４０×３６０のままとなる。このため、ＪＰＥＧエンコード時の量子化パラメータを低くすることも可能であり、記録動画サイズによっても最適化を行うことができる。
【０１４４】
すなわち、ＪＰＥＧエンコードは全て高精度で行うことも可能であるが、ユーザは、通常、画質の違いを認知することが困難である。よって、全ての静止画を高ビットレートでエンコードすることは、静止画ファイルのデータ量の増大に繋がり、記録枚数の低下をまねく。したがって、本変形例においては、動画記録時のビットレートと記録動画サイズに関する情報を画像選別情報に含めることで、最適なＪＰＥＧエンコード時の量子化パラメータを制御することができ、記録静止画の画質向上を図ることができる。
【０１４５】
＜本発明の実施の形態３.＞
次に、本発明の実施の形態３について説明する。上述の実施の形態２においては、被写体がユーザの所望の位置、大きさ等で写っていれば、品質がよいと判断し、これを抽出するようにしている。ところで、このように被写体的には、品質がよい、と判断することができる画像の中にも、上述の実施の形態１で説明したように、撮影条件的には、品質がよくないものも存在しうる。この場合は、そのようなフレーム画像はキャプチャフレームとしては、不適と判断されるべきである。そこで、本発明の実施の形態３においては、実施の形態１で使用した撮影条件情報に基づく第１の判断情報と、被写体に関する情報に基づく第２に判断情報を使用することで、キャプチャフレームとしてより確実なフレーム画像を自動選別する。
【０１４６】
図７は、本実施の形態にかかる撮像装置を示すブロック図である。中央制御部４２０は、選別情報生成部４２１、画像判定部４２２、画像自動選別部４２３、及び登録画像ＤＢ４２４を有する。また、選別情報生成部４２１は、撮影条件情報取得部４３１及び被写体情報取得部４３２を有し、画像判定部４２２は、撮影条件情報判定部４４１及び被写体情報判定部４４２を有する。
【０１４７】
撮影条件情報取得部４３１は、選別情報生成部４２１内に形成されているが、実施の形態１における選別情報生成部４０２と同様の働きをする。すなわち、撮影条件情報取得部４３１は、撮像部１００が動画を取得している間の撮像条件情報を取得し、選別情報生成部４２１は、取得された撮影条件情報に基づき、動画を構成する各フレーム画像毎に、撮影条件情報に基づく第１の画像選別情報を生成する。
【０１４８】
また、被写体情報取得部４３２は、選別情報生成部４２１内に形成されているが、実施の形態２における選別情報生成部４１２と同様の働きをする。すなわち、被写体情報取得部４３２は、撮影した動画を構成する各フレーム画像に含まれる被写体情報を取得し、選別情報生成部４２１は、取得された被写体が、登録画像ＤＢ４２４に登録されている登録画像のいずれに一致するか否かを検出する。そして、フレーム画像に含まれる被写体が登録画像に一致した場合、登録画像に一致した被写体の数、大きさ、角度若しくは方角、画面上の位置、及び笑顔レベルのいずれか１以上を検出した検出結果、当該検出結果をランク付けした優先度、及び当該被写体が一致した登録画像に設定される優先度のいずれか１以上を、フレーム画像毎又は一定間隔で取得し、当該取得結果に基づき、被写体情報に基づく第２の画像選別情報を生成する。
【０１４９】
画像判定部４２２の撮影条件情報判定部４４１は、選別情報生成部４２１が生成した第１の画像選別情報に基づき、動画を構成する各フレーム画像の抽出すべき抽出静止画としての適否を判定する。そして、撮影条件情報判定部４４１は、撮像条件に基づき、動画を構成する各フレーム画像毎に当該フレーム画像が抽出静止画として不適か否かを示す第１の判定情報を生成する。上述のように選別情報生成部４２１は、第１の画像選別情報を各フレーム画像毎に生成するため、撮影条件情報判定部４４１は、各フレーム画像毎に、当該フレーム画像が静止画としての抽出に耐えうる品質を有しないか否かを判断することができ、その結果として第１の判定情報を生成する。
【０１５０】
画像判定部４２２の被写体情報判定部４４２は、画像判定部４１３と同様に、選別情報生成部４２１により生成された第２の画像選別情報に基づき、動画を構成する各フレーム画像がキャプチャフレームとしての品質を有するか否かを判定する。ここで、被写体情報判定部４４２は、被写体に関する情報に基づき生成された第２の画像選別情報を使用し、各フレーム画像がキャプチャフレームとして適しているか否かを判定する。被写体情報判定部４４２は、第２の画像選別情報に基づき、各フレーム画像について、当該フレーム画像がキャプチャフレームに適しているか否かを示す第２の判断情報を生成する。
【０１５１】
ここで、本実施の形態における画像判定部４２２は、被写体情報判定部４４２が生成した第１の判定情報により、キャプチャには不適とされたフレーム画像を除き、残されたフレーム画像において、被写体情報判定部４４２が生成した第２の判定情報によりキャプチャに適しているとされたフレーム画像を、キャプチャすることが最も好ましいと判断する第３の判定情報を生成する。画像判定部４２２は、第１乃至第３の判定情報を、第１及び第２の画像識別情報と共に多重化部１０９に送る。
【０１５２】
多重化部１０９は、圧縮・伸張処理部２０１にて圧縮処理された動画データに、第１乃至第３の判定情報を含む第１及び第２の画像識別情報を多重化し、カード型記録媒体３０２等に記録する。
【０１５３】
画像自動選別部４２３は、ユーザが動画データから静止画を抽出する場合等、ユーザの要請に応じて、静止画抽出に好ましいフレーム画像のみを自動選別する。本実施の形態においては、動画データは、第１乃至第３の判定情報を含む画像選別情報を有するため、当該画像選別情報に基づき自動選別が可能である。例えば、ユーザが、ある動画データについて静止画抽出を行いたい場合に、その静止画抽出に先立ち、画像自動選別部４１４は、動画データから画像選別情報を読み出し、全フレーム画像のうち、例えば、第３の判定情報を参照して、キャプチャフレームとして最適と判断されるフレーム画像のみ自動選別する。
【０１５４】
ここで、例えば画像判定部４２２を有していない場合は、撮影条件情報に基づき生成された第１の画像選別情報、及び被写体情報に基づき生成された第２の画像選別情報が、動画データと共に記録されることとなる。なお、上述したように、画像選別情報をどのような形式で記録するか、すなわち、動画データと同一のファイルとするか、別ファイルとするかは限定されない。ただし、圧縮後の動画データから第１及び第２の画像選別情報を、動画データの伸張処理をすることなく読み出せる箇所に保存しておくと、画像自動選別部４２３は、動画データの各フレーム画像に対応する画像選別情報を参照して、フレーム画像の自動選別を行うことができる。この場合、動画データは再生等の伸張処理をする必要がないため、極めて高速にフレーム画像の選別を実行することができる。
【０１５５】
画像自動選別部４２３における選別は、画像判定部４２２の撮影条件情報判定部４４１や被写体情報判定部４４２等と同様の処理となる。予め決められた基準値にしたがって、第１の画像選別情報に基づき、キャプチャフレームとして不適のフレーム画像を排除し、更に第２の画像選別情報に基づき、選別されたフレーム画像の中からさらにキャプチャフレームとして適しているフレーム画像のみを選別することができる。このとき、上述したように、各評価データに対する閾値を動的に変化させ、ユーザの要望に沿った選別を実行させることも可能である。また、ユーザの要望に応じて、第１の画像選別情報のみ、又は第２の画像選別情報のみを、画像選別に使用してもよいことは言うまでもない。
【０１５６】
＜実施の形態３の効果＞
本実施の形態においては、撮影条件及び被写体に関する情報からキャプチャに適したフレーム画像を選別することができるため、上述の実施の形態１及び２よりもさらに細かい選別を行うことができる。したがって、ユーザが指定した被写体が写っているフレーム画像であって、撮影条件がよいフレーム画像のみ抽出すること等が可能となる。
【０１５７】
また、第１の画像選別情報は、本来、再生時には復元不可能な撮影時のレンズ情報や画像処理情報を有しているため、撮影条件がよいフレーム画像のみを抽出することができるうえ、予め生成してある第２の画像選別情報を利用してキャプチャシーンを特定することで、再生処理又はキャプチャシーンの特定における処理時間を大幅に削減することができる。
【０１５８】
また、動画データについて画像選別情報を生成することで、フレーム毎又は一定間隔で撮影条件及び被写体情報を取得するため、時間的な連続性を有する画像選別情報というタグを付加することができる。ことによって、キャプチャに指摘の撮影条件時のフレーム画像を抽出でき、かつ被写体の変化や動きを把握しつつ、キャプチャに最適なフレーム画像を選別することができる。
【０１５９】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１６０】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【０１６１】
１  撮像装置
１００  撮像部
１０１  ズームレンズ
１０２  フォーカスレンズ
１０３  絞り
１０４  撮像素子
１０５  アナログ画像信号処理部
１０６  Ａ／Ｄ変換部
１０７  画像入力コントローラ
１０６  Ａ／Ｄ変換部
１０９  多重化部
２００  バス
２０１  圧縮・伸張処理部
２０３  ラインメモリ
２０４  メインメモリ
２０６  ＳＤＲＡＭ
３０１  カードＩ／Ｆ
３０２  カード型記録媒体
４００  中央制御部
４０１  選別情報取得部
４０２  選別情報生成部
４０３  画像判定部
４０４  画像自動選別部
４１０  中央制御部
４１１  選別情報取得部
４１２  選別情報生成部
４１３  画像判定部
４１４  画像自動選別部
４１５  登録画像ＤＢ
４２０  中央制御部
４２１  選別情報生成部
４２２  画像判定部
４２３  画像自動選別部
４２４  登録画像ＤＢ
４３１  撮影条件情報取得部
４３２  被写体情報取得部
４４１  撮影条件情報判定部
４４２  被写体情報判定部
【図１】
0005655668.tif 000002
【図２】
0005655668.tif 000003
【図３】
0005655668.tif 000004
【図４】
0005655668.tif 000005
【図５】
0005655668.tif 000006
【図６】
0005655668.tif 000007
【図７】
0005655668.tif 000008