(57)【要約】【課題】第１の動画像から第２の動画像に編集ができる。【解決手段】撮影装置１１では、被写体判定評価値算出部２５は、オリジナル動画像を構成する複数のフレーム毎に、所定種類のパラメータの評価値をそれぞれ算出し、編集画像判定部３１は、オリジナル動画像を構成する複数のフレームのうち、編集動画像に含めるべきフレームのフレームIDを、算出された評価値に基づいて集計し、記録デバイス制御部３２は、オリジナル動画像を構成する複数のフレームの中から、集計されたフレームIDで特定されるフレームを抽出し、抽出したフレームで構成される動画像を、編集動画像として生成する。本発明は、例えば、動画像を撮影可能なカメラ等に適用できる。【選択図】図１
2009212575.tif 000002
【特許請求の範囲】
【請求項１】
第１の動画像から第２の動画像に編集する情報処理装置において、
前記第１の動画像を構成する複数の単位画像毎に、所定種類のパラメータの評価値をそれぞれ算出する評価値算出手段と、
前記第１の動画像を構成する前記複数の単位画像のうち、前記第２の動画像に含めるべき単位画像の識別情報を、前記評価値算出手段により算出された前記評価値に基づいて集計する集計手段と、
前記第１の動画像を構成する前記複数の単位画像の中から、前記集計手段により集計された前記識別情報で特定される単位画像を抽出し、抽出した前記単位画像で構成される動画像を、前記第２の動画像として生成する生成手段と
を備える情報処理装置。
【請求項２】
前記第１の動画像を構成する前記複数の単位画像毎に、対応する前記識別情報と、前記評価値算出手段により算出された前記評価値とを含む評価値データを生成する評価値データ生成手段をさらに備え、
前記集計手段は、前記評価値データ生成手段により生成された前記単位画像毎の前記評価値データに基づいて、前記識別情報を集計する
請求項１に記載の情報処理装置。
【請求項３】
前記評価値データ生成手段により生成された前記評価値データを前記第１の動画像に付加する付加手段と、
前記付加手段により前記評価値データが付加された前記第１の動画像の記憶を制御する記憶制御手段と
をさらに備える
請求項２に記載の情報処理装置。
【請求項４】
前記所定種類のパラメータは、複数種類存在し、
前記評価値データは、前記複数種類のパラメータの各評価値を前記単位画像毎にそれぞれ有しており、
前記集計手段は、前記複数種類の中から１種類以上を選択し、選択した種類のパラメータに基づいて、前記識別情報を集計する
請求項２に記載の情報処理装置。
【請求項５】
前記所定種類のパラメータは、前記単位画像に所定の被写体が含まれるか否かに関するパラメータであり、
前記評価値算出手段は、所定の単位画像と前記所定の被写体の静止画像との差異に基づいて、その所定の単位画像についての前記評価値を算出する
請求項１に記載の情報処理装置。
【請求項６】
前記所定種類のパラメータは、前記第１の動画像の撮影中に静止画撮影を行ったか否かに関するパラメータであり、
前記評価値算出手段は、所定の単位画像の撮影タイミングと、前記静止画撮影の撮影タイミングとに基づいて、その所定の単位画像についての前記評価値を算出する
請求項１に記載の情報処理装置。
【請求項７】
前記評価値算出手段は、さらに、所定の規則に基づいて、前記所定の単位画像とは別の単位画像についての前記評価値を更新する
請求項６に記載の情報処理装置。
【請求項８】
前記集計手段は、前記第２の動画像の時間長が所定の時間長となるように、前記第２の動画像に含めるべき前記単位画像の識別情報を集計する
請求項１に記載の情報処理装置。
【請求項９】
第１の動画像から第２の動画像に編集する情報処理装置の情報処理方法において、
前記第１の動画像を構成する複数の単位画像毎に、所定種類のパラメータの評価値をそれぞれ算出し、
前記第１の動画像を構成する前記複数の単位画像のうち、前記第２の動画像に含めるべき単位画像の識別情報を、算出された前記評価値に基づいて集計し、
前記第１の動画像を構成する前記複数の単位画像の中から、集計された前記識別情報で特定される単位画像を抽出し、抽出した前記単位画像で構成される動画像を、前記第２の動画像として生成する
ステップを含む情報処理方法。
【請求項１０】
第１の動画像から第２の動画像に編集する情報処理装置に、
前記第１の動画像を構成する複数の単位画像毎に、所定種類のパラメータの評価値をそれぞれ算出し、
前記第１の動画像を構成する前記複数の単位画像のうち、前記第２の動画像に含めるべき単位画像の識別情報を、算出された前記評価値に基づいて集計し、
前記第１の動画像を構成する前記複数の単位画像の中から、集計された前記識別情報で特定される単位画像を抽出し、抽出した前記単位画像で構成される動画像を、前記第２の動画像として生成する
ステップを含む制御を行うコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、第１の動画像から、ユーザにとって重要な部分を含む第２の動画像への編集が適切にできるようになった、情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
動画像のいわゆるダイジェスト編集をするための様々な手法が提案されている。
【０００３】
例えば、特許文献１には、編集に用いる編集点として、動画像中の画像の特徴量が変わった部分を選択する手法が開示されている。
【特許文献１】特開２００６−１５７８９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像の特徴量が変わった部分は、必ずしもユーザにとって重要な部分とはいえない。また、例えば、画像の特徴量が大きく変化していない部分であっても、特定の人物の表情を撮影した部分等である場合には、ユーザにとって重要な部分になり得る。つまり、特許文献１を含む従来の手法では、第１の動画像から、ユーザにとって重要な部分を含む第２の動画像への編集が適切にできているとは言い難かった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、例えば、第１の動画像から、ユーザにとって重要な部分を含む第の動画像への編集を適切にできるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の情報処理装置は、第１の動画像から第２の動画像に編集する情報処理装置において、前記第１の動画像を構成する複数の単位画像毎に、所定種類のパラメータの評価値をそれぞれ算出する評価値算出手段と、前記第１の動画像を構成する前記複数の単位画像のうち、前記第２の動画像に含めるべき単位画像の識別情報を、前記評価値算出手段により算出された前記評価値に基づいて集計する集計手段と、前記第１の動画像を構成する前記複数の単位画像の中から、前記集計手段により集計された前記識別情報で特定される単位画像を抽出し、抽出した前記単位画像で構成される動画像を、前記第２の動画像として生成する生成手段とを備える。
【０００７】
本発明の一側面の情報処理装置には、前記第１の動画像を構成する前記複数の単位画像毎に、対応する前記識別情報と、前記評価値算出手段により算出された前記評価値とを含む評価値データを生成する評価値データ生成手段をさらに設け、前記集計手段には、前記評価値データ生成手段により生成された前記単位画像毎の前記評価値データに基づいて、前記識別情報を集計させることができる。
【０００８】
本発明の一側面の情報処理装置には、前記評価値データ生成手段により生成された前記評価値データを前記第１の動画像に付加する付加手段と、前記付加手段により前記評価値データが付加された前記第１の動画像の記憶を制御する記憶制御手段とをさらに設けることができる。
【０００９】
本発明の一側面の情報処理方法またはプログラムは、第１の動画像から第２の動画像に編集する情報処理装置の情報処理方法または制御を行うコンピュータに実行させるプログラムにおいて、前記第１の動画像を構成する複数の単位画像毎に、所定種類のパラメータの評価値をそれぞれ算出し、前記第１の動画像を構成する前記複数の単位画像のうち、前記第２の動画像に含めるべき単位画像の識別情報を、算出された前記評価値に基づいて集計し、前記第１の動画像を構成する前記複数の単位画像の中から、集計された前記識別情報で特定される単位画像を抽出し、抽出した前記単位画像で構成される動画像を、前記第２の動画像として生成するステップを含む。
【００１０】
本発明の一側面においては、第１の動画像を構成する複数の単位画像毎に、所定種類のパラメータの評価値がそれぞれ算出され、前記第１の動画像を構成する前記複数の単位画像のうち、第２の動画像に含めるべき単位画像の識別情報が、算出された前記評価値に基づいて集計され、前記第１の動画像を構成する前記複数の単位画像の中から、集計された前記識別情報で特定される単位画像が抽出され、抽出された前記単位画像で構成される動画像が、前記第２の動画像として生成される。
【発明の効果】
【００１１】
本発明の一側面によれば、第１の動画像から第２の動画像に編集ができる。特に、例えば、第１の動画像中のユーザにとって重要な部分を第２の動画像に含むように、適切な編集ができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００１３】
なお、本実施の形態では、動画像の処理単位として、フレームを採用する。但し、処理単位は、フレームに限定されず、例えばフィールド等であっても構わない。以下、このようなフィールドやフレームといった動画像の処理単位を、単位画像と称する。即ち、本発明は、任意の単位画像に対する処理に適用可能であり、以下に説明するフレームは単位画像の一例に過ぎない点留意する。
【００１４】
図１は、本発明を適用した撮影装置１１の機能的構成例を示すブロック図である。
【００１５】
ユーザは、例えば撮影装置１１の図示せぬボタン等を操作することにより、撮影装置１１に対して各種指示を与える。
【００１６】
撮影装置１１は、被写体を動画像として記録する指示を検知すると、被写体の動画像をイメージセンサ２１により取り込み、例えば記録デバイス３３に記録する。なお、以下、このように、被写体の記録指示に基づいてイメージセンサ２１を介して取り込まれた動画像、即ち、後述する編集の対象となる動画像を、オリジナル動画像と称する。また、撮影装置１１の処理のうちの、オリジナル動画像をイメージセンサ２１から取り込んで記録デバイス３３等に記録するまでの一連の処理を、オリジナル動画像記録処理と称する。
【００１７】
また、オリジナル動画像が記録デバイス３３に記録されている状態で、撮影装置１１は、編集の指示を検知すると、オリジナル動画像を編集し、その結果得られる動画像（以下、編集動画像と称する）を記録デバイス３３に記録する。なお、以下、撮影装置１１の処理のうちの、編集動画像を作成して記録デバイス３３等に記録するまでの一連の処理を、編集動画像記録処理と称する。
【００１８】
また、撮影装置１１の処理のうちの、オリジナル動画像記録処理、編集動画像記録処理を含む記録に関する一連の処理を記録処理と称する。
【００１９】
撮影装置１１は、イメージセンサ２１、画像信号処理部２２、マイクロフォン２３、音声信号処理部２４、被写体判定評価値算出部２５、変換処理部２６、表示処理部２７、表示部２８、圧縮伸張部２９、評価値データ蓄積部３０、編集画像判定部３１、記録デバイス制御部３２、記録デバイス３３、動画像記録指示検知部３４、静止画像記録指示検知部３５、編集指示検知部３６、パラメータ指定指示検知部３７、及び制御部３８から構成される。
【００２０】
イメージセンサ２１は、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の固体撮像素子として構成される。イメージセンサ２１は、被写体の動画像、即ちオリジナル動画像をフレーム単位の画像信号として画像信号処理部２２に供給する。なお、撮影装置１１の処理対象は、画像信号のように、実際には信号であるが、以下説明の簡略上、その信号に対応する画像（静止画像若しくは動画像）または音であるとする。
【００２１】
画像信号処理部２２は、イメージセンサ２１から供給されるオリジナル動画像に対して所定の画像信号処理を施す。画像信号処理が施されたオリジナル動画像は、被写体判定評価値算出部２５に供給される。
【００２２】
マイクロフォン２３は、外部から入力された音声を、音声信号処理部２４に供給する。
【００２３】
音声信号処理部２４は、マイクロフォン２３から供給される音声に対して所定の音声信号処理を施す。音声信号処理が施された音声は、被写体判定評価値算出部２５に供給される。
【００２４】
被写体判定評価値算出部２５は、制御部３８から供給されるオリジナル動画像の記録を指示する制御信号に基づいて、画像信号処理部２２から供給されるオリジナル動画像を構成する各フレーム毎に、所定種類のパラメータの評価値をそれぞれ算出する。さらに、被写体判定評価値算出部２５は、各フレーム毎に、所定種類のパラメータの評価値と、対応するフレームを一意に特定する識別子であるフレームID(identification)とを対応付けたデータ（以下、評価値データと称する）を生成し、評価値データ蓄積部３０に供給する。また、被写体判定評価値算出部２５は、評価値データの生成を終えた各フレームからなるオリジナル動画像を変換処理部２６に供給する。
【００２５】
変換処理部２６は、被写体判定評価値算出部２５から供給されるオリジナル動画像を構成する各フレームに対して、例えばHD（high definition）画像への解像度変換処理を施す。HD画像となったオリジナル動画像は、表示処理部２７と圧縮伸張部２９に提供される。
【００２６】
表示処理部２７は、変換処理部２６から供給されるオリジナル動画像または圧縮伸張部２９から供給される（非圧縮の）動画像を表示部２８に表示させる制御処理を実行する。
【００２７】
表示部２８は、例えばLCD(Liquid Crystal Display)等の表示装置から構成される。表示部２８は、表示処理部２７の表示制御に基づいて、動画像を表示する。
【００２８】
圧縮伸張部２９は、変換処理部２６から供給されるオリジナル動画像に対して、所定のフォーマットに従って圧縮符号化処理を施す。圧縮符号化されたオリジナル動画像は、記録デバイス制御部３２に供給される。
【００２９】
なお、本実施の形態では、オリジナル動画像は、フレーム単位で圧縮され、圧縮後もフレーム単位で処理が可能であるとする。即ち、後述するように、圧縮符号化されたオリジナル動画像が記録デバイス３３等に記録された場合、そのオリジナル動画像を構成する複数のフレームのうち任意のフレームが記録デバイス３３等から読み出し可能であるとする。そして、２以上の読みだされたフレーム（圧縮符号化されたフレーム）から構成される動画像は、編集動画像として記録デバイス３３に書き込み可能であるとする。
【００３０】
また、圧縮伸張部２９には、圧縮符号化された動画像が記録デバイス制御部３２から供給される場合がある。この場合、圧縮伸張部２９は、圧縮符号化された動画像に対して、上述した所定のフォーマットに従って伸張復号処理を施す。その結果得られる動画像は、表示処理部２７に提供される。
【００３１】
評価値データ蓄積部３０は、被写体判定評価値算出部２５から供給されるフレーム毎の評価値データを、テーブルの各項目に格納していくことで蓄積する。以下、かかるテーブルを、評価値テーブルと称する。また、評価値データ蓄積部３０は、制御部３８から供給される編集を指示する制御信号に基づいて、評価値テーブルを編集画像判定部３１に供給する。
【００３２】
編集画像判定部３１は、評価値データ蓄積部３０から供給される評価値テーブルに含まれる各評価値が所定範囲内であるか否かを判定し、その判定結果を集計する。即ち、編集画像判定部３１は、所定範囲内にある評価値に対応付けられたフレームIDを集計する。その集計結果（フレームIDの集合体）は記録デバイス制御部３２に供給される。なお、以下、かかる編集画像判定部３１の処理を、集計処理と称する。
【００３３】
記録デバイス制御部３２は、圧縮伸張部２９から供給されるオリジナル動画像を記録デバイス３３に書き込む。また、記録デバイス制御部３２は、制御部３８から供給される動画像の再生を指示する制御信号に基づいて、記録デバイス３３から動画像を読み出し、圧縮伸張部２９に供給する。さらに、記録デバイス制御部３２は、記録デバイス３３に記録されたオリジナル動画像を構成する複数のフレームの中から、編集画像判定部３１からの集計結果に含まれるフレームIDでそれぞれ特定されるフレームを抽出する。そして、記録デバイス制御部３２は、抽出された各フレームからなる動画像を編集動画像として、記録デバイス３３の別領域に記録する。なお、以下、かかる記録デバイス制御部３２の処理を、編集動画像抽出記録処理と称する。
【００３４】
記録デバイス３３は、例えば、ハードディスクや半導体メモリ等で構成される。
【００３５】
動画像記録指示検知部３４は、ユーザ操作に基づく被写体の動画像の記録開始または記録終了の指示を検知すると、いずれかの検知結果を制御部３８に通知する。
【００３６】
静止画像記録指示検知部３５は、ユーザ操作に基づく被写体の静止画像の記録指示を検知すると、その検知結果をを制御部３８に通知する。なお、オリジナル動画像の記録中であっても、被写体の静止画像の記録指示は可能である。
【００３７】
編集指示検知部３６は、ユーザ操作に基づくオリジナル動画像の編集の指示を検知すると、その検知結果を制御部３８に通知する。
【００３８】
パラメータ指定指示検知部３７は、ユーザ操作に基づく集計処理で使用されるパラメータの種類の指定の指示を検知すると、その検知結果を制御部３８に通知する。
【００３９】
制御部３８は、撮影装置１１全体の処理を制御する。例えば、制御部３８は、動画像記録指示検知部３４、静止画像記録指示検知部３５、編集指示検知部３６、またはパラメータ指定指示検知部３７からの検知結果の通知に基づいて、撮影装置１１の処理を制御することができる。
【００４０】
次に、図２のフローチャートを参照して、撮影装置１１の記録処理の一例について説明する。
【００４１】
ステップＳ１において、制御部３８は、被写体の動画像の記録開始が指示されたか否かを判定する。
【００４２】
動画像記録指示検知部３４から被写体の動画像の記録開始の検知結果が通知された場合、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。ステップＳ２において、撮影装置１１は、オリジナル動画像記録処理を実行する。その後、処理はステップＳ５に進む。なお、オリジナル動画像記録処理の詳細については、図３乃至図６を参照して後述する。
【００４３】
これに対して、動画像記録指示検知部３４から被写体の動画像の記録開始の検知結果が通知されない限り、ステップＳ１においてＮＯであると判定されて、処理はステップＳ３に進む。ステップＳ３において、制御部３８は、編集の指示がされたか否かを判定する。
【００４４】
編集指示検知部３６から検知結果が通知された場合、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。ステップＳ４において、撮影装置１１は、編集動画像記録処理を実行する。その後、処理はステップＳ５に進む。なお、編集動画像記録処理の詳細については、図７乃至図１１を参照して後述する。
【００４５】
これに対して、編集指示検知部３６から検知結果が通知されない限り、ステップＳ３においてＮＯであると判定されて、処理はステップＳ５に進む。
【００４６】
ステップＳ５において、制御部３８は、処理の終了が指示されたか否かを判定する。
【００４７】
なお、ステップＳ５の判定条件自体は特に限定されない。例えば本実施の形態では、撮影装置１１の図示せぬ電源スイッチがオフ状態にされたとき、処理の終了の指示がされたと判定されるとする。
【００４８】
即ち、電源スイッチがオン状態である限り、ステップＳ５においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
【００４９】
そして、電源スイッチがオフ状態にされたとき、ステップＳ５においてＹＥＳであると判定されて、記録処理は終了となる。
【００５０】
次に、図３のフローチャートを参照して、図２のステップＳ２のオリジナル動画像記録処理の一例について説明する。
【００５１】
ステップＳ２１において、被写体判定評価値算出部２５及び評価値データ蓄積部３０は、画像信号処理部２２から供給されるオリジナル動画像を構成する各フレームに対して、所定種類のパラメータの評価値を算出する評価値算出処理を行う。評価値算出処理の詳細については、図４を参照して後述する。
【００５２】
後述するように、ステップＳ２１の処理が終了すると、各フレームからなるオリジナル動画像全体が、変換処理部２６に供給されていることになる。
【００５３】
そこで、ステップＳ２２において、撮影装置１１は、オリジナル動画像を記録デバイス３３等に記録する。即ち、変換処理部２６に供給されたオリジナル動画像は、変換処理部２６、圧縮伸張部２９、および記録デバイス制御部３２のそれぞれにおいて、上述した各種処理が施されて、記録デバイス３３に記録される。
【００５４】
なお、ステップＳ２２の処理は、ステップＳ２１の処理の後に行う必要はなく、ステップＳ２１中に、フレームが供給される毎に、そのフレームを記録する処理として実現することも当然ながら可能である。
【００５５】
次に、図４のフローチャートを参照して、図３のステップＳ２１の評価値算出処理の一例について説明する。
【００５６】
なお、本実施の形態では例えば、被写体判定評価値算出部２５は、特定の人物か否かの判定に関するパラメータまたは人間の笑顔か否かの判定に関するパラメータといった被写体の判定に関するパラメータ（以下、被写体パラメータと称する）の種類ごとに、パターンマッチングに用いる静止画像（以下、リファレンス静止画像と称する）をそれぞれ保持しているとする。即ち、複数の種類の被写体パラメータが存在するとする。
【００５７】
被写体判定評価値算出部２５には、画像信号処理部２２からオリジナル動画像を構成するフレームが順次供給される。そこで、フレームが供給されてくる毎に、その供給されたフレームを入力フレームとして、次のようなステップＳ４１乃至Ｓ５７のループ処理が繰り返し実行されることになる。
【００５８】
ステップＳ４１において、被写体判定評価値算出部２５は、入力フレームにフレームIDを付加する。
【００５９】
ステップＳ４２において、被写体判定評価値算出部２５は、入力フレームは一連のオリジナル動画像の最初のフレームであるか否かを判定する。
【００６０】
即ち、入力フレームで被写体の動画像の記録開始の検知結果が通知された場合、ステップＳ４２において、被写体判定評価値算出部２５は、入力フレームは一連のオリジナル動画像の最初のフレームであると判定する。
【００６１】
ステップＳ４２において、入力フレームは一連のオリジナル動画像の最初のフレームでないと判定された場合、ステップＳ４３において、被写体判定評価値算出部２５は、シーンIDを例えば１だけインクリメントする。その後、処理はステップＳ４４に進む。
【００６２】
これに対して、ステップＳ４３において、入力フレームは一連のオリジナル動画像の最初のフレームであると判定された場合、ステップＳ４３の処理は実行されずに、処理はステップＳ４４に進む。
【００６３】
ステップＳ４４において、被写体判定評価値算出部２５は、入力フレームにシーンIDを付加する。
【００６４】
ステップＳ４５において、被写体判定評価値算出部２５は、被写体パラメータの複数の種類のうちの所定種類を、処理の対象として注目すべき注目種類に設定する。
【００６５】
ステップＳ４６において、被写体判定評価値算出部２５は、入力フレームと、注目種類の被写体パラメータのリファレンス静止画像とを比較する。
【００６６】
ステップＳ４７において、被写体判定評価値算出部２５は、入力フレームと注目種類の被写体パラメータのリファレンス静止画像との差分を数値化する。
【００６７】
具体的には、例えば、被写体判定評価値算出部２５は、入力フレームと、注目種類の被写体パラメータのリファレンス静止画像とのパターンマッチングを行い、その結果得られるパターンマッチングの評価値の最小値を求める。即ち、この最小値が、入力フレームと注目種類の被写体パラメータのリファレンス静止画像との差分として数値化された結果である。
【００６８】
ステップＳ４８において、被写体判定評価値算出部２５は、入力フレームと注目種類の被写体パラメータのリファレンス静止画像との差分から、注目種類の被写体パラメータの評価値を算出する。
【００６９】
具体的には例えば、被写体判定評価値算出部２５は、入力フレームと注目種類の被写体パラメータのリファレンス静止画像との差分が大きければ低い評価値となるように、また、入力フレームと注目種類の被写体パラメータのリファレンス静止画像との差分が小さければ高い評価値となるように、注目種類の被写体パラメータの評価値を算出する。なお、本実施の形態では例えば、評価値としては、例えば100を最高点とし0を最低点とするように正規化した値を採用するとする。他の種類のパラメータについても同様とする。
【００７０】
ステップＳ４９において、被写体判定評価値算出部２５は、まだ注目種類としていない被写体パラメータの種類があるか否かを判定する。ステップＳ４９において、まだ注目種類としていない被写体パラメータの種類があると判定された場合、処理はステップＳ４６に戻され、それ以降の処理が同様に行われる。
【００７１】
即ち、被写体パラメータの種類毎に、ステップＳ４５乃至Ｓ４９のループ処理が繰り返し実行される。そして、最後の種類の被写体パラメータについて、ステップＳ４８の処理で評価値が算出されると、ステップＳ４９の処理でＮＯであると判定されて、処理はステップＳ５０に進む。
【００７２】
ステップＳ５０において、被写体判定評価値算出部２５は、入力フレームで静止画記録がされたか否かを判定する。
【００７３】
即ち、静止画像記録指示検知部３５による検知結果が制御部３８に供給された場合、ステップＳ５０において、被写体判定評価値算出部２５は、入力フレームで静止画記録がされたと判定する。
【００７４】
ステップＳ５０において、入力フレームで静止画記録がなされたと判定された場合、ステップＳ５１において、被写体判定評価値算出部２５は、静止画記録に関するパラメータの評価値を「100」とする。その後、処理はステップＳ５３に進む。
【００７５】
これに対して、ステップＳ５０において、入力フレームで静止画記録がなされていないと判定された場合、ステップＳ５２において、被写体判定評価値算出部２５は、静止画記録に関するパラメータの評価値を「0」とする。その後、処理はステップＳ５３に進む。
【００７６】
ステップＳ５３において、被写体判定評価値算出部２５は、種類Aのパラメータの評価値を算出する。なお、種類Aとは、ステップＳ４５乃至Ｓ４９のループ処理において注目種類となり得る被写体パラメータの種類とは異なる種類を指す。種類Ａとしては、例えば、笑顔以外の人間の所定の表情か否かの判定に関する被写体パラメータ、昼や夜といった所定の時間帯か否かの判定に関するパラメータ、マイクロフォン２３で入力した音の大きさに関するパラメータ等を採用することができる。
【００７７】
ステップＳ５４において、被写体判定評価値算出部２５は、種類Ａを含む複数種類のパラメータの各評価値とフレームIDとを対応付けたデータを、入力フレームの評価値データとして生成する。
【００７８】
ステップＳ５５において、被写体判定評価値算出部２５は、生成した評価値データを評価値データ蓄積部３０に供給し、また、評価値データの生成を終えた入力フレームを変換処理部２６に供給する。
【００７９】
ステップＳ５６において、評価値データ蓄積部３０は、被写体判定評価値算出部２５から供給される評価値データを例えば図５に示すような評価値テーブルとして蓄積する。
【００８０】
図５において、評価値テーブルの上から第３行以降の各行には、各フレームの評価値データが、フレームID順で格納される。このことは、後述する図６の評価値テーブルについても同様である。
【００８１】
具体的には、図５の評価値テーブルにおいて、所定の１行に格納されているデータの集合体が、所定のフレームの評価値データを示している。
【００８２】
即ち、図５の例では、評価値データは、「フレームID」，「シーンID」，「特定の人物」，「笑顔」，「静止画記録」，「A」の各項目に格納されるからデータから構成されている。
【００８３】
「フレームID」には、ステップＳ４１の処理で付加されたフレームIDが格納される。
【００８４】
「シーンID」には、ステップＳ４４の処理で付加されたフレームIDが格納される。
【００８５】
「特定の人物」には、注目種類の被写体パラメータとして特定の人物の被写体パラメータが設定された場合におけるステップＳ４８により算出された評価値が格納される。
【００８６】
「笑顔」には、注目種類の被写体パラメータとして笑顔の被写体パラメータが設定された場合におけるステップＳ４８により算出された評価値が格納される。
【００８７】
「静止画記録」には、ステップＳ５１またはステップＳ５２の処理で決定された静止画記録に関する評価値、即ち、0または100が格納される。
【００８８】
「Ａ」には、ステップＳ５３の処理により算出された種類Ａのパラメータの評価値が格納される。
【００８９】
このように、図５の例の評価値テーブルが採用されている場合、ステップＳ５６において、評価値データ蓄積部３０は、被写体判定評価値算出部２５から供給される評価値データを、評価値テーブルの所定の１行に格納する。これにより、処理はステップＳ５７に進む。
【００９０】
ステップＳ５７において、被写体判定評価値算出部２５は、録画が終了したか否かを判定する。
【００９１】
なお、ステップＳ５７の判定条件自体は特に限定されない。例えば本実施の形態では、一定時間以上フレームが被写体判定評価値算出部２５に入力されてこないとき、録画が終了したと判定されるとする。
【００９２】
即ち、一定時間内にフレームが入力されてくる毎に、ステップＳ５７においてＮＯであると判定されて、処理はステップＳ４１に戻され、それ以降の処理が繰り返される。
【００９３】
これに対して、一定時間を経過してもフレームが入力されてこない場合、ステップＳ５７においてＹＥＳであると判定されて、評価値算出処理は終了となる。
【００９４】
なお、以上においては、静止画記録がされたフレームに対する静止画記録に関するパラメータの評価値を、評価値テーブルとして蓄積する際に、静止画記録に関するパラメータの評価値としてそのまま用いるようにした。その他、評価値テーブルとして蓄積する際に、静止画記録がされたフレームに対する静止画記録に関するパラメータの評価値を、静止画記録がされたフレームのみならず、その前後のフレームに対しても傾斜配分して振り分けるようにしてもよい。
【００９５】
具体的には例えば、評価値データ蓄積部３０は、被写体判定評価値算出部２５から供給される評価値データに含まれる静止画記録のパラメータの評価値が「100」の場合、その評価値データをそのまま評価値テーブルの最後の行の次の１行に格納する。さらに、評価値データ蓄積部３０は、新たに評価値データを格納した行よりn行前のシーンIDが、新たに評価値データを格納した行のシーンIDと同一である場合、新たに評価値データを格納した行よりn行前の静止画記録のパラメータの評価値を「100-n」に更新する。
【００９６】
また、評価値データ蓄積部３０は、被写体判定評価値算出部２５から供給される評価値データに含まれる静止画記録のパラメータの評価値が「0」の場合、その評価値データに含まれるシーンIDが、評価値テーブルの最後の行のシーンIDと同一である場合、評価値テーブルの最後の行の次の１行の静止画記録のパラメータの評価値を、評価値テーブルの最後の行の静止画記録のパラメータの評価値「m(m>0)」を用いて「m-1」とする。
【００９７】
このようにして静止画記録に関するパラメータの評価値が蓄積されていく評価値テーブルの例を図６に示す。
【００９８】
図６の例では、静止画記録がされたフレームは、フレームIDが「6」のフレームである。
【００９９】
例えば評価値データ蓄積部３０には、図示はしないが、評価値テーブルのうちの上から第７行（図６の例に対応させるとフレームIDが「5」の行）までの評価値が蓄積されており、静止画記録に関するパラメータの評価値が全て「0」になっている評価値テーブルが蓄積されているとする。
【０１００】
そして、フレームIDが「6」、シーンIDが「1」、フレーム静止画記録に関するパラメータの評価値が「100」、フレーム静止画記録のパラメータ以外の種類のパラメータの評価値が「0」となっている評価値データが、被写体判定評価値算出部２５から評価値データ蓄積部３０に供給されたとする。
【０１０１】
この場合、評価値データ蓄積部３０は、その評価値データに含まれる静止画記録に関するパラメータの評価値が「100」であるので、その評価値データをそのまま評価値テーブルの最後の行（第７行）の次の１行、即ち第８行に格納する。さらに、評価値データ蓄積部３０は、第８行よりn行前の第8-n行のシーンIDが、第８行のシーンIDと同一である場合、第8-n行の静止画記録のパラメータの評価値を「100-n」に更新する。ここでは、第８行のシーンIDは「１」であり、また、シーンIDが「１」となっている行は第3行乃至第7行である。そこで、評価値データ蓄積部３０は、図６に示されるように、評価値テーブルにおける「静止画記録」の項目を、「95」、「96」、「97」、「98」、「99」のそれぞれの評価値に更新する。
【０１０２】
これにより、評価値データ蓄積部３０には、評価値テーブルのうちの上から第８行（図６の例に対応させるとフレームIDが「6」の行）までの評価値が蓄積されており、静止画記録に関するパラメータの評価値が上の行から順に「95」、「96」、「97」、「98」、「99」、「100」になっている評価値テーブルが蓄積されている。
【０１０３】
次に、フレームIDが「7」、シーンIDが「1」、全種類のパラメータの評価値が「0」となっている評価値データが、被写体判定評価値算出部２５から評価値データ蓄積部３０に供給されたとする。
【０１０４】
この場合、評価値データ蓄積部３０は、その評価値データに含まれる静止画記録に関するパラメータの評価値が「0」であり、その評価値データに含まれるシーンIDが、評価値テーブルの最後の行（第８行）のシーンIDと同一であるので、評価値テーブルの最後の行の次の１行、即ち第９行の静止画記録のパラメータの評価値を、評価値テーブルの最後の行の静止画記録のパラメータの評価値「100」を用いて「99（=100-1）」とする。
【０１０５】
これにより、評価値データ蓄積部３０には、評価値テーブルのうちの上から第９行（図６の例に対応させるとフレームIDが「7」の行）までの評価値が蓄積されており、静止画記録に関するパラメータの評価値が上の行から順に「95」、「96」、「97」、「98」、「99」、「100」、「99」になっている評価値テーブルが蓄積されている。
【０１０６】
図６の評価値テーブルにおける第１０行以降の行についても以下同様である。
【０１０７】
次に、図７のフローチャートを参照して、図２のステップＳ４の編集動画像記録処理の一例について説明する。
【０１０８】
ステップＳ７１において、評価値データ蓄積部３０は、蓄積している評価値テーブルを編集画像判定部３１に供給する。
【０１０９】
ステップＳ７２において、編集画像判定部３１は、集計処理を実行する。即ち、編集画像判定部３１は、評価値データ蓄積部３０から供給された評価値テーブルに含まれる評価値データのうち、所定種類のパラメータの評価値が所定の範囲の値となっている評価データを認識し、その評価データに含まれるフレームIDを集計していく。この集計結果は、記録デバイス制御部３２に提供される。なお、集計処理の詳細については、図８を参照して後述する。
【０１１０】
ステップＳ７３において、記録デバイス制御部３２は、編集動画像抽出記録処理を実行する。記録デバイス３３に記録されたオリジナル動画像を構成する複数のフレームの中から、編集画像判定部３１から供給される（集計された）各フレームID毎に、対応するフレームを記録デバイス３３から順次抽出し、記録デバイス３３の別領域に再度書き込んでいく。
【０１１１】
これにより、集計された各フレームIDに対応する各フレームから構成される動画像が、編集動画像として記録デバイス３３に記録される。なお、編集動画像抽出記録処理の詳細については、図９を参照して後述する。
【０１１２】
次に、図８のフローチャートを参照して、図７のステップＳ７２で図１の編集画像判定部３１が行う集計処理について説明する。
【０１１３】
ステップＳ９１において、編集画像判定部３１は、集計処理に使用するパラメータの種類が指定されているか否かを判定する。
【０１１４】
集計処理に使用するパラメータの種類が指定されている場合、ステップＳ９１においてＹＥＳであると判定されて、処理は、ステップＳ９２に進む。ステップＳ９２において、編集画像判定部３１は、指定された種類以外の種類のパラメータを評価値テーブルから削除する。その後、処理はステップＳ９３に進む。
【０１１５】
これに対して、集計処理に使用するパラメータが指定されていない限り、ステップＳ９１においてＮＯであると判定されて、処理はステップＳ９３に進む。
【０１１６】
ステップＳ９３において、編集画像判定部３１は、評価値データ蓄積部３０から供給される評価値テーブルに含まれるフレームIDのうちの、所定フレームIDを注目フレームIDに設定する。
【０１１７】
ステップＳ９４において、編集画像判定部３１は、注目フレームIDに対応する所定種類のパラメータのそれぞれの評価値と、あらかじめ設定された閾値（例えば、50）とを比較する。
【０１１８】
ステップＳ９５において、編集画像判定部３１は、閾値を超える評価値のパラメータの種類が存在するか否かを判定する。
【０１１９】
閾値を超える評価値のパラメータの種類が存在する場合、ステップＳ９５においてＹＥＳであると判定されて、処理は、ステップＳ９６に進む。ステップＳ９６において、編集画像判定部３１は、注目フレームIDを集計する。その後、処理はステップＳ９７に進む。
【０１２０】
これに対して、閾値を超える評価値のパラメータの種類が存在しない場合、ステップＳ９５においてＮＯであると判定されて、処理はステップＳ９３に戻され、それ以降、同様の処理が繰り返される。即ち、閾値を超える評価値のパラメータの種類が存在しない場合、ステップＳ９５の処理、即ち、注目フレームIDの集計処理は行われないことになる。
【０１２１】
ステップＳ９７において、編集画像判定部３１は、注目フレームIDが最後のフレームIDか否かを判定する。
【０１２２】
注目フレームIDが最後のフレームIDでない限り、ステップＳ９７においてＮＯと判定されて、処理はステップＳ９３に戻され、それ以降、同様の処理が繰り返される。
【０１２３】
即ち、評価値テーブルに含まれる全ての評価値データに対して、ステップＳ９３乃至Ｓ９７のループ処理が繰り返し実行される。その結果、閾値を超える評価値のパラメータの種類が存在する評価値データについては、そのフレームIDが集計される一方、閾値を超える評価値のパラメータの種類が存在しない評価値データについては、そのフレームIDは集計されないことになる。
【０１２４】
そして、最後のフレームIDが注目フレームIDとされて、ステップＳ９６の処理が終了すると、ステップＳ９７においてＹＥＳであると判定されて、ステップＳ９８に進む。
【０１２５】
ステップＳ９８において、編集画像判定部３１は、編集後の動画像について編集後の時間長が設定されているか否かを判定する。
【０１２６】
編集後の時間長が設定されている場合、ステップＳ９８においてＹＥＳであると判定されて、処理はステップＳ９９に進む。
【０１２７】
これに対して編集後の時間長が設定されていない場合、ステップＳ９８においてＮＯであると判定されて、処理はステップＳ１０４に進む。ただし、ステップＳ１０４以降の処理については後述する。
【０１２８】
ステップＳ９９において、編集画像判定部３１は、集計されたフレームIDの数に対応する時間長（以下、集計時の時間長と称する）が、指定された編集後の時間長を含む所定範囲に収まっているか否かを判定する。
【０１２９】
集計時の時間長が、指定された編集後の時間長を含む所定範囲に収まっている場合、ステップＳ９９においてＹＥＳと判定されて、処理はステップＳ１０４に進む。ただし、ステップＳ１０４以降の処理については後述する。
【０１３０】
これに対して、指定された編集後の時間長を含む所定範囲に収まっていない場合、ステップＳ９９においてＮＯであると判定されて、処理はステップＳ１００に進む。
【０１３１】
ステップＳ１００において、集計時の時間長が、指定された時間長より長いか否かを判定する。
【０１３２】
集計時の時間長が、指定された時間長より長い場合、ステップＳ１００においてＹＥＳと判定されて、処理はステップＳ１０１に進む。ステップＳ１０１において、編集画像判定部３１は、設定されている閾値を１だけ上げ、また、集計したフレームIDをクリアする。その後、処理はステップＳ９４に戻され、それ以降、同様の処理が繰り返される。
【０１３３】
これに対して、集計時の時間長が、指定された時間長より長くない場合、ステップＳ１００においてＮＯであると判定されて、処理はステップＳ１０２に進む。ステップＳ１０２において、編集画像判定部３１は、設定されている閾値はゼロか否かを判定する。
【０１３４】
設定されている閾値はゼロでない場合、ステップＳ１０２においてＮＯであると判定され、処理はステップＳ１０３に進む。ステップＳ１０３において、編集画像判定部３１は、設定されている閾値を１だけ下げ、また、集計したフレームIDをクリアする。その後、処理はステップＳ９４に戻され、それ以降、同様の処理が繰り返される。
【０１３５】
これに対して、設定されている閾値がゼロである場合、ステップＳ１０２においてＹＥＳであると判定され、処理はステップＳ１０４に進む。ステップＳ１０４において、編集画像判定部３１は、集計されたフレームIDを記録デバイス制御部３２に供給する。
【０１３６】
そして、集計処理を終了し、図７のステップＳ７３にリターンする。
【０１３７】
次に、図９のフローチャートを参照して、図７のステップＳ７３で図１の記録デバイス制御部３２が行う編集動画像抽出記録処理について説明する。
【０１３８】
ステップＳ１２１において、記録デバイス制御部３２は、編集画像判定部３１から供給された（集計された）フレームIDの中から先頭のフレームIDを探し、注目フレームIDとする。
【０１３９】
ステップＳ１２２において、記録デバイス制御部３２は、記録デバイス３３から注目フレームIDのフレームを読み出す。
【０１４０】
ステップＳ１２３において、記録デバイス制御部３２は、読み出した注目フレームIDのフレームを記録デバイスの別領域に書き込む。
【０１４１】
ステップＳ１２４において、記録デバイス制御部３２は、注目フレームIDは最後のフレームIDか否かを判定する。ステップＳ１２４において、注目フレームIDは最後のフレームIDでないと判定された場合、ステップＳ１２５において、記録デバイス制御部３２は、次のフレームIDを注目フレームIDとする。その後、処理はステップＳ１２５に戻され、それ以降の処理が繰り返される。
【０１４２】
即ち、編集画像判定部３１から供給される（集計された）各フレームID毎に、ステップＳ１２２乃至Ｓ１２５のループ処理が繰り返し実行されることで、注目フレームIDに対応するフレームが記録デバイス３３から順次抽出され、記録デバイス３３の別領域に再度書き込まれていく。これにより、集計された各フレームIDに対応する各フレームから構成される動画像が、編集動画像として記録デバイス３３に記録されることになる。
【０１４３】
そして、最後のフレームIDが注目フレームIDに設定されてステップＳ１２３の処理が終了すると、ステップＳ１２４においてＹＥＳであると判定されて、編集動画像抽出記録処理が終了となる。即ち、図７のステップＳ７３の処理が終了し、編集動画像記録処理も終了となる。
【０１４４】
以上のように、撮影装置１１は、オリジナル動画像から編集動画像に編集ができる。
【０１４５】
撮影装置１１は、ユーザにとっての重要度を評価するための評価値を各フレームに付加するようにしたので、フレーム毎に重要度を求めることができる。
【０１４６】
また、撮影装置１１は、評価値に応じて重要度の順番を決定でき、重要度が高い順番にオリジナル動画像からユーザにとって重要な部分を抽出した編集動画像に編集することができる。
【０１４７】
さらに、撮影装置１１は、ユーザによる指示に基づいて編集後の時間長を設定し、編集後の時間長を含む所定範囲に収まるように編集を行うことができる。
【０１４８】
ユーザ操作に基づくパラメータを指定する指示に基づいて集計処理に使用するパラメータの種類を設定することができる。したがって、ユーザの好みをより反映した編集を行うことができる。また、撮影装置１１は、集計処理に用いるパラメータを複数設定することができ、したがって、複数のパラメータを反映したフレームIDの集計を行うことができる。
【０１４９】
上述した撮影装置１１では、フレームIDの集計において、全てのパラメータに対する閾値として１つの閾値を用いるようにしたが、その他、各パラメータに対する閾値を個別に設定できるようにしてもよい。
【０１５０】
次に、図１０のフローチャートを参照して、図７のステップＳ７２で図１の編集画像判定部３１が行う集計処理の他の例について説明する。
【０１５１】
ステップＳ１４１において、編集画像判定部３１は、評価値データ蓄積部３０から供給される評価値テーブルを参照し、評価値テーブルのうちの各フレームIDに対して総合評価値を算出する。
【０１５２】
ここで、総合評価値としては、例えば、評価値テーブルのうちの各フレームIDに対する各パラメータの評価値の重み付け加算を採用することができる。総合評価値Yは、パラメータ数がnの場合、式（１）で表される。
【０１５３】
Y=W1×P1＋W2×P2＋W3×P3＋W4×P4＋...＋Wn×Pn      ・・・（１）
【０１５４】
ここで、P1，P2，P3，P4，...，Pnは、それぞれ、各パラメータの評価値を示し、W1，W2，W3，W4，...，Wnは、それぞれ、各パラメータの係数（重み）を示す。なお、係数Wi(1≦i≦n)のそれぞれを特に区別しない場合には係数Wという。
【０１５５】
なお、図１０の例では、パラメータ数が4なので、総合評価値には、n=4の場合の式（１）で表される総合評価値Yが採用される。
【０１５６】
ステップＳ１４２において、編集画像判定部３１は、編集後の時間長が指定されているか否かを判定する。
【０１５７】
編集後の時間長が指定されていない場合、ステップＳ１４２においてＮＯと判定されて、処理はステップＳ１４５に進む。
【０１５８】
これに対して、編集後の時間長が指定されている場合、ステップＳ１４２においてＹＥＳと判定されて、処理はステップＳ１４３に進む。ステップＳ１４３において、編集画像判定部３１は、評価値テーブルの各フレームIDを総合評価値が大きい順にソートする。
【０１５９】
ステップＳ１４４において、編集画像判定部３１は、閾値以上の総合評価値のフレームIDの数を求め、そのフレームIDの数に対応する時間長が、指定された編集後の時間長を含む所定範囲に収まるように閾値を変更する。
【０１６０】
ステップＳ１４５において、編集画像判定部３１は、評価値テーブルの各フレームIDに対する総合評価値と閾値とを比較する。
【０１６１】
ステップＳ１４６において、編集画像判定部３１は、例えば、閾値以上の総合評価値のフレームIDを集計し、記録デバイス制御部３２に供給する。
【０１６２】
そして、集計処理を終了し、図７のステップＳ７３にリターンする。
【０１６３】
なお、編集画像判定部３１には、ユーザの好みに合うようにあらかじめ学習により得られた係数Wが設定されていることが理想的であるが、勿論、全ての係数Wが1に設定されていてもよい。
【０１６４】
また、係数Wとしては、商品出荷時にはデフォルトの係数が設定されており、例えば、ユーザの好みが反映される操作履歴等に基づいてデフォルトの係数を更新する係数更新処理を行うようにしてもよい。
【０１６５】
図１１のフローチャートを参照して、図１の編集画像判定部３１及び制御部３８による係数更新処理について説明する。
【０１６６】
なお、編集画像判定部３１には、オリジナル動画像記録処理で集計されたフレームIDに対する評価値データがそのまま保持されているとする。また、編集画像判定部３１には、係数Wが保持されているとする。
【０１６７】
係数更新処理は、記録デバイス３３に記録された編集動画像が撮影装置１１により再生されると開始される。なお、ここで、再生とは、記録デバイス３３に記録された編集動画像が記録デバイス制御部３２により読み出され、圧縮伸張部２９で伸張されることを意味する。そして、表示部２８には、再生された編集動画像が表示される。
【０１６８】
ステップＳ１６１において、制御部３８は、ユーザ指示に基づいて動画像のフレームがスキップ（早送り）されたか否かを判定する。
【０１６９】
スキップされた場合、ステップＳ１６１においてＹＥＳと判定されて、処理はステップＳ１６２に進む。ステップＳ１６２において、編集画像判定部３１は、集計されたフレームIDに対する評価値データを参照し、スキップされたフレームのフレームIDの評価値が例えば最も高いパラメータを検出し、そのパラメータの係数Wをより小さい値に更新する。その後、処理はステップＳ１６３に進む。
【０１７０】
具体的には、例えば、編集画像判定部３１は、スキップされたフレームのフレームIDの評価値が最も高いパラメータの係数Wから固定値を差し引いたり、その係数Wを所定の割合で小さくしたりすることにより、より小さい値に更新する。
【０１７１】
これに対して、スキップされていない場合、ステップＳ１６１においてＮＯと判定されて、処理はステップＳ１６３に進む。
【０１７２】
ステップＳ１６３において、編集画像判定部３１は、再生フレームは最後のフレームか否かを判定する。
【０１７３】
再生フレームは最後のフレームでない場合、ステップＳ１６３においてＮＯと判定されて、処理はステップＳ１６１に戻され、それ以降の処理が繰り返される。
【０１７４】
これに対して、再生フレームは最後のフレームと判定された場合、ステップＳ１６３においてＹＥＳと判定されて、係数更新処理は終了する。
【０１７５】
以上のように、撮影装置１１は、再生時にスキップされたフレーム（ID）の評価値が高いパラメータを検出し、そのパラメータの係数Wをより小さい値に更新するようにしたので、スキップされたフレームで評価値が高いパラメータの係数Wが小さくなっていくことで、ユーザの好みを係数Wにフィードバックすることができる。
【０１７６】
以上においては、オリジナル動画像が記録されるときに生成された各パラメータの評価値が蓄積され、その後、蓄積された各パラメータの評価値からフレームが集計されるようにしたが、オリジナル動画像が記録されるときに生成された各パラメータの評価値がオリジナル動画像に付加されて記録され、その後、記録された各パラメータの評価値が取得され、その各パラメータの評価値からフレームが集計されるようにしてもよい。
【０１７７】
図１２は、上述したオリジナル動画像が記録されるときに生成された各パラメータの評価値がオリジナル動画像に付加されて記録され、その後、記録された各パラメータの評価値が取得され、その各パラメータの評価値からフレームが集計される場合の撮影装置５１の機能的構成例を示すブロック図である。
【０１７８】
なお、図１２において、図１における場合と対応する部分には同一の符号が付してあり、その説明は適宜省略する。
【０１７９】
図１２の撮影装置５１には、図１における撮影装置１１の被写体判定評価値算出部２５に代えて、被写体判定評価値算出部６１が設けられている。図１２の撮影装置５１では、図１における撮影装置１１の評価値データ蓄積部３０が削除されている。そして、図１２の撮影装置５１には、新たに評価値データ取得部６２が設けられている。
【０１８０】
撮影装置５１は、動画像を記録する記録処理を行う。即ち、撮影装置５１は、オリジナル動画像の記録指示を検知すると、オリジナル動画像を記録デバイス３３に記録するオリジナル動画像記録処理を行うとともに、編集動画像の記録指示を検知すると、記録デバイス３３に記録したオリジナル動画像を編集し、その結果得られる編集動画像を記録デバイス３３に記録する編集動画像記録処理を行う。
【０１８１】
なお、この例では、制御部３８は、動画像記録指示検知部３４、静止画像記録指示検知部３５、編集指示検知部３６、またはパラメータ指定指示検知部３７から供給される指示信号に基づいて、撮影装置５１の各部の処理を制御する。例えば、制御部３８は、編集動画像記録指示を検知した旨が編集指示検知部３６から通知されると、編集動画像記録処理を指示する制御信号を、評価値データ取得部６２に供給する。
【０１８２】
被写体判定評価値算出部６１は、制御部３８から供給されるオリジナル動画像の記録を指示する制御信号に基づいて、画像信号処理部２２から供給されるオリジナル動画像を構成する各フレームに対して、所定のパラメータのそれぞれの評価値を生成する評価値算出処理を行う。また、被写体判定評価値算出部６１は、生成した評価値をオリジナル動画像に付加して変換処理部２６に供給する。
【０１８３】
評価値データ取得部６２は、編集動画像記録処理を指示する制御信号が制御部３８から供給されると、記録デバイス３３から記録デバイス制御部３２を介してオリジナル動画像に付加された評価値を取得し、前述した評価値テーブルを生成して、編集画像判定部３１に供給する。
【０１８４】
次に、図１３のフローチャートを参照して、撮影装置５１の記録処理の一例について説明する。
【０１８５】
ステップＳ１７１において、制御部３８は、被写体の動画像の記録開始が指示されたか否かを判定する。
【０１８６】
動画像記録指示検知部３４から被写体の動画像の記録開始の検知結果が通知された場合、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ１７２に進む。ステップＳ１７２において、撮影装置５１は、オリジナル動画像記録処理を実行する。その後、処理はステップＳ５に進む。なお、オリジナル動画像記録処理の詳細については、図１４乃至図１６を参照して後述する。
【０１８７】
これに対して、動画像記録指示検知部３４から被写体の動画像の記録開始の検知結果が通知されない限り、ステップＳ１７１においてＮＯであると判定されて、処理はステップＳ１７３に進む。ステップＳ１７３において、制御部３８は、編集の指示がされたか否かを判定する。
【０１８８】
編集指示検知部３６から検知結果が通知された場合、ステップＳ１７３においてＹＥＳであると判定されて、処理はステップＳ１７４に進む。ステップＳ１７４において、撮影装置５１は、編集動画像記録処理を実行する。その後、処理はステップＳ１７５に進む。なお、編集動画像記録処理の詳細については、図１７を参照して後述する。
【０１８９】
これに対して、編集指示検知部３６から検知結果が通知されない限り、ステップＳ１７３においてＮＯであると判定されて、処理はステップＳ１７５に進む。
【０１９０】
ステップＳ１７５において、制御部３８は、処理の終了が指示されたか否かを判定する。
【０１９１】
なお、ステップＳ１７５の判定条件自体は特に限定されない。例えば本実施の形態では、撮影装置１１の図示せぬ電源スイッチがオフ状態にされたとき、処理の終了の指示がされたと判定されるとする。
【０１９２】
即ち、電源スイッチがオン状態である限り、ステップＳ１７５においてＮＯであると判定されて、処理はステップＳ１７１に戻され、それ以降の処理が繰り返される。
【０１９３】
そして、電源スイッチがオフ状態にされたとき、ステップＳ１７５においてＹＥＳであると判定されて、記録処理は終了となる。
【０１９４】
次に、図１４のフローチャートを参照して、図１３のステップＳ１７２のオリジナル動画像記録処理の一例について説明する。
【０１９５】
ステップＳ１８１において、被写体判定評価値算出部６１は、画像信号処理部２２から供給されるオリジナル動画像を構成する各フレームに対して所定のパラメータの評価値を生成する評価値算出処理を行う。なお、被写体判定評価値算出部６１による評価値算出処理は、被写体判定評価値算出部２５による図４の評価値算出処理のうちのステップＳ５５及びＳ５６を除いた処理であり、即ち、図４のステップＳ５４の後にステップＳ４１に戻る処理である。ただし、被写体判定評価値算出部６１による評価値算出処理では、図４のステップＳ５４の処理で生成する評価値データとして、図１６で後述するものを用いる。
【０１９６】
ステップＳ１８２において、被写体判定評価値算出部６１は、オリジナル動画像に生成した評価値を付加する。即ち例えば、被写体判定評価値算出部６１は、生成した評価値データを格納したメタファイルを生成し、そのメタファイルを付加したプロパティファイルをオリジナル動画像に付加する。なお、評価値データを格納したメタファイルの例については図１６を参照して後述し、また、プロパティファイルについては図１５を参照して後述する。
【０１９７】
ステップＳ１８３において、変換処理部２６は、被写体判定評価値算出部６１から供給されるオリジナル動画像を構成する複数のフレームのそれぞれに対して、解像度変換処理を施し、その結果得られるフレームのそれぞれで構成されるオリジナル動画像を圧縮伸張部２９に供給する。圧縮伸張部２９は、変換処理部２６から供給されるオリジナル動画像を構成する複数のフレームのそれぞれを圧縮し、その結果得られるフレームのそれぞれで構成されるオリジナル動画像を記録デバイス制御部３２に供給する。記録デバイス制御部３２は、圧縮伸張部２９から供給されるオリジナル動画像を記録デバイス３３に記録する。このようにして、変換処理部２６、圧縮伸張部２９、記録デバイス制御部３２、及び記録デバイス３３は、被写体判定評価値算出部６１から変換処理部２６に供給されるオリジナル動画像を記録デバイス３３に記録する。
【０１９８】
図１５は、記録デバイス３３に記録されるオリジナル動画像のファイル構造の例を示している。
【０１９９】
コンテンツファイルFc#i（1≦i≦n）は、例えば、各オリジナル動画像またはオリジナル動画像中の１シーンを格納している。
【０２００】
AVインデックスファイルFavは、プロパティファイルFp、サムネイル画像ファイルFs、及びメタデータファイルFmから構成される。なお、プロパティファイルFpには、コンテンツファイルFc#iをメタデータ化したファイル（以下、映像ファイルと称する）がエントリ＃iとして格納されている。その映像ファイル（エントリ＃ｉ）に対して、サムネイル画像ファイルFs及びメタデータファイルFmの対応するエントリ＃ｉへのリンクが張られている。
【０２０１】
ここで、図１５の例では、映像ファイルのみが、プロパティファィルFpのエントリ＃ｉとして格納されているように見える。しかしながら、本実施の形態では、図１６に示されるように、プロパティファィルFpのエントリ＃ｉには、映像ファイルのみならず、評価値データを格納したメタファイルも格納される場合がある。
【０２０２】
即ち、図１６は、評価値データを格納したメタファイルの例を示している。
【０２０３】
図１６の例では、プロパティファイルFpのうちのエントリ＃３，＃４に、メタファイルが格納されている。
【０２０４】
メタファイルのMeta Data Packにおいては、size，num_of_unitsに続いて、メタデータとしての評価値データを格納する領域が設けられている。この領域には、メタデータ種ID毎に、mバイトの評価値データが区分されて格納される。即ち、例えば、メタデータ種IDとフレームIDとを対応させれば、所定のメタデータ種IDの評価値データとは、対応するフレームIDを有するフレームの評価値データ（図５の評価値テーブルの１行分のデータ）を意味することになる。
【０２０５】
ここで、エントリ＃１とエントリ＃３とが点線矢印で対応付けられている。このことは、エントリ＃３には、エントリ＃１（映像ファイル）に対応するコンテンツファイルFc＃１（オリジナル動画像または所定のシーン）についてのメタファイルが格納されていることを意味する。即ち、エントリ＃３には、コンテンツファイルFc＃１（オリジナル動画像または所定のシーン）を構成する各フレームの評価値データが含まれていることになる。
【０２０６】
同様に、エントリ＃２とエントリ＃４とが点線矢印で対応付けられている。このことは、エントリ＃４には、エントリ＃２（映像ファイル）に対応するコンテンツファイルFc＃２（オリジナル動画像または所定のシーン）についてのメタファイルが格納されていることを意味する。即ち、エントリ＃４には、コンテンツファイルFc＃２（オリジナル動画像または所定のシーン）を構成する各フレームの評価値データが含まれていることになる。
【０２０７】
次に、図１７のフローチャートを参照して、図１３のステップＳ１７４の編集動画像記録処理の一例について説明する。
【０２０８】
ステップＳ２３１において、評価値データ取得部６２は、記録デバイス３３から記録デバイス制御部３２を介して評価値データを取得して前述した評価値テーブルを生成し、編集画像判定部３１に供給する。
【０２０９】
ステップＳ２３２において、編集画像判定部３１は、評価値データ取得部６２から供給される評価値テーブルに基づいて、フレームIDを集計し、集計したフレームIDを記録デバイス制御部３２に供給する集計処理を行う。なお、この集計処理は、図８または図１０に示した集計処理と同じ処理である。
【０２１０】
ステップＳ２３３において、記録デバイス制御部３２は、編集画像判定部３１から供給される（集計された）各フレームIDに対応するフレームを記録デバイス３３から順次読み出し、読み出したフレームを順次記録デバイス３３の別領域に記録することにより、読み出したフレームから構成される編集動画像を記録する編集動画像抽出記録処理を行う。なお、この編集動画像抽出記録処理は、図９に示した編集動画像抽出記録処理と同じ処理である。
【０２１１】
以上のように、撮影装置５１は、オリジナル動画像を記録するときに生成した各パラメータの評価値をオリジナル動画像に付加して記録するようにしたので、例えば、記憶したオリジナル動画像を後で容易に編集することが可能になり、ユーザの利便性が向上する。また、蓄積のための記憶領域を開放できる利点もある。
【０２１２】
以上においては、オリジナル動画像の記録と集計を伴う編集とが同じ装置内で実行されていたが、オリジナル動画像の記録と集計を伴う編集とを別々の装置で行うようにしてもよい。
【０２１３】
図１８は、上述したオリジナル動画像の記録と集計を伴う編集とを別々の装置で行う場合の撮影編集システム８０の構成例を示す図である。
【０２１４】
撮影編集システム８０は、撮影装置８１、記録デバイス８２、編集装置８３から構成される。
【０２１５】
撮影装置８１は、オリジナル動画像の記録指示を検知すると、オリジナル動画像を記録デバイス８２に記録するオリジナル動画像記録処理を行う。
【０２１６】
記録デバイス８２は、例えば、半導体メモリ等から構成される撮影装置８１及び編集装置８３に脱着可能な記録デバイスである。
【０２１７】
編集装置８３は、編集動画像の記録指示を検知すると、記録デバイス８２に記録されたオリジナル動画像に対して集計を伴う編集を行い、その結果得られる編集動画像を記録デバイス８２に記録する編集動画像記録処理を行う。
【０２１８】
次に、図１９のブロック図を参照して、撮影装置８１の機能的構成例について説明する。
【０２１９】
なお、図１９において、図１２における場合の対応する部分には同一の符号を付してあり、その説明を適宜省略する。
【０２２０】
図１９の撮影装置８１には、図１２における撮影装置５１の編集指示検知部３６、パラメータ指定指示検知部３７、評価値データ取得部６２、及び編集画像判定部３１が除かれている。また、図１９の撮影装置８１には、図１２における撮影装置５１の制御部３８に代えて、制御部９１が設けられている。また、図１９の撮影装置８１には、図１２における撮影装置５１の記録デバイス３３に代えて、記録デバイス８２が外部に接続されている。したがって、撮影装置８１は、撮影装置５１と同様にオリジナル動画像記録処理を行うことができる。
【０２２１】
なお、制御部９１は、動画像記録指示検知部３４及び静止画像記録指示検知部３５から供給される指示信号に基づいて、撮影装置８１の各部の処理を制御する。
【０２２２】
次に、図２０を参照して、編集装置８３の機能的構成例について説明する。
【０２２３】
なお、図２０において、図１２における場合の対応する部分には同一の符号を付してあり、その説明を適宜省略する。
【０２２４】
図２０の編集装置８３には、図１２における撮影装置５１のイメージセンサ２１乃至圧縮伸張部２９、記録デバイス３３乃至静止画像記録指示検知部３５、並びに被写体判定評価値付加部６１が除かれている。また、図１９の撮影装置８１には、図１２における撮影装置５１の制御部３８に代えて、制御部１０１が設けられている。また、図２０の編集装置８３には、図１２における撮影装置５１の記録デバイス３３に代えて、記録デバイス８２が外部に接続されている。したがって、撮影装置８１は、撮影装置５１と同様に編集動画像記録処理を行うことができる。
【０２２５】
なお、制御部１０１は、編集指示検知部３６及びパラメータ指定指示検知部３７から供給される指示信号に基づいて、編集装置８３の各部の処理を制御する。
【０２２６】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２２７】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２２８】
コンピュータにおいて、CPU１３１，ROM（Read Only Memory）１３２，RAM（Random Access Memory）１３３は、バス１３４により相互に接続されている。
【０２２９】
バス１３４には、さらに、入出力インタフェース１３５が接続されている。入出力インタフェース１３５には、キーボード、マウス、マイクロフォン等よりなる入力部１３６、ディスプレイ、スピーカ等よりなる出力部１３７、ハードディスクや不揮発性のメモリ等よりなる記憶部１３８、ネットワークインタフェース等よりなる通信部１３９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア１４１を駆動するドライブ１４０が接続されている。
【０２３０】
以上のように構成されるコンピュータでは、CPU１３１が、例えば、記憶部１３８に記憶されているプログラムを、入出力インタフェース１３５及びバス１３４を介して、RAM１３３にロードして実行することにより、上述した一連の処理が行われる。
【０２３１】
コンピュータ（CPU１３１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア１４１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２３２】
そして、プログラムは、リムーバブルメディア１４１をドライブ１４０に装着することにより、入出力インタフェース１３５を介して、記憶部１３８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１３９で受信し、記憶部１３８にインストールすることができる。その他、プログラムは、ROM１３２や記憶部１３８に、あらかじめインストールしておくことができる。
【０２３３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２３５】
【図１】本発明を適用した撮影装置１１の機能的構成例を示すブロック図である。
【図２】記録処理の一例を示すフローチャートである。
【図３】図２のステップＳ２のオリジナル動画像記録処理の一例を示すフローチャートである。
【図４】図３のステップＳ２１の評価値算出処理の一例を示すフローチャートである。
【図５】評価値テーブルの例を示す図である。
【図６】評価値テーブルの他の例を示す図である。
【図７】図２のステップＳ４の編集動画像記録処理の一例を示すフローチャートである。
【図８】図７のステップＳ７２の集計処理の一例を示すフローチャートである。
【図９】図７のステップＳ７３の編集動画像抽出記録処理の一例を示すフローチャートである。
【図１０】図７のステップＳ７２の集計処理の一例を示すフローチャートである。
【図１１】係数更新処理の一例を示すフローチャートである。
【図１２】撮影装置５１の機能的構成例を示すブロック図である。
【図１３】記録処理の一例を示すフローチャートである。
【図１４】図１３のステップＳ１７２のオリジナル動画像記録処理の一例を示すフローチャートである。
【図１５】記録デバイス３３に記録されるオリジナル動画像のファイル構造の例を示す図である。
【図１６】評価値データを格納したメタファイルの例を示す図である。
【図１７】図１３のステップＳ１７４の編集動画像記録処理の一例を示すフローチャートである。
【図１８】撮影編集システム８０の構成例を示す図である。
【図１９】撮影装置８１の機能的構成例を示すブロック図である。
【図２０】編集装置８３の機能的構成例を示すブロック図である。
【図２１】本発明を適用したコンピュータのハードウエアの構成例を示すブロック図である。
【符号の説明】
【０２３６】
１１  撮影装置，  ２１  イメージセンサ，  ２２  画像信号処理部，  ２３  マイクロフォン，  ２４  音声信号処理部，  ２５  被写体判定評価値算出部，  ２６  変換処理部，  ２７  表示処理部，  ２８  表示部，  ２９  圧縮伸張部，  ３０  評価値データ蓄積部，  ３１  編集画像判定部，  ３２  記録デバイス制御部，  ３３  記録デバイス，  ３４  動画像記録指示検知部，  ３５  静止画像記録指示検知部，  ３６  編集指示検知部，  ３７  パラメータ指定指示検知部，  ３８  制御部，  ５１  撮影装置，  ６１  被写体判定評価値付加部，  ６２  評価値データ取得部，  ８１  撮影装置，  ８２  記録デバイス，  ８３  編集装置，  ９１  制御部，  １０１  制御部，  １３１  CPU，  １３２  ROM，  １３３  RAM，  １３４  バス，  １３５  入出力インタフェース，  １３６  入力部，  １３７  出力部，  １３８  記憶部，  １３９  通信部，  １４０  ドライブ，  １４１  リムーバブルメディア
【図１】
2009212575.tif 000003
【図２】
2009212575.tif 000004
【図３】
2009212575.tif 000005
【図４】
2009212575.tif 000006
【図５】
2009212575.tif 000007
【図６】
2009212575.tif 000008
【図７】
2009212575.tif 000009
【図８】
2009212575.tif 000010
【図９】
2009212575.tif 000011
【図１０】
2009212575.tif 000012
【図１１】
2009212575.tif 000013
【図１２】
2009212575.tif 000014
【図１３】
2009212575.tif 000015
【図１４】
2009212575.tif 000016
【図１５】
2009212575.tif 000017
【図１６】
2009212575.tif 000018
【図１７】
2009212575.tif 000019
【図１８】
2009212575.tif 000020
【図１９】
2009212575.tif 000021
【図２０】
2009212575.tif 000022
【図２１】
2009212575.tif 000023