(57)【要約】【課題】ユーザにより指定された人物に基づいて抽出した画像データと抽出元の画像データの両方を簡単かつ迅速に取得する。【解決手段】  制御部５３は、撮像部１１からの画像データまたは集音部１２からの音声データから、ユーザにより指定されたターゲットを検出し、検出結果に基づいて抽出範囲を設定する。ドライブ３４は、制御部３４の制御の基に、AVデータの記録と並行してAVデータの抽出範囲を記録媒体１４から読出す。ドライブ５２は、制御部５３の制御の基に、AVデータの抽出範囲を記録媒体１５に記録する。本発明は、ビデオカメラに適用することができる。【選択図】図１
2007013256.tif 000002
【特許請求の範囲】
【請求項１】
入力されたAV（Audio Visual）データであって、画像データを含むAVデータの第１の記録媒体への記録を制御する第１の記録制御手段と、
ユーザにより指定された人物である検出対象を前記AVデータから検出する検出手段と、
前記検出対象の検出結果に基づいて、前記AVデータから抽出する範囲である抽出範囲を設定する設定手段と、
前記第１の記録媒体への前記AVデータの記録と並行して、前記AVデータの前記抽出範囲を前記第１の記録媒体から読出すように前記AVデータの読出しを制御する読出し制御手段と、
前記AVデータの前記抽出範囲の第２の記録媒体への記録を制御する第２の記録制御手段と
を含む記録装置。
【請求項２】
前記検出手段は、画像認識の手法を用いて、前記画像データから前記検出対象の画像を検出する
請求項１に記載の記録装置。
【請求項３】
過去に前記検出対象に指定されたことのある人物を一覧にして、ユーザに前記検出対象を選択させる画面を表示手段に表示させるように前記表示手段の表示を制御する表示制御手段を
さらに含む請求項１に記載の記録装置。
【請求項４】
前記AVデータは音声データをさらに含み、
前記検出手段は、音声認識の手法を用いて、前記音声データから前記検出対象の声を検出する
請求項１に記載の記録装置。
【請求項５】
前記設定手段は、前記検出対象が検出された場面を前記抽出範囲に設定する
請求項１に記載の記録装置。
【請求項６】
前記設定手段は、ユーザからの指令に基づいて、前記検出対象が検出された場面、または、前記検出対象が検出されなかった場面のいずれかを前記抽出範囲に設定する
請求項１に記載の記録装置。
【請求項７】
前記設定手段は、複数の前記検出対象が指定されている場合、ユーザからの指令に基づいて、前記検出対象のうち少なくとも１人が検出された場面、または、全ての前記検出対象が検出された場面のみのいずれかを前記抽出範囲に設定する
請求項１に記載の記録装置。
【請求項８】
前記設定手段は、前記抽出範囲の開始時刻および終了時刻を示す情報を前記読出し制御手段に供給し、
前記読出し制御手段は、前記開始時刻および前記終了時刻に基づいて、前記AVデータの前記抽出範囲を読出すように制御する
請求項１に記載の記録装置。
【請求項９】
前記抽出範囲を抽出する条件を示すデータ、前記検出対象に関するデータ、または、前記抽出範囲を示すデータを含むオプションデータを生成する生成手段を
さらに含み、
前記第２の記録制御手段は、前記オプションデータを前記AVデータの前記抽出範囲に関連づけて、前記第２の記録媒体に記録するように制御する
請求項１に記載の記録装置。
【請求項１０】
入力されたAVデータであって、画像データを含むAVデータの第１の記録媒体への記録を制御する第１の記録制御ステップと、
ユーザにより指定された人物である検出対象を前記AVデータから検出する検出ステップと、
前記検出対象の検出結果に基づいて、前記AVデータから抽出する範囲である抽出範囲を設定する設定ステップと、
前記第１の記録媒体への前記AVデータの記録と並行して、前記AVデータの前記抽出範囲を前記第１の記録媒体から読出すように前記AVデータの読出しを制御する読出し制御ステップと、
前記AVデータの前記抽出範囲を第２の記録媒体への記録を制御する第２の記録制御ステップと
を含む記録方法。
【請求項１１】
入力されたAVデータであって、画像データを含むAVデータの第１の記録媒体への記録を制御する第１の記録制御ステップと、
ユーザにより指定された人物である検出対象を前記AVデータから検出する検出ステップと、
前記検出対象の検出結果に基づいて、前記AVデータから抽出する範囲である抽出範囲を設定する設定ステップと、
前記第１の記録媒体への前記AVデータの記録と並行して、前記AVデータの前記抽出範囲を前記第１の記録媒体から読出すように前記AVデータの読出しを制御する読出し制御ステップと、
前記AVデータの前記抽出範囲の第２の記録媒体への記録を制御する第２の記録制御ステップと
をコンピュータに実行させるプログラム。
【請求項１２】
請求項１１に記載のプログラムが記録されている記録媒体。
【請求項１３】
撮像した画像の画像データを出力する撮像手段と、
前記画像データを含むAVデータの第１の記録媒体への記録を制御する第１の記録制御手段と、
ユーザにより指定された人物である検出対象を前記AVデータから検出する検出手段と、
前記検出対象の検出結果に基づいて、前記AVデータから抽出する範囲である抽出範囲を設定する設定手段と、
前記第１の記録媒体への前記AVデータの記録と並行して、前記AVデータの前記抽出範囲を前記第１の記録媒体から読出すように前記AVデータの読出しを制御する読出し制御手段と、
前記AVデータの前記抽出範囲の第２の記録媒体への記録を制御する第２の記録制御手段と
を含む撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、記録装置および方法、記録媒体、および、プログラムに関し、特に、指定した人物に基づいて抽出した画像データを記録できるようにした撮像装置、記録装置および方法、記録媒体、および、プログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラなどで記録した画像データのうち、人物が写っている場面を抽出したいというユーザの要望があった。そこで、人の顔を確実に認識できた場合に限り撮影する（画像信号を記憶する）記録システムが提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００３−９２７０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、人の顔を確実に認識できた場合に限り撮影するようにした場合、ユーザが必要とする場面であっても、人の顔を確実に認識できない場面は撮影できない。一方、一度記録した画像データからユーザが必要な場面を抽出した画像データを生成する場合、編集機材が必要となるとともに、編集する時間と手間を要してしまう。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、ユーザにより指定された人物に基づいて抽出した画像データと抽出元の画像データの両方を簡単かつ迅速に取得することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の側面は、入力されたAV（Audio Visual）データであって、画像データを含むAVデータの第１の記録媒体への記録を制御する第１の記録制御手段（ステップ）と、ユーザにより指定された人物である検出対象をAVデータから検出する検出手段（ステップ）と、検出対象の検出結果に基づいて、AVデータから抽出する範囲である抽出範囲を設定する設定手段（ステップ）と、第１の記録媒体へのAVデータの記録と並行して、AVデータの抽出範囲を第１の記録媒体から読出すようにAVデータの読出しを制御する読出し制御手段（ステップ）と、AVデータの抽出範囲の第２の記録媒体への記録を制御する第２の記録制御手段（ステップ）とを含む記録装置（記録方法、プログラム、または、記録媒体）である。
【０００７】
前記検出手段には、画像認識の手法を用いて、画像データから検出対象の画像を検出させるようにすることができる。
【０００８】
過去に検出対象に指定されたことのある人物を一覧にして、ユーザに検出対象を選択させる画面を表示手段に表示させるように表示手段の表示を制御する表示制御手段をさらに設けることができる。
【０００９】
前記AVデータは音声データをさらに含み、前記検出手段には、音声認識の手法を用いて、音声データから検出対象の声を検出させるようにすることができる。
【００１０】
前記設定手段には、検出対象が検出された場面を抽出範囲に設定させるようにすることができる。
【００１１】
前記設定手段は、ユーザからの指令に基づいて、検出対象が検出された場面、または、検出対象が検出されなかった場面のいずれかを抽出範囲に設定させるようにすることができる。
【００１２】
前記設定手段には、複数の検出対象が指定されている場合、ユーザからの指令に基づいて、検出対象のうち少なくとも１人が検出された場面、または、全ての検出対象が検出された場面のみのいずれかを抽出範囲に設定させるようにすることができる。
【００１３】
前記設定手段には、抽出範囲の開始時刻および終了時刻を示す情報を読出し制御手段に供給させ、前記読出し制御手段は、開始時刻および終了時刻に基づいて、AVデータの抽出範囲を読出すように制御させるようにすることができる。
【００１４】
抽出範囲を抽出する条件を示すデータ、検出対象に関するデータ、または、抽出範囲を示すデータを含むオプションデータを生成する生成手段をさらに設け、前記第２の記録制御手段には、オプションデータをAVデータの抽出範囲に関連づけて、第２の記録媒体に記録するように制御させるようにすることができる。
【００１５】
本発明の第２の側面は、撮像した画像の画像データを出力する撮像手段と、画像データを含むAVデータの第１の記録媒体への記録を制御する第１の記録制御手段と、ユーザにより指定された人物である検出対象をAVデータから検出する検出手段と、検出対象の検出結果に基づいて、AVデータから抽出する範囲である抽出範囲を設定する設定手段と、第１の記録媒体へのAVデータの記録と並行して、AVデータの抽出範囲を第１の記録媒体から読出すようにAVデータの読出しを制御する読出し制御手段と、AVデータの抽出範囲の第２の記録媒体への記録を制御する第２の記録制御手段とを含む撮像装置である。
【００１６】
本発明の第１の側面においては、入力されたAVデータであって、画像データを含むAVデータの第１の記録媒体への記録が制御され、ユーザにより指定された人物である検出対象がAVデータから検出され、検出対象の検出結果に基づいて、AVデータから抽出する範囲である抽出範囲が設定され、第１の記録媒体へのAVデータの記録と並行して、AVデータの抽出範囲を第１の記録媒体から読出すようにAVデータの読出しが制御され、AVデータの抽出範囲の第２の記録媒体への記録が制御される。
【００１７】
本発明の第２の側面においては、撮像した画像の画像データが出力され、画像データを含むAVデータの第１の記録媒体への記録が制御され、ユーザにより指定された人物である検出対象がAVデータから検出され、検出対象の検出結果に基づいて、AVデータから抽出する範囲である抽出範囲が設定され、第１の記録媒体へのAVデータの記録と並行して、AVデータの抽出範囲を第１の記録媒体から読出すようにAVデータの読出しが制御され、AVデータの抽出範囲の第２の記録媒体への記録が制御される。
【発明の効果】
【００１８】
以上のように、本発明の第１の側面または第２の側面によれば、画像データを記録することができる。また、本発明の第１の側面によれば、ユーザにより指定された人物に基づいて抽出した画像データと抽出元の画像データの両方を簡単かつ迅速に取得することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
本発明の第１の側面の記録装置（例えば、図１のデータ記録部１３）は、入力されたAVデータであって、画像データを含むAVデータの第１の記録媒体（例えば、図１の記録媒体１４）への記録を制御する第１の記録制御手段（例えば、図２のオリジナルデータ記録制御部１０３）と、ユーザにより指定された人物である検出対象（例えば、ターゲット）を前記AVデータから検出する検出手段（例えば、図３のターゲット検出部１２１）と、前記検出対象の検出結果に基づいて、前記AVデータから抽出する範囲である抽出範囲を設定する設定手段（例えば、図３の抽出範囲設定部１２２）と、前記第１の記録媒体への前記AVデータの記録と並行して、前記AVデータの前記抽出範囲を前記第１の記録媒体から読出すように前記AVデータの読出しを制御する読出し制御手段（例えば、図２の読出し制御部１０４）と、前記AVデータの前記抽出範囲の第２の記録媒体（例えば、図１の記録媒体１５）への記録を制御する第２の記録制御手段（例えば、図３の抽出データ記録制御部１２４）とを含む。
【００２１】
この記録装置においては、予めユーザにより登録されている人物を一覧にして表示するように表示手段（例えば、図１の表示部３５）の表示を制御する表示制御手段（例えば、図２のユーザ設定制御部１０１）をさらに設け、前記検出手段は、前記一覧に表示された前記人物の中からユーザにより指定された前記検出対象を検出するようにすることができる。
【００２２】
この記録装置においては、前記抽出範囲を抽出する条件を示すデータ、前記検出対象に関するデータ、または、前記抽出範囲を示すデータを含むオプションデータを生成する生成手段（例えば、図３のオプションデータ生成部１２３）をさらに設け、前記第２の記録制御手段は、前記オプションデータを前記AVデータの前記抽出範囲に関連づけて、前記第２の記録媒体に記録するように制御するようにすることができる。
【００２３】
本発明の第１の側面の記録方法またはプログラムは、入力されたAVデータであって、画像データを含むAVデータの第１の記録媒体（例えば、図１の記録媒体１４）への記録を制御する第１の記録制御ステップ（例えば、図４のステップＳ９、Ｓ３０、図５のステップＳ２３、または、Ｓ２５）と、ユーザにより指定された人物である検出対象を前記AVデータから検出する検出ステップ（例えば、図４のステップＳ１１）と、前記検出対象の検出結果に基づいて、前記AVデータから抽出する範囲である抽出範囲を設定する設定ステップ（例えば、図４のステップＳ１３または図５のステップＳ１９）と、前記第１の記録媒体への前記AVデータの記録と並行して、前記AVデータの前記抽出範囲を前記第１の記録媒体から読出すように前記AVデータの読出しを制御する読出し制御ステップ（例えば、図５のステップＳ１４、Ｓ２０、または、Ｓ２７）と、前記AVデータの前記抽出範囲を第２の記録媒体（例えば、図１の記録媒体１５）への記録を制御する第２の記録制御ステップ（例えば、図５のステップＳ１５、Ｓ２１、または、Ｓ２８）とを含む。
【００２４】
本発明の第２の側面の撮像装置（例えば、図１の記録システム１）は、撮像した画像の画像データを出力する撮像手段（例えば、図１の撮像部１１）と、前記画像データを含むAVデータの第１の記録媒体（例えば、図１の記録媒体１４）への記録を制御する第１の記録制御手段（例えば、図２のオリジナルデータ記録制御部１０３）と、ユーザにより指定された人物である検出対象（例えば、ターゲット）を前記AVデータから検出する検出手段（例えば、図３のターゲット検出部１２１）と、前記検出対象の検出結果に基づいて、前記AVデータから抽出する範囲である抽出範囲を設定する設定手段（例えば、図３の抽出範囲設定部１２２）と、前記第１の記録媒体への前記AVデータの記録と並行して、前記AVデータの前記抽出範囲を前記第１の記録媒体から読出すように前記AVデータの読出しを制御する読出し制御手段（例えば、図２の読出し制御部１０４）と、前記AVデータの前記抽出範囲の第２の記録媒体（例えば、図１の記録媒体１５）への記録を制御する第２の記録制御手段（例えば、図３の抽出データ記録制御部１２４）とを含む。
【００２５】
以下、図を参照して、本発明の実施の形態について説明する。
【００２６】
図１は、本発明を適用した記録システム１の一実施の形態を示すブロック図である。
【００２７】
記録システム１は、撮像部１１、集音部１２、および、データ記録部１３を含むように構成される。
【００２８】
撮像部１１は、CCD（Charge Coupled Device）、CMOS（Complementary Metal Oxide Semiconductor）などの撮像素子を備えたカメラ、A/D（Analog/Digital）コンバータなどからなり、被写体を撮像し、被写体に対応する映像信号をA/D変換したデジタルの画像データをベースバンド処理部３１、並びに、通信部３８および通信部５１を介して、制御部５３に入力する。
【００２９】
集音部１２は、マイクロホン、A/Dコンバータなどからなり、集音した音声の音声信号をA/D変換したデジタルの音声データをベースバンド処理部３１、並びに、通信部３８および通信部５１を介して、制御部５３に入力する。
【００３０】
データ記録部１３は、撮像部１１から入力された画像データおよび集音部１２から入力された音声データを多重化したデータ（以下、AVデータと称する）を記録媒体１４に記録する。また、データ記録部１３は、記録媒体１４へのAVデータの記録と並行して、ユーザにより指定された人物（以下、ターゲットとも称する）の検出結果に基づいて、記録媒体１４に記録したAVデータの全部または一部を抽出したAVデータを記録媒体１５に記録する。なお、以下、記録媒体１４に記録されるAVデータをオリジナルデータと称し、記録媒体１４に記録したAVデータの全部または一部を抽出した記録媒体１５に記録されるAVデータを抽出データとも称する。
【００３１】
データ記録部１３は、オリジナルデータ記録部２１および抽出データ記録部２２を含むように構成される。
【００３２】
オリジナルデータ記録部２１は、オリジナルデータを記録媒体１４に記録する。
【００３３】
抽出データ記録部２２は、オリジナルデータ記録部２１から供給される抽出データを記録媒体１５に記録する。
【００３４】
なお、撮像部１１、集音部１２、オリジナルデータ記録部２１、および、抽出データ記録部２２を一つの装置により構成するようにしてもよいし、いくつかを組み合わせたり、それぞれ別個にしたりして、複数の装置により構成するようにしてもよい。
【００３５】
オリジナルデータ記録部２１は、ベースバンド処理部３１、コーデック３２、マルチプレクサ／デマルチプレクサ（MUX/DMUX）３３、ドライブ３４、表示部３５、スピーカ３６、操作部３７、通信部３８、および、制御部３９を含むように構成される。
【００３６】
ベースバンド処理部３１は、制御部３９の制御の基に、撮像部１１から供給される画像データに対して、画角の設定、加工処理（例えば、フェーダ処理など）、および、ノイズ除去などの各種の画像処理を施す。ベースバンド処理部３１は、画像処理を施した画像データをコーデック３２または表示部３５に供給する。また、ベースバンド処理部３１は、制御部３９の制御の基に、集音部１２から供給される音声データに対して、加工処理（例えば、フェーダ処理）、および、ノイズ除去などの各種の音声処理を施す。ベースバンド処理部３１は、音声処理を施した音声データをコーデック３２またはスピーカ３６に供給する。
【００３７】
コーデック３２は、制御部３９の制御の基に、ベースバンド処理部３１から供給される画像データを、例えば、MPEG（Motion Picture Experts Group）２，MPEG（Motion Picture Experts Group）４，モーションJPEG（Joint Photographic Experts Group）などの方式の画像データにエンコード（符号化）する。コーデック３２は、エンコードした画像データをマルチプレクサ／デマルチプレクサ３３に供給する。また、コーデック３２は、制御部３９の制御の基に、ベースバンド処理部３１から供給される音声データを、例えば、AC3（Audio Code Number 3），AAC（Advanced Audio Coding）などの方式の音声データにエンコード（符号化）する。コーデック３２は、エンコードした音声データをマルチプレクサ／デマルチプレクサ３３に供給する。
【００３８】
さらに、コーデック３２は、制御部３９の制御の基に、マルチプレクサ／デマルチプレクサ３３から供給される画像データをデコードする。コーデック３２は、デコードした画像データを表示部３５に供給する。また、コーデック３２は、制御部３９の制御の基に、マルチプレクサ／デマルチプレクサ３３から供給される音声データをデコードする。コーデック３２は、デコードした音声データをスピーカ３６に供給する。
【００３９】
マルチプレクサ／デマルチプレクサ３３は、制御部３９の制御の基に、コーデック３２から供給される画像データおよび音声データを多重化することによりAVデータを生成する。マルチプレクサ／デマルチプレクサ３３は、生成したAVデータをドライブ３４に供給する。また、マルチプレクサ／デマルチプレクサ３３は、記録媒体１４から読み出されたAVデータをドライブ３４から取得する。マルチプレクサ／デマルチプレクサ３３は、制御部３９の制御の基に、ドライブ３４から取得したAVデータを画像データと音声データとに分離する。マルチプレクサ／デマルチプレクサ３３は、分離した画像データおよび音声データをコーデック３２に供給する。
【００４０】
ドライブ３４は、制御部３９の制御の基に、マルチプレクサ／デマルチプレクサ３３から供給されるAVデータ、または、制御部３９から供給されるデータやファイルを記録媒体１４に記録する。また、ドライブ３４は、制御部３９の制御の基に、記録媒体１４に記録されているAVデータなどのデータやファイルを読み出す。ドライブ３４は、必要に応じて、読み出したデータやファイルをマルチプレクサ／デマルチプレクサ３３、制御部３９、または、通信部３８および通信部５１を介して、ドライブ５２に供給する。なお、ドライブ３４は、例えば、処理を時分割して行うことにより、記録媒体１４へのデータの記録と記録媒体１４からのデータの読出しを並行して行うことができる。
【００４１】
なお、例えば、記録媒体１４を容易に交換できないハードディスクにより構成し、ドライブ３４および記録媒体１４を一体にしたハードディスクドライブとして構成するようにしてもよいし、記録媒体１４を磁気ディスク、光ディスク、または光磁気ディスクなどの着脱可能なリムーバブルメディアにより構成し、適宜ドライブ３４に装着するようにしてもよい。
【００４２】
表示部３５は、例えば、LCD（Liquid Crystal Display）により構成され、ベースバンド処理部３１、または、コーデック３２から供給される画像データに基づく画像を表示する。
【００４３】
スピーカ３６は、ベースバンド処理部３１、または、コーデック３２から供給される音声データに基づく音声を出力する。
【００４４】
操作部３７は、例えば、スイッチやボタンなどにより構成され、ユーザが記録システム１に各種の処理の指令やデータなどを入力するときに操作される。
【００４５】
通信部３８は、通信部５１と通信を行い、各種のデータ、情報などの送受信を行う。
【００４６】
制御部３９は、例えば、汎用のCPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）、またはMPU（Micro Processing Unit）などからなる。制御部３９は、ユーザが操作部３７を用いて入力した処理の指令やデータなどの入力を受け、入力された処理の指令に基づいて、プログラムを実行することにより、オリジナルデータ記録部２１の各種の処理を制御する。
【００４７】
抽出データ記録部２２は、通信部５１、ドライブ５２、および、制御部５３を含むように構成される。
【００４８】
通信部５１は、通信部３８と通信を行い、各種のデータ、情報などの送受信を行う。
【００４９】
なお、オリジナルデータ記録部２１と抽出データ記録部２２が一つの装置に含まれるように構成される場合、通信部３８と通信部５１は、例えば、バス、ケーブルなどにより接続され、通信を行う。
【００５０】
また、オリジナルデータ記録部２１と抽出データ記録部２２が別個の装置として構成される場合、通信部３８と通信部５１は、有線通信または無線通信により通信を行う。無線通信の場合、例えば、IEEE（Institute of Electrical and Electronic Engineers）802.11（802.11a，802.11b，802.11gなど）により規定される無線LAN（Local Area Network）の規格、W-CDMA（Wideband Code Division Multiple Access）、PIAFS（Personal Handyphone System Internet Access Forum Standard）などの携帯電話やPHS（Personal Handyphone System）の通信規格、ブルートゥース（商標）などの規格を適用することができる。さらに、有線通信の場合、例えば、IEEE802.3などで規定されるイーサネット（登録商標）などの規格を適用することができる。また、通信部３８と通信部５１が、例えば、直接通信を行うようにしてもよいし、インターネットなどのネットワークを介して通信を行うようにしてもよい。
【００５１】
ドライブ５２は、制御部５３の制御の基に、通信部５１から供給されるAVデータ、または、制御部５３から供給されるデータやファイルを記録媒体１５に記録する。
【００５２】
なお、オリジナルデータ記録部２１と抽出データ記録部２２が一つの装置に含まれるように構成される場合、記録媒体１５を、記録媒体１４と異なる場所に簡単に持ち運べるように、例えば、磁気ディスク、光ディスク、または光磁気ディスクなどの着脱可能なリムーバブルメディアにより構成することが望ましい。また、オリジナルデータ記録部２１と抽出データ記録部２２が別個の装置として構成される場合、例えば、記録媒体１５を容易に交換できないハードディスクにより構成し、ドライブ５２および記録媒体１５を一体にしたハードディスクドライブとして構成するようにしてもよいし、上述したリムーバブルメディアにより構成するようにしてもよい。
【００５３】
制御部５３は、例えば、汎用のCPU、ROM、およびRAM、またはMPUなどからなる。制御部５３は、通信部３８および通信部５１を介して、制御部３９から供給される各種の処理の指令、データ、情報などに基づいて、プログラムを実行することにより、抽出データ記録部２２の各種の処理を制御する。
【００５４】
なお、オリジナルデータ記録部２１と抽出データ記録部２２が一つの装置に含まれるように構成される場合、制御部３９および制御部５３を一つにして、一つの制御部がオリジナルデータ記録部２１および抽出データ記録部２２の各種の処理を制御するようにしてもよい。
【００５５】
図２は、所定のプログラムを実行することにより制御部３９により実現される機能の構成の例を示すブロック図である。制御部３９が、所定のプログラムを実行することにより、ユーザ設定制御部１０１、データ処理制御部１０２、オリジナルデータ記録制御部１０３、読出し制御部１０４、および、特徴量記録制御部１０５を含む機能が実現される。
【００５６】
ユーザ設定制御部１０１は、操作部３７を操作することによりユーザにより入力された指令（以下、ユーザ指令とも称する）に基づいて、抽出データの記録を行うための設定が指令されたと判定した場合、図６または図７を参照して後述するターゲットの設定画面の表示を指令する情報をデータ処理制御部１０２に供給し、画像データに写っている人物の位置の検出を指令する情報を、通信部３８および通信部５１を介して制御部５３に供給する。これに対して、ユーザ設定制御部１０１は、画像データに写っている人物の位置を示す情報を、通信部５１および通信部３８を介して制御部５３から取得する。また、ユーザ設定制御部１０１は、表示部３５を制御して、ターゲットの設定画面を表示させるとともに、操作を指示するためのガイダンス音声をスピーカ３６から出力させる。
【００５７】
ユーザ設定制御部１０１は、操作部３７を操作することによりユーザにより入力される各種の設定情報、例えば、ユーザにより指定されたターゲットを示す情報（以下、ターゲット指定情報と称する）、ターゲットを検出する方法を示す情報（以下、検出方法情報と称する）、オリジナルデータから抽出データを抽出する範囲（以下、抽出範囲と称する）を設定する条件を示す情報（以下、抽出条件情報と称する）、または、抽出データと関連づけて記録するオプションデータの設定を示す情報（以下、オプション設定情報と称する）を取得する。ユーザ設定制御部１０１は、通信部３８および通信部５１を介して制御部５３に、ターゲット指定情報、検出方法情報、抽出条件情報、および、オプション設定情報を供給する。
【００５８】
データ処理制御部１０２は、ユーザ指令に基づいて、ベースバンド処理部３１、コーデック３２、および、マルチプレクサ／デマルチプレクサ３３を制御して、撮像部１１から入力された画像データおよび集音部１２から入力された音声データからAVデータを生成させ、生成させたAVデータをドライブ３４に供給させる。また、データ処理制御部１０２は、ユーザ指令に基づいて、コーデック３２およびマルチプレクサ／デマルチプレクサ３３を制御して、ドライブ３４により記録媒体１４から読み出されたAVデータを、画像データと音声データに分離させ、分離した画像データと音声データをデコードさせる。
【００５９】
さらに、データ処理制御部１０２は、ベースバンド処理部３１を制御して、画像処理を施した画像データを表示部３５に供給させ、音声処理を施した音声データをスピーカ３６に供給させる。また、データ処理制御部１０２は、コーデック３２を制御して、デコードした画像データを表示部３５に供給させ、デコードした音声データをスピーカ３６に供給させる。
【００６０】
オリジナルデータ記録制御部１０３は、ユーザ指令に基づいて、ドライブ３４を制御して、マルチプレクサ／デマルチプレクサ３３から供給されるAVデータ（オリジナルデータ）、または、オリジナルデータ記録制御部１０３が供給するデータやファイルを記録媒体１４に記録させる。また、オリジナルデータ記録制御部１０３は、オリジナルデータの記録を開始したことを示す情報を、通信部３８および通信部５１を介して、制御部５３に供給する。さらに、オリジナルデータ記録制御部１０３は、オリジナルデータの記録を停止したことを示す情報を、読出し制御部１０４、並びに、通信部３８および通信部５１を介して制御部５３に供給する。
【００６１】
読出し制御部１０４は、ユーザ指令に基づいて、ドライブ３４を制御して、記録媒体１４に記録されているAVデータなどのデータやファイルを読み出させ、読み出させたデータやファイルをマルチプレクサ／デマルチプレクサ３３、または、読出し制御部１０４に供給させる。
【００６２】
また、読出し制御部１０４は、抽出範囲の開始位置を示す情報（以下、開始位置情報と称する）、および、終了位置を示す情報（以下、終了位置情報と称する）を、通信部５１および通信部３８を介して、制御部５３から取得する。さらに、読出し制御部１０４は、開始位置情報および終了位置情報に基づいて、ドライブ３４を制御して、AVデータの抽出範囲を記録媒体１４から読み出させ、読み出させたAVデータ、すなわち、抽出データを、通信部３８および通信部５１を介して、ドライブ５２に供給させる。
【００６３】
特徴量記録制御部１０５は、画像データまたは音声データに基づいて検出された、ターゲットの特徴を示すデータである特徴量データを、通信部５１および通信部３８を介して制御部５３から取得する。特徴量記録制御部１０５は、ドライブ３４を制御して、ターゲットの画像データおよびターゲットの声の音声データを含むAVデータと特徴量データとを関連づけて記録媒体１４に記録させる。
【００６４】
図３は、所定のプログラムを実行することにより制御部５３により実現される機能の構成の例を示すブロック図である。制御部５３が、所定のプログラムを実行することにより、ターゲット検出部１２１、抽出範囲設定部１２２、オプションデータ生成部１２３、および、抽出データ記録制御部１２４を含む機能が実現される。
【００６５】
ターゲット検出部１２１は、通信部３８および通信部５１を介して、撮像部１１から入力される画像データを取得し、集音部１２から音声データを取得する。また、ターゲット検出部１２１は、通信部３８および通信部５１を介してユーザ設定制御部１０１から、検出方法情報および抽出条件情報を取得する。さらに、ターゲット検出部１２１は、オリジナルデータの記録を開始または停止したことを示す情報を、通信部３８および通信部５１を介して、オリジナルデータ記録制御部１０３から取得する。
【００６６】
また、ターゲット検出部１２１は、画像データに写っている人物の位置の検出を指令する情報を、通信部３８および通信部５１を介して、ユーザ設定制御部１０１から取得した場合、画像データに写っている人物の位置を検出する。ターゲット検出部１２１は、検出した人物の位置を示す情報を、通信部５１および通信部３８を介してユーザ設定制御部１０１に供給する。
【００６７】
さらに、ターゲット検出部１２１は、撮像部１１から入力された画像データの中に写っているターゲットの画像に基づいて、ターゲットを認識するために必要な特徴を検出する。また、ターゲット検出部１２１は、集音部１２から取得した音声データに基づいて、ターゲットを認識するために必要な声の特徴を検出する。ターゲット検出部１２１は、検出した特徴を示すデータである特徴量データを、通信部５１および通信部３８を介して特徴量記録制御部１０５に供給する。
【００６８】
また、ターゲット検出部１２１は、各種の画像認識（人物認識）の手法を用いて、撮像部１１から入力される画像データの中からターゲットの画像を検出する。また、ターゲット検出部１２１は、各種の音声認識の手法を用いて、通信部３８および通信部５１を介して、集音部１２から入力される音声データからターゲットの声を検出する。ターゲット検出部１２１は、ターゲットの検出結果を示す情報（以下、ターゲット検出情報と称する）を抽出範囲設定部１２２に供給する。
【００６９】
抽出範囲設定部１２２は、通信部３８および通信部５１を介してユーザ設定制御部１０１から、ターゲット指定情報および抽出条件情報を取得する。抽出範囲設定部１２２は、ターゲット指定情報、抽出条件情報、および、ターゲット検出情報に基づいて、ユーザにより設定されている抽出条件を満たすオリジナルデータの範囲（抽出範囲）を検出する。抽出範囲設定部１２２は、抽出範囲の開始位置を示す開始位置情報および終了位置を示す終了位置情報を、抽出データ記録制御部１２４、並びに、通信部５１および通信部３８を介して、読出し制御部１０４に供給する
【００７０】
オプションデータ生成部１２３は、通信部３８および通信部５１を介してユーザ設定制御部１０１からオプション設定情報を取得する。また、オプションデータ生成部１２３は、必要に応じて、ターゲット検出部１２１から、ターゲット指定情報および検出方法情報を取得し、抽出範囲設定部１２２から抽出条件情報を取得する。オプションデータ生成部１２３は、ターゲット指定情報、検出方法情報、抽出条件情報、または、オプション設定情報に基づいて、オプションデータを生成し、生成したオプションデータを抽出データ記録制御部１２４に供給する。
【００７１】
抽出データ記録制御部１２４は、ドライブ５２を制御して、抽出データを記録媒体１５に記録させる。また、抽出データ記録制御部１２４は、オプションデータ生成部１２３から供給されるオプションデータをドライブ５２に供給するとともに、ドライブ５２を制御して、オプションデータを記録媒体１５に記録させる。
【００７２】
次に、図４および図５のフローチャートを参照して、記録システム１により実行される記録処理を説明する。なお、この処理は、例えば、ユーザが記録システム１の各部の電源を投入したとき開始される。
【００７３】
ステップＳ１において、記録システム１は、撮影を開始する。具体的には、撮像部１１は、被写体の撮像を開始し、撮像した画像の画像データをベースバンド処理部３１に入力する。また、集音部１２は、周囲の音声の集音を開始し、集音した音声の音声データをベースバンド処理部３１に入力する。ベースバンド処理部３１は、データ処理制御部１０２の制御の基に、撮像部１１から入力される画像データに各種の画像処理を施し、画像処理を施した画像データをコーデック３２に供給する。また、ベースバンド処理部３１は、集音部１２から入力される音声データに各種の音声処理を施し、音声処理を施した音声データをコーデック３２に供給する。
【００７４】
コーデック３２は、データ処理制御部１０２の制御の基に、所定の方式に基づいて、ベースバンド処理部３１から供給される画像データおよび音声データをエンコードし、エンコードした画像データおよび音声データをマルチプレクサ／デマルチプレクサ３３に供給する。マルチプレクサ／デマルチプレクサ３３は、データ処理制御部１０２の制御の基に、コーデック３２から供給される画像データおよび音声データを多重化し、多重化することにより生成したAVデータをドライブ３４に供給する。
【００７５】
ステップＳ２において、ユーザ設定制御部１０１は、抽出データの記録を行うための設定が指令されたか否かを判定する。ユーザが操作部３７を操作して抽出データの記録を行うための設定の指令を入力し、入力された指令を示す情報が操作部３７からユーザ設定制御部１０１に供給された場合、ユーザ設定制御部１０１は、抽出データの記録を行うための設定が指令されたと判定し、処理はステップＳ３に進む。
【００７６】
ステップＳ３において、ユーザ設定制御部１０１は、ターゲットの設定画面を表示させる。具体的には、例えば、ユーザ設定制御部１０１は、ターゲットの設定画面の表示を指令する情報をデータ処理制御部１０２に供給する。ベースバンド処理部３１は、データ処理制御部１０２の制御の基に、撮像部１１から入力される画像データを画像処理した画像データを表示部３５に供給する。また、ユーザ設定制御部１０１は、画像データに写っている人物の位置の検出を指令する情報を、通信部３８および通信部５１を介してターゲット検出部１２１に供給する。ターゲット検出部１２１は、通信部３８および通信部５１を介して、撮像部１１から入力される画像データを取得する。ターゲット検出部１２１は、取得した画像データに写っている人物の位置を検出する。ターゲット検出部１２１は、検出した人物の位置を示す情報を、通信部５１および通信部３８を介してユーザ設定制御部１０１に供給する。
【００７７】
ユーザ設定制御部１０１は、ターゲット検出部１２１から取得した情報に基づいて、例えば、図６に示されるターゲットの設定画面を表示部３５に表示させる。図６に示される設定画面の例において、ターゲット検出部１２１により画像データの中から検出された全ての人物、いまの場合、人物１５１−１および１５１−２の位置を示すように、指定枠１５２−１および１５２−２が表示される。また、指定枠１５１−１または１５１−２のうちの１つの外枠に重なるようにカーソル１５３が表示される。ユーザは、操作部３７を操作してカーソル１５３を移動させることにより、人物１５１−１または１５１−２のうち一人を選択することができる。
【００７８】
ステップＳ４において、ターゲット検出部１２１は、ターゲットの特徴を検出する。具体的には、ユーザは、操作部３７を操作して、設定画面に写っている人物の中からターゲットを指定する。ユーザ設定制御部１０１は、ターゲット指定情報を操作部３７から取得する。ユーザ設定制御部１０１は、通信部３８および通信部５１を介して、ターゲット検出部１２１および抽出範囲設定部１２２にターゲット指定情報を供給する。ターゲット検出部１２１は、画像データの中に写っているターゲットの画像に基づいて、ターゲットの顔の特徴、背格好、服装、行動パターン（例えば、癖など）など、ターゲットを認識するために必要な特徴を検出する。
【００７９】
また、ユーザ設定制御部１０１は、ターゲットに指定された人物に対して、集音部１２に声を入力するように促すガイダンス音声をスピーカ３６から出力させる。ターゲット検出部１２１は、通信部３８および通信部５１を介して、集音部１２に入力されたターゲットの声の音声データを取得する。ターゲット検出部１２１は、取得した音声データに基づいて、ターゲットを認識するために必要な声の特徴を検出する。
【００８０】
さらに、ユーザは、操作部３７を操作して、検出方法を入力する。ユーザ設定制御部１０１は、検出方法情報を操作部３７から取得する。ユーザ設定制御部１０１は、通信部３８および通信部５１を介して、ターゲット検出部１２１に検出方法情報を供給する。検出方法情報は、例えば、どのデータ（例えば、画像データのみ、音声データのみ、または、画像データおよび音声データの両方）に基づいてターゲットの検出を行うかを示す情報を含む。
【００８１】
ステップＳ５において、特徴量記録制御部１０５は、特徴量データを記録させる。具体的には、ターゲット検出部１２１は、検出した特徴を示すデータである特徴量データを保持するとともに、通信部５１および通信部３８を介して特徴量記録制御部１０５に特徴量データを供給する。ドライブ３４は、特徴量記録制御部１０５の制御の基に、ユーザにより指定されたターゲットの画像の画像データおよびターゲットの声の音声データを含むAVデータと特徴量データとを関連づけて記録媒体１４に記録する。
【００８２】
なお、上述したステップＳ３において、過去のステップＳ５の処理において記録媒体１４に記録されているターゲットの画像データおよび特徴量データを用いて、例えば、図７に示されるように、過去にターゲットに指定されたことのある人物１６１−１乃至１６１−５を一覧にして、表示部３５に表示させるようにしてもよい。ユーザは、例えば、カーソル１６２を移動させて、表示された人物１６１−１乃至１６１−５の中からターゲットを選択する。これにより、同じターゲットを繰り返し指定する場合、ユーザの操作が容易になるとともに、ターゲットの特徴を検出する処理を省略することができる。
【００８３】
なお、図７の例において、選択回数が多いターゲットや最近選択されたターゲットほど、選択が容易となるように一覧の先頭から表示するようにしてもよい。また、例えば、ユーザによる設定などにより、ターゲットの設定時に、図６または図７のどちらの設定画面を表示させるかを選択する画面を表示させるようにしたり、どちらかの設定画面を優先して表示させるようにしてもよい。
【００８４】
ステップＳ６において、ユーザ設定制御部１０１は、抽出条件を取得する。具体的には、ユーザは、操作部３７を操作して、抽出条件を入力する。ユーザ設定制御部１０１は、抽出条件情報を操作部３７から取得する。ユーザ設定制御部１０１は、通信部３８および通信部５１を介して、抽出範囲設定部１２２に抽出条件情報を供給する。
【００８５】
抽出条件情報は、例えば、ターゲットが検出された場面、または、ターゲットが検出されなかった場面のうちどちらを抽出範囲に設定するかを示す情報を含む。また、複数のターゲットが指定されている場合、抽出条件情報は、例えば、ターゲットのうち少なくとも１人が検出された場面、または、全てのターゲットが検出された場面のみのどちらを抽出範囲に設定するかを示す情報を含む。さらに、複数のターゲットが指定されている場合、抽出条件情報は、例えば、検出された場面を抽出範囲に設定するターゲットと、検出された場面を抽出範囲に設定しないターゲットとにターゲットの属性を分類する情報を含む。
【００８６】
ステップＳ７において、ユーザ設定制御部１０１は、オプションデータの設定を取得する。具体的には、ユーザは、必要に応じて、操作部３７を操作して、抽出データに関連づけて記録するオプションデータの設定を入力する。ユーザ設定制御部１０１は、オプション設定情報を操作部３７から取得する。ユーザ設定制御部１０１は、通信部３８および通信部５１を介して、オプションデータ生成部１２３にオプション設定情報を供給する。
【００８７】
ステップＳ２において、抽出データの記録を行うための設定が指令されていないと判定された場合、ステップＳ３乃至Ｓ７の処理はスキップされ、処理はステップＳ８に進む。
【００８８】
ステップＳ８において、オリジナルデータ記録制御部１０３は、オリジナルデータの記録が指令されたか否かを判定する。ユーザが操作部３７を操作して、オリジナルデータの記録の指令を入力し、入力された指令を示す情報が操作部３７からオリジナルデータ記録制御部１０３に供給された場合、オリジナルデータ記録制御部１０３は、オリジナルデータの記録が指令されたと判定し、処理はステップＳ９に進む。
【００８９】
ステップＳ９において、ドライブ３４は、オリジナルデータの記録を開始する。具体的には、ドライブ３４は、オリジナルデータ記録制御部１０３の制御の基に、マルチプレクサ／デマルチプレクサ３３から供給されるAVデータ、すなわちオリジナルデータの記録媒体１４への記録を開始する。オリジナルデータ記録制御部１０３は、オリジナルデータの記録を開始したことを示す情報を、通信部３８および通信部５１を介して、ターゲット検出部１２１に供給する。
【００９０】
ステップＳ１０において、ターゲット検出部１２１は、ターゲット検出処理を行うか否かを判定する。ターゲット検出部１２１は、事前にターゲット設定情報および検出方法情報を取得している場合、すなわち、ユーザにより事前に抽出データの記録を行うための設定がされている場合、ターゲット検出処理を行うと判定し、処理はステップＳ１１に進む。
【００９１】
ステップＳ１１において、ターゲット検出部１２１は、ターゲット検出処理を開始する。具体的には、ターゲット検出部１２１は、通信部３８および通信部５１を介して、撮像部１１から入力される画像データ、および、集音部１２から入力される音声データの取得を開始する。
【００９２】
画像データのみに基づいてターゲットを検出するように設定されている場合、ターゲット検出部１２１は、各種の画像認識の手法を用いて、画像データからターゲットの画像の検出を試みる。また、音声データに基づいてターゲットを検出するように設定されている場合、ターゲット検出部１２１は、各種の音声認識の手法を用いて、音声データの中からターゲットの声の検出を試みる。さらに、画像データおよび音声データの両方に基づいてターゲットを検出するように設定されている場合、ターゲット検出部１２１は、各種の画像認識の手法を用いて、画像データの中からターゲットの画像の検出を試みるとともに、各種の音声認識の手法を用いて、音声データの中からターゲットの声の検出を試みる。
【００９３】
ターゲット検出部１２１は、ターゲットの検出結果を示すターゲット検出情報を抽出範囲設定部１２２に供給する。ターゲット検出情報は、例えば、ターゲットの検出の開始または終了を示す情報、現在検出されているターゲットを識別するための情報（例えば、識別番号）、検出処理に用いた部分のオリジナルデータの先頭からの経過時間などを含む。
【００９４】
なお、ターゲット検出部１２１が用いる画像認識および音声認識の手法の種類は特に問わないが、もちろん、より少ない処理でより正確に認識できる手法を用いるのが望ましい。
【００９５】
ステップＳ１２において、抽出範囲設定部１２２は、抽出条件が満たされたか否かを判定する。具体的には、抽出範囲設定部１２２は、ターゲット指定情報、抽出条件情報、および、ターゲット検出情報に基づいて、ユーザにより設定されている抽出条件が満たされていうるか否かを検出する。抽出範囲設定部１２２は、抽出条件が満たされたと判定した場合、例えば、ターゲットが検出された場面を抽出範囲に設定するように抽出条件が設定いて、ターゲット検出処理によりターゲットの検出が開始されたとき、処理はステップＳ１３に進む。
【００９６】
ステップＳ１３において、抽出範囲設定部１２２は、抽出範囲の開始位置を通知する。具体的には、抽出範囲設定部１２２は、例えば、オリジナルデータの先頭から抽出範囲の開始位置までの経過時間を開始位置情報に設定して、抽出データ記録制御部１２４、並びに、通信部５１および通信部３８を介して、読出し制御部１０４に開始位置情報を供給する。
【００９７】
ステップＳ１４において、ドライブ３４は、読出し制御部１０４の制御の基に、抽出データの読出しを開始する。具体的には、ドライブ３４は、読出し制御部１０４の制御の基に、記録媒体１４へのオリジナルデータの記録と並行して、記録媒体１４に記録されているオリジナルデータの開始位置情報に示される位置からの読出しを開始する。ドライブ３４は、読出し制御部１０４の制御の基に、通信部３８および通信部５１を介して、読み出したデータ、すなわち、抽出データのドライブ５２への供給を開始する。
【００９８】
ステップＳ１５において、ドライブ５２は、抽出データ記録制御部１２４の制御の基に、抽出データの記録を開始する。具体的には、ドライブ５２は、抽出データ記録制御部１２４の制御の基に、ドライブ３４から供給される抽出データの記録媒体１５への記録を開始する。また、ドライブ５２は、抽出データ記録制御部１２４の制御の基に、必要に応じて、オリジナルデータから抽出することによりオリジナルデータから変更となる各種の管理情報（例えば、抽出データの各記録単位の先頭の位置を示すスタートコード、抽出データの先頭からの各記録単位の相対位置を示す情報など）を抽出データに記録する。
【００９９】
図８は、データ記録部１３における、画像データおよび音声データの入力、オリジナルデータの記録、および、抽出データの記録の流れの例を示す図である。例えば、時刻ｔ０において、オリジナルデータの記録の開始が指令された場合、画像データおよび音声データのエンコードおよび多重化などの処理に時間を要するため、時刻ｔ０から時間Ｐ１だけ遅延した時刻ｔ1からオリジナルデータの記録媒体１４への記録が開始される。
【０１００】
その後、オリジナルデータの記録が指令された時刻ｔ０から時間Ｐ２が経過した時刻ｔ２において、抽出条件を満たす場面が始まる場合、抽出範囲設定部１２２は、時刻ｔ０からの経過時間Ｐ２を抽出範囲の開始位置として、読出し制御部１０４に通知する。そして、オリジナルデータの記録と並行して、記録媒体１４に記録されているオリジナルデータの先頭から時間Ｐ２だけ経過した位置から始まるデータ（抽出データ）の記録媒体１４からの読出しが開始され、記録媒体１５への記録が開始される。このとき、ターゲット検出処理、抽出データの読出し、および、抽出データの転送などの処理に時間を要するため、抽出条件を満たす場面が始まった時刻ｔ２から時間Ｐ５だけ遅延した時刻ｔ４から抽出データの記録媒体１５への記録が開始される。
【０１０１】
なお、抽出データは、記録媒体１４に記録されているエンコード、多重化などの処理が施されたオリジナルデータから抽出されるので、改めて、エンコード、多重化などの処理を施す必要がないため、抽出データの記録に要する処理の軽減および時間の短縮が実現される。
【０１０２】
ステップＳ１６において、ドライブ５２は、抽出データ記録制御部１２４の制御の基に、必要に応じて、オプションデータを記録する。具体的には、オプションデータ生成部１２３は、必要に応じて、ターゲット検出部１２１から、ターゲット指定情報および検出方法情報を取得し、抽出範囲設定部１２２から抽出条件情報を取得する。オプションデータ生成部１２３は、ターゲット指定情報、検出方法情報、抽出条件情報、または、オプション設定情報に基づいて、オプションデータを生成する。
【０１０３】
オプションデータは、例えば、抽出データの抽出元であるオリジナルデータを識別する情報（例えば、ファイル名）、オリジナルデータにおける抽出範囲の位置を示す情報、ターゲットの検出方法、抽出範囲の抽出条件、ターゲットに関する情報（例えば、氏名など）、抽出データの検索などに使用するキーワードなどを含む。
【０１０４】
オプションデータ生成部１２３は、生成したオプションデータを抽出データ記録制御部１２４に供給する。ドライブ５２は、抽出データ記録制御部１２４の制御の基に、オプションデータを記録媒体１５に記録させる。なお、オプションデータは、例えば、抽出データの記録フォーマットにおけるオプション領域に記録するようにしてもよいし、抽出データとは別のファイルに記録するようにしてもよい。
【０１０５】
ステップＳ１７において、オリジナルデータ記録制御部１０３は、オリジナルデータの記録の停止が指令されたか否かを判定する。オリジナルデータの記録の停止が指令されていないと判定された場合、処理はステップＳ１８に進む。
【０１０６】
ステップＳ１８において、抽出範囲設定部１２２は、抽出条件が満たされていない状態が所定の時間継続したか否かを判定する。具体的には、抽出範囲設定部１２２は、上述したステップＳ１２と同様の処理により、抽出条件が満たされているか否かを検出する。抽出範囲設定部１２２は、検出結果に基づいて、抽出条件が満たされていない状態が所定の時間継続していないと判定した場合、処理はステップＳ１６に戻る。その後、ステップＳ１７において、オリジナルデータの記録の停止が指令されたと判定されるか、ステップＳ１８において、抽出条件が満たされていない状態が所定の時間継続したと判定されるまで、ステップＳ１６乃至Ｓ１８の処理が繰り返し実行される。この間、オリジナルデータおよび抽出データの記録が継続される。
【０１０７】
ステップＳ１８において、抽出条件が満たされていない状態が所定の時間継続したと判定された場合、処理はステップＳ１９に進む。なお、ステップＳ１８の判定基準となる継続時間は、例えば、ターゲットの動きによりターゲットが一瞬フレームから出たり、ターゲットの発話が停止したりするごとに抽出データの記録が停止されるのを防止するために設けられるものであり、例えば、ユーザによりその値が設定される。
【０１０８】
ステップＳ１９において、抽出範囲設定部１２２は、抽出範囲の終了位置を通知する。具体的には、抽出範囲設定部１２２は、オリジナルデータの先頭から抽出範囲の終了位置までの経過時間を終了位置情報に設定して、抽出データ記録制御部１２４、並びに、通信部５１および通信部３８を介して、読出し制御部１０４に終了位置情報を供給する。
【０１０９】
ステップＳ２０において、ドライブ３４は、読出し制御部１０４の制御の基に、抽出データの読出しを停止する。具体的には、ドライブ３４は、読出し制御部１０４の制御の基に、終了位置情報に示される位置までのオリジナルデータの読出しが終了した時点で、抽出データの読出し、および、ドライブ５２への抽出データの供給を停止する。なお、オリジナルデータの記録は引き続き継続される。
【０１１０】
ステップＳ２１において、ドライブ５２は、抽出データ記録制御部１２４の制御の基に、抽出データの記録を停止する。具体的には、ドライブ３４からの抽出データの供給が停止された時点で、ドライブ５２は、抽出データ記録制御部１２４の制御の基に、抽出データの記録媒体１５への記録を停止するとともに、各種の管理情報（例えば、抽出データの終了位置を示すコードなど）を抽出データに記録する。その後、処理はステップＳ２２に進む。
【０１１１】
例えば、上述した図８の例において、オリジナルデータの記録が指令された時刻ｔ０から時間Ｐ４が経過した時刻ｔ３において、抽出条件が満たされていない状態が所定の時間継続したと判定された場合、抽出範囲設定部１２２は、時刻ｔ０からの経過時間Ｐ４を抽出範囲の終了位置として、読出し制御部１０４に通知する。そして、記録媒体１４に記録されているオリジナルデータの先頭から時間Ｐ４だけ経過した位置までのデータが抽出データとして記録媒体１４から読み出された後、抽出データの読出しが停止される。また、時刻ｔ３から時間Ｐ５だけ遅延した時刻ｔ５において、記録媒体１５への抽出データの記録が停止される。すなわち、記録媒体１４へのオリジナルデータの記録と並行して、オリジナルデータから抽出された期間Ｐ３で示される抽出範囲のデータが記録媒体１５に記録される。
【０１１２】
ステップＳ１２において、抽出条件が満たされていないと判定された場合、ステップＳ１３乃至Ｓ２１の処理はスキップされ、処理はステップＳ２２に進む。
【０１１３】
ステップＳ２２において、ステップＳ１７の処理と同様に、オリジナルデータの記録の停止が指令されたか否かが判定される。オリジナルデータの記録の停止が指令されていないと判定された場合、処理はステップＳ１２に戻り、ステップＳ１７またはＳ２２において、オリジナルデータの記録の停止が指令されたと判定されるまで、ステップＳ１２乃至Ｓ２２の処理が繰り返し実行される。
【０１１４】
ステップＳ２２において、ユーザが操作部３７を操作して、オリジナルデータの記録の停止の指令を入力し、入力された指令を示す情報が操作部３７からオリジナルデータ記録制御部１０３に供給された場合、オリジナルデータ記録制御部１０３は、オリジナルデータの記録の停止が指令されたと判定し、処理はステップＳ２３に進む。
【０１１５】
ステップＳ２３において、ドライブ３４は、オリジナルデータ記録制御部１０３の制御の基に、オリジナルデータの記録を停止する。
【０１１６】
ステップＳ２４において、ターゲット検出部１２１は、ターゲット検出処理を終了し、記録処理は終了する。具体的には、オリジナルデータ記録制御部１０３は、オリジナルデータの記録を停止したことを示す情報を、通信部３８および通信部５１を介して、ターゲット検出部１２１に供給する。ターゲット検出部１２１は、撮像部１１から入力される画像データ、および、集音部１２から入力される音声データの取得を停止し、ターゲット検出処理を終了する。
【０１１７】
ステップＳ１７において、オリジナルデータの記録の停止が指令されたと判定された場合、処理はステップＳ２５に進み、ステップＳ２５において、ステップＳ２３と同様の処理により、オリジナルデータの記録が停止され、ステップＳ２６において、ステップＳ２４の処理と同様に、ターゲット検出処理が終了される。
【０１１８】
ステップＳ２７において、ドライブ３４は、読出し制御部１０４の制御の基に、抽出データの読出しを停止する。具体的には、オリジナルデータ記録制御部１０３は、オリジナルデータの記録を停止したことを示す情報を読出し制御部１０４に供給する。ドライブ３４は、読出し制御部１０４の制御の基に、記録媒体１４に記録されているオリジナルデータを最後まで読出した時点で、抽出データの読出しおよびドライブ５２への供給を停止する。
【０１１９】
ステップＳ２８において、ステップＳ２１の処理と同様に、抽出データの記録が停止され、記録処理は終了する。
【０１２０】
ステップＳ１０において、ターゲット検出部１２１は、事前にターゲット設定情報および検出方法情報を取得していない場合、すなわち、ユーザにより事前に抽出データの記録を行うための設定がされていない場合、ターゲット検出処理を行わないと判定し、処理はステップＳ２９に進む。
【０１２１】
ステップＳ２９において、ステップＳ１７の処理と同様に、オリジナルデータの記録の停止が指令されたか否かが判定される。オリジナルデータの記録の停止が指令されたと判定されるまで、ステップＳ２９の判定処理は繰り返し実行され、この間、オリジナルデータの記録が継続される。
【０１２２】
ステップＳ２９において、オリジナルデータの記録の停止が指令されたと判定された場合、処理はステップＳ３０に進み、ステップＳ３０において、ステップＳ２３の処理と同様に、オリジナルデータの記録が停止され、記録処理は終了する。
【０１２３】
このようにして、オリジナルデータの記録媒体１４への記録、および、ユーザが設定した抽出条件に基づいてオリジナルデータから抽出された抽出データの記録媒体１５への記録を簡単に行うことができる。また、オリジナルデータと抽出データの記録が並行して行われるので、ユーザは、オリジナルデータとともに、オリジナルデータから抽出した抽出データをほぼ同時に取得することができる。従って、例えば、記録媒体１５がリムーバブルメディアにより構成されている場合、撮影後に、ターゲットのみを抽出した抽出データを記録した記録媒体１５をすぐにターゲットに手渡すことができる。さらに、オリジナルデータ記録部２１と抽出データ記録部２２とを別個の装置として、それぞれ離れた場所に設置することにより、オリジナルデータの記録と並行して、離れた場所にいる人に抽出データを送信することが可能である。
【０１２４】
また、抽出データにユーザが希望する場面が記録されていなくても、オリジナルデータを用いて、抽出データに希望する場面を追加することが可能である。さらに、抽出条件を柔軟に設定することができるので、指定した人物が写っている場面、指定した人物が写っていない場面、または、人物が写っていない風景のみの場面などを簡単に抽出して記録することができる。
【０１２５】
以上のように、入力されたAVデータであって、画像データを含むAVデータの第１の記録媒体への記録を制御し、ユーザにより指定された人物である検出対象をAVデータから検出し、検出対象の検出結果に基づいて、AVデータから抽出する範囲である抽出範囲を設定し、第１の記録媒体へのAVデータの記録と並行して、AVデータの抽出範囲を第１の記録媒体から読出すようにAVデータの読出しを制御し、AVデータの抽出範囲の第２の記録媒体への記録を制御する場合には、画像データを記録することができる。また、ユーザにより指定された人物に基づいて抽出した画像データと抽出元の画像データの両方を簡単かつ迅速に取得することができる。
【０１２６】
撮像した画像の画像データを出力し、画像データを含むAVデータの第１の記録媒体への記録を制御し、ユーザにより指定された人物である検出対象をAVデータから検出し、検出対象の検出結果に基づいて、AVデータから抽出する範囲である抽出範囲を設定し、第１の記録媒体へのAVデータの記録と並行して、AVデータの抽出範囲を第１の記録媒体から読出すようにAVデータの読出しを制御し、AVデータの抽出範囲の第２の記録媒体への記録を制御する場合には、画像データを記録することができる。また、ユーザにより指定された人物に基づいて抽出した画像データと抽出元の画像データの両方を簡単かつ迅速に取得することができる。
【０１２７】
なお、本発明は、上述した撮像部１１により撮像された画像データ、および、集音部１２により集音された音声データだけでなく、例えば、テレビジョン放送の番組データや、DVD（Digital Versatile Disc）などから再生されたコンテンツデータなどをデータ記録部１３に入力して記録するようにしてもよい。これにより、例えば、番組データまたはコンテンツデータなどを記録媒体１４に記録しながら、ユーザが指定された人物が登場する場面のみを番組データまたはコンテンツデータなどから抽出して記録媒体１５に記録させることが可能である。
【０１２８】
また、１つのオリジナルデータから、２つ以上の抽出データが抽出され記録される場合、例えば、ユーザの設定などに基づいて、各抽出データを、それぞれ異なるデータ（ファイル）として記録するようにしたり、１つのデータ（ファイル）にまとめて記録するようにしてもよい。
【０１２９】
さらに、抽出データ記録部２２を複数設けるようにして、１つのオリジナルデータから異なる抽出条件で抽出した抽出データを、それぞれ異なる記録媒体に記録できるようにしてもよい。
【０１３０】
なお、本発明は、例えば、ビデオカメラ、DVDレコーダなどの記録装置に適用することができる。また、記録装置の機能を備える情報処理装置、例えば、コンピュータ、携帯電話機、PDA（Personal Digital Assistant）などに適用することができる。
【０１３１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１３２】
図９は、汎用のパーソナルコンピュータ９００の内部の構成例を示す図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２に記憶されているプログラム、または記録部９０８からRAM（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３３】
CPU９０１、ROM９０２、およびRAM９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インターフェース９０５も接続されている。
【０１３４】
入出力インターフェース９０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部９０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部９０７、ハードディスクなどで構成される記録部９０８、およびルータ、モデムなどのインターフェースである通信部９０９が接続されている。通信部９０９は、インターネットを含むネットワークを介して通信処理を行う。
【０１３５】
入出力インターフェース９０５にはまた、必要に応じてドライブ９１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア９１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記録部９０８にインストールされる。
【０１３６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９１１により構成されるだけでなく、装置本体にあらかじめ組み込まれた状態でユーザに提供される、プログラムが記録されているROM９０２または記録部９０８に含まれるハードディスクなどで構成される。
【０１３７】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３９】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４０】
【図１】本発明を適用した記録システムの一実施の形態を示すブロック図である。
【図２】図１のオリジナルデータ記録部の制御部により実現される機能の構成の例を示す図である。
【図３】図１の抽出データ記録部の制御部により実現される機能の構成の例を示す図である。
【図４】図１の記録システムにより実行される記録処理を説明するためのフローチャートである。
【図５】図１の記録システムにより実行される記録処理を説明するためのフローチャートである。
【図６】ターゲットの設定画面の例を示す図である。
【図７】ターゲットの設定画面の他の例を示す図である。
【図８】データの流れを示す図である。
【図９】パーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
【０１４１】
１  記録システム，  １１  撮像部，  １２  集音部，  １３  データ記録部，  １４，１５  記録媒体，  ２１  オリジナルデータ記録部，  ２２  抽出データ記録部，  ３４  ドライブ，  ３５  表示部，  ３７  操作部，  ３８  通信部，  ３９  制御部，  ５１  通信部，  ５２  ドライブ，  ５３  制御部，  １０１  ユーザ設定制御部，  １０２  データ処理制御部，  １０３  オリジナルデータ記録制御部，  １０４  読出し制御部，  １０５  特徴量記録制御部，  １２１  ターゲット検出部，  １２２  抽出範囲設定部，  １２３  オプションデータ生成部，  １２４  抽出データ記録制御部，  ９０１  CPU，  ９０２  ROM，  ９０３  RAM，  ９０８  記録部，  ９１０  ドライブ，  ９１１  リムーバブルメディア
【図１】
2007013256.tif 000003
【図２】
2007013256.tif 000004
【図３】
2007013256.tif 000005
【図４】
2007013256.tif 000006
【図５】
2007013256.tif 000007
【図６】
2007013256.tif 000008
【図７】
2007013256.tif 000009
【図８】
2007013256.tif 000010
【図９】
2007013256.tif 000011