(57)【要約】【課題】撮像／収音により得られる映像／音声データについて、ユーザの周囲状況により忠実な編集結果が得られるようにする。【解決手段】  映像／音声データについての編集を行うのにあたり、その映像／音声データを撮像／収音しているとされるときのユーザを取り巻く状況を類型化した状況パターンに基づいて特定される、状況パターン別処理内容決定情報におけるパラメータと、同じく、映像／音声データを撮像／収音しているとされるときに検出される、映像／音声データについての重要度に応じて変化し得る所定の情報とを利用して、重要度評価を行うようにする。そして、この重要度評価の結果に応じて編集の処理内容を決定するようにして構成する。【選択図】図１７
2005117541.tif 000002
【特許請求の範囲】
【請求項１】
撮像及び／又は収音を行うことで、画像情報及び／又は音声情報を収集する収集手段と、
上記収集手段により収集した画像情報及び／又は音声情報に基づいて得られるとされる映像／音声データについて所定の編集処理を実行する編集手段と、
上記収集手段により画像情報及び／又は音声情報を収集して得られるとされる上記映像／音声データの時間経過に対応させて、ユーザがおかれているとされる状況を類型化した状況パターンがどのようなものであるのかを認識する状況パターン認識手段と、
上記収集手段により画像情報及び／又は音声情報を収集して得られるとされる上記映像／音声データの時間経過に対応させて、上記映像／音声データについての重要度評価に利用可能とされる所定の情報を検出する検出手段と、
１つの特定の上記状況パターンに対応付けられているもので、この対応付けられた状況パターンに応じて、少なくとも、上記重要度評価のための所定のパラメータを格納する状況パターン別処理内容決定情報を、１以上保持する保持手段と、
上記状況パターン認識手段が認識した状況パターンと一致するとされる状況パターンに対応付けられた状況パターン別処理内容決定情報のパラメータと、上記検出手段により検出された情報とを利用して、上記映像／音声データについて時間区分された部分ごとに重要度評価を実行する評価手段とを備え、
上記編集手段は、上記評価手段の評価結果に基づいて編集処理の処理内容を決定するようにされている、
ことを特徴とする編集装置。
【請求項２】
現在位置を検出して現在位置情報を検出可能な現在位置検出手段をさらに備え、
上記状況パターン認識手段は、少なくとも、上記現在位置情報に基づいて、状況パターンについての認識を行うようにされている、
ことを特徴とする請求項１に記載の編集装置。
【請求項３】
現在時刻を計時する計時手段をさらに備え、
上記状況パターン認識手段は、少なくとも、上記計時手段により計時される現在時刻の情報に基づいて、状況パターンについての認識を行うようにされている、
ことを特徴とする請求項１に記載の編集装置。
【請求項４】
上記検出手段は、ユーザの感情状態を示す感情情報、上記映像／音声データについての所定の再生履歴内容を示す再生履歴情報の少なくともいずれか１つを検出するものとされ、
上記状況パターン別処理内容決定情報のパラメータは、少なくとも、上記感情情報及び／又は上記再生履歴情報に基づいて上記重要度評価の度合いを示す評価値を算出するための係数と、この評価値に対応した編集処理の処理内容を指定する処理内容指定情報である、ことを特徴とする請求項１に記載の編集装置。
【請求項５】
上記収集手段により収集した画像情報及び／又は音声情報に基づいて得られるとされる映像／音声データを所定の記録領域に記録する記録制御手段をさらに備え、
上記編集手段は、上記所定の記録領域に記録済みとされた上記映像／音声データを編集対象として編集処理を実行するようにされている、
ことを特徴とする請求項１に記載の編集装置。
【請求項６】
上記編集手段は、上記収集手段により収集した画像情報及び／又は音声情報に基づいてリアルタイムで得られるとされる映像／音声データを入力して編集処理を実行するようにされている、
ことを特徴とする請求項１に記載の編集装置。
【請求項７】
上記編集手段は、上記編集処理として、上記収集手段により収集した画像情報及び／又は音声情報に基づいて得られるとされる映像／音声データについてのビットレートを変更するものとされ、変更すべきビットレートを決定することにより、上記編集処理の処理内容を決定するものとされている、
ことを特徴とする請求項１に記載の編集装置。
【請求項８】
上記編集手段は、上記編集処理として、上記収集手段により収集した画像情報及び／又は音声情報に基づいて得られるとされる映像／音声データについてのダイジェストファイルを作成するものとされ、ダイジェストファイルの作成に利用する映像／音声データ部分を決定してダイジェストファイルを作成することにより、上記編集処理の処理内容を決定するものとされている、
ことを特徴とする請求項１に記載の編集装置。
【請求項９】
上記編集手段により決定した処理内容について変更するための操作が行われた場合に、この変更された内容に応じて状況パターン別処理内容決定情報におけるパラメータの値を変更することで学習処理を実行する学習処理手段をさらに備える、
ことを特徴とする請求項１に記載の編集装置。
【請求項１０】
撮像及び／又は収音を行うことで収集した画像情報及び／又は音声情報に基づいて得られるとされる映像／音声データについて所定の編集のための処理を実行する編集処理と、
上記映像／音声データの時間経過に対応させて、ユーザがおかれているとされる状況を類型化した状況パターンがどのようなものであるのかを認識する状況パターン認識処理と、
上記映像／音声データの時間経過に対応させて、この映像／音声データについての重要度評価に利用可能とされる所定の情報を検出する検出処理と、
１つの特定の上記状況パターンに対応付けられているもので、この対応付けられた状況パターンに応じて、少なくとも、上記重要度評価のための所定のパラメータを格納する状況パターン別処理内容決定情報を保持しておくようにされるとともに、上記状況パターン認識処理が認識した状況パターンと一致するとされる状況パターンに対応付けられた上記状況パターン別処理内容決定情報のパラメータと、上記検出処理により検出された情報とを利用して、上記映像／音声データについて時間区分された部分ごとに重要度評価を実行する評価処理とを実行するものとされ、
上記編集処理は、上記評価処理の評価結果に基づいて処理内容を決定するように構成した、
ことを特徴とする編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば撮像／収音により得られた映像／音声データを編集するための編集装置及びその方法に関する。
【背景技術】
【０００２】
例えばビデオカメラ装置により録画／収音して得られた映像／音声情報について、何らかの編集を施すことがしばしば行われる。
そして、このような映像／音声情報の編集を行うのにあたっては、編集処理が可能な編集装置などに対して、ユーザ（編集者）が編集のための操作を行うようにされる。編集装置では、この操作に応じて編集処理を実行する。これにより、ユーザの編集意図に沿うようにして編集された映像／音声情報としてのコンテンツを得ることができる。つまり、現状においては、ユーザによる手動操作に応じて編集処理を実行するようにされているのが一般的である。
【０００３】
しかしながら、手動操作による編集は、相応に手間がかかり面倒であるという側面を有している。そこで、ユーザの編集意図が反映されるような編集操作が、できるだけ自動化されるようにして編集を行うための構成が提案されてきている。
【０００４】
例えば特許文献１には、例えばユーザの嗜好を反映しているとされるシーン抽出ルールの情報に基づいて、映像情報についての区間の重要度を判定し、この判定結果に応じて重要度が高いとされる映像シーンを抽出してダイジェスト映像を作成する構成が記載されている。
また、特許文献２には、配信コンテンツとしての映像／音声情報について、配信サーバが編集を行う構成が示されている。つまり、配信サーバでは、再生装置側からフィードバックされた、ユーザの配信コンテンツについての再生操作情報などに応じて、コンテンツ内容等についての嗜好データを作成する。そして、この嗜好データに基づいて、ユーザの嗜好に応じて編集した内容のコンテンツを、そのユーザの再生装置に配信するようにされる。
また、特許文献３には、メタデータに基づいて動画像符号化データとしてのデータ形式を変換するようにして編集を行う構成が示されている。この場合のメタデータとしては、動画像符号化データのデータ状態、内容に関するものの他、利用者情報として、ユーザを特定するＩＤ、名前や嗜好などの個人データ、使用機器、利用目的などの情報を含むものとされている。
また、特許文献４には、ビデオカメラなどにより映像／音声情報を記録すると共に、これに同期してユーザの脳波を記録するようにしており、この記録された脳波に基づいて、映像／音声情報から、ユーザの興味度が高いとされる区間のみを抽出するようにして編集を行う構成が記載されている。
【０００５】
【特許文献１】特開２００２−２３２８２８号公報
【特許文献２】特開２００２−２３２８２３号公報
【特許文献３】特開２００２−２０４４１９号公報
【特許文献４】特開２００３−８７７７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、ユーザが自身で映像／音声の収録を行いながら記録する映像／音声情報について自動編集を行う場合において、ユーザの編集意図にできるだけ忠実な自動編集結果が得られるようにすることを目指すとすると、１つには、例えば収録を行っているときのユーザ周囲の環境変化であるとか、そのときのユーザ自身の感情の変化などをはじめとした、ユーザ主体の状況変化が反映されるようにして、編集内容を決定していく構成とすることが考えられる。
【０００７】
この観点からみると、上記した特許文献１、特許文献２、及び特許文献３に記載されている構成では、編集処理の処理内容の決定要素は、例えば予め設定したシーン抽出ルールであったり、過去におけるコンテンツに対する再生操作履歴等に応じた嗜好データであったりする。つまり、これらの構成では、編集ポイント設定のための情報として、映像／音声情報を記録しているときの時間経過に応じた状況変化を反映したものは持っていない。従って、映像／音声情報について、これを収録していたときの状況に応じて編集を行うことは難しいということになる。
【０００８】
これに対して、特許文献４では、映像／音声情報に同期して記録される脳波の情報に基づいて編集を行うようにされている点で、映像／音声情報を収録しているときのユーザ主体の状況変化に応じて編集内容を決定することは可能である。しかしながら、特許文献４の記載範囲では、脳波の情報のみに基づいた編集となっている。
映像／音声情報を収録しているときの状況は、ユーザ自身の感情などの内的な要因によって変化するだけではなく、ユーザの周囲状況などの外的要因によっても変化し得る。従って、脳波の情報のみによっては、状況変化に適合させた編集内容として忠実なものとするには限界があると考えられる。
つまり、現状においては、映像／音声情報を記録しているときのユーザにまつわる状況等がこれまでよりも忠実に反映されるようにして映像／音声情報を編集できるようにすることの余地は、依然として残っているということがいえる。
【課題を解決するための手段】
【０００９】
そこで本発明は上記した課題を考慮して編集装置として次のように構成する。
つまり、撮像及び／又は収音を行うことで、画像情報及び／又は音声情報を収集する収集手段と、この収集手段により収集した画像情報及び／又は音声情報に基づいて得られるとされる映像／音声データについて所定の編集処理を実行する編集手段と、収集手段により画像情報及び／又は音声情報を収集して得られるとされる映像／音声データの時間経過に対応させて、ユーザがおかれているとされる状況を類型化した状況パターンがどのようなものであるのかを認識する状況パターン認識手段と、収集手段により画像情報及び／又は音声情報を収集して得られるとされる上記映像／音声データの時間経過に対応させて、上記映像／音声データについての重要度評価に利用可能とされる所定の情報を検出する検出手段と、１つの特定の状況パターンに対応付けられているもので、この対応付けられた状況パターンに応じて、少なくとも、重要度評価のための所定のパラメータを格納する状況パターン別処理内容決定情報を１以上保持する保持手段と、状況パターン認識手段が認識した状況パターンと一致するとされる状況パターンに対応付けられた状況パターン別処理内容決定情報のパラメータと、検出手段により検出された情報とを利用して、映像／音声データについて時間区分された部分ごとに重要度評価を実行する評価手段とを備える。そして、上記編集手段は、評価手段の評価結果に基づいて編集処理の処理内容を決定するように構成することとした。
【００１０】
撮像及び／又は収音を行うことで収集した画像情報及び／又は音声情報に基づいて得られるとされる映像／音声データについて所定の編集のための処理を実行する編集処理と、映像／音声データの時間経過に対応させて、ユーザがおかれているとされる状況を類型化した状況パターンがどのようなものであるのかを認識する状況パターン認識処理と、映像／音声データの時間経過に対応させて、この映像／音声データについての重要度評価に利用可能とされる所定の情報を検出する検出処理と、１つの特定の状況パターンに対応付けられているもので、この対応付けられた状況パターンに応じて、少なくとも、重要度評価のための所定のパラメータを格納する状況パターン別処理内容決定情報を保持しておくようにされるとともに、状況パターン認識処理が認識した状況パターンと一致するとされる状況パターンに対応付けられた状況パターン別処理内容決定情報のパラメータと検出処理により検出された情報とを利用して、映像／音声データについて時間区分された部分ごとに重要度評価を実行する評価処理とを実行することとした。そして編集処理は、評価処理の評価結果に基づいて処理内容を決定するように構成することとした。
【００１１】
上記各構成によれば、映像／音声データについての編集は、その映像／音声データを撮像／収音しているとされるときのユーザを取り巻く状況を類型化した状況パターンに基づいて特定される、状況パターン別処理内容決定情報におけるパラメータと、同じく、映像／音声データを撮像／収音しているとされるときに検出される、映像／音声データについての重要度に応じて変化し得る所定の情報とを利用して、重要度評価を行うようにされている。そして、この重要度評価の結果に応じて編集の処理内容を決定するようにしている。
映像／音声データについての重要度に応じて変化し得る所定の情報に対して、上記した状況パターンに応じたパラメータを用いて、映像／音声データの重要度評価を行うということは、映像／音声データを収録しているとされるときのユーザを取り巻く状況に適合するようにして重要度評価が行われるということを意味する。
【発明の効果】
【００１２】
これにより本発明としては、映像／音声データについての重要度評価は、映像／音声データ収録時のユーザの周囲状況等の変化に対応させたものとして、より高い精度を得ることができる。この結果、重要度評価結果に基づいて編集された内容結果としても、これまでよりも忠実に収録時の状況が反映されたものが得られることになる。つまり、本発明は、映像／音声データの自動編集として、よりユーザの意図に適った信頼性の高い編集を行うことができるものである。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について説明を行う。以降の説明は次の順序で行う。
１．記録再生装置の構成
２．記録再生装置を含むネットワークシステム例
３．実施の形態の編集処理概略
３−１．［編集１］ビットレート変換（記録後の編集）
３−２．［編集２］ビットレート変換（リアルタイム編集）
３−３．［編集３］ダイジェスト作成
４．データ構造
４−１．全体構造
４−２．基本ポリシーデータの全体構造
４−３．基本ビットレート変換用パラメータ
４−４．基本ダイジェスト作成用パラメータ
４−５．パターン別ポリシーデータ
５．処理動作
５−１．記録／編集処理（映像／音声データ記録終了後に編集する場合に対応）
５−２．状況パターンデータ生成処理
５−３．映像／音声データ再生のときの記録データファイル処理
５−４．評価値算出処理
５−５．ビットレート変換処理（編集１：映像／音声データ記録終了後）
５−６．学習処理
５−７．リアルタイムビットレート変換処理（編集２）
５−８．ビットレート設定処理（編集２）
５−９．ダイジェスト作成処理（編集３）
５−１０．イベント別ダイジェスト作成処理
【００１４】
１．記録再生装置の構成
図１は、本発明の実施の形態の編集装置が適用される記録再生装置の構成例を示している。
この図において、撮像部１１は、撮像画像信号を生成するもので、例えば撮像レンズ系や絞りなどを備えて構成される光学系と、この光学系により撮像された撮像光について光電変換することでアナログの映像信号を生成するＣＣＤ(Charge Coupled Device)などを備えて構成される。なお、ここでは図示していないが、撮像部１１としては、自動露出やオートフォーカスのための機能や、レンズの移動などにより撮像画像を拡大するズーム機能などに対応して光学系（レンズ）を制御する機能が備えられてよい。また、このような光学系の制御を行う場合には、撮像部コントローラ１６がそのための制御処理を実行するようにも構成される。
【００１５】
撮像部コントローラ１６は、撮像部１１における各種の動作を制御するためのものとされ、例えば上記しているような光学系の制御のほか、例えばホワイトバランスなどをはじめとした、撮像部１１による撮像画像に関連する信号処理が適正に実行されるようにして、映像／音声信号処理部１３を制御するようにもされる。
【００１６】
なお、撮像部コントローラ１６としては、或るまとまったハードウェアデバイスとして設けられるのではなく、実際には、ＣＰＵ３１がプログラムに従って実行する処理として構成されるものであっても良い。また、この図においては、撮像部コントローラ１６と同様に、ハードウェアデバイスではなくＣＰＵ３１が実行する処理により実現される機能ブロックは他にも存在する。あるいは、ハードウェアとＣＰＵ３１が実行する処理の組み合わせによりその機能が実現される機能ブロックも存在する。このような機能ブロックに何れが該当するのかについては後述する。
【００１７】
上記撮像部１１では、例えばＣＣＤから出力される映像信号を、必要に応じて、例えばゲイン調整及びサンプルホールド処理等を施すことによって波形整形を行ったうえで、Ａ／Ｄコンバータ１２に出力する。Ａ／Ｄコンバータ１２では、入力された映像信号についてＡ／Ｄ変換を行ってデジタル映像信号に変換し、映像／音声信号処理部１３に出力する。
【００１８】
また、収音部１４は、例えばマイクロフォン等を備えることで、記録再生装置１の周囲の音を収音してアナログの音声信号を得る。そして、マイクロフォンにより得られた音声信号について必要に応じて増幅を行って、Ａ／Ｄコンバータ１５に対して出力する。Ａ／Ｄコンバータ１５では、入力された音声信号についてＡ／Ｄ変換を行ってデジタル音声信号に変換し、映像／音声信号処理部１３に出力する。
【００１９】
映像／音声信号処理部１３は、映像／音声信号についてのデジタル信号処理として、主としては、圧縮符号化／復号処理を実行する。また、圧縮符号化／復号処理のほかにも、記録／再生すべき映像／音声信号についての所要のデジタル信号処理も実行可能に構成されている。この映像／音声信号処理部１３には、バッファメモリ１３ａが接続される。
【００２０】
映像／音声信号処理部１３は、バッファメモリ１３ａに対するデータの書き込み／読み出し制御を実行できるようになっており、これにより、記録又は再生の対象の映像／音声信号をバッファメモリ１３ａに対して一時蓄積させることが可能とされる。
この場合、映像／音声信号処理部１３は、バッファメモリ１３ａに蓄積させた映像／音声データを必要に応じて読み出して、所要の信号処理を実行して出力することができる。このように、バッファメモリ１３ａは、映像／音声信号処理部１３による信号処理のための作業領域として用いることができる。
【００２１】
例えば、先の説明のようにして撮像部１１及び収音部１４側から入力されるデジタル映像信号、及びデジタル音声信号を記録部２５に記録させる場合に対応しては、映像／音声信号処理部１３は、これらの入力されたデジタル映像信号、及びデジタル音声信号をバッファメモリ１３ａに書き込んで一時蓄積させる。そして、このバッファメモリ１３ａに蓄積させたデジタル映像信号及びデジタル音声信号のデータを読み出して、所定の符号化方式に従った圧縮符号化処理を施して、圧縮符号化された映像／音声データを生成する。なお、この圧縮符号化映像／音声データは、映像と音声とで再生出力タイミングが同期するように時間制御されている。
【００２２】
なお、本実施の形態においては、映像／音声データについて、後述するビットレート（記録品質レベル）変換処理やダイジェスト作成などをはじめとした編集処理も実行可能なように構成されているが、例えば、ビットレート（記録品質レベル）変換処理については、映像／音声信号処理部１３における信号処理を利用するようにされる。
つまり、ビットレート（記録品質レベル）変換処理のときには、映像／音声信号処理部１３は、例えばＣＰＵ３１の制御に応じて、ビットレート変換処理のために入力された映像／音声データを圧縮符号化するための圧縮符号化方式を変更したり、また、同じ圧縮符号化方式における圧縮符号化レベル（ビットレート）を変換するようにされる。なお、このようなビットレート（記録品質レベル）変換処理を行うときにも、映像／音声信号処理部１３は、バッファメモリ１３ａを作業領域として利用するようにされる。
【００２３】
記録部コントローラ２４では、上記した映像／音声データをはじめとして、記録部２５に記録させるべき記録データが転送されてきたときには、この記録データを入力して一時保持（バッファリング）し、記録部２５の記録フォーマットに応じた記録符号化などを施して、記録部２５に転送する。
【００２４】
記録部２５は、所定の記憶媒体を備えるドライブ装置であり、記録部コントローラ２４から転送されてきた記録データを記憶媒体に書き込んで記憶させる。なお、記録部２５に対しては、上記もしているように、映像／音声データのほか、各種のデータを記憶させることが可能である。
このようにして記録部２５に対して記録されたデータは、記録部コントローラ２４の処理によって、例えばファイルシステムなどにより管理されるようになっている。
【００２５】
なお、記録部２５における記憶媒体にどのようなものを採用するのかについては特に限定されるべきものではないが、本実施の形態としては、記憶媒体は比較的大容量であることが好ましい。そこで、現状としては、例えばハードディスクを採用することが考えられる。但し、将来的に、フラッシュメモリなどに代表される不揮発性のメモリ素子が適切なコストで大容量が得られるようになれば、このようなメモリ素子を採用することも考えられる。また、記録部２５として、各種のリムーバブルメディアに対応する構成とされても構わない。この場合においても、リムーバブルメディアの種別は、例えばディスクメディアやメモリ素子をはじめとして、特に限定されるべきものでない。
【００２６】
また、記録部２５において記憶媒体に記憶された映像／音声データを再生する場合には、例えばＣＰＵ３１の制御に応じて、記録部コントローラ２４が、記録部２５から再生指定された映像／音声データの読み出しを実行するようにされる。そして、記録部コントローラ２４は、例えば読み出した映像／音声データについての記録符号化についての復調処理などを実行したうえで、内部データバス３６を介して、映像／音声信号処理部１３に転送する。
【００２７】
また、本実施の形態の記録再生装置１としては、ネットワークインターフェイス部２９、及びワイアレスインターフェイス部３０を備えることで、ネットワークと接続することが可能とされている。そこで、記録部２５としては、例えばネットワークを経由して接続されるサーバにおいて、記録再生装置１ごとに割り当てられた所定容量の記憶領域とすることも可能である。この場合には、記録部コントローラ２４は、例えばネットワークインターフェイス部２９やワイアレスインターフェイス部３０と協働して、記録部２５としてのサーバの記録領域に記録すべきデータを、所定の転送プロトコルに従って、サーバに転送して記録させるように動作することになる。また、記録部２５からデータを再生する必要のある場合には、サーバにアクセスして、記録部２５としての記録領域に記憶されている再生対象のデータを要求する。この要求に応じてサーバがデータをアップロードすることで、記録再生装置１では、記録部２５としてのサーバの記録領域から読み出したデータを取得することが可能になる。
【００２８】
この場合の映像／音声信号処理部１３は、転送されてきた映像／音声データについて、その映像／音声データの圧縮符号化フォーマットに対応する復号化（伸長）処理を実行し、再生時間的に同期がとられた映像信号データ及び音声信号データを得る。そして、映像信号データは、内部データバス３６を介して表示部コントローラ２６に対して転送するようにされる。また、音声信号データは、内部データバス３６を介して音声出力処理部３４に対して転送する。
【００２９】
表示部コントローラ２６は、転送されてきた映像信号データに基づいて、表示部２７を駆動する。表示部２７は、例えば液晶ディスプレイなどをはじめとする表示デバイスを備えて構成されるもので、例えばその表示画面部は、記録再生装置１としての筐体においてユーザが視ることができるようにして設けられる。
表示部コントローラ２６は、表示部２７としての実際の表示デバイスの種別に応じた駆動方式により表示部２７を表示駆動するように構成されており、上記もしているように、転送されてきた映像信号データに基づいて、例えば表示デバイスにおける水平／垂直方向のドライブ回路をコントロールする。これにより、表示部２７においては、記録部２５から読み出された映像／音声信号データの映像信号が画像として表示されることになる。
【００３０】
また、音声出力処理部３４では、内部データバス３６を介して転送されてきた音声信号データを入力して、例えば必要に応じてゲイン調整などの処理を実行してＤ／Ａ変換を行ってアナログ音声信号に変換する。そして、例えばこのアナログ音声信号について増幅などを行ってスピーカ３５に対してスピーカドライブ信号として出力する。
これにより、スピーカ３５からは、記録部２５から読み出された映像／音声信号データの音声信号が音声として出力されることになる。
【００３１】
上記のようにして、例えば記録部２５から読み出し、さらに、映像／音声信号処理部１３にてデコード（復号化）した映像／音声データを、映像／音声として表示部２７及びスピーカ３５から再生出力させるときには、この映像／音声は、再生時間的に同期しているようにして再生出力されるようになっている。
このためには、例えば映像／音声信号処理部１３において復号処理を実行している過程において、圧縮符号化された映像／音声データに付加されている映像／音声を同期再生するための時間情報に基づいて、復号処理により得られる映像信号データ及び音声信号データの、表示部コントローラ２６及び音声出力処理部３４に対する転送タイミングを決定するようにされる。
【００３２】
生体情報入力部１７は、例えばユーザの体などに装着することで所定の生体情報を検出（測定）するためのセンサ部を備えて成るものとされる。この生体情報入力部１７のセンサ部から出力される検出信号（生体信号）は、この場合にはアナログ信号とされている。そこで、ここでは、検出信号をＡ／Ｄコンバータ１８によりデジタル信号に変換し、生体情報統合処理部１９に対して出力するようにしている。
生体情報統合処理部１９では、入力されたデジタルによる検出信号について所定のアルゴリズムに従って処理を実行することで、必要な種類の生体情報を生成するようにされる。そして、このようにして生成した生体情報を内部データバス３６を経由して出力することが可能とされる。
【００３３】
ここで、生体情報入力部１７→Ａ／Ｄコンバータ１８→生体情報統合処理部１９から成る系のより詳細な構成例を図２に示しておく。
この図に示す生体情報入力部１７においては、所定複数のセンサ部１７ａ−１〜１７ａ−ｎが設けられている。
この図では、あくまでも一例であるが、センサ部１７ａ−１が脳波検出のためのものとされ、センサ部１７ａ−２は心電を検出するためのものとされている。また、センサ部１７ａ−３は脈波を検出し、センサ部１７ａ−４は発汗の状態を検出するためのものとされる。そして、センサ部１７ａ−ｎが体温を検出するためのものとされている。
つまり、生体情報入力部１７としては、必要とされる生体電気現象や生体磁気現象などをはじめとした、所定の生体現象の検出項目に対応した種類のセンサ部が必要数設けられるものである。
【００３４】
また、この場合の生体情報入力部１７においては、センサ部１７ａ−１〜１７ａ−ｎごとに対応して、増幅部１７ｂ−１〜１７ｂ−ｎが設けられる。増幅部１７ｂ−１〜１７ｂ−ｎの各々は、センサ部１７ａ−１〜１７ａ−ｎから出力されたアナログの各検出信号を入力して、例えば検出項目等に応じて設定された所定のゲインにより増幅して出力する。
例えば、センサにより検出される電位レベルとして、一般に、脳波は５０μＶ程度であるのに対して心電は１ｍＶ程度であるように検出項目に応じて異なっている。この場合の増幅部１７ｂ−１〜１７ｂ−ｎによる信号の増幅は、このような検出項目に応じたセンサの電位レベルの差を補償して一定となるようにして、後段のＡ／Ｄコンバータ１８−１〜１８−ｎの各々によるＡ／Ｄ変換処理が適正に実行されるようなゲインを設定するために行われる。
【００３５】
生体情報入力部１７の増幅部１７ｂ−１〜１７ｂ−ｎから出力された検出信号は、それぞれ、Ａ／Ｄコンバータ１８−１〜１８−ｎに対して入力されて、デジタル値による検出信号に変換される。つまり、図１に示すＡ／Ｄコンバータ１８の実際としては、センサ部１７ａ−１〜１７ａ−ｎに対応して複数が設けられる。
ここで、Ａ／Ｄコンバータ１８−１〜１８−ｎの量子化ビット数は、増幅された生体信号の電位レベルを下回ることがないとされる程度の精度（分解能）が得られるようにして設定されるべきものとなる。また、サンプリング周波数としても、センサ部１７ａ−１〜１７ａ−ｎにより得られた検出信号（生体信号）が再現される程度の時間間隔を考慮して設定されるべきものとなる。
【００３６】
なお、例えば、センサ部１７ａ−１〜１７ａ−ｎとして示される各センサ部の実際としても、必要に応じてさらに複数のセンサ（例えば電極などとなる）が備えられるべきものとなる。つまり、例えば脳波検出のためのセンサ部１７ａ−１を例に採ると、脳波測定にあたっては、頭部の複数の所定箇所の各々に対応させてセンサ（電極）パッドを１つずつ配置することが行われる。センサ部１７ａ−１は、このような脳波検出のための複数のセンサ（電極）パッドの集合単位を示すものとなる。また、このようにしてセンサ部１７ａ−１として複数の電極パッドが設けられるのに応じて、増幅部１７ｂ−１及びＡ／Ｄコンバータ１８−１としても、センサ（電極）パッドごとに備えられるようにされてもよい。
また、センサ部１７ａ−１〜１７ａ−ｎにより検出する生体情報の項目としても、上記したものには限定されるものではなく、検出項目の組み合わせなどと併せて、多様に考えられるものである。
【００３７】
上記Ａ／Ｄコンバータ１８−１〜１８−ｎによりデジタル値化された検出信号は、生体情報統合処理部１９に対して入力されることになる。この場合の生体情報統合処理部１９は、図示するようにして、受信部１９ａ、生体信号処理部１９ｂ、及び送信部１９ｃを備えて成るものとされ、Ａ／Ｄコンバータ１８−１〜１８−ｎから出力されたデジタルの検出信号の各々は、先ず、受信部１９ａに対して入力される。
【００３８】
受信部１９ａは、外部から入力された検出信号を取り込むために設けられているもので、この受信部１９ａにて受信された検出信号は、生体信号処理部１９ｂに対して入力される。
生体信号処理部１９ｂは、受信部１９ａから入力されてくる各種のデジタル値による検出信号について、例えば後述する感情解析処理部２０をはじめとして、記録再生装置１内部でのデータ処理、管理が可能な形式のデータ構造（フォーマット）による生体情報が得られるように、信号処理を実行する部位となる。
ここでの生体信号処理としては、例えば検出信号の振幅調整や帯域通過のためのフィルタ演算処理をはじめ、高速フーリエ変換、ウェーブレット解析をはじめとする、いわゆる時間−周波数解析を行うようにされる。また、ニューラルネットやカオス解析などに代表される非線形解析を実行するようにされる。
【００３９】
そして、上記生体信号処理部１９ｂから出力された生体情報のデータは、送信部１９ｃにおいて、例えばパケット化などが施されて内部データバス３６によりデータ転送可能なデータ形式とされたうえで、ＣＰＵ３１の制御によって、内部データバス３６と接続される所定の機能回路部に対して転送される。
【００４０】
説明を図１に戻す。
例えば上記図２に示した構成による生体情報統合処理部１９から出力された生体情報のデータは、感情解析処理部２０に入力することで、感情解析処理のために利用することができる。感情解析処理部２０では、感情解析処理を実行することで、そのときのユーザの感情がどのような状態にあるのかを示す、感情データを得るようにされる。
生体情報統合処理部１９から出力される生体情報としては、先の図２による説明から理解されるように、例えば脳波、心電、脈波、発汗、体温などのようにして、複数の生体に関する検出情報から成る構造を有している。
感情解析処理部２０では、入力された生体情報に含まれる、これらの生体検出情報に基づいて感情解析処理を実行される。この感情解析処理としては、例えば、いわゆる感情モデルとして複数を定義して、これらの感情モデルについてのパラメータ値（感情パラメータ値）を出力する。 
また、この感情モデルとしては、多軸化したモデルを採用することが出来る。この場合の多軸化のモデルとしてどのようなものを採用するのかについては多様に考えられるが、例として、次のようなものが考えられる。
あくまでも一例であるが、最も簡易な２軸モデルを採用するとすれば、
快適（受け入れ） − 不快（拒否） 
あるいは、
緊張 − リラックス
のようにして、２軸方向による定義を行うようにする。
また、３軸モデルであれば、下記のようにして、Wundt の三次元モデルを適用することができる。
快 − 不快
興奮 − 沈静
緊張 − 弛緩
また、Ekmanの基本感情に基づけば、感情パラメータとして、怒り、恐れ、悲しみ、喜び、嫌悪、驚きを定義した６軸モデルを採用することが可能である。
そして、このような感情モデルを定義したうえで、これらの感情モデルにおける感情パラメータの値を解析処理により得るようにする。このためには、例えば感情解析処理部２０について、学習済み、若しくはユーザ個別に再学習を行った３層バックプロパゲーション、自己組織化マップ等のニューラルネットワークを利用した所定の処理アルゴリズムを実行可能に構成すればよい。そして、例えば、各軸の感情パラメータの値により得られる座標位置に対応させて、そのときのユーザの感情の状態を示す情報を、感情データとして出力するようにされる。なお、感情解析処理部２０としては、生体情報統合処理部１９から入力される生体情報に基づいて、必要とされる感情データが得られるようにしさえすれば、上記以外に基づいた構成とされて構わないものである。
【００４１】
そして、感情解析処理部２０において上記のようにして得られた感情データは、ＣＰＵ３１の制御によって、そのときの日時（日付及び時刻）を示す時間情報と対応付けられる形式（構造）とされたうえで、記録部コントローラ２４に対して転送されることで、記録部２５に記憶することが可能とされている。ここで、感情データが時間情報と対応付けられた形式で記憶されるということは、記録部２５からは、時間指定により感情データを検索して読み出すことが可能になることを意味する。また、例えば感情データと対応付けるべき時間情報は、ＣＰＵ３１の処理として、後述する時計部３３が計時している現在日時の情報から取得することができる。
【００４２】
位置／方位処理部２１は、例えばＧＰＳ(Global Positioning System)ユニット、ＤＧＰＳ(Differential GPS)ユニットやジャイロなどをはじめとした位置情報を得るためのデバイス、及び電子コンパスなどの方位情報を得るためのデバイスを備えて成り、これらのデバイスにより現在位置及び現在方位を示す位置／方位データを生成することができる。この場合、上記各デバイスは記録再生装置１に取り付けられているから、位置／方位データが示す現在位置としては、記録再生装置１の在る位置ということになる。また、方位としては、撮像部１１が撮像している方位を示すようにして、方位情報取得のためのデバイスが備えられるようにされる。なお、このような位置／方位データを生成するためのデバイスを、記録再生装置１を使用するユーザに取り付けるようにして、例えばユーザの位置や、現在において、ユーザが顔であるとか体の正面を向けている方位が検出できるようにすることも考えられる。
このようにして位置／方位処理部２１にて得られる位置／方位データは、ＣＰＵ３１の制御によって一定時間ごとにサンプリングされ、上記感情データと同様にして、時間情報と対応付けられた形式とされたうえで、記録部２５に対して記録される。
【００４３】
状況パターン処理部２２は、ユーザの「状況パターン」を特定するようにされる。
「状況パターン」とは、本実施の形態の記録再生装置１を使用して撮像／収音を行っているとされるユーザを主体とした状況を一定規則に従って類型化（パターン化）したものである。
本実施の形態の場合には、この状況パターンにつき、主としてはユーザ自身の行動をパターン化した行動パターンに基づいて設定することとしている。つまり、ユーザがおかれている、ユーザを取り巻く周囲環境などとしての状況パターンとして、ユーザがどのような行動を取っているのかに主眼をおく。このために、状況パターン処理部２２は、「状況パターン」を特定するのに、例えば少なくとも、位置／方位情報、またこの位置／方位情報に基づく移動情報と、現在の時刻、年月日、曜日の情報を利用する。
【００４４】
移動情報は、上記位置／方位処理部２１にて得られる現在の位置／方位データの時間経過に応じた変化に基づいて、例えば、少なくとも、移動範囲としてどの位置からどの位置に、どの程度の移動速度で移動しているのかが認識できるような構造のデータとして生成されるべきものとなる。また、この場合において、移動速度については、速度値に応じて「自動車で移動」「走る」「歩く」「ほぼ停止」のようにして段階的に振り分けて定義することとすれば、情報処理が容易なものとなる。もちろん、例えば「歩く」の振り分けに関して、「速く歩く」「遅く歩く」などのように、さらに細分化するようにしてもよい。
また、現在の時刻、年月日、曜日などの情報は、時計部３３が計時している現在時刻（年月日、曜日を含む）から得ることができる。
【００４５】
そして、状況パターン処理部２２では、このような各情報に基づいて、次のようにして、現在の状況を認識することができる。
ここで、ユーザは、日曜日が休日であり、この日曜日の午前中は、自宅付近の公園を散歩するという習慣があることとする。そして、今現在は、日曜日（ユーザの休日）の午前中（午前１０時）であり、習慣通りに、自宅付近の公園を散歩しているとする。
このとき、状況パターン処理部２２は、移動情報に基づいては、自宅近くの公園に応じた移動範囲を、ほぼ歩行速度で移動していることを認識することになる。また、現在時刻、年月日、曜日などの時間関連の情報に基づいては、そのときが日曜日で、午前１０時であることが認識されることになる。
【００４６】
ここで、詳細は後述するが、記録再生装置１では、記録部２５に対してパターン別ポリシーデータを登録するようにして記録できるようになっている。
このパターン別ポリシーデータは、特定の状況パターンごとに対応して形成されるもので、位置／方位に関する情報、時間に関連する情報などにより、対応する状況パターンを示す。また、具体例については後述するが、対応する状況パターンに応じて、編集処理の処理内容を指定する機能を持たせた情報として、評価値算出に用いるための係数、閾値などのパラメータを格納する。
【００４７】
そして、状況パターン処理部２２としては、上記のようにして認識した移動情報及び時間関連の情報の内容に基づいたユーザの現在の状況を示す内容と、既に登録されてある（記録部２５に記憶済みとされている）パターン別ポリシーデータの内容と一致、若しくは近似したものがあるか否かについて判定するようにしている。つまりは、今回特定した状況パターンと同一とみなされるパターン別ポリシーデータが既に登録されているか否かについて判別する。
そして、同一とされる登録済みのパターン別ポリシーデータが存在するとされた場合には、このときの状況パターンが特定されることになる。以降においては、この登録済みのパターン別ポリシーデータを、後述するような処理対象のデータとして利用するようにされる。これに対して、登録済みのパターン別ポリシーデータにおいて同一とみなされるものが存在しなかった場合には、所定の条件を満たしたときに、今回特定した状況パターンを、新規なパターン別ポリシーデータとして登録することが可能とされる。このようにして、パターン別ポリシーデータは、新規な状況パターンが得られるごとに増加させるようにして登録していくことができる。
【００４８】
前述もしたように、本実施の形態では、撮像部１１及び収音部１４により撮像／収音された映像／音声データを得ることができる。そして、本実施の形態では、この映像／音声データについて、後述するようにして、ビットレート変換、及びダイジェスト作成のための編集処理を実行可能とされている。
編集処理部２３は、これらの編集処理を実行するための機能ブロックである。
【００４９】
ユーザインターフェイス部２８は、例えばユーザが各種の操作を行うためのキー、スイッチ、ダイヤル、タッチパネルなどの各種操作子等から成る入力インターフェイスを有するものとされる。上記入力インターフェイスに対して行われた操作に応じては、操作コマンドが発生されることになる。ＣＰＵ３１は、この操作コマンドを、例えば内部データバス３６を経由して受信し、受信した操作コマンドに応答した所要の動作が得られるように制御処理を実行する。
また、ユーザインターフェイス部２８は、ユーザインターフェイスに関する制御として、表示部２７に対して、例えば入力インターフェイスに対するユーザ操作などに応じてＧＵＩ(Graphical User Interface)としての画像を表示させるための制御も実行可能とされている。さらに、例えばビープ音などによるメッセージ音、警告音などをスピーカ３５から出力させるように音声出力部３４を制御することも可能とされている。
【００５０】
ネットワークインターフェイス部２９は、例えばインターネット、ＬＡＮなどのネットワークと有線により接続可能とするためのハードウェア及びソフトウェアから構成されるインターフェイス部位とされる。
また、ワイアレスインターフェイス部３０は、例えば所定のネットワークとの接続を無線により行うためのインターフェイス部位であり、所定の無線ネットワーク通信規格に対応する送受信のためのハードウェア、及びソフトウェアから構成される。
このようにして、ネットワークインターフェイス部２９、ワイアレスインターフェイス部３０を備えてネットワークと接続可能とされていることによっては、ネットワーク経由で、外部から各種のデータを取得ができることになる。本実施の形態としては、このような外部データを記録部２５に記録する場合にも、時間情報と対応付けた形式とするようにされる。
【００５１】
なお、図１に示す機能ブロックのうちで、撮像部コントローラ１６としての機能ブロックは、ＣＰＵ３１がプログラムに従って実行する処理により実現可能であると述べたが、このような機能ブロックとしては、ほかに次を挙げることができる。
先ず、生体情報統合処理部１９についても、受信部１９ａの生体信号の取り込み機能、生体信号処理部１９ｂとしての処理機能、及び送信部１９ｃとしての生体情報の出力機能はＣＰＵ３１が予め組まれたプログラムに従った処理アルゴリズムとして実現できるものである。
また、感情解析処理部２０も、その機能動作は、感情解析のための処理アルゴリズムをＣＰＵ３１が実行するように構成することで実現できる。
また、位置／方位処理部２１において、先に説明したデバイスにて取得された位置情報及び方位情報から、時間情報と対応付けた位置／方位データを生成する動作も、ＣＰＵ３１が実行する処理動作として実現できる。
また、状況パターン処理部２２の動作もＣＰＵ３１が実行する処理動作として実現できるものである。
さらに、編集処理部２３としての機能も、例えばＣＰＵ３１の処理を伴って得られるものである。
【００５２】
ＣＰＵ３１は、上記したように、記録再生装置１における各種の機能動作を実現するために、プログラムに従って所要の各種処理を実行する。なお、図１において、ＣＰＵ３１が実行すべきプログラムは、例えば記録部２５に記憶させておくことができる。また、例えばＣＰＵ３１が備えているとされるＲＯＭなどに記憶させておくようにしてもよい。
また、ＲＡＭ３２は、ＣＰＵ３１の作業領域とされるものであり、例えば、ＣＰＵ３１が実行すべきプログラムはここに展開される。また、ＣＰＵ３１が各種演算処理を実行する過程において発生するデータなどが、ＲＡＭ３２に一時的に保持されることになる。
【００５３】
時計部３３は、この場合には、例えば年月日と、時：分：秒による時刻を計時するようにされている。本実施の形態の場合、この時計部３３が計時している時刻情報は、前述もしているように、時間情報を対応付けた形式のデータを生成するような場合において、この対応付けを行う時間情報を得るのに利用される。
なお、この図１に示す本実施の形態の記録再生装置１としての構成はあくまでも一例であって、適宜変更されて構わないものである。
【００５４】
２．記録再生装置を含むネットワークシステム例
上記図１に示した本実施の形態の記録再生装置１は、ネットワークインターフェイス部２９、あるいはワイアレスインターフェイス部３０を備えており、これにより、有線又は無線によりネットワークと接続することが可能とされている。
そこで、実施の形態の記録再生装置１をネットワークと接続することを前提とした場合に考えられる、ネットワークシステムの構築例について、図３を参照して簡単に説明しておくこととする。
この図では、本実施の形態の記録再生装置１である複数の記録再生装置１Ａ，１Ｂと、パーソナルコンピュータ５１、Ｗｅｂサーバ５２、及び位置／カテゴリサーバ５３が、ネットワーク５０と接続された状態を示している。
本実施の形態の記録再生装置１Ａ（１Ｂ）と、パーソナルコンピュータ５１との間では、先ず、記録再生装置１Ａ（１Ｂ）が、パーソナルコンピュータ５１側で記憶保持しているデータをダウンロードして外部データとして取り込んで、例えば記録部２５に記憶させることが可能となる。また逆に、記録再生装置１Ａ（１Ｂ）の記録部２５に記憶されているデータを、ネットワーク経由で転送して、パーソナルコンピュータ５１側にアップロードすることもできる。同様にして、記録再生装置１Ａ（１Ｂ）とＷｅｂサーバ５２との間でも、Ｗｅｂサーバ５２からデータをダウンロードして外部データとして取得し、記録部２５に記憶させることができる。また、必要に応じて、Ｗｅｂサーバ５２に対して、記録部２５に記憶されているデータをアップロードすることも可能である。
【００５５】
この図に示される位置／カテゴリサーバ５３は、記録再生装置１Ａ（１Ｂ）の位置／方位処理部２１により得られる位置／方位データを処理可能なサーバである。
ここで、記録再生装置１Ａ（１Ｂ）としては、ネットワーク接続が確立された状態では、位置／カテゴリサーバ５３に対して、上記位置／方位データを送信するようにされている。位置／カテゴリサーバ５３では、受信した位置／方位データ（主としては位置情報）が示す現在位置が、どのようなカテゴリの地域に属するのかを検索可能とされている。例えば、位置／方位データを送信したときに記録再生装置１Ａ（１Ｂ）がおかれている位置（即ち、ユーザが居る位置）の実際として、例えば或る景勝地、公園などのようにして、例えば公的に認知されているような特定の地域範囲であったとする。この場合、位置／カテゴリサーバ５３では、受信した位置／方位データに基づき、現在位置が属するカテゴリデータとして、その景勝地を示す情報を、記録再生装置１Ａ（１Ｂ）に対して送信するようにされる。記録再生装置１Ａ（１Ｂ）では、このようにして得られたカテゴリデータを、記録部２５に記憶させるべき位置／方位データの内容とすることができる。
【００５６】
３．実施の形態の編集処理概略
３−１．［編集１］ビットレート変換（記録後の編集）
例えば撮像装置を備えるビデオカメラ装置の、これまでの一般的な利用形態としては、ユーザ（撮影者）が、例えば必要に応じて、数十分から数分、あるいは数秒にわたるショットを撮影するというようなものであった。なお、ここでいうショットとは、録画を開始して、この後に録画が終了されるまでの期間において録画される撮像画像（及び収音音声）の単位をいう。
本実施の形態の記録再生装置１の利用形態としては、上記のようにして、比較的短時間のショットを逐次録画していくということも可能ではある。しかしながら、本実施の形態としては、先ず、あるまとまった長時間にわたり、常時的、継続的に録画（及び録音）を行うようにされる。具体例としては、例えばユーザ（撮影者）が朝に起床してから、その日の夜に就寝するまでの例えば１日分を録画／録音するようにされる。つまり、比較的長時間にわたるユーザ自己の記録を継続して録るようにされる。なお、このようにして録画／録音される情報とは、図１による説明では、映像／音声データとなるものである。
【００５７】
また、このようにして録画／録音を行っているときには、ユーザは、生体情報入力部１７としてのセンサ部を体に装着すべきとされており、これにより、録画／録音と並行して、生体情報に基づいた感情データも、記録部２５に記録されるようになっている。
なお、利用形態として、このような録画時の扱いとなるので、本実施の形態の記録再生装置１としては、相応に小型で携帯性に適するような外形サイズであることが好ましい。また、ユーザが行動しやすいようにすることを考慮すれば、ユーザの体に装着するセンサ側と、記録再生装置１側とは、無線で信号伝送が行われるようにすることが好ましいことになる。そこで、実際としては、例えば、生体情報入力部１７→Ａ／Ｄコンバータ１→生体情報統合処理部１９から成る系を、ユーザの体側に装着すべき装置として構成するようにすることが考えられる。そして、この装置から無線送信出力される生体情報を、記録再生装置１側で受信取得できるような構成とすればよいものである。このための構成として、例えばワイアレスインターフェイス部３０を利用することができる。
【００５８】
ここで、上記のようにして、長時間にわたって録画／録音することにより記録部２５に記憶された映像／音声データを後から再生して利用しようと思った場合において、一般に、ユーザにとって重要でありそのまま保存しておくべき部分は、全内容における一部であることがほとんどである。
また、記録部２５としては、前述もしたように、比較的大容量を有するものとして構成されるのではあるが、その容量には限界があり、また、動画像データは本来ビットレートが高いデータであるから、このようなデータの保存には比較的多くの記憶容量を必要とする。
このようなことから、上記のようにして長時間にわたって記録する映像／音声データについては、重要とされる部分と、重要ではないとされる部分とに応じて、記録部２５の記憶容量が効率的に使われるような編集が行われることが必要であるということがいえる。そこで、本実施の形態としては、長時間にわたって記録する映像／音声データについて、下記の編集１、編集２、編集３としての各編集処理を行うことができるようにされる。これらの編集処理は、図１に示した編集処理部２３が実行する。
編集１  ビットレート変換処理による編集（記録後の編集）
編集２  ビットレート変換処理による編集（リアルタイム編集）
編集３  ダイジェスト作成処理
【００５９】
先ず、編集１が概略どのようなものであるのかについて図４を参照して説明する。
この編集１としては、先ず、図４（ａ）に示すようにして、映像／音声データを記録部２５に対して記録する。なお、この図において、映像／音声データの記録を開始したのは時点ｔ０であり、終了は時点ｔ５であるとして示されている。
この記録開始から終了までの期間ｔ０〜ｔ５にわたって、映像／音声データは、基準ビットレートＡにより一定のビットレートで記録されるのであるが、この基準ビットレートＡは、例えば最高のビットレートとされる。つまり、編集１では、映像／音声データを、先ず、最初から最後まで、最高品質により記録することとしている。
【００６０】
なお、確認のために述べておくと、ここでいう映像／音声データのビットレートは、図１に示した映像／音声信号処理部１３における圧縮符号化処理を含む信号処理結果に対応する。つまり、この場合の映像／音声信号についての圧縮符号化処理は、ビットレート可変の方式が採られている。また、例えば、本来動画である映像データを静止画として出力させたり、或いは、映像／音声データとして、映像データは削除して音声データのみとするなどの信号処理を実行した場合にも、ここでいうビットレートが可変されるということになる。
【００６１】
また、期間ｔ０〜ｔ５にわたって、映像／音声データの記録を行っている間、本実施の形態の記録再生装置１では、この記録される映像／音声データについてのユーザの関心度（つまりユーザにとっての映像／音声データの重要度）を評価する（評価値を算出する）ための要素となる所定の情報も収集して、記録部２５に記録していくようにされる。この点の詳細については後述するが、例えば評価値算出のための要素となる情報の１つとしては、前述した感情データ、位置／方位データ、記録時対応の状況パターンデータなどを挙げることができる。
この結果、映像／音声データの記録終了後には、評価値算出のためのデータも記録部２５に記録されていることになる。そこで、映像／音声データの記録終了後においては、図４（ｂ）に示すようにして、映像／音声データの記録時間（ｔ０〜ｔ５の範囲）に対応させて評価値を算出するようにされる。このようにして映像／音声データの記録時間経過に対応させた評価値を得ることが可能なのは、例えば上記した評価値算出に利用する情報として、感情データ、位置／方位データなどのようにして時間経過に応じて変化し得る情報について、前述もしたように時間情報を対応させて記憶させていることに依る。
【００６２】
そして、このようにして得られた、映像／音声データの記録時間経過に応じた評価値と、予め設定された閾値とを、図４（ｂ）に示すようにして比較するようにされる。
このようにして比較を行う結果、閾値よりも評価値が高いとされる期間に対応する映像／音声データの区間は、ユーザの関心度が高いとされる内容であるとみなすことができる。逆に、閾値よりも評価値が低いとされる期間に対応する映像／音声データの区間は、ユーザの関心度が低いとされる内容であるとみなすことができる。図４（ａ）（ｂ）に例示する関係としては、閾値よりも評価値が高い、期間ｔ０〜ｔ１、期間ｔ１〜ｔ３、期間ｔ４〜ｔ５の各期間に対応する映像／音声データの区間については、ユーザの関心度が高いということになり、残る閾値よりも評価値が低い、期間ｔ１〜ｔ２、期間ｔ３〜ｔ４の各期間に対応する映像／音声データの区間については、ユーザの関心度が低いということになる。
【００６３】
そこで、このような評価値と閾値との比較結果に応じて、評価値が閾値より高く、ユーザの関心度が高いとみなされる映像／音声データの区間については、記録時の基準ビットレートＡ（つまり最高ビットレート）のままとするのに対して、評価値が閾値より低く、ユーザの関心度が低いとみなされる映像／音声データの区間については、基準ビットレートＡよりも低いとされる所定の変更ビットレートＢを設定するようにされる。具体的には、図４（ｂ）（ｃ）の関係により示すように、期間ｔ０〜ｔ１、期間ｔ１〜ｔ３、期間ｔ４〜ｔ５に対応する映像／音声データの区間については基準ビットレートＡを設定し、期間ｔ１〜ｔ２、期間ｔ３〜ｔ４に対応する映像／音声データの区間については、変更ビットレートＢを設定する。つまり、この図の場合であれば、評価値が閾値とクロスするポイント（時点ｔ１，ｔ２，ｔ３，ｔ４）を編集ポイントとして、この編集ポイントにより閾値と評価値との大小関係に応じて、編集ポイントで区切られる区間ごとのビットレートの変更設定を行うようにされる。
【００６４】
そして、編集のための信号処理として、上記のようにして区間ごとに対応して設定したビットレートに基づいて、ビットレート変換を行うようにされる。つまり、図４の場合であれば、時点ｔ０〜時点ｔ５までの期間において、図４（ｃ）に示すようにして、区間ごとにビットレートが変化するようにされた１つの編集コンテンツとしての映像／音声データを作成するようにされる。つまり、ユーザの関心度に応じてビットレートが異なるように編集されたコンテンツを作成するものである。
【００６５】
このようなビットレート変換処理によっては、編集後のコンテンツ（映像／音声データ）として、例えば、ユーザにとっての関心度（重要性）が高いとされる区間では高品質の画像（音声）が得られ、関心度が低いとされる区間については低品質の画像（音声）が得られることになる。ユーザとしては、自分にとって重要な部分は高品質となっているから、後において視聴するときにも、その利用価値は高いものが維持されていることになる。これに対して、ユーザの関心度が低いとされる区間についてはビットレートを低下させて低品質としているが、これにより、図４（ａ）に示したように最高ビットレート（基準ビットレートＡ）による一定のビットレートとした場合よりも、期間ｔ０〜ｔ５を継続録画したコンテンツ（映像／音声データファイル）としては、より少ないデータ量とすることができる。つまり、この編集では、ユーザの関心度が低いとされて、ほぼ不要であるとみなしてよい区間についてはビットレート（データ量）を少なくするようにして、映像／音声データファイルとしてのデータ量が少なくなるようにしているものである。
また、この編集処理によっては、ユーザの関心度が低いとされてほぼ不要であるとみなされる区間のデータは削除されることなく、低品質化された状態で残ることになる。例えば、編集のときに対応しては関心度が低いとされた区間でも、あとからユーザが思い直して、もう一度視聴してみようとする状況になることは当然考えられる。しかし、この場合において、ユーザの関心度が低いとされる区間は完全に削除してしまうような編集の仕方である場合には、そのような区間を再度視ることはできなくなる。これに対して、ビットレートを変換するという編集の仕方であれば、低品質ではあるが、その区間の映像／音声データは残されていることになるから、ユーザは、もう一度、その区間を視聴することができる。
【００６６】
３−２．［編集２］ビットレート変換（リアルタイム編集）
続いては、編集２について、図５を参照して説明する。編集２は、上記したビットレート変換処理による編集を、映像／音声データの記録時においてリアルタイムで行う。つまり、撮像／収音して得られる映像／音声データについて、記録部２５に記録する前の段階でビットレートの変換処理をダイナミックに実行し、このようしてビットレートが変換された映像／音声データを、記録データとして記録部２５に記録するものである。
【００６７】
この編集２としても、図５（ａ）に示すようにして、撮像／収音により得られる映像／音声データを、記録を開始する時点ｔ０から記録を終了する時点ｔ５まで、継続的に記録部２５に記録することとしている。
但し、この場合においては、この映像／音声データを記録する際の基準として初期的に設定されるビットレートである、基準ビットレートａは、編集２に対応しては最低として規定される所定のビットレートとされている。
【００６８】
また、この場合においても、記録すべき映像／音声データを撮像／収音により取得していくのと並行して、この記録すべき映像／音声データについてのユーザの関心度を示すとされる評価値を算出するための要素となる情報も収集し、所定の一定時間ごとに周期的にこれらの収集した情報を利用して評価値の算出を行う。つまり、この場合には、映像／音声データの取得（記録）と並行して、映像／音声データの記録時間経過に応じた評価値も取得するようにしている。
そして、図５（ｂ）に示すようにして、この評価値と、編集２に対応して設定された閾値とを比較することで、編集ポイントの特定を行うようにされる。この場合においても、評価値が閾値よりも高くなっている期間に対応する区間が、ユーザの関心度が高いとされる内容が収録された映像／音声データ部分ということになる。編集ポイントの特定結果として、図５（ｂ）に示される例としては、期間ｔ０〜ｔ１、ｔ２〜ｔ３、ｔ４〜ｔ５の各期間に対応する区間が、ユーザの関心度が低い（評価値が閾値よりも低い）とされる区間となっている。また、期間ｔ１〜ｔ２、期間ｔ３〜ｔ４に対応する区間が、ユーザの関心度が高い（評価値が閾値よりも高い）区間となっている。
【００６９】
そこで、この場合には、評価値が閾値よりも高いとされて、ユーザの関心度が高いとされる区間については、基準ビットレートａよりも高い、増加ビットレートｂを設定するようにしてビットレートの可変設定が行われる。
ここで、この場合においてはリアルタイム編集であることから、上記した評価値と閾値との比較結果に応じて可変設定されたビットレートは、映像／音声信号処理部１３におけるエンコード処理に反映されることになる。つまり、映像／音声信号処理部１３では、撮像部１１及び収音部１４側から入力されてくる映像信号／ビデオ信号を記録するために、前述したように、圧縮符号化処理を含む所定のエンコード処理を施すのであるが、このときに、上記のようにして映像／音声データの記録処理と並行して得られるビットレートの指定情報を入力するようにしている。そして、この指定情報に応じて設定したビットレートにより、映像信号／ビデオ信号のエンコード処理を実行して映像／音声データを生成し、この映像／音声データが記録部２５にて記録されるように、記録部コントローラ２４に転送する。
【００７０】
この結果、撮像部と収音部による撮像／収音動作と同時進行するようにして記録部２５に記録されていく映像／音声データとしては、図５（ａ）に示すようにして、既に、ユーザの関心度（つまり閾値と評価値との比較結果）に応じて、ビットレートが可変されたコンテンツ内容を有しているものとなる。
そして、このような編集処理が行われることによっても、先の編集１と同様にして、長時間収録した映像／音声データについて、ユーザの関心度が高いとされる部分は高品質が維持され、逆にユーザの関心度が低いとされる部分は低品質とされた編集結果を得ることができる。従って、この場合においても、ユーザの関心度が低いとされる部分は低ビットレートとすることに依るデータサイズの縮小が図られていることになる。また、関心度が低い部分は、低品質ではありながらもコンテンツに含められて残っているために、あとからユーザが必要になったときには、その部分を参照（視聴）することができる。
【００７１】
３−３．［編集３］ダイジェスト作成
続いて、編集３としてのダイジェスト作成の処理概略について、図６を参照して説明する。
ダイジェスト作成処理の場合には、先ず、図６（ａ）に示すようにして、このダイジェスト作成に対応して設定された所定の基準ビットレートＣにより、記録開始の時点ｔ０から記録終了の時点ｔ５まで、撮像／収音により得られる映像／音声信号をエンコードした映像／音声データを、継続的に記録部２５に記録していくようにされる。つまり、先ずは、編集元としての素材となる映像／音声データのコンテンツを、記録部２５に記録する。この点では、編集１と同様である。
【００７２】
また、この編集３においても、編集１と同様にして、映像／音声データを記録部２５に記録するのと並行して、評価値算出のための各種情報を収集して記録部２５に記録するようにされる。
【００７３】
そして、時点ｔ５までの映像／音声データの記録が終了して後において、この記録部２５に記録された編集元の映像／音声データについて編集を行うときには、先ず、映像／音声データの時間経過に応じた評価値を算出し、この評価値と閾値とを図６（ｂ）に示すようにして比較するようにされる。
【００７４】
この場合においても、評価値が閾値を越えている期間に対応する映像／音声データの内容は、ユーザの関心度が高く、評価値が閾値を越えていない期間に対応する映像／音声データの内容は、ユーザの関心度が低いものとして扱われる。
そして、このような評価値と閾値との比較結果に応じて、編集ポイントを特定するようにされる。この結果、図６（ａ）に示す期間ｔ０〜ｔ５に対応する映像／音声データは、期間ｔ０〜ｔ１の区間Ａデータ、期間ｔ１〜ｔ２の区間Ｂデータ、期間ｔ２〜ｔ３の区間Ｃデータ、期間ｔ３〜ｔ４の区間Ｄデータ、期間ｔ４〜ｔ５の区間Ｅデータに区分されることになる。このうちで、評価値が閾値を越えている（ユーザの関心度が高い）期間に対応するのは、区間Ａデータ、区間Ｃデータ、区間Ｅデータであり、評価値が閾値を越えていない（ユーザの関心度が低い）期間に対応するのは、区間Ｂデータ、区間Ｄデータとなる。
【００７５】
そして、このような閾値と評価値との比較により得られる映像／音声データの区分に応じて、例えば図６（ｃ）に示すようにしてダイジェスト化の処理を行う。
つまり、上記しているように、図６（ａ）に示す映像／音声データにおいて、評価値が閾値を越えていることでユーザの関心度が高いとされる期間に対応するのは、区間Ａデータ、区間Ｃデータ、区間Ｅデータである。そこで、この場合には、ユーザの関心度が低いとされる残りの区間Ｂデータ、及び区間Ｄデータについては切り捨てて、ダイジェストデータを作成するための区間データとして、区間Ａデータ、区間Ｃデータ、区間Ｅデータを抽出する。そして、これらの区間Ａデータ、区間Ｃデータ、区間Ｅデータを、図６（ｃ）に示すようにして、収録時間の早い順に並べるようにして連結して１つの映像／音声データとしてのコンテンツデータ（ファイル）を作成する。これが、１つのダイジェストデータのファイルとなる。この場合には、時間順的には、区間Ａデータ→区間Ｃデータ→区間Ｅデータの順となるので、この順で配列させたうえで連結を行ってダイジェストデータのファイルを作成している。
【００７６】
このようなダイジェスト編集によっては、ユーザの関心度が低いとされる映像／音声データの区間については削除して、ユーザの関心度が高いとされる映像／音声データのみを残すかたちでの、映像／音声データのコンテンツについてのデータサイズの縮小が図られることになる。
この場合、ユーザの関心度が低いとされる映像／音声データの部分は削除されるので、上記した編集１，編集２のビットレート変換処理のようにして低品質の状態で残す、ということにはならず、従って、後で削除部分が必要になってもダイジェストデータからこれを参照することはできない。
しかしながら、この編集３は、あくまでもダイジェストを作成することが目的であり、その点で、ユーザの関心度が低いとされる部分を残すことにはさほどの意味はないとうことがいえる。これに対して、編集１又は編集２によるビットレート変換による編集は、編集元の映像／音声データについて低品質で書き換えられる部分があるとしても、収録時の内容を全て残すというようにしていることに意味があり、ダイジェストを作成するという観点からの編集ではないということがいえる。つまり、ビットレート変換による編集と、ダイジェスト作成の編集とは、互いにその目的とするところや、ユーザの要求などが異なるものであるといえる。
【００７７】
そこで、ユーザとしては、編集１、編集２のいずれかによるビットレート変換による編集と、編集３としてのダイジェスト作成の編集との間で、例えば収録した映像／音声データの内容や、映像／音声データを収録していたときの状況等に応じて適切とされるものを適宜、任意に選択すればよい。
また、例えば、ダイジェスト作成については、１まとまりの映像／音声データの収録（記録部２５への記録）が終了した後に必ず行って、作成されたダイジェストデータを再生してユーザに提示することとしたうえで、ビットレート変換による編集を実行させるか否かについては、ユーザが判断して操作するような利用形態としてもよい。
【００７８】
４．データ構造
４−１．全体構造
以降においては、上記した編集１，編集２，編集３としての各編集処理が、本実施の形態の記録再生装置１において実現されるための構成について説明を行っていくこととして、先ず、そのためのデータ構造について説明していくこととする。
【００７９】
図７は、上記各編集処理を行うのに記録再生装置１が処理するデータを総括して模式的に示している。
この図におけるデータとしては、大別して、管理情報１００、記録データファイル群１１０、ポリシーデータファイル群１２０が示される。
【００８０】
先ず、管理情報１００から説明する。
管理情報１００は、１回のショットにより収録される映像／音声データごとに対応して作成される。例えば、図４、図５、図６の場合であれば、図４（ａ）、図５（ａ）、図６（ａ）に示すようにして、一度記録が開始されてから、その後記録が終了するまでの期間にわたって継続して得られた、１つの映像／音声データのファイルごとに対応して、この管理情報１００が作成されることになる。
【００８１】
管理情報１００の内容は、主としては、後述するようにして記録データファイル群１１０を形成する各データファイルを管理するための情報項目から成るものとされる。この情報項目としては、図示するようにして、
タイトル情報
所有者情報
開示属性情報
開始時刻情報
記録時間情報
映像／音声データＵＲＬ
映像／音声属性情報
感情データＵＲＬ
感情データ属性情報
位置／方位データＵＲＬ
記録時対応状況パターンデータＵＲＬ
再生関連データＵＲＬ
データ取得情報ＵＲＬ
などを格納して形成される。
【００８２】
タイトル情報は、記録データファイル群１１０に含まれるデータファイルのうちで、その管理情報１００が対応する映像／音声データ１１１のファイルに付されるべきタイトルを示す。
また、所有者情報は、その管理情報１００が対応する映像／音声データ１１１のファイルに対して設定された所有者を示す。
また、開示属性情報は、その管理情報１００が対応する映像／音声データ１１１のファイルについて設定される各種の属性情報のうち、開示することが許可される属性情報の内容を示す。
【００８３】
開始時刻情報は、その管理情報１００が対応する映像／音声データ１１１のファイルについて、収録（記録部２５への記録）を開始した時刻情報を示す。この時刻情報は、例えば年月日、曜日、時、分、秒により示されるもので、図４〜図６においては時点ｔ０としての時刻に相当する。
記録時間情報は、その管理情報１００が対応する映像／音声データ１１１のファイルについて、収録（記録部２５への記録）を行った時間長を、例えば時間、分、秒単位により示す。図４〜図６においては、時点ｔ０〜時点ｔ５までの期間の時間長に相当する。
【００８４】
映像／音声データＵＲＬは、その管理情報１００が対応する映像／音声データ１１１の在処を示すＵＲＬ(Uniform Resource Locator)を格納する。対応の映像／音声データ１１１が記録部２５に記憶されている場合として、記録部２５が記録再生装置１に備えられるローカルな記憶デバイスである場合には、映像／音声データＵＲＬとして、この記録部２５において上記対応の映像／音声データ１１１が記憶されているアドレスが記述されることになる。また、記録部２５がネットワーク接続されるサーバ上に記憶されている場合には、このサーバにおける映像／音声データ１１１の記憶領域を示すＵＲＬが記述される。このようにして、映像／音声データＵＲＬを参照することで、その管理情報１００が対応する映像／音声データにアクセスすることができる。
映像／音声属性情報は、その管理情報１００が対応する映像／音声データ１１１についての所定の各種の属性を示す。
【００８５】
感情データＵＲＬは、記録データファイル群１１０に含まれるデータファイルのうちで、その管理情報１００が対応する感情データ１１２、つまり、その管理情報１００が対応する映像／音声データを収録していたときに並行して収集された生体情報に基づいて取得された感情データ１１２の在処を示すＵＲＬを格納する。
感情データ属性情報は、その管理情報１００が対応する感情データ１１２についての所定の属性情報から成る。この場合には、例として、感情データ属性情報は、感情モデル情報、感情パラメータ情報、及びサンプルタイミング情報の各属性情報から成るものとしている。
感情モデル情報は、先に２軸モデル、３軸モデル、６軸モデルなどとして例示した感情モデルとして、どのような定義によるものを採用しているのかについて示す。
また、感情パラメータ情報は、上記感情モデル情報により指定される感情モデルの元で、どのような感情パラメータ（例えば、快適／不快、緊張／リラックス、興奮 ／ 沈静など）を採用しているのかを示す。
サンプルタイミング情報は、感情データ１１２を取得するために、生体情報入力部１７→Ａ／Ｄコンバータ１８→生体情報統合処理部１９の系から出力される生体情報をサンプルして感情データを生成する周期（サンプルタイミング）を指定している。
【００８６】
位置／方位データＵＲＬは、記録データファイル群１１０に含まれるデータファイルのうちで、位置／方位処理部２１にて取得される位置／方位データ１１３の在処を示すＵＲＬを格納する。
記録時対応状況パターンデータＵＲＬは、記録データファイル群１１０に含まれるデータファイルのうちで、状況パターン処理部２２としての処理を伴って取得される記録時対応状況パターンデータ１１４の在処を示すＵＲＬを格納する。
再生頻度データＵＲＬは、記録データファイル群１１０に含まれるデータファイルのうちで、その管理情報１００が対応する映像／音声データのファイルについての再生履歴情報である再生頻度データ１１５の在処を示すＵＲＬを格納する。
データ取得情報ＵＲＬは、記録データファイル群１１０に含まれるデータファイルのうちにおける、外部データ１１６の在処を示すＵＲＬを格納する。
【００８７】
記録データファイル群１１０は、データファイルとして、メインとなる、１つの映像／音声データ１１１と、この映像／音声データ１１１に関連して生成（作成）、或いは取得したとされるデータファイルの集合から成る。これらのデータファイルは、例えば記録部２５などのようにして、所定の記憶領域に記憶される。上記した説明からも理解されるように、記録データファイル群１１０を成すこれらのデータファイルの各々の在処（ＵＲＬ）は、管理情報１００によって管理されるようになっている。
ここでは、記録データファイル群１１０に含められるデータファイルの種別として、映像／音声データ１１１、感情データ１１２、位置／方位データ１１３、記録時対応状況パターンデータ１１４、再生頻度データ１１５、外部データ１１６が示されている。
【００８８】
映像／音声データ１１１は、先にも説明したように、１回のショットにより収録される映像／音声データのデータファイルであり、先にも説明したように、時間情報（時刻情報）と対応付けられて生成されるものである。
感情データ１１２は、上記映像／音声データ１１１を収録しているときに、感情解析処理部２０により生成されるデータである。この感情データ１１２も、時間情報に対応付けられた構造となっている。
位置／方位データ１１３は、位置／方位処理部２１により取得される位置／方位を示す情報を、同様に、時間情報と対応付けた構造としたデータである。
【００８９】
また、図１においても説明したように、本実施の形態の記録再生装置１は、少なくとも、位置／方位情報、移動情報（位置／方位情報に基づく）と、現在の時刻、年月日、曜日などの情報に基づいてユーザの状況パターンを判定し、この状況パターンを示す状況パターンデータを作成することができる。また、新規作成した状況パターンデータを、登録状況パターンデータとして追加登録していくこともできる。そして、映像／音声データ１１１を記録していくときには、登録済みの状況パターンデータのうちから、判定される現在の状況パターンに最も近いとされるものを特定する。この場合において、映像／音声データ１１１を記録していく過程において、ユーザの状況パターンに変化があれば、これに応じて、特定される登録状況パターンデータも変化していくことになる。そして、映像／音声データ１１１の記録時には、このようにして映像／音声データ１１１の記録時間の進行と共に変化し得る、特定が為される登録状況パターンデータを示す情報と、時間情報とを対応付けたものを記録していくようにされる。これが、図７の記録データファイル群において示される、記録時対応状況パターンデータ１１４である。また、この記録時対応状況パターンデータ１１４には、行動特異点を示す特異点データも時間情報とリンクされるかたちで含められる。この特異点データについては後述する。
【００９０】
また、本実施の形態における１ショット分の映像／音声データ１１１は、先にも述べたように、例えばほぼまる一日分とされるなど、比較的長時間にわたって継続的に記録される。
そして、本実施の形態の記録再生装置１では、このようにして例えば一日分のショットの映像／音声データを記録部２５に記録している途中でも、ユーザによるレビュー再生操作に応じては、このショットの映像／音声データについて、既に記録済みとされているものについて、例えば時刻指定を行って任意の位置から再生を行うことができる。
そして、このようなレビュー再生を行った再生履歴情報が再生頻度データ１１５として生成される。
また、この再生頻度情報としては、例えばレビュー再生を行ったという履歴に対して、時間情報が対応付けられたものとなる。また、この場合の再生頻度情報には、記録再生装置１がレビュー再生を実行しているとき（つまり、ユーザがレビュー再生を視聴しているとき）に対応する再生時感情データも含められるものとされる。
この再生時感情データは、上記のように、記録再生装置１がレビュー再生を実行しているときに対応して感情解析処理部２０により取得された感情データとの、時間的リンクを示す情報とされる。つまり、この再生時感情データとしてのリンク情報によりリンクされる時刻の感情データを参照することで、ユーザがレビュー再生を視聴しているときの感情がどのようなものであるのかを認識することが可能となる。
【００９１】
外部データ１１６は、記録再生装置１が、ネットワークインターフェイス部２９やワイアレスインターフェイス部３０などを経由して外部から取得したデータとされる。この外部データも、時間情報と対応付けられるようにされており、これにより、記録再生装置１により外部データを取得した時刻が認識できるようにされる。
【００９２】
ポリシーデータファイル群１２０は、１つの基本ポリシーデータ１２１と、１以上のパターン別ポリシーデータ１２２−１〜１２２−ｎから成る。ここで、上記管理情報１００、及び記録データファイル群１１０を形成するデータファイルの各々は、１つの映像／音声データ１１１ごとに個々に対応するものであった。これに対して、基本ポリシーデータ１２１、及びパターン別ポリシーデータ１２２−１〜１２２−ｎの各々は、異なる映像／音声データ１１１に対して共通となるものである。
【００９３】
ポリシーデータは、例えば先に図４〜図６により説明した本実施の形態としての編集を行うのにあたり、その編集結果に影響を与えるとされる各種の所定の指定情報やパラメータなどを格納して構成される。例えば、先に図４〜図６により説明したように、本実施の形態の編集は、基本的には閾値と評価値との大小関係に基づいたものとなるが、この閾値設定に関する情報や、評価値算出のためのパラメータなどの情報も、ポリシーデータに含まれる。
そしてこのポリシーデータのうち、基本ポリシーデータ１２１は、上記指定情報やパラメータの情報として、初期的に設定されたものを格納して形成されるものとされる。これに対して、パターン別ポリシーデータ１２２−１〜１２２−ｎは、例えば先に説明したような、ユーザの状況を類型化した「状況パターン」ごとに対応して登録されるもので、特定の状況パターンを特定（識別）するための情報と、その状況パターンに対応させた上記指定情報やパラメータの情報を格納して形成されるものである。
【００９４】
詳細は後述するが、例えば映像／音声データを編集するときには、例えば、その映像／音声データを収録していたときの状況パターンに対応するパターン別ポリシーデータを参照して編集を行うことができる。このようにしてパターン別ポリシーデータを利用して編集を行えば、その状況パターンに適合して的確とされる編集結果を得ることができる。
例えば、感情という観点でみたとした場合、自宅でくつろいでいるときなどは、比較的穏やかな感情を基準として変化を示すようなものとなる。これに対して、アウトドア活動などをしているときなどは、自宅などでくつろいでいるときと比較すれば、定常的にも比較的興奮状態にあり、このような感情状態を基準として変化を示すようなものとなる。
仮に、このような状況の変化に応じての感情状態の違いを考慮せず、固定的な指定情報やパラメータにより、感情データに基づいて評価値算出を行って編集ポイントの設定を行ったとすれば、自宅でくつろいでいる場合と、アウトドア活動をしているときとの各状況パターンに対応して適切な編集結果を得ることはできない。しかしながら本実施の形態としては、パターン別ポリシーデータを利用した編集が可能とされていることで、上記した問題を回避して、そのときの状況パターンにより適合した編集結果が得られるようにされる。
【００９５】
４−２．基本ポリシーデータの全体構造
続いて、上述したポリシーデータファイル群１２０に属するポリシーデータとして、基本ポリシーデータ１２１と、パターン別ポリシーデータの各々についてのデータ構造について説明することとし、先ず、基本ポリシーデータから説明を行うこととする。
【００９６】
基本ポリシーデータ１２１は、図８に示す全体構造を有しており、図示するようにして、感情次数情報、ビットレート変換オン／オフ情報、ダイジェスト作成オン／オフ情報、パターン別ポリシーデータ数情報、内容別記録リスト、を格納する。また、基本ビットレート変換用パラメータ、基本ダイジェスト作成用パラメータを格納する。
【００９７】
感情次数情報は、感情データを生成する際において設定される感情モデルにおける次数（軸数）を指定する情報が示される。
本実施の形態では、例えば、記録再生装置１に対するオン／オフ設定操作や、環境設定などに応じて、編集処理についてのオン／オフ設定を行うことができるようになっている。
【００９８】
ビットレート変換オン／オフ情報は、ビットレート変換による編集処理、つまり、本実施の形態の編集１、編集２としての編集処理についてのオン／オフ設定状態を示す。また、ダイジェスト作成オン／オフ情報は、ダイジェスト作成の編集処理（編集３）についてのオン／オフ設定状態を示す。
記録再生装置１は、編集時にこの基本ポリシーデータを参照した場合に、これらの編集処理についてのオン／オフ情報がオン（許可）を示していれば、その編集処理を実行する。これに対して、オフ（禁止）を示していれば、その編集処理を実行しないようにされる。
【００９９】
パターン別ポリシーデータ数情報は、現在登録されているパターン別ポリシーデータの数を示す。
内容別記録リストは、データファイルとして記録部２５に記録されるべき映像／音声データについての、内容別に登録されたリストの情報である。例えば「会議」「ドライブ」「海外旅行」などの内容別にリスト分けがされる。
【０１００】
基本ビットレート変換用パラメータの領域ＦＬ１には、図４，図５により説明した編集１、編集２に対応する、ビットレート変換による編集を実行するために設定される閾値、及び評価値算出において用いられる係数等の各種のパラメータが格納される。
また、基本ダイジェスト作成用パラメータの領域ＦＬ２には、図６により説明した編集３に対応する、ダイジェスト作成の編集を実行するために設定される閾値、及び評価値算出において用いられる係数等の各種のパラメータが格納される。
後述するパターン別ポリシーデータに格納される編集用パラメータ値（ビットレート変換用パラメータ、ダイジェスト作成用パラメータ）は、状況パターンごとに適合するようにされた値が設定される。これに対して、上記基本ビットレート変換用パラメータ、及びダイジェスト作成用パラメータとしては、パターン別ポリシーデータに対して基準となる値が設定される。
【０１０１】
４−３．基本ビットレート変換用パラメータ
図９には、上記図８の領域ＦＬ１に格納される、基本ビットレート変換用パラメータの具体例が示されている。以下、基本ビットレート変換用パラメータとしての各パラメータについて説明していく。
先に図４に示した編集１としてのビットレート変換は、映像／音声データを記録部２５に記録させた後の所要の機会において実行されるものであるが、本実施の形態としては、例えば映像／音声データを記録終了してから、設定された経過日時を経過したときに、このビットレート変換による編集を自動実行できるように構成される。
先ず、基本ビットレート変換用パラメータにおける経過日時指定情報は、この映像／音声データを記録終了してから編集１としてのビットレート変換処理を自動実行するまでの経過日時を指定するパラメータである。例えば、この経過日時指定情報が、「３日」を示すものである場合には、映像／音声データのファイルは、記録部２５に対して行われた記録が終了してから３日（７２時間）を経過すると、自動的にビットレート変換による編集（編集１）が行われて、それまで記録部２５に記録されていた映像／音声データのファイルから、編集後の映像／音声データのファイルに書き換え（更新）が行われる。
【０１０２】
先に図４及び図５に示した編集１、若しくは編集２としてのビットレート変換は、説明を分かりやすいものとするために、単純に１つの閾値と評価値を比較していたので、変換されるビットレートとしても基準ビットレートＡと、変更ビットレートＢとの２段階となっていた。
しかしながら、実際においては、評価値と比較されるべき閾値は複数が設定されており、これに応じて、変換されるビットレートのレベルとしても、複数のレベル段階を有する。
そして、この場合においては、ビットレート変換は次のようなレベル段階を有するものとされる。
先ず、圧縮符号化された映像／音声データとして最高品質が得られるとされるビットレートを最高水準（レベル１）とする。そして、この最高水準に対して、下記のようにして、ビットレートを低下させていくレベル２以降を設定する。
レベル２：上記レベル１である最高水準のビットレートの場合よりも、所定倍率分により圧縮符号化の圧縮率を高くする。これにより、最高水準のビットレートよりも低いとされるレベル２としてのビットレートが得られる。
レベル３：例えば、レベル２の映像／音声データと同じ圧縮率の映像データについて、フレーム画像ごとの解像度を所定率低下させる。
レベル４：レベル３の映像／音声データについて、単位時間あたりのフレーム画像数を所定数に減少させる。
レベル５：映像／音声データとして映像データについては静止画とする。
レベル６：映像／音声データとして映像データ成分を全く含めることなく、音声データのみとする。
【０１０３】
先の図４，図５による説明では、ビットレート変換処理によっては、ユーザの関心度が低いとされる部分についても、ビットレートを低下させた形式で保存はしておくようにすることで、後の参照が可能であることがメリットであると説明している。ただし、自由度やレベル範囲を拡大することなどを考慮すれば、ユーザの関心度が非常に低いとされる部分については、削除してしまってもよいという考え方ができる。また、映像／音声データ部分を削除することによっては、有効なデータサイズの削減効果が得られる。
次に説明するレベル７、レベル８としては、このような映像／音声データ部分の削除を伴って、結果としてビットレートを低くするというビットレート変換を行うものとなる。つまり、本実施の形態においてビットレート変換は、例えば圧縮率などを変換するだけではなく、データを削除することもビットレート低下の１つとして含むものとなる。
【０１０４】
レベル７：先に説明したレベル６では、映像／音声データの部分について音声データのみとすべきこととしているが、レベル７では、これをさらに推し進める。レベル７が適用される区間では、収音音声が存在するとされる（例えば一定レベル以上の収録音声が検出される）場合には、音声データのみとして、収音音声が存在していないとされる区間は映像／音声データそのものを削除してしまう。なお、削除が行われた映像／音声データは、編集後の映像／音声データのコンテンツからも完全に消去されているので、削除部分を復帰させることはできない。
レベル８：このレベルが適用される映像／音声データの部分については削除が行われる。
【０１０５】
そして、図９に示す圧縮閾値、解像度低下閾値、フレーム減少閾値、静止画化閾値、音声限定化閾値、仮削除閾値、本削除閾値のそれぞれは、上記したレベル２〜レベル８までのビットレート変換に対応した閾値を示す。つまり、
圧縮閾値−レベル２
解像度低下閾値−レベル３
フレーム減少閾値−レベル４
静止画化閾値−レベル５
音声限定化閾値−レベル６
無音部削除閾値−レベル７
データ削除閾値−レベル８
となる対応関係を示す。
また、この場合において、上記各閾値は、基本ビットレート変換用パラメータの値として適切とされる値が設定される。そして、これらの閾値と比較される評価値の意義として、その値が高いほどユーザの関心度が高いことを示すものであるとすれば、上記各閾値は、
圧縮閾値＞解像度低下閾値＞フレーム減少閾値＞静止画化閾値＞音声限定化閾値＞無音部削除閾値＞データ削除閾値の大小関係となるようにされる。
そして、このようにして設定される各閾値と、評価値との比較結果に基づいて、ビットレート変換として、レベル１〜レベル８のいずれを設定するのかについての決定が行われることになる。
【０１０６】
また、圧縮閾値に対応するパラメータとして、図９には、圧縮方式／圧縮レベル情報が示されている。
この圧縮方式／圧縮レベル情報は、上記したレベル２としてのビットレート変換についての圧縮符号化方式と、その符号化方式の下での圧縮レベル（圧縮率）を指定する。
【０１０７】
図９に示す基本ビットレート変換用パラメータにおいて、残る、感情係数、変化点閾値、変化点係数、変化点対応時間幅情報、変化点対応減衰係数、再生頻度係数、再生ポイント係数、行動特異点係数、感情特異点係数、及びデータ取得係数は、評価値算出のためのパラメータとなる。
【０１０８】
本実施の形態の場合、評価値算出、つまりユーザの関心度を測定するのにあたっては、感情データ１１２、再生頻度データ１１５、及び外部データ１１６の取得状況の情報などや、状況パターンに照らして特異となるような状態を示す情報などを、算出のための演算項として利用する。しかしながら、これらの各データ、情報は、評価値算出にあたっては、その重要性が異なってくるということがいえる。例えば、感情データ１１２は、映像／音声データを収録しているときのユーザの感情を反映しているから、その重要度は高いといえるが、データを取得するという行為についてはさほど重要ではないと考えるようなものである。上記した評価値算出のためのパラメータにおける係数の情報は、このようにして、評価値算出のために利用される演算項目について、その重要性に応じた重み付けを与えるための係数となる。
【０１０９】
また、上記した評価値算出のためのパラメータのうち、感情係数、変化点閾値、変化点係数、変化点対応時間幅情報、変化点対応減衰係数は、感情データに対応して評価値を算出するためのパラメータとなる。なお、これらの感情データに対応するパラメータは、図において（  ）内に示しているように、実際には、設定された感情次数に応じて用意される。
感情係数は、感情データが示す値（感情レベル）そのものに対応する係数である。
【０１１０】
また、変化点に対応するパラメータとしては、変化点閾値、変化点係数、変化点対応時間幅情報、変化点対応減衰係数が挙げられている。
例えば感情レベルそのものが全般に低いとされるような状態においても、その低いとされる範囲内で、短時間に比較的大きな感情レベルの変化を示したようなときには、ユーザの関心度としても大きく変化しているということがいえる。つまり、感情データの感情レベルそのものも重要であるが、感情データの感情レベルの変化状態も重要性を有しているということがいえる。
そこで、本実施の形態としては、このような感情レベルの変化の程度状態も参酌して評価値を算出することとしており、これらの変化点閾値、変化点係数、変化点対応時間幅情報、変化点対応減衰係数は、このためのパラメータとなる。
【０１１１】
変化点閾値は、例えば感情レベルの変化量についての閾値が設定される。つまり、感情データの感情レベルの所定の単位時間あたりの変化量が、この変化点閾値を越えれば、感情レベルに変化点が生じたということで扱われることになる。そして、変化点係数は、この変化点が生じたということの履歴に対して重み付けを与えるものとなる。
【０１１２】
変化点対応時間幅情報は、変化点閾値に基づいて変化点として認識された時点から過去に向かっての時間幅を指定する。評価値演算に利用される変化点のピークは、実際の感情データに基づいて認識された本来の変化点に対して、この指定された時間幅分に拡大される。例えば、本来の変化点のピークを編集ポイントに設定するものとした場合、この編集ポイントでは、後からこの編集されたコンテンツを視聴したとすると、唐突にビットレートが高くなるような印象となるので、ユーザにとっては不自然で見づらいものとなる。そこで、上記のようにして変化点の時間幅を過去に拡大することで、このような見づらさがないようにすることができる。
変化点対応減衰係数は、上記のようして設定された変化点のピークについての重み付け（重要度設定）を行う。
【０１１３】
再生頻度係数は、再生された映像／音声データ１１１の部分についての再生頻度を示す再生頻度データ１１５としての値について重み付けを与えるための係数である。
また、図１４により後述するが、本実施の形態において、記録部２５に記録された映像／音声データ１１１を再生するときのＧＵＩとしては、例えば表示部２７に表示される再生ウィンドウにスライドバーを表示させ、このスライドバーに対するスライド操作を行うことで、任意の早送り、早回しの速度で、映像／音声データ１１１の画像内容を視て確認することができるようになっている。このようにして、スライドバー操作によりユーザが早送り、早回しして再生した映像／音声データの部分も、ユーザが相応の関心度を有している部分であるといえる。
再生頻度情報としては、再生ポイント係数における再生ポイントとは、このスライドバー操作の移動量、移動速度など、そのときのスライドバー操作の仕方に応じた所定のポイント（得点）が与えられる。そして、再生ポイント係数は、この再生ポイントについて重み付けを与えるための係数となる。
【０１１４】
また、後述するようにして、映像／音声データを収録しているときにおいて、例えば現在位置／方位情報などに基づいて判定される現在の状況パターンが、これまでに登録された状況パターン登録データと著しく異なるような場合には、これが行動特異点として扱われる。この行動特異点が発生したことの情報（行動特異点データ）は、そのときに映像／音声データ記録と共に記録される記録時対応状況パターンデータ１１４に対して、時間情報とリンクさせた形式で格納される。
また、感情データも同様にして、映像／音声データの収録と並行して感情処理解析処理部２０により取得される感情データが、現在の状況パターンに照らし合わせては（つまり、現在特定されている状況パターンデータに基づいては）、通常得られない値（感情レベル）を示している場合には、これが感情特異点となる。そして、この感情特異点が発生したことを示す情報（感情特異点データ）は、そのとき映像／音声データ記録と共に記録される記録時対応状況パターンデータ１１４に対して、時間情報とリンクさせた形式で格納される。
【０１１５】
上記行動特異点データ及び感情特異点データの要素もまた、評価値算出に利用される。図９における行動特異点係数及び感情特異点係数は、それぞれ、行動特異点データと感情特異点データのそれぞれについての重み付けを行うための係数値を示す。
【０１１６】
また、評価値算出には、外部データ１１６を取得したことについての履歴の情報も使用されるが、データ取得係数は、この外部データを取得したことについての履歴についての重み付けを行うための計数値を示す。
【０１１７】
４−４．基本ダイジェスト作成用パラメータ
続いて、先に図８に示した基本ポリシーデータの領域ＦＬ２に格納される、基本ダイジェスト用パラメータの具体例について、図１０を参照して説明する。この図に例示する基本ダイジェスト用パラメータとしては、ダイジェストトータル時間設定情報、格納ディレクトリ指定情報、感情係数、変化点閾値、変化点計数、変化点対応時間幅情報、変化点対応減衰係数、再生頻度係数、再生ポイント係数、行動特異点係数、感情特異点計数、及びデータ取得係数が用意されている。
【０１１８】
ダイジェストトータル時間情報は、映像／音声データを編集元として作成するダイジェストファイルの開始から終了までの総再生時間を指定する情報である。ダイジェストファイルの総再生時間は、例えばユーザが所定の指定操作を行うことにより設定可能とされている。
また、格納ディレクトリ情報は、作成されたダイジェストファイルのデータを格納すべき記録部２５のディレクトリを示す情報である。このダイジェストファイルを格納するディレクトリの指定も、ユーザ操作により行うことが可能とされる。
【０１１９】
また、基本ダイジェスト作成用パラメータにおける、感情係数、変化点閾値、変化点計数、変化点対応時間幅情報、変化点対応減衰係数、再生頻度係数、再生ポイント係数、行動特異点係数、感情特異点計数、及びデータ取得係数の各パラメータの意義としては、それぞれ、先に図９により説明した基本ビットレート変換用パラメータと同様であるから、ここでの説明は省略する。
ただし、実際に各係数、閾値として格納される値は、ダイジェスト作成に適合したものであり、基本ビットレート変換用パラメータにおける各係数、閾値と同じであるべき必要性は全くない。
【０１２０】
４−５．パターン別ポリシーデータ
続いては、図７に示したパターン別ポリシーデータ１２２の構造について、図１１を参照して説明する。
パターン別ポリシーデータは、図示するようにして、大きくは、パターン情報、パターン名情報、処理方法情報、録画時ビットレート関連指定情報、パターン別ビットレート変換用パラメータ、パターン別ダイジェスト作成用パラメータから成る。
【０１２１】
パターン情報は、当該パターン別ポリシーデータが対応する状況パターンを示す内容の情報から成り、例えば図示するようにして、位置／方位（カテゴリ情報）、位置範囲情報、動き情報、時間情報、曜日情報、年月日情報を格納する。
位置／方位（カテゴリ情報）は、当該パターン別ポリシーデータが示す状況パターンにおける行動として、ユーザ（記録再生装置１）の代表的（中心的）位置／方位、若しくは、位置／方位データに基づいて得られるカテゴリが何であるのかを示すカテゴリ情報が格納される。ここでいうカテゴリとは、前述もしたように、或る位置／方位データが示す位置が属する、例えば景勝地、公園などに代表されるように、例えばその名称などが公的に認知されている特定の地域範囲を指す。
【０１２２】
また、位置範囲情報は、当該パターン別ポリシーデータが示す状況パターンにおける行動として想定されるユーザ（記録再生装置１）の位置／方位的な移動範囲を示す情報が格納される。
動き情報は、当該パターン別ポリシーデータが示す状況パターンとして想定される、ユーザ（記録再生装置１）の動き方として、その代表的、平均的な移動方向傾向及び移動速度等を示す情報から成る。
【０１２３】
時間情報、曜日情報、年月日情報は、当該パターン別ポリシーデータが示す状況パターンとしての、時刻、日付などの時間的な情報である。
時間情報は、当該パターン別ポリシーデータが示す状況パターンとして、その状況パターンが示す行動をとっているとされるときの時刻、時間帯を示す。
また、曜日情報は、当該パターン別ポリシーデータが示す状況パターンとして、その状況パターンが示す行動をとっているとされるときの曜日を示す。年月日情報は、当該パターン別ポリシーデータが示す状況パターンとして、その状況パターンが示す行動をとっているとされるときの年、月、日を示す。
【０１２４】
具体例として、ユーザが、毎週日曜日の朝の６時ごろから７時ごろまでの約１時間にわたり、自宅近くの特定の公園を散歩するという状況パターンに対応するパターン別ポリシーデータを想定する。この場合のパターン情報として、位置／方位（カテゴリ）情報は、その公園の中心位置の情報、若しくは、その公園を示すカテゴリ情報を格納することになる。また、位置範囲情報としては、例えばその公園内の散歩コースに対応する範囲となる。また、動き情報は、散歩コースに対応する移動方位傾向や、歩行速度の範疇にあるとされる移動速度を示すことになる。
また、時間情報は、午前６：００〜午前７：００の時間帯を示す。また、曜日情報は、日曜日を示す。この場合、年月日情報は、特に情報としては用いられない。年月日情報が用いられるのは、例えば、状況パターンとして、パターンとしての行動を取る年、月、日にちが決まっているような場合である。例えば、毎月２５日の定例の会議を状況パターンとしているような場合には、この年月日情報として、２５日を示す情報が格納される。
【０１２５】
パターン名情報は、当該パターン別ポリシーデータとしてのファイル名が示される。なお、このパターン名情報は、ユーザ操作により入力することが可能であるものとされる。
【０１２６】
処理方法情報は、ビットレート変換処理又はダイジェスト作成としての編集処理についての大枠的な指定情報が格納され、例えば図示するようにして、ダイジェスト作成オン／オフ情報、格納ディレクトリ情報、ビットレート変換オン／オフ情報などから成る。
ダイジェスト作成オン／オフ情報は、ダイジェストファイルを作成することについてのオン／オフ設定を示す。
また、格納ディレクトリ情報は、ダイジェスト編集して得られたダイジェストファイルを格納する記録部２５のディレクトリを指定する情報である。
また、ビットレート変換処理設定情報は、ビットレート変換処理を行うことについてのオン（許可）／オフ（禁止）設定を示す。なお、ビットレート変換処理に関しては、前述もしたように、編集元の映像／音声データを収録完了した後に行う記録後編集（編集１）と、映像／音声データを収録しながら行うリアルタイム編集（編集２）とがあるので、このビットレート変換処理設定情報については、これら編集１と編集２とでそれぞれ個別にオン／オフ設定がおこなわれるべきものとなる。
【０１２７】
なお、これらの処理方法情報（ダイジェスト作成オン／オフ情報、格納ディレクトリ情報、ビットレート変換オン／オフ情報）は、基本ポリシーデータにも格納されている（図８、図１０）。
編集時においては、原則として、そのときに認識される状況パターンに対応するパターン別ポリシーデータを採用して、その記述内容に従って編集処理を実行するようにされるが、例えばそのときに認識される状況パターンに対応するパターン別ポリシーデータが存在しない場合には、基本ポリシーデータがそのまま採用される。
編集時において採用されるポリシーデータが、基本ポリシーデータではなく、パターン別ポリシーデータとなる場合には、パターン別ポリシーデータに記述されている処理方法情報の内容が優先して採択される。つまり、採用されたパターン別ポリシーデータ内のダイジェスト作成オン／オフ情報、ビットレート変換オン／オフ情報に基づいて、ダイジェスト作成編集（編集３）、ビットレート変換処理（編集１、編集２）を実行するか否かが決定される。また、ダイジェストファイルを格納するディレクトリについても、同様に、パターン別ポリシーデータ内の格納ディレクトリ情報が示すディレクトリに格納するようにされる。
【０１２８】
録画時ビットレート関連指定情報は、ビットレート変換による編集処理を実行するのにあたっての基準ビットレートの指定に関するものであり、例えば図示するようにして、ビットレート指定オン／オフ設定情報と、ビットレート指定情報とから成る。また、ビットレート指定情報は、さらにビットレート値とフレーム数の情報とから成る。
【０１２９】
ビットレート指定オン／オフ設定情報は、ビットレート指定の有（オン）／無（オフ）についての設定が示される。ビットレート指定が有（オン）となっていれば、次に説明するビットレート指定情報の記述内容が有効になる。これに対して、ビットレート指定が無（オフ）となっていれば、予め初期的に設定された基準ビットレートにより、ビットレート変換処理（編集１、編集２）が実行されることになる。
【０１３０】
ビットレート指定情報は、ビットレート値、及びフレーム数の指定情報から成る。
ビットレート値は、基準ビットレート値の指定値が記述される。また、フレーム数は、基準のフレーム数が記述される。
【０１３１】
パターン別ビットレート変換用パラメータは、当該パターン別ポリシーデータが採用された場合における、ビットレート変換用パラメータの値が示される。
このパターン別ビットレート変換用パラメータにおけるパラメータの項目そのものは、図９に示した基本ビットレート変換用パラメータと同様であるが、パターン別ビットレート変換用パラメータの各パラメータは、基本ビットレート変換用パラメータに対する差分値が格納される。
【０１３２】
また、パターン別ダイジェスト作成用パラメータも、当該パターン別ポリシーデータが採用された場合における、ダイジェスト作成用パラメータの値が示される。
このパターン別ダイジェスト作成用パラメータにおけるパラメータの各項目も、図１０に示した基本ダイジェスト作成用パラメータと同様とされたうえで、基本ダイジェスト作成用パラメータに対する差分値が格納される。
【０１３３】
５．処理動作
５−１．記録／編集処理（映像／音声データ記録終了後に編集する場合に対応）
続いては、これまでに説明した記録再生装置１の構成及びデータ構造を前提としての、記録再生装置１による映像／音声データの編集に関する処理について説明を行っていくこととする。
先ず、図１２のフローチャートにより、編集素材となる映像／音声データの記録と、この映像／音声データの記録終了後における編集関連処理について説明を行う。この図１２に示す処理は、記録再生装置１のＣＰＵ３１がプログラムに従って実行するものとされる。この点については、以降において説明する図のフローチャートに関しても同様である。また、この図に示す処理は、編集素材となる映像／音声データの記録を終了して後において編集を行うものとなる。つまり、編集処理としては編集１（映像／音声データ記録後のビットレート変換処理）、編集３（ダイジェスト作成処理）を実行する場合が適用される。編集３（リアルタイムビットレート変換処理）のための記録処理については後述する。
【０１３４】
例えば、ユーザが、生体情報入力部１７としての各種のセンサ部を体に取り付けたうえで、本実施の形態の記録再生装置１に対して、映像／音声データの記録を開始させるための操作を行ったとする。この操作に応じた記録開始コマンドは、例えばユーザインターフェイス部２８から内部データバス３６を介して、ＣＰＵ３１に転送される。
ＣＰＵ３１は、上記記録開始コマンドを受信したのに応じて、例えば図１２のステップＳ１０１以降の処理に進む。
【０１３５】
ステップＳ１０１及びステップＳ１０２は、映像／音声データ記録にあたっての事前準備となる処理を実行する。先ず、ステップＳ１０１では、映像／音声データを記録するのに必要とされる各種の初期化処理を実行する。この初期化処理としては、例えば図１に示した各種の処理部などについて、映像／音声データ記録に応じた初期設定を行うなどの処理が実行される。
そして、次のステップＳ１０２においては、以降において映像／音声データ１１１と並行して記録が行われていく管理情報１００、及び各記録データファイル（図７において記録データファイル群１１０として示す）についての、初期ファイルの作成を実行する。
これにより、記録部２５において、今回記録する映像／音声データ１１１に対応する、管理情報１００、及び上記各記録データファイルを記録するための領域が確保されることになる。つまり、管理情報１００によって、これより記録される記録データファイル群１１０を成すとされる各記録データファイルのＵＲＬ（ディレクトリ）が管理される状態が得られることになる。
【０１３６】
上記ステップＳ１０１及びステップＳ１０２の処理が終了すると、以降は、ステップＳ１０３〜ステップＳ１０９として示す、上記各記録データファイル（映像／音声データ１１１、感情データ１１２、位置／方位データ１１３、状況パターンデータ１１４）の記録のための処理に移行する。
【０１３７】
先ず、ステップＳ１０３では、編集素材となる映像／音声データ１１１を記録部２５に記録していくための処理を実行する。つまり、撮像部１１、収音部１４により撮像、収音し、映像／音声信号処理部１３によりエンコード（圧縮符号化）させた映像／音声データを、記録部２５に記録していくようにされる。
なお、図７において説明したように、この映像／音声データ１１１を含め、記録データファイル群１１０に属する各データファイルは、時間情報により検索、データ位置指定が可能なように、時間情報と対応付けられた形式とされる。このため、例えば上記ステップＳ１０３による映像／音声データの記録処理としては、映像／音声信号処理部１３によりエンコード（圧縮符号化）させた映像／音声データに対して、現在の時刻を対応付けたデータ構造とするための処理も実行するようにされる。現在時刻の情報は、時計部３３における計時時間を参照する。なお、以降説明するようにして、記録部２５に記録される、感情データ（及び感情特異点データ）１１２、位置／方位データ１１３、状況パターンデータ（及び行動特異点データ）１１４も同様にして、時間情報と対応付けて記録が行われる。
また、この映像／音声データ１１１を記録するときの基準ビットレートは、後述するパターン生成処理により取得されたパターン別ポリシーデータに記述されるビットレート指定情報に基づいたものとなる。また、パターン別ポリシーデータに記述されるビットレート指定情報を参照しない場合には、予め設定された初期値に基づいて設定される。
【０１３８】
ステップＳ１０４では、生体情報についての処理を実行する。つまり、生体情報入力部１７にて検出される生体情報を、生体情報統合処理部１９により処理するようにされる。そして、次のステップＳ１０５においては、上記生体情報統合処理部１９により処理された生体情報に基づいて、感情解析処理部２０としての解析処理を実行し、前述したように、所定の感情次数による感情データ１１２を生成する。このときの感情次数は、基本ポリシーデータ１２１の感情次数情報により指定された感情次数となる。
そして、上記ステップＳ１０５の処理により生成された感情データ１１２を、ステップＳ１０６の処理により、記録部２５に記録する。このときの感情データ１１２としても時間情報と対応付けられた構造を有する。
【０１３９】
ステップＳ１０７では、位置／方位処理部２１としての処理により、時間情報と対応付けられた形式の位置／方位データ１１３を取得するとともに、この取得した位置／方位データ１１３を記録部２５に記録する。
【０１４０】
ステップＳ１０８では、状況パターン処理部２２としての処理により、時間情報と対応付けられた構造の記録時対応状況パターンデータ１１４を生成する。なお、この記録時対応状況パターンデータ１１４を生成する過程においては、そのときに認識される状況パターンが特異なものとされるのであれば、行動特異点を発生するようにされる。また、そのときに認識される状況パターンに照らし合わせて、感情レベルが特異なものとされるのであれば、感情特異点を発生するようにされる。
そして、上記ステップＳ１０８により取得したとされる記録時対応状況パターンデータ１１４を、次のステップＳ１０９としての処理により記録部２５に記録するようにされる。また、上記のようにして、ステップＳ１０８により行動特異点が発生されていたのであれば、この行動特異点が記録時対応状況パターンデータ１１４に含められるようにして記録されることになる。或いは、感情特異点が発生されていたのであれば、この感情特異点も記録時対応状況パターンデータ１１４に含められるようにして記録する。
そして、上記した４つの各記録データファイルを記録部２５に記録していくための処理は、ステップＳ１１０において記録終了に至ったことが判別されるまで、繰り返し継続される。
【０１４１】
なお、図１２では、フローチャートにより示していることの便宜上、ステップＳ１０３〜ステップＳ１０９の処理を順次的に示しているが、実際においては、
１：ステップＳ１０３による映像／音声データ１１１の記録
２：ステップＳ１０４→Ｓ１０６による感情データ１１２の取得→記録
３：ステップＳ１０７による位置／方位データ１１３の取得→記録
４：ステップＳ１０８→Ｓ１０９による記録時対応状況パターンデータ１１４の生成→記録
の各処理は、ＣＰＵ３１が時分割的に処理を実行することで、見かけ上の動作としては、並行して実行されるものとなる。
例えば実際には、映像／音声データ１１１については連続的に記録されるように制御を実行したうえで、他の感情データ１１２、位置／方位データ１１３、記録時対応状況パターンデータ１１４については、所定の周期ごとに、繰り返し実行される。なお、感情データ１１２、位置／方位データ１１３、記録時対応状況パターンデータ１１４を取得して記録するための処理の実行周期も、各記録データファイルごとに適した異なるタイミングとされてよい。
【０１４２】
そして、このようにしてステップＳ１０３〜Ｓ１０９の処理が繰り返されることで、記録部２５に対しては、時間経過に応じて、映像／音声データ１１１とともに、少なくとも、感情データ１１２、位置／方位データ１１３、状況パターンデータ１１４が記録されていくことになる。
【０１４３】
また、この図では処理ステップを省略しているが、ステップＳ１０３〜Ｓ１０９の処理を繰り返し実行しているときに、現在記録中の映像／音声データ１１１についての過去の部分を再生するための操作が行われたときには、この操作に応じた再生履歴の情報が、再生頻度データ１１５として記録部２５に記録されることになる。また、外部データ１１６を取得したときには、この外部データ１１６も、例えば取得時の時間情報と対応付けられた形式で、記録部２５に対して記録するようにされる。
【０１４４】
そして、例えばユーザ操作、若しくは、タイマー設定などにより編集元の映像音声データ１１１の記録を終了させるべきこととなった場合には、ステップＳ１１０にて肯定結果が得られてステップＳ１１１に進むことになる。
【０１４５】
ステップＳ１１１においては、ＧＵＩ画像として、これまでの処理により記録部２５に記録した映像／音声データ１１１についてのレビュー再生を実行させるか否かのダイアログを表示部２７に表示させるための制御を実行したうえで、このダイアログに対しての操作を待機する。このダイアログに対する操作として、レビュー再生を行わずにスキップさせるための操作が行われた場合には、ステップＳ１１２の処理を実行することなく、ステップＳ１１３の処理に進む。これに対して、レビュー再生の実行を指示するための操作が行われた場合には、ステップＳ１１２の処理に進む。
【０１４６】
ステップＳ１１２においては、レビュー再生を実行する。
このために、先ず、レビュー再生用の再生ウィンドウを表示させる。この再生ウィンドウは、映像／音声データについての各種の再生モード（通常再生、一時停止、早送り、早戻しなどの組み合わせ）によるレビュー再生を行うためのＧＵＩとしても構成されている。つまり、ステップＳ１１２によるレビュー再生のための処理としては、この再生ウィンドウに対するユーザのレビュー再生操作に応じて、記録部２５に記録されている映像／音声データ１１１の再生を実行するための再生制御処理となる。このとき、例えば再生ウィンドウに対する操作として、再生位置の指定を行っているような場合には、その再生位置を時間情報として扱い、この時間情報により再生位置に対応する映像／音声データ１１１の部分の読み出し、再生を実行するようにされる。
また、このステップＳ１１２においては、上記のようにしてレビュー再生操作に応じて再生を行った履歴を、図９及び図１０により説明した再生ポイントとして登録するようにしている。実際の登録のための処理としては、再生ポイントのためのファイルを作成し、このファイルに再生ポイントを記述していくようにすればよい。また、このようにして作成したファイルも記録部２５に記録するようにされる。
このステップＳ１１２としてのレビュー再生のための処理は、例えばユーザ操作により、再生ウィンドウを閉じるための処理が実行されたときに終了する。ステップＳ１１２としての処理が終了すると、ステップＳ１１３としての処理に移行する。
【０１４７】
なお、レビュー再生時においては、映像／音声データを再生出力することに加えて、例えば、映像／音声データの再生時間に同期した感情データの変化が視覚的に認識できるような所定の表示態様により表示させることも考えられる。これにより、ユーザは、例えばこの感情変化の表示を観察して、例えば重点的にレビュー再生すべき映像／音声データ部分を決めることなどができるようになる。
【０１４８】
ステップＳ１１３では、例えば、ダイジェスト作成の編集を実行する指示の設定が行われているか否かについて判別する。この判別のためには、例えば図８に示した基本ポリシーデータにおける、ダイジェスト作成オン／オフ情報の内容を参照するようにされる。ダイジェスト作成オン／オフ情報がオンを示していれば、ダイジェスト作成指定有りとして肯定結果が得られ、ステップＳ１１４の処理によりダイジェスト作成のための編集処理を実行してステップＳ１１５に進む。
これに対して、ダイジェスト作成オン／オフ情報がオフを示していた場合には、ステップＳ１１３において否定結果が得られることとなり、ステップＳ１１４の処理をスキップしてステップＳ１１５に進むことになる。
なお、ステップＳ１１４としてのダイジェスト作成のための編集処理の詳細については、後述する。
【０１４９】
ステップＳ１１５においては、これまでの記録、編集処理についての終了処理が実行される。例えばこのときの終了処理としては、これまでのステップＳ１０１以降の処理によって記録部２５に対して記録を行ったとされる各種データファイルについてのクローズ処理と、終了時刻の記録などが行われる。
【０１５０】
終了処理に続く、ステップＳ１１６では、映像／音声データ１１１の記録終了後において、自動実行すべき処理についての指示があるか否かについての判別を行う。
ここで対象となる自動実行処理としては、編集１に相当する、映像／音声データ記録終了後に行う、ビットレート変換による編集処理を挙げることができる。
【０１５１】
この編集１としての映像／音声データ記録後のビットレート変換処理に関しては、図９に示した基本ポリシーデータ内の基本ビットレート変換用パラメータにおいて、経過日時指定情報が定義されている。
経過日時指定情報により経過日時が指定されている場合には、映像／音声データ１１１の記録終了時から、その指定された日数、時間を経過するまでは、ビットレート変換処理による編集は実行されずに、基準ビットレートで記録されたまま残っているようにされる。そして、映像／音声データ１１１の記録終了時点から経過日時指定情報により指定された日数、時間を経過すると、記録再生装置１は、その映像／音声データ１１１についてビットレート変換処理を自動的に実行するようにされる。
【０１５２】
ステップＳ１１６の処理としては、上記のようにして、経過日時指定情報に基づいて、既に記録されている映像／音声データ１１１について、ビットレート変換処理（編集１）としての編集を自動処理として実行するか否かについての判定処理を含んでいる。
そして、ステップＳ１１６において、実行すべき自動処理があるとして肯定結果が得られたのであれば、その実行すべきとして判定された自動処理を実行する。例えば、上記したように、編集１としてのビットレート変換処理を実行する。
これに対して、ステップＳ１１６において、実行すべき自動処理は無いとして否定結果が得られたのであれば、ステップＳ１１７による自動処理を実行せずにそのまま終了する。
【０１５３】
５−２．状況パターンデータ生成処理
続いて、上記図１２のステップＳ１０８として示した状況パターンデータ生成処理の具体例について、図１３を参照して説明する。この図１３に示す処理も、ＣＰＵ３１がプログラムに従った処理として実現される。
【０１５４】
状況パターンデータ１１４を生成するのにあたっては、先ず、ステップＳ２０１として示すように、現在位置情報を取得する。このためには、位置／方位処理部２１としての処理により得た最新の位置／方位データを参照すればよい。また、このときに、現在位置を含むカテゴリを示すカテゴリ情報が得られているのであれば、このカテゴリ情報も取得するようにされる。
【０１５５】
カテゴリ情報は、先に図３に示した位置／カテゴリサーバ５３から受信取得することが可能である。つまり、記録再生装置１は、ネットワーク経由で、位置情報を通知したうえで、カテゴリ情報の取得要求を行う。これに応じて、位置／カテゴリサーバ５３では、通知された位置情報を含む地域範囲であるカテゴリが存在するか否かについて検索し、検索結果としてカテゴリが得られれば、そのカテゴリについての情報であるカテゴリ情報を記録再生装置１に対して送信するようにされる。また、記録再生装置１が、位置情報とカテゴリ情報とを対応させたデータベースを、例えば記録部２５に記憶させておくようにすれば、位置情報に基づいて、このデータベースからカテゴリ情報を検索して取得することができる。
【０１５６】
続くステップＳ２０２では、過去の所定時点における位置情報を取得する。このためには、既に、記録部２５に記録されている位置／方位データ１１３から、上記過去の所定時点に相当する時間に対応付けられた位置／方位データを検索して読み出すようにすればよい。なお、このときには、過去の位置／方位データとして、異なる時点に対応する複数を検索して読み出すようにしてもよい。
【０１５７】
上記ステップ２０１及びステップＳ２０２によっては、現在及び過去の所定時点の位置情報が取得されたことになる。そして、次のステップＳ２０３においては、これら現在及び過去の所定時点の位置情報を利用して、現時点までにおけるユーザ（ユーザが携帯する記録再生装置１）の移動速度を示す、移動速度情報を生成する。
【０１５８】
そして、次のステップＳ２０４においては、先のステップＳ２０１において取得した現在位置情報（又はカテゴリ情報）と、既に登録されている（記録部２５に記録されている）パターン別ポリシーデータ１２２の位置／方位情報（カテゴリ情報）とを比較参照する。そして、この比較参照結果として、ステップＳ２０１において取得した現在位置情報（又はカテゴリ情報）と一致する位置／方位情報（カテゴリ情報）を示すパターン別ポリシーデータ１２２を検索する。
【０１５９】
ステップＳ２０５では、上記ステップＳ２０４の検索結果として、位置／方位情報（カテゴリ情報）が一致したパターン別ポリシーデータ１２２が検索されたか否かについて判別することとしており、一致したパターン別ポリシーデータ１２２が検索されなかったとして否定結果が得られた場合には後述するステップＳ２１５の処理に進む。
これに対して、一致したパターン別ポリシーデータ１２２が検索されたとして、肯定結果が得られた場合には、ステップＳ２０６の処理に進む。
【０１６０】
ここでは、状況パターンデータ生成のために利用するパターン別ポリシーデータ１２２は１つのみであるものとされる。これに対して、ステップＳ２０４の処理によって検索を行った場合に、検索結果として得られるパターン別ポリシーデータは、必ずしも１つではなく、複数存在する場合がある。つまり、パターン別ポリシーデータとして、位置／方位（カテゴリ）情報が同一であったとしても、残るパターン情報の内容が異なっているような他のパターン別ポリシーデータ１２２が存在している可能性がある。
【０１６１】
ステップＳ２０６の処理は、上記のようにして複数のパターン別ポリシーデータ１２２が検索された場合に対応したものであり、先のステップＳ２０３にて得られた現時点での移動速度情報を利用して、これらのパターン別ポリシーデータ１２２についての絞り込み検索を行うものである。
そして、次のステップＳ２０７において、絞り込み検索の結果として、一致したパターン別ポリシーデータがあるとされた場合には、ステップＳ２０８に進む。
これに対して、一致したパターン別ポリシーデータ１２２が無いとされた場合であるが、ここでは、単に位置（カテゴリ）情報が一致しているだけで、該当のパターン別ポリシーデータ１２２は登録されていなかったとして考え、ステップＳ２１５の処理に移行させることとする。なお、ステップＳ２０７にて否定結果が得られた場合でも、先のステップＳ２０４による検索結果としては、位置（カテゴリ）情報が一致したパターン別ポリシーデータが存在しているのであるから、ステップＳ２１５に移行させるのではなく、さらに異なる絞り込み検索の条件を設定するなどして絞り込みを行うような処理手順とすることも考えられる。
【０１６２】
ステップＳ２０８では、ステップＳ２０６による絞り込み検索結果として、複数のパターン別ポリシーデータが検索されたか否かについての判別を行うようにしている。このステップＳ２０８にて肯定の判別結果が得られた場合には、ステップＳ２０９に進み、他のパターン情報（図１１参照）の項目を利用するなどして、さらに絞り込み検索をかけて、選択すべき１つのパターン別ポリシーデータを決定し、ステップＳ２１０に進む。
一方、ステップＳ２０８にて否定の判別結果が得られた場合には、ステップＳ２０６にて絞り込み検索を行った結果として、この段階で、１つのパターン別ポリシーデータに絞り込みが行われたことになるから、ステップＳ２０９の処理をスキップしてステップＳ２１０の処理に移行する。
【０１６３】
ステップＳ２１０に移行した段階では、現在のユーザの状況パターンとしては、これまでに登録されているパターン別ポリシーデータ１２２の何れか１つのパターン情報に該当するものであるということになる。
そこで、ステップＳ２１０の処理としては、記録時対応状況パターンデータ１１４を、この１つに絞り込み決定されたパターン別ポリシーデータ１２２のパターン情報に基づいて生成するようにされる。
【０１６４】
次のステップＳ２１１では、これまでの検索処理により決定された１つのパターン別ポリシーデータ１２２の感情に関するパラメータに基づいて、そのパターン別ポリシーデータが示す状況パターンの下で標準的とされる感情レベル（感情次数分）を生成する。これが比較基準感情レベルとなる。そして、続くステップＳ２１２において、この比較基準感情レベルと、現在の感情レベル（感情次数分）とについて比較を行う。この現在の感情レベルは、図１２のステップＳ１０５にて取得される最新の感情データにおける、各次元における感情のレベルを利用すればよい。
【０１６５】
次のステップＳ２１３においては、上記ステップＳ２１２の比較結果として、両者のレベル差が所定以上であるか否かについて判別する。この判別処理としては、例えば、次数分の感情レベルごとについてのレベル差を先ず算出し、これらのレベル差の値について、所定のアルゴリズムにより重み付けを行ったうえで積算するなどして得られる値と、所定の閾値とを比較するなどの処理とすることが考えられる。
ここで、ステップＳ２１３において所定以上のレベル差があるとして肯定の判別結果が得られた場合には、現在の状況パターンに照らし合わせては、感情の状態が特異である、つまり、通常考えられる感情状態から相当にかけ離れているということになる。そこで、この場合には、ステップＳ２１４に進み、このときの時間（時刻）に対応しての感情特異点を発生させる。
これに対して、ステップＳ２１３においてレベル差が所定以下であるとして否定の判別結果が得られた場合には、現在の状況パターンに照らし合わせて通常考えられる感情状態である、ということになるので、ステップＳ２１４の処理はスキップして処理を終了する。
【０１６６】
また、前述したように、ステップＳ２０５又はステップＳ２０７において否定結果が得られた場合、つまり、現在位置情報及び移動速度情報などの、位置／方位データに基づいては、現在認識される状況パターンが当てはまるパターン別ポリシーデータ１２２が登録されていないとされる場合には、ステップＳ２１５以降の処理を実行することになる。
【０１６７】
ステップＳ２１５においては、登録済みのパターン別ポリシーデータ１２２のうちから、現在の時刻、曜日と一致する時間情報、曜日情報（及び年月日情報）をパターン情報に含むパターン別ポリシーデータ１２２を検索する。そして、次のステップＳ２１６において、ステップＳ２１５の検索結果として、一致するパターン別ポリシーデータ１２２が検索されたか否かについて判別する。
このステップＳ２１６において、一致するパターン別ポリシーデータ１２２が検索されなかったとして否定の判別結果が得られた場合には、ここでは、現在認識されている行動はパターンは、登録済みのパターン別ポリシーデータ１２２のパターン情報が示す状況パターンの何れからも、相当にかけ離れた状況パターンであるとして扱うようにされる。そこで、この場合には、ステップＳ２１７に進んで、このときの時間（時刻）に対応しての行動特異点を発生させてからステップＳ２１８に進む。
これに対して、ステップＳ２１６において、ステップＳ２１５の検索結果として一致したパターン別ポリシーデータ１２２が得られたとして肯定の判別結果が得られた場合には、ステップＳ２１７の処理をスキップして、ステップＳ２１８に進む。
【０１６８】
ステップＳ２１８では、今回認識された状況パターンが、パターン情報の内容として反映された、新規のパターン別ポリシーデータ１２２を仮作成する。この仮作成された新規のパターン別ポリシーデータ１２２を本登録するか否かについては、例えば、このときに記録している映像／音声データ１１１の記録完了後において、ユーザ操作に応じて決定される。つまり、ユーザの意志に応じて本登録するか、削除してしまうのかを設定できるようにされる。
また、仮作成された新規のパターン別ポリシーデータ１２２を本登録する際には、このパターン別ポリシーデータ１２２のパターン名情報、処理方法情報、録画時ビットレート関連指定情報の各情報項目と、パターン別ビットレート変換用パラメータ及びパターン別ダイジェスト作成用パラメータの各パラメータを、ユーザ操作に応じて任意に設定できるようになっている。図１１に示した構造のパターン別ポリシーデータは、このようにして各情報項目、及びパラメータが設定されて作成が行われるべきものとされる。つまり、パターン情報以外の情報は、ユーザが操作することで任意に設定して作成できるということになる。また、パターン情報の各項目についてもユーザが変更可能なようにしてもよい。また、全く新規の状態から、ユーザ操作により作成できるようにすることも考えられる。
【０１６９】
説明を図１３に戻す。
上記のようにして、ステップＳ２１８にて新規のパターン別ポリシーデータ１２２が仮作成された後は、ステップＳ２１９の処理により、このときの記録時対応状況パターンデータを生成するようにされる。このための処理としては、今回認識された状況パターンの根拠となった、現在位置情報、及び時間情報に基づけばよい。結果的には、ステップＳ２１８にて仮作成された新規パターン別ポリシーデータのパターン情報の内容が、このステップＳ２１９で生成される記録時対応状況パターンデータの内容に相当する。
【０１７０】
そして、これまで説明した処理を経て、図１２に示すステップＳ１０９の処理に移行することで、ステップＳ２１０又はステップＳ２１９にて生成された記録時対応パターンデータが、記録データファイルとして記録されることになる。なお、ステップＳ２１０又はステップＳ２１９においては、時間情報と対応付けた形式で、記録時対応パターンデータを生成するように処理を実行する。また、ステップＳ２１４又はステップＳ２１７の処理を実行したことで、感情特異点又は行動特異点を発生させた場合には、前述もしたように、ステップＳ１０９において、これらの特異点のデータも、記録時対応パターンデータに含められるようにして記録される。
【０１７１】
５−３．映像／音声データ再生のときの記録データファイル処理
前述もしたように、本実施の形態の記録再生装置１では、ユーザ操作に応じて、現在記録し続けているとされる映像／音声データ１１１についての過去における任意の部分を再生することが可能とされる。そして、このようにして映像／音声データ１１１を再生することに応じては、そのときの再生操作などに応じて、再生頻度データ１１５を生成して記録するようにされる。以降、この点について説明することとして、先ず、記録再生装置１により映像／音声データ１１１を再生するときのＧＵＩについて説明しておく。
【０１７２】
図１４は、上記のようにして映像／音声データ１１１を再生する場合のＧＵＩとして、表示部２７に表示される再生ウィンドウ２００の表示態様例を示している。
この図に示す再生ウィンドウ２００においては、先ず、図示するようにして、再生画像表示エリア２０１が設けられており、このエリア内に、映像／音声データ１１１を再生して得られる画像が表示される。そして、この再生画像表示エリア２０１の下側は、各種操作子としてのボタン、レバーなどが表示配置された操作パネル部位となっている。
【０１７３】
この操作パネル部位において、再生ボタン２０２は、映像／音声データを再生開始させる操作のために設けられる。例えば、映像／音声データの再生が停止されている状態で再生ボタン２０２に対して、１回の押圧に相当する操作を行うと再生が開始される。
【０１７４】
停止ボタン２０３は、映像／音声データを再生停止させるために配置されるもので、このボタンに対して１回の押圧に相当する操作を行うことで、再生が停止される。
【０１７５】
スライドバーエリア２０４は、いわゆるスライドバー操作により、映像／音声データの再生位置を指定するために配置される。ここにはスライドバーエリア２０４内をスライド移動させるものとして配置されるレバー２０５が示されている。スライドバーエリア２０４のスライド移動可能範囲におけるレバー２０５の位置は、映像／音声データとしてのコンテンツにおける再生位置を示している。つまり、スライド移動可能範囲においてレバー２０５が左によって位置しているほど、再生時間的に前となり、右に寄って位置しているほど再生時間的に後となる。
そして、ユーザは、このレバー２０５を、スライド移動範囲内において任意の位置に対してスライド移動させるための操作を行うことができるようになっている。そして、このようなスライド移動操作に応じては、スライド移動範囲内においてスライド移動された位置に対応する再生時間の部分の映像／音声データが再生されるようになっている。
従って、例えばスライドバー操作として、レバー２０５をゆっくりと左から右にスライド移動させていけば、その移動速度に応じたとされる、比較的ゆっくりとした送り速度での再生が行われることになる。これに対して、例えばレバー２０５を速めに右から左にスライド移動させていけば、その移動速度に応じて、早戻し的な再生が行われることになる。
【０１７６】
また、スライドバーエリア２０５の右横には、時間表示エリア２０６が配置されており、ここには、映像／音声データの再生時間が表示される。
なお、この図に示す再生ウィンドウ２００の表示態様、及びこれに伴うＧＵＩ操作の仕方などはあくまでも一例であって、図示する態様に限定されるべきものではない。
例えば、図１４においては、早送り／早戻しは、スライドバーエリア２０４のレバー２０５に対する操作によってのみ行われるものとしているが、早送り／早戻し操作が可能なボタンをそれぞれ設けるようにしてもよい。
【０１７７】
図１５は、現在記録し続けているとされる編集素材の映像／音声データ１１１についての、過去における任意の部分を再生しているときの再生関連操作に応じた処理動作を示している。
先ず、例えばユーザにより映像／音声データを再生するための操作が行われたとする。また、このときの再生操作としては、再生時間を指定することが可能とされている。この操作に応じて、ユーザインターフェイス部２８からは、再生時間を指定しての映像／音声データの再生を指示するコマンドがＣＰＵ３１に対して転送される。ＣＰＵ３１は、ステップＳ３０１により再生指示のコマンドを受信する。
【０１７８】
この再生指示のコマンドを受信したＣＰＵ３１は、次のステップＳ３０２の処理して、例えば記録部２５に記録されている管理情報１００にアクセスする。確認のために述べておくと、このときにアクセスする管理情報１００は、現在収録中（記録部２５に記録中）とされる映像／音声データ１１１としてのコンテンツに対応して、記録部２５に記録されている管理情報となる。
【０１７９】
上記のようにして管理情報１００にアクセスしてその内容を参照することで、図７に示した管理情報１００の構造からも理解されるように、今回の映像／音声データ、及びこれと並行して記録される各記録データファイルのＵＲＬが認識されることになり、これらの記録データファイルに対してもアクセスすることが可能となる。そこで、次のステップＳ３０３においては、管理情報１００に記述される各記録データファイルのうちで、例えば映像／音声データ１１１、感情データ１１２、及び再生頻度データ１１３にアクセスする。これらのデータは、例えば記録部２５から読み出して、例えばＲＡＭ３２に展開して保持させておくようにされる。また、このときには、映像／音声データ１１１は、ユーザ操作により指定された再生時間に相当する部分からの読み出しを行うようにされる。
【０１８０】
次のステップＳ３０４においては、再生ウィンドウ２００を表示部２７に表示させてアクティブ状態とする。
ここで、最初に再生ウィンドウ２００をアクティブ化したときには、上記ＲＡＭ３２に展開された映像／音声データ１１１の再生出力が開始される。つまり、ユーザが指定した再生時間位置から映像／音声データ１１１の再生が開始され、その再生画像が、再生ウィンドウ２００の再生画像表示エリア２０１に対して表示される。また、再生画像に同期して再生音声がスピーカ３５から再生出力される。
再生ウィンドウ２００がアクティブとなっている状態では、ユーザインターフェイス部２８を構成する所定の操作子に対する操作により、図１４にて説明したように、再生ウィンドウ２００上に対するボタン操作やスライドバー操作を行うことが可能となっている。
【０１８１】
上記のようにして再生ウィンドウがアクティブ化されて、映像／音声データ１１１の再生が開始された後においては、例えば図１４に示した再生ウィンドウ２００に対する操作が行われるのを待機することになる。
この場合には、再生ウィンドウ２００に対する操作として、先ず、ステップＳ３０５により再生ボタン２０２に対する操作が行われたか否かについての判別を行っている。ここで、再生ボタン２０２に対する操作が行われたとされるのであれば、ステップＳ３０６に進んで、これまでの停止位置からの再生を開始させる。そして、現在ＲＡＭ３２に保持させている再生頻度データ１１５に対して、このときの再生開始位置、及び現在時刻を格納するようにされる。つまり、このときの再生操作に応じた再生開始位置を示す情報を、時間情報と対応付けて記録する。ステップＳ３０６の処理を実行した後は、再度ステップＳ３０５の処理に戻るようにされることで、再生ウィンドウ２００に対する何らかの操作を待機することになる。
また、この再生開始時点において再生頻度データ１１５に格納される現在時刻情報は、同じ時刻の感情データ１１２とリンクされる。これにより、再生頻度データ１１５における時間情報のリンクを辿ることにより、再生時において得られた感情データを得ることができる。これが、再生頻度データ１１５における再生時感情データとなる。つまり、再生時感情データは、感情データ１１２との時間的なリンク情報である。
なお、既に映像／音声データを再生している状態で、再生ボタン２０２に対する操作が行われたとしても、その操作は無効とされる。
【０１８２】
また、映像／音声データ１１１を再生しているときに、停止ボタン２０３に対する操作が行われたことがステップＳ３０７により判別されたときには、ステップＳ３０８に進んで、映像／音声データの再生を停止させる。そして、現在ＲＡＭ３２に保持させている再生頻度データ１１５に対して、再生停止位置を示す情報を格納する。
なお、本実施の形態の再生ウィンドウ２００において、再生が停止された状態では、その停止位置の画像が静止画により、再生画像表示エリア２０１に表示される。
【０１８３】
また、スライドバーエリア２０４内のレバー２０５に対するスライド移動操作が行われたか否かについては、ステップＳ３０９にて判別されることになる。ここで、スライド移動操作が行われないことが判別される場合には、ステップＳ３１３において、再生が終了されたか否かについての判別を行ったうえで、再生が終了していないとの否定の判別結果が得られると、ステップＳ３０５の処理に戻るようにされる。
【０１８４】
これに対して、ステップＳ３０９において、スライドバーエリア２０４内のレバー２０５に対するスライド移動操作が行われたことを判別した場合には、先ず、ステップＳ３１０に進む。
ステップＳ３１０においては、レバー２０５に対するスライド移動操作を行ったときに、映像／音声データ１１１を再生中であったか否かについて判別する。そして、再生中であるとして肯定の判別結果が得られた場合には、ステップＳ３１１に進んで、先ず、再生を停止させる。つまり、映像／音声データの通常の再生時間軸に従った再生進行を停止させる。そして、このときの再生停止位置を示す情報を、ＲＡＭ３２に展開されている再生頻度データ１１５に対して格納する。ステップＳ３１１の処理が終了したらステップＳ３１２の処理に進む。
これに対して、レバー２０５に対するスライド移動操作を行ったときに、映像／音声データ１１１の再生が停止中であった場合には、ステップＳ３１０において否定結果が得られることとなる。この場合には、ステップＳ３１１の処理はスキップして、ステップＳ３１２の処理に進む。
【０１８５】
ステップＳ３１２においては、ステップＳ３０９において判別されたレバー２０５の操作結果として、そのスライド移動の開始位置と、スライド移動速度（再生時間に対する正逆方向の区別も含む）の情報を取得する。そして、これらのスライド移動開始位置と、スライド移動速度の情報を、ＲＡＭ３２に展開されている再生頻度データ１１５に対して格納する。この処理が終了すると、ステップＳ３０５の処理に戻って、再生ウィンドウ２００に対する何らかの操作を待機するようにされる。
【０１８６】
再生ウィンドウ２００に対する操作を待機している状態において、再生ウィンドウ２００を閉じるための所定操作が行われたとされると、ステップＳ３１３において、再生終了であることが判別され、ステップＳ３１４の終了処理を実行したうえで、映像／音声データの再生関連処理と、再生に応じた記録データファイル（再生頻度データ１１５）の記録処理が終了されることになる。
ステップＳ３１４の実行処理としては、例えば、再生時感情データを含めて生成された、ＲＡＭ３２に展開されている再生頻度データ１１５を記録部２５に記録するようにして、ファイルクローズ処理を実行する。
このようにして、映像／音声データ１１１を再生するのに応じて、再生頻度データ１１５が作成されるようになっている。
【０１８７】
なお、その処理ステップは図示していないが、例えば再生ウィンドウ２００に早送り／早戻しボタンを設けたとした場合には、図１５における処理として、早送り／早戻しボタン操作に応じて、映像／音声データの早送りされた区間、早戻しされた区間を再生頻度データに格納するようにしておくようにされる。この早送り／早戻しされた区間の情報は、後述する再生ポイント評価値の算出に用いることができる。
【０１８８】
５−４．評価値算出処理
先に図１２に示したようにして、編集１としての映像／音声データ記録後のビットレート変換処理は、例えばステップＳ１１２としての自動処理として実行される。そして、このビットレート変換処理は、評価値と閾値とを比較することで編集ポイントを設定するようにしている。評価値は、基本ポリシーデータ１２１、又は、そのときの状況パターンに応じて選択されたパターン別ポリシーデータ１２２に記述される係数による重み付けの演算を伴って算出されるべきものとなる。
【０１８９】
そこで、編集１としての映像／音声データ記録後のビットレート変換処理の全体の流れに応じた処理を説明するのに先立って、評価値算出のための処理を図１６を参照して説明しておくこととする。この図１６に示す処理は、後述する図１７に示す編集１としての処理に先立って実行される。また、この図１６に示す処理に関しては、図１７に示す処理も同様であるが、図１における編集処理部２３としての機能を実現するためのＣＰＵ３１の処理動作となる。
【０１９０】
先ず、ステップＳ４０１においては、評価値算出のためのデータファイルを収集する。つまり、図７に示す記録データファイル群１１０における、感情データ１１２、記録時対応状況パターンデータ１１４、再生頻度データ１１５のほか、外部データ１１６の取得状況についての情報などを収集する。ただし、ここでは、映像／音声データを再生開始してから終了するまでの時間を所定単位時間で区分し、この区分された単位時間ごとの区間の記録データを収集するようにされる。
【０１９１】
続いては、ステップＳ４０２により、現在対象となっている所定単位時間の区間に対応するポリシーデータ（基本ポリシーデータ、パターン別ポリシーデータ）の選択を行う。
このためには、上記ステップＳ４０１にて収集した記録時対応状況パターンデータ１１４を参照するようにされる。そして、参照した記録時対応状況パターンデータ１１４の内容に基づいて、記録時対応状況パターンデータが示す状況パターンに対応するパターン別ポリシーデータ１２２を特定する。
上記のようにしてパターン別ポリシーデータ１２２が特定されると、このパターン別ポリシーデータ１２２の内容を参照する。これにより、以降必要となる各評価値算出のための係数値を得ることができる。
また、状況パターンが特異であるような場合には、パターン別ポリシーデータ１２２が特定できない場合もあるが、この場合には基本ポリシーデータを参照する。このようしてポリシーデータを参照することは、即ち、以降の評価値算出に用いるべき各種の係数等の値を、その時間に対応する状況パターンに応じて選択していることに他ならない。評価値算出に用いるべき各種の係数等の値は、例えば編集１に関しては、基本ビットレート変換用パラメータ、若しくはパターン別ビットレート変換用パラメータに格納されている。
【０１９２】
ステップＳ４０３においては、感情評価値Ａを算出する。感情評価値Ａは、基本ポリシーデータに記述される感情次数情報により指定されるｎ個の次数分の感情係数を利用する。つまり、感情データとして示される各次元の感情レベルを、各次元ごとに設定された感情係数を乗算することで重み付けしたうえで、積算するようにされる。これにより、状況パターンに応じて適合するようにして、重視度を異ならせた次元の感情に基づく感情評価値Ａを求めることができる。
【０１９３】
次のステップＳ４０４においては、感情変化点評価値Ｂを算出する。感情変化点がどのようなものであるのかについては、図９において説明したが、単位時間における感情レベルの変化量が相当に大きいとされる場合を感情変化点として扱うようにされる。これは単位時間における感情レベルの変化量が、変化点閾値を越えた場合に対応する。
この感情変化点評価値Ｂは、上記のようにして変化点閾値を越えるような感情レベルの変化量に対して、変化点係数を乗算して得られる。また、このときにも、ｎ個の次元ごとに対応して設定された変化点係数を、各次元の感情レベルの変化量に対して乗算したうえで、これらの和を算出して得るようにされる。
そして、次のステップＳ４０５においては、上記感情変化点から指定時間前までの映像／音声データの区間の感情評価値Ａを、例えば一定以上に増加させるための再計算を実行する。このときの感情評価値Ａを増加させる区間、つまり、感情変化点を基点とする上記指定時間は、変化点対応時間幅情報によって指定されるものである。また、この評価値の増加にあたっては、変化点対応減衰係数が設定される。
先にも説明したように、感情データとして得られる感情の変化点をそのまま編集ポイントとした場合、実際には、映像／音声データの内容が、重要な部分に変わるタイミングに対して遅くなっている可能性が高い。そこで、上記のようにして変化点の時間幅を過去に拡大することで、実際の映像／音声データが重要な内容に変換する位置を編集ポイントとして設定できる。これにより、感情変化に対応する編集ポイント設定がより実用上有効なものとなる。
【０１９４】
次のステップ４０６においては、再生頻度評価値Ｃを算出するようにされる。再生頻度評価値は、再生頻度データ１１５が示す再生頻度（再生回数）に対して、再生頻度係数を乗算して得るようにされる。
【０１９５】
ステップＳ４０７では、再生ポイント評価値Ｄを算出する。この場合の再生ポイントとは、前述もしたように、スライドバーエリア２０４におけるレバー２０５のスライド移動操作に応じた（移動速度）に応じて得られる値であり、この再生ポイントに対して再生ポイント係数を乗算して得られる。
この場合の再生ポイントとしては、先の図１５に示したステップＳ３１２の処理によって、レバー２０５のスライド移動操作に応じて得られた、スライド移動速度情報を利用して得ることができる。例えば、レバー２０５のスライド移動操作による、早送り操作と早戻し操作とに応じて、それぞれ異なる一定値ｋを設定する。
【０１９６】
そして、レバー２０５のスライド移動操作により早送り操作又は早戻し操作を行ったのに応じて、上記一定値ｋについて、スライド移動の移動速度の絶対値で除算するようにされる。つまり、ｋ／ｓの演算を行う。この演算により得られた値を加算値として、これまでの再生ポイントに対して加算して、最新の再生ポイントを得るようにされる。このような再生ポイントの算出の仕方では、レバー２０５を短時間で高速に移動させた場合には、加算値が小さくなり、また、低速度で移動させた場合には、加算値が大きくなる。つまり、レバー２０５をゆっくりと移動させるほど、その移動させた部分のユーザの注目度は高いということがいえるが、この注目度に応じて、再生ポイントが高くなるようにされている。
【０１９７】
また、例えばスライドバーエリア２０４についてバーの移動範囲を拡大／縮小するようにして可変可能とした場合においては、バーの移動範囲を拡大したことが、その拡大率に従って、レバー２０５をより低速度で移動させていることと等価となる。そこでこの場合には、拡大率に応じて、再生ポイントが高くなるように演算を行うようにすることも考えられる。
【０１９８】
また、例えば再生ウィンドウ２００に早送り／早戻しボタンを設けたとした場合には、ステップＳ４０７の処理として、次のようにして早送り／早戻しボタン操作に応じた再生ポイントの演算を行うようにすればよい。
早送り／早戻しボタンを設けた場合には、先に図１５についての補足として説明したように、早送り／早戻しボタンの操作に応じて、映像／音声データにおける早送りされた区間（早送り区間）と、早戻しされた区間（早戻し区間）との情報が、再生頻度データ１１５に格納される。
ここで、早送り区間は、ユーザがさらに後の区間を再生しようとして、とばそうとした区間であると考えることができ、逆に早戻し区間は、ユーザがもう一度再生させてみようとした区間であると考えることができる。つまり、前者は重要でない区間であり、後者は重要な区間であるとして捉えることができる。
そこで例えば、再生ポイントとして、早送り区間については所定のマイナスポイントを設定し、早戻し区間については所定のプラスポイントを設定する。そして、これらのポイントを利用して、係数との乗算を行うなどして、再生ポイント評価値Ｄを算出するようにすればよい。
このようにして、再生ポイントに基づく評価値は、ユーザが再生した映像／音声データ１１１の区間についての重要度に応じたものとなることが分かる。
確認のために述べておくと、このときの単位時間において、映像／音声データの再生が行われないために、再生頻度データとして実体的なデータが存在しない場合には、再生頻度評価値Ｃ、及び再生ポイント評価値Ｄは無効（０）となる。これは、次に説明する再生時の感情評価値Ｅ、及び再生時の感情変化点評価値Ｆについても同様のことがいえる。
【０１９９】
ステップＳ４０８では、再生時の感情評価値Ｅ、及び再生時の感情変化点評価値Ｆを算出する。これは、再生頻度データにおける再生時感情データを利用して算出できる。つまり、再生時感情データと、感情係数、変化点閾値、変化点係数、変化点対応時間幅情報、及び変化点対応減衰係数を利用して、上記ステップＳ４０３及びステップＳ４０４により説明したのと同様の処理により演算を行うようにされる。
【０２００】
ステップＳ４０９では、データ取得評価値Ｇを算出する。これは、所定単位時間内に取得した外部データ１１６の数と取得データ係数との積により得られる。
【０２０１】
このようにして、ステップＳ４０３〜Ｓ４０９の処理によって、必要とされる評価値の各々が得られることになる。なお、この図に示してはいないが、必要に応じては、行動特異点評価値（Ｈ）と、感情特異点評価値（Ｉ）について演算するようにしてもよい。これらの評価値は、その単位時間の区間において、状況パターンデータ１１４に含まれる行動特異点と、感情特異点の数について、それぞれ、行動特異点係数と感情特異点計数とを乗算して得ることができる。
【０２０２】
そして、ステップＳ４１０においては、現単位時間内の総合評価値Ｘを算出する。この総合評価値Ｘは、上記ステップＳ４０３〜Ｓ４０９の処理によって得られた各評価値Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，（Ｈ，Ｉ）の和をとるようにされる。なお、このようにして得られた単位時間ごとの総合評価値Ｘは、後のビットレート変換処理に用いられるので、例えばＲＡＭ３２に保持しておくようにされる。このときには、単位時間ごとの識別が可能な状態でＲＡＭ３２に保持される。
【０２０３】
上記したステップＳ４０１〜ステップＳ４１０の処理は、ステップＳ４１１において、全ての所定単位時間分の総合評価値Ｘの算出が終了したことが判別されるまで繰り返し実行される。従って、ステップＳ４１１にて肯定結果が得られて、この図に示す処理が終了した段階では、全ての所定単位時間分の総合評価値Ｘの算出が終了していることとなる。
【０２０４】
また、評価値の算出は、各評価値が、ポリシーデータに記述されたビットレート変換用パラメータに基づいており、特に、記録時対応状況パターンデータが、登録されたパターン別ポリシーデータと一致している場合には、そのパターン別ポリシーデータのビットレート変換用パラメータに基づいて評価値算出が行われる。
つまり、本実施の形態の評価値算出がパターン別ポリシーデータのビットレート変換用パラメータに基づいて行われた場合には、ユーザの状況パターンごとに異なるようにされた、映像／音声データ１１１の内容についての、ユーザにとっての重要度、関心度を評価する評価値が得られることになる。つまり、ユーザの状況パターンに適合した評価値が得られるものである。これにより、本実施の形態の編集結果としては、状況パターンごとに適合するようにして、異なる基準による編集ポイント設定が行われることになる。
【０２０５】
例えば、或る状況パターンに応じては、感情として「嬉しい」「楽しい」などの感情を重視する場合には、その状況パターンに応じたパターン別ポリシーデータにおいては、これらの感情の次元に対応する係数を高く設定する。これにより、「嬉しい」「楽しい」といった感情状態のときの映像／音声データ１１１が抽出されやすくなるようにして編集ポイントが設定されることになる。或いは、他の状況パターンでは、感情として「興奮」を中心に抽出したいような場合には、そのパターン別ポリシーデータとしては、「興奮」の感情の次元に対応する係数を高く設定する。この場合には、感情データが興奮を示したときの映像／音声データ１１１が抽出されやすくなるようにして編集ポイントが設定されることになる。
【０２０６】
５−５．ビットレート変換処理（編集１：映像／音声データ記録終了後）
上記図１６により説明したようにして、例えば映像／音声データ１１１を所定単位時間ごとに区切っての評価値算出の処理を実行した後に、ビットレート変換処理、つまり編集１としての編集処理を実行することになる。図１７は、このためにＣＰＵ３１（編集処理部２３）が実行すべき処理を示している。
【０２０７】
先ず、この図に示す処理を最初に実行するとした場合におけるステップＳ５０１としては、編集対象である映像／音声データ１１１についての最初の区間を処理対象区間として設定するようにされる。なお、先に図１６に示した評価値算出処理としては、映像／音声データ１１１の所定単位時間分の区間ごとに総合評価値Ｘを算出することとしていたが、ステップＳ５０１にて設定される処理対象区間は、この総合評価値算出が行われる所定単位時間分の区間と同じものとなる。換言すれば、先の図１６の処理によっては、ここでの処理対象区間ごとに総合評価値Ｘを算出していたものである。
【０２０８】
次のステップＳ５０２では、ステップＳ５０１にて設定された（次の）処理対象区間が在るか否かを認識することで、以降説明するようにして実行する処理対象区間ごとのビットレート変換処理を、全処理対象区間について実行し終えたか否かについて判別する。ここで、未だビットレート変換処理を実行すべき処理対象区間が残っているとして否定結果が得られた場合には、ステップＳ５０３の処理に進む。
【０２０９】
ステップＳ５０３においては、ビットレート変換処理にあたって、ユーザ操作によるビットレート指定が行われているか否かについて判別する。
例えば、先に図１２により説明した記録処理におけるレビュー再生処理を実行しているときには、ユーザ操作を受け付け可能となっており、ユーザは、例えば、高いビットレートで残しておきたい区間、低ビットレート化（削除も含む）したい区間を指定することが可能であることとされている。ステップＳ５０３において、ビットレートのユーザ指定の有無は、例えばこのことに基づいて判別することができる。
【０２１０】
ステップＳ５０３において、ユーザ指定があるとして肯定の判別結果が得られた場合には、ステップＳ５０８の処理に進む。
ステップＳ５０８においては、ユーザ指定に応じて処理内容を決定する。つまり、現処理対象区間について、ユーザ指定に応じて、例えば先に説明したレベル１〜８として示したビットレートのうちから、いずれのビットレートとするのかを決定して、ステップＳ５０７の処理に進む。このステップＳ５０８の処理を実行した場合、次に説明するステップＳ５０４〜ステップＳ５０６の処理がスキップされることになるが、これは、本実施の形態においては、評価値に基づく編集ポイント設定（ビットレート設定）よりも、ユーザ指定の内容が優先されることを意味する。
【０２１１】
これに対して、ステップＳ５０３においてユーザ指定が行われていないとして否定の判別結果が得られた場合には、ステップＳ５０４に進む。
ステップＳ５０４では、先の図１６により算出された処理対象区間（所定単位時間分の区間）ごとの総合評価値Ｘのうち、現処理対象区間の総合評価値Ｘを取得する。
先に述べたように、この図１７に示すビットレート変換処理（編集１）を実行するのに先立っては、図１６に示した処理によって、編集元となる映像／音声データ１１１についての評価値算出が実行されており、従って、例えばＲＡＭ３２に対して、編集元である映像／音声データ１１１についての所定単位時間分の区間ごとの総合評価値Ｘが得られている。ステップＳ５０４の処理としては、このようにして既に取得されている所定単位時間分の区間ごとの総合評価値Ｘのうちから、現処理対象区間（所定単位時間分の区間）に対応する総合評価値Ｘの値を取得するようにされる。
【０２１２】
そして、次のステップＳ５０５においては、先ず、上記ステップＳ５０４にて取得した総合評価値Ｘと、現処理対象区間に対応して選択されるポリシーデータに記述されるビットレート変換用パラメータにおいて、前述のレベル１〜８に対応して設定されている各閾値とを比較する。
なお、確認のために述べておくと、本実施の形態においては、先に図９を参照して説明したように、ビットレート変換のレベル段階としては、レベル１を最高ビットレートとしたうえで、レベル２−圧縮閾値、レベル３−解像度低下閾値、レベル４−フレーム減少閾値、レベル５−静止画化閾値、レベル６−音声限定化閾値、レベル７−無音部削除閾値、レベル８−データ削除閾値のようにして、評価値に対するビットレート変換の閾値を、ポリシーデータ（基本ポリシーデータ、又はパターン別ポリシーデータ）において設定している。そして、これらの閾値の大小関係としては、レベル２からレベル８となるのに従って、小さくなっていくものとされている。ただし、各レベルが有する閾値は、これまでの説明から理解されるように、パターン別ポリシーデータであれば、対応する状況パターンに応じて異なる値が設定されるものである。
また、ここでの現処理対象区間に対応して選択されるポリシーデータは、先の図１６に示した評価値算出処理において、ステップＳ４０２において参照される、現処理対象区間（所定単位時間分の区間）に対応の基本ポリシーデータ、若しくはパターン別ポリシーデータとなる。
【０２１３】
ステップＳ５０５においては、上記した閾値と、総合評価値Ｘとを比較した結果として、その総合評価値Ｘ以上の閾値のうちから、最小の閾値を特定するようにされる。具体例として、今回の総合評価値Ｘは、レベル４に対応するフレーム減少閾値と、レベル５に対応する静止画化閾値との間にある値であったとする。この場合には、総合評価値Ｘ以上の閾値は、レベル４に対応するフレーム減少閾値、レベル３に対応する解像度低下閾値、レベル２に対応する圧縮閾値となり、これらの閾値のうちで最小は、レベル４に対応するフレーム減少閾値となる。この場合のステップＳ５０５の処理としては、比較結果として、このレベル４に対応するフレーム減少閾値を特定することになる。
そして、次のステップＳ５０６においては、上記ステップＳ５０５により特定された閾値に対応する処理を、現処理対象区間の処理内容として決定する。つまり、減退証書陸間について、どのようなビットレートを設定するのかが決定されることになる。
【０２１４】
ここまでの説明において、例えばステップＳ５０５の処理としては、総合評価値Ｘ以下の閾値のうちから、最大の閾値を特定する処理とすることも考えられる。これを上記した具体例（総合評価値Ｘが、レベル４に対応するフレーム減少閾値と、レベル５に対応する静止画化閾値との間にある値であったとする例）に照らし合わせると、ステップＳ５０５及びステップＳ５０６の処理結果として、レベル５に対応する静止画化閾値が特定され、処理内容（ビットレート）として静止画化とすることが決定されることになる。
つまり、ステップＳ５０５として、総合評価値Ｘ以下の閾値のうちから最大の閾値を特定する処理とした場合には、総合評価値Ｘ以上の閾値のうちから最小の閾値を特定する処理とした場合と比較して、１つ下のレベルに対応する処理内容（ビットレート）とすることが決定されることになる。
ステップＳ５０５として両者の何れの処理とするのかは任意なのであるが、ここでは、総合評価値に応じた映像／音声データの品質を高めに維持することを考慮して、総合評価値Ｘ以上の閾値のうちから最小の閾値を特定することとしている。例えば、逆に、編集後のデータサイズをできるだけ縮小することなどを考慮するのであれば、ステップＳ５０５として総合評価値Ｘ以下の閾値のうちから最大の閾値を特定する処理とすることも考えられる。
【０２１５】
そして、上記ステップＳ５０６又は先に説明したステップＳ５０８の処理により、現処理対象区間の処理内容（ビットレート）を決定した後においては、ステップＳ５０７の処理により、現処理対象区間と、決定された処理内容とを対応付けた対応情報を生成し、この対応情報を例えばＲＡＭ３２に書き込んで保持させるようにする。そして、この処理が終了すると、ステップ５０１の処理に戻る。
【０２１６】
上記ステップＳ５０３〜Ｓ５０７により説明した処理を繰り返すことにより、最終的には、映像／音声データについての所定単位時間分に対応する全ての区間ごとについての処理内容（ビットレート）が決定されることになる。そして、最後の区間についての処理内容（ビットレート）を決定してステップＳ５０１の処理に戻ったときには、次のステップＳ５０２において、映像／音声データについての全区間ごとについての処理内容（ビットレート）の決定処理が終了したとして肯定結果が得られることとなって、ステップＳ５０９の処理に移行することになる。
【０２１７】
ステップＳ５０９においては、編集対象となっている映像／音声データ１１１についての、所定単位時間分に対応する区間（処理対象区間）と処理内容（ビットレート）とを対応付けて表示させた一覧表示を、所定の表示態様によって表示部２７に表示させる。
ステップＳ５０９に至った段階では、映像／音声データについての所定単位時間分に対応する各区間と処理内容（ビットレート）を対応付けた対応情報が、全区間分得られていることになる。
上記ステップＳ５０９の処理は、例えばＲＡＭ３２に保持させている上記対応情報を参照することで、映像／音声データの各区間と処理内容（ビットレート）との対応が視覚的に認識できるような画像データを生成するようにされる。そして、この画像データを表示部に対して表示するようにされる。
【０２１８】
ステップＳ５０９により変換一覧の画像を表示することは、ユーザに対して、映像／音声データ１１１についての各区間ごとのビットレート変換候補を提示するものとなる。このため、変換一覧の画像としては、提示した変換一覧の内容をユーザに承認させるための操作と、ユーザが変換一覧の内容を変更できるように、つまり、変換一覧が示す処理内容（ビットレート）をユーザの意図に応じて変更する操作などが可能なＧＵＩとして構成されている。
【０２１９】
ステップＳ５０９に続くステップＳ５１０では、表示させている変換一覧の内容をユーザが承認したことの操作が行われたか否かについて判別する。つまり、変換一覧の画像を表示させた状態で、ユーザによる承認のための操作が行われるのを待機する。ここで、ユーザによる承認の操作が行われたことで、ステップＳ５０１において肯定の判別結果が得られた場合には、そのままステップＳ５１３に進む。
【０２２０】
これに対して、ユーザが承認の操作を行わない場合には、ユーザは、変換一覧が示す処理内容（ビットレート）を、任意の区間を対象として変更する操作を行うことになる。そして、このような変更のための操作が行われた場合には、ステップＳ５１０にて否定の判別結果が得られることとなって、ステップＳ５１１の処理に進む。
ステップＳ５１１の処理によっては、ユーザ操作に応じて得られる処理内容（ビットレート）の変更を指定する情報を入力するようにされる。そして、ステップＳ５１２において、この指定情報に応じて、対応情報の書き換えを行う。つまり、ユーザ操作により或る区間の処理内容（ビットレート）の変更指定が行われたとされると、その区間の処理内容がユーザの指定操作に応じたものとなるように、ＲＡＭ３２に保持されている対応情報のうちで、その区間に対応する対応情報の内容の書き換えを行う。そして、このステップＳ５１２の処理を終了するとステップＳ５１３の処理に進む。
なお、この場合において、ステップＳ５１１に対応する、ユーザ操作による処理内容（ビットレート）の変更指定は、任意の複数の区間を対象として行うことが可能である。そして、例えば、操作により変更した内容をユーザが確認して、完了のための操作を行うようにされる。この完了操作に応じて、例えばステップＳ５１２による対応情報の書き換えが、変更された区間ごとに対応して実行される。
【０２２１】
ステップＳ５１３においては、現在ＲＡＭ３２に保持されている対応情報の内容に応じてビットレート変換処理を実行する。つまり、例えば再生時間に従って、単位時間分の区間（処理対象区間）ごとの対応情報を参照して、その区間についてのビットレート変換処理が、レベル１からレベル８の何れとなっているのかを認識し、その認識したレベルによるビットレートとなるように処理を実行する。
このための編集処理部２３による処理としては、例えば先ず、記録部２５に記録されている編集対象の映像／音声データ１１１について、再生時間順に従って単位時間分の区間（処理対象区間）ごとに読み出して、映像／音声信号処理部１３に転送する。そして、この読み出しを行った区間の対応情報が指定するビットレートを認識し、映像／音声信号処理部１３に対して、この認識したビットレートに変換するように命令する。この命令に応じて、映像／音声信号処理部１３では、転送されてきた区間分の映像／音声データについて、指定されたビットレートとなるように信号処理を実行する。そして、指定のビットレートに変換された１区間分の映像／音声データを、記録部２５に転送して記録していくようにされる。このような処理を区間ごとに繰り返し、記録部２５に記録する際には、区間ごとのデータが連結されて１つのファイルとして管理されるようにして記録処理を実行していくようにされる。
このようにしてステップＳ５１３の処理が実行される結果、記録部２５には、編集１としてのビットレート変換処理が行われた映像／音声データが記録されることとなる。
【０２２２】
なお、本実施の形態では、ステップＳ５１３としてのビットレート変換処理が終了して、編集後の映像／音声データが記録部２５に記録済みとされた段階では、編集元の映像／音声データについては、記録部２５から消去するようにされる。つまり、本実施の形態としては、見かけ上は、編集元の映像／音声データを、ビットレート変換処理としての編集処理によって書き換えを行ったものとして扱うようにされる。これは、本実施の形態の編集１としてのビットレート変換処理が、記録部２５の記録容量を節約することを１つの目的としていることなどに依る。従って、例えば、記録部２５の容量として余裕のあるような状況であれば、編集元の映像／音声データと、編集後の映像／音声データとを共に記録部２５に記録して保存しておくようにすることも考えられる。
【０２２３】
本実施の形態の場合、ステップＳ５１３の処理が終了した後は、ステップＳ５１４において、変換一覧を表示させたときに、ユーザによる変更指定操作が行われたか否かについて判別する。つまり、ステップＳ５１１からＳ５１２による処理を経たか否かについて判別が行われる。
ここで、ステップＳ５１４において、先にユーザによる変更指定操作が行われていたとして、肯定の判別結果が得られた場合には、ステップＳ５１５の処理に進む。
【０２２４】
先のステップＳ５０９により変換一覧を表示させたときに、ユーザによる変更指定操作が行われたということは、処理内容（ビットレート）決定のために用いられたポリシーデータ（基本ポリシーデータ、又はパターン別ポリシーデータ）における評価値算出のパラーメータが、実際にユーザの意図（嗜好）する編集結果と照らし合わせて誤差が生じているということになる。
そこでこの場合には、ステップＳ５１５に進み、処理内容（ビットレート）決定のために用いられたポリシーデータ（基本ポリシーデータ、又はパターン別ポリシーデータ）における評価値算出のパラメータが、よりユーザの好みなどに適合したものとなるように、学習処理を実行してから、この図に示す処理を終了するようにされる。なお、学習処理については、次に図１８により説明する。
これに対して、ステップＳ５１４において、ユーザによる変更指定操作が行われてはいなかったとして否定結果が得られた場合には、処理内容（ビットレート）決定のために用いられたポリシーデータにおける評価値算出のパラメータが、ほぼユーザの編集意図に適合しているものであったということになる。そこでこの場合には、学習処理を実行することなく、この図に示す処理を終了する。
【０２２５】
５−６．学習処理
上記図１７のステップＳ５１５として示した学習処理を、図１８のフローチャートにより示す。
この学習処理としても、図１７の場合と同様に、処理対象区間を、編集対象である映像／音声データの所定単位時間ごとに区分して得るようにされており、ステップＳ６０１としては、先の図１７のステップＳ５０１と同様に、その処理対象区間を順次設定していくための処理となる。
そして、全処理対象区間についての学習処理が終了するまでは、ステップＳ６０２にて否定の判別結果が得られることとなって、ステップＳ６０３以降の処理が実行される。
【０２２６】
ステップＳ６０３では、現処理対象区間について、先の図１７のステップＳ５１１に対応する、ユーザによる処理内容（ビットレート）の変更指定のための操作が行われたか否かについて判別する。ここで、否定の判別結果が得られたのであれば、現処理対象区間については、ユーザによる処理内容（ビットレート）の変更指定操作がなかったのであるから、学習処理を実行する必要はない。そこでこの場合には、そのままステップＳ６０１の処理に戻り、次の処理対象区間を設定するようにされる。
【０２２７】
これに対して、ステップＳ６０３においてユーザによる変更指定操作が行われたとして肯定の判別結果が得られた場合には、ステップＳ６０４〜ステップＳ６１１による、処理対象区間単位での学習処理を実行してからステップＳ６１１の処理に戻るようにされる。
【０２２８】
先ず、ステップＳ６０４では、現処理対象区間に対応するポリシーデータ（基本ポリシーデータ、又はパターン別ポリシーデータ）を選択する。ここで選択されるポリシーデータは、図１６に示した評価値算出処理において、ステップＳ４０２により参照するために選択したものと一致する。
そして、選択したポリシーデータにおける、ビットレート変換用パラメータにおいて記述されるパラメータのうちから、係数を示すパラメータ（係数情報）の読み込みを行うようにされる。この係数を示すパラメータ（係数情報）は、図１０に示した具体例としては、感情係数、変化点係数、変化点対応減衰係数、再生頻度係数、再生ポイント係数、行動特異点係数、感情特異点計数、データ取得係数となる。読み込んだこれらの係数情報は、ＲＡＭ３２に書き込んで保持しておくようにされる。
【０２２９】
ステップＳ６０５〜ステップＳ６１１までの処理は、上記各係数ごとにユーザ指定操作に応じて、その値を適合させていくための処理となる。
ステップＳ６０５では、最初又は次の係数情報（パラメータ）を処理対象として設定する。例えば、図１０に示した係数情報の処理順序として、図において上から下に示される順であるとすると、最初にステップＳ６０５の処理により設定される係数情報は感情係数となり、その次にステップＳ６０５の処理を実行することによっては、変化点計数が対象として設定されることになる。
【０２３０】
次のステップＳ６０６においては、上記ステップＳ６０５により設定された係数情報の値（処理対象係数）について、現処理対象区間に対して行われたユーザの指定操作に適応させる傾向に一定量変更させ、この変更した係数値を仮計数値として例えばＲＡＭ３２に書き込むなどして保持しておくようにされる。例えば、ユーザの指定が、より高いビットレートとするものであった場合には、ユーザの指定操作に適応させる傾向に一定量変更させる処理としては、その係数の値を一定値分増加させるようにすることになる。
そして、次のステップＳ６０７においては、上記ステップＳ６０６により得られた仮計数値を利用して、現処理対象区間の総合評価値Ｘを再計算する。総合評価値Ｘの再計算にあたっては、図１６に示したステップＳ４０３〜Ｓ４１０までの処理を実行すればよい、
【０２３１】
次のステップＳ６０８においては、上記ステップＳ６０７において再計算した総合評価値Ｘに基づいての、現処理対象区間についての編集結果が、ユーザ指定に適合した傾向を持つものであるか否かについての検証を行う。このためには、先ず、図１７のステップＳ５０５、Ｓ５０６の処理に準じて、再計算した総合評価値Ｘと閾値との比較を行って、処理内容（ビットレート）を決定してみる。そして、決定された処理内容（ビットレート）が、ユーザ操作による変更指定内容に適合する傾向となっている（近づいている／向上している）か否かについて判断する。そして、ステップＳ６０９においては、その検証結果についての判別処理を実行する。
【０２３２】
ステップＳ６０９において肯定の判別結果が得られた場合、現在の処理対象となっている係数情報について先のステップＳ６０６により得た仮係数値とすれば、ユーザの意図する編集結果に近づくこととなって、学習効果が得られるものとみることができる。そこで、この場合には、ステップＳ６１０の処理により、先のステップＳ６０６にて得られた仮係数値を本係数値として採用することを決定して、ステップＳ６１１の処理に進む。
これに対して、ステップＳ６０９において否定の判別結果が得られた場合、現在の処理対象となっている係数情報について設定した仮係数値では、学習効果は無いということになるので、この係数情報については仮係数値を採用せずにそのままとすることが好ましいということがいえる。そこで、この場合には、ステップＳ６１０の処理を実行することなくステップＳ６１１の処理に進む。
【０２３３】
ステップＳ６１１では、全ての係数情報を処理対象として処理を終了したか否かについての判別を行っており、ここで否定の判別結果が得られた場合にはステップＳ６０５の処理に戻るようにされる。
これにより、１つの係数情報に対応する仮係数値を求めて総合評価値Ｘを再計算し、この再計算した総合評価値Ｘに基づいた編集結果が、ユーザ指定内容に適合する傾向のものとなっているか否かについての判別が行われ、適合する傾向となっていれば、上記仮係数値を本係数値として採用するという処理が、各係数情報ごとに行われることになる。
なお、ステップＳ６０７における総合評価値Ｘの再計算にあたっては、処理対象となっている係数情報のみの要素についての編集結果への影響を判定する必要があるから、処理対象となっている以外の係数情報については、学習前の値を利用することとしている。
【０２３４】
そして、上記した各係数情報についての処理が、全ての係数情報について実行されると、ステップＳ６１１において肯定の判別結果が得られることとなって、ステップＳ６０１の処理に戻るようにされる。これにより、次の処理対象区間に対応するポリシーデータにおける各係数情報についての処理が行われることになる。
そして、映像／音声データにおける全ての処理対象区間についての処理が終了したとされると、ステップＳ６０２において肯定結果が得られることとなって、ステップＳ６１２の処理に進むことになる。
【０２３５】
これまでの処理によって、例えば仮係数値が本係数値として採用されたことによって、係数情報の係数値が変更されたポリシーデータが存在していることになる。ステップＳ６１２においては、このようなポリシーデータについて、係数値を変更するようにして書き換えを行う。このためには、例えば記録部２５から書き換えの必要のあるポリシーデータの読み出しを行う。そして、このポリシーデータに対応する係数情報であって、ＲＡＭ３２に保持されている変更のあった係数情報が、このポリシーデータに記述されるようにして書き換えを行い、書き換えたポリシーデータを記録部２５に記録し直すようにされる。
なお、図１７に示す処理において、ステップＳ５０１により設定された処理対象区間が基本ポリシーデータを採用している場合には、本実施の形態としては、係数情報の値の変更は行わないようにされる。基本ポリシーデータは、パターン別ポリシーデータに対して基本となるパラメータ値などを格納するものであるから、この基本ポリシーデータについては、学習処理によって内容が変更されることは好ましくないからである。
また、逆に言えば、パターン別ポリシーデータが格納する係数値については、学習処理が行われるたびに、よりユーザの編集意図に近づいていくようにしてその値が変更されていくことになる。
【０２３６】
５−７．リアルタイムビットレート変換処理（編集２）
続いては、先に図５により説明した編集２としてのリアルタイムビットレート変換のための処理動作について説明する。
ところで、先に図５により説明した編集２としてのリアルタイムビットレート変換の処理概念はあくまでも基本的なものであり、従って、編集ポイントの設定は、評価値（総合評価値）が閾値とクロスするポイントであることとしていた。しかしながら、リアルタイムビットレート変換における実際の編集ポイントとしては、図１９に示すようにして設定することとしている。なお、編集２としてのリアルタイムビットレート変換についての既本的な処理については、図５により説明したのでここでは省略し、主として編集ポイント設定に関して説明を行うこととする。また、リアルタイムビットレート変換としても、実際の閾値は、前述したレベル２〜レベル８に対応して設定されるのであるが、ここでは、編集ポイントの実際を重点的に説明することの便宜上、図５と同様に閾値としては１つのみを示している。
【０２３７】
先ず、この図によると、時刻ｔ０〜ｔ５までの期間で映像／音声データの収録を行っている間において、時刻ｔ１〜時刻ｔ２の期間と、時刻ｔ３〜時刻ｔ４の期間で評価値が閾値を越えている。このような状態において、図５の場合であれば、基準ビットレートｃから増加ビットレートｂに切り換わる時刻、つまり編集ポイントは、時刻ｔ１、時刻ｔ３ということになる。しかしながら、この図に示すようにして、時刻ｔ１での評価値が閾値を越えてクロスしたタイミングに対応して増加ビットレートｂに切り換える編集ポイントは、時刻ｔ１から所定時間Ｐだけ遡った時刻ｔ１ｐとしている。同様に、時刻ｔ３での評価値が閾値を越えてクロスしたタイミングに対応して増加ビットレートｂに切り換える編集ポイントは、時刻ｔ３から所定時間Ｐだけ遡った時刻ｔ３ｐとしている。
つまり、重要度が高いとして増加ビットレートｂに切り換えるとき（ビットレートを基準よりも高くするとき）には、評価値と閾値との関係に応じて直接的に設定される編集ポイントよりも前のポイントとするように設定しているものである。
【０２３８】
このようなポイント設定は、先の変化点対応時間幅情報に関して説明したことと同じことを根拠としている。つまり、例えば実際のユーザの感情の変化などに応じてビットレートを高くする編集ポイントを設定すると、編集後のコンテンツとしては、ビットレートが高く変化するポイントが唐突なものとなる印象を与えやすい。そこで、この編集２としてのリアルタイムビットレート変換処理では、上記したように、ビットレートを基準よりも高くするときには、実際に検出される編集ポイントよりも時間的に前の位置を編集ポイントとして設定するものである。
【０２３９】
このように編集ポイントを遡って設定する処理は、先の編集１においては、図１７に示したステップＳ５１３としての編集処理を実行している過程において、上記変化点対応時間幅情報に応じて設定すればよい。
しかしながら、編集２としては、後述するようにして、記録部２５に記録すべき映像／音声データについて、リアルタイムでビットレート変換処理を実行するので、編集１の場合のようにして、記録後の編集過程において変化点対応時間幅情報に応じて編集ポイントをずらすようにしてポイントを設定することはできない。
【０２４０】
そこで、編集２としてのリアルタイムビットレート変換を行うのにあたって、図１９に示したような編集ポイント設定を可能とするために、映像音声信号処理部１３に接続されるバッファメモリ１３ａをいわゆるリングバッファとして用いるようにし、図２０に示す手順により信号処理を実行するようにされる。
【０２４１】
映像／音声信号処理部１３では、図２０に示すようにして、撮像部１１及び収音部１４により撮像、収音することにより得られたデジタル映像信号、デジタル音声信号を、リングバッファとしてのバッファメモリ１３ａに書き込むようにされる。この書き込み動作は、例えばここでは、所定のデータレートにより継続的に行うものとする。従って、バッファメモリ１３ａにおける書込アドレスＷａｄは一定速度で進行する。
これに対して、バッファメモリ１３ａからの読み出しは、メモリのアンダーフロー及びオーバーフローが生じないようにして、データ書き込み速度よりも高速で、かつ、所要のデータ読み出し単位で間欠的に行われる。
このような読み出し動作により、常に一定量以上のデータがバッファメモリ１３ａに蓄積される状態を得るようにされる。
なお、実際としては、例えばバッファメモリ１３ａにおいて、デジタル映像信号とデジタル音声信号とについて、それぞれ異なるリングバッファ領域を設けるようにして、これらデジタル映像信号とデジタル音声信号とを一時蓄積させるようにされる。但し、図１９においては、簡単に概念を説明する便宜上、デジタル映像信号及びデジタル音声信号を一括したものとして説明している。
【０２４２】
バッファメモリ１３ａから読み出されたデジタル映像信号、デジタル音声信号は、映像／音声信号処理部１３におけるエンコーダ（圧縮符号化器）により圧縮符号化するのであるが、このときに、例えば編集処理部２３から指示されるビットレートとなるようにして圧縮符号化を実行する。そして、このようにして指示されたビットレートにより圧縮符号化された映像／音声データを、記録部２５に対して、リアルタイムビットレート変換の編集が施された映像／音声データ１１１として記録を行っていくようにされる。
【０２４３】
このような信号処理手順によりリアルタイムビットレート変換を実行しているものとして、例えば、ある時点において、ビットレートを増加させるようにして処理内容を変更すべきことが閾値と評価値との関係から検出されたとする。このときの編集ポイントとしては、図１９によっても説明したように、例えば時点１の場合であれば、この時点ｔ１から時間Ｐだけ遡った時点ｔ１ｐとしての映像／音声データ１１１での位置となる。
【０２４４】
本実施の形態の場合、例えば時点ｔ１ｐに対応するタイミングで、時点ｔ0以降のビットレートを決定したときには、少なくとも時点ｔ１から遡って、時点ｔ１ｐまでの区間の映像データと音声データは、バッファメモリ１３ａにおいて蓄積されている状態が得られるようにされている。そこで、編集処理部としては、この時点ｔ1から時点ｔ１ｐまでの区間を含む映像データ及び音声データをバッファメモリ１３ａから読み出して映像／音声信号処理部１３のエンコーダに転送するタイミングで、時点ｔ１に対応して設定したとされるビットレートをエンコーダに指示するようにされる。これにより、映像／音声信号処理部１３のエンコーダでは、時点ｔ１ｐ以降の映像データと音声データを、指示されたビットレートによりエンコードして記録部２５に対して出力するようにされる。
このようにして、リアルタイムビットレート変換処理であっても、編集ポイントの検出タイミングから所定時間遡った位置を編集ポイントとして設定して、ビットレート変換を行うことが可能となる。
【０２４５】
図２１のフローチャートは、編集２としてのリアルタイムビットレート変換処理を実現するために、編集処理部２３が実行すべき処理動作を示している。
先ず、この図においてステップＳ７０１の初期化処理と、ステップＳ７０２としての記録データファイルの作成処理は、先に図１２により説明した固定のビットレートにより映像／音声データを記録していく場合におけるステップＳ１０１、及びステップＳ１０２の処理と同様となることから、ここでの説明は省略する。
【０２４６】
ステップＳ７０２の処理の後においては、リアルタイムビットレート変換を伴って、映像／音声データ１１１の記録を実行していくことになるのであるが、このために、先ず、ステップＳ７０３により、撮像部１１と収音部１４により撮像、収音して得られるデジタル映像信号及びデジタル音声信号を、リングバッファとしてのバッファメモリ１３ａに書き込んで蓄積させていくための制御処理の実行を開始する。これにより、以降においては、バッファメモリ１３ａに対してデジタル映像信号及びデジタル音声信号を書き込む動作が実行されていくことになる。また、ここでは、このステップＳ７０３により開始される書き込み処理としては、間欠的なものではなく、Ａ／Ｄコンバータ１２，１５から出力される映像信号データ及び音声信号データを入力して連続的にリングバッファ（バッファメモリ１３ａに）に書き込んで行くという処理であることとする。
【０２４７】
上記ステップＳ７０３に続く、ステップＳ７０４〜Ｓ７１５の処理シーケンスは、デジタル映像信号／デジタル音声信号についてのリアルタイムビットレート変換処理を行うための処理データ単位ごとに、記録終了とされるまで繰り返されるものとなる。ここでの処理データ単位は、例えばデジタル映像信号／デジタル音声信号を所定の再生時間単位で区切ることに基づいて設定されればよい。あるいは、リングバッファとしてのバッファメモリ１３ａに対して書き込むデータについての所定の単位量に基づいて設定されてもよい。
【０２４８】
ステップＳ７０４〜Ｓ７１５の処理シーケンスにおいて、先ず、ステップＳ７０４〜Ｓ７０９の処理は、図１２のステップＳ１０４〜Ｓ１０９の処理と同様となる。つまり、ステップＳ７０４〜ステップＳ７０８の処理を実行することで、感情データが生成されて記録部２５への記録が行われる。また、位置／方位情報（又はカテゴリ情報）を取得して記録部２５に記録するようにされる。また、状況パターンデータ（及び特異点）を生成して記録部２５に記録するようにされる。これらの、記録データファイルは、それぞれ時間情報と対応付けられた形式とされている。また、ステップＳ７０８としての状況パターンデータ生成処理は、先に図１３に示した処理と同様でよいものとされる。また、これらの各記録デーファイルを記録する処理は、実際には、時分割的に並行して実行されるものとなる。
【０２４９】
また、この場合にも、現在記録中の映像／音声データ１１１についての過去の部分を再生するための操作が行われたときには、この操作に応じた再生履歴の情報が、再生頻度データ１１５として記録部２５に記録される。この場合にはリアルタイム編集であるが、総合評価値の算出には、再生頻度データ１１５も利用して行われる。例えば、ある時点で、ユーザが、現在記録中の映像／音声データ１１１についての過去の部分を再生させるための操作を行ったとすると、このことに対応した内容の再生頻度データ１１５が発生され、記録部２５に記録されることになる。リアルタイム編集では、このようにして発生された再生頻度データをその都度利用して再生頻度評価値の計算を行うことができる。
また、この場合にも、例えばネットワークなどを経由して外部データを取得したときには、その外部データも時間情報と対応付けた形式で記録部２５に対して記録するようにされる。外部データ取得履歴も、評価値算出に利用される。
【０２５０】
上記のようにしてステップＳ７０４〜Ｓ７０９の処理によって、映像／音声データ１１１の処理データ単位に応じて、必要な記録データファイルを記録（取得）したとされると、編集処理部２３としては、ステップＳ７１０により、現処理対象区間についてのビットレートを設定するための処理を実行する。
なお、ビットレート設定のための処理については、図２２により後述するが、このビットレート処理により、現処理対象区間の映像／音声データ１１１についての重要度の評価が行われ、この評価に応じたビットレートが決定されることになる。また、このビットレートは、ポリシーデータに基づいて設定されるので、例えば先に説明したレベル１〜レベル８までのいずれかに対応したものとなる。
【０２５１】
次のステップＳ７１１においては、上記ステップＳ７１０の処理によって決定されたビットレートが、現処理対象区間の直前の処理対象区間にて決定されたビットレートよりも高いビットレートであるか否かについて判別する。この場合において、ステップＳ７１０にて決定された現処理対象区間についてのビットレートが、現処理対象区間の直前の処理対象区間にて決定されたビットレートよりも高いということは、先に図１９により示したようにして、時間Ｐの分を遡らせてビットレート変換を行うべきとされる、相応に重要度があるとして評価された区間であるということを意味する。
【０２５２】
上記ステップＳ７１１においてビットレートが高いということが判別された場合には、ステップＳ７１２の処理を実行する。ステップＳ７１２では、現処理対象区間の１つまえの処理対象区間における、一定時間（時間Ｐ）に対応する最後の区間について、最後のステップＳ７１０により決定した現処理対象区間のためのビットレートと同じビットレートに変更するように変更を行う。
この処理によって、図１９により示したように、例えば時点ｔ１を編集ポイント（処理対象区間開始位置）として決定したビットレートを、この時点ｔ１から時間Ｐを遡った時点ｔ１ｐから適用するようにして設定できたことになる。ステップＳ７１２の処理が終了するとステップＳ７１３の処理に進む。
また、ステップＳ７１１において、ビットレートは高くはなっていないとして否定の判別結果が得られた場合には、上記のようにして現処理対象区間から時間Ｐを遡った区間についてのビットレートを変更する必要はないことになる。そこで、この場合にはステップＳ７１２の処理を実行することなく、ステップＳ７１３の処理に進む。
【０２５３】
ステップＳ７１３においては、バッファメモリ１３ａ（リングバッファ）から所定量分のデジタル映像信号／デジタル音声信号の読み出しを実行する。確認のために述べておくと、ここで読み出さるデジタル映像信号／デジタル音声信号は、リングバッファから読み出されるのであるから、現時点よりも過去に撮像／収音された映像信号、音声信号に基づいたものとなる。本実施の形態の場合、ステップＳ７１０にて決定された現処理対象区間のビットレートが、ステップＳ７１２の処理によって、現処理対象区間の１つ前の処理対象区間の最後の区間（時間Ｐの分の区間）に及ぶ場合があることに応じて、ステップＳ７１３にて読み出されるデジタル映像信号／デジタル音声信号は、現処理対象区間についてのビットレート設定に関連する処理（ステップＳ７０４〜Ｓ７１２）を実行しているときに、その現処理対象区間から２つ以上前の処理対象区間に含まれるデジタル映像信号／デジタル音声信号部分となるようにされる。このようなビットレート設定処理タイミングと、デジタル映像信号／デジタル音声信号の読み出しタイミングが得られるようなリングバッファ（バッファメモリ１３ａ）におけるデータ蓄積状態が得られるようにして、リングバッファ（バッファメモリ１３ａ）についての書き込み／読み出しアドレスの制御を行うようにされる。
【０２５４】
次のステップＳ７１４は、上記のようしてステップＳ７１３の処理により読み出されたデジタル映像信号／デジタル音声信号について、このデジタル映像信号／デジタル音声信号を含む映像／音声データ部分に対して設定されたビットレートにより符号化変調するようにして、映像／音声信号処理部１３によるエンコード処理を実行させる。
このためには、先ずステップＳ７１３の処理によりバッファメモリ１３ａから読み出したデジタル映像信号／デジタル音声信号を、映像／音声信号処理部１３におけるエンコーダに入力させるとともに、このエンコーダに対して、符号化変調時のビットレートを指示するようにされる。このときに指示するビットレートは、過去に実行されたステップＳ７０４〜Ｓ７１２の処理により、これより符号化変調するデジタル映像信号／デジタル音声信号に対応する映像／音声データの区間に設定されたビットレートとなる。
これに応じて、映像／音声信号処理部１３では、指定されたビットレートとなるようにして、入力されたデジタル映像信号／デジタル音声信号について符号化変調処理を実行することで、上記指定のビットレートによる映像／音声データを生成することになる。
【０２５５】
続くステップＳ７１５では、上記のようにして生成された指定のビットレートによる映像／音声データを記録部コントローラ２４に転送して、記録部２５に対して映像／音声データ１１１のファイルとして記録していくための制御処理を実行する。このようにして、本実施の形態では、ステップＳ７１０（及びＳ７１２）の処理によって設定されたビットレートにより圧縮符号化されて、映像／音声データ１１１としての記録が行われる。つまり、リアルタイムビットレート変換が行われるようにして、記録部２５への映像／音声データ１１１の記録が実現されている。
【０２５６】
上記ステップＳ７０４〜Ｓ７１２までの処理対象区間ごとのビットレート設定のための処理と、ステップＳＳ７１３〜Ｓ７１５として示したデジタル映像信号／デジタル音声信号についてのエンコード（圧縮符号化処理）と、エンコードにより得られた映像／音声データを記録するための処理は、ステップＳ７１６において、記録部２５への映像／音声データの記録処理が終了するまで繰り返し実行される。
なお、映像／音声データの記録を開始したときには、先ず、リングバッファ（バッファメモリ１３ａ）におけるデジタル映像信号／デジタル音声信号の蓄積量を一定以上とする必要があるので、書き込みのみが実行されて、読み出しを行わない期間があることになる。この期間においては、ステップＳ７０４〜Ｓ７１２によるビットレート設定の処理のみを実行し、ステップＳＳ７１３〜Ｓ７１５によるバッファメモリ１３ａからのデータ読み出し、エンコード、及び記録部２５への記録のための処理は実行しないことになる。
また逆に、映像／音声データの記録の終了がちかくなったときには、ステップＳ７０４〜Ｓ７１２によるビットレート設定が終了して、リングバッファ（バッファメモリ１３ａ）にデジタル映像信号／デジタル音声信号が蓄積されて残っている状態が生じることになるが、この状態では、上記ステップＳ７０４〜Ｓ７１５までの処理として、ステップＳ７０４〜Ｓ７１２の処理は終了して、ステップＳ７１３〜Ｓ７１５の処理を実行するようにされる。
【０２５７】
そして、例えばリングバッファ（バッファメモリ１３ａ）に残っている最後のデジタル映像信号／デジタル音声信号の読み出し、エンコード、記録部２５への記録が終了したとされると、ステップＳ７１６からステップＳ７１７の処理に進み、ファイルクローズ処理をはじめとした所要の記録終了処理を実行するようにされる。
【０２５８】
５−８．ビットレート設定処理（編集２）
続いては、上記図２１により説明したビットレート変換処理におけるステップＳ７１０の処理となるビットレート設定処理の流れについて、図２２を参照して説明する。
図２２に示す処理において、先ずステップＳ８０１では、これよりビットレート設定すべき映像／音声データの区間について、ポリシースイッチによるビットレートレベルの指定が行われているか否かについての判別を行うこととしている。
ポリシースイッチは、記録再生装置１のユーザインターフェイス部２８を形成する１つの操作子として扱われる。このポリシースイッチは、例えば実際にユーザが操作を行うことのできるキー、スイッチなどとして、記録再生装置１に設けられるものであってもよいし、あるいは、表示部２７に表示させるＧＵＩとして構成されてもよい。ユーザは、例えば映像／音声データを記録再生装置１に記録させながら何らかの行動を取っているときに、現在撮像／収音して得られる映像／音声データについてビットレートを指定したい場合には、このポリシースイッチを操作するようにされる。そして、ポリシースイッチによりビットレートレベルの指定が行われた場合には、その指定されたビットレートが優先される。
【０２５９】
このために、ステップＳ８０１においてポリシースイッチ操作によるビットレート指定があるとして肯定の判別結果が得られた場合にはステップＳ８１１に進み、指定されたビットレートレベルを、そのままステップＳ７１０の処理により設定するビットレートとする。
これに対して、ステップＳ８０１において否定の判別結果が得られた場合には、ステップＳ８０２以降の処理に進むことで、ポリシーデータに基づいたビットレートの自動設定を実行することになる。
【０２６０】
ステップＳ８０２においては、現処理対象区間に対応するポリシーデータ（基本ポリシーデータ又はパターン別ポリシーデータ）を参照する。ここでの参照すべきポリシーデータは、図２１におけるステップＳ７０８の処理により、現在の状況パターンに応じて決定されたパターン別ポリシーデータ、あるいは基本ポリシーデータとなる。ポリシーデータを参照することで、そこに記述される内容が認識されることになる
【０２６１】
次のステップＳ８０３においては、上記ステップＳ８０２により参照したポリシーデータにより、基準のビットレート指定が行われているか否かについて判別する。
基準のビットレートとは、リアルタイムビットレート変換を行う場合において基準となるビットレートのことであり、ユーザの指定入力操作に応じてパターン別ポリシーデータに記述される場合がある。つまり、パターン別ポリシーデータにおける録画時ビットレート関連指定情報（図１１参照）について、ビットレート指定オン／オフ設定情報がオンとなっていれば、基準のビットレートを指定しており、その指定内容は、ビットレート指定情報におけるビットレート値及びフレーム数の情報が示すこととなる。
例えば、パターン別ポリシーデータが、状況として定例の会議に対応するものとした場合において、会議では会話の内容が重要であるから画質としては重要性が低いということで、録画時ビットレート関連指定情報により、基準ビットレートとしては、低画質とされるレートを選択して設定するといったことができる。
ステップＳ８０３では、参照すべきポリシーデータがパターン別ポリシーデータである場合において、上記ビットレート指定オン／オフ設定情報がオンとなっているか否かについて判別することになる。
【０２６２】
ステップＳＳ８０３においてビットレート指定オン／オフ設定情報がオンとなっているとして肯定の判別結果が得られた場合には、ステップＳ８０４の処理を実行してから、ステップＳ８０５に進む。
ステップＳ８０４においては、録画時ビットレート関連指定情報のビットレート指定情報における、ビットレート値及びフレーム数の情報を参照する。そして、基準のビットレートとして、この参照したビットレート値及びフレーム数を設定する。
【０２６３】
これに対して、ステップＳ８０３においてビットレート指定オン／オフ設定情報がオフであるとして否定の判別結果が得られた場合には、そのままステップＳ８０５に進む。なお、この場合にはプリセットとして用意された基準ビットレートが設定される。
なお、ここでの基準ビットレートは、映像／音声データのビットレートとして最低のビットレートを規定するものとなる。例えば、前述したように、ビットレートのレベルが、レベル１〜レベル８までの８段階であるとして、基準ビットレートとして、レベル６のビットレートが設定されたとする。この場合には、最低のビットレートがレベル６となる。換言すれば、ビットレート変換は、ビットレート１〜ビットレート６の範囲で行われ、レベル６よりも低レベルのレベル７，８にビットレート変換されることはない。
【０２６４】
ステップＳ８０６においては、評価値利用設定が有効とされているか否かについて判別する。つまり、評価値算出によるビットレート設定を行うべきであるか否かについての判別を行う。この判別として、先ず、ステップＳ８０２で参照したポリシーデータが基本ポリシーデータである場合には、評価値算出によるビットレート設定を行うものとされているので、肯定の判別結果が得られることになる。また、参照したポリシーデータがパターン別ポリシーデータである場合には、評価値算出によるビットレート設定を行うべきか否かについては、処理方法情報におけるビットレート変換オン／オフ情報（図１１参照）の内容識別を行うことになる。ステップＳ８０６として、ビットレート変換オン／オフ情報がオンであることを識別すれば肯定の判別結果を得ることになり、オフであることを識別すれば否定の判別結果を得ることになる。
【０２６５】
ステップＳ８０５において否定の判別結果が得られた場合には、そのまま、この図に示す処理が終了されることになる。なお、パターン別ポリシーデータは、ビットレート変換オン／オフ情報がオフとなっている場合には、録画時ビットレート関連情報のビットレート指定オン／オフ設定情報は、必ずオンとされて基準ビットレートを指定した記述となるようにして作成されるようになっている。このために、ステップＳ８０５において否定の判別結果が得られた場合には、先のステップＳ８０４において設定された基準ビットレートが、図２１のステップＳ７１０により設定されるビットレートとされることになる。
これに対して、ステップＳ８０５において肯定の判別結果が得られた場合にはステップＳ８０６以降の処理に進むことになる。
【０２６６】
ステップＳ８０６においては、現処理対象区間についての総合評価値算出処理を実行する。このためには、図２１のステップＳ７０４〜Ｓ７０９までの処理によって得られた現処理対象区間ごとの各データを利用して、図１６と同様の評価値算出処理を実行すればよい。
そして、次のステップＳ８０７においては、上記ステップＳ８０６により算出した総合評価値に基づいて閾値の特定を行う。この処理は、先に図１７に示したステップＳ５０５の処理と同様となる。
次のステップＳ８０８では、上記ステップＳ８０７により特定した閾値に対応するレベルのビットレートを、ステップＳ７１０として設定するビットレートの候補とする。このステップＳ８０８において、ステップＳ８０７により特定した閾値に対応するビットレートのレベルを認識するのにあたっては、先に図１７により説明したステップＳ５０７に準じた処理を実行すればよい。
【０２６７】
ステップＳ８０９においては、上記ステップＳ８０８により設定した候補のビットレートと、現在設定されている基準ビットレート（最低として設定されたビットレートレベル）とのレベルを比較して、候補のビットレートのレベルのほうが高いか否かについて判別する。
ここで候補のビットレートのほうが高レベルであるとして肯定の判別結果が得られたのであれば、ステップＳ８１０に進んで、ステップＳ７１０として設定すべきビットレートについて、先のステップＳ８０８により決定された候補のビットレートを適用する。
これに対して、候補のビットレートのほうが低レベルであるとして否定の判別結果が得られた場合には、ステップＳ８１０の処理をパスしてこの図に示す処理を終了するが、これによっては、基準ビットレートがステップＳ７１０として設定すべきビットレートとして適用されることになる。
【０２６８】
５−９．ダイジェスト作成処理（編集３）
続いては、編集３としてのダイジェスト作成のための処理について説明する。このダイジェスト作成としての編集動作の概略については、先に図６により説明したが、ここでは先ず、ダイジェスト作成にあたっての、より具体的な編集動作例について、図２３，図２４を参照して説明しておくこととする。
【０２６９】
ダイジェストファイルは、先の図６による説明からも理解されるように、例えば１日分継続して記録した映像／音声データから重要度の評価が高いとされる区間を抽出し、これらの抽出した区間を時間軸に従って連結するようにして、１つの映像／音声データのファイルを再作成して得られる。つまり、ダイジェストファイルは、重要度が高いとされる部分のみを抜き出すことで、１ショット分（例えばまる１日分）の収録内容を短時間で効率的に把握しようとする目的のために使われる。従って、ダイジェストファイルの総再生時間としては、いたずらに長時間とするのではなく、短時間といえる程度にとどめるべきであることになる。このために、図１０に示したようにして、基本ポリシーデータにおける基本ダイジェスト作成用パラメータには、作成するダイジェストファイルの総再生時間（ダイジェストトータル時間）を設定する、ダイジェストトータル時間情報が設けられている。
【０２７０】
上記のようにしてダイジェストトータル時間が設定されることで、ダイジェストファイル作成のための編集を行うのにあたっては、重要度が高いとされてダイジェストファイルに含めるべき候補とされた映像／音声データの区間から、ダイジェストトータル時間内に納められるようにして、実際にダイジェストファイルに含める映像／音声データの区間を選択する必要が生じてくる。図２３及び図２４においては、この観点からの編集動作を模式的に示している。
【０２７１】
先ず、図２３にはダイジェスト作成としての基本的な編集動作例が示されている。
図２３（ａ）には、記録部２５に記録した編集元としての１ショット分の映像／音声データ１１１が示されている。この図２３（ａ）に示す映像／音声データ１１１としてのバー形状は、図における左から右にかけての方向が時間の進行に従ったものとなる。
本実施の形態のダイジェスト作成には、先に図６に示したようにして、評価値と閾値との比較結果に応じて重要度が高いとされる区間を抜き出すことが基本的な編集動作となるが、ユーザは、ダイジェストに含めたいと思った映像／音声データの区間を、所定操作により指定することができる。このようにして指定された区間は、上記のようにして評価値と閾値との比較処理結果に応じて選択される区間に対して、優先してダイジェストファイルに含めるようにされる。
なお、ユーザによる区間指定は、編集元となる映像／音声データを収録（記録）しているときに、いま収録している区間をダイジェストに含めたいと思ったタイミングでキー操作などを行わせるようにして、記録再生装置では、この操作に応じて、現在記録中の映像／音声データについてのユーザ指定区間を設定するように構成すればよい。また、１ショット分の収録内容のレビュー再生を行いながら、いま再生している区間をダイジェストに含めたいと思ったタイミングでキー操作などを行わせるようにすることも考えられる。
【０２７２】
そして、図２３（ａ）に示す映像／音声データ１１１の場合には、図示するようにして、区間Ｂ，Ｄ，Ｆ，Ｈの４つの区間が、ユーザにより指定されたユーザ指定区間となってる。また、映像／音声データ１１１におけるユーザ指定区間以外の区間は、区間Ａ，Ｃ，Ｅ，Ｇ，Ｉの５つの区間となる。
【０２７３】
ユーザ指定区間は、上記もしているようにダイジェストファイルに対して優先的に含められる。そして、この場合には、図２３（ｂ）に示すようにして、ユーザ指定区間である区間Ｂ，Ｄ，Ｆ，Ｈの合計時間Ｔ２は、予め設定されたダイジェストトータル時間Ｔ１よりも短く収まっている結果となっている。これにより、ダイジェストトータル時間Ｔ１においては、Ｔ１−Ｔ２による演算で表される残り時間Ｔ３が生じるが、この残り時間Ｔ３の分を、評価値算出に基づいて抜き出された映像／音声データの区間に割り当てるようにする。
【０２７４】
そして、残り時間Ｔ３に対して割り当てを行うのにあたっては、先ず、先に図１６に示したようにして、所定単位時間分に対応する区間ごとに総合評価値を算出する。これにより、映像／音声データの区間を、総合評価値の高い順（総合評価値順位）に従ってソートするようにして管理することが可能になる。
そして、図２３（ａ）に示す映像／音声データの場合であれば、ユーザ指定区間以外の区間Ａ，Ｃ，Ｅ，Ｇ，Ｉを対象として、評価値算出を行うことになる。なお、評価値算出のための単位時間分の区間は、ここでは、区間Ａ，Ｃ，Ｅ，Ｇ，Ｉの各時間長と比較して相当に短いものであることとする。そして、これらの残りの区間について総合評価値の算出を行った結果、図２３（ａ）に示すようにして、区間の総合評価値順位が得られたものとする。総合評価値順位は、図において○内に示されている。つまり、区間Ｃ内の区間Ｃ−１が総合評価値が１番高く、以降、区間Ｅ内の区間Ｅ−１、区間Ｃ内の区間Ｃ−２、区間Ａ内の区間Ａ−１、区間Ｇの区間Ｇ−１の順となったとする。
【０２７５】
そして、上記のようにして評価値順位が得られたのであれば、図２３（ａ）（ｂ）の関係により示すようにして、ダイジェストトータル時間Ｔ１の残り時間Ｔ３に対して、評価値が高い順に、区間の割り当てを行っていくようにされる。この場合は、総合評価値が１番目に高い区間Ｃ−１から順に、２番目の区間Ｅ−１、３番目の区間Ｃ−２、４番目の区間Ａ−１を割り当てている。そして、この場合、次の５番目の区間Ｇ−１を埋め込もうとすると、評価値順に選択された映像／音声データの総時間が残り時間Ｔ３を越えてしまうので、区間Ｇ−１以降の評価値順となる区間は、残り時間Ｔ３に埋め込むことはできない。つまり、区間Ｇ−１以降の評価値順の区間ダイジェスト作成に用いることなく切り捨てる。
このようにして、図２３の場合においては、図２３（ｂ）に示すようにして、ユーザ指定区間である区間Ｂ，Ｄ，Ｆ，Ｈと、残り時間Ｔ３に埋め込むことのできた、総合評価値順位が１位〜４位までの区間Ｃ−１、区間Ｅ−１、区間Ｃ−２、区間Ａ−１とにより、ダイジェストファイルを作成するようにされる。
【０２７６】
そして、これらの区間によるダイジェストファイルとしては、図２３（ｃ）に示すようにして、上記したダイジェストファイル作成の要素として決定した、区間Ｂ，Ｄ，Ｆ，Ｈ、Ｃ−１、Ｅ−１、Ｃ−２、Ａ−１について、収録時の時間順に配列して連結することで形成するようにされる。
【０２７７】
次に図２４について説明する。
ところで、ユーザ指定区間は、ユーザ操作により指定されるのであるが、本実施の形態では、この指定操作は、例えば映像／音声データの記録中、又はレビュー再生時などにおいて何回でも行えることとしている。例えば、ユーザ指定区間の合計時間Ｔ２がダイジェストトータル時間Ｔ１を越える状態となったときに、ユーザ指定区間の指定操作をキャンセルするような仕様とすることも考えられるが、この場合には、例えば残りの区間で非常に重要なシーンが得られたとしても、これをユーザ指定区間として指定することができなくなり充実したダイジェストが作成できない。そこで本実施の形態では、上記のようにして、ユーザ指定区間の指定操作は何回でも行えることとしたうえで、ユーザ指定区間の合計時間Ｔ２がダイジェストトータル時間Ｔ１を越えてしまった場合には、図２４に示すようにしてダイジェスト作成を行うこととしている。
【０２７８】
図２４（ａ）には、編集元の映像／音声データからユーザ操作によりユーザ指定区間として指定された区間を時間順に配列（ソート）させた状態が示されており、ここでは、区間Ａ〜Ｉの９つの区間が配列されている。そして、これらユーザ指定区間Ａ〜Ｉから成るユーザ指定区間の合計時間Ｔ２は、図示するようにしてダイジェストトータル時間Ｔ１を越えてしまっている。
【０２７９】
このような場合には、ユーザ指定区間Ａ〜Ｉごとについての総合評価値の算出を行って、これらユーザ指定区間Ａ〜Ｉについての評価値順位を認識するようにされる。この場合のユーザ指定区間Ａ〜Ｉについての評価値順位は、図２４（ｂ）に示すものであったとする。
【０２８０】
上記のようにして評価値順位を得たら、続いては、図２４（ｃ）に示すようにしてダイジェストトータル時間Ｔ１に対して、評価値順位に従ってユーザ指定区間を当てはめていくようにしてソートする。この場合には、評価値順位が１位〜５位までのユーザ指定区間Ｄ，Ｃ，Ａ，Ｉ，Ｆまでがダイジェストトータル時間Ｔ１内に収まり、評価値順位が６位のユーザ指定区間Ｇを当てはめようとすると、ダイジェストトータル時間Ｔ１を越えてしまう。従って、この場合には、評価値順位が１位〜５位までのユーザ指定区間Ｄ，Ｃ，Ａ，Ｉ，Ｆによりダイジェストファイルを作成するようにされる。確認のために述べておくと、この場合にはユーザ指定区間のみによってダイジェストトータル時間Ｔ１が消費されるから、ユーザ指定区間以外の区間からダイジェストに含める候補を抜き出すことはしない。
【０２８１】
そして、上記図２４（ｃ）に示すようにしてダイジェストトータル時間Ｔ１に対して、評価値順位に従って当てはめたユーザ指定区間について、図２４（ｄ）に示すようにして、収録時の時間経過に従った順に並べ替えたうえで各区間を連結し、１つの映像／音声データのファイルとして形成するようにされる。これが、この場合のダイジェストファイルとなる。
なお、次の処理動作においても説明するが、ユーザ指定区間の合計時間Ｔ２がダイジェストトータル時間Ｔ１を越えた状態となった場合、ユーザ操作によって、ダイジェストトータル時間Ｔ１を延長するようにして変更することができる。この操作によって、例えばダイジェストトータル時間Ｔ１をユーザ指定区間の合計時間Ｔ２にまで延長させた場合には、全てのユーザ指定区間を時間順にソートして連結することでダイジェストファイルが作成されることになる。つまり、この場合には、ユーザ指定区間の総合評価値を算出して、総合評価値順位を得る必要はない。
【０２８２】
上記図２３及び図２４に示すようなダイジェストトータル時間Ｔ１に対応した処理手順を含んでの、編集３としてのダイジェスト作成のために編集処理部２３が実行すべき処理について、図２５のフローチャートを参照して説明する。
この図に示す処理としては、先ず、ステップＳ９０１に示すようにして、基本ポリシーデータを参照して、基本ダイジェスト作成用パラメータにおけるダイジェストトータル時間のパラメータ値を取得する。つまりダイジェストトータル時間Ｔ１の時間長を認識する。
次のステップＳ９０２では、ユーザ指定区間の合計時間Ｔ２を計算して取得する。
そして、ステップＳ９０３において、ダイジェストトータル時間Ｔ１とユーザ指定区間の合計時間Ｔ２とについて比較を行い、Ｔ１＜Ｔ２が成立するか否か、つまりダイジェストトータル時間Ｔ１よりもユーザ指定区間の合計時間Ｔ２が長いか否かについて判別する。
【０２８３】
先ず、ステップＳ９０３において否定の判別結果が得られた場合には、ステップＳ９０４以降の処理に進む。ステップＳ９０３において否定の判別結果が得られたということは、ユーザ指定区間の合計時間Ｔ２がダイジェストトータル時間Ｔ１に収まっている状態である。従って、ステップＳ９０４以降の処理は、図２３（ａ）（ｂ）（ｃ）に対応するダイジェスト作成を実現するものとなる。
【０２８４】
先ず、ステップＳ９０４においては、ダイジェストトータル時間Ｔ１からユーザ指定区間の合計時間Ｔ２を差し引いた残り時間Ｔ３に割り当てるべき映像／音声データ、つまり、評価値算出対象とする映像／音声データとして、ユーザ指定区間以外の区間の映像／音声データを設定する。
そして、ステップＳ９０４から続くステップＳ９０７においては、評価値算出対象とされる映像／音声データの部分について、総合評価値Ｘを算出するための処理を実行する。この総合評価値算出の処理は、例えば先にも説明したように、所定の単位時間に対応した映像／音声データの区間ごとに行うようにされる。
【０２８５】
上記ステップＳ９０７の処理によっては、評価値算出対象として設定された映像／音声データの各区間についての総合評価値が得られることになる。そこで、次のステップＳ９０８においては、評価値算出対象として設定される映像／音声データの区間について、総合評価値の高い順に従って、ソートを行う。
そして、次のステップＳ９０９においては、残り時間Ｔ３に対して最大限に収まる映像／音声データを、評価値算出を行った区間のうちから、算出された総合評価値順位に従って選択するための処理を実行する。
このステップＳ９０８→Ｓ９０９の処理結果は、図２３においては、図２３（ｂ）の残り時間Ｔ３において示される区間Ａ−１〜Ｅ−１の配列順として示されている。そして、ステップＳ９０９の処理が終了するとステップＳ９１０の処理に移行するようにされる。
【０２８６】
また、先のステップＳ９０３において肯定の判別結果が得られた場合には、ステップＳ９０５の処理に進む。
ステップＳ９０３において肯定の判別結果が得られたということは、ユーザ指定区間の合計時間Ｔ２がダイジェストトータル時間Ｔ１よりも長いということになる。この場合、ここでのステップの図示はしていないが、例えば表示部２７に対して、このことを警告するメッセージと、ダイジェストトータル時間を変更させる操作が可能なＧＵＩ画像を表示させることとしている。ステップＳ９０５においては、この状態のもとで、上記ＧＵＩ画像に対するダイジェストトータル時間Ｔ１の変更の操作が行われるのを待機する処理となる。なお、ここで判別されるべき変更操作は、ダイジェストトータル時間Ｔ１を、ユーザ指定区間の合計時間Ｔ２と同等とするための操作、つまり、現在指定されている全てのユーザ指定区間によりダイジェストファイルを作成するようにしてダイジェストトータル時間Ｔ１を変更する操作である。
【０２８７】
ステップＳ９０５において、ダイジェストトータル時間Ｔ１を変更する操作が行われたとして肯定の判別結果が得られた場合には、現在指定されている全てのユーザ指定区間によりダイジェストファイルを作成することとなるが、これに応じては、後述するステップＳ９１０の処理に進むようにされる。
【０２８８】
これに対して、ダイジェストトータル時間Ｔ１を変更する操作についてはキャンセルされたとして否定の判別結果が得られた場合には、以降において、図２４に示したダイジェスト作成を行うべきこととなる。そこで、この場合には、ステップＳ９０６において、現在指定されている全てのユーザ指定区間を、評価値算出対象として設定する。そのうえで、ステップＳ９０７の処理に進む。このようして、ステップＳ９０６から、ステップＳ９０７以降、ステップＳ９０９までの処理が実行されることで、図２４（ａ）→（ｂ）→（ｃ）までの手順が終了したことになる。
【０２８９】
ステップＳ９１０では、上記ステップＳ９０９の処理により選択した区間、若しくは、ステップＳ９０５からステップＳ９１０に至った場合には、ユーザ指定区間について、時間順にソートする。これにより、例えば図２３（ｃ）又は図２４（ｄ）に示すダイジェストデータが仮想的に形成されることとなる。つまり、ステップＳ９１０では、上記ソート処理によって仮ダイジェストファイルを作成する。そして、このようにして作成した仮ダイジェストファイルに基づいて、今回の編集内容を提示する。
この場合の提示の仕方としては、今回作成した仮ダイジェストファイルとしての編集内容を、ユーザが確認可能な所定の表示態様により、表示部２７に対して画像として表示出力させるようにすればよい。また、この編集内容を提示する表示画像としては、編集内容がユーザにとって妥当であれば、ユーザに承認してもらうための操作と、この編集内容がユーザにとって妥当ではない場合には、編集内容についての変更指定操作が可能なＧＵＩ画像としての機能も有するようにされる。
そして、次のステップＳ９１１においては、上記した編集内容を提示したＧＵＩ画像を表示させている状態のもとで、承認のための操作を待機する。
【０２９０】
先ず、ステップＳ９１１において承認のための操作が行われないとして否定の判別結果が得られた場合にはステップＳ９１２の処理に進む。承認のための操作を行わない場合には、編集内容についての変更指定操作が行われる。そこで、ステップＳ９１２においては、この変更指定操作に応じた操作情報を入力して処理することになる。
【０２９１】
上記ステップＳ９１２としての変更指定操作の入力に基づいた編集内容の変更に応じては、再度ステップＳ９０２からの処理に戻って、ダイジェストトータル時間Ｔ１の制限下での編集処理のし直しを実行することもできるが、ユーザの指定した編集内容そのままのダイジェストファイルを作成することも可能とされている。前者と後者の何れを採用するのかについては、ユーザ操作により選択することができる。
ステップＳ９１３の処理は、上記ユーザ操作として、編集処理のし直し（再編集）の指示と、ユーザの指定した編集内容をそのままダイジェストファイルとして作成（直接編集）する指示とのいずれの操作が行われたのかを判別する。編集処理のし直しを指示する操作が行われた場合には、ステップＳ９０２の処理に戻るようにされる。この場合には、再度仮ダイジェストファイルを作成してユーザの承認を受けることになる。
これに対して、ユーザの指定した編集内容そのままのダイジェストファイルの作成を指示する操作が行われた場合には、ステップＳ９１４の処理に進む。
【０２９２】
ステップＳ９１４に至った段階では、仮ダイジェストファイルに基づいた編集内容についてユーザの承認が得られているか、ユーザが承認を行っていない場合には、上記のようにして、ユーザの指定した編集内容そのままのダイジェストファイルを作成すべきことが指示されている。
そこで、ステップＳ９１４においては、ダイジェストファイルデータを作成するための処理を実行する。ステップＳ９１１の処理を経てステップＳ９１４に至った場合には、仮ダイジェストファイルの内容に基づいて、ダイジェストファイルを作成することになる。また、ステップＳ９１３の処理を経てステップＳ９１４に至った場合には、ユーザの指定操作に応じて変更された編集内容に基づいてダイジェストファイルを作成する。そして、この作成されたダイジェストファイルを、ポリシーデータによって指定されるディレクトリに格納するようにして記録部２５に記録するようにされる。なお、ダイジェストファイルを記録部２５に記録した後は、編集元となった映像／音声データについては、予め設定された機能としてビットレートを低下させて保存、或いは消去するようにされる。これにより、見かけ上は、例えば１ショット分を記録した映像／音声データが、ダイジェスト編集されたようにして変換されたこととなる。
【０２９３】
ステップＳ９１５の処理が終了したとされると、ステップＳ９１６により、ユーザによる変更指定操作が行われたか否かについて判別する。つまり、先のステップＳ９１２の処理が実行されたか否かについての判別を行う。そして、ユーザによる変更指定操作が行われたとして肯定結果が得られた場合には、ステップＳ９１７としての処理により学習処理を実行する。この学習処理は、先に図１８に示した処理に準ずればよい。これによって、よりユーザの編集意図や嗜好に近づくようにしてダイジェスト作成のための評価値算出が行われるように、パターン別ポリシーデータにおけるダイジェスト作成用パラメータの変更が行われることになる。
これに対して、ステップＳ９１６にて、ユーザによる変更指定操作は行われなかったとして否定の判別結果が得られた場合には、このまま、この図に示す処理を終了する。
【０２９４】
５−１０．イベント別ダイジェスト作成処理
上記図２３〜図２５により説明したダイジェスト作成処理は、例えばまる１日分に相当する１ショット分の映像／音声データから１つのダイジェストファイルを作成することを前提としていた。
ここで、本実施の形態の場合のようにして、ダイジェスト編集対象の映像／音声データの１ショット分が、例えば上記しているようにほぼ１日分などして長時間となるものである場合、その１ショット分の映像／音声データとして記録する内容は、時間経過に応じて大きく変化し得るものであるといえる。例えば、１日分の記録内容として、ある時間帯はユーザが会社で会議を行っているものであったが、他の時間帯では、ユーザが遊技場で遊んでいるものであるというようなものである。つまり、映像／音声データの記録内容としては、そのときのユーザの状況に応じて異なるものに変化していく場合があり、そのようになる可能性も高い。
【０２９５】
そこで、本実施の形態では、１ショット分の映像／音声データについて、上記したようなユーザの状況、環境に応じて異なるとされる内容ごとに区分を行うようにされる。本実施の形態では、このことに基づいて区分された単位を「イベント」ということにする。
そして本実施の形態では、上記のようにして１ショットをイベントごとに振り分けた上で、イベントごとに対応したダイジェストファイルを作成できるようにしている。
以下、この点について説明を行う。
【０２９６】
図２６は、上記したイベントごとのダイジェスト作成の手順を示している。
図２６（ａ）には、編集元となる１ショット分の映像／音声データが時間経過に従ったバー形状により示されている。この映像／音声データと共に記録された記録時対応状況パターンデータ１１４（つまり時間情報と対応付けられた状況パターンデータ）に基づいては、１ショット分の映像／音声データにおいて、ユーザを取り巻く状況に応じて変化していったとされる状況パターンを、グループ化するようにして分類ことができる。最も簡単な例であれば、記録時対応状況パターンデータ１１４（状況パターンデータ）が示す、位置／カテゴリの情報に基づいて分類できる。具体的には、位置／カテゴリの情報が、或る時間帯においては、会社若しくはその周辺を示しているのに対して、他の時間帯においては、会社周辺から離れた遊技場周辺を示しているとすれば、ここでは、２つの状況パターンにグループ分類できることになる。
なお、このようなグループ分類としては、各グループに１つの状況パターンのみが対応する場合もあるし、複数の状況パターンが対応する場合もある。つまり、状況パターンデータが示す位置情報としては異なっているが、一つは自身のデスクがある会社の位置であり、１つは、会社の倉庫であるような場合には、例えば「仕事に関連した状況である」という１つの状況パターンのグループにまとめることができる。
【０２９７】
ここでは、上記のようにして分類される状況パターンのグループ内容について、状況パターンタイプということにする。そして、上記したことから理解されるように、映像／音声データと共に記録された記録時対応状況パターンデータ１１４に基づいては、その映像／音声データについて、状況パターンタイプ別に区間分けをすることが可能となる。
図２６（ａ）の映像／音声データとしては、状況パターンタイプ１，状況パターンタイプ２，状況パターンタイプ３の３つのタイプに分けられ、状況パターンタイプ１には区間Ａ，Ｃ，Ｅが、状況パターンタイプ２には区間Ｂ，Ｆが、状況パターンタイプ３には区間Ｄ，Ｇがそれぞれ属することとなった結果が示されている。
そして、これらの区間を状況パターンタイプごとに集め、記録時間に従って連結すれば、模式的には、図２６（ｂ）、（ｃ）、（ｄ）に示すようにして状況パターンタイプごとに分割された映像／音声データが得られる。このようにして得られた各映像／音声データは、先に説明した本実施の形態でいうところの「イベント」に対応した、イベント別映像／音声データであるということになる。
【０２９８】
そして、イベントごとのダイジェストファイル（イベント別ダイジェストファイル）を作成するのにあたっては、上記図２６（ｂ）、（ｃ）、（ｄ）に示される映像／音声データのそれぞれについて、例えば図２５に準じた処理によってダイジェストファイルを作成するようにされる。この結果、図２６の場合においては、状況パターンタイプ１，状況パターンタイプ２，状況パターンタイプ３のそれぞれに応じたイベントごとに、３つのイベント別ダイジェストファイルが作成されたことになる。
【０２９９】
図２７は、イベント別ダイジェストファイルの作成処理を示すフローチャートである。この図に示す処理としては、先ず、ステップＳ１００１により、編集元として記録部２５に記録済みとされている映像／音声データ１１１について、図２６により説明した状況パターンタイプとして、どのように区分されるのかを認識する。このためには、映像／音声データ１１１と対応付けて記録される状況パターンデータ（記録時対応）１１４に記述される、位置／カテゴリなどをはじめとした状況を示し得る情報を参照して、例えば予め設定した規則に従って類型化して振り分ける処理を実行するようにされる。
そして、次のステップＳ１００２においては、編集元として記録部２５に記録済みとされている映像／音声データ１１１を、上記のようにして認識した状況パターンタイプごとに対応させて区間分け設定を行っておくようにされる。つまり、図２６（ａ）に示したようにして、１ショット分の映像／音声データ１１１について区間Ａ〜区間Ｇによる区間分けを設定する。このようにして分割される区間の区切り位置は、例えば時間情報と対応付けるようにすればよい。
【０３００】
また、次のステップＳ１００３では、ステップＳ１００１により認識した状況パターンタイプごとに対応してイベントを設定する。この処理としては、例えば３つの状況パターンタイプが存在するとの認識がステップＳ１００１にて得られたのであれば、これらの状況パターンタイプに応じて、例えばイベント＃１〜＃３のようにしてイベント番号を付した３つのイベントがあるものとして設定するようにされる。
【０３０１】
そして、ステップＳ１００４以降が、図２６により説明したイベント別ダイジェストファイルを作成するための処理となる。
先ずステップＳ１００４においては、処理対象とするイベントを設定する処理となる。この図に示す処理において、ステップＳ１００４の処理を最初に実行するときには、このステップＳ１００４では、処理順序的に最初となるべきイベントを処理対象として設定する。以降、このステップＳ１００４の処理に戻るごとに、順次、次に処理をすべきイベントが処理対象として設定されることになる。例えば、ステップＳ１００３によるイベント設定として、上記のようにしてイベント番号を付すようにしたのであれば、ステップＳ１００４の処理が実行されるごとに、このイベント番号順に従って処理対象とするイベントが設定されることになる。
【０３０２】
先のステップＳ１００２においては、状況パターンタイプに応じて編集元の映像／音声データ１１１についての区間分け設定を行ったが、状況パターンタイプとイベントは相互に対応するものであるから、ステップＳ１００２の処理は、イベントに応じて区間分け設定を行っているということにもなる。そこで、ステップＳ１００５においては、上記ステップＳ１００４により処理対象として設定されたイベント（状況パターンタイプ）に属するとされる区間を、ステップＳ１００２にて設定された区間のうちから選択して抽出するようにされる。そして、これらの抽出した区間の映像／音声データを、時間に従って連結する。これにより、現イベント（現在処理対象となっているイベント）に対応するイベント別映像／音声データ１が生成されることになる。図２６の場合として、例えば状況パターンタイプ１に対応するイベントが処理対象とされているのであれば、このステップＳ１００５の処理によっては、図２６（ａ）に示すイベント別映像／音声データが生成されることになる。
【０３０３】
そして、ステップＳ１００６では、上記ステップＳ１００５により生成されたイベント別映像／音声データを編集対象としてダイジェストファイルを作成するための処理を実行する。このときのダイジェストファイルの作成処理は、図２５に示した処理に準ずればよい。これにより、１つのイベント別ダイジェストファイルが作成されて、記録部２５に記録されることになる。また、この場合にも、仮ダイジェストファイルを作成したうえでユーザによる承認を受けるようにされ、ユーザが承認する代わりに編集内容を変更する指定操作を行った場合には、学習処理を実行するようにもされる。
【０３０４】
ステップＳ１００４→Ｓ１００５→Ｓ１００６によるイベント別ダイジェストファイルを作成する処理は、ステップＳ１００７において全てのイベント（状況パターンタイプ）に対応したイベント別ダイジェストファイルの作成を終了したことが判別されるまで繰り返し実行される。これにより、１ショット分の映像／音声データ１１１から、状況パターンタイプ数に応じたイベント別ダイジェストファイルが順次作成され、例えば記録部２５の所定ディレクトリに記録されることになる。
【０３０５】
なお、本発明としてはこれまでに説明した実施の形態としての構成に限定されない。
例えば、状況パターンデータ生成処理としては、図１３のステップＳ２０４として示したように、現在位置情報（カテゴリ情報）に基づいてパターン別ポリシーデータを検索することを持って状況パターンの判定を行うようにしているが、記録再生装置１にユーザのスケジュール管理を行うためのスケジューラ機能を与えたうえで、このスケジューラが管理するスケジュールの情報と、組み合わせるようにすることも考えられる。
これによっては、例えスケジュール内容を認識した上での状況パターンの判定となるから、この判定確度の向上が図られたり、また、より詳細に分類した状況パターンをつくることができる。また、スケジューラが管理するスケジュールと、実際に検出される状況パターンとにずれが生じている場合には、ユーザが予定していたスケジュールを忘れている可能性があるが、このことを警告するようなアプリケーションを構成することも可能になる。
【０３０６】
また、いわゆるワイアレスＬＡＮ環境が整っているホットスポットにいるときなどに、ワイアレスインターフェイスなどにより外部から取得した外部データを、状況パターンデータの生成に用いるようにすることも考えられる。例えば、外部データとして、その場所がショッピングモールであることを示す情報であるとか、また、そのホットスポットのエリアで現在行われている催し物を示す情報などが取得できる環境であれば、これらの情報を利用して、例えば「ショッピングモールで、『○○ショー』という催し物を見にきている」という状況にあることを示す状況パターンデータを容易に生成することが可能となる。
【０３０７】
また、例えば本実施の形態の記録再生装置１を所有するユーザの仲間の間で、ユーザごとに割り振ったＩＤを決めておき、各記録再生装置１には、各ユーザのＩＤを登録しておくようにする。そして、例えば記録再生装置１を携帯しているユーザが会ったときには、例えばワイアレスインターフェイスなどを利用して、ＩＤの交換などをするようにされる。すると、相手側から送信されたＩＤに基づいて、そのときに会った人物が特定されることになるので、出会った人物ごとに対応した状況パターンデータを容易に作成できることになる。
【０３０８】
また、編集１としてのビットレート変換処理に関すれば、この編集はビットレート変換用パラメータの経過時間指定情報が指定する経過時間を経過したときに自動実行させることができる。この点についての変形例としては、経過時間指定情報を複数段階とすることが考えられる。
これにより、例えば映像／音声データを記録部２５に記録してから、１ヶ月後に最初のビットレート変換処理を行い、さらに１年後において２回目のビットレート変換処理を実行する、といったことが可能になる。この２回目のビットレート変換処理のときには、例えば、最初のビットレート変換処理のときよりも、全体的に低いビットレートとなるように変換処理を実行するようにされる。あるいは、例えば、このときまでの再生頻度情報を保持しておくようにして、この再生頻度情報を利用した評価値算出結果に基づいてビットレート変換処理を実行するようにしてもよい。この場合には、ユーザが頻繁に再生したなどして重要度が高いと評価された区間のビットレートについては高めに維持し、逆に、重要度が低いと評価した区間のビットレートについては、これまでよりもさらに低くするようなビットレート変換結果を得るようにすることができる。
なお、このようなビットレート変換を実現するには、例えばビットレート変換用パラメータとして、経過時間指定情報が示す経過時間に応じた係数、閾値を用意する必要がある。
【０３０９】
また、本発明において編集対象となるソースは、映像及び音声が同期して再生出力されるべき映像／音声データとしているが、例えば映像データのみ、あるいは音声データのみとされてもよい。そして、このようにして、編集対象を映像データのみ、あるいは音声データのみとした場合には、これに応じて、ポリシーデータのパラメータの内容を変更することになる。
また、本発明に基づいた編集処理は、実施の形態として挙げた処理内容によるビットレート変換（情報の品質変更）、及びダイジェスト作成のみに限定されるものではない。つまり、同じビットレート変換やダイジェスト作成としての編集処理であっても、実施の形態として説明した以外の処理内容が採用されてよい。また、編集のための処理手順としても実施の形態として説明したもの以外に多様に考えられる。また、さらには、ビットレート変換やダイジェスト作成以外の種類の編集処理とされてもよい。つまり、映像／音声データの編集として、重要度評価結果を利用できるものでさえあれば、本発明が適用できるものである。
【図面の簡単な説明】
【０３１０】
【図１】本発明の実施の形態の記録再生装置の構成例を示すブロック図である。
【図２】実施の形態の記録再生装置における生体情報入力部、Ａ／Ｄコンバータ、及び生体情報統合処理部１９の信号処理系の構成例を示すブロック図である。
【図３】実施の形態の記録再生装置についてのネットワーク対応システムの構築例を示すブロック図である。
【図４】実施の形態の編集１としてのビットレート変換処理の基本概念を示す説明図である。
【図５】実施の形態の編集２としてのビットレート変換処理の基本概念を示す説明図である。
【図６】実施の形態の編集３としてのダイジェスト作成処理の基本概念を示す説明図である。
【図７】編集処理のために記録再生装置１が利用するデータを模式的に示す説明図である。
【図８】基本ポリシーデータの構造例を示す図である。
【図９】基本ビットレート変換用パラメータの構造例を示す図である。
【図１０】基本ダイジェスト作成用パラメータの構造例を示す図である。
【図１１】パターン別ポリシーデータの構造例を示す説明図である。
【図１２】編集１、編集３を行う場合に対応する映像／音声データの記録、及び編集のための処理を示すフローチャートである。
【図１３】状況パターンデータ生成処理を示すフローチャートである。
【図１４】再生ウィンドウの表示態様例を示す図である。
【図１５】映像／音声データを再生しているときに記録データファイルについての処理を示すフローチャートである。
【図１６】評価値算出処理を示すフローチャートである。
【図１７】編集１としてのビットレート変換のための処理を示すフローチャートである。
【図１８】学習処理を示すフローチャートである。
【図１９】編集２のビットレート変換処理におけるビットレートの変更タイミング例を示す説明図である。
【図２０】編集２のビットレート変換処理の実行時における、映像／音声データ記録のための信号処理手順を示す説明図である。
【図２１】編集２のビットレート変換のための処理を示すフローチャートである。
【図２２】編集２のビットレート変換処理におけるビットレート設定処理を示すフローチャートである。
【図２３】編集３としてのダイジェスト作成の編集動作例を模式的に示す説明図である。
【図２４】編集３としてのダイジェスト作成の編集動作例を模式的に示す説明図である。
【図２５】編集３としてのダイジェスト作成のための処理を示すフローチャートである。
【図２６】編集３として、イベント別ダイジェスト作成のための手順例を模式的に示す図である。
【図２７】イベント別ダイジェスト作成のための処理を示すフローチャートである。
【符号の説明】
【０３１１】
１  記録再生装置、１１  撮像部、１２，１５，１８  Ａ／Ｄコンバータ、１３  映像／音声信号処理部、１３ａ  バッファメモリ、１４  収音部、１６  撮像部コントローラ、１７  生体情報入力部、１７ａ−１〜１７ａ−ｎ  センサ部、１７ｂ−１〜１７ｂ−ｎ  増幅部、１８−１〜１８−ｎ  Ａ／Ｄコンバータ、１９  生体情報統合処理部、１９ａ  受信部、１９ｂ  生体信号処理部、１９ｃ  送信部、２０  感情解析処理部、２１  位置／方位処理部、２２  状況パターン処理部、２３  編集処理部、２４  記録部コントローラ、２５  記録部、２６  表示部コントローラ、２７  表示部、２８  ユーザインターフェイス部、２９  ネットワークインターフェイス部、３０  ワイアレスインターフェイス部、３１  ＣＰＵ、３２  ＲＡＭ、３３  時計部、３４  音声出力処理部、３５  スピーカ、３６  内部データバス、５０  ネットワーク、５１  パーソナルコンピュータ、５２  Ｗｅｂサーバ、５３位置／カテゴリサーバ、１００  管理情報、１１０  記録データファイル群、１１１  映像／音声データ、１１２  感情データ、１１３  位置／方位データ、１１４  記録時対応状況パターンデータ、１１５  再生頻度データ、１１６  外部データ、１２０  ポリシーデータ群、１２１  基本ポリシーデータ、１２２−１〜１２２−ｎ  パターン別ポリシーデータ
【図１】
2005117541.tif 000003
【図２】
2005117541.tif 000004
【図３】
2005117541.tif 000005
【図４】
2005117541.tif 000006
【図５】
2005117541.tif 000007
【図６】
2005117541.tif 000008
【図７】
2005117541.tif 000009
【図８】
2005117541.tif 000010
【図９】
2005117541.tif 000011
【図１０】
2005117541.tif 000012
【図１１】
2005117541.tif 000013
【図１２】
2005117541.tif 000014
【図１３】
2005117541.tif 000015
【図１４】
2005117541.tif 000016
【図１５】
2005117541.tif 000017
【図１６】
2005117541.tif 000018
【図１７】
2005117541.tif 000019
【図１８】
2005117541.tif 000020
【図１９】
2005117541.tif 000021
【図２０】
2005117541.tif 000022
【図２１】
2005117541.tif 000023
【図２２】
2005117541.tif 000024
【図２３】
2005117541.tif 000025
【図２４】
2005117541.tif 000026
【図２５】
2005117541.tif 000027
【図２６】
2005117541.tif 000028
【図２７】
2005117541.tif 000029
【手続補正書】
【提出日】平成15年10月20日(2003.10.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【特許文献１】特開２００２−２３２８２８号公報
【特許文献２】特開２００２−２３２８２３号公報
【特許文献３】特開２００２−２０４４１９号公報
【特許文献４】特開２００３−８７７８５号公報