(57)【特許請求の範囲】
【請求項１】
画像信号と前記画像信号に関連した音声信号とを入力する入力手段と、
前記画像信号と前記音声信号とを記録媒体に対して記録再生する記録再生手段と、
前記記録再生手段による前記画像信号と前記音声信号との再生中において前記入力手段により入力されている音声信号のレベルを検出し、前記記録媒体に記録されている画像信号と音声信号とのうち前記音声信号のレベルが所定値を超えている部分を選択して再生するよう前記画像信号と前記音声信号との再生動作を制御するためのプレイリストを生成すると共に、前記生成したプレイリストを前記記録媒体に記録するよう前記記録再生手段を制御する制御手段とを備えることを特徴とする記録再生装置。
【請求項２】
画像信号と前記画像信号に関連した音声信号とを入力する入力手段と、前記画像信号と前記音声信号とを記録媒体に対して記録再生する記録再生手段とを備える記録再生装置を用いた記録再生方法であって、
前記記録再生手段による前記画像信号と前記音声信号との再生中において前記入力手段により入力されている音声信号のレベルを検出し、前記記録媒体に記録されている画像信号と音声信号とのうち前記音声信号のレベルが所定値を超えている部分を選択して再生するよう前記画像信号と前記音声信号との再生動作を制御するためのプレイリストを生成すると共に、前記生成したプレイリストを前記記録媒体に記録するよう前記記録再生手段を制御することを特徴とする記録再生方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は記録再生装置および記録再生方法に関し、特に、再生中に得られた装置の状態に関する付加情報を用いた処理に関する。
【０００２】
【従来の技術】
従来、ビデオカメラ等の記録再生装置では、撮影して得られた画像情報及び当該画像情報に対応した音声情報（以下、これらの画像情報及び音声情報を「画像／音声情報」とも言う）と共に、付加情報を記録媒体に記録するように構成されている。
【０００３】
ここでの付加情報としては、撮影日時、露出、シャッタースピード、及び撮影モード等の撮影情報や、カメラ型名及びレンズ型名等の装置本体の情報、或いは装置環境設定等の装置設定情報等が挙げられる。
【０００４】
この付加情報の用途としては、例えば、記録再生装置での再生モードにおいて付加情報を表示器に表示することで、ユーザが撮影情報を確認できるようにすることや、付加情報を記録媒体に画像／音声情報と共に記録することで画像／音声情報に対応した撮影情報を保存すること等が挙げられる。
【０００５】
この様に撮影時における付加情報を画像情報と共に記録し、再生時にこの付加情報を用いて検索用画像を抽出する技術が開示されている（例えば特許文献１参照。）。
【０００６】
ところで、近年では、記録媒体に記録される画像／音声情報の情報量が、画質や画像サイズの増大等のために大きくなってきている。これにもまして半導体技術の進歩により、記録媒体の記録容量が急速に増大している。
【０００７】
例えば、カード型の記録媒体としては１２８メガバイトや２５６メガバイトの製品が出てきており、光磁気ディスクでは数ギガバイトの記録容量が安価で実現されており、ハードディスクでは数十ギガバイトの記録容量が安価で実現されている。このように記録媒体の記録容量が増大するに伴って、記録再生装置での記録処理時間についても日増しに増大している。
【０００８】
また、記録媒体としては、従来多く用いられていた磁気テープ等のテープ状記録媒体に代わり、半導体メモリを用いたカード型記録媒体や、ハードディスク、光磁気ディスク等のディスク媒体が多く用いられている。これらカード型、ディスク型の記録媒体は、従来のテープ状記録媒体と比較して、巻き戻しや送り動作の必要がなく、高速なデータアクセスが可能である。また、テープ状記録媒体では不可能であったランダムアクセスが可能であり、これにより近年のカード型、ディスク型の記録媒体におけるアクセススピードに関しては、記録と再生を同時に可能とするスピードまでに達してきている。
【０００９】
更に、カード型、ディスク型の記録媒体ではテープ状記録媒体に対して必要であったテープのローディング機構が必要ない。
従って、このようなカード型、ディスク型の記録媒体は装置への簡単な着脱機構が実現でき、ビデオカメラ等のリムーバブルメディアとしてもかなり普及が期待されている。
この様にプレイリストを用いたディスク再生装置に関する技術が開示されている（例えば特許文献２参照。）。
【００１０】
【特許文献１】
特開平７−９９６０５号公報
【特許文献２】
特開２００１−２１６７６８号公報
【００１１】
【発明が解決しようとする課題】
この様に、記録媒体の記録容量の増加すると、それに応じて記録可能な情報量も増加し、記録媒体に記録された全ての情報を再生することに膨大な時間を費やすことになってしまう。
【００１２】
また、例えば、ユーザが実際に真に鑑賞したい再生部分（撮影シーン）は、記録媒体に記録された全ての情報の中の一部であることが一般的である。このため、ユーザが所望の再生シーンを的確に検索できる手法、或いは最適な鑑賞プログラムの作成が必要となるが、従来ではこれが実現できていなかった。
【００１３】
本発明はこのような問題を解決することを目的とする。
本発明の他の目的は、ユーザが容易に且つ効率的に所望する情報を再生可能とする処にある。
具体的には例えば、記録再生装置において、記録媒体の再生動作中に、付加情報を当該記録媒体に記録するように構成することで、付加情報のさらなる有効活用、及び有意義で利便性の高い鑑賞プログラムの作成を実現する。
【００１４】
【課題を解決するための手段】
前述の如き課題を解決し、目的を達成するため、本発明の記録再生装置は、画像信号と前記画像信号に関連した音声信号とを入力する入力手段と、前記画像信号と前記音声信号とを記録媒体に対して記録再生する記録再生手段と、前記記録再生手段による前記画像信号と前記音声信号との再生中において前記入力手段により入力されている音声信号のレベルを検出し、前記記録媒体に記録されている画像信号と音声信号とのうち前記音声信号のレベルが所定値を超えている部分を選択して再生するよう前記画像信号と前記音声信号との再生動作を制御するためのプレイリストを生成すると共に、前記生成したプレイリストを前記記録媒体に記録するよう前記記録再生手段を制御する制御手段とを備えることを特徴とする。
【００１５】
また、本発明は、画像信号と前記画像信号に関連した音声信号とを入力する入力手段と、前記画像信号と前記音声信号とを記録媒体に対して記録再生する記録再生手段とを備える記録再生装置を用いた記録再生方法であって、前記記録再生手段による前記画像信号と前記音声信号との再生中において前記入力手段により入力されている音声信号のレベルを検出し、前記記録媒体に記録されている画像信号と音声信号とのうち前記音声信号のレベルが所定値を超えている部分を選択して再生するよう前記画像信号と前記音声信号との再生動作を制御するためのプレイリストを生成すると共に、前記生成したプレイリストを前記記録媒体に記録するよう前記記録再生手段を制御することを特徴とする。
【００４１】
【発明の実施の形態】
以下、本発明の実施形態について図面を用いて説明する。
［第１の実施の形態］
本発明は、例えば、図１に示すような撮像装置１００に適用される。
本実施の形態の撮像装置１００は、記録媒体２００への情報記録、及び記録媒体２００からの情報再生の機能を有し、特に、記録媒体２００から情報信号を再生中に撮像装置１００により得られる付加情報を記録媒体２００に記録するように構成されている。
以下、本実施形態の撮像装置１００の構成及び動作について具体的に説明する。
【００４２】
＜撮像装置１００の構成＞
撮像装置１００は、図１に示す様に、映像（被写体光）を取り込むレンズ１０１と、レンズ１０１を介した被写体光を電気信号に変換して出力するＣＣＤ等の固体センサ１０２と、固体センサ１０２の出力信号をデジタルデータ（画像データ）に変換するＡ／Ｄコンバータ１０３と、レンズ１０１を駆動するモータ１０４と、音声を取り込むマイク１０９と、マイク１０９からの音声信号を増幅して出力するマイクアンプ１１０と、マイクアンプ１１０の出力信号をデジタルデータ（音声データ）に変換するＡ／Ｄコンバータ１１１と、撮像装置１００を操作するための操作キー１１２と、画像データから表示用データを生成する表示ドライバ１１３と、表示ドライバ１１３で得られた表示用データを画面表示する表示器１１４と、音声出力のためのスピーカドライバ１１５と、スピーカドライバ１１５からの音声データを音声として出力するスピーカ１１６と、外部からの各種情報を本装置１００に対して入出力する外部入出力端子１１７と、撮像装置１００に対して着脱可能な記録媒体２００に対する記録及び再生動作を制御する記録再生制御回路１２３と、ＧＰＳ回路や温湿度回路等を含むセンサ１２４と、撮像装置１００の電源１２１と、本装置１００全体の動作制御を司るＣＰＵ１３０と、ＣＰＵ１３０での制御処理を実施するための処理プログラムや各種データ等を記憶するメモリ１２２とを備えている。
【００４３】
＜撮像装置１００の記録動作＞
電源１２１により撮像装置１００に対して電源が供給された状態において、先ず、レンズ１０１を介して入射した被写体光は、固体センサ１０２で電気信号に変換されて出力される。Ａ／Ｄコンバータ１０３は、固体センサ１０２の出力信号をサンプリングしてデジタル画像データに変換し、これをＣＰＵ１３０に供給する。
【００４４】
このとき、ＣＰＵ１３０はモータ１０４を駆動制御することでレンズ２０１を移動させ、オートフォーカス機能やズーム機能を実施する。また、ＣＰＵ１３０は固体センサ１０２からの信号出力のタイミング信号を生成する。これにより、固体センサ１０２からは、このタイミング信号に基づいて画像信号が出力される。
【００４５】
一方、固体センサ１０２により得られた動画像データに対応した音声は、マイク１０９により音声信号として入力され、マイクアンプ１１０で増幅されて出力される。Ａ／Ｄコンバータ１１１はマイクアンプ１１０の出力信号をサンプリングしてデジタル音声データに変換し、これをＣＰＵ１３０に供給する。
【００４６】
ＣＰＵ１３０はＡ／Ｄコンバータ１０３からのデジタル画像データに対して、色分離、白バランス、ガンマ補正、及びアパーチャ補正等の基本処理と、操作キー１１２によりユーザから設定された画像サイズ、画質調整、及び位置調整等に基づいた付加処理とを施し、さらに、予め設定された符号化方法に基づいた符号化処理を施して情報量を圧縮し、圧縮画像データを取得する。
【００４７】
また、ＣＰＵ１３０はＡ／Ｄコンバータ１１１からの音声データに対して、操作キー１１２によりユーザから設定された音質調整等に基づいた付加処理を施すと共に、予め設定された符号化方法に基づいた符号化処理を施して情報量を圧縮し、圧縮圧縮データを取得する。
【００４８】
そして、ＣＰＵ１３０は、圧縮画像データ及び圧縮音声データを制御データ（撮像装置１００自体の情報、画像や音声等の記録設定情報、及び撮影環境情報等の撮影付加情報等を含むデータ）と共に記録データとして記録再生制御回路１２３へと供給すると共に、必要に応じて外部入出力端子１１７から外部出力し、更に、表示ドライバ１１３へ供給する。
【００４９】
表示ドライバ１１３はＣＰＵ１３０からの記録データを確認用の表示画像データとして表示器１１４へ供給する。表示器１１４は、表示ドライバ１１３からの画像データに応じた画像を表示する。これによりユーザは、現在記録中の画像を確認することができる。
【００５０】
一方、記録再生制御回路１２３は、ＣＰＵ１３０から出力された圧縮画像データと圧縮音声データ及び、関連する制御データを、ファイルシステムの管理の元にファイルとして記録媒体２００に記録する。ここでのファイルシステムとは、ファイルの管理を行うための管理情報及びファイルデータを含む構造体系を意味する。この様なファイルシステムを共通化することで、異なった記憶媒体に対しても、或いは異なった記録再生装置においても記録したデータの再生が可能となる。
【００５１】
また、本形態では、互いに対応する動画像データ、音声データ及び制御データを一つのファイルとして記録する。また、本形態では、操作キー１１２による記録開始の指示から記録停止の指示までの間に得られた動画像データと音声データ及びそれに関連する制御データを一つのファイルとして記録する。
【００５２】
記録媒体２００としては、例えば撮像装置１００に対して着脱可能なリムーバブルメディアを用いており、例えば、ＭＭＣ（マルチメディアカード）、ＳＳＦＤＣ（小型メモリカード）、コンパクトフラッシュ（Ｒ）、及びＰＣカード（パーソナルコンピュータ用カード）等のメモリカード、或いはＦＤ（フレキシブルディスク）、ＭＤ（ミニディスク）、及びＤＶＤ−ＲＡＭ（書き換え可能大容量光ディスク）等のディスクメディアなどのランダムアクセスメディアを用いる。
【００５３】
本形態では、これらの記録媒体のうち光磁気ディスクを用いる。図２は、この場合の記録媒体２００の外観を示したものである。
【００５４】
記録媒体２００は、図２に示すように、ディスク回転時にチャッキングするための穴（Ａ）、ディスク内に記録されるデータ管理を行うためのデータを記録する管理領域（Ｂ）、及び実際の記録データ（Ｄ，Ｅ）が記録されるデータ領域（Ｃ）を有する。
【００５５】
管理領域（Ｂ）について、具体的には、ファイルシステム、ディスクＩＤ、ファイル（記録シーン）の属性、ファイルデータが実際に記録されている位置（セクタ或いはトラック）等の情報が記録される。また、管理領域（Ｂ）内には、上述した撮影付加情報やプレイリスト等の情報を記録することも可能である。
【００５６】
＜撮像装置１００の再生動作＞
撮像装置１００の再生動作は、撮像装置１００の最も特徴とする動作であり、ここでは例えば、記録媒体２００に記録されているデータ（ファイル群）の中で、ユーザが操作キー１１２の操作により選択したファイルデータ（指定ファイルデータ）を再生する場合の動作について説明する。
先ず、記録再生制御回路１２３は、ＣＰＵ１３０からの制御に基づいて、記録媒体２００から指定ファイルデータを再生し、これをＣＰＵ１３０に供給する。ＣＰＵ１３０は、記録再生制御回路１２３からの指定ファイルデータの内容を解析して各種のデータに分離することで、画像データ、音声データ、及び制御データ等を取得する。
【００５７】
ＣＰＵ１３０は、指定ファイルデータから取得した画像データに対して、当該画像データが圧縮画像データである場合には伸張処理を施して表示ドライバ１１３に供給する。また、この画像データが圧縮画像データでない場合にはそのまま表示ドライバ１１３に供給する。表示ドライバ１１３は、ＣＰＵ１３０からのデータを表示用画像データとして表示器１１４へ供給する。表示器１１４は、表示ドライバ１１３からの画像データを画面表示する。これによりユーザは、現在の再生されている画像を表示画面上で確認することができる。
【００５８】
また、ＣＰＵ１３０は、指定ファイルデータから取得した音声データに対し、この音声データが圧縮音声データである場合には伸張処理を施してスピーカドライバ１１５に供給する。また、この音声データが圧縮音声データでない場合にはそのままスピーカドライバ１１５に供給する。スピーカドライバ１１５は、ＣＰＵ１３０からのデータをスピーカ１１６から音声として出力する。
【００５９】
また、ＣＰＵ１３０は、指定ファイルデータから取得した制御データに基づき、必要に応じて、画像データ及び音声データに対するエフェクトやレタッチ等の加工処理を行い、この結果を表示ドライバ１１３を介して表示器１１４に表示し、また、スピーカドライバ１１５を介してスピーカ１１６より出力する。更に、ＣＰＵ１３０は、必要に応じて、指定ファイルデータから取得した画像データ、音声データ、及び制御データを、外部入力端子１１７を介して装置外部に出力する。
【００６０】
また、この様な記録媒体２００からの情報再生動作と平行して、ＣＰＵ１３０は、撮像装置１００で得られる付加情報を記録媒体２００に記録するための制御処理を実行する。この構成が、本形態の最も特徴とする構成である。
【００６１】
具体的には、まず、再生中に撮像装置１００で得られる付加情報（撮像装置１００自体が生成する情報）としては、例えば、次のような情報が挙げられる。
・レンズ１０１に関する情報（レンズ情報）
・レンズ情報をＣＰＵ１３０で分析及び解析した結果得られる画像情報（撮影画像の種類、被写体の種類、被写体の状況、及び被写体の状態等の情報）
・マイク１０９に関する情報（マイク情報）
・マイク情報をＣＰＵ１３０で分析及び解析した結果得られる音声情報（音声の種類や音声のレベル等の情報）
・撮像装置１００のタイマー（不図示）から得られる再生時刻情報
・センサ１２４に含まれるＧＰＳ回路から得られる撮像装置１００の位置情報・センサ１２４に含まれる温湿度回路から得られる撮像装置１００の周囲環境情報
・撮像装置１００の名称や機能等の装置情報
・撮像装置１００の設定情報
・撮像装置１００の動作モードや状態（再生終了位置や再生動作履歴等）に関する情報
・撮像装置１００に対する外部接続の状況に関する情報
【００６２】
このような付加情報には、ユーザ（操作者或いは視聴者）が撮像装置１００に入力する情報が含まれるが、この情報入力については、例えば、図３に示すような操作キー１１２により行なわれる。
【００６３】
操作キー１１２は、図３に示すように、「分類」、「視聴者」、「評価」、及び「ユーザ設定」の各項目毎に設けられた操作スイッチ１１２ｘ（図中“○”で示すボタン）からなる。「分類」項目には、「ジャンル１」、「ジャンル２」、及び「ジャンル３」の３階層の選択ボタンが設けられている。「評価」項目には、「最高」、「普通」、及び「最低」の３階層の選択ボタンが設けられている。「視聴者」項目には、「父」、「子供Ａ」、及び「父子＋子供Ａ」の３階層の選択ボタンが設けられている。「ユーザ設定」項目には、「設定１」、「設定２」、及び「設定３」の３階層の選択ボタンが設けられている。
【００６４】
「ユーザ設定」項目では、操作キー１１２で設定可能な項目及び階層内容について、ユーザが任意に設定可能となっている。これにより、ユーザは、「分類」、「評価」、及び「視聴者」の各項目及び階層内容を全て或いは一部を、所望するものに設定することができる。このときの設定内容としては、視聴者数や視聴場所等の設定が挙げられる。
【００６５】
また、操作キー１１２には、図３に示すように、「テキストボックス」の入力項目が設けられている。図３では、「テキストボックス」の入力項目に“太郎の日記”と入力された状態を一例として示している。
【００６６】
ＣＰＵ１３０は、これら撮像装置１００で得られる付加情報、或いはユーザから入力された付加情報を処理し、記録再生制御回路１２３を介して記録媒体２００に記録する。
【００６７】
また、ＣＰＵ１３０は、例えば、記録媒体２００から再生されている画像のフィールドやフレーム毎に、或いは、付加情報の内容が変更したタイミングで付加情報を生成し、記録再生制御回路１２３により記録する。また、この際、付加情報は、例えば、現在再生中のファイルにおける所定の内部領域（前述の管理領域又はデータ領域）や、現在再生中のファイルに関する管理領域の一部に設けた新たなデータ領域に対して記録する。
【００６８】
また、ＣＰＵ１３０は、付加情報の記録媒体２００への記録に伴い、この付加情報の内容に応じたプレイリストを自動的に生成し、記録する。
【００６９】
ここで、プレイリストとは、記録媒体２００に記録された画像情報及び付加情報等の再生手順や、再生動作、或いは再生環境等を規定するためのリスト（ファイル）のことである。また、その内容を表示器１１４で再生画像と共に表示することが可能である。
【００７０】
本形態では、プレイリストを、同期マルチメディア統合言語 (the Synchronized Multimedia Integration Language)（以下、「ＳＭＩＬ」と言う）で表現する。
「ＳＭＩＬ」では、次の（１）〜（３）が可能である。
（１）表現の時間的な挙動を記述する。
（２）表現のスクリーン上のレイアウトを記述する。
（３）ハイパーリンクをマルチメディアオブジェクトと結び付ける。
【００７１】
図４は、付加情報に従って自動生成したプレイリストの一例を示したものである。図４に示すように、プレイリストでは、ファイルのタイトル（“ｓａｍｐｌｅ”）、作者名（“ｔａｒｏ”）、及び日時（“２０００＿０９０１”）等の固有情報と共に、指定した動画ファイル（“ｔａｋｅ２０００＿０９０１．ｍｐｇ”等）を単純に再生するための記述がなされている。
【００７２】
再生動作が以前に生成されたプレイリストに基づいて実行されている場合、ＣＰＵ１３０はこの以前に生成されたプレイリストに対して追加及び編集の処理を施す。
【００７３】
図５及び図６は、撮像装置１００による前述の再生を説明するフローチャートである。
【００７４】
まず、図５は、再生中に所定の周期、例えば再生画像の１フレーム毎に付加情報を生成して記録媒体２００に記録する場合のＣＰＵ１３０による処理を示すフローチャートである。
【００７５】
まず、ステップＳ５０１において、像装置１００に対してユーザから再生動作が指示されると、再生動作のための初期設定設を行い、再生動作を開始する。次に、撮像装置１００内で得られる各種の付加情報を取得し（ステップＳ５０２）、更にユーザから操作キー１１２により入力された付加情報を取得し（ステップＳ５０３）、これらの付加情報を、記録再生制御回路１２３を介して記録媒体２００に記録する（ステップＳ５０４）。
【００７６】
次に、この付加情報に基づいてプレイリストを生成、或いは、プレイリストの内容を変更する（ステップＳ５０５）。そして、記録媒体２００の再生処理が終了したか否かを判別し、この判別の結果、再生終了していない場合には再びステップＳ５０２からの処理を繰り返し実行し、再生終了した場合に処理を終了する（ステップＳ５０６）。
【００７７】
次に、図６の処理を説明する。図６は、取得した付加情報の内容が変化した場合にのみ、記録媒体２００に対して付加情報を記録し、プレイリストを生成又は変更する場合のＣＰＵ１３０の処理を示すフローチャートである。このように構成することで、図５のように周期的に付加情報を記録する場合に比べ、ＣＰＵの負荷を軽減することができる。
【００７８】
まず、撮像装置１００に対してユーザから再生動作が指示されると、再生動作のための初期設定設を行い、再生動作を開始する（ステップＳ６０１）。
【００７９】
次に、撮像装置１００内で得られる付加情報を取得し（ステップＳ６０２）、更にユーザから操作キー１１２より入力された付加情報を取得する（ステップＳ６０３）。そして、ステップＳ３１２で取得した付加情報（撮像装置１００内で得られる付加情報）の内容が変化しているか否かを判別し（ステップＳ６０４）、この判別の結果、付加情報の内容が変化している場合にはステップＳ６０６へ進み、変化していない場合にはステップＳ６０５に進む。
【００８０】
ステップＳ６０４の判別の結果、撮像装置１００内で得られる付加情報の内容が変化していない場合、ＣＰＵ１３０は、ステップＳ６０３で取得した付加情報（ユーザから入力された付加情報）の内容が変化したか否かを判別し、この判別の結果、変化している場合にはステップＳ６０６へ進み、変化していない場合にはステップＳ６０８に進む。
【００８１】
ステップＳ６０４及びステップＳ３６０の判別の結果により、撮像装置１００内で得られる付加情報、又はユーザから入力された付加情報の内容が変化している場合、撮像装置１００内で得られる付加情報、及びユーザから入力された付加情報を、記録再生制御回路１２３を介して記録媒体２００に記録する。そして、この付加情報に基づいてプレイリストを生成、或いは、変更する（ステップＳ６０７）。
【００８２】
そして、指定されたファイルの再生処理が終了したか否かを判別し（ステップＳ６０８）、この判別の結果、再生終了していない場合には再びステップＳ６０２からの処理を繰り返し実行し、再生終了した場合に処理を終了する。
この様に、本形態では、記録媒体２００からの情報信号の再生中に、撮像装置１００で得られる付加情報（操作キー１１２により入力される付加情報を含む）を記録媒体２００に記録するように構成したので、次の再生動作時に、前回記録された付加情報に基づいた再生動作を行える。
【００８３】
例えば、後述の様に、前回の再生動作時に記録された付加情報に含まれる再生終了位置情報を用いることで、今回の再生を前回の再生終了位置から開始することができる。或いは、前回の再生動作時に記録された付加情報に含まれる再生動作履歴情報を用いることで、再生動作を制限（変速再生の制限等）しながらの再生を行える。
【００８４】
従って、本形態によれば、特に、民生用ビデオカメラ等では従来実現できなかった構成である、再生動作中に撮像装置１００で得られる付加情報を記録媒体２００に記録する構成、及び付加情報をプレイリストとして記録する構成により、高付加価値のある機能を提供できる。
【００８５】
［第２の実施の形態］
本形態では、前述の様に再生中に付加情報を記録する場合に、ユーザが各種の付加情報のうち、次回の再生動作の制御のために用いる項目（評価項目）、或いは、次回の再生動作の制御方法（編集方法）を予め設定し、再生中に得られた付加情報と設定された評価項目、編集方法に従いプレイリストを生成する。図７はこの様な本形態におけるＣＰＵ１３０による再生処理を示すフローチャートである。
【００８６】
まず、撮像装置１００に対してユーザから再生動作が指示されると、再生動作のための初期設定と、ユーザの指示による評価項目及び編集方法の設定を行う（ステップＳ７０１）。この際、ユーザは、操作キー１１２を操作することで、再生の前に評価項目と編集方法を設定可能である。ここでの編集時の評価項目とは、具体的には、以下の様に、撮像装置１００自体が生成する情報である、
・レンズ１０１に関する情報（レンズ情報）
・レンズ情報をＣＰＵ１３０で分析及び解析した結果得られる画像情報（撮影画像の種類、被写体の種類、被写体の状況、及び被写体の状態等の情報）
・マイク１０９に関する情報（マイク情報）
・マイク情報をＣＰＵ１３０で分析及び解析した結果得られる音声情報（音声の種類や音声のレベル等の情報）
・撮像装置１００のタイマーから得られる再生時刻情報
・センサ１２４に含まれるＧＰＳ回路から得られる撮像装置１００の位置情報・センサ１２４に含まれる温湿度回路から得られる撮像装置１００の周囲環境情報
・撮像装置１００の名称や機能等の装置情報
・撮像装置１００の設定情報
・撮像装置１００の動作モードや状態（再生終了位置や再生動作履歴等）に関する情報
・撮像装置１００に対する外部接続の状況に関する情報
【００８７】
また、ユーザ（操作者又は視聴者）が、操作キー１１２により任意に入力した付加情報の項目が、編集時の評価項目に相当する。
また、ここでの編集方法とは、再生すべきシーンを選択する際に、ユーザが設定した評価項目をどのように用るのかということを示す具体的な方法であり、例えば、評価項目が出現した場合に該当するシーンを選択する方法や、評価項目が所定値以上出現した場合に該当するシーンを選択する方法、或いは複数の評価項目に対して重み付けして論理演算処理した結果に基づいて該当するシーンを削除或いは選択することを決定する方法等が挙げられる。
【００８８】
次に、再生動作を開始し（ステップＳ７０２）、撮像装置１００内で得られる付加情報を取得し（ステップＳ７０３）、更にユーザから操作キー１１２により入力された付加情報を取得する（ステップＳ７０４）。
【００８９】
次に、ステップＳ７０３で取得した付加情報の内容が変化したか否かを判別し（ステップＳ７０５）、この判別の結果、付加情報の内容が変化した場合にはステップＳ７０７へ進み、変化していない場合にはステップＳ７０６に進む。
【００９０】
ステップＳ７０５の判別の結果、撮像装置１００内で得られる付加情報が変化していない場合、ステップＳ７０４で取得した付加情報の内容が変化しているか否かを判別し（ステップＳ７０６）、この判別の結果、変化している場合にはステップＳ７０７へ進み、変化していない場合にはステップＳ７０９に進む。
【００９１】
ステップＳ７０５及びステップＳ７０６の判別の結果により、撮像装置１００内で得られる付加情報又はユーザから入力された付加情報が変化している場合、撮像装置１００内で得られる付加情報及びユーザから入力された付加情報を、記録再生制御回路１２３を介して記録媒体２００に記録する。
【００９２】
そして、この付加情報の内容に基づいてプレイリストを生成、或いは、プレイリストの内容を変更する。
【００９３】
次に、ＣＰＵ１３０は、ステップＳ７０１で設定した評価項目及び編集方法に基づいて、編集リストを生成する（ステップＳ７０９）。ここでの編集リストは、例えば、プレイリストとして生成することや、特殊なリストファイルとして記録媒体２００或いは撮像装置１００内のメモリに生成することが可能である。本形態では、新たなプレイリストとして生成し、記録媒体２００に記録する。
【００９４】
そして、記録媒体２００の再生処理が終了したか否かを判別し（ステップＳ７１０）、この判別の結果、再生終了していない場合には再びステップＳ７０３からの処理を繰り返し実行し、再生終了した場合に処理を終了する。
【００９５】
ここで、ステップＳ７０９の処理を更に具体的に説明する。
例えば、編集時の評価項目として“周囲音声に関する情報”を用い、編集方法として、周囲音声情報が所定の閾値を超えた場合に該当するシーンを選択するような設定を行った場合、ＣＰＵ１３０は、撮像装置１００の再生動作時にマイク１０９から入力された音声信号のレベルを判定し、これが予め設定された閾値を超えた場合に、このときのシーンを選択して再生するよう再生時の動作を制御するためのプレイリストを生成する。
【００９６】
こうすることで、次回、プレイリストに従って再生した場合には、再生中に大きな歓声が上がったシーンを選択して再生することができる。
【００９７】
また、例えば、編集時の評価項目として“特定人物に関する情報”を用い、編集方法としてこの特定人物が視聴している場合に該当するシーンを選択するような設定を行った場合、ＣＰＵ１３０は、撮像装置１００の再生動作時にレンズ１０１及び固体センサ１０２により得られた画像を分析及び解析することで、特定人物の視聴を抽出したシーンを選択して再生するよう再生時の動作を制御するためのプレイリストを生成する。なお、この場合には、再生を開始する前に、レンズ１０１を、再生画像を視聴している人物の方に向けておく必要がある。
【００９８】
また、例えば、編集時の評価項目として、“特定のユーザによる再生操作”を用い、編集方法としてこの特定ユーザの再生操作で再生したシーンを選択するような設定を行った場合、ＣＰＵ１３０は、撮像装置１００の再生動作時に操作キー付加情報に基づいてこの特定ユーザの再生操作によるシーンを選択して再生するよう再生時の動作を制御するためのプレイリストを生成する。
【００９９】
また、更に他の具体的な処理について、図８のフローチャートを用いて説明する。図８は、評価項目として周囲音声レベルを設定し、編集方法として、再生時に静止画像を多重する方法を設定した場合の、ステップＳ７０９の具体的な処理を示すフローチャートである。
【０１００】
まず、ＣＰＵ１３０は、マイク１０９から入力された音声データを入力し（ステップＳ８０１）、この音声データのレベルを判別する（ステップＳ８０２）。そして、音声データのレベルが所定レベル以上であった場合（ステップＳ８０３）、レンズ１０１、固体センサ１０２により撮像されて、Ａ／Ｄ１０３から出力されている動画像データ中の１フレームを静止画像データとして抽出し、メモリ１２２に記憶する（ステップＳ８０４）。
【０１０１】
次に、このメモリに記憶した１フレームの静止画像データを記録再生制御回路１２３により記録媒体２００の所定の領域に記録する（ステップＳ８０５）。本形態では、再生中のファイル内のヘッダあるいはフッタなどの所定領域、或いは、再生中のファイルに関する管理情報中の所定領域に静止画像データを記録する。この際、この静止画像データが、再生中に得られた静止画像であることを示す情報及び一つのファイルの再生中に同様に複数の静止画像を抽出、記録した場合にこれらを識別するためのＩＤなどを付加して記録する。
【０１０２】
次に、現在再生中のファイルにおいて、ステップＳ８０４が抽出されたタイミングにおいてこの抽出された静止画像を後述の如く多重して表示する要再生手順を制御するためのプレイリストを生成し、記録媒体２００に記録する（ステップＳ８０６）。このとき生成するプレイリストには、抽出された静止画像を多重すべきタイミングと多重すべき静止画像データのＩＤとを記載する。
【０１０３】
次に、この様に音声レベルに応じて抽出された静止画像を再生データの多重して表示する処理について、図９のフローチャートを用いて説明する。
まず、再生開始する前に、ユーザにより合成再生モード（ピクチャインピクチャモード）が設定されたか否かを判別する（ステップＳ９０１）。設定されなかった場合には、図５〜図７に記載の如く通常の再生処理を行う（ステップＳ９０８）。
【０１０４】
また、設定されていた場合、指定されたファイルの画像、音声データ及び、この指定されたファイルに対応したプレイリストファイルを記録媒体２００から再生し（ステップＳ９０２）、画像、音声データの再生を開始する（ステップＳ９０３）。そして、プレイリストの内容に基づき、指定された合成タイミングになったか否かを判別する（ステップＳ９０４）。合成タイミングであった場合、対応する静止画像データを記録媒体２００から再生し（ステップＳ９０５）、この静止画像を子画面として現在再生中の動画像と所定期間、例えば５秒間合成する（ステップＳ９０６）。また、ステップＳ９０４において合成タイミングでない場合にはそのまま再生を続け、再生終了か否かを判別し（ステップＳ９０７）、終了でない場合にはステップＳ９０２に戻る。
【０１０５】
この様に、再生中にマイク１０９より得られた入力音声レベルが所定の閾値以上である場合に静止画像を撮影し、これを再生時に合成して表示することで、再生中に大きな歓声が上がったシーンなどを視聴しているユーザの様子を静止画像として記録することができ、更に、再生時にこの静止画像を合成して表示するという新規な機能を実現することができる。
【０１０６】
この様に、本形態によれば、ユーザが所望するシーンを的確に検索した結果を編集リストとして提供することができる。
そして、再生時にこの編集リストに基づく再生モードを選択することで、容易にユーザの所望するシーンを再生でき、また、各種の編集結果を容易に得ることが可能となる。
【０１０７】
［第３の実施の形態］
本形態では、図１に示した撮像装置１００は図１０のフローチャートに従って再生処理を行う。
まず、本形態では、例えば、図６に示した処理実行により付加情報が記録された記録媒体２００を再生する場合であって、そのステップＳ６０２において、撮像装置１００内で得られる付加情報として再生位置情報が随時取得されている。
【０１０８】
撮像装置１００に対してユーザから再生動作が指示されると、ＣＰＵ１３０は、再生動作のための初期設定設を行い、再生動作を開始する（ステップＳ１００１）。次に、記録媒体２００に記録された管理情報、或いはプレイリストを解析することで（ステップＳ１００２）、前回の再生終了位置情報を抽出する（ステップＳ１００３）。
【０１０９】
そして、ステップＳ１００３で取得した前回の再生終了位置を今回の再生開始位置として設定し（ステップＳ１００４）、この再生開始位置からの再生を記録再生制御回路１２３に対して指示する（ステップＳ１００５）。これにより、前回の再生終了位置から再生を行うことができる。
【０１１０】
尚、本形態において、例えば、以前の撮像装置１００の動作モードが、撮影１→再生１→撮影２→再生２→早戻しである場合、再生２の終了位置から今回の再生が開始されることになるが、これに限られることはなく、再生１の終了位置から今回の再生を開始する、或いは任意の動作モードの終了位置から今回の再生を開始するように構成してもよい。
【０１１１】
また、例えば、付加情報から得られる前回の動作状態に基づいて、今回の動作モードを選択指定する、或いは再生開始位置を選択指定するように構成してもよい。
【０１１２】
［第４の実施の形態］
本形態では、図１に示した撮像装置１００は図１１のフローチャートに従う再生処理を行う。
まず、撮像装置１００に対してユーザから再生動作が指示されると、ＣＰＵ１３０は、再生動作のための初期設定設を行い、再生動作を開始する（ステップＳ１１０１）。次に、記録媒体２００に記録された管理情報或いはプレイリストを解析し（ステップＳ１１０２）、後述する方法により再生モードを決定及び設定する（ステップＳ１１０３）。
【０１１３】
ここで、ユーザが指定した再生モードとステップＳ１１０３で決定した再生モードとが異なる場合、その旨をユーザに通知（警告通知）すると共に、実際の再生モード（ステップＳ１１０３で決定した再生モード）をユーザに通知する。このときの通知方法としては、例えば、表示器１１４でのメッセージ表示が挙げられる。
【０１１４】
次に、撮像装置１００内で得られる付加情報を取得し（ステップＳ１１０５）、更にユーザから操作キー１１２により入力された付加情報を取得する（ステップＳ１１０６）。そして、ステップＳ１１０５で取得した付加情報の内容が変化しているか否かを判別し、この判別の結果、変化している場合にはステップＳ１１０９へ進み、変化していない場合にはステップＳ１１０８に進む。
【０１１５】
ステップＳ１１０７の判別の結果、撮像装置１００内で得られる付加情報の内容が変化していない場合、ＣＰＵ１３０は、ステップＳ１１０６で取得した付加情報の内容が変化しているか否かを判別し、この判別の結果、変化している場合にはステップＳ１１０９へ進み、変化していない場合にはステップＳ１１１１に進む。
【０１１６】
ステップＳ１１０７及びステップＳ１１０８の判別の結果により、撮像装置１００内で得られる付加情報、又はユーザから入力された付加情報の内容が変化している場合、撮像装置１００内で得られる付加情報及びユーザから入力された付加情報を、記録再生制御回路１２３を介して記録媒体２００に記録する。そして、この付加情報に基づいてプレイリストを生成、或いは、更新する。
【０１１７】
次に、ＣＰＵ１３０は、記録媒体２００の再生処理が終了したか否かを判別し、この判別の結果、再生終了していない場合には再びステップＳ１１０２からの処理を繰り返し実行し、再生終了した場合に処理を終了する。
【０１１８】
ここで、ステップＳ１１０３の処理を具体的に説明する。図１２及び図１３は本形態における再生モードの決定方法の一例を示したものである。
まず、図１２（Ａ）は付加情報から得られる前回の再生履歴情報である。ここでは、前回の再生動作では、シーンＡがｘ１再生（標準再生）、シーンＢがｘ１５（早送り再生）、シーンＣが未再生（早送り／巻き戻し等）、シーンＤがｘ１（標準再生）で順次再生されている。
【０１１９】
図１２（Ｂ）は、図１２（Ａ）で示す再生履歴情報により、今回決定及び設定する再生モードを示したものである。従って、この場合、ＣＰＵ１３０は、前回の再生動作で標準再生であったシーンＡ、Ｃ、及びＥ（ユーザが前回の再生時に興味をもって視聴したシーン等）を連続再生するよう再生モードを決定及び設定する。
【０１２０】
図１２（Ｃ）は、図１２（Ｂ）で示される今回の再生モードが、ユーザから指定された再生モードと異なる場合にユーザに通知する内容の一例を示したものである。即ち、各シーンの変化点、或いは該当時間の間に、ＣＰＵ１３０は、図１２（Ｃ）に示すようにユーザに対して警告通知する。ここでは、シーンＡからシーンへの変わり目に「サーチシーンをスキップしました」というメッセージにより警告通知し、シーンＣからシーンＥへの変わり目に「未再生をスキップしました」 というメッセージにより警告通知する。
【０１２１】
一方、図１３に示す再生モードの決定方法についても同様に、図１３（Ａ）は付加情報から得られる前回の再生履歴情報であり、図１３（Ｂ）は図１３（Ａ）で示す再生履歴情報により、今回決定及び設定する再生モードを示したものである。ここでは、ＣＰＵ１３０は、前回標準再生されなかったシーンＢ及びＤ（ユーザが前回の再生時に注目しなかったシーン等）を抽出して自動再生する再生モードを決定及び設定する。
【０１２２】
図１３（Ｃ）は図１３（Ｂ）で示される今回の再生モードが、ユーザから指定された再生モードと異なる場合にユーザに通知する内容の一例を示したものであり、ここではＣＰＵ１３０は、シーンＢの再生開始時及びシーンＤの再生開始時に「標準再生をスキップしました」というメッセージにより警告通知する。
【０１２３】
このような構成により、再生モードを適切に自動決定できるため、以前視聴した標準再生部、或いは標準再生されなかった部分を自動的に再生することができる。また、ユーザ（視聴者）が、前回興味をもって視聴したシーン（場面）、或いは前回注目しなかったシーンを自動再生できるため、視聴効果及び視聴時間の効率が向上する。即ち、記録媒体２００に前回の再生動作時に記録された付加情報を有効活用できるため、今回以降の再生動作において、便利な操作性及び新機能を提供できる。
【０１２４】
尚、図１２及び図１３に示した再生モードの決定方法はこの方法に限られることはなく、例えば、ユーザが操作キー１１２を操作することにより任意の条件或いは複数の条件の組み合わせにより選択して決定可能なように構成してもよい。
【０１２５】
また、本発明の目的は、第１〜第４の実施形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても達成される。
【０１２６】
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第４の実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
【０１２７】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【０１２８】
また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第４の実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第４の実施形態の機能が実現される場合も含まれる。
【０１２９】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第４の実施形態の機能が実現される場合も含まれる。
【０１３０】
【発明の効果】
以上説明したように、本発明では、画像信号と音声信号との再生中において入力される音声信号のレベルを検出し、この音声信号のレベルが閾値を越えた部分の画像信号と音声信号とを選択して再生するためのプレイリストを生成することで、再生中に例えば視聴者等の大きな歓声があった部分を次回の再生時に選択して再生することができ、記録媒体に記録されているシーンのうち、注目シーンを容易に再生することができる。
【図面の簡単な説明】
【図１】本発明を適用した撮像装置の構成を示すブロック図である。
【図２】撮像装置で用いる記録媒体を説明するための図である。
【図３】撮像装置の操作キーを示す図である。
【図４】プレイリストの様子を示す図である。
【図５】撮像装置の再生動作を示すフローチャートである。
【図６】撮像装置の再生動作を示すフローチャートである。
【図７】第２の実施形態における撮像装置の再生動作を示すフローチャートである。
【図８】編集処理の具体的な動作を示すフローチャートである。
【図９】編集リストによる再生動作を示すフローチャートである。
【図１０】第３の実施形態における撮像装置の再生動作を示すフローチャートである。
【図１１】第４の実施形態における撮像装置の再生動作を示すフローチャートである。
【図１２】再生モードの決定方法を説明するための図である。
【図１３】再生モードの決定方法を説明するための図である。
【符号の説明】
１００  撮像装置
１０１  レンズ
１０２  固体センサ
１０３  Ａ／Ｄコンバータ
１０４  モータ
１０９  マイク
１１０  マイクアンプ
１１１  Ａ／Ｄコンバータ
１１２  操作キー
１１３  表示ドライバ
１１４  表示器
１１５  スピーカドライバ
１１６  スピーカ
１１７  外部入出力端子
１２１  電源
１２２  メモリ
１２３  記録再生制御回路
１２４  センサー
１３０  ＣＰＵ
２００  記録媒体
【図１】
0003780252.tif 000002
【図２】
0003780252.tif 000003
【図３】
0003780252.tif 000004
【図４】
0003780252.tif 000005
【図５】
0003780252.tif 000006
【図６】
0003780252.tif 000007
【図７】
0003780252.tif 000008
【図８】
0003780252.tif 000009
【図９】
0003780252.tif 000010
【図１０】
0003780252.tif 000011
【図１１】
0003780252.tif 000012
【図１２】
0003780252.tif 000013
【図１３】
0003780252.tif 000014