(57)【要約】【課題】フレームレートを変えて生成されたコンテンツ部分を、容易に可変速再生可能とする。【解決手段】画像および／または音声を示す主データに、フレームレート情報と基準フレーム期間内に含まれるフレームのフレーム識別情報とを含む付属情報を連結して構成された伝送データＤＴzを生成して伝送装置５０から出力する。この伝送データＤＴzを用いて主データの再生をコンテンツ再生装置７０で行う場合、フレームレート情報に基づき再生速度可変範囲を設定する。再生速度可変範囲内で指示された再生速度に応じて、画像や音声のデータに対する間引きや繰り返しを、フレーム識別情報を利用して行い、主データの再生速度を容易に可変して、映像信号Ｓvzや音声信号Ｓazを生成する。この映像信号Ｓvzや音声信号Ｓazをコンテンツ提示装置８０に供給することで、所望の再生速度でのコンテンツ提示を行う。【選択図】        図１
2004180290.tif 000002
【特許請求の範囲】
【請求項１】
画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結することで、伝送データを生成する伝送データ生成手段と、
伝送路を介して前記伝送データの出力処理を行う伝送処理手段とを有する
ことを特徴とする伝送装置。
【請求項２】
前記伝送データ生成手段は、前記主データを一時的に蓄積する蓄積手段と、前記蓄積手段に蓄積されている主データの読み出し処理を制御する読出処理制御手段とを有し、
前記伝送処理手段は、前記伝送路の帯域を前記伝送データ生成手段に通知し、
前記読出処理制御手段は、前記通知された帯域に応じて前記主データの読み出しを制御することで、前記主データのフレームレートを調整する
ことを特徴とする請求項１記載の伝送装置。
【請求項３】
前記読出処理手段でのフレームレートの調整に応じて、前記付属情報に含まれているフレームレート情報を修正する情報修正手段をさらに有する
ことを特徴とする請求項２記載の伝送装置。
【請求項４】
前記付属情報は、前記主データの推奨再生速度を示す情報を含む
ことを特徴とする請求項１記載の伝送装置。
【請求項５】
前記付属情報は、前記主データの再生可能な最高速度を示す情報を含む
ことを特徴とする請求項１記載の伝送装置。
【請求項６】
前記伝送データ生成手段は、前記付属情報として、少なくとも、前記フレームレート情報と、基準フレーム期間内に含まれる各フレームのフレーム識別情報とを、前記主データに連結する
ことを特徴とする請求項１記載の伝送装置。
【請求項７】
前記伝送データ生成手段は、前記主データを一時的に蓄積する蓄積手段と、前記蓄積手段に蓄積されている主データの読み出し処理を制御する読出処理手段とを有し、
前記伝送処理手段は、前記伝送路の帯域を前記伝送データ生成手段に通知し、
前記読出処理手段は、前記フレーム識別情報を利用して、前記通知された帯域に応じて前記主データの読み出しを制御することにより、前記主データのフレームレートを調整する
ことを特徴とする請求項６記載の伝送装置。
【請求項８】
前記読出処理手段でのフレームレートの調整に応じて、前記付属情報に含まれているフレームレート情報とフレーム識別情報とを修正する情報修正手段をさらに有する
ことを特徴とする請求項７記載の伝送装置。
【請求項９】
画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結することで、伝送データを生成する伝送データ生成ステップと、
伝送路を介して前記伝送データの出力処理を行う伝送処理ステップとを有する
ことを特徴とする伝送方法。
【請求項１０】
前記伝送データ生成ステップは、蓄積手段に一時的に蓄積されている前記主データの読み出し処理を制御する読出処理制御ステップを有し、
前記読出処理制御ステップでは、前記伝送路の帯域に応じて前記主データの読み出しが制御されることで、前記主データのフレームレートが調整される
ことを特徴とする請求項９記載の伝送方法。
【請求項１１】
前記読出処理ステップでのフレームレートの調整に応じて、前記付属情報に含まれているフレームレート情報を修正する情報修正ステップをさらに有する
ことを特徴とする請求項１０記載の伝送方法。
【請求項１２】
前記付属情報は、前記主データの推奨再生速度を示す情報を含む
ことを特徴とする請求項９記載の伝送方法。
【請求項１３】
前記付属情報は、前記主データの再生可能な最高速度を示す情報を含む
ことを特徴とする請求項９記載の伝送方法。
【請求項１４】
前記伝送データ生成ステップでは、前記付属情報として、少なくとも、前記フレームレート情報と、基準フレーム期間内に含まれるフレームのフレーム識別情報とが、前記主データに連結される
ことを特徴とする請求項９記載の伝送方法。
【請求項１５】
前記伝送データ生成ステップは、前記主データを一時的に蓄積する蓄積手段に蓄積されている主データの読み出し処理を制御する読出処理ステップを有し、
前記読出処理ステップでは、前記フレーム識別情報を利用して、前記伝送路の帯域に応じて前記主データの読み出しが制御されることにより、前記主データのフレームレートが調整される
ことを特徴とする請求項１４記載の伝送方法。
【請求項１６】
前記読出処理ステップでのフレームレートの調整に応じて、前記付属情報に含まれているフレームレート情報とフレーム識別情報とを修正する情報修正ステップをさらに有する
ことを特徴とする請求項１５記載の伝送方法。
【請求項１７】
画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結することで、伝送データを生成する伝送データ生成ステップと、
伝送路を介して前記伝送データの出力処理を行う伝送処理ステップとを有する伝送方法をコンピュータに実行させるプログラム。
【請求項１８】
画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結して構成された伝送データの前記フレームレート情報に基づき、再生される主データのフレームレートの範囲を示す再生可変範囲を設定する設定手段と、
前記再生可変範囲内のフレームレートで、前記主データを再生する再生手段とを備える
ことを特徴とする再生装置。
【請求項１９】
前記再生手段は、前記付属情報が前記主データの推奨再生速度を示す情報を含み、ユーザによる再生速度の指示がなされていない場合には、前記推奨再生速度で、前記主データを再生する
ことを特徴とする請求項１８記載の再生装置。
【請求項２０】
前記設定手段は、前記付属情報が前記主データの再生可能な最高速度を示す情報を含むとき、該最高速度を示す情報を用いて前記再生速度可変範囲を設定する
ことを特徴とする請求項１８記載の再生装置。
【請求項２１】
前記付属情報は、基準フレーム期間内に含まれる各フレームのフレーム識別情報を含み、前記再生手段は、主データに対する間引きや繰り返しを、前記フレーム識別情報を利用して行うことで、前記主データの再生速度を可変する
ことを特徴とする請求項１８記載の再生装置。
【請求項２２】
画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結して構成された伝送データの前記フレームレート情報に基づき、再生される主データのフレームレートの範囲を示す再生可変範囲を設定する設定ステップと、
前記再生可変範囲内のフレームレートで、前記主データを再生する再生ステップとを備える
ことを特徴とする再生方法。
【請求項２３】
前記再生ステップでは、前記付属情報が前記主データの推奨再生速度を示す情報を含み、ユーザによる再生速度の指示がなされていない場合には、前記推奨再生速度で、前記主データが再生される
ことを特徴とする請求項２２記載の再生方法。
【請求項２４】
前記設定ステップでは、前記付属情報が前記主データの再生可能な最高速度を示す情報を含むとき、該最高速度を示す情報を用いて前記再生速度可変範囲が設定される
ことを特徴とする請求項２２記載の再生方法。
【請求項２５】
前記付属情報は、基準フレーム期間内に含まれる各フレームのフレーム識別情報を含み、前記再生ステップでは、主データに対する間引きや繰り返しが、前記フレーム識別情報を利用して行われることで、前記主データの再生速度が可変される
ことを特徴とする請求項２２記載の再生方法。
【請求項２６】
画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結して構成された伝送データの前記フレームレート情報に基づき、再生される主データのフレームレートの範囲を示す再生可変範囲を設定する設定ステップと、
前記再生可変範囲内のフレームレートで、前記主データを再生する再生ステップとを備える再生方法をコンピュータに実行させる
ことを特徴とするプログラム。
【請求項２７】
画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報とが連結された状態で記録された
ことを特徴とする記録媒体。
【請求項２８】
前記付属情報は、基準フレーム期間内に含まれる各フレームのフレーム識別情報を含む
ことを特徴とする請求項２７記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体に関する。詳しくは、画像および／または音声を示す主データに、主データのフレームレート情報を含む付属情報を連結することで伝送データを生成し、伝送路を介して伝送データの出力を行う。また、このフレームレート情報に基づき、再生される主データのフレームレートの範囲を示す再生可変範囲を設定し、この再生可変範囲内のフレームレートで、主データを再生するものである。
【背景技術】
【０００２】
従来、放送に用いる画像および／または音声のコンテンツ生成では、制作者の意図する効果を出すため、部分的に被写体の動きの速度を変えたコンテンツを作ることが多々行われている。
【０００３】
この被写体の動きの速度を変えたコンテンツの生成では、例えば基準フレームレートに対してフレームレートを高く設定してコンテンツを生成し、このコンテンツを基準フレームレートで再生することにより、被写体の動きを遅く表現したコンテンツを生成する。また、基準フレームレートに対してフレームレートを低く設定してコンテンツを生成し、このコンテンツを基準フレームレートで再生することにより、被写体の動きを速く表現したコンテンツを生成する。さらに、設定するフレームレートや再生時のフレームレートを調整することで、被写体の動きの速度を自由に可変できる。
【０００４】
このようにして、制作者は、基準フレームレートで再生したとき意図する効果が得られるように、基準フレームレートで生成したコンテンツだけでなく被写体の動きの速度を変えたコンテンツも用いて放送用のコンテンツを生成する。
【０００５】
また、このようにフレームレートを可変したコンテンツを生成できるように、時間軸の伸張や圧縮を行うことができるビデオカメラが、例えば特許文献１に示されている。
【０００６】
【特許文献１】特開平１１−１７７９３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、通信網の広帯域化や低価格化に伴い、この通信網を介してコンテンツをインタラクティブに伝送することが実用化されてきている。通信網を介したコンテンツの伝送では、伝送されたコンテンツをバッファに一時蓄えてから再生することにより、通信網で生じるゆらぎ（データの到着のばらつき）を吸収してコンテンツの再生を連続して行うことが出来るようになされている。また、通信網の広帯域化によって、より多くのデータを伝送することが可能となってきている。
【０００８】
しかし、このインタラクティブなコンテンツの伝送でも、伝送されるコンテンツは、放送の場合と同様に、基準フレームレートで再生したとき意図する効果が得られるように生成されたコンテンツが用いられている。このため、フレームレートを可変して生成されているコンテンツ部分について、制作者の意図した速度とは異なる所望の速度で再生しようとしても、この部分を所望の速度で再生できない。
【０００９】
そこで、この発明では、フレームレートを変えて生成されたコンテンツ部分を、制作者の意図した速度とは異なる速度で容易に再生可能とするための伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体を提供するものである。
【課題を解決するための手段】
【００１０】
この発明に係る伝送装置は、画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結することで、伝送データを生成する伝送データ生成手段と、伝送路を介して伝送データの出力処理を行う伝送処理手段とを有するものである。
【００１１】
この発明に係る伝送装置は、画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結することで、伝送データを生成する伝送データ生成ステップと、伝送路を介して伝送データの出力処理を行う伝送処理ステップとを有するものである。
【００１２】
この発明に係る再生装置は、画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結して構成された伝送データのフレームレート情報に基づき、再生される主データのフレームレートの範囲を示す再生可変範囲を設定する設定手段と、再生可変範囲内のフレームレートで、主データを再生する再生手段とを備えるものである。
【００１３】
この発明に係る再生方法は、画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結して構成された伝送データのフレームレート情報に基づき、再生される主データのフレームレートの範囲を示す再生可変範囲を設定する設定ステップと、再生可変範囲内のフレームレートで、主データを再生する再生ステップとを備えるものである。
【００１４】
この発明に係るプログラムは、画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結することで、伝送データを生成する伝送データ生成ステップと、伝送路を介して伝送データの出力処理を行う伝送処理ステップとを有する伝送方法をコンピュータに実行させるものである。また、画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報を連結して構成された伝送データのフレームレート情報に基づき、再生される主データのフレームレートの範囲を示す再生可変範囲を設定する設定ステップと、再生可変範囲内のフレームレートで、主データを再生する再生ステップとを備える再生方法をコンピュータに実行させるものである。
【００１５】
この発明に係る記録媒体は、画像および／または音声を示す主データに、該主データのフレームレート情報を含む付属情報とが連結された状態で記録されたものである。
【００１６】
この発明においては、画像および／または音声を示す主データに、この主データのフレームレート情報を含む付属情報が連結されて伝送データとして出力される。ここで、主データは、例えば一時的に蓄積されて、この蓄積されている主データが伝送路の帯域に応じて読み出されて主データのフレームレートが調整されて、このフレームレートの調整に応じて、付属情報に含まれているフレームレート情報が修正されて連結される。この付属情報には、主データの推奨再生速度を示す情報や主データの再生可能な最高速度を示す情報が含まれる。また、付属情報として、少なくとも、フレームレート情報と、基準フレーム期間内に含まれる各フレームのフレーム識別情報が主データに連結されて、このフレーム識別情報を利用して、通知された帯域に応じて主データの読み出しを制御することにより、主データのフレームレートが調整される。
【００１７】
付属情報が主データに連結されている伝送データを用いて主データの再生を行う場合、フレームレート情報に基づき、再生される主データのフレームレートの範囲を示す再生可変範囲が設定されて、この再生可変範囲内のフレームレートで、主データが再生される。また、付属情報が主データの推奨再生速度を示す情報を含み、ユーザによる再生速度の指示がなされていない場合には、この推奨再生速度で、主データが再生される。また、付属情報が主データの再生可能な最高速度を示す情報を含むとき、最高速度を示す情報を用いて再生速度可変範囲が設定される。また、付属情報は、基準フレーム期間内に含まれる各フレームのフレーム識別情報を含み、主データに対する間引きや繰り返しを、フレーム識別情報を利用して行うことで、主データの再生速度が可変される。
【発明の効果】
【００１８】
この発明によれば、画像および／または音声を示す主データに、この主データのフレームレート情報を含む付属情報が連結されて伝送データとして出力される。また、この伝送データを用いて主データの再生を行うときには、付属情報に含まれているフレームレート情報に基づき、再生される主データのフレームレートの範囲を示す再生可変範囲が設定されて、この再生可変範囲内のフレームレートで、主データが再生される。このため、コンテンツの制作者が意図した速度とは異なる速度範囲で再生可能な部分に対して付属情報を連結することにより、この部分をコンテンツの制作者が意図した速度とは異なる速度で再生することができる。
【００１９】
また、主データを一時的に蓄積して、この蓄積されている主データの読み出しを、伝送路の帯域に応じて行うことにより主データのフレームレートを調整する。このため、主データのフレームレートを容易に調整することができる。また、画像や音声の再生が途切れてしまうことを防止できる。さらに、フレームレートの調整に応じて、付属情報に含まれているフレームレート情報が修正されるので、伝送する主データに対応した付属情報を連結できる。
【００２０】
また、付属情報に主データの推奨再生速度を示す情報を含め、主データの再生時にユーザによる再生速度の指示がなされていない場合には、推奨再生速度で主データが再生されるので、主データの制作者側で再生速度を指定できる。
【００２１】
また、付属情報に主データの再生可能な最高速度を示す情報を含め、主データの再生時には、この最高速度を示す情報を用いて再生速度可変範囲が設定されるので、主データの制作者側で再生速度可変範囲を規制できる。
【００２２】
さらに、付属情報として、少なくとも、フレームレート情報と、基準フレーム期間内に含まれる各フレームのフレーム識別情報とが主データに連結されて、このフレーム識別情報を利用して、主データのフレームレートが調整されて伝送データが生成される。また、伝送データを用いて主データの再生を行うときには、フレーム識別情報を利用して主データに対する間引きや繰り返しを行い、主データの再生速度が可変される。このため、簡単な構成で主データの再生を所望の速度で行うことができる。
【発明を実施するための最良の形態】
【００２３】
以下、この発明の実施の一形態について説明する。図１は、コンテンツの伝送例えば画像および／または音声のコンテンツの伝送を行うコンテンツ伝送システムの全体構成を示している。撮像装置１０はフレームレートが可変された映像データを生成して、この映像データに関する付属情報を連結させて素材データＤＴmとして編集装置３０に供給する。また、音声入力装置２０が撮像装置１０に設けられているときには音声データを生成して、この音声データも素材データＤＴmとして編集装置３０に供給する。なお、素材データＤＴmは、撮像装置１０だけでなく他の機器からも供給されるものとしても良い。
【００２４】
編集装置３０は、供給された素材データＤＴmを用いて編集処理を行い、編集者が所望する画像および／または音声を示すデータを生成する。また、この画像および／または音声を示すデータを主データとして、この主データに対して付属情報を連結して、伝送用のコンテンツデータＤＣを生成してコンテンツ伝送装置５０に供給する。
【００２５】
編集装置３０は、編集に関した映像信号Ｓvmを生成して編集画像表示装置４０に供給する。これにより、ユーザは、編集画像表示装置４０での表示画像によって画像の編集経過や編集結果等の確認を行うことができる。同様に、編集に関した音声信号Ｓamを生成して編集音声出力装置４１に供給する。これにより、ユーザは、編集音声出力装置４１から出力される音声によって、音声の編集経過や編集結果等の確認を行うことができる。
【００２６】
コンテンツ伝送装置５０は、編集装置３０から供給されたコンテンツデータＤＣを蓄積する。また、例えばコンテンツ再生装置７０からコンテンツデータの要求がなされたときには、伝送路６０の帯域に応じてコンテンツデータのフレームレートを調整し、フレームレート調整後のコンテンツデータに基づき伝送データＤＴcを生成して、この伝送データＤＴcを有線あるいは無線の伝送路６０を介してコンテンツ再生装置７０に供給する。
【００２７】
コンテンツ再生装置７０は、伝送路を介して供給された伝送データＤＴcに基づきコンテンツの映像信号Ｓvzや音声信号Ｓazを生成して、コンテンツ提示装置８０に供給する。また、コンテンツ再生装置７０は、付属情報に基づきコンテンツの再生動作を制御する。
【００２８】
コンテンツ提示装置８０は、映像信号Ｓvzに基づいた画像表示や音声信号Ｓazに基づいた音声出力を行うことでコンテンツの提示を行う。
【００２９】
ここで連結とは、主データと、この主データに関するフレームレート情報を含む付属情報が、互いにリンクされている状態であれば良い。例えば主データと付属情報が、別の伝送路で伝送データとして伝送されたものであっても、付属情報に対応するフレーム番号が含まれているようにしていれば、後で互いに対応させることができる。本実施の形態では、このような場合も含めて連結しているという。
【００３０】
図２は、撮像装置１０の構成例を示している。撮像レンズ系１１を通して入射された光は、撮像部１２に入射されて、撮像部１２に設けられている例えばＣＣＤ（Charge Coupled Device）等の撮像素子の撮像面上に被写体画像が結像される。撮像素子は、光電変換によって被写体画像の撮像電荷を生成する。また、撮像部１２は、後述するタイミングジェネレータ１４２からの駆動信号ＣＲに基づいて、生成した撮像電荷を読み出し、駆動信号ＣＲに応じたフレームレートの撮像信号Ｓpを生成して信号処理部１３のカメラ処理回路１３１に供給する。
【００３１】
カメラ処理回路１３１は、タイミングジェネレータ１４２から供給されたタイミング信号ＣＴに基づき、撮像信号Ｓpと同期したタイミングで種々の信号処理を行う。例えば、カメラ処理回路１３１は、相関二重サンプリング等を行うことで撮像信号Ｓpからノイズ成分を除去する処理、ノイズ除去された撮像信号Ｓpをディジタルの映像データに変換する処理、映像データのクランプ処理、シェーディング補正や撮像素子の欠陥補正、γ処理や輪郭補償処理およびニー補正処理等を行う。また、カメラ処理回路１３１は、制御部１４の撮像制御回路１４１から供給された動作制御信号ＣＳに基づいた処理条件等で種々の信号処理を行う。このように、カメラ処理回路１３１で種々の信号処理を行って得られた映像データＤＶは、出力部１５に供給される。
【００３２】
制御部１４のタイミングジェネレータ１４２は、撮像制御回路１４１からの動作制御信号ＣＳに応じた駆動信号ＣＲを生成して撮像部１２に供給することにより、撮像部１２における撮像電荷の読み出し周期を可変して、撮像信号Ｓpのフレームレートを、ユーザインタフェース部１６からの操作信号ＰＳaに基づいた設定フレームレートＦＲsに制御する。タイミングジェネレータ１４２は、例えばＮＴＳＣ方式ではフレーム周波数５９．９４Ｈｚや２９．９７Ｈｚ、ＰＡＬ方式ではフレーム周波数５０Ｈｚや２５Ｈｚを基準フレームレートＦＲrのフレーム周波数として、設定フレームレートＦＲsを基準フレームレートＦＲrのｋ（ｋは整数に限らない正の値）倍とする操作が行われたときには、撮像信号Ｓpのフレームレートが基準フレームレートＦＲrのｋ倍となるように制御する。なお、例えば、ＣＣＤ等の撮像素子の各画素から転送部へ各画素に蓄積された撮像電荷を移動させるための読み出しパルス（センサーゲートパルス）の周期を変更する等することで、撮像電荷の読み出し周期が可変され、フレームレートが可変される。また、この際に、ＣＤＲ（Common Data Rate）方式を採用しても良い。ＣＤＲ方式を用いると、有効なフレームレートは可変するが、ＣＣＤから出力される信号のフレームレートは不変とすることができ、カメラ処理回路１３１等の処理レートを一定とすることができる。このＣＤＲ方式に関しては、ＰＣＴ出願、出願番号PCT/JP03/00551,2003/1/22出願に開示されている。
【００３３】
また、タイミングジェネレータ１４２は、駆動信号ＣＲに同期したタイミング信号ＣＴを生成してカメラ処理回路１３１や音声処理回路１３２に供給する。さらに、タイミングジェネレータ１４２は、映像データＤＶのフレームレートである設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRsを生成して、出力部１５に供給する。また、タイミングジェネレータ１４２は、サブフレーム番号ＢＮの生成も行う。このサブフレーム番号ＢＮは、基準フレームレートＦＲrに対して設定フレームレートＦＲsを高くしたとき、基準フレームレートＦＲrのフレーム期間内に含まれる各フレームを識別可能とする番号である。このサブフレーム番号ＢＮをフレーム識別情報ＤＭ-BNとして出力部１５に供給する。
【００３４】
図３は、タイミングジェネレータ１４２でのサブフレーム番号の付加動作を示すフローチャートである。タイミングジェネレータ１４２は、例えば所定周波数の発振信号を分周して、基準フレームレートＦＲrのフレーム期間と設定フレームレートＦＲsのフレーム期間を同期させて設定し、設定フレームレートＦＲsのフレーム期間に基づいて駆動信号ＣＲの生成および基準フレームレートＦＲrのフレーム期間の区切りを示すフレーム基準タイミングの生成を行う。
【００３５】
タイミングジェネレータ１４２は、ステップＳＴ１でフレーム基準タイミングを検出したか否かを識別する。ここで基準タイミングを検出したときにはステップＳＴ２に進む。また基準タイミングを検出していないときにはステップＳＴ１に戻る。
【００３６】
ステップＳＴ１でフレーム基準タイミングを検出してステップＳＴ２に進むと、タイミングジェネレータ１４２は、ステップＳＴ２でサブフレーム番号ＢＮの初期化を行い、サブフレーム番号ＢＮを初期値例えば「０」に設定してステップＳＴ３に進む。
【００３７】
ステップＳＴ３で、タイミングジェネレータ１４２は、フレーム基準タイミングを検出してから設定フレームレートＦＲsの１フレーム期間経過時までに、フレーム基準タイミングを検出したか否かを識別する。ここで、フレーム基準タイミングを検出していないときにはステップＳＴ４に進み、タイミングジェネレータ１４２は、サブフレーム番号ＢＮに「１」を加算して、サブフレーム番号ＢＮの更新を行いステップＳＴ３に戻る。このように、設定フレームレートＦＲsの１フレーム期間経過時までにフレーム基準タイミングが検出されていないときには、設定フレームレートＦＲsの１フレーム期間毎にサブフレーム番号ＢＮが順番に割り当てられる。
【００３８】
その後、設定フレームレートＦＲsの１フレーム期間経過までにフレーム基準タイミングを検出するとステップＳＴ２に戻り、サブフレーム番号ＢＮの初期化を行う。
【００３９】
このため、基準フレームレートＦＲrのフレーム期間毎に、このフレーム期間中に設けられた設定フレームレートＦＲsのフレーム画像に対してサブフレーム番号ＢＮを付加することができる。
【００４０】
図２に示す制御部１４の撮像制御回路１４１には、ユーザインタフェース部１６が接続されている。ユーザインタフェース部１６は、撮像装置１０での動作切換操作やフレームレート可変操作が行われたとき、これらの操作に応じた操作信号ＰＳaを生成して撮像制御回路１４１に供給する。また、ユーザインタフェース部１６は、図示しないリモートコントローラ等の外部機器から操作信号ＰＳaが供給されたとき、この操作信号ＰＳaを撮像制御回路１４１に供給する。
【００４１】
撮像制御回路１４１は、ユーザインタフェース部１６からの操作信号ＰＳaに基づき、撮像装置１０の動作が操作信号ＰＳaに応じた動作となるように、動作制御信号ＣＳを生成してカメラ処理回路１３１やタイミングジェネレータ１４２に供給する。
【００４２】
音声処理回路１３２には、音声入力装置２０からアナログの音声信号Ｓinが供給される。音声処理回路１３２は、タイミングジェネレータ１４２から供給されたタイミング信号ＣＴに基づいて音声信号Ｓinのサンプリング処理を行い、ディジタルの音声データＤＡを生成して出力部１５に供給する。
【００４３】
出力部１５は、フレームレート情報ＤＭ-FRsやフレーム識別情報ＤＭ-BNを含む付属情報ＤＭを生成して、映像データＤＶや音声データＤＡに連結させて素材データＤＴmを生成して編集装置に供給する。なお、素材データＤＴmあるいは素材データＤＴmに基づいて生成した記録信号を記録媒体に記録すれば、この素材データＤＴmあるいは素材データＤＴmに基づいて生成した記録信号が記録されている記録媒体を編集装置で再生することにより、記録媒体を介して素材データＤＴmを編集装置に供給できる。また、付属情報ＤＭには、設定フレームレートＦＲsやサブフレーム番号ＢＮの情報だけでなく、撮像日時や撮像条件および撮像内容等を示す情報を含めるものとしても良い。
【００４４】
ここで、映像データＤＶや音声データＤＡに対して付属情報ＤＭを連結させる方法の一例として、映像データＤＶや音声データＤＡを圧縮してデータストリームとして素材データＤＴmを生成するときには映像のデータストリーム中に付属情報ＤＭを挿入、あるいはデータストリームのヘッダ中に付属情報ＤＭを挿入することが考えられる。
【００４５】
また、非圧縮の映像データや音声データを伝送するためにＳＭＰＴＥ（Society of Motion Picture and Television Engineers）２５９Ｍ「Television - 10-Bit 4:2:2 Component and 4fsc Composite Digital Signals - Serial Digital Interface」として規格化されているＳＤＩフォーマットや、圧縮された映像データや音声データを伝送するためにＳＭＰＴＥ３０５Ｍ「Television - Serial Data Transport Interface（SDTI）」として規格化されているＳＤＴＩフォーマット、ＳＤＴＩフォーマットを更に限定しているＳＭＰＴＥ３２６Ｍ「Television - SDTI Content Package Format（SDTI-CP）」として規格化されたＳＤＴＩ−ＣＰフォーマットを用いる場合、付属情報ＤＭをＳＭＰＴＥ３３０Ｍ「Television - Unique Material Identifier（UMID）」として規格化されているＵＭＩＤのデータとして、各フォーマットの信号に挿入する。なお、映像データＤＶや音声データＤＡに対して付属情報ＤＭを連結する方法はこれに限られず種々の方法が考えられ、上記の例に限定されるものではない。また、連結とは、互いの関係が何らかの方法でわかるもの、つまり、リンクがとれれば良い。例えば、別の伝送路を介して送られる場合であっても、夫々に同じＵＭＩＤが付されていれば関連付けることができ、これも連結に含まれる。
【００４６】
ところで、上述の撮像装置１０は、撮像部１２における撮像電荷の読み出し周期を可変することで、所望の設定フレームレートＦＲsの素材データＤＴmを生成するものであり、設定フレームレートＦＲsを連続的に可変できる。しかし、設定フレームレートＦＲsをステップ状に可変するだけでよい場合には、フレーム間引きを行うことで、所望の設定フレームレートＦＲsの素材データＤＴmを生成できる。すなわち、設定フレームレートＦＲsよりも高いフレームレートであり、フレームレートが一定である映像データＤＶaを生成して、この映像データＤＶaから設定フレームレートＦＲs分だけ映像データを抽出することで、設定フレームレートＦＲsの映像データＤＶを生成できる。この場合の構成を図４に示す。なお、図４において、図２と対応する部分については同一符号を付し詳細な説明は省略する。
【００４７】
制御部１８のタイミングジェネレータ１８２は、ユーザインタフェース部１６を介して設定される設定フレームレートＦＲsの最高値に応じた駆動信号ＣＲaを生成して撮像部１２に供給する。撮像部１２は、駆動信号ＣＲaに基づいて撮像信号の生成を行い、フレームレートが基準フレームレートＦＲrよりも高い固定フレームレートＦＲqの撮像信号Ｓpaを生成して信号処理部１７のカメラ処理回路１３１に供給する。撮像部１２は、例えば、設定フレームレートＦＲsが基準フレームレートＦＲrのｎ（ｎは正数）倍まで変更可能であるとき、基準フレームレートＦＲrのｎ倍のフレームレートである撮像信号Ｓpaを生成して、カメラ処理回路１３１に供給する。即ち、撮像部１２は、ユーザインタフェース部１６を介して設定される設定フレームレートＦＲsに影響されることなく、固定のフレームレートである撮像信号Ｓpaを生成する。
【００４８】
また、タイミングジェネレータ１８２は、駆動信号ＣＲaに同期したタイミング信号ＣＴaを生成して信号処理部１７のカメラ処理回路１３１や音声処理回路１３２および有効フレーム信号生成回路１８３に供給する。
【００４９】
カメラ処理回路１３１は、撮像信号Ｓpaに基づいて生成した固定フレームレートＦＲqの映像データＤＶaを有効データ選別回路１７１に供給する。音声処理回路１３２は、一定周波数のタイミング信号ＣＴaに基づいたサンプリングを行って生成した音声データＤＡaを有効データ選別回路１７１に供給する。
【００５０】
撮像制御回路１８１は、ユーザインタフェース部１６からの操作信号ＰＳaに基づき、設定フレームレートＦＲsを示す設定情報信号ＣＦを生成して有効フレーム信号生成回路１８３に供給する。
【００５１】
有効フレーム信号生成回路１８３は、映像データＤＶaの一定値であるフレームレートＦＲqと設定情報信号ＣＦによって示された設定フレームレートＦＲsとの比に基づき、映像データＤＶaからフレーム単位でデータ抽出を行って設定フレームレートＦＲsの映像データＤＶを生成するための抽出制御信号ＣＣを生成する。さらに、有効フレーム信号生成回路１８３は、この抽出制御信号ＣＣをタイミング信号ＣＴaに同期して有効データ選別回路１７１に供給する。例えば、映像データＤＶaのフレームレートＦＲqが基準フレームレートＦＲrのｎ倍であり、設定フレームレートＦＲsが基準フレームレートＦＲrの（ｎ／２）倍であるとき、有効フレーム信号生成回路１８３は、映像データＤＶaから１フレーム置きにフレーム単位でデータ抽出を行う抽出制御信号ＣＣを生成して、タイミング信号ＣＴaに同期して有効データ選別回路１７１に供給する。
【００５２】
また、有効フレーム信号生成回路１８３は、設定情報信号ＣＦに基づき設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRsを生成して出力部１５に供給する。さらに、抽出制御信号ＣＣによって基準フレームレートＦＲrのフレーム期間中におけるフレーム数を識別できることから、有効フレーム信号生成回路１８３は、基準フレームレートＦＲrの各フレーム期間中におけるフレームに対するサブフレーム番号ＢＮの設定を行い、このサブフレーム番号ＢＮもフレーム識別情報ＤＭ-BNとして出力部１５に供給する。
【００５３】
有効データ選別回路１７１は、抽出制御信号ＣＣによって示されたフレームの映像データＤＶaおよび音声データＤＡaを抽出して映像データＤＶおよび音声データＤＡとして出力部１５に供給する。また、図示せずも、有効フレーム信号生成回路１８３から有効データ選別回路１７１に対して設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRを供給し、有効データ選別回路１７１で、設定フレームレートＦＲsと音声データＤＡaを生成したときのフレームレートとの比に応じて音声データＤＡaの間引きを行うものとしても良い。例えば、音声データＤＡaを生成したときのフレームレートＦＲqが基準フレームレートＦＲrのｎ倍であり、設定フレームレートＦＲsが基準フレームレートＦＲrの（ｎ／２）倍であるとき、音声データＤＡaに対して１サンプル置きに間引きを行う。この場合、フレーム単位で音声データを間引く場合よりも間引き間隔を小さくできるので、音声データＤＡに基づく音声を良好な音質とすることができる。
【００５４】
このように、映像データＤＶaのフレーム周波数を一定とすることで、撮像部１２や信号処理部１７のカメラ処理回路１３１での動作周波数を可変する必要がなくなり、撮像部１２やカメラ処理回路１３１の構成を簡単にできる。また、映像データＤＶaからフレーム単位でデータ抽出を行うだけで設定フレームレートＦＲsの映像データＤＶを生成できるので、所望の設定フレームレートＦＲsの映像データＤＶを映像データＤＶaから容易に生成できる。
【００５５】
また、撮像装置に画像メモリや加算器および除算器を設けるものとして、映像データを所定フレーム分毎に加算して映像データＤＶを生成するようにしても良い。この場合には、撮像信号Ｓpのフレームレート可変範囲を狭くできる。すなわち、ｎフレーム分の撮像信号Ｓpを加算して信号レベルを（１／ｎ）倍すれば、撮像信号Ｓpのフレームレートを（１／ｎ）倍としなくとも、フレームレートを（１／ｎ）倍とした信号を得ることが可能となる。
【００５６】
図５および図６は、撮像装置１０，１０aで生成される映像データＤＶと付属情報ＤＭの関係を説明するための図である。図５Ａに示すように設定フレームレートＦＲsを例えば基準フレームレートＦＲrの１倍あるいは２倍とすると、図５Ｂに示す映像データＤＶ（図では映像データＤＶに基づいたフレーム画像を示している）に対して、設定フレームレートＦＲsを示す図５Ｃのフレームレート情報ＤＭ-FRsとサブフレーム番号ＢＮを示す図５Ｄのフレーム識別情報ＤＭ-BNとを含んだ付属情報ＤＭが連結される。なお、図５Ｅは、時間経過とフレーム画像の関係を示したものである。また、フレームレート情報ＤＭ-FRsは、設定フレームレートＦＲsを示すだけでなく、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍率を示すものとしても良い。図５Ｃおよび以下の図で示すフレームレート情報ＤＭ-FRsでは倍率を記している。
【００５７】
図６Ａに示すように設定フレームレートＦＲsを例えば基準フレームレートＦＲrの１倍あるいは１／２倍とすると、図６Ｂに示す映像データＤＶ（図では映像データＤＶに基づいたフレーム画像を示している）に対して、設定フレームレートＦＲsを示す図６Ｃのフレームレート情報ＤＭ-FRsとサブフレーム番号ＢＮを示す図６Ｄのフレーム識別情報ＤＭ-BNとを含んだ付属情報ＤＭが連結される。図６Ｅは、時間経過とフレーム画像の関係を示したものである。
【００５８】
次に、編集装置３０について説明する。図７は、編集装置３０の構成を示している。編集装置３０に供給された素材データＤＴmは、素材取込部３１の情報検出回路３１１に供給される。情報検出回路３１１は、素材データＤＴmから付属情報ＤＭを検出する。この検出した付属情報ＤＭをデータベース化処理回路３１２に供給する。また、素材データＤＴmに含まれている映像データＤＶと音声データＤＡをデータベース化処理回路３１２に供給する。
【００５９】
データベース化処理回路３１２は、映像データＤＶと音声データＤＡと情報検出回路３１１で検出した付属情報ＤＭとを関係付けて編集処理部３２のデータ記憶装置３２１に記憶させる。また、データベース化処理回路３１２は、データ記憶装置３２１に記憶した付属情報ＤＭや、この付属情報ＤＭに関係付けられている映像データＤＶや音声データＤＡに基づいて、容易に素材データの内容を確認可能とするデータベース情報ＤＢを生成して編集制御部３３に供給する。例えば、データベース情報ＤＢは、素材データの内容を識別可能とする情報（例えばサムネイル）、素材データの時間長、設定フレームレートＦＲs、サブフレーム番号ＢＮ、データ記憶装置３２１における記憶位置等の情報から構成されるものである。
【００６０】
編集制御部３３は、ＧＵＩ（Graphical User Interface）環境で編集処理を可能とするための映像データＤＶgや、データベース情報の内容を表示するための映像データＤＶiを生成して映像出力信号生成回路３５１に供給する。映像出力信号生成回路３５１は、供給された映像データＤＶg，ＤＶiに基づき映像信号Ｓvmを生成して編集画像表示装置４０に出力する。このように、映像信号Ｓvmを編集画像表示装置４０に供給することで、どのような素材データが記憶されているか等を編集画像表示装置４０の画面上に表示できる。
【００６１】
また、編集制御部３３は、ポストプロダクション処理の制御を行う。すなわち、編集制御部３３に接続されているユーザインタフェース部３４から、ＧＵＩ環境での表示を利用した操作信号ＰＳeが供給されて、操作信号ＰＳeによっていずれかの素材データを選択することが示されたときには、編集制御部３３は、この操作信号ＰＳeに応じた読出制御信号ＲＣを生成して編集処理部３２の書込読出処理回路３２２に供給する。また、操作信号ＰＳeが読み出した素材データの加工や結合等の編集操作に関するものであるときには、編集制御部３３は、操作信号ＰＳeに応じた編集制御信号ＥＴを生成して編集処理部３２の信号編集回路３２３に供給する。さらに、素材データの編集が終了してコンテンツデータが完成されたとき、操作信号ＰＳeがコンテンツデータをデータ記憶装置３２１に記憶する操作を示しているときには、編集制御部３３は、操作信号ＰＳeに応じた書込制御信号ＷＣを生成して、書込読出処理回路３２２に供給する。また、操作信号ＰＳeがコンテンツデータの出力を示しているときには、編集制御部３３は、操作信号ＰＳeに応じた出力制御信号ＲＰを生成して書込読出処理回路３２２に供給する。操作信号ＰＳeがコンテンツデータの再生速度範囲を規定するものであるときには、編集制御部３３は、操作信号ＰＳeに応じた速度範囲設定信号ＬＰを生成して信号編集回路３２３に供給する。
【００６２】
書込読出処理回路３２２は、読出制御信号ＲＣに基づき、要求された素材データをデータ記憶装置３２１から読み出して信号編集回路３２３に供給する。また、書込読出処理回路３２２は、書込制御信号ＷＣに基づき、完成されたコンテンツデータＤＣをデータ記憶装置３２１に記憶させる。また、書込読出処理回路３２２は、出力制御信号ＲＰに基づき、要求されたコンテンツデータＤＣをデータ記憶装置３２１から読み出して出力する。
【００６３】
信号編集回路３２３は、データ記憶装置３２１から読み出した素材データに含まれている映像データＤＶおよび／または音声データＤＡを用いて、画像や音声の加工や結合および削除等の編集処理を編集制御信号ＥＴに基づいて行う。ここで、信号編集回路３２３は、編集前や編集中あるいは編集後の映像データＤＶeを映像出力信号生成回路３５１に供給し、編集前や編集中あるいは編集後の音声データＤＡeを音声出力信号生成回路３５２に供給する。また、信号編集回路３２３は、編集処理によって映像データＤＶや音声データＤＡのフレームレートを変更したとき、付属情報ＤＭも編集後の映像データや音声データに合わせて変更する。さらに、信号編集回路３２３は、編集後の映像データＤＶや音声データＤＡおよび編集後の映像データＤＶや音声データＤＡに対応する設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRsやフレーム識別情報ＤＭ-BNを含んだ付属情報ＤＭcを連結させてコンテンツデータＤＣを生成する。また、信号編集回路３２３は、速度範囲設定信号ＬＰが供給されたときには、この速度範囲設定信号ＬＰに基づいてコンテンツデータＤＣの再生速度範囲を示す速度範囲情報も付属情報ＤＭcとして連結させる。さらに、信号編集回路３２３は、ユーザインタフェース部３４からコンテンツのタイトルやコンテンツの推奨再生速度が入力されたときには、これらの情報も付属情報ＤＭcとして連結させる。また、編集処理によってコンテンツデータの再生時間長情報が得られているときには、この情報も付属情報ＤＭcとして連結させるものとしても良い。さらに、コンテンツデータの再生可能な最高速度が入力されたときには、この最高速度も付属情報ＤＭcとして連結させる。また、信号編集回路３２３あるいは編集制御部３３は、素材データにサブフレーム番号ＢＮが付加されていない場合、上述の図３に示す処理を行い、サブフレーム番号ＢＮを設定してフレーム識別情報ＤＭc-BNとする。
【００６４】
編集出力信号生成部３５の映像出力信号生成回路３５１は、上述したように、編集制御部３３から供給された映像データＤＶg，ＤＶiに基づき映像信号Ｓvmを生成して編集画像表示装置４０に供給する。このため、ＧＵＩ環境で素材データに関する情報を表示できる。さらに、映像出力信号生成回路３５１は、信号編集回路３２３から供給された映像データＤＶeに基づき映像信号Ｓvmを生成する。これにより、ユーザは、編集前や編集中あるいは編集後の画像を編集画像表示装置４０の画面上で確認できる。
【００６５】
音声出力信号生成回路３５２は、信号編集回路３２３から供給された音声データＤＡeを、アナログの音声信号Ｓamに変換し、所望の信号レベルとして、例えばスピーカやヘッドホンを用いて構成された編集音声出力装置４１に供給する。このため、ユーザは、編集前や編集中あるいは編集後の音声を編集音声出力装置４１から出力される音声によって確認できる。
【００６６】
このように、編集装置３０で素材データＤＴmを用いたポストプロダクション処理が行われ、コンテンツデータＤＣが完成すると、この完成したコンテンツデータＤＣは、コンテンツ伝送装置５０に供給されて、このコンテンツ伝送装置５０からユーザのコンテンツ再生装置７０に供給される。
【００６７】
図８は、コンテンツ伝送装置５０の構成を示している。編集装置３０から供給された伝送用のコンテンツデータＤＣは、書込処理部５１に供給される。書込処理部５１は、伝送データ生成部５２のコンテンツ蓄積装置５２１と接続されており、供給された伝送用のコンテンツデータをコンテンツ蓄積装置５２１に記憶させる。なお、コンテンツデータＤＣは、編集装置３０から供給されたものに限られるものではなく、撮像装置１０で生成された素材データ等をコンテンツデータＤＣとして用いるものとしても良い。
【００６８】
伝送データ生成部５２は、コンテンツデータＤＣに基づき伝送データＤＴzの生成を行うものであり、伝送データ生成部５２のコンテンツ蓄積装置５２１には、読出処理回路５２２が接続されている。この読出処理回路５２２には、伝送用のコンテンツデータを伝送する際の伝送路の帯域情報ＷＢやコンテンツ再生装置側からのコンテンツ要求信号ＲＱが後述する伝送処理部５３から供給される。
【００６９】
読出処理回路５２２は、帯域情報ＷＢやコンテンツ蓄積装置５２１に蓄積されている要求されたコンテンツデータの付属情報ＤＭcに基づき、要求されたコンテンツデータの読み出しを制御してフレームレート調整を行い、フレームレート調整後のコンテンツデータＤＣzaを情報修正回路５２３に供給する。
【００７０】
例えば、後述するエンコーダ５２４で符号化処理を行ったときの１フレーム分のデータ量がＢＤbit、フレームレート情報ＤＭc-FRsによって示された設定フレームレートＦＲsが基準フレームレートＦＲrのｎ（ｎは正数）倍であるとき、単位時間で伝送するデータ量ＢＴは「ＢＴ＝ＢＤ×ｎ×ＦＲr＋ＢＨ」となる。なお、データ量ＢＨは、コンテンツデータをパケット化して伝送するときに付加されるヘッダ情報等をまとめて示したものである。
【００７１】
ここで、帯域情報ＷＢで示された伝送可能なデータ量（帯域幅）ＢＡがデータ量ＢＴより小さくないときには、コンテンツデータのフレームレート調整を行わないものとされ、コンテンツ蓄積装置５２１からコンテンツデータを順次読み出して情報修正回路５２３に供給される。また、帯域幅ＢＡがデータ量ＢＴよりも小さいとき、コンテンツデータの映像データ等に対してフレームレート調整を行い、伝送データを受信しながら再生するストリーミング動作時に、画像や音声が途切れてしまうことがないようデータ量を少なくする。例えば付属情報ＤＭcで示された設定フレームレートＦＲsと基準フレームレートＦＲrから、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍数「ｍ」を識別する。さらに、識別した倍数「ｍ」の約数を求めて、「ｍ」を除く約数の最大値と基準フレームレートＦＲrを乗算して調整後の設定フレームレートとする。すなわち「ｍ＝１０」であるときには約数の最大値が「５」であるので「ｍ＝５」とするフレームレート調整を行う。このフレームレート調整では、１フレームおき、すなわちフレーム識別情報ＤＭc-BNを利用して、偶数であるサブフレーム番号「０，２，３，６，８」のコンテンツデータを読み出すことで、基準フレームレートＦＲrに対して５倍のフレームレートのコンテンツデータを生成する。また、「ｍ＝９」であるときには「ｍ＝３」に調整して、２フレームおき、すなわちフレーム識別情報ＤＭc-BNを利用して、サブフレーム番号「０，３，６」のコンテンツデータを読み出すことでフレームレート調整後のコンテンツデータを生成する。また、調整後のデータ量ＢＴが帯域幅ＢＡよりも大きいときにはさらにフレームレートの調整を行う。このように、「ｍ」を除く約数の最大値を用いて調整後のフレームレートを決定すれば、コンテンツデータを読み出す際にフレーム識別情報ＤＭc-BNを利用してフレーム単位で間引きを行うだけで、簡単にフレームレート調整後のコンテンツデータを生成できる。
【００７２】
その後、「ｍ＝１」でも調整後のデータ量ＢＴが帯域幅ＢＡよりも大きいときには「ｍ＝１／ｋ」（ｋ：自然数）となるようにフレーム間引きを行うことで、データ量ＢＴを更に少なくできる。また、帯域幅ＢＡが変化したときには帯域幅ＢＡの変化に応じてフレームレートを可変させる。
【００７３】
また、コンテンツデータの音声データに対しては、映像データに対するフレームレート調整に応じてサンプル間引きを行い、フレームレート調整後の音声データを生成する。例えば映像データが１フレームおきに読み出されるときには、音声データを１サンプル置きに読み出す。また映像データが２フレームおきに読み出されるときには、音声データを２サンプル置きに読み出してフレームレート調整後の音声データを生成する。
【００７４】
情報修正回路５２３は、読出処理回路５２２によってフレームレート調整が行われたとき、調整後のフレームレートに対応するようにコンテンツデータＤＣzaの付属情報ＤＭzaを修正して、フレームレートを正しく示す付属情報ＤＭzとする。さらに、この付属情報ＤＭzを連結したコンテンツデータＤＣzをエンコーダ５２４に供給する。例えば「ｍ＝１０」が「ｍ＝５」に調整されたときには、設定フレームレートＦＲsを「×１０」から「×５」に変更する修正を行い、設定フレームレートＦＲsが「×１０」であることを示すフレームレート情報ＤＭza-FRsを、設定フレームレートＦＲsが「×５」であることを示すフレームレート情報ＤＭz-FRsに変更する。設定フレームレートＦＲsの変更に伴いフレーム識別情報ＤＭza-BNも変更する。すなわちサブフレーム番号ＢＮ「０〜９」をサブフレーム番号ＢＮ「０〜４」に付け替えたフレーム識別情報ＤＭz-BNとする。さらに、この変更後のフレームレート情報ＤＭz-FRsとフレーム識別情報ＤＭz-BNを用いて、付属情報ＤＭcを付属情報ＤＭzに変更する。
【００７５】
エンコーダ５２４は、供給されたコンテンツデータＤＣzの映像データＤＶzや音声データＤＡzを伝送に適した信号に符号化して符号化データＤＺを生成する。例えばＭＰＥＧ（Moving Picture Experts Group）４として規格化されている符号化方式等を用いてストリーミング伝送に適した信号に符号化する。この符号化処理によって得られた符号化データＤＺに付属情報ＤＭzを連結させて、伝送データＤＴzとして伝送処理部５３に供給する。このように、符号化処理を行うことで効率良くコンテンツデータの伝送を行うことが可能となる。
【００７６】
伝送処理部５３は、コンテンツ再生装置７０から供給された伝送信号ＴＭrqによってコンテンツデータの要求がなされたとき、要求されているコンテンツデータを示すコンテンツ要求信号ＲＱを読出処理回路５２２に供給する。また、伝送処理部５３は、伝送路６０の帯域に関する帯域情報ＷＢを生成して読出処理回路５２２に供給する。さらに、伝送処理部５３は、コンテンツデータの要求に基づき、エンコーダ５２４から供給された伝送データＤＴzを所定のプロトコルの伝送信号として、伝送路６０を介してコンテンツデータの要求を行ったコンテンツ再生装置７０に供給する。
【００７７】
この読出処理回路５２２に供給する帯域情報ＷＢは、例えばルータ等のネットワーク機器を用いて伝送処理部５３を構成し、このネットワーク機器が持つ管理情報ベース（ＭＩＢ:Management Information Base）から得ることができるトラフィック情報を帯域情報ＷＢとして用いることができる。また、計測用のパケットをコンテンツ再生装置７０に送信し、コンテンツ再生装置７０からのレスポンス時間などを測定することで帯域を識別して、この識別結果を帯域情報ＷＢとして用いることもできる。
【００７８】
また、帯域情報ＷＢに基づき読出処理回路５２２でフレームレート調整を行うだけでなく、帯域情報ＷＢに基づきエンコーダ５２４でデータ圧縮率を可変することによってデータ量ＢＴを帯域幅ＢＡに応じて可変するものとしても良い。この場合には、データ量の制御をさらに細かく制御できるので、帯域幅ＢＡが狭くなっても伝送される画像や音声の品質の劣化を少なくすることが可能となる。さらに、設定フレームレートＦＲsが等しい状態が続くフレーム期間中は、調整後のフレームレートを帯域情報ＷＢにかかわらず一定として、データ量ＢＴの調整をエンコーダ５２４で行うこともできる。この場合には、撮像装置１０や編集装置３０によって所望のフレームレートに設定したコンテンツ部分が、帯域幅ＢＡに応じて異なるフレームレートに調整されてしまうことを防止できる。
【００７９】
さらに、付属情報ＤＭcに推奨再生速度が設定されているときには、推奨再生速度での再生が可能となる範囲でフレームレート調整を行い、推奨再生速度での再生時よりもフレーム数を少なくする必要が生じたときには、データ量ＢＴの調整をエンコーダ５２４で行うものとしても良い。この場合には、伝送路６０の帯域が狭くなっても推奨再生速度でコンテンツを再生することができる。
【００８０】
ところで、上述のコンテンツ伝送装置５０のコンテンツ伝送処理は、コンピュータを用いてソフトウェア処理によっても実現できる。このソフトウェア処理によってコンテンツ伝送を行う場合の構成を図９に示す。
【００８１】
コンピュータは、図９に示すようにＣＰＵ（Central Processing Unit）５５１を内蔵しており、このＣＰＵ５５１にはバス５６０を介してＲＯＭ５５２，ＲＡＭ５５３，記憶容量が大容量であるハード・ディスク・ドライブ等を用いて構成したデータ蓄積部５５４，入出力インタフェース５５５が接続されている。さらに、入出力インタフェース５５５には信号入力部５６１や通信部５６２、記録媒体ドライブ５６３が接続されている。
【００８２】
ＣＰＵ５５１は、ＲＯＭ５５２やＲＡＭ５５３あるいはデータ蓄積部５５４に記憶されているプログラムを実行して、コンテンツ伝送処理を行う。信号入力部５６１に入力されたコンテンツデータは、入出力インタフェース５５５とバス５６０を介してデータ蓄積部５５４に記憶させる。また、ＣＰＵ５５１は、通信部５６２を介してコンテンツ要求信号ＲＱが供給されたとき、データ蓄積部５５４に記憶されているコンテンツデータから、要求されたコンテンツデータの読み出しを行い、この読み出しを制御して伝送路６０に応じたデータ量のコンテンツデータとなるようにフレームレート調整を行う。さらに、ＣＰＵ５５１は、伝送に適した符号化を行って伝送データＤＴzを生成する。この生成した伝送データＤＴzは、通信部５６２を介して出力される。
【００８３】
なお、コンテンツ伝送処理を行うプログラムは、予めＲＯＭ５５２やデータ蓄積部５５４に記憶させておくものとしたり、記録媒体ドライブ５６３によって、コンテンツ伝送処理のプログラムを記録媒体に記録しあるいは記録媒体に記録されているプログラムを読み出して実行するものとしても良い。さらに、通信部５６２によって、プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信したプログラムをコンピュータで実行するものとしても良い。
【００８４】
図１０は、コンテンツ伝送処理動作を示すフローチャートである。ステップＳＴ１１で、ＣＰＵ５５１は、コンテンツデータＤＣの取り込みを行い、信号入力部５６１に入力されたコンテンツデータＤＣをデータ蓄積部５５４に記憶させる。なお、コンテンツデータは、編集装置３０から供給されたデータに限られるものではなく、撮像装置１０で生成された素材データ等をコンテンツデータとしてデータ蓄積部５５４に記憶するものとしても良い。
【００８５】
ステップＳＴ１２で、ＣＰＵ５５１は、コンテンツデータの要求がなされたか否かを判別する。ここでコンテンツデータの要求がなされていないときにはステップＳＴ１２に戻り、コンテンツデータの要求が例えば通信部５６２を介してなされたときにはステップＳＴ１３に進む。
【００８６】
ステップＳＴ１３で、ＣＰＵ５５１は、要求されたコンテンツデータの付属情報を読み出してステップＳＴ１４に進む。
【００８７】
ステップＳＴ１４で、ＣＰＵ５５１は、伝送路の帯域を検出し、検出された帯域に応じて、データ蓄積部５５４から読み出すコンテンツデータを、フレーム識別情報を利用して制御することによりフレームレート調整を行う。
【００８８】
ステップＳＴ１５で、ＣＰＵ５５１は、読み出したコンテンツデータＤＣzaの付属情報ＤＭzaを、調整されたフレームレートと対応するように修正して付属情報ＤＭzとする。ステップＳＴ１６で、ＣＰＵ５５１は、付属情報の修正がなされたコンテンツデータＤＣzを用いて伝送路に応じた符号化処理を行い符号化データＤＺを生成する。さらに、生成した符号化データＤＺと修正後の付属情報ＤＭzを用いて、伝送データＤＴzを生成してステップＳＴ１７に進む。
【００８９】
ステップＳＴ１７で、ＣＰＵ５５１は、コンテンツデータの要求先に向けて、生成した伝送データＤＴzを通信部５６２から出力する。
【００９０】
次に、コンテンツ再生装置について説明する。図１１は、コンテンツ再生装置７０の構成を示している。コンテンツ伝送装置５０から供給された伝送信号ＴＭzは、入力部７１の通信回路７１１に供給される。入力部７１はコンテンツデータの取り込みを行うものであり、入力部７１の通信回路７１１は、供給された伝送信号ＴＭzから伝送データＤＴzを生成し、この伝送データＤＴzから符号化データＤＺと付属情報ＤＭzを抽出する。さらに、通信回路７１１は、抽出した付属情報ＤＭzを情報記憶回路７１２に供給し、符号化データＤＺをデータ保持回路７１３に供給する。また通信回路７１１は、後述する再生制御部７２からのコンテンツ要求信号ＲＱに基づき伝送信号ＴＭrqを生成して、コンテンツ伝送装置５０に供給する。
【００９１】
情報記憶回路７１２は、供給された付属情報ＤＭzを記憶する。またデータ保持回路７１３は、供給された符号化データＤＺを記憶する。
【００９２】
再生制御部７２にはユーザインタフェース部７３が接続されている。再生制御部７２は、ユーザインタフェース部７３からの操作信号ＰＳpがコンテンツデータの要求を行うものであるとき、操作信号ＰＳpに基づいたコンテンツ要求信号ＲＱを生成して通信回路７１１に供給することで、コンテンツ伝送装置５０に対してコンテンツデータの伝送要求を行う。
【００９３】
また、操作信号ＰＳpがコンテンツデータの再生を指示するものであるとき、再生制御部７２は、読出制御信号ＣＮをデータ保持回路７１３に供給して、再生の指示が行われたコンテンツの符号化データＤＺをデータ保持回路７１３から読み出して再生処理部７４に供給する。さらに、再生制御部７２は、読み出した符号化データＤＺに対応する付属情報ＤＭzを情報記憶回路７１２から読み出して、付属情報ＤＭzに含まれている情報を表示する映像データＤＶs、例えば付属情報ＤＭzに含まれている制限情報に基づき再生可能速度範囲を示す映像データ、付属情報ＤＭzにタイムコード等の時間情報が含まれているとき、この時間情報で示された合計時間や再生位置の時間等を示す映像データを生成して再生処理部７４に供給する。これにより、テレビジョン装置やモニター装置等であるコンテンツ提示装置８０の画面上に再生可能速度範囲や合計時間および再生位置の時間等が表示される。また、付属情報ＤＭzに速度範囲情報が含まれていないときには、上述の編集装置３０において示したように再生可能速度範囲の設定を行う。設定された再生可能速度範囲は、コンテンツ提示装置８０の画面上に表示される。操作信号ＰＳpがコンテンツの再生速度ＦＰを可変するものであるとき、再生制御部７２は、再生処理部７４の動作を制御する提示制御信号ＣＰを付属情報ＤＭzに基づき生成して再生処理部７４に供給する。
【００９４】
また、再生制御部７２は、付属情報ＤＭzによってコンテンツの再生可能な最高速度が示されているとき、再生速度ＦＰの可変範囲の最高速度を、付属情報ＤＭzで示された最高速度とする。さらに、付属情報ＤＭzによって推奨再生速度が示されている場合、操作信号ＰＳpによって再生速度が指示されていないときには、再生制御部７２は、この推奨再生速度で再生動作を行うように提示制御信号ＣＰを生成する。なお、付属情報ＤＭzによって、コンテンツのタイトルや時間長が示されているとき、再生制御部７２は、これらの情報をコンテンツ提示装置８０の画面上に表示させる。
【００９５】
コンテンツの可変速再生を行う再生処理部７４は、データ保持回路７１３から供給された符号化データＤＺの復号化処理を行い、コンテンツの映像データＤＶzや音声データＤＡzを生成する。再生処理部７４は、さらに、生成した映像データＤＶzや音声データＤＡzに対して提示制御信号ＣＰに基づきフレーム識別情報ＤＭz-BNを利用した間引きや繰り返し処理を行い、ユーザの設定した再生速度ＦＰあるいは推奨再生速度と等しい再生速度ＦＰに応じた映像信号Ｓvzや音声信号Ｓazを生成してコンテンツ提示装置８０に供給することで、コンテンツ提示を行う。また、再生処理部７４は、再生速度ＦＰの可変範囲を示す映像データＤＶsが供給されたとき、この再生速度ＦＰの可変範囲をコンテンツ提示装置８０の画面上に表示する映像信号Ｓvzの生成を行う。
【００９６】
なお、符号化データＤＺがフレーム内符号化データで構成されているとき、再生処理部７４は、データ保持回路７１３から提示制御信号ＣＰに基づき、符号化データＤＺをフレーム単位で間引きして読み出すものとしても良い。この場合には、間引きされてしまう映像データの復号化を行う必要がなく、復号化処理を容易に行うことができる。
【００９７】
また、コンテンツ再生装置７０は、コンテンツデータが記録されている記録媒体を用いるものであっても良い。この場合、記録媒体を再生して得られた再生信号から付属情報ＤＭzと符号化データＤＺを分離して、この付属情報ＤＭzを情報記憶回路７１２に記憶させ、符号化データＤＺをデータ保持回路７１３に記憶させることで、同様に処理することができる。
【００９８】
ところで、上述のコンテンツ再生装置７０のコンテンツ再生処理も、コンピュータでソフトウェア処理することによって実現できる。このソフトウェア処理によってコンテンツ再生を行う場合の構成を図１２に示す。
【００９９】
コンピュータは、図１２に示すようにＣＰＵ７５１を内蔵しており、このＣＰＵ７５１にはバス７６０を介してＲＯＭ７５２，ＲＡＭ７５３，データ蓄積部７５４，入出力インタフェース７５５が接続されている。さらに、入出力インタフェース７５５には通信部７６１やユーザインタフェース部７６２、信号出力部７６３、記録媒体ドライブ７６４が接続されている。
【０１００】
ＣＰＵ７５１は、ＲＯＭ７５２やＲＡＭ７５３あるいはデータ蓄積部７５４に記憶されているプログラムを実行して、ユーザインタフェース部７６２からの操作信号ＰＳpに基づいたコンテンツ伝送処理動作を行う。ここで、通信部７６１に伝送データＤＴzが供給されたとき、通信部７６１は、符号化データＤＺと付属情報ＤＭzを抽出する。この通信部７６１で抽出された符号化データＤＺと付属情報ＤＭzをデータ蓄積部７５４に記憶させる。また、ＣＰＵ７５１は、ユーザインタフェース部７６２からの操作信号ＰＳpに基づいて、データ蓄積部７５４に記憶されている符号化データＤＺの読み出しや復号化処理を行い、映像データＤＶzや音声データＤＡzを生成して信号出力部７６３に供給する。信号出力部７６３は、映像データＤＶzや音声データＤＡzに基づき、コンテンツ提示装置８０に応じた映像信号Ｓvzや音声信号Ｓazを生成して出力する。
【０１０１】
なお、コンテンツ再生処理を行うプログラムは、予めＲＯＭ７５２やデータ蓄積部７５４に記憶させておくものとしたり、記録媒体ドライブ７６４によって、コンテンツ再生処理のプログラムを記録媒体に記録しあるいは記録媒体に記録されているプログラムを読み出して実行するものとしても良い。さらに、通信部７６１によって、プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信したプログラムをコンピュータで実行するものとしても良い。
【０１０２】
図１３は、コンテンツ再生処理動作を示すフローチャートである。コンテンツデータを再生する場合、ＣＰＵ７５１は、ＧＵＩ環境を構成するための画像をコンテンツ提示装置８０に表示させるとともに、この表示画像に対応した操作をユーザインタフェース部７６２で行うことで操作入力を行う。
【０１０３】
図１４は、コンテンツ提示装置８０の表示画像を例示したものであり、コンテンツ提示装置８０はＧＵＩのための画像を表示する。コンテンツ提示装置８０の画面上には、コンテンツの画像を表示するビュワー部８０１、再生速度ＦＰを可変するためのインタフェースである速度可変コンソール部８０２、再生速度ＦＰを表示する再生速度表示部８０３、動作モードや音量等の切り換えを行うための動作コントロール部８０４、コンテンツのタイトルを示すタイトル表示部８０５、コンテンツの再生時間や現在の時間を表示する時間表示部８０６、現在の再生位置を示す再生位置表示部８０７等が設けられている。
【０１０４】
ＣＰＵ７５１は、図１３のステップＳＴ２１で、データ蓄積部７５４からコンテンツの付属情報ＤＭzを読み出して、入出力インタフェース７５５を介して信号出力部７６３からコンテンツ提示装置８０に、付属情報ＤＭzに基づいて生成された映像信号Ｓvzや音声信号Ｓazを出力する。これにより、コンテンツ提示装置８０で付属情報ＤＭｚに応じた表示が行われる。例えばコンテンツのタイトルやコンテンツの時間長がタイトル表示部８０５や時間表示部８０６に表示される。また速度範囲情報に基づき最低速度と最高速度が速度可変コンソール部８０２に表示される。
【０１０５】
ステップＳＴ２２でＣＰＵ７５１は、動作コントロール部８０４を利用して、コンテンツの再生開始操作が行われたか否かを操作信号ＰＳpに基づき識別する。ここで、再生開始操作が行われていないとき、ＣＰＵ７５１はステップＳＴ２２に戻り、再生開始操作が行われたときにはステップＳＴ２３に進む。
【０１０６】
ステップＳＴ２３でＣＰＵ７５１は、再生速度ＦＰと設定フレームレートＦＲsに応じて再生処理条件の設定、すなわち符号化データＤＺを復号化して得られた映像データＤＶzや音声データＤＡzから映像信号Ｓvzや音声信号Ｓazを生成する際に行うデータの間引き間隔やデータの繰り返し数を決定する。
【０１０７】
ステップＳＴ２４でＣＰＵ７５１は、データ蓄積部７５４から符号化データＤＺを読み出して復号化して映像データＤＶzや音声データＤＡzを生成し、ステップＳＴ２３で決定された再生処理条件に基づき、フレーム識別情報ＤＭz-BNを利用してデータの間引きやデータの繰り返し行い、コンテンツ提示用の映像信号Ｓvzや音声信号Ｓazを生成する。ＣＰＵ７５１は、この生成した映像信号Ｓvzや音声信号Ｓazをコンテンツ提示装置８０に供給することで、速度可変コンソール部８０２のカーソル位置（太線で示す）で示された再生速度ＦＰの再生画像がコンテンツ提示装置８０のビュワー部８０１に表示される。また、このときの再生速度ＦＰが再生速度表示部８０３に表示され、再生時間や再生位置が時間表示部８０６や再生位置表示部８０７に表示される。また、コンテンツ提示装置８０は、速度可変コンソール部８０２のカーソル位置で示された再生速度ＦＰでの再生音声を出力する。
【０１０８】
ステップＳＴ２５でＣＰＵ７５１は、速度可変コンソール部８０２のカーソル位置が移動されて再生速度ＦＰが変更されたか否かを識別する。ここで、ＣＰＵ７５１は、再生速度ＦＰの変更が行われたと識別したときステップＳＴ２３に戻り、再生速度ＦＰの変更が行われたと識別していないときステップＳＴ２６に進む。
【０１０９】
ステップＳＴ２６でＣＰＵ７５１は、再生動作の終了であるか否かを識別する。ここで、再生動作を停止する操作が行われていないとき、あるいはコンテンツの再生位置が終了位置となっていないとき、ＣＰＵ７５１はステップＳＴ２５に戻る。また、停止操作が行われたとき、あるいは再生位置が終了位置となったとき、ＣＰＵ７５１は変速再生動作を終了する。
【０１１０】
図１５は、画像に対しての再生処理条件の設定動作を示すフローチャートである。ＣＰＵ７５１は、ステップＳＴ３１で、速度可変コンソール部８０２のカーソル位置に基づいて再生速度ＦＰを識別してステップＳＴ３２に進む。ここで、基準フレームレートＦＲrを１倍速として、速度可変コンソール部８０２でのカーソルの初期位置を例えば１倍速の位置とすることで、再生動作開始時の再生速度ＦＰを設定する。また、編集装置３０によって再生速度ＦＰが推奨されているとき、ＣＰＵ７５１は、この推奨されている再生速度ＦＰの位置をカーソルの初期位置とし、推奨されている再生速度ＦＰを、再生動作開始時の再生速度ＦＰと設定する。さらに、カーソル位置がユーザによって移動されているとき、ＣＰＵ７５１はカーソル位置と対応する速度を再生速度ＦＰとする。
【０１１１】
ステップＳＴ３２でＣＰＵ７５１は、付属情報ＤＭzに含まれているフレームレート情報ＤＭz-FRsに基づいて設定フレームレートＦＲsを識別してステップＳＴ３３に進む。ステップＳＴ３３でＣＰＵ７５１は、再生速度ＦＰと設定フレームレートＦＲsを乗算して、再生処理条件を決定するための識別値ＦＤを算出する。
【０１１２】
ステップＳＴ３４でＣＰＵ７５１は、識別値ＦＤに基づいて再生処理条件を決定する。ここで、ＣＰＵ７５１は、識別値ＦＤが１以上で小数点以下の値を含まないとき、識別値ＦＤに応じたフレーム間隔で画像を間引いて出力するように再生処理条件を決定する。ＣＰＵ７５１は、識別値ＦＤが１以上で小数点以下の値を含む場合、識別値ＦＤの整数値部分に応じたフレーム間隔でフレーム識別情報ＤＭz-BNを利用して画像の間引きを行い、所望の再生速度に応じたフレーム数の画像が得られたときには、サブフレーム番号ＢＮの次の初期値まで画像の位置を移動させるように再生処理条件を決定する。ＣＰＵ７５１は、識別値ＦＤが１未満である場合、所望の再生速度に応じたフレーム数となるまで同じ画像を繰り返し出力するように再生処理条件を決定する。このように決定された再生処理条件に基づいて上述のステップＳＴ２４の処理を行うことで、正しく所望の再生速度でコンテンツの画像を提示させることができる。
【０１１３】
図１６は、識別値ＦＤが１以上で小数点以下の値を含まない場合での再生動作を示している。図１６Ａは、設定フレームレートＦＲsが基準フレームレートＦＲrに対して１０倍速とされているときの映像データＤＶzに基づく画像を示している。また図１６Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図１６Ｃはフレーム画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭz-BN、図１６Ｄは絶対フレーム番号ＡＮをそれぞれ示している。
【０１１４】
ここで、再生速度ＦＰが（１／５）倍速とされたとき、識別値ＦＤは「１０×（１／５）＝２」となる。このため、図１６Ｅ〜図１６Ｇに示すように、「ＦＤ＝２」フレーム目毎、すなわちフレーム識別情報ＤＭz-BNを利用して映像データＤＶzを１フレーム置きに用いて映像信号Ｓvzを生成することで、（１／５）倍速での再生画像をコンテンツ提示装置８０に表示できる。なお、図１６Ｅは表示される画像のフレーム識別情報ＤＭz-BN、図１６Ｆは表示される画像の絶対フレーム番号ＡＮ、図１６Ｆは表示される画像のフレーム識別情報ＤＭz-BN、図１６Ｇは映像信号Ｓvzで表示されるフレーム画像を示している。
【０１１５】
再生速度ＦＰが１倍のとき、識別値ＦＤは「１０×１＝１０」となる。このため、図１６Ｈ〜図１６Ｊに示すように、「ＦＤ＝１０」フレーム目毎、すなわちフレーム識別情報ＤＭz-BNを利用して映像データＤＶzを９フレーム分飛ばしながら用いて映像信号Ｓvzを生成することで、１倍速の再生画像をコンテンツ提示装置８０に表示できる。なお、図１６Ｈは表示される画像のフレーム識別情報ＤＭz-BN、図１６Ｉは表示される画像の絶対フレーム番号ＡＮ、図１６Ｊは映像信号Ｓvzで表示されるフレーム画像を示している。
【０１１６】
また、再生速度ＦＰが２倍のとき、識別値ＦＤは「１０×２＝２０」となる。このため、図１６Ｋ〜図１６Ｍに示すように、「ＦＤ＝２０」フレーム目毎、すなわちフレーム識別情報ＤＭz-BNを利用して映像データＤＶzを１９フレーム分飛ばしながら用いて映像信号Ｓvzを生成することで、２倍速の再生画像をコンテンツ提示装置８０に表示できる。なお、図１６Ｋは表示される画像のフレーム識別情報ＤＭz-BN、図１６Ｌは表示される画像の絶対フレーム番号ＡＮ、図１６Ｍは映像信号Ｓvzで表示されるフレーム画像を示している。
【０１１７】
図１７は、識別値ＦＤが１以上で小数点以下の値を含まない場合での再生動作を示している。図１７Ａは、設定フレームレートＦＲsが基準フレームレートＦＲrに対して７倍速とされているときのフレーム画像を示している。また図１７Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図１７Ｃはフレーム画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭz-BN、図１７Ｄは絶対フレーム番号ＡＮをそれぞれ示している。
【０１１８】
ここで、再生速度ＦＰが（１／３）倍速であるとき、識別値ＦＤは「７×（１／３）＝２．３３・・・」となる。このため、図１７Ｅ〜図１７Ｇに示すように、識別値ＦＤの整数値部分に応じて２フレーム目毎すなわちフレーム識別情報ＤＭz-BNを利用して１フレーム置きに映像データＤＶzを用いる。さらに、所望の再生速度に応じたフレーム数、すなわち（１／３）倍速であるから、基準フレームレートＦＲrの１フレーム期間中に３フレーム分の画像を出力したときには、サブフレーム番号ＢＮの次の初期値まで用いる映像データＤＶzの位置を移動させる。この場合、サブフレーム番号ＢＮが「０」「２」「４」の映像データＤＶzを用いて映像信号Ｓvzが順次生成されて、（１／３）倍速の再生画像をコンテンツ提示装置８０に表示できる。なお、図１７Ｅは表示される画像のフレーム識別情報ＤＭz-BN、図１７Ｆは表示される画像の絶対フレーム番号ＡＮ、図１７Ｇは映像信号Ｓvzで表示されるフレーム画像を示している。
【０１１９】
図１８は、識別値ＦＤが１未満となる場合での再生動作を示している。図１８Ａは、設定フレームレートＦＲsが基準フレームレートＦＲrに対して（１／４）倍速とされているときのフレーム画像を示している。また図１８Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図１８Ｃはフレーム画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭz-BN、図１８Ｄは絶対フレーム番号ＡＮをそれぞれ示している。
【０１２０】
ここで、再生速度ＦＰが１倍速とされたとき、識別値ＦＤは「（１／４）×１＝１／４」となる。このため、図１８Ｅ〜図１８Ｇに示すように、再生速度に応じたフレーム数すなわち映像データＤＶzをフレーム毎に４回繰り返し用いて映像信号Ｓvzを生成することで、１倍速での再生画像をコンテンツ提示装置８０に表示できる。なお、図１８Ｅは表示される画像のフレーム識別情報ＤＭz-BN、図１８Ｆは表示される画像の絶対フレーム番号ＡＮ、図１８Ｇは映像信号Ｓvzで表示されるフレーム画像を示している。
【０１２１】
再生速度ＦＰが２倍速であるとき、識別値ＦＤは「（１／４）×２＝１／２」となる。このため、図１８Ｈ〜図１８Ｊに示すように、映像データＤＶzをフレーム毎に２回繰り返し用いて映像信号Ｓvzを生成することで、２倍速での再生画像をコンテンツ提示装置８０に表示できる。なお、図１８Ｈは表示される画像のフレーム識別情報ＤＭz-BN、図１８Ｉは表示される画像の絶対フレーム番号ＡＮを示しており、図１８Ｊは映像信号Ｓvzで表示される表示されるフレーム画像を示している。
【０１２２】
再生速度ＦＰが４倍速であるとき、識別値ＦＤは「（１／４）×４＝１」となる。このため、図１８Ｋ〜図１８Ｍに示すように、映像データＤＶzをフレーム毎に順次用いて映像信号Ｓvzを生成することで、４倍速での再生画像をコンテンツ提示装置８０に表示できる。なお、図１８Ｋは表示される画像のフレーム識別情報ＤＭz-BN、図１８Ｌは表示される画像の絶対フレーム番号ＡＮを示しており、図１８Ｍは映像信号Ｓvzで表示される表示されるフレーム画像を示している。
【０１２３】
このように、記録速度と再生速度に基づいた読出間隔で画像のデータを、フレーム識別情報を利用して読み出すことで、所望の再生速度の画像を簡単に表示できる。
【０１２４】
次に、音声について説明する。図１９は、音声に対しての再生処理条件の設定動作を示すフローチャートである。音声については、フレーム単位で音声データＤＡzを用いるものとしたとき、フレーム間で音のつながりがなくなり音の不連続を生じてしまう。このため、音声については、サンプル単位で再生処理を行う。
【０１２５】
ステップＳＴ４１でＣＰＵ７５１は、ステップＳＴ３１と同様にして再生速度を判別してステップＳＴ４２に進む。ステップＳＴ４２でＣＰＵ７５１は、ステップＳＴ３２と同様に設定フレームレートＦＲsを読み出してステップＳＴ４３に進む。ステップＳＴ４３でＣＰＵ７５１は、ステップＳＴ３３と同様に識別値ＦＤを算出してステップＳＴ４４に進む。
【０１２６】
ステップＳＴ４４でＣＰＵ７５１は、識別値ＦＤに基づいて再生処理条件を決定する。ここで識別値ＦＤが１以上で小数点以下の値を含まないときには、識別値ＦＤに応じたサンプル間隔で音声データの間引きを行うように再生処理条件を決定する。識別値ＦＤが１以上で小数点以下の値を含む場合、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍数分のフレームから、識別値ＦＤの整数値部分に応じたサンプル間隔で音声データの間引きを行い、再生速度分の音声データを読み出すように再生処理条件を決定する。識別値ＦＤが１未満である場合には、所望の再生速度に応じたフレーム数分のサンプル数となるように音声データを繰り返し用いるよう再生処理条件を決定する。このように決定された再生処理条件に基づいて上述のステップＳＴ２４の処理を行うことで、正しく所望の再生速度でコンテンツの音声を提示させることができる。
【０１２７】
図２０は、識別値ＦＤが１以上で小数点以下の値を含まない場合での音声再生動作を示している。図２０Ａは絶対フレーム番号ＡＮ、図２０Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図２０Ｃはフレーム画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭz-BNをそれぞれ示している。
【０１２８】
ここで、再生速度ＦＰが（１／５）倍速とされたとき、設定フレームレートＦＲsは基準フレームレートＦＲrに対して１０倍速とされていることから、識別値ＦＤは「１０×（１／５）＝２」となる。このため、「ＦＤ＝２」サンプル目毎すなわち１サンプル置きに音声データＤＡzを用いて音声信号Ｓazを生成することで、１倍速での再生音声をコンテンツ提示装置８０から出力できる。なお、図２０Ｄは、映像信号Ｓvzの生成に用いられるフレームを示しており、図２０Ｅは音声データＤＡzが１４サンプル／フレームであるとき、音声信号Ｓazで用いられる音声データを示している。
【０１２９】
図２１は、識別値ＦＤが１以上で小数点以下の値を含む場合での音声再生動作を示している。図２１Ａは絶対フレーム番号ＡＮ、図２１Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図２１Ｃはフレーム画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭz-BNをそれぞれ示している。
【０１３０】
ここで、再生速度ＦＰが（１／３）倍速とされたとき、設定フレームレートＦＲsは基準フレームレートＦＲrに対して７倍速とされていることから、識別値ＦＤは「７×（１／３）＝２．３・・・」となる。また、音声データＤＡzが１４サンプル／フレームであるとき、（１／３）倍速における１フレームのサンプル数は「１４×３／７＝６」となる。このため、識別値ＦＤの整数値部分に応じて２サンプル目毎すなわち１サンプル置きに音声データＤＡzを出力させるとともに、１フレームのサンプル数分である６サンプルの音声データＤＡzの出力がなされたときには、次のフレームの先頭に移動して１サンプル置きに音声データＤＡzを出力させるようにする。このように音声データＤＡzを選択して出力させることで、（１／３）倍速の再生音声を得ることができる。また、音声信号Ｓazに基づいて音声出力する場合にフィルタ処理を行うものとすれば、音声データＤＡzの間引きによる影響を少なくして良好な再生音声を出力できる。さらに、設定フレームレートＦＲsや再生速度ＦＰに応じて、固定的にサンプル飛ばしを行いフレーム終了時にサンプル数を合わせるものであることから、再生速度に応じた音声信号Ｓazの出力を簡単に行うことができる。なお、図２１Ｃは、映像信号Ｓvzの生成に用いられるフレームを示しており、図２１Ｄは音声データＤＡzが１４サンプル／フレームであるとき、音声信号Ｓazで用いられる音声データを示している。
【０１３１】
また、音声データＤＡzの間引きを行って音声信号Ｓazの生成する場合、音声データＤＡzの間隔が広くなって再生音が不連続となってしまうことがないように、音声信号Ｓazの生成に用いる音声データの間隔が略一定となるように間引きを行うものとしても良い。例えば設定フレームレートＦＲsが基準フレームレートＦＲrのＫＡ倍とされており、再生速度ＦＰが（１／ＫＢ）倍とされているとき、連続するＫＢサンプルの音声データＤＡzから略等間隔でＫＢサンプル分の音声データを取りだして、この取り出した音声データに基づいて音声信号Ｓazを生成する。このようにすれば、図２１に示す場合に比べて処理が複雑となるが、さらに良好な音質の再生音声を出力できる。
【０１３２】
識別値ＦＤが１未満である場合には、図示せずも画像のフレーム繰り返し数分だけ各音声データを繰り返して順次用いることで、所望の再生速度の音声データＤＡzを生成できる。
【０１３３】
このように、コンテンツ伝送側では、フレームレート情報と基準フレーム期間内に含まれるフレームを識別するフレーム識別情報を含む付属情報ＤＭzが、画像および／または音声を示す主データに連結されたコンテンツデータＤＣzの伝送が行われる。また、コンテンツ再生側では、フレームレート情報とフレーム識別情報を含む付属情報ＤＭzを利用して再生速度を可変して画像および／または音声のデータが再生される。このため、放送番組のように所定の再生速度の画像等を視聴できるだけでなく、ユーザの望む再生速度で画像等の視聴を行うことができる。例えば、設定フレームレートＦＲsを基準フレームレートＦＲrよりも大きくしてスポーツ中継等のコンテンツを生成すれば、従来の放送番組のようにコンテンツ提供側からスロー再生の画像が供給するまで待たなくとも、ユーザは通常は１倍速で見ながら、所望のシーンだけスローで見ることができる。
【０１３４】
また、コンテンツ伝送側では、フレーム識別情報を利用して伝送路の帯域に応じたフレームレート調整が行われるので、フレームレート調整を容易に行うことができる。また、コンテンツ再生側では、フレーム識別情報を利用することでフレーム単位でのデータ間引き等を簡単に行うことができるので、コンテンツの再生速度を容易に可変できる。
【産業上の利用可能性】
【０１３５】
以上のように、本発明は画像コンテンツ等を伝送して再生する場合に有用であり、特に再生時のフレームレートを制御する場合に好適である。
【図面の簡単な説明】
【０１３６】
【図１】コンテンツ伝送システムの全体構成を示す図である。
【図２】撮像装置の構成を示す図である。
【図３】撮像装置の他の構成を示す図である。
【図４】撮像装置の他の構成を示す図である。
【図５】映像データの付属情報の関係（その１）を示す図である。
【図６】映像データと付属情報の関係（その２）を示す図である。
【図７】編集装置の構成を示す図である。
【図８】コンテンツ伝送装置の構成を示す図である。
【図９】ソフトウェアでコンテンツ伝送を行う場合の構成を示す図である。
【図１０】コンテンツ伝送処理動作を示すフローチャートである。
【図１１】コンテンツ再生装置の構成を示す図である。
【図１２】ソフトウェアでコンテンツ再生を行う場合の構成を示す図である。
【図１３】コンテンツ再生処理動作を示すフローチャートである。
【図１４】コンテンツ提示装置の表示画像を示す図である。
【図１５】画像に対しての再生処理条件の設定動作を示すフローチャートである。
【図１６】画像再生動作（その１）を示す図である。
【図１７】画像再生動作（その２）を示す図である。
【図１８】画像再生動作（その３）を示す図である。
【図１９】音声に対しての再生処理条件の設定動作を示すフローチャートである。
【図２０】音声再生動作（その１）を示す図である。
【図２１】音声再生動作（その２）を示す図である。
【符号の説明】
【０１３７】
１０，１０a・・・撮像装置、１２・・・撮像部、１３，１７・・・信号処理部、１４，１８・・・制御部、１５・・・出力部、１６，３４，７３，７６２・・・ユーザインタフェース部、２０・・・音声入力装置、３０・・・編集装置、３１・・・素材取込部、３２・・・編集処理部、３３・・・編集制御部、３５・・・編集出力信号生成部、４０・・・編集画像表示装置、４１・・・編集音声出力装置、５０・・・コンテンツ伝送装置、５１・・・書込処理部、５２・・・伝送データ生成部、５３・・・伝送処理部、７０・・・コンテンツ再生装置、７１・・・入力部、７２・・・再生制御部、７４・・・再生処理部、８０・・・コンテンツ提示装置、１３１・・・カメラ処理回路、１３２・・・音声処理回路、１４１，１８１・・・撮像制御回路、１４２，１８２・・・タイミングジェネレータ、１７１・・・有効データ選別回路、１８３・・・有効フレーム信号生成回路、３１１・・・情報検出回路、３１２・・・データベース化処理回路、３２１・・・データ記憶装置、３２２・・・書込読出処理回路、３２３・・・信号編集回路、３５１・・・映像出力信号生成回路、３５２・・・音声出力信号生成回路、５２１・・・コンテンツ蓄積装置、５２２・・・読出処理回路、５２３・・・情報修正回路、５２４・・・エンコーダ、５５４，７５４・・・データ蓄積部、５６１・・・信号入力部、５６２・・・通信部、７１１・・・通信回路、７１２・・・情報記憶回路、７１３・・・データ保持回路、７６３・・・信号出力部
【図１】
2004180290.tif 000003
【図２】
2004180290.tif 000004
【図３】
2004180290.tif 000005
【図４】
2004180290.tif 000006
【図５】
2004180290.tif 000007
【図６】
2004180290.tif 000008
【図７】
2004180290.tif 000009
【図８】
2004180290.tif 000010
【図９】
2004180290.tif 000011
【図１０】
2004180290.tif 000012
【図１１】
2004180290.tif 000013
【図１２】
2004180290.tif 000014
【図１３】
2004180290.tif 000015
【図１４】
2004180290.tif 000016
【図１５】
2004180290.tif 000017
【図１６】
2004180290.tif 000018
【図１７】
2004180290.tif 000019
【図１８】
2004180290.tif 000020
【図１９】
2004180290.tif 000021
【図２０】
2004180290.tif 000022
【図２１】
2004180290.tif 000023