(57)【要約】【課題】複数の再生速度での再生処理を容易にするビデオストリームを生成できる編集装置を提供する。【解決手段】編集装置３００は、ハイスピードカメラ２２０の撮影速度倍率が４であると認識し、この認識した撮影速度倍率をビデオストリームのＭ値として設定する。編集装置３００は、ハイスピードカメラ２２０からのフレーム画像データをＭ値に基づき符号化して、Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャを有する表示用データを生成する。編集装置３００は、フレームレートを１倍に設定したシーケンスヘッダ、すなわち１倍の撮影速度で撮影された旨を示すシーケンスヘッダを生成する。編集装置３００は、表示用データおよびシーケンスヘッダを有するビデオストリームを生成する。【選択図】図１
2007221535.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置にて撮影された映像を表示装置で表示させるための映像データを生成するデータ処理装置であって、
前記撮影装置は、前記表示装置のフレームレートと異なる撮影速度で撮影したフレーム画像を表示させるためのフレーム画像データを出力可能であり、
前記映像データは、前記フレーム画像データをＭＰＥＧ（Motion Picture Experts Group）規格に基づき符号化したＩピクチャ、Ｐピクチャ、および、Ｂピクチャが表示順序で関連付けられた一連のデータ列構造を有する表示用データと、前記フレーム画像が所定の撮影速度で撮影された旨を示す撮影状態情報と、を有し、
前記撮影速度を認識する撮影速度認識手段と、
前記表示装置のフレームレートに対する前記撮影速度の倍率を撮影速度倍率として認識する撮影速度倍率認識手段と、
この認識された前記撮影速度倍率を、前記表示用データにおける前記Ｉピクチャおよび前記Ｐピクチャの間隔、または、前記Ｐピクチャ同士の間隔を表すＭ値として設定するＭ値設定手段と、
前記フレーム画像データを取得し、前記設定されたＭ値に基づき符号化した前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを生成する映像符号化手段と、
この生成された前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャに基づいて、前記表示用データを生成する表示用データ生成手段と、
前記フレーム画像が前記表示装置のフレームレートと等しい撮影速度で撮影された旨を示す前記撮影状態情報を生成する撮影状態情報生成手段と、
前記表示用データおよび前記撮影状態情報に基づいて、前記映像データを生成する映像データ生成手段と、
を具備したことを特徴としたデータ処理装置。
【請求項２】
請求項１に記載のデータ処理装置であって、
前記撮影装置は、前記表示装置のフレームレートよりも速い撮影速度で撮影可能である
ことを特徴としたデータ処理装置。
【請求項３】
請求項１または請求項２に記載のデータ処理装置であって、
前記撮影装置は、前記フレーム画像データの同期信号を出力可能であり、
前記撮影速度認識手段は、前記撮影装置から前記同期信号を取得して、この同期信号の周期に基づいて前記撮影速度を認識する
ことを特徴としたデータ処理装置。
【請求項４】
請求項１または請求項２に記載のデータ処理装置であって、
前記撮影装置は、前記撮影速度に関する撮影速度情報を出力可能であり、
前記撮影速度認識手段は、前記撮影装置から前記撮影速度情報を取得して、この撮影速度情報に基づいて前記撮影速度を認識する
ことを特徴としたデータ処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載のデータ処理装置であって、
集音装置で集音された音の集音データを取得し、この取得した集音データを基準のサンプリング周波数に前記撮影速度倍率を乗じたサンプリング周波数でサンプリングするサンプリング手段と、
このサンプリングされた前記集音データを符号化した符号化音データを生成する音符号化手段と、
この生成された前記符号化音データが音の出力順序で関連付けられた一連のデータ列構造を有する音出力用データを生成する音出力用データ生成手段と、
前記サンプリングされた前記集音データを前記基準のサンプリング周波数でサンプリングした旨を示すサンプリング状態情報を生成するサンプリング状態情報生成手段と、
前記音出力用データおよび前記サンプリング状態情報を有する音データを生成する音データ生成手段と、
を具備したことを特徴としたデータ処理装置。
【請求項６】
請求項５に記載のデータ処理装置であって、
前記映像データおよび前記音データを多重化した多重化データを生成する多重化データ生成手段を具備した
ことを特徴としたデータ処理装置。
【請求項７】
請求項１ないし請求項４のいずれかに記載のデータ処理装置と、このデータ処理装置に各種データを送受信可能に接続され撮影装置にて撮影された映像を表示させる制御をする出力制御装置と、を具備したデータ処理システムであって、
前記データ処理装置は、
前記映像データを前記出力制御装置へ送信するデータ送信手段を備え、
前記出力制御装置は、
前記データ処理装置からの前記映像データを受信するデータ受信手段と、
この受信された前記映像データの前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを復号して、前記フレーム画像データを出力する映像復号手段と、
前記映像データの前記撮影状態情報に基づいて、前記フレーム画像が前記表示装置のフレームレートと等しい撮影速度で撮影された旨を認識する撮影状態認識手段と、
入力操作に基づいて、前記映像復号手段に前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを復号させて前記フレーム画像データを前記表示装置に前記フレームレートで表示させて、所定の物体が実際の移動速度と異なる速度で移動する第１の映像を表示させる制御、または、前記Ｉピクチャおよび前記Ｐピクチャを復号させて前記フレーム画像データを前記フレームレートで表示させて、前記物体が実際の移動速度と略等しい速度で移動する第２の映像を表示させる制御をする表示制御手段と、
を備えた
ことを特徴としたデータ処理システム。
【請求項８】
請求項５または請求項６に記載のデータ処理装置と、このデータ処理装置に各種データを送受信可能に接続され撮影装置にて撮影された映像を表示させる制御および集音装置で集音された音を出力させる制御をする出力制御装置と、を具備したデータ処理システムであって、
前記データ処理装置は、
前記映像データおよび前記音データを前記出力制御装置へ送信するデータ送信手段を備え、
前記出力制御装置は、
前記データ処理装置からの前記映像データおよび音データを受信するデータ受信手段と、
この受信された前記映像データの前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを復号して、前記フレーム画像データを出力する映像復号手段と、
前記映像データの前記撮影状態情報に基づいて、前記フレーム画像が前記表示装置のフレームレートと等しい撮影速度で撮影された旨を認識する撮影状態認識手段と、
前記受信された前記音データの前記符号化音データを復号して前記集音データを出力する音復号手段と、
前記音データのサンプリング状態情報に基づいて、前記集音データが前記基準のサンプリング周波数でサンプリングされた旨を認識するサンプリング状態認識手段と、
入力操作に基づいて、前記映像復号手段に前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを復号させて前記フレーム画像データを前記表示装置に前記フレームレートで表示させて、所定の物体が実際の移動速度と異なる速度で移動する第１の映像を表示させる制御、または、前記Ｉピクチャおよび前記Ｐピクチャを復号させて前記フレーム画像データを前記フレームレートで表示させて、前記物体が実際の移動速度と略等しい速度で移動する第２の映像を表示させる制御をする表示制御手段と、
この表示制御手段で前記第１の映像を表示させる制御が実施される場合に、前記音復号手段に前記符号化音データを前記音出力順序通りに復号させて前記集音データを音出力装置から前記基準のサンプリング周波数で出力させて、実際に集音した音と異なる速度の第１の音を出力させる制御を実施し、前記表示制御手段で前記第２の映像を表示させる制御が実施される場合に、前記音出力順序が前記撮影速度倍率と等しい間隔毎の前記符号化音データを復号させて前記集音データを前記基準のサンプリング周波数で出力させて、実際に集音した音と略等しい速度の第２の音を出力させる制御を実施する音出力制御手段と、
を備えた
ことを特徴としたデータ処理システム。
【請求項９】
演算手段により、撮影装置にて撮影された映像を表示装置で表示させるための映像データを生成するデータ処理方法であって、
前記撮影装置は、前記表示装置のフレームレートと異なる撮影速度で撮影したフレーム画像を表示させるためのフレーム画像データを出力可能であり、
前記映像データは、前記フレーム画像データをＭＰＥＧ（Motion Picture Experts Group）規格に基づき符号化したＩピクチャ、Ｐピクチャ、および、Ｂピクチャが表示順序で関連付けられた一連のデータ列構造を有する表示用データと、前記フレーム画像が所定の撮影速度で撮影された旨を示す撮影状態情報と、を有し、
前記演算手段は、
前記撮影速度を認識し、
前記表示装置のフレームレートに対する前記撮影速度の倍率を撮影速度倍率として認識し、
この認識された前記撮影速度倍率を、前記表示用データにおける前記Ｉピクチャおよび前記Ｐピクチャの間隔、または、前記Ｐピクチャ同士の間隔を表すＭ値として設定し、
前記フレーム画像データを取得し、前記設定されたＭ値に基づき符号化した前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを生成し、
この生成された前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャに基づいて、前記表示用データを生成し、
前記フレーム画像が前記表示装置のフレームレートと等しい撮影速度で撮影された旨を示す前記撮影状態情報を生成し、
前記表示用データおよび前記撮影状態情報に基づいて、前記映像データを生成する
ことを特徴とするデータ処理方法。
【請求項１０】
演算手段を、請求項１ないし請求項６のいずれかに記載のデータ処理装置として機能させる
ことを特徴としたデータ処理プログラム。
【請求項１１】
請求項９に記載のデータ処理方法を演算手段に実行させる
ことを特徴としたデータ処理プログラム。
【請求項１２】
請求項１０または請求項１１に記載のデータ処理プログラムが演算手段にて読取可能に記録された
ことを特徴とするデータ処理プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを生成するデータ処理装置、そのシステム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、例えばＮＴＳＣ（National Television System Committee）方式でのフレームレートよりも高いフレームレート、すなわち高速で撮影された映像を記録媒体に記録する方法が知られている（例えば、特許文献１参照）。
【０００３】
この特許文献１に記載のものは、通常の速度で再生する場合に読み出す画像情報を、基本情報として光ディスクの内周に設けられた記録領域に連続的に記録する。さらに、低速再生時にしか読み出さない画像情報を、補間情報として光ディスクの外周に設けられた記録領域にまとめて記録する。
そして、低速再生する場合に、プライベートパケットに記述された補間情報開始アドレスを参照して、補間情報記録領域にアクセス可能な構成が採られている。
【０００４】
【特許文献１】特許第３６０４１８６号公報（第５頁−第９頁）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載のような構成では、低速で再生する場合、低速再生するための補間情報を読み出すために補間情報開始アドレスを参照する必要があり、低速再生処理が複雑になるおそれがあるという問題点が一例として挙げられる。
【０００６】
本発明の目的は、このような実情などに鑑みて、複数の再生速度での再生処理を容易にする映像データを生成可能なデータ処理装置、そのシステム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体を提供することである。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、撮影装置にて撮影された映像を表示装置で表示させるための映像データを生成するデータ処理装置であって、前記撮影装置は、前記表示装置のフレームレートと異なる撮影速度で撮影したフレーム画像を表示させるためのフレーム画像データを出力可能であり、前記映像データは、前記フレーム画像データをＭＰＥＧ（Motion Picture Experts Group）規格に基づき符号化したＩピクチャ、Ｐピクチャ、および、Ｂピクチャが表示順序で関連付けられた一連のデータ列構造を有する表示用データと、前記フレーム画像が所定の撮影速度で撮影された旨を示す撮影状態情報と、を有し、前記撮影速度を認識する撮影速度認識手段と、前記表示装置のフレームレートに対する前記撮影速度の倍率を撮影速度倍率として認識する撮影速度倍率認識手段と、この認識された前記撮影速度倍率を、前記表示用データにおける前記Ｉピクチャおよび前記Ｐピクチャの間隔、または、前記Ｐピクチャ同士の間隔を表すＭ値として設定するＭ値設定手段と、前記フレーム画像データを取得し、前記設定されたＭ値に基づき符号化した前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを生成する映像符号化手段と、この生成された前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャに基づいて、前記表示用データを生成する表示用データ生成手段と、前記フレーム画像が前記表示装置のフレームレートと等しい撮影速度で撮影された旨を示す前記撮影状態情報を生成する撮影状態情報生成手段と、前記表示用データおよび前記撮影状態情報に基づいて、前記映像データを生成する映像データ生成手段と、を具備したことを特徴としたデータ処理装置である。
【０００８】
請求項７に記載の発明は、請求項１ないし請求項４のいずれかに記載のデータ処理装置と、このデータ処理装置に各種データを送受信可能に接続され撮影装置にて撮影された映像を表示させる制御をする出力制御装置と、を具備したデータ処理システムであって、前記データ処理装置は、前記映像データを前記出力制御装置へ送信するデータ送信手段を備え、前記出力制御装置は、前記データ処理装置からの前記映像データを受信するデータ受信手段と、この受信された前記映像データの前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを復号して、前記フレーム画像データを出力する映像復号手段と、前記映像データの前記撮影状態情報に基づいて、前記フレーム画像が前記表示装置のフレームレートと等しい撮影速度で撮影された旨を認識する撮影状態認識手段と、入力操作に基づいて、前記映像復号手段に前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを復号させて前記フレーム画像データを前記表示装置に前記フレームレートで表示させて、所定の物体が実際の移動速度と異なる速度で移動する第１の映像を表示させる制御、または、前記Ｉピクチャおよび前記Ｐピクチャを復号させて前記フレーム画像データを前記フレームレートで表示させて、前記物体が実際の移動速度と略等しい速度で移動する第２の映像を表示させる制御をする表示制御手段と、を備えたことを特徴としたデータ処理システムである。
【０００９】
請求項８に記載の発明は、請求項５または請求項６に記載のデータ処理装置と、このデータ処理装置に各種データを送受信可能に接続され撮影装置にて撮影された映像を表示させる制御および集音装置で集音された音を出力させる制御をする出力制御装置と、を具備したデータ処理システムであって、前記データ処理装置は、前記映像データおよび前記音データを前記出力制御装置へ送信するデータ送信手段を備え、前記出力制御装置は、前記データ処理装置からの前記映像データおよび音データを受信するデータ受信手段と、この受信された前記映像データの前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを復号して、前記フレーム画像データを出力する映像復号手段と、前記映像データの前記撮影状態情報に基づいて、前記フレーム画像が前記表示装置のフレームレートと等しい撮影速度で撮影された旨を認識する撮影状態認識手段と、前記受信された前記音データの前記符号化音データを復号して前記集音データを出力する音復号手段と、前記音データのサンプリング状態情報に基づいて、前記集音データが前記基準のサンプリング周波数でサンプリングされた旨を認識するサンプリング状態認識手段と、入力操作に基づいて、前記映像復号手段に前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを復号させて前記フレーム画像データを前記表示装置に前記フレームレートで表示させて、所定の物体が実際の移動速度と異なる速度で移動する第１の映像を表示させる制御、または、前記Ｉピクチャおよび前記Ｐピクチャを復号させて前記フレーム画像データを前記フレームレートで表示させて、前記物体が実際の移動速度と略等しい速度で移動する第２の映像を表示させる制御をする表示制御手段と、この表示制御手段で前記第１の映像を表示させる制御が実施される場合に、前記音復号手段に前記符号化音データを前記音出力順序通りに復号させて前記集音データを音出力装置から前記基準のサンプリング周波数で出力させて、実際に集音した音と異なる速度の第１の音を出力させる制御を実施し、前記表示制御手段で前記第２の映像を表示させる制御が実施される場合に、前記音出力順序が前記撮影速度倍率と等しい間隔毎の前記符号化音データを復号させて前記集音データを前記基準のサンプリング周波数で出力させて、実際に集音した音と略等しい速度の第２の音を出力させる制御を実施する音出力制御手段と、を備えたことを特徴としたデータ処理システムである。
【００１０】
請求項９に記載の発明は、演算手段により、撮影装置にて撮影された映像を表示装置で表示させるための映像データを生成するデータ処理方法であって、前記撮影装置は、前記表示装置のフレームレートと異なる撮影速度で撮影したフレーム画像を表示させるためのフレーム画像データを出力可能であり、前記映像データは、前記フレーム画像データをＭＰＥＧ（Motion Picture Experts Group）規格に基づき符号化したＩピクチャ、Ｐピクチャ、および、Ｂピクチャが表示順序で関連付けられた一連のデータ列構造を有する表示用データと、前記フレーム画像が所定の撮影速度で撮影された旨を示す撮影状態情報と、を有し、前記演算手段は、前記撮影速度を認識し、前記表示装置のフレームレートに対する前記撮影速度の倍率を撮影速度倍率として認識し、この認識された前記撮影速度倍率を、前記表示用データにおける前記Ｉピクチャおよび前記Ｐピクチャの間隔、または、前記Ｐピクチャ同士の間隔を表すＭ値として設定し、前記フレーム画像データを取得し、前記設定されたＭ値に基づき符号化した前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャを生成し、この生成された前記Ｉピクチャ、前記Ｐピクチャ、および、前記Ｂピクチャに基づいて、前記表示用データを生成し、前記フレーム画像が前記表示装置のフレームレートと等しい撮影速度で撮影された旨を示す前記撮影状態情報を生成し、前記表示用データおよび前記撮影状態情報に基づいて、前記映像データを生成することを特徴とするデータ処理方法である。
【００１１】
請求項１０に記載の発明は、演算手段を、請求項１ないし請求項６のいずれかに記載のデータ処理装置として機能させることを特徴としたデータ処理プログラムである。
【００１２】
請求項１１に記載の発明は、請求項９に記載のデータ処理方法を演算手段に実行させることを特徴としたデータ処理プログラムである。
【００１３】
請求項１２に記載の発明は、請求項１０または請求項１１に記載のデータ処理プログラムが演算手段にて読取可能に記録されたことを特徴とするデータ処理プログラムを記録した記録媒体である。
【発明を実施するための最良の形態】
【００１４】
以下に、本発明の一実施の形態を図面に基づいて説明する。この一実施の形態では、撮影された映像および集音された音を記録しつつ、この記録した映像および音を複数の再生速度で再生表示可能な記録再生システムを例示して説明する。
なお、以下において、撮影された所定の物体、例えばボールが実際の移動速度と略等しい速度で移動する映像を、通常再生の映像と称し、実際の移動速度の１／４の速度で移動する映像を、スロー再生の映像と称する。さらに、集音した例えば歓声が実際の速度と略等しい速度の音を、通常再生の音と称し、実際の速度の１／４の音を、スロー再生の音と称する。
ここで、スロー再生時の映像および音が本発明の第１の映像および第１の音に対応し、通常再生時の映像および音が本発明の第２の映像および第２の音に対応する。
図１は、本発明の一実施の形態に係る記録再生システムの概略構成を示すブロック図である。図２は、編集装置の概略構成を示すブロック図である。図３は、ビデオストリームの概略構成を示す模式図である。図４は、集音データのサンプリング状態を示す概念図である。図５は、オーディオストリームの概略構成を示す模式図である。図６は、システムストリームの概略構成を示す模式図である。図７は、編集制御部の概略構成を示すブロック図である。図８は、記録再生装置の概略構成を示すブロック図である。図９は、記録再生制御部の概略構成を示すブロック図である。
【００１５】
〔記録再生システムの構成〕
図１において、１００はデータ処理システムとしての記録再生システムである。そして、この記録再生システム１００は、表示装置２００と、音出力装置としてのスピーカ２１０と、撮影装置としてのハイスピードカメラ２２０と、集音装置としてのマイクロフォン２３０と、データ処理装置としての編集装置３００と、出力制御装置としての記録再生装置５００と、を備えている。
【００１６】
表示装置２００は、記録再生装置５００に接続され、この記録再生装置５００からのビデオ信号に基づいて、所定の再生速度の映像を表示させる。この表示装置２００は、ＮＴＳＣ（National Television System Committee）方式のフレームレート、すなわち１秒あたり３０フレームの割合で、ビデオ信号の後述するフレーム画像データに基づくフレーム画像を切り替え表示して、所定の再生速度の映像を再生表示させる。
この表示装置２００としては、例えば液晶パネルや有機ＥＬ（Electro Luminescence）パネル、ＰＤＰ（Plasma Display Panel）、ＣＲＴ（Cathode-Ray Tube）、ＦＥＤ（Field Emission Display）、電気泳動ディスプレイパネルなどが例示できる。
なお、表示装置２００としては、ＮＴＳＣ方式に限らず、ＰＡＬ（Phase-Alternation Line system）方式や、ＳＥＣＡＭ方式のものを適用してもよい。
【００１７】
スピーカ２１０は、記録再生装置５００に接続され、この記録再生装置５００からのオーディオ信号に基づいて、所定の再生速度の音を出力させる。
【００１８】
ハイスピードカメラ２２０は、編集装置３００に着脱可能な構成を有している。このハイスピードカメラ２２０は、例えばボールなどの物体を１秒あたり１２０フレームの撮影速度、すなわち表示装置２００のフレームレートの４倍の撮影速度で撮影する。ここで、表示装置２００のフレームレートに対する撮影速度の倍率を、撮影速度倍率Ｎと称す。
そして、ハイスピードカメラ２２０は、１／１２０秒分のフレーム画像、すなわち１／１２０秒の撮影時間で撮影されたフレーム画像を表示させるためのフレーム画像データを適宜生成し、アナログのビデオ信号に変換して、垂直同期信号とともに編集装置３００へ出力する。
なお、ハイスピードカメラ２２０としては、表示装置２００のフレームレートの４倍の撮影速度のものに限らない。
【００１９】
マイクロフォン２３０は、編集装置３００に着脱可能な構成を有している。このマイクロフォン２３０は、周辺で発生している音を集音する。そして、この集音した音を出力させるための集音データを適宜生成し、アナログのオーディオ信号に変換して編集装置３００へ出力する。
なお、マイクロフォン２３０としては、編集装置３００に着脱可能な構成に限らず、例えば編集装置の図示しないケース体内部に配置される構成としてもよい。
【００２０】
編集装置３００は、記録再生装置５００に着脱可能な構成を有している。この編集装置３００は、ハイスピードカメラ２２０で撮影された映像と、マイクロフォン２３０で集音された音と、を編集して適宜保存する処理や、記録再生装置５００へ出力する処理をする。
そして、編集装置３００は、図２に示すように、ビデオＡ（Analog）／Ｄ（Digital）変換機３１０と、映像符号化手段、表示用データ生成手段、撮影状態情報生成手段、および、映像データ生成手段としてのＭＰＥＧ（Motion Picture Experts Group）ビデオ符号化機３２０と、撮影状態情報生成手段としてのシーケンスヘッダ編集機３３０と、オーディオＡ／Ｄ変換機３４０と、サンプリング手段としてのオーディオ編集機３５０と、音符号化手段、音出力用データ生成手段、サンプリング状態情報生成手段、および、音データ生成手段としてのオーディオ符号化機３６０と、多重化データ生成手段としてのＭＰＥＧシステムストリーム編集機３７０と、データ送信手段としてのＭＰＥＧストリーム送出機３８０と、ストレージ装置３９０と、オーサリング装置４００と、編集制御部４１０と、を備えている。
【００２１】
ビデオＡ／Ｄ変換機３１０は、ＭＰＥＧビデオ符号化機３２０と、編集制御部４１０と、に接続されている。また、ビデオＡ／Ｄ変換機３１０は、ハイスピードカメラ２２０に適宜接続される。
そして、ビデオＡ／Ｄ変換機３１０は、ハイスピードカメラ２２０から出力されるアナログのビデオ信号を取得し、デジタルのビデオ信号に変換してＭＰＥＧビデオ符号化機３２０へ出力する。また、ビデオ信号の垂直同期信号を、編集制御部４１０へ出力する。
【００２２】
ＭＰＥＧビデオ符号化機３２０は、シーケンスヘッダ編集機３３０と、編集制御部４１０と、に接続されている。
ＭＰＥＧビデオ符号化機３２０は、編集制御部４１０により制御され、ビデオＡ／Ｄ変換機３１０から出力されるビデオ信号のフレーム画像データを取得する。そして、ハイスピードカメラ２２０の撮影速度以上の速度でＭＰＥＧ規格に基づき符号化して、図３に示すような映像データとしてのビデオストリーム７２０を生成する。
【００２３】
具体的には、ＭＰＥＧビデオ符号化機３２０は、編集制御部４１０の制御により、ビデオＡ／Ｄ変換機３１０からのビデオ信号のフレーム画像データを符号化して、いわゆるＩピクチャ７３１と、Ｐピクチャ７３２と、Ｂピクチャ７３３と、を生成する。ＭＰＥＧビデオ符号化機３２０は、この符号化の際、編集制御部４１０からの後述するＭ値設定情報に基づいて、Ｉピクチャ７３１およびＰピクチャ７３２の間隔、または、Ｐピクチャ７３２同士の間隔を表すいわゆるＭ値として、撮影速度倍率Ｎが設定された旨を認識する。
そして、ＭＰＥＧビデオ符号化機３２０は、Ｍ値を撮影速度倍率Ｎ、すなわちＭ値を４としてフレーム画像データを符号化し、Ｉピクチャ７３１、Ｐピクチャ７３２、Ｂピクチャ７３３を生成する。さらに、これらＩピクチャ７３１、Ｐピクチャ７３２、Ｂピクチャ７３３が表示順序で関連付けられた一連のデータ列構造の表示用データ７３０を生成する。
【００２４】
また、ＭＰＥＧビデオ符号化機３２０は、表示用データ７３０に基づくフレーム画像の表示時のフレームレートとして、表示装置２００のフレームレートに撮影速度倍率Ｎを乗じたフレームレート（以下、Ｎ倍のフレームレートと称す）を記録した撮影状態情報としてのシーケンスヘッダ７４０を生成する。すなわち、フレーム画像が撮影速度倍率Ｎの撮影速度で撮影された旨のシーケンスヘッダ７４０を生成する。ここでは、４倍のフレームレートを記録したシーケンスヘッダ７４０を生成する。
そして、ＭＰＥＧビデオ符号化機３２０は、表示用データ７３０およびシーケンスヘッダ７４０を備えたビデオストリーム７２０を生成して、シーケンスヘッダ編集機３３０へ出力する。
【００２５】
シーケンスヘッダ編集機３３０は、ＭＰＥＧシステムストリーム編集機３７０と、ＭＰＥＧストリーム送出機３８０と、編集制御部４１０と、に接続されている。
シーケンスヘッダ編集機３３０は、ＭＰＥＧビデオ符号化機３２０からビデオストリーム７２０を取得する。そして、編集制御部４１０からの後述するシーケンスヘッダ変更情報に基づいて、このビデオストリーム７２０のシーケンスヘッダ７４０の内容を変更する。
具体的には、シーケンスヘッダ編集機３３０は、シーケンスヘッダ７４０に記録された４倍のフレームレートを、１倍のフレームレートに変更する。すなわち、フレーム画像が、撮影速度倍率Ｎではなく１倍の撮影速度で撮影された旨を記録したシーケンスヘッダ７４０を生成する。そして、このシーケンスヘッダ７４０の内容を変更したビデオストリーム７２０を、ＭＰＥＧシステムストリーム編集機３７０や、ＭＰＥＧストリーム送出機３８０へ適宜出力する。
【００２６】
オーディオＡ／Ｄ変換機３４０は、オーディオ編集機３５０に接続されている。また、オーディオＡ／Ｄ変換機３４０は、マイクロフォン２３０に適宜接続される。
そして、オーディオＡ／Ｄ変換機３４０は、マイクロフォン２３０から出力されるアナログのオーディオ信号を取得し、デジタルのオーディオ信号に変換してオーディオ編集機３５０へ出力する。
【００２７】
オーディオ編集機３５０は、オーディオ符号化機３６０と、編集制御部４１０と、に接続されている。
オーディオ編集機３５０は、編集制御部４１０により制御され、オーディオＡ／Ｄ変換機３４０から出力されるオーディオ信号の集音データを取得して、所定の周期でサンプリングする。
【００２８】
具体的には、オーディオ編集機３５０は、編集制御部４１０からの後述するサンプリング周期設定情報に基づいて、基準のサンプリング周波数に撮影速度倍率Ｎを乗じたサンプリング周波数でオーバサンプリングする旨を認識する。すなわち、図４に示すように、基準のサンプリング周波数に対応する周期Ｃ１ではなく、周期Ｃ１の１／４倍の周期Ｃ２でオーバサンプリングする旨を認識する。
そして、オーディオ編集機３５０は、集音データを周期Ｃ２でオーバサンプリングして、オーディオ符号化機３６０へ出力する。
【００２９】
オーディオ符号化機３６０は、ＭＰＥＧシステムストリーム編集機３７０と、編集制御部４１０と、に接続されている。
オーディオ符号化機３６０は、編集制御部４１０により制御され、オーディオ編集機３５０から出力される集音データを取得する。そして、例えばＭＰＥＧ規格に基づき符号化して、図５に示すような音データとしてのオーディオストリーム７６０を生成する。
【００３０】
具体的には、オーディオ符号化機３６０は、オーディオ編集機３５０にて周期Ｃ２でオーバサンプリングされた集音データを、例えばＭＰＥＧ規格に基づき順次符号化して、符号化音データ７７１を生成する。さらに、これら符号化音データ７７１が音出力順序で関連付けられた一連のデータ列構造の音出力用データ７７０を生成する。
【００３１】
また、オーディオ符号化機３６０は、音出力用データ７７０に基づく集音データが撮影速度倍率Ｎを乗じたサンプリング周波数の周期Ｃ２ではなく、基準のサンプリング周波数の周期Ｃ１でサンプリングされた旨を記録したサンプリング状態情報としてのオーディオヘッダ７８０を生成する。
そして、オーディオ符号化機３６０は、音出力用データ７７０およびオーディオヘッダ７８０を備えたオーディオストリーム７６０を生成して、ＭＰＥＧシステムストリーム編集機３７０へ出力する。
【００３２】
ＭＰＥＧシステムストリーム編集機３７０は、ＭＰＥＧストリーム送出機３８０と、オーサリング装置４００と、編集制御部４１０と、に接続されている。
ＭＰＥＧシステムストリーム編集機３７０は、編集制御部４１０により制御され、シーケンスヘッダ編集機３３０およびオーディオ符号化機３６０から、ビデオストリーム７２０およびオーディオストリーム７６０をそれぞれ適宜取得する。そして、図６に示すような多重化データとしてのシステムストリーム７００を生成する。
【００３３】
具体的には、ＭＰＥＧシステムストリーム編集機３７０は、ビデオストリーム７２０およびオーディオストリーム７６０をそれぞれ取得する。そして、これらを例えば出力順序で一連のデータ列構造として関連付ける。さらに、システムストリーム７００に関する各種情報を記録したシステムヘッダ７１０を生成する。
そして、ＭＰＥＧシステムストリーム編集機３７０は、システムヘッダ７１０、ビデオストリーム７２０、および、オーディオストリーム７６０を備えたシステムストリーム７００を生成して、ＭＰＥＧストリーム送出機３８０やオーサリング装置４００へ適宜出力する。
【００３４】
ＭＰＥＧストリーム送出機３８０は、編集制御部４１０に接続されている。また、ＭＰＥＧストリーム送出機３８０は、記録再生装置５００に適宜接続される。
ＭＰＥＧストリーム送出機３８０は、編集制御部４１０により制御され、シーケンスヘッダ編集機３３０からのビデオストリーム７２０を取得して、記録再生装置５００へ適宜送信する。また、ＭＰＥＧシステムストリーム編集機３７０からのシステムストリーム７００を取得して、記録再生装置５００へ適宜送信する。
【００３５】
ストレージ装置３９０は、オーサリング装置４００と、編集制御部４１０と、に接続されている。
ストレージ装置３９０は、ＤＶＤ（Digital Versatile Disc）１が着脱可能な構成を有している。このストレージ装置３９０は、編集制御部４１０により制御され、オーサリング装置４００により生成されたＤＶＤフォーマットのデータ（以下、ＤＶＤフォーマットデータと称す）を、ＤＶＤ１に適宜読み出し可能に記憶させる処理、すなわち保存する処理をする。
なお、ストレージ装置３９０としては、ＤＶＤ１に保存する構成に限らず、ＨＤ（Hard Disk）、光ディスク、メモリカードなどに保存する構成としてもよい。
【００３６】
オーサリング装置４００は、編集制御部４１０に接続されている。
オーサリング装置４００は、編集制御部４１０の制御により、ＭＰＥＧシステムストリーム編集機３７０からシステムストリーム７００を適宜取得する。そして、このシステムストリーム７００を、ＤＶＤ１に対応させてＤＶＤフォーマットデータに変換して、ストレージ装置３９０へ出力する。
【００３７】
編集制御部４１０は、図示しないメモリに記憶された各種プログラムとして、図７に示すように、撮影速度認識手段４１１と、撮影速度倍率認識手段としても機能するＭ値設定手段４１２と、システムストリーム生成制御手段４１３と、保存制御手段４１４と、送信制御手段４１５と、を備えている。
【００３８】
撮影速度認識手段４１１は、ビデオＡ／Ｄ変換機３１０に接続されたハイスピードカメラ２２０の撮影速度を認識する。
具体的には、撮影速度認識手段４１１は、ビデオＡ／Ｄ変換機３１０を介してハイスピードカメラ２２０から入力される垂直同期信号を取得する。そして、この垂直同期信号を取得する周期に基づいて、ハイスピードカメラ２２０の撮影速度を認識し、その旨の撮影速度認識情報をＭ値設定手段４１２へ出力する。
【００３９】
Ｍ値設定手段４１２は、Ｍ値を設定して、Ｍ値設定情報を生成する。
具体的には、Ｍ値設定手段４１２は、撮影速度認識手段４１１から撮影速度認識情報を取得して、ハイスピードカメラ２２０の撮影速度を認識する。そして、例えば従前に認識していた表示装置２００のフレームレートに対する撮影速度の倍率を撮影速度倍率Ｎとして認識する。そして、この撮影速度倍率ＮをＭ値として設定する旨のＭ値設定情報を生成して、ＭＰＥＧビデオ符号化機３２０へ出力する。
【００４０】
システムストリーム生成制御手段４１３は、システムストリーム７００を生成させる制御をする。
具体的には、システムストリーム生成制御手段４１３は、シーケンスヘッダ７４０に記録された４倍のフレームレートを、１倍のフレームレートに変更する旨のシーケンスヘッダ変更情報を生成して、シーケンスヘッダ編集機３３０へ出力する。そして、ＭＰＥＧビデオ符号化機３２０およびシーケンスヘッダ編集機３３０を制御して、Ｍ値が撮影速度倍率Ｎの値に設定された表示用データ７３０と、フレーム画像が１倍の撮影速度で撮影された旨のシーケンスヘッダ７４０と、を有するビデオストリーム７２０を生成させる。
また、システムストリーム生成制御手段４１３は、Ｍ値設定手段４１２で認識された撮影速度倍率Ｎに基準のサンプリング周波数を乗じたサンプリング周波数、すなわち周期Ｃ２でオーバサンプリングする旨のサンプリング周期設定情報を、オーディオ編集機３５０へ出力する。さらに、オーディオ編集機３５０およびオーディオ符号化機３６０を制御して、周期Ｃ２でオーバサンプリングされた音出力用データ７７０と、周期Ｃ１でサンプリングされた旨が記録されたオーディオヘッダ７８０と、を有するオーディオストリーム７６０を生成させる。
そして、システムストリーム生成制御手段４１３は、ＭＰＥＧシステムストリーム編集機３７０を制御して、システムストリーム７００を生成させる。
【００４１】
保存制御手段４１４は、オーサリング装置４００により生成されたＤＶＤフォーマットデータをＤＶＤ１に保存させる制御をする。
具体的には、保存制御手段４１４は、図示しない操作部の入力操作に基づいて、ＤＶＤフォーマットデータをＤＶＤ１に保存させる旨を認識すると、ＭＰＥＧシステムストリーム編集機３７０、オーサリング装置４００、ストレージ装置３９０を制御して、オーサリング装置４００により生成されたＤＶＤフォーマットデータをＤＶＤ１へ保存させる。
【００４２】
送信制御手段４１５は、システムストリーム７００やビデオストリーム７２０を記録再生装置５００へ送信させる制御をする。
具体的には、送信制御手段４１５は、入力操作に基づいて、ビデオストリーム７２０を記録再生装置５００へ送信させる旨を認識すると、シーケンスヘッダ編集機３３０を制御して、ビデオストリーム７２０をＭＰＥＧストリーム送出機３８０へ出力させる。また、ＭＰＥＧシステムストリーム編集機３７０で生成されたシステムストリーム７００を送信させる旨を認識すると、ＭＰＥＧシステムストリーム編集機３７０を適宜制御して、システムストリーム７００をＭＰＥＧストリーム送出機３８０へ出力させる。
そして、送信制御手段４１５は、ＭＰＥＧストリーム送出機３８０を制御して、取得させたビデオストリーム７２０やシステムストリーム７００を記録再生装置へ適宜送信させる。
【００４３】
記録再生装置５００は、システムストリーム７００を適宜保存する処理や、フレーム画像および音を出力させる処理をする。
そして、記録再生装置５００は、図８に示すように、入力手段５１０と、オーサリング装置５２０と、ストレージ装置５３０と、映像復号手段および音復号手段としての復号手段５４０と、メモリ５５０と、メモリ制御機５６０と、ビデオ信号生成機５７０と、オーディオ信号生成機５８０と、記録再生制御部５９０と、を備えている。
【００４４】
入力手段５１０は、記録再生制御部５９０に接続されている。
入力手段５１０は、例えば図示しないケース体の正面に配設され、入力操作される図示しない各種操作ボタンや操作つまみなどを有している。そして、設定事項の入力操作により、設定事項に対応する信号を記録再生制御部５９０へ適宜出力して設定入力させる。
【００４５】
オーサリング装置５２０は、ストレージ装置５３０と、記録再生制御部５９０と、に接続されている。また、オーサリング装置５２０は、編集装置３００に適宜接続される。
オーサリング装置５２０は、記録再生制御部５９０により制御され、編集装置３００から出力されるシステムストリーム７００やビデオストリーム７２０を取得する。そして、編集装置３００のオーサリング装置４００と同様の処理を実施して、ストレージ装置５３０へ出力する。
【００４６】
ストレージ装置５３０は、復号手段５４０と、記録再生制御部５９０と、に接続されている。
ストレージ装置５３０は、記録再生制御部５９０により制御され、編集装置３００のストレージ装置３９０と同様にＤＶＤ１が着脱可能な構成を有し、オーサリング装置５２０からのＤＶＤフォーマットデータをＤＶＤ１へ保存する。また、ＤＶＤ１のＤＶＤフォーマットデータを適宜読み出し、復号手段５４０へ出力する。
【００４７】
復号手段５４０は、メモリ制御機５６０と、記録再生制御部５９０と、に接続されている。
復号手段５４０は、記録再生制御部５９０の制御により、ストレージ装置５３０からＤＶＤフォーマットデータ、すなわちシステムストリーム７００を取得すると、このシステムストリーム７００のビデオストリーム７２０のＩピクチャ７３１、Ｐピクチャ７３２、Ｂピクチャ７３３を、１秒あたり３０フレームの復号速度、すなわち表示装置２００のフレームレートと等しい復号速度で、適宜選択的に復号する。そして、復号により得られたフレーム画像データを、メモリ制御機５６０へ出力するとともに、ビデオストリーム７２０のシーケンスヘッダ７４０を記録再生制御部５９０へ出力する。
【００４８】
また、復号手段５４０は、システムストリーム７００を取得すると、このシステムストリーム７００のビデオストリーム７２０に基づいて、上述したような処理をしてフレーム画像データをメモリ制御機５６０へ出力する。また、システムストリーム７００のオーディオストリーム７６０の符号化音データ７７１を適宜選択的に復号して、集音データをメモリ制御機５６０へ出力する。さらに、シーケンスヘッダ７４０と、オーディオストリーム７６０のオーディオヘッダ７８０と、を記録再生制御部５９０へ出力する。
なお、シーケンスヘッダ７４０やオーディオヘッダ７８０を、ストレージ装置５３０からを記録再生制御部５９０へ出力する構成としてもよい。
【００４９】
メモリ５５０は、メモリ制御機５６０に接続されている。
メモリ５５０は、メモリ制御機５６０から出力されるフレーム画像データや集音データを適宜読み出し可能に蓄積する。このメモリ５５０は、所定数のフレーム画像データや集音データを蓄積可能な容量を有している。
【００５０】
メモリ制御機５６０は、ビデオ信号生成機５７０と、オーディオ信号生成機５８０と、記録再生制御部５９０と、に接続されている。
メモリ制御機５６０は、記録再生制御部５９０により制御され、復号手段５４０から出力されるフレーム画像データや集音データを取得して、メモリ５５０に蓄積する。また、フレーム画像データを適宜取得して、再生する順序でビデオ信号生成機５７０へ出力する。さらに、集音データを適宜取得して、再生する順序でオーディオ信号生成機５８０へ出力する。
【００５１】
ビデオ信号生成機５７０は、表示装置２００に適宜接続される。
ビデオ信号生成機５７０は、メモリ制御機５６０から出力されるフレーム画像データを取得する。そして、表示装置２００に対応するビデオ信号に変換して、表示装置２００へ出力する。
【００５２】
オーディオ信号生成機５８０は、スピーカ２１０に適宜接続される。
オーディオ信号生成機５８０は、メモリ制御機５６０から出力される集音データを取得する。そして、スピーカ２１０に対応するオーディオ信号に変換して、スピーカ２１０へ出力する。
【００５３】
記録再生制御部５９０は、各種プログラムとして、図９に示すように、保存制御手段５９１と、撮影状態認識手段としても機能する表示制御手段５９２と、サンプリング状態認識手段としても機能する音出力制御手段５９３と、を備えている。
【００５４】
保存制御手段５９１は、編集装置３００の保存制御手段４１４と同様の処理を実施して、ＤＶＤフォーマットデータをＤＶＤ１に保存させる。
【００５５】
表示制御手段５９２は、システムストリーム７００やビデオストリーム７２０に基づいて、所定の再生状態の映像を表示装置２００で表示させる制御をする。
具体的には、表示制御手段５９２は、入力手段５１０から通常再生させる旨の信号を取得すると、Ｉピクチャ７３１、Ｐピクチャ７３２、Ｂピクチャ７３３を復号したフレーム画像データに基づく映像を表示させる旨を認識する。そして、ストレージ装置５３０、復号手段５４０、メモリ制御機５６０を制御して、所定のビデオストリーム７２０のＩピクチャ７３１、Ｐピクチャ７３２、Ｂピクチャ７３３を復号させて、フレーム画像データをメモリ５５０に蓄積させる。
【００５６】
さらに、表示制御手段５９２は、シーケンスヘッダ７４０を取得して、このシーケンスヘッダ７４０に基づいて、フレーム画像が１倍の撮影速度で撮影されたため、表示時のフレームレートを１倍のフレームレートに設定する旨を認識する。つまり、１秒あたり１２０フレームで撮影されているにも関わらず、１秒あたり３０フレームで撮影されているため、フレーム画像を表示順序通りに表示させることにより、通常再生の映像を表示できると認識する。
そして、メモリ制御機５６０およびビデオ信号生成機５７０を制御して、フレーム画像データのフレーム画像を表示順序通りに１倍で撮影されたものとして、表示装置２００で表示させる制御をする。
すなわち、表示制御手段５９２は、シーケンスヘッダ７４０に基づいて、実際には４倍で撮影されたフレーム画像を１倍で撮影されたものとして表示させるので、通常再生する旨の操作がされているにもかかわらず、１／４倍のスロー再生の映像を表示させる制御をする。
【００５７】
また、表示制御手段５９２は、入力手段５１０から早送り再生させる旨の信号を取得すると、Ｂピクチャ７３３を復号せずにＩピクチャ７３１およびＰピクチャ７３２を復号した映像を表示させる旨を認識する。つまり、１秒あたり１２０フレームで撮影されているにも関わらず、１秒あたり３０フレームで撮影されているため、表示順序が４ごとのフレーム画像を表示させることにより、早送り再生の映像を表示できると認識する。
そして、所定のビデオストリーム７２０のＩピクチャ７３１およびＰピクチャ７３２を復号させて、フレーム画像データを蓄積させる。すなわち、表示順序が４毎のフレーム画像データを蓄積させる。
【００５８】
さらに、表示制御手段５９２は、シーケンスヘッダ７４０を取得して、フレーム画像データのフレーム画像を４個毎に１倍で撮影されたものとして、表示装置２００で表示させる制御をする。
すなわち、表示制御手段５９２は、シーケンスヘッダ７４０に基づいて、実際には４倍で撮影されたフレーム画像を４個毎に１倍で撮影されたものとして表示させるので、早送り再生する旨の操作がされているにもかかわらず、１倍の通常再生の映像を表示させる制御をする。
【００５９】
音出力制御手段５９３は、システムストリーム７００に基づいて、所定の再生状態の音をスピーカ２１０で出力させる制御をする。
具体的には、音出力制御手段５９３は、通常再生させる旨の信号を取得すると、符号化音データ７７１を復号して、音出力順序通りに連続する集音データの音を出力させる旨を認識する。そして、復号手段５４０およびメモリ制御機５６０を制御して、所定のオーディオストリーム７６０の符号化音データ７７１を音出力順序通りに復号させて、集音データをメモリ５５０に蓄積させる。
【００６０】
さらに、音出力制御手段５９３は、オーディオヘッダ７８０を取得して、このオーディオヘッダ７８０に基づいて、集音データが周期Ｃ１でサンプリングされた旨を認識する。そして、メモリ制御機５６０およびビデオ信号生成機５７０を制御して、集音データの音を音出力順序通りに１倍でサンプリングされたものとして、スピーカ２１０から出力させる制御をする。
すなわち、音出力制御手段５９３は、オーディオヘッダ７８０に基づいて、実際には４倍でオーバサンプリングされた音を１倍でサンプリングされたものとして出力させるので、通常再生する旨の操作がされているにもかかわらず、１／４倍のスロー再生の映像に同期した１／４倍のスロー再生の音を出力させる制御をする。
【００６１】
また、音出力制御手段５９３は、早送り再生させる旨の信号を取得すると、音出力順序がＭ値に対応する数毎、すなわち４毎の符号化音データ７７１を復号した音を出力させる旨を認識する。そして、所定のオーディオストリーム７６０の符号化音データ７７１を音出力順序が４毎の符号化音データ７７１を復号させて、集音データを蓄積させる。
【００６２】
さらに、音出力制御手段５９３は、オーディオヘッダ７８０を取得して、音出力順序が４毎の集音データの音を周期Ｃ１でサンプリングされたものとして、出力させる制御をする。
すなわち、音出力制御手段５９３は、オーディオヘッダ７８０に基づいて、実際には４倍でオーバサンプリングされた音出力順序が４毎の音を１倍でサンプリングされたものとして出力させるので、早送り再生する旨の操作がされているにもかかわらず、通常再生の映像に同期した１倍の通常再生の音を出力させる制御をする。
【００６３】
〔記録再生システムの動作〕
次に、記録再生システム１００の動作を、図面を参照して説明する。
図１０は、システムストリームの保存処理を示すフローチャートである。図１１は、システムストリームの再生処理を示すフローチャートである。
【００６４】
（システムストリームの保存処理）
まず、記録再生システム１００の動作として、編集装置３００におけるシステムストリーム７００の保存処理について説明する。
【００６５】
編集装置３００は、ビデオＡ／Ｄ変換機３１０にて、図１０に示すように、ハイスピードカメラ２２０で撮影された映像のフレーム画像データおよび垂直同期信号を、カメラ入力信号として取得する（ステップＳ１０１）。そして、編集制御部４１０は、この取得した垂直同期信号に基づいて、撮影速度倍率Ｎを認識して（ステップＳ１０２）、Ｍ値設定情報を生成する。この後、このＭ値設定情報をＭＰＥＧビデオ符号化機３２０へ出力して、Ｍ値を撮影速度倍率Ｎに設定させる（ステップＳ１０３）。
また、編集制御部４１０は、シーケンスヘッダ変更情報をシーケンスヘッダ編集機３３０へ出力して、シーケンスヘッダ編集機３３０に４倍のフレームレートを１倍のフレームレートに変更する旨を認識させる処理を、フレームレートの設定処理として実施する（ステップＳ１０４）。さらに、サンプリング周期設定情報をオーディオ編集機３５０へ出力して、オーバサンプリングの周期を、基本のサンプリング周波数に撮影速度倍率Ｎを乗じたサンプリング周波数に対応する周期Ｃ２に設定させる（ステップＳ１０５）。
【００６６】
この後、編集装置３００は、ハイスピードカメラ２２０からのフレーム画像データと、マイクロフォン２３０からの集音データと、を符号化して（ステップＳ１０６）、システムストリーム７００を生成する（ステップＳ１０７）。そして、この生成したシステムストリーム７００をＤＶＤフォーマットデータに変換して（ステップＳ１０８）、ＤＶＤ１に保存する（ステップＳ１０９）。
【００６７】
（システムストリームの再生処理）
次に、記録再生システム１００の動作として、記録再生装置５００におけるシステムストリーム７００の再生処理について説明する。
【００６８】
記録再生装置５００は、記録再生制御部５９０にて、図１１に示すように、再生指示があるか否かを判断する（ステップＳ２０１）。このステップＳ２０１において、再生指示がないと判断した場合、例えば所定時間経過後にステップＳ２０１の処理を実施する。
一方、ステップＳ２０１において、再生指示があると判断した場合、この再生が指示されたＤＶＤフォーマットデータ、つまりシステムストリーム７００をＤＶＤ１から復号手段５４０に入力させる（ステップＳ２０２）。この後、記録再生制御部５９０は、指示された再生方法を判断する（ステップＳ２０３）。
【００６９】
そして、ステップＳ２０３において、通常再生が指示されたと判断した場合、復号手段５４０およびメモリ制御機５６０に、Ｉピクチャ７３１、Ｐピクチャ７３２、Ｂピクチャ７３３を復号して再生する旨を、全フレームを再生する旨として指示する（ステップＳ２０４）。この後、記録再生装置５００は、Ｉピクチャ７３１、Ｐピクチャ７３２、Ｂピクチャ７３３、音出力順序が連続する符号化音データ７７１を復号する（ステップＳ２０５）。そして、通常再生する旨の操作がされているにもかかわらず、スロー再生の映像の表示および音の出力をする（ステップＳ２０６）。
【００７０】
一方、ステップＳ２０３において、早送り再生が指示されたと判断した場合、Ｉピクチャ７３１およびＰピクチャ７３２のみを復号して再生する旨を、ＩＰ再生する旨として指示する（ステップＳ２０７）。この後、Ｉピクチャ７３１、Ｐピクチャ７３２、音出力順序が４毎の符号化音データ７７１を復号する（ステップＳ２０８）。そして、早送り再生する旨の操作がされているにもかかわらず、通常再生の映像の表示および音の出力をする（ステップＳ２０９）。
【００７１】
〔記録再生装置の作用効果〕
上述したように、上記実施の形態では、編集装置３００は、ハイスピードカメラ２２０の撮影速度倍率Ｎが４であると認識し、この認識した撮影速度倍率Ｎをビデオストリーム７２０のＭ値として設定する。そして、ハイスピードカメラ２２０からのフレーム画像データをＭ値に基づき符号化して、Ｉピクチャ７３１、Ｐピクチャ７３２、および、Ｂピクチャ７３３を有する表示用データ７３０を生成する。さらに、フレームレートを１倍に設定したシーケンスヘッダ７４０、すなわち１倍の撮影速度で撮影された旨を示すシーケンスヘッダ７４０を生成する。そして、表示用データ７３０およびシーケンスヘッダ７４０を有するビデオストリーム７２０を生成する。
【００７２】
このため、一般的な記録再生装置５００、つまり、シーケンスヘッダ７４０に１倍のフレームレートが記録されている場合、通常再生する旨を認識した際に、Ｉピクチャ７３１、Ｐピクチャ７３２、および、Ｂピクチャ７３３を復号して通常再生の映像を再生し、早送り再生する旨を認識した際に、Ｉピクチャ７３１およびＰピクチャ７３２を復号してＭ値に対応する倍率の早送り再生の映像を再生する記録再生装置５００で、以下のような再生処理を実施させることができる。
すなわち、通常再生する旨を認識した際に、Ｉピクチャ７３１、Ｐピクチャ７３２、および、Ｂピクチャ７３３に基づいて、４倍で撮影されたフレーム画像を表示順序通りに１倍で撮影されたものとして表示させることにより、１／４倍のスロー再生の映像を表示させることができる。
また、早送り再生する旨を認識した際に、Ｉピクチャ７３１およびＰピクチャ７３２に基づいて、４倍で撮影されたフレーム画像を４個毎に１倍で撮影されたものとして表示させることにより、通常再生の映像を表示させることができる。
ところで、例えばＭ値を、撮影速度倍率Ｎに２以上の整数を乗じた値Ｘに設定してビデオストリームを生成する構成の場合、上述した一般的な記録再生装置５００を用いて通常再生すると、上記実施の形態と同様にスロー再生の映像を再生できるが、早送り再生すると、４倍で撮影されたフレーム画像をＸ個毎に１倍で撮影されたものとして表示させるので、通常再生の映像を再生できない。
したがって、上述したビデオストリーム７２０を生成することにより、スロー再生するために特別な情報を参照することなく、複数の再生速度での再生処理を容易にすることができる。
【００７３】
そして、本発明の撮影装置として、表示装置２００のフレームレートよりも速い撮影速度で撮影可能なハイスピードカメラ２２０を適用している。
このため、通常再生する旨を認識した際に、所定の場面をスロー再生することができ、利用者に例えばスポーツ選手の詳細な動きなどを認識させることができる。したがって、利便性を向上させることができる。
【００７４】
また、編集制御部４１０は、ハイスピードカメラ２２０からフレーム画像データとともに出力される垂直同期信号の周期に基づいて、ハイスピードカメラ２２０の撮影速度を認識する。
このため、ハイスピードカメラ２２０から通常送信される信号を利用して撮影速度を認識するので、多くのハイスピードカメラ２２０に適切に対応することができ、利用拡大を容易に図ることができる。
【００７５】
さらに、編集装置３００は、マイクロフォン２３０からの集音データを４倍のサンプリング周波数でサンプリングする。また、このサンプリングした集音データを符号化した符号化音データ７７１を有する音出力用データ７７０を生成する。そして、符号化音データ７７１の集音データが、基準のサンプリング周波数でサンプリングされた旨のオーディオヘッダ７８０を生成して、このオーディオヘッダ７８０および音出力用データ７７０を有するオーディオストリーム７６０を生成する。
このため、一般的な記録再生装置５００、つまり、オーディオヘッダ７８０に基準のサンプリング周波数でサンプリングした旨が記録されている場合、通常再生する旨を認識した際に、符号化音データ７７１を音出力順序通りに復号して通常再生の音を再生し、早送り再生する旨を認識した際に、ビデオストリーム７２０のＭ値に対応する４倍の早送り再生の音を再生する記録再生装置５００で、以下のような再生処理を実施させることができる。
すなわち、通常再生する旨を認識した際に、符号化音データ７７１を音出力順序通りに復号して、４倍でサンプリングされた音を音出力順序通りに１倍でサンプリングされたものとして出力させるので、１／４倍のスロー再生の音を出力させることができる。
また、早送り再生する旨を認識した際に、符号化音データ７７１を４個毎に復号して、４倍でサンプリングされた音を４倍でサンプリングされたものとして出力させるので、通常再生の音を出力させることができる。
したがって、音の再生処理に関しても、スロー再生するために特別な情報を参照することなく、再生処理の容易にすることができる。また、映像に対応した再生速度の音を出力させることができ、利便性をさらに向上できる。
【００７６】
また、編集装置３００は、ビデオストリーム７２０およびオーディオストリーム７６０を多重化したシステムストリーム７００を生成する。
このため、ビデオストリーム７２０およびオーディオストリーム７６０の管理を容易にできる。また、これらを１つのシステムストリーム７００として例えば記録再生装置５００に送信することができ、その送信処理を容易にできる。
【００７７】
そして、記録再生システム１００に、編集装置３００と、記録再生装置５００と、を設けている。
このため、記録再生システム１００は、記録再生装置５００にて、編集装置３００で編集されたシステムストリーム７００を、上述したようにスロー再生や通常再生させることができ、容易な処理で適切に、スロー再生や通常再生の映像や音を利用者に視聴させることができる。
【００７８】
〔実施の形態の変形〕
なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
【００７９】
すなわち、本発明の撮影装置として、ハイスピードカメラ２２０を適用したが、これに限らず表示装置２００のフレームレートよりも遅い撮影速度で撮影可能な構成を適用してもよい。
このような構成において、例えば撮影速度が１／２倍の場合、通常再生する旨を認識した際に、２倍の再生速度の早送り映像が表示され、スロー再生する旨を認識した際に、通常再生の映像が表示されることとなるが、上記実施の形態と同様に、複数の再生速度での再生処理を容易にすることができる。
【００８０】
また、ハイスピードカメラ２２０からの垂直同期信号の周期に基づいて、ハイスピードカメラ２２０の撮影速度を認識する構成について例示したが、これに限らず例えば以下のような構成としてもよい。
すなわち、ハイスピードカメラ２２０に、撮影速度が記録された撮影速度情報を出力する機能を設ける。そして、編集制御部４１０にて、この撮影速度情報に基づいて、撮影速度を認識する構成としてもよい。
【００８１】
そして、編集装置３００に上述したようなオーディオストリーム７６０を生成する機能を設けないとともに、記録再生装置５００に上述したようにオーディオストリーム７６０を再生する機能を設けない構成としてもよい。
このような構成にすれば、編集装置３００および記録再生装置５００の構成を簡略にできる。
【００８２】
また、編集装置３００にて、システムストリーム７００を生成せずに、ビデオストリーム７２０およびオーディオストリーム７６０を個別に保存する構成としてもよい。
このような構成にすれば、ＭＰＥＧシステムストリーム編集機３７０の構成を簡略にできる。
【００８３】
さらに、編集装置３００および記録再生装置５００の機能を設け、１つの装置として構成としてもよい。
また、本発明のデータ処理装置を、オーサリング装置に適用してもよい。
さらに、ハイスピードカメラ２２０に、編集装置３００の機能を設ける構成、あるいは編集装置３００および記録再生装置５００の機能を設ける構成としてもよい。
【００８４】
上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは１つのＩＣ（Integrated Circuit）などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、取扱が容易で、利用の拡大が容易に図れる。
【００８５】
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
【００８６】
〔実施形態の作用効果〕
上述したように、上記実施の形態では、編集装置３００は、ハイスピードカメラ２２０の撮影速度倍率Ｎをビデオストリーム７２０のＭ値として設定する。そして、ハイスピードカメラ２２０からのフレーム画像データをＭ値に基づき符号化して、表示用データ７３０を生成する。さらに、フレームレートを１倍に設定したシーケンスヘッダ７４０を生成する。そして、表示用データ７３０およびシーケンスヘッダ７４０を有するビデオストリーム７２０を生成する。
このため、一般的な記録再生装置５００で、以下のような再生処理を実施させることができる。
すなわち、通常再生する旨を認識した際に、Ｉピクチャ７３１、Ｐピクチャ７３２、および、Ｂピクチャ７３３に基づいて、４倍で撮影されたフレーム画像を表示順序通りに１倍で撮影されたものとして表示させることにより、１／４倍のスロー再生の映像を表示させることができる。
また、早送り再生する旨を認識した際に、Ｉピクチャ７３１およびＰピクチャ７３２に基づいて、４倍で撮影されたフレーム画像を４個毎に１倍で撮影されたものとして表示させることにより、通常再生の映像を表示させることができる。
したがって、上述したビデオストリーム７２０を生成することにより、スロー再生するために特別な情報を参照することなく、再生処理の容易にすることができる。
【００８７】
そして、記録再生システム１００に、編集装置３００と、記録再生装置５００と、を設けている。
このため、記録再生システム１００は、記録再生装置５００にて、編集装置３００で編集されたシステムストリーム７００を、上述したようにスロー再生や通常再生させることができ、容易な処理で適切に、スロー再生や通常再生の映像や音を利用者に適宜視聴させることができる。
【図面の簡単な説明】
【００８８】
【図１】本発明の一実施の形態に係る記録再生システムの概略構成を示すブロック図である。
【図２】前記一実施の形態における編集装置の概略構成を示すブロック図である。
【図３】前記一実施の形態におけるビデオストリームの概略構成を示す模式図である。
【図４】前記一実施の形態における集音データのサンプリング状態を示す概念図である。
【図５】前記一実施の形態におけるオーディオストリームの概略構成を示す模式図である。
【図６】前記一実施の形態におけるシステムストリームの概略構成を示す模式図である。
【図７】前記一実施の形態における編集制御部の概略構成を示すブロック図である。
【図８】前記一実施の形態における記録再生装置の概略構成を示すブロック図である。
【図９】前記一実施の形態における記録再生制御部の概略構成を示すブロック図である。
【図１０】前記一実施の形態におけるシステムストリームの保存処理を示すフローチャートである。
【図１１】前記一実施の形態におけるシステムストリームの再生処理を示すフローチャートである。
【符号の説明】
【００８９】
１００…データ処理システムとしての記録再生システム
２００…表示装置
２１０…音出力装置としてのスピーカ
２２０…撮影装置としてのハイスピードカメラ
２３０…集音装置としてのマイクロフォン
３００…データ処理装置としての編集装置
３２０…映像符号化手段、表示用データ生成手段、撮影状態情報生成手段、および、映像データ生成手段としてのＭＰＥＧビデオ符号化機
３３０…撮影状態情報生成手段としてのシーケンスヘッダ編集機
３５０…サンプリング手段としてのオーディオ編集機
３６０…音符号化手段、音出力用データ生成手段、サンプリング状態情報生成手段、および、音データ生成手段としてのオーディオ符号化機
３７０…多重化データ生成手段としてのＭＰＥＧシステムストリーム編集機
３８０…データ送信手段としてのＭＰＥＧストリーム送出機
４１１…撮影速度認識手段
４１２…撮影速度倍率認識手段としても機能するＭ値設定手段
５００…出力制御装置としての記録再生装置
５４０…映像復号手段および音復号手段としての復号手段
５９２…撮影状態認識手段としても機能する表示制御手段
５９３…サンプリング状態認識手段としても機能する音出力制御手段
７００…多重化データとしてのシステムストリーム
７２０…映像データとしてのビデオストリーム
７３０…表示用データ
７３１…Ｉピクチャ
７３２…Ｐピクチャ
７３３…Ｂピクチャ
７４０…撮影状態情報としてのシーケンスヘッダ
７６０…音データとしてのオーディオストリーム
７７０…音出力用データ
７７１…符号化音データ
７８０…サンプリング状態情報としてのオーディオヘッダ
【図１】
2007221535.tif 000003
【図２】
2007221535.tif 000004
【図３】
2007221535.tif 000005
【図４】
2007221535.tif 000006
【図５】
2007221535.tif 000007
【図６】
2007221535.tif 000008
【図７】
2007221535.tif 000009
【図８】
2007221535.tif 000010
【図９】
2007221535.tif 000011
【図１０】
2007221535.tif 000012
【図１１】
2007221535.tif 000013