(57)【要約】【課題】従来規格の画像再生装置との互換性を確保でき、かつ管理が容易であり、かつ再生時に同期を容易にとれる高速撮影画像を記録する。【解決手段】本発明に係る画像記録再生装置１００は、ＳＴＣを生成するＳＴＣ生成部１４６と、高速撮影画像に含まれるピクチャのうち毎秒３０フレームに相当するピクチャを圧縮して第１圧縮画像データを生成するビデオエンコーダ１４１と、それ以外のピクチャを圧縮して第２圧縮画像データを生成するビデオエンコーダ１５１と、ＳＴＣを基準としたＰＴＳを生成するＰＴＳ／ＤＴＳ生成部１４４及び１５４と、前記ＰＴＳを第１圧縮画像データ及び第２圧縮画像データに付加するＰＥＳ多重化部１４２及び１５２と、ＰＥＳ多重化部１４２及び１５２によりＰＴＳが付加された第１圧縮画像データ及び第２圧縮画像データを記録媒体２００に記録する記録処理部１０６とを備える。【選択図】図３
2009177619.tif 000002
【特許請求の範囲】
【請求項１】
第１フレームレートよりも高い第２フレームレートの撮影画像を圧縮し、着脱可能な記録媒体に記録する画像記録装置であって、
基準クロックを生成する基準クロック生成部と、
前記撮影画像に含まれるピクチャのうち前記第１フレームレートに相当するピクチャである第１ピクチャを圧縮して第１圧縮画像データを生成する第１圧縮部と、
前記撮影画像に含まれるピクチャのうち前記第１ピクチャ以外のピクチャである第２ピクチャを圧縮して第２圧縮画像データを生成する第２圧縮部と、
前記基準クロックを基準とした、前記第１ピクチャの表示開始時刻を示す第１タイムスタンプを生成する第１タイムスタンプ生成部と、
前記基準クロックを基準とした、前記第２ピクチャの表示開始時刻を示す第２タイムスタンプを生成する第２タイムスタンプ生成部と、
前記第１タイムスタンプを前記第１圧縮画像データに付加する第１付加部と、
前記第２タイムスタンプを前記第２圧縮画像データに付加する第２付加部と、
前記第１付加部により前記第１タイムスタンプが付加された前記第１圧縮画像データ、及び前記第２付加部により前記第２タイムスタンプが付加された前記第２圧縮画像データを前記記録媒体に記録する記録部とを備える
ことを特徴とする画像記録装置。
【請求項２】
着脱可能な記録媒体に記録された第１フレームレートより高い第２フレームレートの撮影画像を再生する画像再生装置であって、
前記記録媒体に記録される、前記撮影画像に含まれるピクチャのうち前記第１フレームレートに相当するピクチャである第１ピクチャが圧縮された第１圧縮画像データと、前記撮影画像に含まれるピクチャのうち前記第１ピクチャ以外のピクチャである第２ピクチャが圧縮された第２圧縮画像データとを読み出す読み出し部と、
前記第１圧縮画像データを伸張することで前記第１ピクチャを復元する第１伸張部と、
前記第２圧縮画像データを伸張することで前記第２ピクチャを復元する第２伸張部と、
前記第１圧縮画像データに付加された、前記第１ピクチャの表示開始時刻を示す第１タイムスタンプを取得する第１タイムスタンプ取得部と、
前記第２圧縮画像データに付加された、前記第２ピクチャの表示開始時刻を示す第２タイムスタンプを取得する第２タイムスタンプ取得部と、
前記第１ピクチャ及び前記第２ピクチャを、前記第１タイムスタンプ及び前記第２タイムスタンプの順に再生する再生部とを備える
ことを特徴とする画像再生装置。
【請求項３】
前記画像再生装置は、さらに、
前記第１圧縮画像データに付加された基準クロックの情報に基づき、基準クロックをカウントする基準クロックカウンタ部を備え、
前記再生部は、前記基準クロックと前記第１タイムスタンプとが一致するタイミングで前記第１ピクチャを再生し、前記基準クロックと前記第２タイムスタンプとが一致するタイミングで前記第２ピクチャを再生する
ことを特徴とする請求項２記載の画像再生装置。
【請求項４】
第１フレームレートより高い第２フレームレートの撮影画像が記録された、画像記録装置及び画像再生装置に着脱可能な記録媒体であって、
前記撮影画像に含まれるピクチャのうち前記第１フレームレートに相当するピクチャである第１ピクチャが圧縮された第１圧縮画像データと、
前記撮影画像に含まれるピクチャのうち前記第１ピクチャ以外のピクチャである第２ピクチャが圧縮された第２圧縮画像データとが記録され、
前記第１圧縮画像データは、基準クロックを基準とした、前記第１ピクチャの表示開始時刻を示す第１タイムスタンプが付加され、
前記第２圧縮画像データは、前記基準クロックを基準とした、前記第２ピクチャの表示開始時刻を示す第２タイムスタンプが付加される
ことを特徴とする記録媒体。
【請求項５】
第１フレームレートよりも高い第２フレームレートの撮影画像を圧縮し、着脱可能な記録媒体に記録する画像記録装置における画像記録方法であって、
基準クロックを生成する基準クロック生成ステップと、
前記撮影画像に含まれるピクチャのうち前記第１フレームレートに相当するピクチャである第１ピクチャを圧縮して第１圧縮画像データを生成する第１圧縮ステップと、
前記撮影画像に含まれるピクチャのうち前記第１ピクチャ以外のピクチャである第２ピクチャを圧縮して第２圧縮画像データを生成する第２圧縮ステップと、
前記基準クロックを基準とした、前記第１ピクチャの表示開始時刻を示す第１タイムスタンプを生成する第１タイムスタンプ生成ステップと、
前記基準クロックを基準とした、前記第２ピクチャの表示開始時刻を示す第２タイムスタンプを生成する第２タイムスタンプ生成ステップと、
前記第１タイムスタンプを前記第１圧縮画像データに付加する第１付加ステップと、
前記第２タイムスタンプを前記第２圧縮画像データに付加する第２付加ステップと、
前記第１付加ステップで前記第１タイムスタンプが付加された前記第１圧縮画像データ、及び前記第２付加ステップで前記第２タイムスタンプが付加された前記第２圧縮画像データを前記記録媒体に記録する記録ステップとを含む
ことを特徴とする画像記録方法。
【請求項６】
第１フレームレートよりも高い第２フレームレートの撮影画像を圧縮し、着脱可能な記録媒体に記録する画像記録装置における画像記録方法のプログラムであって、
基準クロックを生成する基準クロック生成ステップと、
前記撮影画像に含まれるピクチャのうち前記第１フレームレートに相当するピクチャである第１ピクチャを圧縮して第１圧縮画像データを生成する第１圧縮ステップと、
前記撮影画像に含まれるピクチャのうち前記第１ピクチャ以外のピクチャである第２ピクチャを圧縮して第２圧縮画像データを生成する第２圧縮ステップと、
前記基準クロックを基準とした、前記第１ピクチャの表示開始時刻を示す第１タイムスタンプを生成する第１タイムスタンプ生成ステップと、
前記基準クロックを基準とした、前記第２ピクチャの表示開始時刻を示す第２タイムスタンプを生成する第２タイムスタンプ生成ステップと、
前記第１タイムスタンプを前記第１圧縮画像データに付加する第１付加ステップと、
前記第２タイムスタンプを前記第２圧縮画像データに付加する第２付加ステップと、
前記第１付加ステップで前記第１タイムスタンプが付加された前記第１圧縮画像データ、及び前記第２付加ステップで前記第２タイムスタンプが付加された前記第２圧縮画像データを前記記録媒体に記録する記録ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラムに関し、特に、高速撮影画像を着脱可能な記録媒体に記録する画像記録装置、当該画像記録装置により高速撮影画像が記録された記録媒体、及び当該記録媒体に記録された高速撮影画像を再生する画像再生装置に関する。
【背景技術】
【０００２】
追記型ＤＶＤカムコーダなどの画像記録装置において、毎秒３０フレームよりも高いフレームレートの高速撮影画像を記録する画像記録装置が知られている。高フレームレートで撮像された高速撮像画像をスロー再生することで高精度の解析を行えるので、高速撮影画像を記録する画像記録装置は研究開発等の分野で用いられている。
【０００３】
高速撮像画像を記録する従来の画像記録装置としては、高速撮影画像の各フレームを子画面にサイズ変更して画面分割多重したのちに通常画像として記録する画像記録装置が提案されている（例えば、特許文献１参照。）。
【０００４】
しかしながら、特許文献１記載の従来の画像記録装置では、各フレームを縮小したのちに記録するため、各フレームの画質が劣化するという問題がある。また、高速再生画像の再生に対応していない画像再生装置で再生した場合、画面分割した状態のまま表示されてしまう。つまり、特許文献１記載の画像記録装置は、高速再生画像の再生に対応していない従来規格の画像再生装置との互換性を確保できないという問題がある。
【０００５】
これに対して、毎秒３０フレームより高い高速撮影画像を構成しているフレームのうち、毎秒３０フレームに相当するフレームを着脱可能なメモリに記録し、それ以外のフレームを別のメモリに記録する画像記録装置が提案されている（例えば、特許文献２参照。）。
【０００６】
特許文献２記載の画像記録装置は、各フレームの縮小等を行わないので画質の劣化を生じさせることがない。さらに、特許文献２記載の画像記録装置は、高速撮影画像のうち毎秒３０フレームに相当するフレームと、それ以外のフレームとを別のメモリに格納したうえで、毎秒３０フレームに相当するフレームのみを用いることで、高速再生画像の再生に対応していない従来規格の画像再生装置との互換性を確保できる。
【特許文献１】特許第２７１８４０９号公報
【特許文献２】特開２００７−１０４５８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２記載の従来の画像記録装置では、毎秒３０フレーム相当の画像と、それ以外のフレームとを別々のメモリに保存するため、高速撮影画像としてのデータ管理が困難という問題がある。
【０００８】
また、特許文献２記載の画像記録装置のように、高速撮影画像を分割して記録した場合、画像再生装置は、再生時に、分割した画像の同期をとる必要がある。
【０００９】
そこで、本発明は上記問題に鑑みてなされたものであり、従来規格の画像再生装置との互換性を確保でき、かつ管理が容易であり、かつ再生時に同期を容易にとれる高速撮影画像を記録できる画像記録装置と、従来規格の画像再生装置との互換性を確保でき、かつ管理が容易であり、かつ再生時に同期を容易にとれる高速撮影画像が記録された記録媒体と、当該記録媒体に記録された高速撮影画像を再生する画像再生装置とを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る記録装置は、第１フレームレートよりも高い第２フレームレートの撮影画像を圧縮し、着脱可能な記録媒体に記録する画像記録装置であって、基準クロックを生成する基準クロック生成部と、前記撮影画像に含まれるピクチャのうち前記第１フレームレートに相当するピクチャである第１ピクチャを圧縮して第１圧縮画像データを生成する第１圧縮部と、前記撮影画像に含まれるピクチャのうち前記第１ピクチャ以外のピクチャである第２ピクチャを圧縮して第２圧縮画像データを生成する第２圧縮部と、前記基準クロックを基準とした、前記第１ピクチャの表示開始時刻を示す第１タイムスタンプを生成する第１タイムスタンプ生成部と、前記第２ピクチャの表示開始時刻を示す第２タイムスタンプを生成する第２タイムスタンプ生成部と、前記第１タイムスタンプを前記第１圧縮画像データに付加する第１付加部と、前記第２タイムスタンプを前記第２圧縮画像データに付加する第２付加部と、前記第１付加部により前記第１タイムスタンプが付加された前記第１圧縮画像データ、及び前記第２付加部により前記第２タイムスタンプが付加された前記第２圧縮画像データを前記記録媒体に記録する記録部とを備える。
【００１１】
この構成によれば、第１フレームレートの画像データを圧縮した第１画像圧縮データと、第２フレームレートの画像データのうち第１フレームレートに相当するピクチャ以外の画像データを圧縮した第２圧縮画像データとが同じ記録媒体に記録される。これにより、高速撮影画像に対応していない従来規格の画像再生装置が、本発明に係る画像記録装置により高速撮影画像が記録された記録媒体を再生する場合、従来規格の画像再生装置は、第１圧縮画像データを伸張し再生することで第１フレームレートの画像を再生できる。よって、本発明に係る画像記録装置は、従来規格の画像再生装置との互換性を確保できる。
【００１２】
さらに、高速撮影画像に対応した画像再生装置が、本発明に係る画像記録装置により高速撮影画像が記録された記録媒体を再生する場合、第１圧縮画像データ及び第２圧縮画像データをそれぞれ伸張し、合成することで、高速撮影画像を復元し、再生できる。
【００１３】
さらに、本発明に係る画像記録装置は、１つの記録媒体に、従来規格に対応した第１圧縮画像データと、高速撮影画像を再生するための第２圧縮画像データ（高速画像補助データ）とを記録する。よって、本発明に係る画像記録装置により記録された高速撮影画像は、複数の記録媒体に従来規格に対応した第１圧縮画像データと、高速撮影画像を再生するための第２圧縮画像データとが分割して記録された高速撮影画像に比べ、管理が容易である。つまり、本発明に係る画像記録装置は、管理が容易な高速撮影画像を記録できる。
【００１４】
さらに、本発明に係る画像記録装置は、高速撮影画像を分割した複数の第１ピクチャと複数の第２ピクチャとに共通の基準クロックを用いて生成した第１タイムスタンプ及び第２タイムスタンプを付加したうえで記録媒体に記録する。これにより、本発明に係る画像記録装置により記録媒体に記録された高速撮影画像を、高速撮影画像に対応した画像再生装置が再生する際に、当該画像再生装置は、第１タイムスタンプ及び第２タイムスタンプを用いて、従来規格に対応した第１圧縮画像データと、高速撮影画像を再生するための第２圧縮画像データとの同期を容易にとれる。
【００１５】
また、本発明に係る画像再生装置は、着脱可能な記録媒体に記録された第１フレームレートより高い第２フレームレートの撮影画像を再生する画像再生装置であって、前記記録媒体に記録される、前記撮影画像に含まれるピクチャのうち前記第１フレームレートに相当するピクチャである第１ピクチャが圧縮された第１圧縮画像データと、前記撮影画像に含まれるピクチャのうち前記第１ピクチャ以外のピクチャである第２ピクチャが圧縮された第２圧縮画像データとを読み出す読み出し部と、前記第１圧縮画像データを伸張することで前記第１ピクチャを復元する第１伸張部と、前記第２圧縮画像データを伸張することで前記第２ピクチャを復元する第２伸張部と、前記第１圧縮画像データに付加された、前記第１ピクチャの表示開始時刻を示す第１タイムスタンプを取得する第１タイムスタンプ取得部と、前記第２圧縮画像データに付加された、前記第２ピクチャの表示開始時刻を示す第２タイムスタンプを取得する第２タイムスタンプ取得部と、前記第１ピクチャ及び前記第２ピクチャを、前記第１タイムスタンプ及び前記第２タイムスタンプの順に再生する再生部とを備える。
【００１６】
この構成によれば、本発明に係る画像再生装置は、記録媒体に記録された第１圧縮画像データと第２圧縮画像データとから高速撮影画像を復元して滑らかなスロー再生画像を再生できる。
【００１７】
さらに、本発明に係る画像再生装置は、複数の第１ピクチャ及び複数の第２ピクチャのそれぞれに付加された第１タイムスタンプ及び第２タイムスタンプのみを参照し、第１タイムスタンプ及び第２タイムスタンプの値の順に第１ピクチャ及び第２ピクチャを出力することで、高速撮影画像を再生できる。つまり、本発明に係る画像再生装置は、従来規格に対応した第１圧縮画像データと、高速撮影画像を再生するための第２圧縮画像データとの同期を容易にとることができる。
【００１８】
また、前記画像再生装置は、さらに、前記第１圧縮画像データに付加された基準クロックの情報に基づき、基準クロックをカウントする基準クロックカウンタ部を備え、前記再生部は、前記基準クロックと前記第１タイムスタンプとが一致するタイミングで前記第１ピクチャを再生し、前記基準クロックと前記第２タイムスタンプとが一致するタイミングで前記第２ピクチャを再生してもよい。
【００１９】
この構成によれば、本発明に係る画像再生装置は、読み出し部による記録媒体からのデータ読み出し速度を、第１伸張部及び第２伸張部以降の回路動作と連動して制御できない場合であっても、基準クロックに同期したタイミングで、高速再生画像を再生できる。例えば、読み出し部により読み出されたデータを、機器間で伝送した後に、第１伸張部及び第２伸張部で伸張する場合には、読み出し部によるデータ読み出し速度を、第１伸張部及び第２伸張部以降の回路動作と連動して制御できない。しかし、この場合でも読み出し部が読み出したデータを第１伸張部及び第２伸張部がバッファに蓄積したうえで、それぞれ基準クロックに同期して再生することで、２つの圧縮画像データに分割された高速再生画像を、同期をとって滑らかに表示することが可能になる。
【００２０】
また、本発明に係る記録媒体は、第１フレームレートより高い第２フレームレートの撮影画像が記録された、画像記録装置及び画像再生装置に着脱可能な記録媒体であって、前記撮影画像に含まれるピクチャのうち前記第１フレームレートに相当するピクチャである第１ピクチャが圧縮された第１圧縮画像データと、前記撮影画像に含まれるピクチャのうち前記第１ピクチャ以外のピクチャである第２ピクチャが圧縮された第２圧縮画像データとが記録され、前記第１圧縮画像データは、基準クロックを基準とした、前記第１ピクチャの表示開始時刻を示す第１タイムスタンプが付加され、前記第２圧縮画像データは、前記基準クロックを基準とした、前記第２ピクチャの表示開始時刻を示す第２タイムスタンプが付加される。
【００２１】
この構成によれば、本発明に係る記録媒体には、第１フレームレートの画像データが圧縮された第１圧縮画像データと、第２フレームレートの画像データのうち第１フレームレートに相当するフレーム以外の画像データが圧縮された第２圧縮画像データとが記録される。これにより、高速撮影画像に対応していない従来規格の画像再生装置が、本発明に係る記録媒体を再生する場合、従来規格の画像再生装置は、第１圧縮画像データを再生することで第１フレームレートの画像を再生できる。よって、本発明に係る記録媒体は、従来規格の画像再生装置との互換性を確保できる。
【００２２】
さらに、高速撮影画像に対応した画像再生装置が、本発明に係る記録媒体を再生する場合、第１圧縮画像データ及び第２圧縮画像データをそれぞれ伸張し、合成することで、高速撮影画像を復元し、再生できる。
【００２３】
さらに、本発明に係る記録媒体は、従来規格に対応した第１圧縮画像データと、高速撮影画像を再生するための第２圧縮画像データとが記録される。よって、本発明に係る記録媒体に記録された高速撮影画像は、複数の記録媒体に従来規格に対応した第１圧縮画像データと、高速撮影画像を再生するための第２圧縮画像データとが分割して記録された高速撮影画像に比べ、管理が容易である。
【００２４】
さらに、本発明に係る記録媒体には、高速撮影画像を分割した複数の第１ピクチャと複数の第２ピクチャとに共通の基準クロックを用いて生成された第１タイムスタンプ及び第２タイムスタンプが付加された画像データが記録される。これにより、本発明に係る記録媒体に記録された高速撮影画像を、高速撮影画像に対応した画像再生装置が再生する際に、当該画像再生装置は、従来規格に対応した第１圧縮画像データと、高速撮影画像を再生するための第２圧縮画像データとの同期を容易にとれる。
【００２５】
また、本発明に係る画像記録方法は、第１フレームレートよりも高い第２フレームレートの撮影画像を圧縮し、着脱可能な記録媒体に記録する画像記録装置における画像記録方法であって、基準クロックを生成する基準クロック生成ステップと、前記撮影画像に含まれるピクチャのうち前記第１フレームレートに相当するピクチャである第１ピクチャを圧縮して第１圧縮画像データを生成する第１圧縮ステップと、前記撮影画像に含まれるピクチャのうち前記第１ピクチャ以外のピクチャである第２ピクチャを圧縮して第２圧縮画像データを生成する第２圧縮ステップと、前記基準クロックを基準とした、前記第１ピクチャの表示開始時刻を示す第１タイムスタンプと、前記第２ピクチャの表示開始時刻を示す第２タイムスタンプとを生成するタイムスタンプ生成ステップと、前記第１タイムスタンプを前記第１圧縮画像データに付加する第１付加ステップと、前記第２タイムスタンプを前記第２圧縮画像データに付加する第２付加ステップと、前記第１付加ステップで前記第１タイムスタンプが付加された前記第１圧縮画像データ、及び前記第２付加ステップで前記第２タイムスタンプが付加された前記第２圧縮画像データを前記記録媒体に記録する記録ステップとを含む。
【００２６】
これによれば、第１フレームレートの画像データを圧縮した第１画像圧縮データと、第２フレームレートの画像データのうち第１フレームレートに相当するピクチャ以外の画像データを圧縮した第２圧縮画像データとが記録媒体に記録される。これにより、高速撮影画像に対応していない従来規格の画像再生装置が、本発明に係る画像記録方法により高速撮影画像が記録された記録媒体を再生する場合、従来規格の画像再生装置は、第１圧縮画像データを伸張し再生することで第１フレームレートの画像を再生できる。よって、本発明に係る画像記録方法は、従来規格の画像再生装置との互換性を確保できる。
【００２７】
さらに、高速撮影画像に対応した画像再生装置が、本発明に係る画像記録方法により高速撮影画像が記録された記録媒体を再生する場合、第１圧縮画像データ及び第２圧縮画像データをそれぞれ伸張し、合成することで、高速撮影画像を復元し、再生できる。
【００２８】
さらに、本発明に係る画像記録方法は、１つの記録媒体に、従来規格に対応した第１画像データと、高速撮影画像を再生するための第２圧縮画像データとを記録する。よって、本発明に係る画像記録方法により記録された高速撮影画像は、複数の記録媒体に従来規格に対応した第１画像データと、高速撮影画像を再生するための第２圧縮画像データとが分割して記録された高速撮影画像に比べ、管理が容易である。つまり、本発明に係る画像記録方法は、管理が容易な高速撮影画像を記録できる。
【００２９】
さらに、本発明に係る画像記録方法は、高速撮影画像を分割した複数の第１ピクチャと複数の第２ピクチャとに共通の基準クロックを用いて生成した第１タイムスタンプ及び第２タイムスタンプを付加したうえで記録媒体に記録する。これにより、本発明に係る画像記録方法により記録媒体に記録された高速撮影画像を、高速撮影画像に対応した画像再生装置が再生する際に、当該画像再生装置は、第１タイムスタンプ及び第２タイムスタンプを用いて、従来規格に対応した第１画像データと、高速撮影画像を再生するための第２圧縮画像データとの同期を容易にとれる。
【００３０】
なお、本発明は、このような画像記録装置及び画像再生装置として実現できるだけでなく、画像記録装置及び画像再生装置に含まれる特徴的な手段をステップとする画像記録方法及び画像再生方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００３１】
以上より、本発明は、従来規格の画像再生装置との互換性を確保でき、かつ管理が容易であり、かつ再生時に同期を容易にとれる高速撮影画像を記録できる画像記録装置を提供できる。また、本発明は、従来規格の画像再生装置との互換性を確保でき、かつ管理が容易であり、かつ再生時に同期を容易にとれる高速撮影画像が記録された記録媒体を提供できる。また、本発明は、当該記録媒体に記録された高速撮影画像を再生する画像再生装置を提供できる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明に係る画像記録再生装置の実施の形態について、図面を参照しながら詳細に説明する。
【００３３】
本発明の実施の形態に係る画像記録再生装置は、高速撮影画像のうち、毎秒３０フレームのフレームレートに相当する画像を従来規格と互換性を有する構成のフォルダに記録し、それ以外の画像を別のフォルダに記録する。これにより、本発明の実施の形態に係る画像記録再生装置は、従来規格の画像再生装置との互換性を確保でき、かつ管理が容易な高速撮影画像を記録できる。
【００３４】
さらに、本発明の実施の形態に係る画像記録再生装置は、高速撮影画像のうち、毎秒３０フレームのフレームレートに相当する画像、及びそれ以外の画像に、共通の基準クロックを用いて生成したタイムスタンプを付加する。これにより、本発明の実施の形態に係る画像記録再生装置は、再生時に同期を容易にとれる高速撮影画像を記録できる。
【００３５】
図１は、本発明の実施の形態に係る画像記録再生装置の外観を示す斜視図である。図１に示すように、画像記録再生装置１００は、例えば、デジタルビデオカメラである。画像記録再生装置１００は、撮影した高速撮影画像を圧縮し、記録媒体２００に記録する画像記録装置としての機能を有する。また、画像記録再生装置１００は、記録媒体２００に記録されている高速撮影画像を再生する画像再生装置としての機能を有する。
【００３６】
記録媒体２００は、画像記録再生装置１００に着脱可能な記録媒体であり、例えば、半導体メモリ又は光ディスク等である。記録媒体２００は、少なくとも１つのファイルシステムで初期化されている。
【００３７】
また、画像記録再生装置１００は、毎秒３０フレームのフレームレートで被写体を撮影する通常撮影モードと、毎秒３００フィールドのフレームレートで被写体を撮影する高速撮影モードとを切り替え可能である。また、画像記録再生装置１００は、高速撮影モードで撮像された画像データのうち毎秒３０フレームのフレームレートに対応する画像データのみを再生する通常再生モードと、高速撮影モードで撮像された画像データをスロー再生する高速再生モードとを切り替え可能である。また、画像記録再生装置１００は、通常撮影モードで撮影された画像データを毎秒３０フレームのフレームレートで再生することもできる。
【００３８】
図２は、本発明の実施の形態に係る画像記録再生装置１００のハードウェア構成を示す図である。図２に示すように、画像記録再生装置１００は、レンズ群１０１と、撮像部１０２と、Ａ／Ｄ変換部１０３と、画像信号処理部１０４と、圧縮多重部１２０と、記録処理部１０６と、記録制御部１０８と、入力部１０９と、制御部１１０と、画像生成部１１１と、表示部１１２と、画像信号処理部１１３と、分離伸張部１２１と、再生処理部１１５とを備える。
【００３９】
圧縮多重部１２０は、第１圧縮多重部１０５と、第２圧縮多重部１０７とを備える。
【００４０】
分離伸張部１２１は、第１分離伸張部１１４と、第２分離伸張部１１６とを備える。
【００４１】
レンズ群１０１は、複数の光学レンズから構成される。レンズ群１０１は、光を撮像部１０２に集光する。
【００４２】
撮像部１０２は、撮像素子などから構成され、レンズ群１０１を介して入力された光を撮像する。具体的には、撮像部１０２は、入力された光信号をアナログ信号（電気信号）に変換して、当該アナログ信号をＡ／Ｄ変換部１０３に出力する。
【００４３】
Ａ／Ｄ変換部１０３は、撮像部１０２から出力されたアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部１０３は、変換したデジタル信号を画像信号処理部１０４に出力する。
【００４４】
画像信号処理部１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル信号に対してノイズ除去及び画質調整などの画像信号処理を施し画像信号を生成する。通常撮影モードの場合、画像信号処理部１０４は、デジタル信号に画像信号処理を施すことで毎秒３０フレームの通常撮影画像信号を生成し、第１圧縮多重部１０５に出力する。また、高速撮影モードの場合、画像信号処理部１０４は、デジタル信号に画像信号処理を施すことで毎秒３００フィールドの高速撮影画像信号を生成する。画像信号処理部１０４は、高速撮影画像信号のうち、毎秒３０フレームに相当するフレームの画像信号を第１圧縮多重部１０５に、その他のフレームの画像信号を第２圧縮多重部１０７に出力する。
【００４５】
第１圧縮多重部１０５は、画像信号処理部１０４から出力された毎秒３０フレームの画像信号を、ＭＰＥＧ−２又はＨ．２６４などの符号化方法に基づいて、圧縮して多重する。第１圧縮多重部１０５は、多重して得られた圧縮画像データを通常コンテンツとして記録処理部１０６に出力する。
【００４６】
第２圧縮多重部１０７は、画像信号処理部１０４から出力された毎秒３０フレームに相当するフレーム以外のフレームの画像信号を、ＭＰＥＧ−２又はＨ．２６４などの符号化方法に基づいて、圧縮して多重する。第２圧縮多重部１０７は、多重して得られた圧縮画像データを高速画像補助データとして記録処理部１０６に出力する。
【００４７】
図３は、圧縮多重部１２０の構成を示すブロック図である。図３に示すように、圧縮多重部１２０は、さらに、圧縮多重制御部１３０を備える。
【００４８】
圧縮多重制御部１３０は、第１圧縮多重部１０５及び第２圧縮多重部１０７による圧縮処理及び多重処理を制御する。
【００４９】
本実施例では、第１圧縮多重部１０５及び第２圧縮多重部１０７は、多重化方式としてＭＰＥＧ−２システム規格のＴＳ（トランスポート・ストリーム）の形式に画像信号を多重化する。
【００５０】
第１圧縮多重部１０５は、フレームバッファ１４０と、ビデオエンコーダ１４１と、ＰＥＳ多重化部１４２と、ＴＳ多重化部１４３、ＰＴＳ／ＤＴＳ生成部１４４と、ＰＣＲ生成部１４５と、ＳＴＣ生成部１４６とを備える。
【００５１】
フレームバッファ１４０は、画像信号処理部１０４から出力された毎秒３０フレームに相当する画像信号を保持する。
【００５２】
ビデオエンコーダ１４１は、フレームバッファ１４０から画像信号を読み出し、圧縮処理を施して、ＥＳ（エレメンタリー・ストリーム）を生成する。ビデオエンコーダ１４１は、生成したＥＳをＰＥＳ多重化部１４２に出力する。
【００５３】
ＳＴＣ生成部１４６は、基準クロックであるＳＴＣ（システム・タイムクロック）を生成する。ＳＴＣは、タイムスタンプ（時刻管理情報）の基準となる同期信号である。ＳＴＣ生成部１４６は、生成したＳＴＣをＰＴＳ／ＤＴＳ生成部１４４及び１５４と、ＰＣＲ生成部１４５及び１５５とに出力する。
【００５４】
ＰＴＳ／ＤＴＳ生成部１４４は、ＳＴＣ生成部１４６により出力されたＳＴＣを基準とし、ビデオエンコーダ１４１により生成されたＥＳに含まれる各ピクチャ（フレーム又はフィールド）のＰＴＳ（プレゼンテーション・タイムスタンプ）及びＤＴＳ（デコーディング・タイムスタンプ）を生成する。ＰＴＳは、ピクチャの表示開始時刻を示す情報である。ＤＴＳは、ピクチャの復号開始時刻を示す情報である。ＰＴＳ／ＤＴＳ生成部１４４は、生成したＰＴＳ及びＤＴＳをＰＥＳ多重化部１４２に出力する。
【００５５】
ＰＥＳ多重化部１４２は、ビデオエンコーダ１４１により生成されたＥＳに、ＰＴＳ／ＤＴＳ生成部１４４により生成されたＰＴＳ及びＤＴＳを多重化し、ＰＥＳ（パケッタイズド・エレメンタリー・ストリーム）を生成する。ＰＥＳ多重化部１４２は、生成したＰＥＳをＴＳ多重化部１４３に出力する。つまり、ＰＥＳ多重化部１４２は、ＥＳにＰＴＳ及びＤＴＳを付加する。
【００５６】
ＰＣＲ生成部１４５は、ＳＴＣを再生するときのタイミング基準となる情報であるＰＣＲ（プログラム・クロック・リファレンス）を生成し、生成したＰＣＲをＴＳ多重化部１４３に出力する。
【００５７】
ＴＳ多重化部１４３は、ＰＥＳ多重化部１４２により生成されたＰＥＳをＴＳパケットにパケット化し、かつＰＣＲ生成部１４５により生成されたＰＣＲを多重化してＴＳを生成する。ＴＳ多重化部１４３は、生成したＴＳを記録処理部１０６に出力する。つまり、ＴＳ多重化部１４３は、ＰＥＳにＰＣＲを付加する。
【００５８】
第２圧縮多重部１０７は、フレームバッファ１５０と、ビデオエンコーダ１５１と、ＰＥＳ多重化部１５２と、ＴＳ多重化部１５３と、ＰＴＳ／ＤＴＳ生成部１５４と、ＰＣＲ生成部１５５とを備える。また、第２圧縮多重部１０７の構成は、ＳＴＣ生成部１４６を備えない点が、第１圧縮多重部１０５と異なる。
【００５９】
フレームバッファ１５０は、画像信号処理部１０４から出力された毎秒３０フレームに相当するフレーム以外のフレームの画像信号を保持する。
【００６０】
ビデオエンコーダ１５１は、フレームバッファ１５０から画像信号を読み出し、圧縮処理を施して、ＥＳを生成する。ビデオエンコーダ１５１は、生成したＥＳをＰＥＳ多重化部１５２に出力する。
【００６１】
ＰＴＳ／ＤＴＳ生成部１５４は、ＳＴＣ生成部１４６により出力されたＳＴＣを基準とし、ビデオエンコーダ１５１により生成されたＥＳに含まれる各ピクチャのＰＴＳ及びＤＴＳを生成する。ＰＴＳ／ＤＴＳ生成部１５４は、生成したＰＴＳ及びＤＴＳをＰＥＳ多重化部１５２に出力する。
【００６２】
ＰＥＳ多重化部１５２は、ビデオエンコーダ１５１により生成されたＥＳに、ＰＴＳ／ＤＴＳ生成部１５４により生成されたＰＴＳ及びＤＴＳを多重化し、ＰＥＳを生成する。ＰＥＳ多重化部１５２は、生成したＰＥＳをＴＳ多重化部１５３に出力する。つまり、ＰＥＳ多重化部１５２は、ＥＳにＰＴＳ及びＤＴＳを付加する。
【００６３】
ＰＣＲ生成部１５５は、ＳＴＣを再生するときのタイミング基準となるＰＣＲを生成し、生成したＰＣＲをＴＳ多重化部１５３に出力する。
【００６４】
ＴＳ多重化部１５３は、ＰＥＳ多重化部１５２により生成されたＰＥＳをＴＳパケットにパケット化し、かつＰＣＲ生成部１５５により生成されたＰＣＲを多重化してＴＳを生成する。ＴＳ多重化部１５３は生成したＴＳを記録処理部１０６に出力する。つまり、ＴＳ多重化部１５３は、ＰＥＳにＰＣＲを付加する。
【００６５】
図４は、ＰＥＳ多重化部１４２及び１５２により生成されるＰＥＳの構成例を示す図である。
【００６６】
図４に示すＰＥＳ３００は、複数のＰＥＳパケット３０１を含む。画像データのＰＥＳパケット３０１は可変長のパケットである。
【００６７】
ＰＥＳパケット３０１は、ＰＥＳヘッダ３０２と、パケット・データ３０３とを含む。
【００６８】
ＰＥＳヘッダ３０２は、ＰＥＳスタートコード、ＰＥＳパケット長、ＰＥＳヘッダ長、ＰＴＳ３１０及びＤＴＳ３１１等を含む。
【００６９】
１つのＰＥＳパケット３０１に含まれるパケット・データ３０３は、ＥＳに含まれる１つのピクチャに対応するデータである。
【００７０】
ＤＴＳ３１１は、パケット・データ３０３に含まれる１ピクチャ分のＥＳの復号を開始する時刻である。ＰＴＳ３１０は、復号した後のピクチャデータを表示開始する時刻である。ＰＴＳ３１０及びＤＴＳ３１１は、ＰＴＳ／ＤＴＳ生成部１４４により生成されたＰＴＳ及びＤＴＳである。再生時に、再生側（本実施例では分離伸張部１２１）は、ＰＥＳパケット３０１に含まれるＰＴＳ３１０及びＤＴＳ３１１を取得する。再生側は、取得したＰＴＳ３１０及びＤＴＳ３１１を用いて、ピクチャの復号タイミング及び表示タイミングを制御する。
【００７１】
図５は、ＴＳ多重化部１４３及び１５３により生成されるＴＳの構成例を示す図である。
【００７２】
図５に示すようにＴＳ３２０は、複数のＴＳパケット３２１を含む。
【００７３】
ＴＳパケット３２１は、固定長のパケットである。ＴＳパケット３２１は、ＴＳヘッダ３２２と、ペイロード３２３とを含む。
【００７４】
ペイロード３２３は、画像データ及び音声データ等が格納される。
【００７５】
ＴＳヘッダ３２２は、ＴＳパケット３２１の先頭に付加される。ＴＳヘッダ３２２には、パケットの種別を示すパケット識別情報（ＰＩＤ）３２４が多重化される。ＰＩＤ３２４の値は画像データ及び音声データなどのペイロード３２３の中身に応じた固有の値が付与される。本実施例においては、ＰＣＲも固有のＰＩＤ値を有し、画像データ及び音声データ等の他のデータとは別のＴＳパケット３２１で伝送される。
【００７６】
ＰＥＳ多重化部１４２により生成されたＰＥＳ３００に含まれるＰＥＳパケット３０１は、ペイロード３２３のサイズに合わせて複数のＴＳパケット３２１のペイロード３２３に分割される。
【００７７】
記録処理部１０６は、第１圧縮多重部１０５のＴＳ多重化部１４３により生成されたＴＳである通常コンテンツ、及び第２圧縮多重部１０７のＴＳ多重化部１５３により生成されたＴＳである高速画像補助データを記録媒体２００に記録する。
【００７８】
記録制御部１０８は、記録媒体２００を駆動するドライブ装置、又は、記録アドレス入力手順などの記録プロトコルを制御する。
【００７９】
入力部１０９は、入力デバイスを介してユーザ操作を受け付ける。入力部１０９は、受け付けたユーザ操作を操作情報として制御部１１０に出力する。
【００８０】
制御部１１０は、画像信号処理部１０４、第１圧縮多重部１０５、記録処理部１０６、第２圧縮多重部１０７、記録制御部１０８、画像生成部１１１、画像信号処理部１１３、第１分離伸張部１１４、再生処理部１１５、及び第２分離伸張部１１６を制御することで、画像記録再生装置１００における記録処理、及び再生処理を実行する。
【００８１】
画像生成部１１１は、記録媒体２００に記録されているコンテンツの一覧を示すメニュー画像を生成する。
【００８２】
再生処理部１１５は、再生対象の通常コンテンツを記録媒体２００から読み出し、第１分離伸張部１１４に出力する。また、再生処理部１１５は、再生対象の通常コンテンツに関連した高速画像補助データを記録媒体２００から読み出し、第２分離伸張部１１６に出力する。
【００８３】
第１分離伸張部１１４は、再生処理部１１５から出力された通常コンテンツを、第１圧縮多重部１０５が施したＭＰＥＧ−２又はＨ．２６４などの符号化方法に基づいて、分離して伸張する。第１分離伸張部１１４は、伸張して得られた伸張後通常コンテンツを画像信号処理部１１３に出力する。
【００８４】
第２分離伸張部１１６は、再生処理部１１５から出力された高速画像補助データを、第２圧縮多重部１０７が施したＭＰＥＧ−２及びＨ．２６４などの符号化方法に基づいて、分離して伸張する。第２分離伸張部１１６は、伸張して得られた伸張後高速画像補助データを画像信号処理部１１３に出力する。
【００８５】
図６は、分離伸張部１２１の構成を示すブロック図である。
【００８６】
図６に示すように分離伸張部１２１は、さらに、ＳＴＣカウンタ１６０と、ＤＰＢ読み出し制御部１６１とを備える。
【００８７】
第１分離伸張部１１４は、ＴＳ分離部１７０と、ビデオデコーダ１７１と、ＤＰＢ（デコーデッド・ピクチャ・バッファ）１７２とを備える。第２分離伸張部１１６は、ＴＳ分離部１８０と、ビデオデコーダ１８１と、ＤＰＢ１８２とを備える。
【００８８】
ＴＳ分離部１７０は、記録媒体２００から読み出された通常コンテンツのＴＳを分離することで、毎秒３０フレーム相当の映像信号のＰＥＳを生成する。また、ＴＳ分離部１７０は、通常コンテンツのＴＳから、ＳＴＣの再生基準となるＰＣＲを分離する。ＴＳ分離部１７０は、生成したＰＥＳをビデオデコーダ１７１に出力し、分離したＰＣＲをＳＴＣカウンタ１６０に出力する。
【００８９】
ＳＴＣカウンタ１６０は、ＴＳ分離部１７０により出力されたＰＣＲに基づき、ＳＴＣをカウントする。つまり、ＳＴＣカウンタ１６０は、ＳＴＣ生成部１４６により生成されたＳＴＣを再生する。ＳＴＣカウンタ１６０は、再生したＳＴＣを、ＤＰＢ読み出し制御部１６１、ビデオデコーダ１７１及びビデオデコーダ１８１に出力する。
【００９０】
ビデオデコーダ１７１は、ＴＳ分離部１７０により出力されたＰＥＳから、ＰＴＳ及びＤＴＳを取得し、取得したＰＴＳをＤＰＢ読み出し制御部１６１に出力する。また、ビデオデコーダ１７１は、読み取ったＤＴＳに従ってＰＥＳに含まれるＥＳを復号（伸張）することで、復号画像を生成する。つまり、ビデオデコーダ１７１は、毎秒３０フレームに相当するフレームを復元する。ビデオデコーダ１７１は、生成した復号画像をＤＰＢ１７２に出力する。
【００９１】
ＤＰＢ１７２は、復号画像を保持するバッファであり、保持した復号画像は必要に応じて参照画像としてビデオデコーダ１７１に読み出される。また、ＤＰＢ１７２に保持される復号画像は、伸張後通常コンテンツとして画像信号処理部１１３に読み出される。
【００９２】
ＴＳ分離部１８０は、記録媒体２００から読み出された高速画像補助データのＴＳを分離することで、高速撮影画像のうち毎秒３０フレームに相当するフレーム以外のフレームの映像信号のＰＥＳを生成する。ＴＳ分離部１８０は、生成したＰＥＳをビデオデコーダ１８１に出力する。
【００９３】
ビデオデコーダ１８１は、ＴＳ分離部１８０により出力されたＰＥＳから、ＰＴＳ及びＤＴＳを取得し、取得したＰＴＳをＤＰＢ読み出し制御部１６１に出力する。また、ビデオデコーダ１８１は、読み取ったＤＴＳに従ってＰＥＳに含まれるＥＳを復号することで、復号画像を生成する。つまり、ビデオデコーダ１８１は、毎秒３０フレームに相当するフレーム以外のフレームを復元する。ビデオデコーダ１８１は、生成した復号画像をＤＰＢ１８２に出力する。
【００９４】
ＤＰＢ１８２は、復号画像を保持するバッファであり、保持した復号画像は必要に応じて参照画像としてビデオデコーダ１８１に読み出される。また、ＤＰＢ１８２に保持される復号画像は、伸張後高速画像補助データとして画像信号処理部１１３に読み出される。
【００９５】
ＤＰＢ読み出し制御部１６１は、ＳＴＣカウンタ１６０により出力されたＳＴＣと、ビデオデコーダ１７１及びビデオデコーダ１８１により出力されたＰＴＳとに基づき、ＤＰＢ１７２、ＤＰＢ１８２及び画像信号処理部１１３を制御する。
【００９６】
通常再生モードが指定されている場合、画像信号処理部１１３は、第１分離伸張部１１４のＤＰＢ１７２に保持される伸張後通常コンテンツに表示用の画質調整などの処理を施し、通常再生画像を生成する。画像信号処理部１１３は、生成した通常再生画像を表示部１１２に出力する。
【００９７】
具体的には、画像信号処理部１１３は、ＳＴＣカウンタ１６０により出力されたＳＴＣと、ビデオデコーダ１７１で取得された、各ピクチャのＰＴＳとが一致するタイミングで伸張後通常コンテンツに含まれるピクチャを順次出力する。
【００９８】
高速再生モードが指定されており、かつ第２分離伸張部１１６から高速画像補助データが得られる場合、画像信号処理部１１３は、伸張後通常コンテンツと伸張後高速画像補助データとを合成することで滑らかな高速撮影再生画像を生成し、表示部１１２に出力する。
【００９９】
具体的には、画像信号処理部１１３は、ＳＴＣカウンタ１６０により出力されたＳＴＣと、ビデオデコーダ１７１及びビデオデコーダ１８１で取得された、各ピクチャのＰＴＳとが一致するタイミングで伸張後通常コンテンツ及び伸張後高速画像補助データに含まれるピクチャを順次出力する。これにより、伸張後通常コンテンツ及び伸張後高速画像補助データに含まれる各ピクチャは、ＰＴＳの値の順に並び替えられたうえで、順次再生される。
【０１００】
ここで、高速撮影画像の再生表示方法として、２種類の再生表示方法がある。
【０１０１】
第１の再生表示方法は、各ピクチャの順番をＰＴＳに基づき並び替えるとともに、ＰＣＲに基づき再生したＳＴＣを用いて表示する方法である。
【０１０２】
第１の方法では、ＳＴＣカウンタ１６０は、通常コンテンツのＴＳから分離したＰＣＲを用いてＰＬＬ（Ｐｈａｓｅ  ｌｏｃｋｅｄ  ｌｏｏｐ）によりクロックを再生する。ＳＴＣカウンタ１６０は、当該クロックを用てＳＴＣをカウントする。この場合は、再生処理部１１５から分離伸張部１２１に入力されるコンテンツデータの転送速度に応じて、再生及び表示のフレームレートが決まる。
【０１０３】
従って、再生処理部１１５以前の部分と、分離伸張部１２１以降の部分が別装置に分離された状態でも、再生処理部１１５から所定の転送速度でコンテンツデータが送出されていれば、分離伸張部１２１及び画像信号処理部１１３で破綻をきたすことなくコンテンツ再生が可能となる。
【０１０４】
再生処理部１１５からのコンテンツデータ送出速度が、記録時における記録処理部１０６へのコンテンツデータ入力速度と同じであれば、高速撮影画像は元のフレームレート、例えば毎秒３００フィールドのフレームレートで再生される。高速撮影画像を、例えば毎秒３０フレームドのフレームレートでスロー再生する際には、再生処理部１１５から分離伸張部１２１へのコンテンツデータの転送速度を低速にする。このとき、ＳＴＣカウンタ１６０への入力クロックを生成するため、スロー再生向けにロック周波数を低い周波数に切り替えることが可能なＰＬＬを用いる必要がある。
【０１０５】
第２の再生表示方法は、画像信号処理部１１３が各ピクチャの順番をＰＴＳに基づき並び替え、表示する際のフレームレートを画像信号処理部１１３が自ら決定する方法である。
【０１０６】
この方法では、ＳＴＣカウンタ１６０は、水晶発振器などで生成されたクロックを用いてＳＴＣをカウントする。この場合は、ＳＴＣカウンタ１６０に入力するクロックの周波数によって、再生及び表示のフレームレートが決まる。この場合、ＳＴＣカウンタ１６０に再生クロックを入力するためのＰＬＬ回路が不要となるので、ハードウェア構成を単純にできる。
【０１０７】
しかしながら、一方で分離伸張部１２１がコンテンツデータの処理速度（データレート）を決めることになるため、再生処理部１１５が分離伸張部１２１のデータ処理状況に合わせてコンテンツデータを記録媒体２００から読み出す、読み出し速度制御が必要となる。従って、再生処理部１１５以前の部分と、分離伸張部１２１以降の部分が別装置に分離された状態では実現が困難になる。
【０１０８】
高速撮影画像をスロー再生する際には、ＳＴＣカウンタ１６０に供給されるクロックの周波数が下がる。具体的には、分周器を用いる、又は別の発振器で生成したクロックにＳＴＣカウンタ１６０に供給するクロックを切り替える。このとき、分離伸張部１２１のコンテンツデータ処理速度が落ちるため、その分だけ再生処理部１１５は、コンテンツデータの読み出し及び転送速度を低速にする必要がある。
【０１０９】
なお、第2の再生表示方法では、ＳＴＣカウンタ１６０からＳＴＣを供給する代わりに、再生及び表示のフレームレートに合ったフレームパルスをカウンタで生成し、ＤＰＢ読み出し制御部１６１に供給してもよい。この場合、ＰＴＳを基準にピクチャの順序を並び替えたあとは、フレームパルスの周期にあわせて各ピクチャを出力するだけでよく、ＳＴＣとＰＴＳとが一致するタイミングを検出する必要が無い。従って、ハードウェア構成のさらなる単純化が可能である。
【０１１０】
画像信号処理部１１３は、必要に応じて画像生成部１１１が生成したメニュー画像などをそのまま、又は第１分離伸張部１１４から出力された通常再生画像に多重して、画像信号として表示部１１２に出力する。
【０１１１】
表示部１１２は、画像信号処理部１１３から出力された通常再生画像、スロー再生画像、メニュー画像、又はメニュー画像を含む画像信号を再生し、再生した画像をモニタなどに表示する。
【０１１２】
つまり、高速再生モードでは、表示部１１２は、ＳＴＣカウンタ１６０により出力されたＳＴＣと、ビデオデコーダ１７１及びビデオデコーダ１８１で取得された、各ピクチャのＰＴＳとが一致するタイミングで各ピクチャを順次再生したうえで表示する。言い換えると、表示部１１２は、画像信号処理部１１３によりＰＴＳの値順に並び替えられた順に、各ピクチャを再生する。
【０１１３】
次に、画像記録再生装置１００の動作を説明する。
【０１１４】
まず、画像記録再生装置１００による記録動作を説明する。
【０１１５】
図７は、画像記録再生装置１００による記録動作の流れを示すフローチャートである。
【０１１６】
まず、制御部１１０は、ユーザにより入力部１０９を介して設定された撮影モードを判定する（Ｓ１００）。
【０１１７】
撮影モードが高速撮影モードの場合（Ｓ１００でＹｅｓ）、撮像部１０２は、レンズ群１０１を介して入力された光を撮像する（Ｓ１０１）。撮像部１０２は、入力された光信号をアナログ信号に変換する。Ａ／Ｄ変換部１０３は、アナログ信号をデジタル信号に変換する。
【０１１８】
次に、画像信号処理部１０４は、Ａ／Ｄ変換部１０３により変換されたデジタル信号にノイズ除去及び画質調整などの画像信号処理を施し画像信号を生成する（Ｓ１０２）。
【０１１９】
次に、画像信号処理部１０４は、処理を施した画像信号を、毎秒３０フレームに相当するフレームと、その他のフレームとに分割する（Ｓ１０３）。
【０１２０】
図８は、本発明の実施の形態に係る画像信号処理部１０４、第１圧縮多重部１０５、及び第２圧縮多重部１０７による処理の概要を示す図である。
【０１２１】
図８では、レンズ群１０１、撮像部１０２、及びＡ／Ｄ変換部１０３を介して入力された信号から画像信号処理部１０４において毎秒３００フレームのプログレッシブ走査画像（以下３００ｐと略する）、又は毎秒３００フィールドのインタレース走査画像（以下３００ｉと略する）が生成される場合の例を示す。なお、ここでは画像サイズとして１９２０×１０８０のいわゆるフルハイビジョン画像を想定する。
【０１２２】
画像信号処理部１０４は、３００ｐの画像から５フレーム置きに１フレームを取り出す。画像信号処理部１０４は、取り出したフレームについて交互に偶数ラインのみ、又は奇数ラインのみを抜き出すことで毎秒６０フィールド（毎秒３０フレーム）のインタレース画像（以下６０ｉと略する）信号を生成する。
【０１２３】
または、画像信号処理部１０４は、３００ｉの画像から５フィールド置きに１フィールド分の画像を抜き取ることでも６０ｉ信号を生成できる。
【０１２４】
この６０ｉ信号は、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）及びＡＶＣＨＤ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｅｃ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）などの従来規格に準拠した映像信号である。よって、第１圧縮多重部１０５で従来規格準拠の圧縮符号化を施し、そのまま通常コンテンツとして、従来規格に対応した記録フォーマットで記録媒体２００に記録することが可能である。
【０１２５】
一方、画像信号処理部１０４は、３００ｐの高速撮影画像から上記の６０ｉ信号を抜き出した残り、すなわち５フレーム置きに４フレーム分の画像信号から交互に偶数ラインのみ、又は奇数ラインのみを抜き出すことで毎秒２４０フィールドのインタレース画像（以下２４０ｉと略する）信号を生成する。なお、図８に示すように、この毎秒２４０フィールドは等間隔ではなく変則２４０ｉとなる。または、画像信号処理部１０４は、３００ｉの高速撮影画像から上記の６０ｉ信号を抜き出した残り、すなわち５フィールド置きに４フィールドを抜き出すことで変則２４０ｉ信号を得ることができる。
【０１２６】
この変則２４０ｉ信号は従来規格には整合しないが、ピクチャ間の相関性が残っているため、ＭＰＥＧ−２、又はＨ．２６４などのいわゆるハイブリッド符号化を用いて、第２圧縮多重部１０７で圧縮符号化を施し、高速画像補助データとして独自フォーマットで記録媒体２００に記録することが可能である。
【０１２７】
第１圧縮多重部１０５及び第２圧縮多重部１０７は、画像信号処理部１０４により分割された６０ｉ信号及び２４０ｉ信号を、個別に圧縮及び多重する（Ｓ１０４）。
【０１２８】
具体的には、フレームバッファ１４０は、画像信号処理部１０４から出力された６０ｉ信号を保持する。ビデオエンコーダ１４１は、フレームバッファ１４０に保持される６０ｉ信号に圧縮処理を施して、ＥＳを生成する。
【０１２９】
ＳＴＣ生成部１４６は、ＳＴＣ３３０を生成する。
【０１３０】
図９は、６０ｉ及び３００ｐに対するフィールド又はフレームの時間と、ＳＴＣと、ＰＴＳとの関係を示す図である。
【０１３１】
図９に示すように、６０ｉの１フィールドの時間は、１６．６８ｍ秒である。また、ＳＴＣ３３０は、２７ＭＨｚのクロックでカウントされる３３ビットのカウント値である。よって、６０ｉでは、ＳＴＣ３３０における１フィールドは、４５０４５０カウントである。
【０１３２】
また、３００ｐの１フレームの時間は、３．３４ｍ秒である。よって、３００ｐでは、ＳＴＣ３３０における１フレームは９００９０カウントである。
【０１３３】
ＰＴＳ／ＤＴＳ生成部１４４は、ＳＴＣ３３０に基づき、ビデオエンコーダ１４１により生成されたＥＳにおける各ピクチャのＰＴＳ３３１とＤＴＳとを生成する。ＰＴＳ３３１及びＤＴＳは、９０ｋＨｚ単位の値である。よって、６０ｉでは、ＰＴＳ３３１における１フィールドは１５０１．５である。よって、図８に示すように、フレーム０のＰＴＳ３３１は「０」となり、フレーム５のＰＴＳ３３１は「１５０２」となる。
【０１３４】
ＰＥＳ多重化部１４２は、ビデオエンコーダ１４１により生成されたＥＳに、ＰＴＳ３３１及びＤＴＳを多重化することでＰＥＳを生成する。
【０１３５】
ＰＣＲ生成部１４５は、ＰＣＲを生成する。ＴＳ多重化部１４３は、ＰＥＳ多重化部１４２により生成されたＰＥＳをＴＳパケットにパケット化し、かつＰＣＲなどを多重化してＴＳを生成する。
【０１３６】
ＴＳ多重化部１４３により生成されたＴＳは通常コンテンツとして記録処理部１０６に出力される。
【０１３７】
一方、フレームバッファ１５０は、画像信号処理部１０４から出力された変則２４０ｉ信号を保持する。ビデオエンコーダ１５１は、フレームバッファ１５０に保持される変則２４０ｉ信号に圧縮処理を施して、ＥＳを生成する。
【０１３８】
ＰＴＳ／ＤＴＳ生成部１５４は、ＳＴＣ３３０に基づき、ビデオエンコーダ１５１により生成されたＥＳにおける各ピクチャのＰＴＳ３３１とＤＴＳとを生成する。３００ｐでは、ＰＴＳ３３１に１フレームは３００．３である。よって、図８に示すように、フレーム１のＰＴＳ３３１は「３００」となり、フレーム２のＰＴＳ３３１は「６０１」となり、フレーム３のＰＴＳ３３１は「９０１」となる。
【０１３９】
ＰＥＳ多重化部１５２は、ビデオエンコーダ１５１により生成されたＥＳに、ＰＴＳ３３１及びＤＴＳを多重化することでＰＥＳを生成する。
【０１４０】
ＰＣＲ生成部１５５は、ＰＣＲを生成する。ＴＳ多重化部１５３は、ＰＥＳ多重化部１４２により生成されたＰＥＳをＴＳパケットにパケット化し、かつＰＣＲなどを多重化してＴＳを生成する。
【０１４１】
ＴＳ多重化部１５３により生成されたＴＳは高速画像補助データとして記録処理部１０６に出力される。
【０１４２】
次に、記録処理部１０６は、第１圧縮多重部１０５により生成された通常コンテンツと、第２圧縮多重部１０７により生成された高速画像補助データとを、記録媒体２００に形成した別のフォルダにそれぞれ記録する（Ｓ１０５）。
【０１４３】
また、記録処理部１０６は、通常コンテンツ及び高速画像補助データに含まれる各ＴＳパケット３２１に、再生基準を示すタイムスタンプであるＡＴＳ（アライバル・タイムスタンプ）を付加したうえで記録媒体２００に記録する。通常コンテンツのＴＳと、高速画像補助データのＴＳとに付加されるＡＴＳは、互いに無関係な値が個別に付加される。
【０１４４】
図１０は、本発明の実施の形態に係る記録媒体２００に記録されているファイル構成例を示す図である。
【０１４５】
図１０に示すように、記録媒体２００に記録されるファイルシステムの１つにおけるディレクトリ構成の最上位階層に、ＢＤＭＶメインフォルダ２１０と、ＨＩＧＨＲＡＴＥメインフォルダ２２０とが形成される。
【０１４６】
ＢＤＭＶメインフォルダ２１０は、従来互換用のフォルダであり、従来規格に対応した記録フォーマットで通常コンテンツが記録される。ＨＩＧＨＲＡＴＥメインフォルダ２２０は、高速撮影用フォルダであり、独自記録フォーマットで高速画像補助データが記録される。
【０１４７】
ＢＤＭＶメインフォルダ２１０の配下には、インフォファイル２１１（ｉｎｆｏ）と、メニューファイル２１２（ｍｅｎｕ）と、プレイリストフォルダ２１３（ＰＬＡＹＬＩＳＴ）と、クリップインフォフォルダ２１４（ＣＬＩＰＩＮＦ）と、ストリームフォルダ２１５（ＳＴＲＥＡＭ）と、バックアップフォルダ２１６（ＢＡＣＫＵＰ）とが形成される。
【０１４８】
インフォファイル２１１（ｉｎｆｏ）は、ディレクトリ全体の管理情報を含む。メニューファイル２１２（ｍｅｎｕ）は、メニューを構成する情報を含む。
【０１４９】
プレイリストフォルダ２１３（ＰＬＡＹＬＩＳＴ）の配下に、プレイリストファイル２１７（０１００１．ｐｌｓｔ）が格納される。プレイリストファイル２１７（０１００１．ｐｌｓｔ）は、通常コンテンツを再生するための情報を含む。具体的には、プレイリストファイル２１７は、コンテンツの再生順序に関する情報を含む。また、プレイリストファイル２１７は、クリップインフォファイル２１８を指定する情報と、再生時間とを含む。
【０１５０】
クリップインフォフォルダ２１４（ＣＬＩＰＩＮＦ）の配下に、クリップインフォファイル２１８（０１０００．ｃｌｐｉ）が格納される。クリップインフォファイル２１８（０１０００．ｃｌｐｉ）は、通常コンテンツを再生するための情報を含む。具体的には、クリップインフォファイル２１８は、時間情報と画像データ（ストリームファイル２１９）の位置との対応を示す。また、クリップインフォファイル２１８は、対応する画像データの部分再生及び特殊再生を実現するためのタイムテーブルを含む。また、クリップインフォファイル２１８は、対応する画像データの画像サイズ、及び圧縮方法等の情報を含む。
【０１５１】
ストリームフォルダ２１５（ＳＴＲＥＡＭ）の配下に、ストリームファイル２１９（０１０００．ｍ２ｔｓ）が格納される。ストリームファイル２１９（０１０００．ｍ２ｔｓ）は、ＡＶデータファイルを含む。
【０１５２】
バックアップフォルダ２１６（ＢＡＣＫＵＰ）には、例えば編集作業途中の、インフォファイル２１１（ｉｎｆｏ）、メニューファイル２１２（ｍｅｎｕ）、プレイリストフォルダ２１３（ＰＬＡＹＬＩＳＴ）、及びクリップインフォフォルダ２１４（ＣＬＩＰＩＮＦ）のコピーが保存される。これにより、編集途中での電源断等によって通常コンテンツが再生不可能な状態になることを防ぐことができる。
【０１５３】
ＨＩＧＨＲＡＴＥメインフォルダ２２０の配下には、プレイリストフォルダ２２３（ＥＸＴＰＬＡＹＬＩＳＴ）と、クリップインフォフォルダ２２４（ＥＸＴＣＬＩＰＩＮＦ）と、ストリームフォルダ２２５（ＥＸＴＳＴＲＥＡＭ）と、バックアップフォルダ２２６（ＢＡＣＫＵＰ）とが形成される。
【０１５４】
プレイリストフォルダ２２３（ＥＸＴＰＬＡＹＬＩＳＴ）の配下に、プレイリストファイル２２７（０１００１．ｐｌｓｅ）が格納される。プレイリストファイル２２７（０１００１．ｐｌｓｅ）は、高速画像補助データを再生するための情報を含む。具体的には、プレイリストファイル２２７は、高速画像補助データに関するピクチャの再生順序に関する情報を含む。また、プレイリストファイル２２７は、クリップインフォファイル２２８を指定する情報と、再生時間とを含む。
【０１５５】
クリップインフォフォルダ２２４（ＥＸＴＣＬＩＰＩＮＦ）の配下に、クリップインフォファイル２２８（０１０００．ｃｌｐｅ）が格納される。クリップインフォファイル２２８（０１０００．ｃｌｐｅ）は、高速画像補助データを再生するための情報を含む。具体的には、クリップインフォファイル２２８は、時間情報と画像データ（ストリームファイル２２９）の位置との対応を示す。また、クリップインフォファイル２２８は、対応する画像データの部分再生及び特殊再生を実現するためのタイムテーブルを含む。また、クリップインフォファイル２２８は、対応する画像データの画像サイズ、及び圧縮方法等の情報を含む。
【０１５６】
ストリームフォルダ２２５（ＥＸＴＳＴＲＥＡＭ）の配下に、ストリームファイル２２９（０１０００．ｍ２ｔｅ）が格納される。ストリームファイル２２９（０１０００．ｍ２ｔｅ）は、高速画像補助データファイルを含む。
【０１５７】
バックアップフォルダ２２６（ＢＡＣＫＵＰ）には、例えば編集作業途中の、プレイリストフォルダ２２３（ＰＬＡＹＬＩＳＴ）、及びクリップインフォフォルダ２２４（ＣＬＩＰＩＮＦ）のコピーが保存される。
【０１５８】
また、ＢＤＭＶメインフォルダ２１０とＨＩＧＨＲＡＴＥメインフォルダ２２０とは、下位に含まれるフォルダ階層の構成が同じである。
【０１５９】
以上のように、画像記録再生装置１００は、高速撮影モード時には、毎秒３００フィールドの画像データのうち、従来規格に準拠した毎秒３０フレームに相当する画像データをＢＤＭＶメインフォルダ２１０以下に記録し、毎秒３０フレームに相当する画像データ以外の画像データをＨＩＧＨＲＡＴＥメインフォルダ２２０以下に記録する。
【０１６０】
一方、撮影モードが通常撮影モードの場合（Ｓ１００でＮｏ）、撮像部１０２は、レンズ群１０１を介して入力された光を撮像する（Ｓ１１１）。撮像部１０２は、入力された光信号をアナログ信号に変換する。Ａ／Ｄ変換部１０３は、アナログ信号をデジタル信号に変換する。
【０１６１】
次に、画像信号処理部１０４は、Ａ／Ｄ変換部１０３により変換されたデジタル信号にノイズ除去及び画質調整などの画像信号処理を施し画像信号（６０ｉ信号）を生成する（Ｓ１１２）。
【０１６２】
次に、第１圧縮多重部１０５は、画像信号処理部１０４により生成された６０ｉ信号を、圧縮及び多重することで、従来規格に準拠した通常コンテンツのデータを生成する（Ｓ１１３）。なお、通常撮影モード時の第１圧縮多重部１０５の動作は、高速撮影モード時の動作と同様であり、詳細な説明は省略する。
【０１６３】
次に、記録処理部１０６は、第１圧縮多重部１０５により生成された通常コンテンツを、記録媒体２００に形成したＢＤＭＶメインフォルダ２１０に記録する（Ｓ１１４）。
【０１６４】
以上のように、画像記録再生装置１００は、通常撮影モード時には、従来規格に準拠した毎秒３０フレームに相当する画像データを、ＢＤＭＶメインフォルダ２１０以下に記録する。
【０１６５】
なお、上述した画像信号処理部１０４、圧縮多重部１２０及び記録処理部１０６による処理は、制御部１１０の制御により行われる。また、フレームバッファ１４０、１５０、ビデオエンコーダ１４１、１５２、ＰＥＳ多重化部１４２、１５２、ＴＳ多重化部１４３、１５３、ＰＴＳ／ＤＴＳ生成部１４４、１５４、ＰＣＲ生成部１４５、１５５及びＳＴＣ生成部１４６による処理は、圧縮多重制御部１３０の制御により行われる。また、記録処理部１０６による記録媒体２００へのデータの記録時における、ディスク位置等の制御は、記録制御部１０８により行われる。
【０１６６】
次に、画像記録再生装置１００による再生動作を説明する。
【０１６７】
図１１は、画像記録再生装置１００による再生動作の流れを示すフローチャートである。
【０１６８】
まず、制御部１１０は、ユーザにより入力部１０９を介して設定された再生モードを判定する（Ｓ２００）。
【０１６９】
再生モードが通常再生モードの場合（Ｓ２００でＮｏ）、再生処理部１１５は、再生対象の通常コンテンツを記録媒体２００から読み出す（Ｓ２１１）。
【０１７０】
図１２は、図１０のファイル構成におけるＢＤＭＶメインフォルダ２１０以下のファイルの関係を説明する図である。
【０１７１】
通常再生モードの場合、制御部１１０は、再生制御にあたって、プレイリストファイル２１７、クリップインフォファイル２１８、及びストリームファイル２１９の３種類のファイルを使用する。
【０１７２】
プレイリストファイル２１７は、クリップインフォファイル２１８を指定する情報と、再生時間とを含む。再生処理部１１５は、再生対象のプレイリストファイル２１７に含まれるクリップインフォファイル２１８を順次参照する。再生処理部１１５は、クリップインフォファイル２１８に含まれるタイムテーブルで指定されたストリームファイル２１９を読み出す。
【０１７３】
例えば、プレイリストファイル２１７（０１００１．ｐｌｓｔ）には、クリップ（＃１）、及びクリップ（＃２）などが含まれ、クリップ（＃１）、及びクリップ（＃２）の順に再生されることが示される。再生処理部１１５は、クリップ（＃１）については、クリップインフォファイル２１８（０１０００．ｃｌｐｉ）によって対応付けられているストリームファイル２１９（０１０００．ｍ２ｔｓ）を読み出す。再生処理部１１５は、クリップ（＃２）については、クリップインフォファイル２１８（０２０００．ｃｌｐｉ）によって対応付けられているストリームファイル２１９（０２０００．ｍ２ｔｓ）を読み出す。
【０１７４】
第１分離伸張部１１４は、再生処理部１１５により読み出された通常コンテンツを、分離して伸張する（Ｓ２１２）。
【０１７５】
具体的には、ＴＳ分離部１７０は、記録媒体２００から読み出された通常コンテンツのＴＳを分離することで、毎秒３０フレーム相当の映像信号のＰＥＳを生成する。また、ＴＳ分離部１７０は、通常コンテンツのＴＳから、ＳＴＣの再生基準となるＰＣＲを分離する。
【０１７６】
ＳＴＣカウンタ１６０は、ＴＳ分離部１７０により分離されたＰＣＲに基づき、ＳＴＣを再生する。
【０１７７】
ビデオデコーダ１７１は、ＴＳ分離部１７０により生成されたＰＥＳから、ＰＴＳ及びＤＴＳを読み取る。また、ビデオデコーダ１７１は、読み取ったＤＴＳに従ってＰＥＳに含まれるＥＳを復号することで、復号画像を生成する。
【０１７８】
ＤＰＢ１７２は、ビデオデコーダ１７１により生成された復号画像（伸張後通常コンテンツ）を保持する。
【０１７９】
画像信号処理部１１３は、ＤＰＢ１７２に保持される伸張後通常コンテンツに表示用画質調整などの画像信号処理を施し、通常再生画像を生成する（Ｓ２１３）。
【０１８０】
表示部１１２は、画像信号処理部１１３により生成された通常再生画像を再生し、再生した画像をモニタなどに表示する（Ｓ２１４）。
【０１８１】
以上のように、画像記録再生装置１００は、通常再生モード時には、従来規格に準拠した毎秒３０フレームに相当する画像データをＢＤＭＶメインフォルダ２１０から読み出し、再生する。
【０１８２】
また、ＢＤＭＶメインフォルダ２１０以下のファイル構成は、従来規格のフォルダ構造と同様である。これにより、高速撮影に対応していない従来規格準拠の画像再生装置が、記録媒体２００を再生した場合でも、毎秒３０フレーム相当の画像を再生することができる。さらに、従来規格準拠の画像再生装置でも、プレイリスト編集などの機能を従来通りに使用できる。
【０１８３】
一方、再生モードが高速再生モードの場合（Ｓ２００でＹｅｓ）、制御部１１０は、再生対象の通常コンテンツに対応する高速画像補助データが記録媒体２００に記録されているか否かを判定する（Ｓ２０１）。
【０１８４】
図１３は、図１０のファイル構成におけるＢＤＭＶメインフォルダ２１０以下のファイルとＨＩＧＨＲＡＴＥメインフォルダ２２０以下のファイルとの関係を説明する図である。
【０１８５】
高速再生モードの場合、制御部１１０は、ＢＤＭＶメインフォルダ２１０以下のプレイリストファイル２１７に加えて、ＨＩＧＨＲＡＴＥメインフォルダ２２０以下のプレイリストファイル２２７を参照する。
【０１８６】
高速撮影モードの場合、記録処理部１０６は、通常コンテンツの１つのクリップに対応した高速画像補助データをＨＩＧＨＲＡＴＥメインフォルダ２２０に記録する。高速画像補助データのプレイリストファイル２２７には、通常コンテンツに対応して再生時に利用可能な高速画像補助データのクリップインフォファイル２１８と再生時間とが記載されている。なお、プレイリストファイル２２７に記載される再生時間は、高速撮影のフレーム単位まで記載される。
【０１８７】
再生処理部１１５は、まず、通常コンテンツのプレイリストファイル２１７及び高速画像補助データのプレイリストファイル２２７を参照する。
【０１８８】
以下、プレイリストファイル２１７に含まれる最初のクリップ（＃１）を再生する場合を説明する。ここでは、クリップ（＃１）に対応するクリップが高速画像補助データのプレイリストファイル２２７に存在しない。つまり、クリップ（＃１）は、通常撮影モードで記録された画像データ、又は高速撮影に対応していない従来規格の画像記録装置により記録された画像データである。
【０１８９】
高速画像補助データが記録されていないので（Ｓ２０１でＮｏ）、画像記録再生装置１００は、通常再生モードと同様の処理（Ｓ２１１〜Ｓ２１４）を行う。なお、記録媒体２００に対応する高速画像補助データが記録されていない場合（Ｓ２０１でＮｏ）、制御部１１０は、ユーザにエラーの内容等を表示し、再生処理を終了してもよい。また、画像記録再生装置１００は、通常コンテンツを通常のフレーム間隔でスロー再生してもよい。
【０１９０】
続いて、クリップ（＃２）を再生する処理を説明する。クリップ（＃２）に対応するクリップ（＃１１）が高速画像補助データのプレイリストファイル２２７に存在する。つまり、クリップ（＃２）は、高速撮影モードで記録された画像データである。
【０１９１】
高速画像補助データが記録されているので（Ｓ２０１でＹｅｓ）、再生処理部１１５は、再生対象の通常コンテンツと、当該通常コンテンツに関連した高速画像補助データとを記録媒体２００から読み出す（Ｓ２０２）。具体的には、再生処理部１１５は、クリップインフォファイル２２８（０２０００．ｃｌｐｅ）によって対応付けられている高速画像補助データのストリームファイル２２９（０２０００．ｍ２ｔｅ）を読み出す。また、再生処理部１１５は、クリップインフォファイル２１８（０２０００．ｃｌｐｉ）によって対応付けられている通常コンテンツのストリームファイル２１９（０２０００．ｍ２ｔｓ）を読み出す。
【０１９２】
次に、第１分離伸張部１１４は、再生処理部１１５により読み出された通常コンテンツを分離及び伸張し、第２分離伸張部１１６は、再生処理部１１５により読み出された高速画像補助データを分離及び伸張する（Ｓ２０３）。
【０１９３】
具体的には、ＴＳ分離部１７０は、記録媒体２００から読み出された通常コンテンツのＴＳを分離することで、６０ｉの映像信号のＰＥＳを生成する。また、ＴＳ分離部１７０は、通常コンテンツのＴＳから、ＳＴＣの再生基準となるＰＣＲを分離する。
【０１９４】
ＳＴＣカウンタ１６０は、ＴＳ分離部１７０により分離されたＰＣＲに基づき、ＳＴＣを再生する。
【０１９５】
ビデオデコーダ１７１は、ＴＳ分離部１７０により生成されたＰＥＳから、ＰＴＳ及びＤＴＳを読み取る。また、ビデオデコーダ１７１は、読み取ったＤＴＳに従ってＰＥＳに含まれるＥＳを復号することで、復号画像を生成する。
【０１９６】
ＤＰＢ１７２は、ビデオデコーダ１７１により生成された復号画像（伸張後通常コンテンツ）を保持する。
【０１９７】
一方で、ＴＳ分離部１８０は、記録媒体２００から読み出された高速画像補助データのＴＳを分離することで、変則２４０ｉの映像信号のＰＥＳを生成する。なお、高速画像補助データのＴＳにも、ＰＣＲは多重されているが、ＳＴＣカウンタ１６０によるＳＴＣの再生には用いられない。
【０１９８】
ビデオデコーダ１８１は、ＴＳ分離部１８０により出力されたＰＥＳから、ＰＴＳ及びＤＴＳを読み取る。また、ビデオデコーダ１８１は、読み取ったＤＴＳに従ってＰＥＳに含まれるＥＳを復号することで、復号画像を生成する。
【０１９９】
ＤＰＢ１８２は、ビデオデコーダ１８１により生成された復号画像（伸張後高速画像補助データ）を保持する。
【０２００】
画像信号処理部１１３は、伸張後通常コンテンツと伸張後高速画像補助データとを合成することで、毎秒３００フィールドの画像信号を復元する。画像信号処理部１１３は、復元した毎秒３００フィールドの画像信号から、滑らかなスロー再生画像を生成する（Ｓ２０４）。
【０２０１】
画像信号処理部１１３による毎秒３００フィールドの画像信号を復元処理は、ＤＰＢ読み出し制御部１６１により制御される。具体的には、ＤＰＢ読み出し制御部１６１は、ＳＴＣカウンタ１６０により出力されたＳＴＣと、ビデオデコーダ１７１及びビデオデコーダ１８１により出力されたＰＴＳとが一致するタイミングで順次ピクチャ（フィールド又はフレーム）を出力するように画像信号処理部１１３を制御することで、３００ｉの画像信号を復元する。また、画像信号処理部１１３は、スロー再生の速度に応じたフレームレートで順次ピクチャを出力することで、スロー再生画像を生成する。
【０２０２】
表示部１１２は、画像信号処理部１１３により生成されたスロー再生画像を再生し、再生した画像をモニタなどに表示する（Ｓ２０５）。
【０２０３】
以上のように、画像記録再生装置１００は、高速再生モード時には、従来規格に準拠した毎秒３０フレームに相当する画像データをＢＤＭＶメインフォルダ２１０から読み出し、高速画像補助データをＨＩＧＨＲＡＴＥメインフォルダ２２０から読み出す。画像記録再生装置１００は、読み出した毎秒３０フレームに相当する画像データと高速画像補助データとを用いて、高速画像を復元し再生する。
【０２０４】
なお、上述した再生処理部１１５、分離伸張部１２１及び画像信号処理部１１３による処理は、制御部１１０の制御により行われる。
【０２０５】
また、画像記録再生装置１００により記録媒体２００に記録された画像データを画像記録再生装置１００で直接再生する場合は、ＳＴＣカウンタ１６０は必ずしも必要ではない。この場合、画像記録再生装置１００は、記録媒体２００に記録した高速撮影画像のフレームレート（３００ｉ）を把握しているので、高速撮影画像のフレームレートにあわせて記録媒体２００からのデータ読み出し速度を制御できる。これにより、画像信号処理部１１３は、ＰＴＳの値に従い、通常コンテンツの各ピクチャと高速画像補助データの各ピクチャとの出力順のみを整えたうえで、元のフレームレート（３００ｉ）に各ピクチャの出力タイミングをあわせて順次出力すればよい。つまり、画像信号処理部１１３は、通常コンテンツ及び高速画像データに含まれるピクチャのうちＰＴＳの小さいピクチャから順番に、毎秒３００フィールドで出力すればよい。
【０２０６】
さらに、滑らかなスロー再生画像を出力する場合には、画像信号処理部１１３は、各ピクチャの出力タイミングを元のフレームレート（３００ｉ）より遅いフレームレートで出力すればよい。つまり、画像信号処理部１１３は、通常コンテンツ及び高速画像データに含まれるピクチャのうちＰＴＳの小さいピクチャから順番に、毎秒３００フィールドより遅いフレームレート（例えば毎秒６０フィールド）で出力すればよい。
【０２０７】
このように、画像記録再生装置１００は、ＳＴＣカウンタ１６０を備えず、ＤＰＢ１７２及び１８２からの読み出しタイミングは表示出力のタイミングに合わせて決定し、ピクチャの読み出し順のみＰＴＳの値で管理してもよい。
【０２０８】
つまり、ＳＴＣカウンタ１６０が必要になるのは、記録媒体２００から読み出したデータを、第１分離伸張部１１４及び第２分離伸張部１１６に入力するまでに、機器間で伝送する場合である。このような場合は、記録媒体２００からのデータ読み出し速度を、第１分離伸張部１１４及び第２分離伸張部１１６以降の回路動作と連動して制御できない。したがって、上述したように通常コンテンツのＴＳに多重されたＰＣＲからＳＴＣを再生し、当該ＳＴＣを基準に通常コンテンツ及び高速画像補助データの各ピクチャの出力タイミングを制御する必要がある。
【０２０９】
以上、本発明の実施の形態に係る画像記録再生装置１００によれば、高速撮影した画像を記録媒体２００に記録でき、かつ滑らかなスロー再生画像を再生できる。
【０２１０】
また、画像記録再生装置１００で記録した記録媒体２００を、高速再生画像の再生に対応していない従来規格に準拠した画像再生装置に装着して再生した場合には、当該画像再生装置は、毎秒３０フレーム相当の画像を再生できる。また、当該画像再生装置は、画面縮小及び画面分割多重されていない画像を再生できる。すなわち、画像記録再生装置１００は、従来規格の画像再生装置との互換性を確保できる。
【０２１１】
また、画像記録再生装置１００は、高速撮影画像を分割した通常コンテンツと高速画像補助データとに同一のＳＴＣを用いて生成したＰＴＳを付加する。これにより、画像記録再生装置１００により記録媒体２００に記録された高速撮影画像を、高速撮影画像に対応した画像再生装置が再生する際に、当該画像再生装置は、通常コンテンツと高速画像補助データのとの同期を容易にとれる。具体的には、当該画像再生装置は、通常コンテンツと高速画像補助データとのＰＴＳのみを参照し、ＰＴＳの値の順に通常コンテンツ及び高速画像補助データのピクチャをフレームレートに応じたタイミングで出力することで、高速撮影画像を再生できる。
【０２１２】
また、画像記録再生装置１００は、記録媒体２００の１つのファイルシステム内に、従来規格に対応した画像データと、高速画像補助データとを記録する。よって、画像記録再生装置１００により記録された高速撮影画像は、複数の記録媒体に従来規格に対応した画像データと高速画像補助データとが分割して記録された高速撮影画像に比べ、管理が容易である。つまり、画像記録再生装置１００は、管理が容易な高速撮影画像を記録できる。
【０２１３】
また、画像記録再生装置１００は、ＨＩＧＨＲＡＴＥメインフォルダ２２０のフォルダ構成をＢＤＭＶメインフォルダ２１０のフォルダ構成にあわせて形成する。これにより、通常コンテンツと高速画像補助データとの対応をとりやすくできる。さらに、プレイリストファイル２１７及び２２７からクリップインフォファイル２１８及び２２８を介してストリームファイル２１９及び２２９を指定し再生する処理が通常コンテンツ用と高速画像補助データ用とで共用化可能となるので、制御部１１０の実装を簡略化することができる。
【０２１４】
さらに、ＨＩＧＨＲＡＴＥメインフォルダ２２０にもＢＤＭＶメインフォルダ２１０と同様のバックアップフォルダ２２６を設けておくことで、編集時にＢＡＣＫＵＰフォルダを運用するためのファイル運用手順を通常コンテンツと高速画像補助データとで共用化できる。
【０２１５】
以上、本発明の実施の形態に係る画像記録再生装置１００について説明したが、本発明は、この実施の形態に限定されるものではない。
【０２１６】
例えば、上記説明では、通常コンテンツの１つのメインフォルダに対して、高速画像補助データの１つのメインフォルダが対応するものとして説明したが、高速画像補助データが複数に分割されていてもよく、それらが複数のメインフォルダに分かれて記録されていてもよい。
【０２１７】
また、上記説明では、従来規格の画像として毎秒３０フレームのフレームレートの画像を例に説明したが、従来規格の画像は毎秒３０フレームのフレームレート以外であってもよい。例えば、従来規格の画像は毎秒６０フレームのフレームレートの画像であってもよい。
【０２１８】
また、上記説明では、高速撮影画像は毎秒３００フィールドのフレームレートとしたが、高速撮影画像のフレームレートは、これに限定されるものではなく、従来規格のフレームレートより高いフレームレートであればよい。
【０２１９】
また、上記説明では、図１１において画像記録再生装置１００は、高速再生モードであるか否かを判定（Ｓ２００）した後に、高速画像補助データが存在するか否かを判定（Ｓ２０１）するとしたが、高速画像補助データが存在するか否かを判定（Ｓ２０１）した後に、高速再生モードであるか否かを判定（Ｓ２００）してもよい。さらに、画像記録再生装置１００は、所定の時間毎に、高速再生モードであるか否かの判定（Ｓ２００）を行ってもよい。
【０２２０】
また、上記説明では、図１０に示すフォルダ構成を示したが、毎秒３０フレーム相当の画像と、それ以外の画像とが別のフォルダに格納されればよく、本発明はこれに限定されるものではない。つまり、プレイリストファイル２１７、クリップインフォファイル２１８及びストリームファイル２１９は、ＢＤＭＶメインフォルダ２１０、又はＢＤＭＶメインフォルダ２１０の下位に階層的に形成したフォルダに記録されればよい。プレイリストファイル２２７、クリップインフォファイル２２８及びストリームファイル２２９は、ＨＩＧＨＲＡＴＥメインフォルダ２２０、又はＨＩＧＨＲＡＴＥメインフォルダ２２０の下位に階層的に形成したフォルダに記録されればよい。
【０２２１】
また、プレイリストファイル２１７、クリップインフォファイル２１８及びストリームファイル２１９に含まれる情報の実体が、ＢＤＭＶメインフォルダ２１０内に格納される必要はなく、プレイリストファイル２１７、クリップインフォファイル２１８及びストリームファイル２１９に含まれる情報の実体を特定する情報のみがＢＤＭＶメインフォルダ２１０内に格納されてもよい。すなわち、プレイリストファイル２１７、クリップインフォファイル２１８及びストリームファイル２１９は、ＢＤＭＶメインフォルダ２１０に関連付けて記録されればよい。
【０２２２】
同様に、プレイリストファイル２２７、クリップインフォファイル２２８及びストリームファイル２２９に含まれる情報の実体が、ＨＩＧＨＲＡＴＥメインフォルダ２２０内に格納される必要はなく、プレイリストファイル２２７、クリップインフォファイル２２８及びストリームファイル２２９に含まれる情報の実体を特定する情報のみがＨＩＧＨＲＡＴＥメインフォルダ２２０内に格納されてもよい。すなわち、プレイリストファイル２２７、クリップインフォファイル２２８及びストリームファイル２２９は、ＨＩＧＨＲＡＴＥメインフォルダ２２０に関連付けて記録されればよい。
【０２２３】
また、上記説明において、撮影した画像データを記録媒体２００に記録する記録機能と、記録媒体２００に記録された画像データとを再生する再生機能とを備える画像記録再生装置１００を例に説明したが、本発明は、画像記録再生装置１００が有する記録機能のみを有する画像記録装置、又は再生機能のみを有する画像再生装置に適用してもよい。
【０２２４】
また、本発明に係わる画像記録再生装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、システムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、及びネットワークインターフェースなどを備えてもよい。さらに、画像記録再生装置１００は、ＤＶＤ−ＲＡＭ、ＢＤ、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリカードなどの可搬性の記録媒体に対して読み書き可能なドライブ装置を備えてもよい。
【０２２５】
また、画像記録再生装置１００は、デジタルビデオカメラ、デジタルカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、ＩＰ電話機及び携帯電話機などの組み込みシステムとしてもよい。
【０２２６】
さらに、ＨＤＤ又はＲＯＭなどに、画像記録再生装置１００を制御するプログラム（以下、記録再生プログラムと呼称する。）がインストールされており、記録再生プログラムが実行されることによって、画像記録再生装置１００の機能のうち一部又は全部が実現されてもよい。
【０２２７】
なお、記録再生プログラムは、コンピュータシステム、及び組み込みシステムなどのハードウェアシステムにおいて、読み取り可能な記録媒体に記録されていてもよい。さらに、記録再生プログラムは、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。これによって、画像記録再生装置１００の各機能を他のハードウェアシステムに実現することができる。ここで、コンピュータシステムが読み取り可能な記録媒体は、光学記録媒体（例えば、ＣＤ−ＲＯＭなど。）、磁気記録媒体（例えば、ハードディスクなど。）、光磁気記録媒体（例えば、ＭＯなど。）、又は半導体メモリ（例えば、メモリカードなど。）などである。
【０２２８】
また、記録再生プログラムは、インターネット、ローカルエリアネットワークなどのネットワークに接続されているハードウェアシステムに保持されていてもよい。さらに、記録再生プログラムは、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されてもよい。これによって、画像記録再生装置１００の各機能を他のハードウェアシステムに実現することができる。ここで、ネットワークは、地上放送網、衛星放送網、ＰＬＣ（Ｐｏｗｅｒ  Ｌｉｎｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、移動電話網、有線通信網（例えば、ＩＥＥＥ８０２．３など。）、又は無線通信網（例えば、ＩＥＥＥ８０２．１１など。）である。
【０２２９】
また、画像記録再生装置１００に実装される記録再生回路（ハードウェア）によって、画像記録再生装置１００の各機能のうち一部又は全部が実現されてもよい。
【０２３０】
なお、記録再生回路は、フルカスタムＬＳＩ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのセミカスタムＬＳＩ、プログラマブル・ロジック・デバイス、及び動的に回路構成が書き換え可能なダイナミック・リコンフィギュラブル・デバイスのうち１以上に形成されてもよい。ここで、プログラマブル・ロジック・デバイスは、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）又はＣＰＬＤ（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）などである。
【０２３１】
さらに、画像記録再生装置１００の各機能を記録再生回路に形成する設計データは、ハードウェア記述言語によって記述されたプログラム（以下、ＨＤＬプログラムと呼称する。）としてもよい。さらに、ＨＤＬプログラムを論理合成して得られるゲート・レベルのネットリストとしてもよい。また、ゲート・レベルのネットリストに、配置情報、プロセス条件等を付加したマクロセル情報としてもよい。また、寸法、タイミング等が規定されたマスクデータとしてもよい。ここで、ハードウェア記述言語は、ＶＨＤＬ（Ｖｅｒｙ  ｈｉｇｈ  ｓｐｅｅｄ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ  Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）、Ｖｅｒｉｌｏｇ−ＨＤＬ、又はＳｙｓｔｅｍＣである。
【０２３２】
さらに、設計データは、コンピュータシステム、及び組み込みシステムなどのハードウェアシステムが読み取り可能な記録媒体に記録されていてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されてもよい。そして、これらの記録媒体を介して他のハードウェアシステムに読み取られた設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされてもよい。
【０２３３】
または、設計データは、インターネット、及びローカルエリアネットワークなどのネットワークに接続されているハードウェアシステムに保持されてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されてもよい。そして、これらのネットワークを介して他のハードウェアシステムに取得された設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされてもよい。
【０２３４】
または、設計データは、通電時にＦＰＧＡに転送され得るように、シリアルＲＯＭに記録してもよい。そして、シリアルＲＯＭに記録された設計データは、通電時に、直接、ＦＰＧＡにダウンロードされてもよい。
【０２３５】
または、設計データは、通電時に、マイクロプロセッサによって生成されて、ＦＰＧＡにダウンロードされてもよい。
【産業上の利用可能性】
【０２３６】
本発明は、画像記録装置、画像再生装置及び記録媒体に適用でき、特に、高速撮影画像を記録及び再生する、デジタルビデオカメラ、デジタルカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、ＩＰ電話機及び携帯電話機などの画像記録再生装置及び当該画像記録再生装置により高速撮影画像が記録された記録媒体に適用できる。
【図面の簡単な説明】
【０２３７】
【図１】本発明の実施の形態に係る画像記録再生装置の外観を示す斜視図である。
【図２】本発明の実施の形態に係る画像記録再生装置のハードウェア構成を示す図である。
【図３】本発明の実施の形態に係る圧縮多重部の構成を示すブロック図である。
【図４】本発明の実施の形態に係るＰＥＳの構成例を示す図である。
【図５】本発明の実施の形態に係るＴＳの構成例を示す図である。
【図６】本発明の実施の形態に係る分離伸張部の構成を示すブロック図である。
【図７】本発明の実施の形態に係る画像記録再生装置による記録動作の流れを示すフローチャートである。
【図８】本発明の実施の形態に係る画像信号処理部、第１圧縮多重部、及び第２圧縮多重部での処理の概要を示す図である。
【図９】本発明の実施の形態に係る６０ｉ及び３００ｐに対するフィールド時間、ＳＴＣ及びＰＴＣの関係を示す図である。
【図１０】本発明の実施の形態に係る記録媒体に記録されているファイル構成例を示す図である。
【図１１】本発明の実施の形態に係る画像記録再生装置による再生動作の流れを示すフローチャートである。
【図１２】図１０のファイル構成におけるＢＤＭＶメインフォルダ以下のファイルの関係を説明する図である。
【図１３】図１０のファイル構成におけるＢＤＭＶメインフォルダ以下のファイルとＨＩＧＨＲＡＴＥメインフォルダ以下のファイルとの関係を説明する図である。
【符号の説明】
【０２３８】
１００  画像記録再生装置
１０１  レンズ群
１０２  撮像部
１０３  Ａ／Ｄ変換部
１０４  画像信号処理部
１０５  第１圧縮多重部
１０６  記録処理部
１０７  第２圧縮多重部
１０８  記録制御部
１０９  入力部
１１０  制御部
１１１  画像生成部
１１２  表示部
１１３  画像信号処理部
１１４  第１分離伸張部
１１５  再生処理部
１１６  第２分離伸張部
１２０  圧縮多重部
１２１  分離伸張部
１３０  圧縮多重制御部
１４０、１５０  フレームバッファ
１４１、１５１  ビデオエンコーダ
１４２、１５２  ＰＥＳ多重化部
１４３、１５３  ＴＳ多重化部
１４４、１５４  ＰＴＳ／ＤＴＳ生成部
１４５、１５５  ＰＣＲ生成部
１４６  ＳＴＣ生成部
１６０  ＳＴＣカウンタ
１６１  ＤＰＢ読み出し制御部
１７０、１８０  ＴＳ分離部
１７１、１８１  ビデオデコーダ
１７２、１８２  ＤＰＢ
２００  記録媒体
２１０  ＢＤＭＶメインフォルダ
２１１  インフォファイル
２１２  メニューファイル
２１３、２２３  プレイリストフォルダ
２１４、２２４  クリップインフォフォルダ
２１５、２２５  ストリームフォルダ
２１６、２２６  バックアップフォルダ
２１７、２２７  プレイリストファイル
２１８、２２８  クリップインフォファイル
２１９、２２９  ストリームファイル
２２０  ＨＩＧＨＲＡＴＥメインフォルダ
３００  ＰＥＳ
３０１  ＰＥＳパケット
３０２  ＰＥＳヘッダ
３０３  パケット・データ
３１０  ＰＴＳ
３１１  ＤＴＳ
３２０  ＴＳ
３２１  ＴＳパケット
３２２  ＴＳヘッダ
３２３  ペイロード
３２４  ＰＩＤ
３３０  ＳＴＣ
３３１  ＰＴＳ
【図１】
2009177619.tif 000003
【図２】
2009177619.tif 000004
【図３】
2009177619.tif 000005
【図４】
2009177619.tif 000006
【図５】
2009177619.tif 000007
【図６】
2009177619.tif 000008
【図７】
2009177619.tif 000009
【図８】
2009177619.tif 000010
【図９】
2009177619.tif 000011
【図１０】
2009177619.tif 000012
【図１１】
2009177619.tif 000013
【図１２】
2009177619.tif 000014
【図１３】
2009177619.tif 000015