(57)【要約】  画像処理部（１０）により、被写体を撮像して、可変フレームレートの画像信号を取得するとともに、音声処理部（２０）により音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、記録再生部（３０）により上記記録フレームレートの記録信号を記録媒体（３５）に記録する際に、上記記録再生部（３０）の記録再生処理部（３３）により、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレート示す識別情報を例えばＭＸＦ（Material Exchange Format）ファイルとして上記記録媒体（３５）に記録する。【特許請求の範囲】
【請求項１】
１．被写体を撮像して、可変フレームレートの画像信号を出力する画像処理手段と、
音声信号を取得し、システムフレームレートに合わせたフレーム数の音声信号を生成して出力する音声処理手段と、
上記画像処理手段により取得された画像信号と上記音声処理手段により取得された音声信号を記録媒体に記録する記録手段と、
これら各手段の動作を制御する制御手段を備え、
上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録することを特徴とする撮像画像記録装置。
【請求項２】
２．上記記録信号として、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像の可変フレーム数とシステムフレーム数のメタデータを記録媒体に記録することを特徴とする請求の範囲第１項記載の撮像画像記録装置。
【請求項３】
３．上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをＭＸＦ（Material Exchange Format）ファイルとして上記記録媒体に記録することを特徴とする請求の範囲第１項記載の撮像画像記録装置。
【請求項４】
４．上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをＭＰ４ファイルとして上記記録媒体に記録することを特徴とする請求の範囲第１項記載の撮像画像記録装置。
【請求項５】
５．被写体を撮像して、可変フレームレートの画像信号を取得するとともに、音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、
上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録する
ことを特徴とする撮像画像記録方法。
【請求項６】
６．被写体を撮像した可変フレームレートの画像信号とシステムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがファイルとして記録された記録媒体から上記画像信号と音声信号を再生する撮像画像再生装置であって、
上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する再生制御手段と、
上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力する再生画像処理手段と、
上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力する再生音声処理手段とを備え、
上記撮像フレームレートとシステムフレームレートの比から決定した再生レートの音声信号を生成することにより、
上記再生フレームレートの画像信号と同じ速度で音声信号を再生することを特徴とする撮像画像再生装置。
【請求項７】
７．上記記録信号として、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像の可変フレーム数とシステムフレーム数のメタデータが記録された記録媒体から、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号を読み出す前に、上記メタデータを読み出して上記撮像フレームレートとシステムフレームレートを取得することを特徴とすることを特徴とする請求の範囲第６項記載の撮像画像再生装置。
【請求項８】
８．上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがＭＸＦファイルとして記録された記録媒体から、上記画像信号と音声信号を再生するを再生することを特徴とする請求の範囲第６項記載の撮像画像再生装置。
【請求項９】
９．上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがＭＰ４ファイルとして記録された記録媒体から、上記画像信号と音声信号を再生するを再生することを特徴とする請求の範囲第６項記載の撮像画像再生装置。
【請求項１０】
１０．被写体を撮像した可変フレームレートの画像信号とシステムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがファイルとして記録された記録媒体から上記画像信号と音声信号を再生する撮像画像再生方法であって、
上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定し、
上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力するとともに、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生レートの音声信号を生成して出力し、
上記再生フレームレートの画像信号と同じ速度で音声信号を再生することを特徴とする撮像画像再生方法。
【請求項１１】
１１．被写体を撮像して、可変フレームレートの画像信号を出力する画像処理手段と、音声信号を取得し、システムフレームレートに合わせたフレーム数の音声信号を生成して出力する音声処理手段と、上記画像処理手段により取得された画像信号と上記音声処理手段により取得された音声信号を記録媒体に記録する記録手段と、これら各手段の動作を制御する制御手段を備え、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録する記録系と、
上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する再生制御手段と、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力する再生画像処理手段と、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力する再生音声処理手段とを備え、上記撮像フレームレートとシステムフレームレートの比から決定した再生レートの音声信号を生成することにより、上記再生フレームレートの画像信号と同じ速度で音声信号を再生する再生系とからなる撮像画像記録再生システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録媒体を介して可変フレームレートの画像信号を記録再生する撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システムに関する。
本出願は、日本国において２００５年９月８日に出願された日本特許出願番号２００５−２６１０９４を基礎として優先権を主張するものであり、この出願は参照することにより、本出願に援用される。
【背景技術】
【０００２】
従来、従来の映画製作等では、特殊な映像効果を得ることができるように、フィルムカメラの撮影速度、すなわち１秒間のコマ数を可変させた撮影が行われている。例えば、撮影は通常の速度よりも高速で行い、再生は通常速度で行うものとすると、再生画像はスロー再生画像となる。このため、水面に水滴が落下したときのような高速度動作を容易かつ詳細に観察できる。また、撮影は通常の速度よりも低速で行い、再生は通常速度で行うものとすると、高速再生画像となる。このため、格闘シーンやカーチェイスシーン等でのスピード感を高めて臨場感の高い画像提示を行うことができる。
また、テレビジョン番組制作等では、番組の撮像や編集及び送出等のデジタル化が図られていたが、デジタル技術の進展に伴う高画質化や機器の低価格化によって、映画製作等においてもデジタル化が図られてきている。
また、高速再生やスロー再生等の特殊な映像効果を容易に得ることができるように、フレームレートを可変することのできる撮像装置が提供されている（例えば、特開２０００−１２５２１０号公報参照）。この撮像装置を用いて、所定フレームレートよりもフレームレートを低下させて撮像を行い、この撮像画像を所定フレームレートで再生すれば、簡単に高速再生画像を得ることができる。また、フレームレートを高くして撮像を行い、この撮像画像を所定フレームレートで再生すれば、簡単にスロー再生画像を得ることができる。例えば、画像信号を記録するときのフレームレート（以下「記録フレームレート」という）が一定である例えばビデオテープレコーダ等の信号記録装置を用い、撮像装置では記録フレームレートの信号中に撮像画像のフレームが可変フレームレート分含まれた信号を生成してビデオテープレコーダ（ＶＴＲ）などの信号記録装置に供給する。
信号記録装置では、撮像装置から供給された画像信号を用いて可変速フレームレート撮像画像を記録媒体に記録する。この記録媒体に記録された可変速フレームレート撮像画像を再生すると、可変速フレームレート撮像画像のフレームレートが再生時のフレームレート（以下「再生フレームレート」という）よりも低いときは被写体の動きが実際の動きより早くなり、可変速フレームレート撮像画像のフレームレートが再生フレームレートよりも高いときは被写体の動きが実際の動きより遅くなる。このため、特殊な映像効果を容易に得ることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、可変速録画を行う場合、従来、フィルムカメラでは画像のみ収録していた。ＶＴＲになっても、画像と音声の同期処理が使えないために、画像はフレームレートの可変可能な撮像装置で取り込み、音声はミューティングして、可変速フレームレート撮像画像のみを記録し、可変速フレームレート撮像画像に対応する音声は別機材で収録を行い、別々に処理して、特殊効果を実現していた。
このように、特殊効果を実現するためには、画像と音声を別々に収録して処理しなければならず、そのための各種機材を必要とするばかりでばく、多大な手間と時間を要していた。
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、画像の可変速に合わせた音声を可変速フレームレート撮像画像とともに記録再生することができるようにすることにある。
本発明に係る撮像画像記録装置は、被写体を撮像して、可変フレームレートの画像信号を出力する画像処理手段と、音声信号を取得し、システムフレームレートに合わせたフレーム数の音声信号を生成して出力する音声処理手段と、上記画像処理手段により取得された画像信号と上記音声処理手段により取得された音声信号を記録媒体に記録する記録手段と、これら各手段の動作を制御する制御手段を備え、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録することを特徴とする。
本発明に係る撮像画像記録装置では、上記記録信号として、例えば、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像の可変フレーム数とシステムフレーム数のメタデータを記録媒体に記録する。
また、本発明に係る撮像画像記録装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをＭＸＦ（Material Exchange Format）ファイルとして上記記録媒体に記録する。
さらに、本発明に係る撮像画像記録装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをＭＰ４ファイルとして上記記録媒体に記録する。
また、本発明に係る撮像画像記録方法は、被写体を撮像して、可変フレームレートの画像信号を取得するとともに、音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録することを特徴とする。
また、本発明は、被写体を撮像した可変フレームレートの画像信号とシステムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがファイルとして記録された記録媒体から上記画像信号と音声信号を再生する撮像画像再生装置であって、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する再生制御手段と、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力する再生画像処理手段と、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力する再生音声処理手段とを備え、上記撮像フレームレートとシステムフレームレートの比から決定した再生レートの音声信号を生成することにより、上記再生フレームレートの画像信号と同じ速度で音声信号を再生することを特徴とする。
本発明に係る撮像画像再生装置では、上記記録信号として、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像の可変フレーム数とシステムフレーム数のメタデータが記録された記録媒体から、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号を読み出す前に、上記メタデータを読み出して上記撮像フレームレートとシステムフレームレートを取得する。
また、本発明に係る撮像画像再生装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがＭＸＦ（Material Exchange Format）ファイルとして記録された記録媒体から、上記画像信号と音声信号を再生する。
さらに、本発明に係る撮像画像再生装置では、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがＭＰ４ファイルとして記録された記録媒体から、上記画像信号と音声信号を再生する。
また、本発明は、被写体を撮像した可変フレームレートの画像信号とシステムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートがファイルとして記録された記録媒体から上記画像信号と音声信号を再生する撮像画像再生方法であって、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定し、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力するとともに、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生レートの音声信号を生成して出力し、上記再生フレームレートの画像信号と同じ速度で音声信号を再生することを特徴とする。
さらに、本発明に係る撮像画像記録再生システムは、被写体を撮像して、可変フレームレートの画像信号を出力する画像処理手段と、音声信号を取得し、システムフレームレートに合わせたフレーム数の音声信号を生成して出力する音声処理手段と、上記画像処理手段により取得された画像信号と上記音声処理手段により取得された音声信号を記録媒体に記録する記録手段と、これら各手段の動作を制御する制御手段を備え、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録する記録系と、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する再生制御手段と、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力する再生画像処理手段と、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力する再生音声処理手段とを備え、上記撮像フレームレートとシステムフレームレートの比から決定した再生レートの音声信号を生成することにより、上記再生フレームレートの画像信号と同じ速度で音声信号を再生する再生系とからなることを特徴とする。
このような構成の本発明では、被写体を撮像して、可変フレームレートの画像信号を取得するとともに、音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録フレームレートの記録信号を記録媒体に記録する際に、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに撮像フレームレートとシステムフレームレートをファイルとして上記記録媒体に記録するので、上記記録媒体から撮像フレームレートとシステムフレームレートを読み込み、上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定し、上記記録媒体から読み出される上記可変フレームレートの画像信号を再生フレームレートの画像信号として出力するとともに、上記記録媒体から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記再生制御手段により決定された再生レートの音声信号を生成して出力し、上記再生フレームレートの画像信号と同じ速度で音声信号を再生することができる。したがって、記録媒体を介して可変速フレームレートの画像信号を音声信号とともに記録再生することができる。また、画像と音声、メタデータを一緒に収録することで、特殊な処理（加工）を行わないで、画像の可変速に合わせた音声を記録再生することができる。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【図面の簡単な説明】
【０００４】
【図１】図１は、本発明が適用される撮像画像記録再生システムの構成例を示すブロック図である。
【図２】図２は、上記撮像画像記録再生システムにおいて記録媒体に記録する記録信号のファイル形式として採用されたＭＸＦファイルのファイル構造を模式的に示す図である。
【図３】図３は、上記ＭＸＦファイルにおけるファイルボディの内容を模式的に示す図である。
【図４】図４は、上記撮像画像記録再生システムにおける通常記録モードの動作説明に供するブロック図である。
【図５】図５は、上記通常記録モードにおける記録状態を模式的に示す図である。
【図６】図６は、上記撮像画像記録再生システムにおいて１５フレーム／秒の可変速フレームレートを指定した可変速モードの動作説明に供するブロック図である。
【図７】図７は、上記１５フレーム／秒の可変速フレームレートを指定した可変速モードにおける記録状態を模式的に示す図である。
【図８】図８は、上記撮像画像記録再生システムにおいて４５フレーム／秒の可変速フレームレートを指定した可変速モードの動作説明に供するブロック図である。
【図９】図９は、上記４５フレーム／秒の可変速フレームレートを指定した可変速モードにおける記録状態を模式的に示す図である。
【発明を実施するための最良の形態】
【０００５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
本発明は、例えば図１に示すような構成の撮像画像記録再生システム１００に適用される。
この撮像画像記録再生システム１００は、画像信号を取得する画像処理部１０と、音声信号を取得する音声処理部２０と、上記画像処理部１０と音声処理部２０に接続された記録再生部３０と、これら動作を制御する制御部４０からなる。
上記画像処理部１０は、例えばＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いて構成された撮像部１１、この撮像部１１により得られた撮像信号が撮像信号処理部１２を介して供給されるベースバンド処理部１３、このベースバンド処理部１３に接続されたビューファインダ１４及びＤ／Ａ変換器１５等からなり、上記ベースバンド処理部１３が記録再生部３０に接続されている。
上記画像処理部１０の撮像部１１は、撮像フレームレートを可変して可変速フレームレート撮像画像信号を出力する機能を有するもので、制御部４０からの制御信号により上記撮像部１１の動作を制御し、例えばＣＣＤイメージセンサの電荷蓄積期間や撮像電荷の読み出しタイミング等を制御することで撮像フレームレートを可変することができるようになっている。
撮像信号処理部１２は、上記撮像部１１から供給される可変速フレームレートの撮像信号を増幅したのちノイズ成分を除去する。またノイズ除去された画像信号をデジタル信号に変換したのち、フィードバッククランプ処理やフレアー補正、撮像素子の欠陥に対する補正処理、プロセス処理等を行い、処理済みの画像信号をベースバンド処理部１３に供給する。
そして、ベースバンド処理部１３は、撮像信号処理部１２から供給される可変速フレームレートの画像信号を記録再生部３０に供給するとともに、可変速フレームレートの画像信号のフレームレートを変換することにより、ビューファインダ信号を生成してビューファインダ１４に供給する。このように、ビューファインダ信号をビューファインダ５０に供給して撮像画像等を表示させることで、撮像状態例えば被写体の位置や画角及び明るさ等の確認を行うことができる。さらに、このベースバンド処理部１３は、記録再生部３０により再生された可変速フレームレートの画像信号のフレームレートを変換することにより、出力フレームレートの再生画像信号を生成してＤ／Ａ変換器１５に供給する。Ｄ／Ａ変換器１５は、再生画像信号をアナログ信号に変換して出力端子１６から外部に出力する。
また、上記音声処理部２０は、マイクロホン２１、このマイクロホン２１により得られた音声信号が供給されるＡ／Ｄ変換器２２、このＡ／Ｄ変換器２２に接続された音声信号処理部２３、この音声信号処理部２３に接続されたＤ／Ａ変換器２４、このＤ／Ａ変換器２４に接続されたスピーカ２５等からなり、上記音声信号処理部２３が記録再生部３０に接続されている。
この音声処理部２０では、上記マイクロホン２１により得られた音声信号がＡ／Ｄ変換器２２によりデジタル信号に変換された音声信号が供給される音声信号処理部２３において、上記画像処理部１０により得られる画像信号のシステムフレームレートに合わせたフレーム数の音声信号を生成して記録再生部３０に供給する。また、上記音声信号処理部２３は、メタデータから算出した再生スピードで再生された音声信号をＤ／Ａ変換器２４に供給する。Ｄ／Ａ変換器２４は、再生音声信号をアナログ信号に変換してスピーカ２５から出力する。
さらに、上記記録再生部３０は、上記画像処理部１０のベースバンド処理部１３に接続されたエンコーダ３１及びデコーダ３２、上記音声処理部２０の上記音声信号処理部２３、上記エンコーダ３１及びデコーダ３２に接続された記録再生処理部３３からなる。
この記録再生部３０におけるエンコーダ３１では、上記画像処理部１０のベースバンド処理部１３から供給される可変速フレームレートの画像信号を圧縮処理して、記録フレームレートの画像信号と、この記録フレームレートの画像信号の撮像フレームレートとシステムフレームレートを示す識別情報を生成し、上記記録フレームレートの画像信号と識別情報を記録再生処理部３３に供給する。
そして、記録再生処理部３３は、上記音声処理部２０の音声信号処理部２３から供給されるシステムフレームレートに合わせたフレーム数の音声信号Ａと、上記記録再生処理部３３により生成された上記画像信号Ｖ及び識別情報をＡ／Ｖデータにまとめてファイルとして記録単位毎にエラー訂正符号を付加した記録フレームレートの記録信号を生成して、光ディスクや半導体メモリなどの記録媒体３５に記録する。
すなわち、この撮像画像記録再生システム１００では、画像信号を取得する画像処理部１０と、音声信号を取得する音声処理部２０と、上記画像処理部１０と音声処理部２０に接続された記録再生部３０と、これら動作を制御する制御部４０にて記録系が構成され、上記画像処理部１０により、被写体を撮像して、可変フレームレートＸＦの画像信号を取得するとともに、上記音声処理部２０により音声信号を取得してシステムフレームレートに合わせたフレーム数の音声信号を生成し、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号から記録フレームレートの記録信号を生成し、上記記録再生部３０により上記記録フレームレートの記録信号を記録媒体３５に記録する際に、上記記録再生部３０の記録再生処理部３３により、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに上記識別情報すなわち撮像フレームレートとシステムフレームレートを例えばＭＸＦ（Material Exchange Format）ファイルとして上記記録媒体３５に記録する。
ここで、ＭＸＦファイルは、そのファイル構造を図２に示すように、ファイルヘッダＦＨ、ファイルボディＦＢ及びファイルフッタＦＦからなり、ファイルヘッダＦＨは、ランインＲＩ、ヘッダパーティションパックＨＰＰ、ヘッダメタデータＨＭ、及びインテックステーブルＩＴからなり、パーティション情報やファイル全体に関する情報についてのメタデータなどを含む。そして、上記ファイルボディＦＢは、ビデオファイルとオーディオファイルが図３に示すように交互に繰り返し挿入されたエッセンスコンテナＥＣからなり、上記ヘッダメタデータＨＭとして、タイムコードやＶＡＵＸなどとともに、可変速記録フラグ、撮像フレームレート、システムフレームレートすなわち、上記識別情報が上記ファイルボディＦＢに付加されている。また、上記ファイルフッタＦＦは、ファイルの終わりを示すフッタポーションパックからなる。
なお、この撮像画像記録再生システム１００では、上記記録媒体３５に記録する信号のファイル形式は、上記ＭＸＦファイルに限定されるものでなく、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号とともに上記識別情報すなわち撮像フレームレートとシステムフレームレートを記録することのできるものであればよく、ＭＰ４ファイルなどを採用してもよい。
また、上記記録再生部３０は、上記記録再生処理部３３により上記記録媒体３５からＡ／Ｖデータを再生して得られる再生画像信号をデコーダ３２を介して上記画像処理部１０のベースバンド処理部１３に供給するとともに、上記記録媒体３５からＡ／Ｖデータを再生して得られる上記画像信号のシステムレートに合わせたフレーム数の再生音声信号を上記音声処理部２０の音声信号処理部２３に供給する。
そして、上記画像処理部１０は、上記記録媒体３５からＡ／Ｖデータを再生して得られる上記可変フレームレートの再生画像信号を上記画像処理部１０のベースバンド処理部１３から出力フレームレートの再生画像信号としてＤ／Ａ変換器１５に供給し、Ｄ／Ａ変換器１５によりアナログ信号に変換して、出力端子１６から外部に出力する。
また、上記音声処理部２０は、上記記録媒体３５からＡ／Ｖデータを再生することにより得られた再生音声信号、すなわち、上記画像信号のシステムレートに合わせたフレーム数の再生音声信号から、制御部４０により指定される再生レートの音声信号を音声信号処理部２３により生成し、フレーム単位にまとめてＤ／Ａ変換器２４に供給し、再生レートの音声信号をＤ／Ａ変換器２４によりアナログ信号に変換して、スピーカ２５から出力する。
ここで、制御部４０は、上記記録媒体３５から、上記可変フレームレートの画像信号と上記システムフレームレートに合わせたフレーム数の音声信号を読み出す前に、上記記録再生部３０により、上記記録媒体３５から上記メタデータを読み出して上記撮像フレームレートとシステムフレームレートを取得し、取得した上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定する。
すなわち、この撮像画像記録再生システム１００では、上記画像処理部１０と、音声処理部２０と、上記画像処理部１０と音声処理部２０に接続された記録再生部３０と、これら動作を制御する制御部４０にて再生系が構成され、上記記録再生部３０により上記記録媒体３５から撮像フレームレートとシステムフレームレートを読み込み、上記制御部４０により上記撮像フレームレートとシステムフレームレートの比から音声信号の再生レートを決定し、上記記録媒体３５から読み出される上記可変フレームレートの画像信号を上記画像処理部１０により再生フレームレートの画像信号として出力するとともに、上記記録媒体３５から読み出される上記システムフレームレートに合わせたフレーム数の音声信号から上記音声処理部２０により上記再生レートの音声信号を生成して出力し、上記再生フレームレートの画像信号と同じ速度で音声信号を再生する。
ここで、この撮像画像記録再生システム１００では、画像信号の記録／再生を行うに当たり、通常のフレームレート例えば３０フレーム／秒にフレームレートを指定して画像信号の記録／再生を行う通常モードと、３０フレーム／秒以外のフレームレートを指定して画像信号の記録／再生を行う可変速モードがあり、制御部４０により動作モードが設定される。
例えば、図４に示すように、制御部４０により通常モードが設定され、撮像部１１により通常のフレームレート例えば３０フレーム／秒の画像信号を取得して、記録再生部３０により記録媒体３５を介して記録／再生する場合には、上記画像信号のフレームレートすなわち３０フレーム／秒に対応するフレーム数の音声信号を音声処理部２０により取得し、上記記録再生部３０において、上記画像処理部１０により取得した３０フレーム／秒の画像信号をエンコーダ３１により圧縮処理した画像信号に、音声処理部２０により取得した音声信号を付加した３０フレーム分のＡ／Ｖデータにまとめて記録単位毎にエラー訂正符号を付けた記録フレームレート（３０フレーム／秒）の記録信号を記録再生処理部３３により生成して記録媒体３５に記録する。
そして、上記記録媒体３５に記録された３０フレーム／秒の画像信号を再生する場合には、上記記録再生処理部３３で上記記録媒体３５からＡ／Ｖデータを上記記録単位毎に再生することにより、圧縮された３０フレーム／秒の画像信号と、上記画像信号のフレームレートすなわち３０フレーム／秒に対応するフレーム数の音声信号を得る。
上記圧縮された３０フレーム／秒の画像信号は、デコーダ３２１で伸張処理を施すことにより元の３０フレーム／秒の画像信号に戻され、ベースバンド処理部１３から出力フレームレートの再生画像信号としてＤ／Ａ変換器１５に供給され、Ｄ／Ａ変換器１５によりアナログ信号に変換され、出力端子１６から外部に出力される。
また、上記画像信号のフレームレートすなわち３０フレーム／秒に対応する音声信号は、上記音声処理部２０の音声信号処理部２３によりフレーム単位にまとめられてＤ／Ａ変換器２４に供給され、Ｄ／Ａ変換器２４によりアナログ信号に変換され、スピーカ２５から出力される。
すなわち、この撮像画像記録再生システム１００は、通常モードでは、３０フレーム／秒をシステムフレームレートとし、記録フレームレート及び再生フレームレートが共に３０フレーム／秒のシステムフレームレートで動作する。
また、例えば、図６に示すように、上記制御部４０により制御部４０により可変速モードが設定され、３０フレーム／秒以外の可変速フレームレート例えば１５フレーム／秒が指定されると、この撮像画像記録再生システム１００では、指定された可変速フレームレートすなわち１５フレーム／秒の画像信号を画像処理部１０により取得し、また、音声処理部２０において、マイクロホン２１により得られた音声信号をデジタル化した音声信号から、上記画像処理部１０により得られる画像信号のシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を生成する。
記録再生部３０では、図７に示すように、上記画像処理部１０により取得した１５フレーム／秒の画像信号をエンコーダ３１により圧縮処理した画像信号に、音声処理部２０により生成されたシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を付加した３０フレー分のＡ／Ｖデータにまとめて記録単位毎にエラー訂正符号を付けた記録フレームレート（６０フレーム／秒）の記録信号を記録再生処理部３３により生成して記録媒体３５に記録する。
そして、上記記録媒体３５に記録された可変速フレームレートすなわち１５フレーム／秒の画像信号を再生する場合には、上記記録再生処理部３３で上記記録媒体３５からＡ／Ｖデータを上記記録単位毎に再生することにより、圧縮された１５フレーム／秒の画像信号と、システムフレームレート（３０フレーム／秒）のフレーム数の音声信号を得る。
上記圧縮された１５フレーム／秒の画像信号は、デコーダ３２１で伸張処理を施すことにより元の１５フレーム／秒の画像信号に戻して、詰めて連続した画像信号とされ、ベースバンド処理部１３から出力フレームレート（３０フレーム／秒）で２倍速の再生画像信号としてＤ／Ａ変換器１５に供給され、Ｄ／Ａ変換器１５によりアナログ信号に変換され、出力端子１６から外部に出力される。
また、上記システムフレームレート（３０フレーム／秒）のフレーム数の音声信号は、上記制御部４０によりメタデータからシステムフレームレート（３０フレーム／秒）／可変速フレームレート（１５フレーム／秒）として算出される再生スピードすなわち２倍速が上記音声処理部２０の音声信号処理部２３に指定されることにより、上記音声信号処理部２３において２倍速の再生音声信号に変換されてフレーム単位にまとめられてＤ／Ａ変換器２４に供給され、Ｄ／Ａ変換器２４によりアナログ信号に変換され、スピーカ２５から出力される。
すなわち、この撮像画像記録再生システム１００は、記録系において、可変フレームレート（１５フレーム／秒）の画像信号とシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号から記録フレームレート（６０フレーム／秒）の記録信号を生成し、上記記録フレームレート（６０フレーム／秒）の記録信号を記録媒体３５に記録する際に、上記可変フレームレート（１５フレーム／秒）の画像信号と上記システムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号とともに撮像フレームレート（１５フレーム／秒）とシステムフレームレート（３０フレーム／秒）をファイルとして上記記録媒体３５に記録し、再生系において、上記記録媒体３５から上記撮像フレームレート（１５フレーム／秒）の画像信号を再生フレームレート（３０フレーム／秒）で２倍速の再生画像信号として出力するとともに、上記撮像フレームレート（１５フレーム／秒）とシステムフレームレート（３０フレーム／秒）の比から決定した再生レートで音声信号を生成することにより、上記再生フレームレート（３０フレーム／秒）の画像信号と同じ速度で音声信号を再生して出力することにより、２倍速で画像信号と音声信号の再生出力を得ることができる。
また、例えば、図８に示すように、上記制御部４０により制御部４０により可変速モードが設定され、３０フレーム／秒以外の可変速フレームレート例えば４５フレーム／秒が指定されると、この撮像画像記録再生システム１００では、指定された可変速フレームレートすなわち４５フレーム／秒の画像信号を画像処理部１０により取得し、また、音声処理部２０において、マイクロホン２１により得られた音声信号をデジタル化した音声信号から、上記画像処理部１０により得られる画像信号のシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を生成する。
記録再生部３０では、図９に示すように、上記画像処理部１０により取得した４５フレーム／秒の画像信号をエンコーダ３１により圧縮処理した画像信号に、音声処理部２０により生成されたシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号を付加した３０フレー分のＡ／Ｖデータにまとめて記録単位毎にエラー訂正符号を付けた記録フレームレート（６０フレーム／秒）の記録信号を記録再生処理部３３により生成して記録媒体３５に記録する。
そして、上記記録媒体３５に記録された可変速フレームレートすなわち４５フレーム／秒の画像信号を再生する場合には、上記記録再生処理部３３で上記記録媒体３５からＡ／Ｖデータを上記記録単位毎に再生することにより、圧縮された４５フレーム／秒の画像信号と、システムフレームレート（３０フレーム／秒）のフレーム数の音声信号を得る。
上記圧縮された４５フレーム／秒の画像信号は、デコーダ３２１で伸張処理を施すことにより元の４５フレーム／秒の画像信号に戻して、詰めて連続した画像信号とされ、ベースバンド処理部１３から出力フレームレート（３０フレーム／秒）で０．６６倍速の再生画像信号としてＤ／Ａ変換器１５に供給され、Ｄ／Ａ変換器１５によりアナログ信号に変換され、出力端子１６から外部に出力される。
また、上記システムフレームレート（３０フレーム／秒）のフレーム数の音声信号は、上記制御部４０によりメタデータからシステムフレームレート（３０フレーム／秒）／可変速フレームレート（４５フレーム／秒）として算出される再生スピードすなわち０．６６倍速が上記音声処理部２０の音声信号処理部２３に指定されることにより、上記音声信号処理部２３において０．６６倍速の再生音声信号に変換されてフレーム単位にまとめられてＤ／Ａ変換器２４に供給され、Ｄ／Ａ変換器２４によりアナログ信号に変換され、スピーカ２５から出力される。
すなわち、この撮像画像記録再生システム１００は、記録系において、可変フレームレート（４５フレーム／秒）の画像信号とシステムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号から記録フレームレート（６０フレーム／秒）の記録信号を生成し、上記記録フレームレート（６０フレーム／秒）の記録信号を記録媒体３５に記録する際に、上記可変フレームレート（４５フレーム／秒）の画像信号と上記システムフレームレート（３０フレーム／秒）に合わせたフレーム数の音声信号とともに撮像フレームレート（４５フレーム／秒）とシステムフレームレート（３０フレーム／秒）をファイルとして上記記録媒体３５に記録し、再生系において、上記記録媒体３５から上記撮像フレームレート（４５フレーム／秒）の画像信号を再生して再生フレームレート（３０フレーム／秒）で０．６６倍速の再生画像信号として出力するとともに、上記撮像フレームレート（４５フレーム／秒）とシステムフレームレート（３０フレーム／秒）の比から決定した再生レート（０．６６倍速）で音声信号を生成することにより、上記再生フレームレート（３０フレーム／秒）の画像信号と同じ速度で音声信号を再生して出力することにより、０．６６倍速で画像信号と音声信号の再生出力を得ることができる。
このように、この撮像画像記録再生システム１００では、可変速モードにおいて、画像処理部１０により可変速フレームレートの画像信号を取得して記録再生するに当たり、音声処理部２０において、マイクロホン２１により得られた音声信号をデジタル化した音声信号から、システムフレームレートのフレーム数の音声信号を生成して、記録再生部３０により、可変速フレームレートの画像信号と可変速フレームレートに合わせたフレーム数の音声信号をＡ／Ｖデータにまとめて、記録媒体３５を介して記録再生する。すなわち、可変速モードでは、音声信号は、画像信号とフレーム単位での同期をとらずに、システムフレームレートのフレーム数分を記録する。
これにより、可変速フレームレートの画像信号を音声信号とともに記録再生することができる。
例えば、この撮像画像記録再生システム１００では、２４Ｐ（プログレッシブ方式の２４フレーム／秒）に対応させ場合、可変速モードにおいて、画像処理部１０により可変速フレームレート（１２Ｐ）の画像信号を取得して記録再生するに当たり、音声処理部２０において、マイクロホン２１により得られた音声信号から、システムフレームレート（２４Ｐ）のフレーム数の音声信号を生成して、記録再生部３０により、可変速フレームレート（１２Ｐ）の画像信号とシステムフレームレート（２４Ｐ）のフレーム数の音声信号をＡ／Ｖデータにまとめて、記録媒体３５を介して記録フレームレート（２４Ｐ）で記録再生する。この場合も、音声信号は、画像信号とフレーム単位での同期をとらずに、収録される。
また、上記記録再生部３０において、可変速フレームレートの画像のフレームを示す識別情報をメタデータとして生成して、可変速フレームレートの画像信号及び上記可変速フレームレートに合わせたサンプル数の音声信号とともに上記識別情報を記録することによって、再生時に、特殊な処理（加工）を必要とすることなく、上記識別情報を基づいて、画像信号の可変速フレームレートに合わせた音声信号を再生することができる。
なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく、添付の請求の範囲及びその趣旨を逸脱することなく、様々な変更、置換又はその同等のものを行うことができることは同業者にとって明らかである。
【図１】
2007029832.tif 000002
【図２】
2007029832.tif 000003
【図３】
2007029832.tif 000004
【図４】
2007029832.tif 000005
【図５】
2007029832.tif 000006
【図６】
2007029832.tif 000007
【図７】
2007029832.tif 000008
【図８】
2007029832.tif 000009
【図９】
2007029832.tif 000010
【国際調査報告】
2007029832.tif 000011
2007029832.tif 000012