(57)【要約】【課題】大容量の記録媒体を必要とせず、高速撮像と通常撮像を行うことができる撮像装置を提供する。【解決手段】映像信号を出力するカメラ部２１と、映像信号が通常フレームレートである状態においては、映像信号を第１の符号化方式で符号化して本編符号化データとして出力し、映像信号が高速フレームレートである状態においては、通常フレームレートの１フレームに相当する期間にカメラ部２１から出力される所定の１フレームを第１の符号化方式で符号化して本編符号化データとして出力し、残余のフレームを第２の符号化方式で符号化して差分符号化データとして出力する映像符号化部２３と、本編符号化データを本編ファイルとし、差分符号化データを差分ファイルとして記録媒体９に記録する記録処理部３６と、高速撮像の指示を受け付けると、カメラ部２１のフレームレートを高速フレームレートに切り替える撮像フレームレート制御部３１とを備える。【選択図】図１
2008283276.tif 000002
【特許請求の範囲】
【請求項１】
通常フレームレートおよび前記通常フレームレートより高い高速フレームレートを切り替えて撮像可能なカメラ部と、
前記カメラ部のフレームレートが前記通常フレームレートである状態においては、前記カメラ部から出力された映像信号を第１の符号化方式で符号化して本編符号化データとして出力し、前記高速フレームレートである状態においては、前記通常フレームレートの１フレームに相当する期間に前記カメラ部から出力されるフレームのうちの所定の１フレームを前記第１の符号化方式で符号化して本編符号化データとして出力し、残余のフレームを第２の符号化方式で符号化して差分符号化データとして出力する映像符号化部と、
前記本編符号化データを本編ファイルとし、前記差分符号化データを差分ファイルとして記録媒体に記録する記録処理部と、
前記本編ファイルと前記差分ファイルとの関連性を記録した管理ファイルを前記記録媒体に保存する管理ファイル処理部と、
外部から高速撮像の指示または通常撮像の指示を受け付ける入力部と、
前記入力部が高速撮像の指示を受け付けると、前記カメラ部のフレームレートを前記高速フレームレートにし、前記入力部が通常撮像の指示を受け付けると、前記カメラ部のフレームレートを前記通常フレームレートにする撮像フレームレート制御部とを備えた撮像装置。
【請求項２】
前記第１の符号化方式は、前記差分符号化データを参照しない請求項１記載の撮像装置。
【請求項３】
前記第２の符号化方式は、他の差分符号化データを参照するか、または前記高速フレームレートで撮像され、第１の符号化方式で符号化された本編符号化データを参照する請求項２記載の撮像装置。
【請求項４】
前記第１の符号化方式は、フレーム内予測符号化方式であり、
前記第２の符号化方式は、双方向予測符号化または前方向予測符号化方式である請求項３記載の撮像装置。
【請求項５】
前記本編符号化データと前記音声データを多重化する多重化部をさらに備え、
前記多重化された本編符号化データを本編ファイルとして前記記録媒体に記録する請求項１〜４のいずれか一項に記載の撮像装置。
【請求項６】
再生処理部をさらに備え、
前記再生処理部は、
前記記録媒体に記録された管理ファイルを参照して、高速フレームレートと通常フレームレートとの比を用いて、本編ファイル中の映像データ１フレーム間に挿入する差分ファイルのフレーム数を算出し、
映像の再生中に、前記高速フレームレート撮像された区間内では、前記本編ファイルから１フレームを再生し、前記差分ファイルから挿入される数のフレームを再生し、再度、前記本編ファイルから１フレームを再生することを繰り返して、通常フレームレートで再生することで高精細スロー映像の再生を行う請求項１〜５のいずれか一項に記載の撮像装置。
【請求項７】
前記再生処理部は、高精細スロー映像の再生時に、映像データ１フレーム分の音声を時間軸に掃引、および、補間して、前記本編ファイルの映像データ１フレームおよび、前記本編ファイルの映像データ１フレーム間に挿入される差分ファイルの映像データのフレームを再生する時間に引き伸ばし、スロー再生を行う請求項６記載の撮像装置。
【請求項８】
前記管理ファイルは、少なくとも、前記通常フレームレートと、前記高速フレームレートと、記録開始時点から高速フレームレート撮像を開始するまでのフレーム長とを含む請求項１〜８のいずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録媒体に、映像を圧縮符号化したデータを記録し、この記録媒体から、記録された圧縮符号化データを復号化して再生する撮像装置に関する。
【背景技術】
【０００２】
近年、光ディスクや、半導体メモリなどのランダムアクセス可能な記録媒体に、映像や音声データをファイル化して記録する撮像装置が一般的になっている。このような記録媒体を備えた撮像装置が、例えば、放送局や映像制作会社などにおいて、利用されて映像編集作業などが行なわれている。このような映像制作の分野では、映像特殊効果の一つとして、例えば、水滴が着地する瞬間や、昆虫の羽根の動作等の短時間の事象を高速撮像して記録媒体に記録し、それを再生することで、高精細スローを実現する高速撮像装置が用いられている。
【０００３】
通常の撮像装置は、映像規格で定められた１秒間あたりのフレーム数（以下、１秒間あたりのフレーム数を「フレームレート」と略記する）で撮像（例えば、毎秒３０フレーム）する。しかし、高速撮像装置は、撮像素子を高速駆動して、前記映像規格で定められた以上のフレームレート（例えば、毎秒１２０フレーム）で撮像して、映像データを記録媒体に記録する。この記録媒体から、記録された映像データを通常のフレームレート（例えば、毎秒３０フレーム）で再生することで、高精細スロー再生が実現される。
【０００４】
一方、高速撮像装置の記録は、通常の記録に比べて、記録時間当たりの記録容量が非常に膨大になり、記録媒体の記録容量の制限から、映像データを圧縮符号化して記録することが一般的である。単位記録時間あたりの記録サイズが少なければ、記録媒体の運用コストも飛躍的に抑えることができる。すなわち、効率の良い符号化や記録を行うことが重要である。
【０００５】
また、高速撮像装置は、一般的に、高価であり、通常の撮像装置とは別の専用装置であることが多く、高速撮像と通常撮像とを同時に行う場合には、２つの撮像装置を用いるか、あるいは、高速撮像された映像データから、編集作業によって、必要なフレームのみを抽出する等の作業が必要であり、手間やコストが掛かる。
【０００６】
これら問題に対して、複数の受光素子と、複数の符号化手段と、複数の復号化手段とを備え、複数の圧縮符号化された映像データを記録再生する技術が提示されている（例えば、特許文献１参照）。この従来の撮像装置は、例えば、通常フレームレートで撮像する２つの受光素子が、受光素子間で通常の半フレーム分の時間だけ撮像する時間軸をずらして撮像する。この方法で撮像された複数の映像データを各々圧縮符号化し、２つの映像データ（通常動画データと、補足動画データ）を記録し、それら２つの圧縮映像データを復号化し、交互に通常フレームレートで再生することで高精細スローを実現することができる。
【特許文献１】特開２００６−１９７３３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の撮像装置は、圧縮符号化としてフレーム間予測符号化方式を採用しているが、２つの符号化器が相互に作用せずに独立して符号化を行うため、圧縮効率が悪く、記録時間あたりの記録サイズが膨大になる。これは、各々の符号化器が符号化する時間間隔が通常フレームレート単位の時間間隔であり、２つの映像データを交互に出力した時のフレームレート（例えば、通常フレームレートの２倍）に対して時間間隔が長く、フレーム間予測符号化を用いた符号化の利点が少ないことや、時間的に近い映像を２つの符号化器で別々に符号化しているためである。すなわち、高速撮像した映像信号を記録する場合には、大容量の記録媒体を必要とし、高速撮像装置や制作の運用コストを下げることができない。
【０００８】
本発明は、大容量の記録媒体を必要とせず、高速撮像と通常撮像を行うことができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の撮像装置は、通常フレームレートおよび前記通常フレームレートより高い高速フレームレートを切り替えて撮像可能なカメラ部と、前記カメラ部のフレームレートが前記通常フレームレートである状態においては、前記カメラ部から出力された映像信号を第１の符号化方式で符号化して本編符号化データとして出力し、前記高速フレームレートである状態においては、前記通常フレームレートの１フレームに相当する期間に前記カメラ部から出力されるフレームのうちの所定の１フレームを前記第１の符号化方式で符号化して本編符号化データとして出力し、残余のフレームを第２の符号化方式で符号化して差分符号化データとして出力する映像符号化部と、前記本編符号化データを本編ファイルとし、前記差分符号化データを差分ファイルとして記録媒体に記録する記録処理部と、前記本編ファイルと前記差分ファイルとの関連性を記録した管理ファイルを前記記録媒体に保存する管理ファイル処理部と、外部から高速撮像の指示または通常撮像の指示を受け付ける入力部と、前記入力部が高速撮像の指示を受け付けると、前記カメラ部のフレームレートを前記高速フレームレートにし、前記入力部が通常撮像の指示を受け付けると、前記カメラ部のフレームレートを前記通常フレームレートにする撮像フレームレート制御部とを備える。
【発明の効果】
【００１０】
本発明によれば、映像信号を１つの映像符号化部で符号化し、本編ファイルと差分ファイルとに分割して記録することで、差分データ（残余のフレーム）を他のフレームを参照する高効率な圧縮符号化で符号化して差分符号化データとして出力することにより、大容量の記録媒体を必要とせず、高速撮像と通常撮像を行うことができる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
本発明の撮像装置は、上記構成を基本として、以下のような種々の態様をとることができる。
【００１２】
すなわち、上記構成の撮像装置において、前記第１の符号化方式は、前記差分符号化データを参照しない構成にすることができる。
【００１３】
また、前記第２の符号化方式は、他の差分符号化データを参照するか、または前記高速フレームレートで撮像され、第１の符号化方式で符号化された本編符号化データを参照する構成にすることができる。
【００１４】
また、前記第１の符号化方式は、フレーム内予測符号化方式であり、前記第２の符号化方式は、双方向予測符号化または前方向予測符号化方式である構成にすることができる。
【００１５】
また、前記本編符号化データと前記音声データを多重化する多重化部をさらに備え、前記多重化された本編符号化データを本編ファイルとして前記記録媒体に記録する構成にすることができる。
【００１６】
再生処理部をさらに備え、前記再生処理部は、前記記録媒体に記録された管理ファイルを参照して、高速フレームレートと通常フレームレートとの比を用いて、本編ファイル中の映像データ１フレーム間に挿入する差分ファイルのフレーム数を算出し、映像の再生中に、前記高速フレームレート撮像された区間内では、前記本編ファイルから１フレームを再生し、前記差分ファイルから挿入される数のフレームを再生し、再度、前記本編ファイルから１フレームを再生することを繰り返して、通常フレームレートで再生することで高精細スロー映像の再生を行う構成にすることができる。
【００１７】
前記再生処理部は、高精細スロー映像の再生時に、映像データ１フレーム分の音声を時間軸に掃引、および、補間して、前記本編ファイルの映像データ１フレームおよび、前記本編ファイルの映像データ１フレーム間に挿入される差分ファイルの映像データのフレームを再生する時間に引き伸ばし、スロー再生を行う構成にすることができる。
【００１８】
また、前記管理ファイルは、少なくとも、前記通常フレームレートと、前記高速フレームレートと、記録開始時点から高速フレームレート撮像を開始するまでのフレーム長とを含む構成にすることができる。
【００１９】
以下、図面を参照しながら本発明に係る撮像装置の実施の形態について説明する。
【００２０】
（実施の形態）
本実施の形態に係る撮像装置は、通常のフレームレートでの撮像と、高速フレームレートでの撮像の２つの撮像方法を用いることができる。
【００２１】
図１は、本発明の実施の形態における撮像装置のブロック図である。本実施の形態に係る撮像装置１は、撮像／符号化部２と、システム制御部３と、再生部４と、指令入力部６と、状態表示部７と、記録メモリインターフェース部（以下、ＩＦ部と称す）８とを有し、それらがＩ／Ｏバス５に接続されている。また、ＩＦ部８には、記録メモリ（記録媒体）９が着脱可能に接続される。
【００２２】
撮像／符号化部２は、カメラ部２１と、映像処理部２２と、映像符号化部２３と、音声入力部２４と、音声処理部２５と、多重化部２６とを有し、被写体を撮像し、圧縮符号化した多重化データを生成する。カメラ部２１は、撮像素子であるＣＣＤなどにより撮像した映像を映像信号として取り込む。映像処理部２２は、映像信号の前処理（ノイズの除去など）を行い、映像信号をデジタルの映像データに変換する。映像データは、通常フレームレートで撮像されたデータまたは、高速フレームレート撮像時の通常フレームレートで撮像される所定のデータである本編データと、高速フレームレート撮像時の本編データ以外のデータである差分データとからなる。
【００２３】
映像符号化部２３は、本編データ、差分データそれぞれを圧縮符号化した本編符号化データ、差分符号化データ（以下、合わせて符号化データと称す）を生成する。映像符号化部２３は、複数種類の圧縮符号化方法を切り替えて使用する。音声入力部２４は、マイクなどで構成され、音声を電気信号である音声信号に変換する。音声処理部２５は、音声信号に対して前処理を行うとともに、音声信号をデジタルの音声データに変換する。多重化部２６は、映像符号化部２３で変換された符号化データと、音声処理部２５で変換された音声データとを多重化した多重化データを生成する。
【００２４】
システム制御部３は、撮像フレームレート制御部３１と、符号化方法制御部３２と、符号化データ分類部３３と、管理ファイル処理部３４と、再生処理部３５と、記録処理部３６とを有し、各部や記録メモリ９の管理、および制御を行う。システム制御部３は、マイコンとメモリによって実現することもできる。この場合、システム制御部３の各部は、メモリに記憶された各種のプログラムを動作させることにより実現される。
【００２５】
撮像フレームレート制御部３１は、カメラ部２１の撮像フレームレートを切り替える。符号化方法制御部３２は、映像符号化部２３の符号化方法を切り替える。符号化データ分類部３３は、映像符号化部２３に入力された映像データが、本編データであるか、差分データであるかを分類する。管理ファイル処理部３４は、記録メモリ９に記録された各ファイルを管理するためのデータを記録した管理ファイル（例えば、メタデータ）に関する処理を行う。再生処理部３５は、記録メモリ９に記録された本編ファイルと差分ファイルを再生するための処理を行う。記録処理部３６は、多重化部２６から出力される多重化データから本編ファイルと差分ファイルとを生成し、記録メモリ９に所定のファイル形式で記録する。
【００２６】
Ｉ／Ｏバス５は、各部を接続し、各種データを伝送する。指令入力部６は、ユーザからの指示（高速撮像開始、映像の表示など）を受け付ける。状態表示部７は、機器の動作状態をユーザに呈示する。ＩＦ部８は、記録メモリ９をＩ／Ｏバス５に接続するためのインターフェースである。記録メモリ９は、例えば、ＰＣカードであり、ＩＦ部８に着脱可能である。記録メモリ９は、ＩＦ部８と着脱可能であるため、他の編集装置に接続することができる。
【００２７】
再生部４は、多重分離部４１と、映像復号化部４２と、映像出力部４３と、音声復号化部４４とを有し、多重化データを再生する。多重分離部４１は、多重化部２６により多重化された多重化データ（ストリーム）あるいは、記録メモリ９に記録された多重化データを、符号化データと音声データとに分離する。映像復号化部４２は、符号化データを復号化し、元の映像データへと復元する。映像出力部４３は、映像データを映像信号に変換し、映像表示部１０に入力する。映像表示部１０は、映像装置１に備え付けられたモニタ、外部に接続されたモニタなどであり、映像信号を映像として表示する。音声復号化部４４は、多重分離部４１により分離された音声データを音声信号に変換する。音声出力部１１は、例えばスピーカであり、音声信号を音声として出力する。
【００２８】
次に、撮像装置１の通常撮像動作について説明する。指令入力部６によりユーザが通常記録開始を指示すると、カメラ部２１は、被写体を撮像し、映像信号を撮像処理部２２に入力する。つぎに、映像処理部２２は、映像信号に対してノイズ除去や、フィルタを用いて帯域制限などの前処理を行い、前処理された映像信号をデジタル形式に変換した映像データを生成し、映像符号化部２３に入力する。
【００２９】
映像符号化部２３は、映像データを、例えば、映像圧縮方式として広く利用されているＭＰＥＧ−２方式や、あるいは、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に基づき圧縮符号化する。フレーム内予測符号化を適用する圧縮符号化方式であれば同様の効果を発揮するが、本実施の形態では、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４方式（以下、Ｈ．２６４と略記する）により圧縮符号化する例を説明する。
【００３０】
図２は、映像符号化部２３の構成を示すブロック図であり、この構成により映像処理部２２から入力された映像データがＨ．２６４方式で符号化される。映像符号化部２３の詳細は後述するが、フレーム内予測処理部５６と、フレーム間予測処理５７と、それらの切り替えるスイッチ５９とが含まれる。映像データに対する圧縮符号化方式は、符号化方法制御部３２の指令に基づきスイッチ５９が動作することにより適宜、選択される。通常撮像中において、スイッチ５９は、フレーム内予測処理部５６に接続されている。
【００３１】
映像符号化部２３において圧縮符号化された符号化データは、Ｉ／Ｏバス５を介してシステム制御部３の記録処理部３６に供給される。記録処理部３６は、多重化データを、ＩＦ部８を介して本編ファイルとして記録メモリ９に記録する。
【００３２】
次に、撮像装置１の高速撮像動作について説明する。通常撮像中に指令入力部６からユーザが高速撮像開始を指示すると、撮像フレームレート制御部３１は、カメラ部２１の撮像素子の撮像フレームレートを高く（例えば、毎秒３０フレームから毎秒１２０フレームに変更）する。
【００３３】
図３は、カメラ部２１に出力された映像信号と、音声入力部２４から出力された音声信号とを示す概念図である。横軸は、撮像時刻を示す。図面中の１〜７および３１〜３３、４１〜４３、５１〜５３は、映像信号の１フレームを示し、Ａ１〜Ａ７は、１フレーム単位の音声信号を示す。高速撮像区間において、１フレームの映像信号の撮像時間は、通常撮像区間における１フレームの撮像時間の１／４である。
【００３４】
カメラ部２１は、撮像フレームレートと同じフレームレートで映像信号を出力する。つぎに、この映像信号を映像処理部２２において通常撮像時と同様の処理を施し、映像符号化部２３に入力する。
【００３５】
符号化データ分類部３３は、映像符号化部２３に入力された映像信号のフレームに対して、通常フレームレートの１フレームに相当する期間にカメラ部２１から出力されたフレームのうちの所定の１フレームを本編データとし、残余のフレームの時には差分データとして分類する。この分類に基づいて、符号化方法制御部３２は、本編データに対しては、差分データを参照しない例えば、フレーム内符号化方式で、差分データに対しては、符号化方式に制約されず、例えば、本編データを参照する双方向予測符号化方式で圧縮符号化する。
【００３６】
つまり、図２において、本編データの入力に対しては、スイッチ５９をフレーム内予測処理部５６に接続し、差分データの入力に対しては、フレーム間予測処理部５７に接続する。符号化方法制御部３２、および符号化データ分類部３３の処理の詳細は、後述する。
【００３７】
映像符号化部２３は、本編データをフレーム内符号化方式で符号化した本編符号化データと、差分データを双方向予測符号化方式で符号化した差分符号化データとを多重化部２６に入力する。多重化部２６は、本編符号化データに音声データ等を多重化した多重化データを、通常記録時と同様にＩ／Ｏバス５を介して、記録処理部３６に供給する。なお、差分符号化データは、音声データと多重化されない。記録処理部３６は、多重化データから本編符号化データを本編ファイルとし、差分符号化データを差分ファイルとしてＩＦ部８を介して、記録メモリ９に記録する。一連の記録で作成された、本編ファイルおよび差分ファイルなどのファイル群をクリップと称す。クリップは、少なくとも映像を圧縮符号化したデータファイルを含み、例えば、音声ファイルや、撮像場所や時間を示すメタデータを記録するファイルを含んでもよい。
【００３８】
また、管理ファイル処理部３４は、本編ファイルと差分ファイルの関連性や付加情報を管理ファイルとして記録メモリ９に記録する。この管理ファイルの具体的な説明は後述する。
【００３９】
図４は、本編ファイルと差分ファイルの構成を示す概念図である。図中の１、２、３、・・・は、本編符号化データの１フレーム分を示し、３１、３２、・・・は、差分符号化データの１フレーム分を示す。また、Ａ１、Ａ２、・・・は、音声データを示す。
【００４０】
次に、撮像装置１の音声入力動作について説明する。ユーザから指令入力部６に対して撮像の開始が指示されると、カメラ部２１が映像を取り込むとともに、音声入力部２４は音声の取り込みを開始する。音声入力部２４から取り込まれた音声は、音声信号として音声処理部２５に入力される。音声処理部２５は、入力された音声信号をデジタル形式である音声データに変換し、多重化部２６に入力する。多重化部２６は、図４に示すように、入力された音声データと、本編符号化データとを多重化して多重化データを生成し記録処理部３６に供給する。記録処理部３６は、本編ファイルとして記録メモリ９に記録する。
【００４１】
以上のようにして、音声入力部２４により取り込まれた音声は、映像の取り込みと並行して、本編ファイルとして記録メモリ９に記録される。この音声に対する一連の記録処理は、映像に対する高速撮像区間においても同処理である。
【００４２】
なお、本実施の形態では、音声圧縮を施していないが、本編ファイルに多重化して記録メモリ９に記録する形態、あるいは、音声を別ファイルとする形態であれば、音声圧縮を施しても、同様の効果を得ることができる。
【００４３】
次に、撮像装置１の通常再生動作について説明する。ユーザが指令入力部６に対して再生の開始を指示すると、管理ファイル処理部３４は、記録メモリ９に記録されている管理ファイルから本編ファイルと差分ファイルの情報と関係性を示す情報を読み出す。再生処理部３５は、通常撮像区間において、管理ファイルの情報から再生指定された本編ファイルを読み出し、多重化データを多重分離部４１に入力する。多重分離部４１は、多重化データを符号化データと音声データを分離して、符号化データを映像復号化部４２に、音声データを音声復号化部４４に入力する。
【００４４】
映像復号化部４２は、Ｈ．２６４規格に準拠した映像復号化処理を行い、復号化済の映像データを映像出力部４３に入力する。映像出力部４３は、入力された映像データを映像信号に変換し、映像表示部１０により再生画像をユーザに呈示する。音声復号化部４４は、音声データを音声信号に変換して音声出力部１１に入力する。音声出力部１１は、音声信号を音声として出力する。
【００４５】
図５は、図４に示す本編ファイルを用い、通常再生時における映像出力部４３から出力された映像信号と、音声復号化処理部４４から出力された音声信号をそれぞれフレーム単位で示す概念図である。図５に示す１〜７および１Ａ〜７Ａは、それぞれ図４に示すフレーム番号に対応する。本編ファイルのみを用いて再生を行うので、高速撮像された区間においても、通常撮像された区間と同様に再生され、編集時の検索効率の向上等のユーザの操作性、検索性が向上する。
【００４６】
次に、高速撮像により記録した区間の高精細スロー再生動作を説明する。管理ファイル処理部３４は、再生開始時に菅理ファイルを読み出す際に、本編ファイルの先頭フレームの開始時刻と、差分ファイルの先頭フレームの開始時刻との時間（例えば、フレーム長）を保持しておき、再生処理部３５に通知する。再生処理部３５は、本編ファイルの再生において、ファイルの先頭フレームから現在の再生フレームまでの時間（フレーム長）が、上記の保持された時間（フレーム長）と一致した場合に、差分ファイルの読み出しを開始する。さらに、再生処理部３５は、差分ファイルの差分符号化データを、通常再生と同様に、多重分離部４１、映像復号化部４２、映像出力部４３の順に処理させる。菅理ファイル処理部３４、および再生処理部３５の再生処理の詳細は後述する。
【００４７】
音声復号化部４４に入力された音声データは、音声復号化部４４においてアナログ音声信号に変換して音声出力部１１に入力される。音声出力部１１は、音声信号を音声として出力する。また、再生処理部３５は、映像の高精細スロー再生中において、高速撮像により記録された区間において、本編符号化データ１フレーム間に挿入される差分符号化データのフレーム数に基づいて、音声スロー再生を行う。すなわち、音声データも映像出力と同一倍速でスロー再生を行うように、音声データを時間軸に掃引、例えば、音声データ補間を施して音声出力を行う。
【００４８】
図６は、図４に示す本編ファイルと差分ファイルが記録された状態において、高速撮像記録した区間を高精細スロー再生する場合に、映像出力部４３から出力される映像信号と、音声復号化部４４から出力される音声信号をそれぞれフレーム単位で示す概念図である。図６に示す１〜４、３１〜３３および４１と、Ａ１〜Ａ４は、それぞれ図４に示す符号化データおよび音声データのフレーム番号に対応する。本編データに対応する映像信号の間（図中のフレーム３と４の間）に、３フレームの差分データ（フレーム３１、３２、３３）に対応する映像信号が挿入されていて、この映像信号を通常のフレームレート（毎秒３０フレーム）で再生することにより、高速撮像区間では、１／４倍速の高精細スロー再生となる。この時、音声復号部４４は、音声が１／４倍速となるように、音声信号を音声出力部１１に入力する。
【００４９】
このような一連の再生動作の実行により、本編ファイルと差分ファイルの２つファイルとして記録メモリ９に記録された、圧縮映像データと音声データが読み出され、映像表示部１０から１つの映像として再生画像が、音声出力部１１から音声が出力される。
【００５０】
以下、各ブロックの処理を具体的に説明する。
【００５１】
図７は、本編符号化データおよび差分符号化データの記録ファイル名称、参照関係、およびピクチャタイプの一例を示す表である。本編ファイル（本編符号化データ）のみで再生する場合があるので、本編符号化データは、差分符号化データを参照しない。一方、差分符号化データは、再生される際には、本編符号化データも再生されるので、参照関係に制約はない。このような参照関係であればどのような圧縮方法（ピクチャタイプ）を用いてもよい。つまり、他の差分符号化データを参照してもよいし、本編符号化データを参照してもよい。本実施の形態では、以下、本編符号化データがＩピクチャ、差分符号化データがＢピクチャの場合について説明する。
【００５２】
図８は、符号化方法制御部３２の符号化方法の切り替え処理の流れを示す流れ図である。映像符号化部２３に１フレーム分のデータが供給される毎に符号化方法の切り替え処理を実行する。すなわち、高速撮像時は、高速撮像フレームレートと同じ周期で実行する。符号化データ分類部３３は、映像データが本編データであるか、差分データであるかの分類を行う（ステップＳ１０１）。つぎに、符号化方法制御部３２は、映像データが本編符号化データであるか否かを判別する（ステップＳ１０２）。符号化方法制御部３２は、映像データが本編データである場合には、本編符号化データの制約に基づいて符号化方式を決定する（ステップＳ１０３）。ステップＳ１０２において、映像データが本編データでない場合には、差分符号化データの制約に基づいて符号化方式を決定する（ステップＳ１０４）。
【００５３】
決定した符号化方式に従って映像符号化部２３の符号化方式を切り替える（ステップＳ１０５）。すなわち、映像データは、図７の例であれば、本編符号化データである場合には、フレーム内符号化のみで符号化したピクチャ（Ｉピクチャ）に変換され、差分符号化データである場合には、双方向予測符号化したピクチャ（Ｂピクチャ）に変換される。これは、Ｉピクチャは、他のピクチャを参照することが無いため実装が容易であるという利点があり、また、制作分野等の編集を前提としたシステムではフレーム内符号化のみの方が編集しやすいという利点があるためである。図７の参照関係に示す制約に基づいて符号化した場合の符号化データを図９に示す。図９（ａ）は、通常撮像時の符号化方式により符号化された符号化データを示しており、図９（ｂ）は、高速撮像時の符号化方式により符号化された符号化データ（本編符号化データおよび差分符号化データ）を示している。
【００５４】
次に、符号化データ分類部３３と、符号化方法制御部３２のさらに詳細な説明を行う。なお、双方向予測符号化（Ｂピクチャ）や、前方向予測符号化（Ｐピクチャ）を多く採用した方が圧縮効率は良いが、図７の参照関係に示す制約が満たされていれば、どのような符号化方法を採用しても同様の効果を得ることができる。
【００５５】
まず、符号化データ分類部３３により映像データを本編データと、差分データに分類する（図８のステップＳ１０１）方法について具体的に説明する。
【００５６】
符号化データ分類部３３は、図４に示すように、高速撮像を開始した先頭フレームから通常フレームレートに対応するフレームを本編データに分類し、その他のフレームを差分データに分類する。分類は、以下の式を用いて行う。
【００５７】
Ａ＝（Ｃｎ）ｍｏｄ（Ｆｆ／Ｆｎ）  ・・・（式１）
ここで、式１のＦｎは通常フレームレートであり、Ｆｆは高速撮像フレームレートであり、ｍｏｄは剰余であり、Ｃｎは高速撮像開始フレームからのフレーム数（高速撮像フレームレートでカウントする）である。式１において、Ａが１となるフレームの場合、本編データに分類し、Ａが１以外となるフレームの場合、差分データに分類する。
【００５８】
なお、通常撮像フレームレートと高速撮像フレームレートの比に従って分類すれば、Ａの値が２とそれ以外で分類しても同様の効果を得ることができる。なお、符号化フレームに時刻情報を付加して記録している場合には、符号化フレームに付与された時刻情報が通常撮像フレームレートをＦｎの倍数になる場合に本編データに分類し、その他の場合には、差分データに分類する方法でもよい。
【００５９】
つぎに、符号化方法制御部３２は、符号化データ分類部３３により決定した分類に従って符号化方法を決定する。本実施の形態では、図７に従って符号化方法を決定するので、映像符号化部２３は、本編データに分類されたフレームをＩピクチャに、差分データに分類されたフレームをＢピクチャに符号化する。
【００６０】
なお、さらに複雑な符号化方法を制御する場合には、前記Ａの値に従って切り替えを行えばよい。
【００６１】
次に、映像符号化部２３の符号化方法について詳細に説明する。
【００６２】
まず、指令入力部６の通常撮像指示により符号化を開始すると、図２に示すように、映像処理部２２から入力された映像データはＤＣＴ／量子化部５１に入力される。ＤＣＴ／量子化部５１は、映像データに離散コサイン変換（ＤＣＴ）および量子化処理を行う。エントロピー符号化部５２は、ＤＣＴ／量子化部５１から出力された映像データを可変長符号化や算術符号化してビットストリームとして符号化データを出力する。同時に、逆量子化／ＩＤＣＴ部５３は、ＤＣＴ／量子化部５１から出力された映像データに、逆量子化処理、および逆ＤＣＴ（ＩＤＣＴ）を行い、フィルタ部５４に変換された映像データを入力する。
【００６３】
フィルタ部５４は、映像データにデブロッキングフィルタ処理を行った後、フレームメモリ５５に格納する。フレーム内予測処理部５６は、フレームメモリ５５に格納された映像データに対し、Ｈ．２６４の特徴の一つでもあるフレーム内での予測を行う。予測された情報は、ＤＣＴ／量子化部５１において、次フレームの映像データのＤＣＴ／量子化の際に用いられる。
【００６４】
一方、映像処理部２２から入力された映像データは、動きベクトル検出部５８にも入力される。動きベクトル検出部５８は、フレームメモリ５５に格納された参照フレームから水平方向と垂直方向の動きベクトルを検出する。フレーム間予測処理部５７は、可変ＭＣ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）によるブロックの分割処理や、動き補償処理や、動きベクトルの符号化を行う。切り替えスイッチ５９は、フレーム毎にフレーム内予測符号化方式を適用するか、フレーム間予測符号化を適用するかを選択し、出力されたデータをＤＣＴ／量子化部５１に入力する。切り替えスイッチ５９の動作は、上述したように、符号化方法制御部３２により制御される。
【００６５】
さらに、動きベクトル検出部５８は、まず、符号化を行う１フレームの映像データを所定の大きさの矩形領域（例えば、１６×１６画素、８×８画素など）にブロック分割し、フレームメモリ５５内に格納されている参照フレームから各ブロックの予測値として適切なブロックを探索する。参照フレーム内のあらかじめ設定された探索範囲内で、ブロックの位置を少しずつ動かして、当該位置のブロックが予測値として適切か否かを判定する。適切であるか否かの判定基準には、ブロック内の各画素値の差分２乗和、差分絶対値和などが用いられる。このようにして、符号化を行う１フレームの映像データの各ブロックに対し、参照画面内で当該ブロックの予測値として探索されたブロックの位置のずれを動きベクトルとして検出する。
【００６６】
従来から知られているように、Ｈ．２６４の圧縮方式において、ＭＰＥＧ−２のＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）構造という概念は存在しないが、実装を容易にするためにＭＰＥＧ−２同等のＧＯＰ構造と同じ構成を採用して実現する方法が一般的に用いられる。例えば、１ＧＯＰを１５フレームとし、符号化ピクチャを、ＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰの順とするＧＯＰ構造を適用する場合、周期的に、切り替えスイッチ５９により、Ｉピクチャと、Ｂ／Ｐピクチャを切り替え、フレームメモリ５５内に格納される参照フレームの内、参照する参照フレームを制御することで、ＢピクチャとＰピクチャが切り替えて、１ＧＯＰを形成する。
【００６７】
すなわち、符号化方法制御部３２が決定した符号化方法（ピクチャタイプ）が、Ｉピクチャの場合には、切り替えスイッチ５９により、フレーム内予測符号化を有効にする。Ｂピクチャの場合には、切り替えスイッチ５９により、フレーム間予測符号化を有効にし、かつ、現在符号化しているフレームの前後両方の参照フレームを参照するように制御する。Ｐピクチャの場合には、切り替えスイッチ５９により、フレーム間予測符号化を有効にし、現在符号化しているフレームから一方向のみの参照フレームを参照するように制御する。
【００６８】
本実施の形態では、ＩピクチャとＢピクチャのみの切り替えであるため、切り替えスイッチ５９を切り替えることで、映像符号化部２３の符号化方法を、符号化方法制御部３２において決定した符号化方式に切り替える。
【００６９】
また、符号化データを出力する際に、符号化データ分類部３３において決定した分類に従って、本編符号化データであるか、差分符号化データであるかの分類フラグを符号化データと同時に出力して、前記２つの分類を区別する。前記分類フラグは、多重化部２６に入力され、多重化部２６は、前記分類フラグに従って、本編符号化データと、音声処理部２５から入力された音声データを多重化し、多重化データを生成する。多重化部２６においても、多重化データが、本編ファイルに属することを示す同様の分類フラグを出力し、記録処理部３６に供給する。記録処理部３６は、前記分類フラグを参照して、記録メモリ９に、本編ファイルとして記録するか、差分ファイルとして記録するかを制御し、本編ファイルと差分ファイルを記録メモリ９に書き込む。
【００７０】
なお、符号化データが、例えば、パケット形式等のアライメントを遵守する必要がある場合には、２つのファイルに分ける際の切り替わり点に、例えば、無効データや、無効パケットを挿入することにより、アライメントを遵守することができる。
【００７１】
次に、管理ファイル処理部３４により、本編ファイルと差分ファイルの関連を菅理ファイルとして、メタデータを生成する方法について具体的に説明する。図１０は、記録メモリ９に記録されたクリップを示す概念図である。管理ファイル処理部３４は、記録メモリ９に、記録されているクリップ１、２、３のメタデータを菅理ファイルとして記録する。
【００７２】
図１１は、クリップに対して付与されるメタデータの内容を示す図である。図１１（ａ）に示す内容は、本編符号化データに関するものであり、図１１（ｂ）に示す内容は、差分符号化データに関するものである。
【００７３】
図１１（ａ）において、Ｃｌｉｐ ＩＤは、クリップ毎に機器が自動的に付与する固有のＩＤである。Ｖｉｄｅｏ Ｆｉｌｅ Ｎａｍｅは、映像を圧縮符号化したデータを記録する本編ファイルのファイル名である。Ｆｒａｍｅ Ｒａｔｅは、通常記録時に撮像した映像の１秒あたりのフレーム数を示す。Ｄｕｒａｔｉｏｎは、記録したクリップの長さを表し、通常フレームレート換算のフレーム長を示す。ＮｕｍＳｕｂＶｉｄｅｏは、高速撮像で記録した差分ファイルの数を示す。ＳｕｂＶｉｄｅｏＩｎｆｏは、図１１（ｂ）で定義される差分ファイルの情報であり、ＮｕｍＳｕｂＶｉｄｅｏの値の分だけ記録される。
【００７４】
図１１（ｂ）においてＯｆｆｓｅｔは、クリップの先頭から差分ファイルに記録された映像符号化データの先頭フレームの開始までの通常フレームレート換算のフレーム数である。Ｓｕｂ Ｖｉｄｅｏ Ｆｉｌｅ Ｎａｍｅは、差分ファイルのファイル名である。Ｓｕｂ ＦｒａｍｅＲａｔｅは、差分ファイル中の映像符号化データの符号化フレームレート（高速撮像フレームレートに等しい）である。Ｓｕｂ Ｄｕｒａｔｉｏｎは、差分ファイル中の符号化データの時間長（フレーム長）を示し、符号化フレームレート（高速撮像フレームレートに等しい）換算でのフレーム長を示す。
【００７５】
本実施の形態では、検索時の利便性向上のため、クリップのメタデータは、映像を符号化したデータ（本編ファイルと差分ファイル）とは別ファイルとして、テキストファイル形式としている。
【００７６】
図１２は、記録開始から終了におけるメタデータの内容の変化を示す図である。図１２（ａ）は、クリップの記録開始直後のメタデータの内容例を示す。Ｃｌｉｐ ＩＤがＣ０００１、Ｖｉｄｅｏ Ｆｉｌｅ ＮａｍｅがＣ０００１．ｍ２ｔｓで、ＦｒａｍｅＲａｔｅが毎秒３０フレームである。Ｃｌｉｐ ＩＤ、Ｖｉｄｅｏ Ｆｉｌｅ Ｎａｍｅは、クリップの記録開始前に決定される。例えば、Ｃｌｉｐ ＩＤは、先頭に"Ｃ"を付与した４桁のインクリメントカウンタ値とし、Ｖｉｄｅｏ Ｆｉｌｅ Ｎａｍｅは、Ｃｌｉｐ ＩＤに拡張子を付与した形式とすることができる。
【００７７】
ここでは、映像ファイルをＭＰＥＧ−２ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）方式の多重化に準拠したｍ２ｔｓファイル形式として拡張子をｍ２ｔｓとしているが、それ以外の多重化方式やファイル形式でも構わない。また、Ｄｕｒａｔｉｏｎは、記録開始直後では確定されないので０としておく。さらに、ＮｕｍＳｕｂＶｉｄｅｏも高速撮像されるまでは０としておき、クリップの記録終了後にＮｕｍＳｕｂＶｉｄｅｏが０である場合は、そのクリップ内で高速撮像が行われなかったことを示す。
【００７８】
図１２（ｂ）は、クリップで最初に高速撮像を開始した直後のメタデータの内容を示している。図１２（ａ）に対して、ＮｕｍＳｕｂＶｉｄｅｏを１とし、対応するＳｕｂ Ｖｉｄｅｏ Ｉｎｆｏ（Ｏｆｆｓｅｔ：１２３４、ＳｕｂＶｉｄｅｏＦｉｌｅ：Ｃ０００１ａ．ｍ２ｔｓ、ＳｕｂＦｒａｍｅＲａｔｅ：１２０、ＳｕｂＤｕｒａｔｉｏｎ：０）を追加する。また、Ｄｕｒａｔｉｏｎの項目を、その時点のクリップ長（１２３４）に変更する。
【００７９】
図１２（ｃ）は、通常フレームレート換算で１４２フレーム、高速撮像フレーム換算で５６８フレームの高速撮像終了直後のメタデータの内容を示している。差分ファイルの時間長（フレーム長）が確定するので、ＳｕｂＤｕｒａｔｉｏｎの項目を、５６８に変更する。図１２（ｄ）は、クリップ記録終了後のメタデータの内容を示している。この例では、ＮｕｍＳｕｂＶｉｄｅｏが２つあり、これは、クリップＣ０００１に対して２つの高速撮像が行われた（差分ファイルが２つある）ことを示す。
【００８０】
次に、本カメラレコーダで記録メモリ９に記録したファイルを再生する方法を具体的に説明する。
【００８１】
まず、図１２（ｄ）に示すメタデータに基づいて、本編ファイルと差分ファイルを高精細スロー再生する場合において、特に管理ファイル処理部３４と、再生処理部３５の処理を具体的に説明する。
【００８２】
指令入力部６からユーザによる再生開始指示が行われた場合、まず、管理ファイル処理部３４が管理ファイルを読み出し、メタデータの内容を取得し、情報を保持しておく。本例では、１つめのＳｕｂＶｉｄｅｏＩｎｆｏのＯｆｆｓｅｔから、１２３４フレーム目から高速撮像記録が行われていることが分かる。
【００８３】
再生処理部３５は、１２３３フレーム目までは、高速撮像記録が行われていないので、本編ファイルとして記録された本編符号化データのみを再生する。１２３４フレーム目からは、高速撮像記録された区間に当てはまるため、高速撮像フレームレートと通常フレームレートの比に従って読み出しファイルを切り替えて再生する。すなわち、高速撮像フレームレートをＦｆ（毎秒１２０フレーム）、通常フレームレートをＦｎ（毎秒３０フレーム）、商をｄｉｖとすると、本編ファイルの１フレーム間に差分ファイルの（（Ｆｆ  ｄｉｖ  Ｆｎ）−１）（図１２の例では、３）フレーム分を挿入するように、高速撮像区間中、繰り返し読み出しファイルを切り替えて再生する。
【００８４】
記録メモリ９に、本編ファイルと差分ファイルとして記録された符号化データは、複数のファイルに分割記録されていても、分割記録前は一連続な符号化データであるので、多重分離部４１と、映像復号化部４２は、共に、符号化データが分割されていることを意識するする必要はない。
【００８５】
つぎに、管理ファイル処理部３４がメタデータを読むことにより、１つめのＳｕｂＶｉｄｅｏＩｎｆｏのＳｕｂＤｕｒａｔｉｏｎから、高速撮像区間が通常フレームレート換算で１４２フレーム、高速フレームレート換算で５６８フレームの区間あることが分かる。再生処理部３５は、高精細スロー再生の場合には、高速撮像部分も通常フレームレート（例えば、毎秒３０フレーム）で再生するので、５６８フレームの間、上述した高精細スロー再生を繰り返して再生処理を行う。
【００８６】
なお、高速撮像区間中は、通常フレームレート換算と、高速撮像フレームレート換算のフレーム長が混在するので、例えば、通常フレームレート換算用、高速フレームレート換算用、現在再生位置フレーム用のカウンタを設けて制御してもよい。
【００８７】
上述した高精細スロー再生と同様の処理を２つめのＳｕｂＶｉｄｅｏＩｎｆｏに対しても実行すれば、図１２（ｄ）の高速撮像記録にて記録メモリ９に記録されたすべてのデータが再生することができる。
【００８８】
次に、通常速度再生について説明する。ここで、通常速度再生とは、高速撮像区間であっても高精細スロー再生を行わない、通常速度での再生方法のことを指す。本実施の形態の記録メモリ９には、上述したように本編ファイルと差分ファイルとが記録されており、本編ファイルは、本編符号化データと、すべての音声データを含む。また、本編符号化データのみを取り出すと、通常フレームレートに従ったフレーム間隔で映像し、圧縮符号化処理を施したデータと等価である。再生処理部３５は、本編ファイルのみを読み込み、多重分離部４１に供給し、以降は高精細スロー再生時と同様の処理を実行することで、スロー再生ではなく、通常速度で映像を再生することができる。
【００８９】
これは、上述した高精細スロー再生の処理を実行せずに本編ファイルのみで再生することで、高速撮像記録を行った区間であっても、容易に通常速度で再生することが可能であることと、高精細スロー再生と通常速度の再生方法切り替えが容易に実現可能なことを示している。この特長は、例えば、撮像時の素材の確認や、本実施の形態によらない映像再生装置での再生、編集時における素材の検索等、ユーザの利便性向上に効果的である。
【００９０】
以上のように、本実施の形態の高速撮像装置によれば、圧縮効率が良く、利便性の高いカメラレコーダを実現することができ、素材撮影、編集等を含めた制作ワークフロー全体の運用コストの低下することができる。
【００９１】
なお、本実施の形態では、メタデータは別ファイルとして記録する方法を説明したが、本編ファイルのヘッダ部分に埋め込んで記録しても同様の効果を得ることができる。また、メタデータを記録する際に、テキスト形式にて記録する方法を説明したが、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等のマークアップ言語等で記述しても同様の効果を得ることができる。
【００９２】
また、本実施の形態において、本編符号化データから差分符号化データのフレームを参照しないような符号化方式として、双方向予測符号化を例に挙げたが、この符号化に限定されず、例えば前方向予測符号化を用いても同様の効果を得ることができる。
【産業上の利用可能性】
【００９３】
本発明にかかる撮像装置は、通常撮像と高速撮像を切り替えて撮像でき、かつ記録時間あたりの記録サイズを減らすことができ、半導体メモリや光ディスク等を使用した映像記録再生装置や映像編集装置等に広く適用可能である。
【図面の簡単な説明】
【００９４】
【図１】本発明の実施の形態における撮像装置のブロック図
【図２】同上撮像装置の映像符号化部の構成を示すブロック図
【図３】同上撮像装置においてカメラ部から出力された映像信号と、音声入力部から出力された音声信号を示す概念図
【図４】同上撮像装置の本編ファイルと差分ファイルの構成を示す概念図
【図５】同上撮像装置において、通常再生時の映像信号と、音声信号をそれぞれフレーム単位で示す概念図
【図６】同上撮像装置において、高速撮像記録した区間を高精細スロー再生時の映像信号と、音声信号をそれぞれフレーム単位で示す概念図
【図７】同上撮像装置において、本編符号化データおよび差分符号化データの記録ファイル名称、参照関係、およびピクチャタイプの一例を示す表
【図８】同上撮像装置において、符号化方法制御部の符号化方法の切り替え処理の流れを示す流れ図
【図９】同上撮像装置の符号化データをフレーム単位で示す概念図
【図１０】同上撮像装置において、記録メモリに記録されたクリップを示す概念図
【図１１】同上撮像装置において、クリップに対して付与されるクリップメタデータの内容を示す図
【図１２】同上撮像装置において、記録開始から終了におけるメタデータの内容の変化を示す図
【符号の説明】
【００９５】
１  撮像装置
２  撮像／符号化部
３  システム制御部
４  再生部
５  Ｉ／Ｏバス
６  指令入力部
７  状態表示部
８  ＩＦ部（記録メモリインターフェース部）
９  記録メモリ
１０  映像表示部
１１  音声出力部
２１  カメラ部
２２  映像処理部
２３  映像符号化部
２４  音声入力部
２５  音声処理部
２６  多重化部
３１  撮像フレームレート制御部
３２  符号化方法制御部
３３  符号化データ分類部
３４  管理ファイル処理部
３５  再生処理部
３６  記録処理部
４１  多重分離部
４２  映像復号化部
４３  映像出力部
４４  音声復号化部
５１  ＤＣＴ／量子化部
５２  エントロピー符号化部
５３  逆量子化部／ＩＤＣＴ部
５４  フィルタ部
５５  フレームメモリ
５６  フレーム内予測処理部
５７  フレーム間予測処理部
５８  動きベクトル検出部
５９  スイッチ
【図１】
2008283276.tif 000003
【図２】
2008283276.tif 000004
【図３】
2008283276.tif 000005
【図４】
2008283276.tif 000006
【図５】
2008283276.tif 000007
【図６】
2008283276.tif 000008
【図７】
2008283276.tif 000009
【図８】
2008283276.tif 000010
【図９】
2008283276.tif 000011
【図１０】
2008283276.tif 000012
【図１１】
2008283276.tif 000013
【図１２】
2008283276.tif 000014