(57)【要約】【課題】複雑な符号化パラメータの設定をユーザーに意識させることなく、撮影時フレームレートの撮影記録装置の動作状態によって自動的に高画質で効率的な符号化を行うことができる映像記録装置を提供する。【解決手段】動画撮影の際に、動画撮影するときの単位時間あたりのフレーム数である撮影時フレームレートを任意に設定するフレームレート設定手段１１１と、フレームレート設定手段１１１において設定された撮影時フレームレートで動画撮影するカメラ部１００と、カメラ部１００で撮影された映像データを圧縮符号化する映像符号化部１０３と、フレームレート設定手段１１１において設定された撮影時フレームレートと映像符号化部１０３の最大処理能力である最大符号化フレームレートとに基づいて映像符号化部１０３での映像処理方法を変更する映像処理設定制御部１１３とを備えた構成とした。【選択図】図１
2007142809.tif 000002
【特許請求の範囲】
【請求項１】
動画撮影した映像信号を圧縮符号化して記録媒体にファイル化して記録する映像記録装置であって、
動画撮影の際に、動画撮影するときの単位時間あたりのフレーム数である撮影時フレームレートを任意に設定するフレームレート設定部と、
前記フレームレート設定部において設定された前記撮影時フレームレートで動画撮影する撮影部と、
前記撮影部で撮影された映像データを圧縮符号化する映像符号化部と、
前記フレームレート設定部において設定された撮影時フレームレートと前記映像符号化部の最大処理能力である最大符号化フレームレートとに基づいて前記映像符号化部での映像処理方法を変更する映像処理設定制御部とを備えた映像記録装置。
【請求項２】
前記映像処理設定制御部は、前記撮影時フレームレートが前記最大符号化フレームレートよりも低い場合に、最大符号化フレームレートでの符号化時よりも処理負荷が高いがより高効率な符号化を行うように符号化設定値を変更する請求項１記載の映像記録装置。
【請求項３】
前記映像符号化部は、映像の動きベクトルを検出してフレーム間の相関情報を用いた符号化を行い、
前記符号化設定値は動きベクトルを検出するための検索範囲の設定であり、
前記映像処理設定制御部は、前記撮影時フレームレートが前記最大符号化フレームレートよりも低い場合に、前記最大符号化フレームレートで符号化するときの検索範囲よりも広い範囲を検索するように前記符号化設定値を変更する請求項２記載の映像記録装置。
【請求項４】
前記映像符号化部は、ＭＰＥＧ４  ＡＶＣ／Ｈ．２６４方式で符号化を行い、
前記符号化設定値は、動きベクトルを検出するための検索範囲の設定及びフレーム内予測符号化におけるブロックサイズの設定のうち少なくともいずれか１つを含む請求項２記載の映像記録装置。
【請求項５】
符号化前の映像に映像処理を行う映像前処理部を備え、
前記映像処理設定制御部は、前記フレームレート設定部において設定された前記撮影時フレームレートと前記最大符号化フレームレートとに基づいて、前記映像前処理部の処理設定を変更する請求項１記載の映像記録装置。
【請求項６】
前記映像前処理部の処理設定はフィルタ係数のタップ数の設定である請求項５記載の映像記録装置。
【請求項７】
前記撮影時フレームレートが毎秒２４フレームであり、前記最大符号化フレームレートが毎秒３０フレームである請求項１乃至７のいずれか１項に記載の映像記録装置。
【請求項８】
前記映像処理設定制御部は、前記撮影時フレームレートに対する前記最大符号化フレームレートの比が２以上である場合に、同一の１フレームの映像データに対して異なる符号化設定値を前記比に応じて前記映像符号化部に複数回設定し、
前記映像符号化部は、前記映像データに対して各符号化設定値で複数回符号化を行い、最も効率的なストリームを該当フレームの映像データを圧縮符号化した符号化データとして採用するようにした請求項１記載の映像記録装置。
【請求項９】
前記映像符号化部は、量子化を含む符号化を行い、
前記符号化設定値は、量子化パラメータに関する設定である請求項８記載の映像記録装置。
【請求項１０】
前記映像符号化部は、ＭＰＥＧ４  ＡＶＣ／Ｈ．２６４方式で符号化を行い、
前記符号化設定値は、Ｆｒａｍｅ−Ｂａｓｅ符号化、Ｆｉｅｌｄ−Ｂａｓｅ符号化、Ｐｉｃｔ−Ｌｅｖｅｌ  Ａｄａｐｔｉｖｅフィールド／フレーム符号化及びＭＢ−Ｌｅｖｅｌ  Ａｄａｐｔｉｖｅフィールド／フレーム符号化の中から符号化構造を選択する設定、動きベクトルを検出するための検索範囲の設定並びに量子化パラメータの選択方法の設定のうち少なくともいずれか１つを含む請求項８記載の映像記録装置。
【請求項１１】
符号化前の映像に映像処理を行う映像前処理部を備え、
前記映像処理設定制御部は、前記フレームレート設定部において設定された前記撮影時フレームレートと前記最大符号化フレームレートとに基づいて、前記映像前処理部の設定を異なる設定で複数回行い、
前記映像前処理部は、前記映像前処理部になされた各設定に対して前処理を行い、
前記映像符号化部は、前記映像前処理部で前処理された映像データに対して符号化を行い、符号化効率が一番良い符号化データを記録媒体に記録することを特徴とする請求項８記載の映像記録装置。
【請求項１２】
前記映像前処理部はフィルタ処理を含み、前記異なる設定はフィルタ係数値の設定である請求項１１記載の映像記録装置。
【請求項１３】
複数の符号化データのサイズが一番小さい符号化データを選択して記録媒体に記録する請求項８乃至１２のいずれか１項に記載の映像記録装置。
【請求項１４】
前記映像処理設定制御部は、前記撮影時フレームレートに対する前記最大符号化フレームレートの比が１以上２未満である場合に、一部のフレームについて、同一フレームの映像データに対して異なる符号化設定値を前記映像符号化部に複数回設定し、
前記映像符号化部は、前記映像データに対して各符号化設定値で複数回符号化を行い、最も効率的なストリームを該当フレームの映像データを圧縮符号化した符号化データとして採用するようにした請求項１記載の映像記録装置。
【請求項１５】
前記映像符号化部は、フレーム間の相関情報を用いた符号化方式であって、かつ、フレーム内符号化を行うことが許される符号化方式で符号化を行い、前記最大符号化フレームレートにて符号化処理を行うとき、前記撮影時フレームレートと前記最大符号化フレームレートとの差によって生じる余裕時間を利用して、フレーム内符号化に要する時間をフレーム内符号化以外の処理時間より多く割り当てる請求項１４記載の映像記録装置。
【請求項１６】
前記映像符号化部は、フレーム間の相関情報を用いた符号化方式であって、かつ、フレーム内符号化を行うことが許される符号化方式で符号化を行い、前記最大符号化フレームレートにて符号化処理を行うとき、前記撮影時フレームレートが前記最大符号化フレームレートより小さい場合、符号化処理時に発生する余裕時間をフレーム内符号化処理に割り当てる請求項３、４及び６のうちいずれか１項に記載の映像記録装置。
【請求項１７】
前記映像符号化部は、フレーム間の相関情報を用いた符号化方式であって、かつ、フレーム内符号化を行うことが許される符号化方式で符号化を行い、前記最大符号化フレームレートにて符号化処理を行うとき、前記撮影時フレームレートが前記最大符号化フレームレートより小さい場合、フレーム内符号化処理時に異なった符号化設定で複数回フレーム内符号化を行い、最も効率的な符号化データを該当フレームの圧縮符号化データとして記録媒体に記録する請求項８乃至１２のうちいずれか１項に記載の映像記録装置。
【請求項１８】
前記映像符号化部は、前記撮影時フレームレートと前記最大符号化フレームレートとの比に基づいた周期で、フレーム内符号化処理を行うＩピクチャを挿入する請求項１６及び１７のうちいずれか１項に記載の映像記録装置。
【請求項１９】
前記撮影時フレームレートが毎秒２４フレームで、前記最大符号化フレームレートが毎秒３０フレームであり、フレーム内符号化処理を行うＩピクチャを挿入する周期は４の倍数である請求項１８記載の映像記録装置。
【請求項２０】
前記映像符号化部は、Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ（ＧＯＰ）構造をもつ符号化方式で符号化を行い、ＧＯＰ周期は、前記撮影時フレームレートと前記最大符号化フレームレートとの比に基づいて決定される請求項１８記載の映像記録装置。
【請求項２１】
前記撮影時フレームレートが毎秒２４フレームで、前記最大符号化フレームレートが毎秒３０フレームであり、ＧＯＰに含まれるフレーム数は、４の倍数である請求項２０記載の映像記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を圧縮符号化してファイルとして記録媒体に記録する映像記録装置に関する。
【背景技術】
【０００２】
従来、映画の撮影は、光学的な記録方式のフィルムに１秒間あたりのフレーム数（以下、１秒間あたりのフレーム数を「フレームレート」と略記する）が毎秒２４フレームの動画映像（以下、動画映像を「映像」と略記する）を記録することで行われていた。
【０００３】
近年、映画を電子的に動画撮影（以下、単に「撮影」と略記する）、記録、動画再生（以下、単に「再生」と略記する）する技術も開発され、普及してきている。一般にこのような技術においては、ＣＣＤ等の撮像素子を用いて映像を電気信号に変換し、この電気信号を磁気記録媒体等に電子的に記録する。また、記録媒体に電子的に記録された映像情報を、再生装置を用いて再生する。撮影に失敗する等した場合、記録媒体に一旦映像情報が記録されてしまうと再使用ができないフィルムに比べ、電子的に撮影、記録する方法では、記録媒体上の不要になった映像信号の上に新たに映像信号を上書きして記録する等することで、記録媒体の再使用ができる。したがって、このような電子的な撮影は、フィルムと比較して撮影にかかる費用を安く抑えることができるという特徴がある。
【０００４】
この、映画を電子的に撮影、記録、再生する方法において、撮影時や再生時のフレームレートは、放送用業界では毎秒３０フレーム、映画業界では毎秒２４フレームで行われるのが一般的である。したがって、電子的に撮影、記録、再生する装置では、例えば、２：３プルダウン処理のように、毎秒３０フレームと２４フレームとの相互変換を容易にする技術が使用されている。すなわち、電子的に撮影、記録、再生する装置は、毎秒３０フレームの処理能力を備え、撮影時や再生時のフレームレートは、毎秒３０フレーム、毎秒２４フレームの両方に対応するのが一般的である。このように複数のフレームレートに対応した従来の映像記録装置の他の例として、クイックモーションやスローモーション再生等の特殊効果を実現する技術を用いたものが挙げられる（たとえば、特許文献１を参照）。この従来の映像記録装置では、撮影者が撮影の際に撮影時のフレームレートを設定し、設定されたフレームレートで撮影された映像信号を毎秒６０フレームの映像信号に変換して記録する。そして、再生時にはこの毎秒６０フレームの映像信号を再度撮影時のフレームレートの映像信号に変換することで特殊効果を実現している。この従来の映像記録装置では、毎秒６０フレームの記録処理能力をもっており、間欠的な記録を行うことで特殊効果を実現している。
【０００５】
一方、従来の映像記録装置においては、記録時には映像を圧縮符号化して記録する方法をとるのが一般的である。符号化方式には符号化ビットレート、動き補償モード設定等の多くの符号化パラメータが存在し、それらの最適な組み合わせで効率的な符号化を行っている。この符号化パラメータ設定の複雑さを解消するために、あらかじめユーザが設定したコンテンツの内容のジャンル情報に基づき符号化パラメータを適切に設定して符号化動作を行う方法が提案されている（例えば、特許文献２を参照）。
【特許文献１】特開２００２−１５２５６９号公報
【特許文献２】特開２０００−２８７１７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の映像記録装置では、符号化パラメータの適切な設定のために、撮影前にあらかじめこれから撮影するコンテンツのジャンルをユーザが指定する必要があり、ユーザの利便性が低下するという問題点があった。また、ユーザが指定したジャンル情報と撮影するコンテンツの内容が必ずしも一致するとは限らないという問題点があった。例えば、ジャンルが映画のものは毎秒２４フレームで撮影して、２：３プルダウン処理を行い表示することを前提とした符号化パラメータ設定を行っているが、そのような撮影方法を用いたコンテンツ内容のみとは限らず、必ずしもユーザが指定したものが最適な符号化パラメータとはいえなかった。
【０００７】
本発明はこのような課題を解決するためになされたものであり、複雑な符号化パラメータの設定をユーザに意識させることなく、撮影時フレームレートや再生時フレームレート等の撮影記録装置の動作状態によって自動的に高画質で効率的な符号化を行うことができるリアルタイム符号化が可能な映像記録装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明の映像記録装置は、動画撮影した映像信号を圧縮符号化して記録媒体にファイル化して記録する映像記録装置であって、動画撮影の際に、動画撮影するときの単位時間あたりのフレーム数である撮影時フレームレートを任意に設定するフレームレート設定部と、フレームレート設定部において設定された撮影時フレームレートで動画撮影する撮影部と、撮影部で撮影された映像データを圧縮符号化する映像符号化部と、フレームレート設定部において設定された撮影時フレームレートと映像符号化部の最大処理能力である最大符号化フレームレートとに基づいて映像符号化部での映像処理方法を変更する映像処理設定制御部とを備えた構成としたものである。
【発明の効果】
【０００９】
本発明によれば、映像データを圧縮符号化し、記録媒体に圧縮映像データを記録する映像記録装置において、撮影時フレームレートと最大符号化フレームレートによって映像処理設定、符号化パラメータを適応的に変更させることによって、記録装置が持つ符号化や記録処理能力を最大限発揮し、より低い符号化ビットレートで、高画質かつ高効率なリアルタイム圧縮符号化が可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しながら本発明の実施の形態について詳細に説明する。
【００１１】
（実施の形態１）
本発明の実施の形態１における映像記録装置１の構成について、図１を用いて説明する。本実施の形態では、撮影者が、撮影時のフレームレートと再生時のフレームレートとをそれぞれ任意に設定できる構成とし、クイックモーションやスローモーション再生を行う機能をもった映像記録装置を１例として説明する。すなわち、撮影者によって設定された撮影時のフレームレートで映像信号が撮影、記録され、撮影者によって設定された再生時のフレームレートで映像信号が再生される。
【００１２】
そして、撮影時のフレームレートを再生時のフレームレートよりも大きく設定すればスローモーション再生がなされ、逆に撮影時のフレームレートを再生時のフレームレートよりも小さく設定すればクイックモーション再生がなされるようにしている。なお、ここでは、撮影時のフレームレートを毎秒Ｘフレーム（Ｘは任意の実数）とし、再生時のフレームレートを毎秒３０フレームに設定したものとして、以下の説明を行う。
【００１３】
図１は、本発明の実施の形態１のカメラレコーダの構成を示す。本実施の形態では、カメラ部により撮像された映像を圧縮符号化した圧縮映像データとして記録媒体に記録するカメラレコーダを、映像記録装置の一例として挙げて説明する。このようなカメラレコーダは、放送事業者や映画制作者などを対象とした業務用途を目的とする装置であり、映画やドラマの撮影などに利用されている。例えば、撮影現場において、本カメラレコーダで撮影した映像は、番組制作のための素材データとして、着脱可能な記録媒体に記録される。さらに、放送局内において、この記録媒体に記録された素材データは、他の素材データとともに番組の編集作業に使用される。
【００１４】
図１に示すように、本映像記録装置１としてのカメラレコーダは、被写体を撮像することにより、記録媒体に記録するための映像データを供給するカメラ部１００と、カメラ部からの映像データから、重複がなく、記録媒体に記録すべき映像データを示す有効フレームフラグを生成し、そのフレームに相当する映像データを抽出する有効フレーム抽出部１０１と、効率的な圧縮符号化を行うために映像に対して処理を行う映像前処理部１０２と、映像データを圧縮符号化して、圧縮映像データを生成する映像符号化部１０３と、圧縮映像データをファイルとして記録媒体１２０に記録する記録部１０４とを備える。さらに、本発明の映像記録装置１は、圧縮符号化を制御するシステム制御部１１０を含む構成である。各構成要素間は、ホストインターフェイス１３０を介して通信を行う。
【００１５】
また、本実施の形態では、システム制御部１１０が、例えば、図示しないマイコンとメモリとによって実現される一例を挙げており、システム制御部１１０に含まれる各処理手段は、マイコンがメモリに記憶した各種のプログラムを実行することによって実現される。本システム制御部１１０は、カメラ部の撮影するフレームレートＸを設定するフレームレート設定手段１１１と、映像前処理部１０２と映像符号化部１０３に入力される映像のフレームレート情報を設定する入力映像情報設定手段１１２と、映像前処理部１０２の設定変更を制御する映像前処理設定制御手段１１４と、映像符号化部１０３の符号化パラメータの変更を制御する符号化設定制御手段１１５と、記録媒体１２０に所定のファイル形式で記録するための処理を行う記録制御手段１１６とを含む。なお、本実施の形態では記録媒体１２０にはファイル形式で記録するとしているが、ファイル形式でなくともよい。
【００１６】
映像符号化部１０３に供給された映像データは、例えば、映像圧縮方式として広く利用されているＭＰＥＧ−２方式や、あるいは、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４方式や、さらには、業務用のデジタルＶＴＲ（Ｖｉｄｅｏ  Ｔａｐｅ  Ｒｅｃｏｒｄｅｒ）の規格の一つであるＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）−３１４Ｍ（ＤＶ−Ｂａｓｅｄ  ２５Ｍ）規格等に基づき圧縮符号化される。どのような圧縮符号化方式でも同様の効果を発揮するが、本実施の形態では、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４方式（以下、Ｈ．２６４と略記する）にて圧縮符号化する場合を説明する。
【００１７】
以上のように構成された本カメラレコーダにおいて、クイックモーション再生を実現するための記録例を用いて本実施の形態を説明する。例えば、ユーザが入力手段１２１に対して撮像の開始を指示すると、カメラ部１００は、フレームレート設定手段１１１により設定された撮影時フレームレートＸにて撮像処理を行い、再生時フレームレートである毎秒３０フレームにフレームレートを変換して、有効フレーム抽出部１０１へと出力する。これはカメラ部以降の映像処理部が、例えば、毎秒２４フレームや毎秒３０フレームのようなＳＭＰＴＥ−２７４Ｍ等の規格で規定されたフレームレートでのみ動作する装置やＬＳＩが多く、一旦このようなフレームレートに変換するほうが、実現が容易となるためである。
【００１８】
次に、この映像信号が有効フレーム抽出部１０１に供給される。クイックモーション再生のための記録時には、撮影時フレームレートＸ＜再生時フレームレートとなっている。したがってカメラ部は映像信号として、フレームレートの変換により少なくとも一部のフレームを複数回出力する。有効フレーム抽出部１０１は、再生時フレームレートにてカメラ部から繰り返して出力される同じ映像信号のうちの先頭フレーム（以下、「有効フレーム」と略記する）を識別するための信号を、有効フレームフラグとして、映像信号とは別に出力する。有効フレーム抽出部１０１以降のブロックは、映像データと同期して供給される有効フレームフラグにより、撮影した有効フレームのデータのみを抽出して各ブロックの処理を行う。有効フレームフラグは、フレームレート設定手段１１１により設定された撮影時フレームレートＸと、カメラ部から出力される映像データのフレームレート（本実施の形態の例では、再生時フレームレート）により決定する。有効フレームフラグの具体的な決定方法は次の通りである。撮影時フレームレートＸと、カメラ部から出力される映像データのフレームレート（毎秒Ｙフレームとする）の比から、カメラ部から出力される映像データ中の有効フレームの割合と繰返し周期が決まる。したがって例えば、その繰り返し周期中のフレームのうち先頭フレームとして有効フレームを出力し、その有効フレームの映像データに有効フレームフラグを付与する。例えば、Ｘを１０、Ｙを３０とすると、繰返し周期は３、有効フレームの割合は１／３となるので、３フレームに１回、繰返し周期の先頭フレームを有効フレームとする。ただし、有効フレーム抽出部１０１以降のブロックが、例えば、単純な有効フレーム／無効フレームの繰り返し等のシーケンスで規定されており、フレームレート設定手段１１１により設定された撮影時フレームレートＸと再生時フレームレートとにより、有効フレーム抽出部１０１以降の各ブロックにおいて、映像の有効フレームが明確に抽出できる場合は、有効フレーム抽出部１０１は必ずしも必要ではない。また、有効フレームを繰り返される映像データの先頭フレームとして説明したが、先頭でなく、途中や最後のフレームとしてもよい。さらに、本実施の形態では有効フレーム抽出部１０１にて有効フレームフラグを生成する構成としたが、カメラ部にて複数回出力される同一フレームのうちの先頭フレームを、有効フレームフラグと共に出力する構成としてもよい。
【００１９】
図２は、撮影時フレームレートと再生時フレームレートの関係を示す図である。図中の数字は処理中のフレームに対して便宜的に振った番号を示す。図２は、撮影時フレームレートを毎秒１０フレーム、再生時フレームレートを３０フレームとしたときの図である。図２ａ）は、撮影時にカメラ部から出力される映像信号を示している。カメラ部は、毎秒１０フレームの信号を撮像し、得られた各フレームを３フレームずつ出力することで、以降の処理部が処理しやすい毎秒３０フレームの映像を出力している。次に有効フレーム抽出部１０１が、この映像信号に対して、繰り返し入力される同一のフレームのうち先頭のフレームに、有効フレームフラグを付与する。
【００２０】
次に、有効フレームフラグと映像データは映像前処理部１０２に供給され、映像前処理設定制御手段１１４により設定された設定値に従って、有効フレームの映像データにのみフィルタ処理等の圧縮符号化の前処理を行う。この前処理では効率よく圧縮符号化を行うために、圧縮符号化する前の映像データに対して、例えば、ノイズ除去フィルタ処理や、帯域制限フィルタ処理等が行われる。
【００２１】
さらに、映像前処理部１０２から出力された映像データは、映像符号化部１０３に供給され、符号化設定制御手段１１５により設定された符号化パラメータにてＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４等の符号化方式にて符号化処理が行われる。図２ｂ）は、映像符号化部１０３から出力される符号化データを示している。このように映像符号化部１０３では、有効フレームフラグの付与されたフレームに対してのみ、符号化処理が行われる。すなわち、映像符号化部１０３には毎秒３０フレームの映像信号が入力されるが、符号化して出力する符号化データは毎秒１０フレームとなる。符号化された符号化データは、記録部にてファイル化され、半導体メモリや光ディスク等の記録媒体に記録される。図２ｃ）は、このようにして記録された符号化データを再生したときの様子を示している。毎秒１０フレームのフレームレートで記録された符号化データを、毎秒３０フレームのデータとして読み出して再生するため、再生時の映像は３倍速のクイックモーションの映像となる。
【００２２】
なお、本実施の形態では、映像前処理部１０２を含んだ構成で説明しているが、映像符号化部１０３が含まれていれば映像前処理部１０２を含んでいなくとも同様の効果を発揮することができる。
【００２３】
次に、映像前処理部１０２と映像符号化部１０３の動作をより詳細に説明する。映像前処理部１０２と映像符号化部１０３の詳細ブロック図を図３に示す。これは、Ｈ．２６４規格で規定されている一般的な構成に加えて、前処理フィルタ部２２０、符号化メモリ２１１、出力制御部２１２を含んだ構成である。前述した通り映像前処理部１０２（すなわち、前処理フィルタ部２２０）は含まなくても同様の効果を発揮する。
【００２４】
前処理フィルタ部２２０は、映像の符号化前の処理を行うブロックで、映像前処理部１０２に含まれ、本実施の形態では、圧縮効率を改善するために映像データの平準化処理フィルタ部を含む構成としている。前処理フィルタ部２２０から出力される映像データは、ＤＣＴ／量子化部２０１に提供される。ＤＣＴ／量子化部２０１は、この映像データに対して離散コサイン変換（ＤＣＴ）及び量子化処理を行う。さらにエントロピー符号化部２０２は、量子化後のデータに対して、可変長符号化や算術符号化を行い、ビットストリームとして圧縮符号化データを出力する。圧縮符号化データは、符号化メモリ２１１にて一時的に蓄積される。同時に、逆量子化／ＩＤＣＴ部２０３は、ＤＣＴ／量子化部２０１から提供された変換データに対し、逆量子化処理及び逆ＤＣＴ（ＩＤＣＴ）処理を行い、フィルタ部２０４に再変換された映像データを提供する。フィルタ部２０４は、この映像データに対してデブロッキングフィルタ処理を行った後、フレームメモリ２０５に格納する。フレームメモリ２０５に格納された映像データは、フレーム内予測処理及びフレーム間予測処理にて利用される。フレーム内予測処理部２０６は、Ｈ．２６４の特徴の一つでもあるフレーム内での予測を行う。予測結果は、ＤＣＴ／量子化部２０１にて次フレームの入力画像のＤＣＴ／量子化の際に用いられる。
【００２５】
一方、入力画像は動きベクトル検出部２０８にも入力される。動きベクトル検出部２０８は、フレームメモリ２０５に格納されている参照フレームから水平方向と垂直方向の動きベクトルを検出する。フレーム間予測処理部２０７は、検出された動きベクトルに基づいて、可変ＭＣ（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）によるブロックの分割処理、動き補償処理及び動きベクトルの符号化を行う。切り替えスイッチ２１０は、フレーム毎にフレーム内予測符号化方式を適用するか、フレーム間予測符号化を適用するかを選択する。切り替えスイッチ２１０で選択された予測結果が、ＤＣＴ／量子化部２０１に提供される。
【００２６】
符号化メモリ２１１は、符号化されたデータを一時的に蓄積するメモリであり、出力制御部２１２は、符号化メモリ２１１に蓄積されている符号化されたビットストリームを最終的に映像符号化部から出力するブロックである。符号化メモリ２１１の制御方法と、出力制御部２１２の処理の詳細は後述する。
【００２７】
本発明の映像記録装置は、撮影時フレームレートと最大符号化フレームレートとの比に従って符号化パラメータを変更する、適応的符号化方式を採用している。この適応的符号化方式は大きく２つの方式に区分される。第１の適応的符号化方式は、映像前処理部１０２の処理設定、あるいは、映像符号化部１０３における各種符号化パラメータを撮影時フレームレートに応じて変化させる方法であり、第２の適応的符号化方式は、映像前処理部１０２の処理設定、あるいは、映像符号化部１０３における各種符号化パラメータを複数組備え、ひとつのフレームに対して複数のパラメータ組にて符号化された結果である、複数の圧縮符号化ストリームから最も効率の良いストリームを採用する方法である。
【００２８】
まず、第１の適応的符号化方式の第１の例として、符号化設定制御手段１１５において、動きベクトル検出部２０８の符号化パラメータを制御して動きベクトル検出のための探索範囲を適応的に変更する例について説明する。動きベクトル検出部２０８では、まず、符号化を行う映像フレームを所定の大きさの矩形領域（例えば、１６×１６画素、８×８画素など）にブロック分割し、フレームメモリ２０５内に格納されている参照画面から各ブロックの予測値として適切なブロックを探索する。一般的には、参照画面内のあらかじめ設定された探索範囲内で、ブロックの位置を少しずつ動かして、当該位置のブロックが予測値として適切か否かを判定する。一般的に探索範囲を拡大すると画質や圧縮符号化効率は向上するが、動きベクトル検出は、圧縮符号化処理の中でも特に処理負荷が高く、頻繁にメモリアクセスが発生することでメモリバスがボトルネックになるため探索範囲を限定して実現するのが一般的である（例えば、特開平９−２６１６５２号公報）。したがって、最大符号化フレームレートと等しいフレームレートにて、リアルタイムに符号化する場合には処理速度が間に合わず動作を保証できないような広い探索範囲でも、それ以下の低いフレームレートで符号化する場合では、１フレームあたりの処理にかけることのできる時間が増加するため、リアルタイム符号化の動作保証が可能になる。言い換えれば、撮影時フレームレートが最大符号化フレームレートよりも低い場合には、撮影時フレームレートにおける１フレームの符号化にかけることのできる時間が、最大符号化フレームレートにおけるそれよりも長くなる。そこで、増加した時間の分だけ、符号化設定を適応的に変更する。すなわち、最大符号化フレームレートでの符号化時よりも処理負荷が高いが、より高効率な符号化を行うように、符号化設定を変更する。例えばこの第１の例では、動きベクトル検出の探索範囲を最大符号化フレームレートでの符号化時の範囲より広くすることで、処理負荷が高いが高効率な符号化を行うようにすることができる。ここで、最大符号化フレームレートとは、機器全体が最大の符号化能力で符号化した場合のフレームレートであり、好ましくは、機器で対応する最大となる記録時のフレームレートと一致する。以下の説明では、最大符号化フレームレートを毎秒３０フレームとして説明する。
【００２９】
次に、探索範囲を適応的に変更するための具体的なアルゴリズムについて説明する。動きベクトル検出部２０８の最大探索範囲設定を制御する符号化設定制御手段１１５において、以下の式でフレームレート比（ＦＲＲ）を求める。
【００３０】
ＦＲＲ＝最大符号化フレームレート／撮影時フレームレート
動きベクトル検出の探索範囲は、図４のＦＲＲの条件により決定する。撮影時フレームレートと最大符号化フレームレートが一致するとき、すなわち、ＦＲＲ＝１のときを基準とすると、動きベクトル検出の探索範囲も含めたすべての符号化パラメータが一定であれば、動きベクトル検出の最大処理量は一定であり、ＦＲＲが大きくなる、すなわち撮影時フレームレートが低くなるに従って一定時間あたりの処理負荷は軽減される。したがって、符号化処理能力を最大限発揮するために、符号化設定制御手段１１５はＦＲＲの増加に合わせて探索範囲を拡大する。符号化処理クロック等は同一の周波数であるため、１フレーム分の映像データを符号化する処理量は増えることになるが、１フレームあたりの映像データの符号化処理にかけることのできる時間も伸びるため、リアルタイム符号化の動作保証が可能になる。また、ＦＲＲが１より小さい場合は符号化処理がリアルタイムに処理できないことを表しており、できるだけ短時間で符号化が終了するように探索範囲を縮小した設定とする。しかし、リアルタイム符号化を目的とした映像記録装置では、ＦＲＲが１より小さくなる撮影時フレームレートをユーザにより設定できない構成にすることが望ましい。
【００３１】
なお、ＦＲＲと探索範囲の設定の関係は一例であり、同一の探索範囲とするＦＲＲの区間を短くしてもよいし、ＦＲＲの大きさに従って適宜変更してもかまわない。好ましくは、ＦＲＲ＝１のときの水平方向の探索範囲の距離Ｈ１、垂直方向の探索範囲の距離Ｖ１に対して、ＦＲＲ＝Ｆｎのときの水平方向の探索範囲の距離Ｈｎ，垂直方向の探索範囲の距離Ｖｎとすると、下記の式を満たす最大のＨｎ，Ｖｎとすれば、処理能力を最大限発揮することができる。
【００３２】
Ｆｎ≧（Ｈｎ×Ｖｎ）／（Ｈ１×Ｖ１）
また、Ｈ．２６４の規格によれば、例えば、レベル２．１から３．０では、動きベクトルの最大値は−５１２〜＋５１１、レベル３．１から５．１では、−２５６〜＋２５５と規定されており、Ｈ．２６４規格に準拠する場合はこの制限を超えないようにしなければならないが、本発明はＨ．２６４規格の制限に限定されるものではない。
【００３３】
また、第１の適応的符号化方式における第２の例として、フレーム内予測符号化（イントラ予測符号化）のブロックサイズ設定を適応的に変更する例について説明する。Ｈ．２６４符号化方式では、フレーム内で符号化を行うＩピクチャにおいて、フレーム内予測を用いることで符号化効率の向上を実現している。このフレーム内予測符号化においては、輝度信号に関しては、処理ブロック単位をそれぞれ４×４画素、１６×１６画素とする２つの符号化モードが存在するが、１６×１６モードの方が、パターンが多く処理負荷が高い。そこで、前記ＦＲＲが４以上のときは、１６×１６画素モードでフレーム内予測符号化を行い、４未満の場合には、４×４画素モードでフレーム内予測符号化を行う。
【００３４】
図３のフレーム内予測処理部２０６において、４×４画素、１６×１６画素の２つの符号化モードを切り替え可能な構成とし、符号化設定制御手段１１５にて、上述した制御方法でフレーム内予測符号化モードの切り替え制御を行う。
【００３５】
また、第１の適応的符号化方式における第３の例として、映像前処理部１０２にてフィルタ係数のタップ数を適応的に変更する例について説明する。撮影時フレームレートと最大符号化フレームレートが一致するとき、すなわち、ＦＲＲ＝１のときに映像前処理設定制御手段１１４が設定する前処理フィルタ部２２０のフィルタタップ数を１６タップとすると、ＦＲＲ≧２の場合には、フィルタタップ数を２倍の３２タップとする。処理時間も２倍の時間があるため、１６タップの演算器を２回利用することで資源を有効活用できる。
【００３６】
次に、第２の適応的符号化方式として、１フレーム分の映像データに対して適応的に複数回符号化を行うことで高効率な圧縮符号化を行う方式を説明する。第２の適応的符号化方式の概念図を図５に示す。図５では１フレーム分の映像データに対し、２回符号化を行う例を示している。図５において、ａ）はカメラ部が撮影時フレームレートで撮影した映像データであり、映像前処理部１０２に提供されるデータを表している。ｂ）は符号化時の符号化データを表しており、符号化時に１フレーム分の映像データに対して、符号化パラメータを変更して複数回圧縮符号化処理を行う。ｃ）は映像符号化部１０３から出力される圧縮符号化ストリームを表しており、ｂ）で符号化した複数の符号化データからもっとも効率の良い（例えば、符号化サイズがもっとも小さい）符号化データを採用する。図中の例は、符号化時の符号化データとして、フレーム１ａ、２ａ及び３ｂが採用されたことを示している。
【００３７】
映像前処理部１０２と映像符号化部１０３を制御するのはシステム制御部１１０の映像処理設定制御部１１３すなわち、映像前処理設定制御手段１１４、符号化設定制御手段１１５である。以下、第２の適応的符号化方式の例として、Ｈ．２６４の符号化構造（フレーム／フィールド）の適応制御と、映像前処理部のフィルタの適応的制御、及び、映像符号化部１０３の量子化パラメータの適応制御に関して説明する。
【００３８】
まず、第２の適当的符号化方式の第１の例として、符号化設定制御手段１１５における符号化構造（フレーム／フィールド）の適応的制御に関して説明する。Ｈ．２６４のメインプロファイルにおいては、符号化構造として、Ｆｒａｍｅ−Ｂａｓｅ符号化、Ｆｉｅｌｄ−Ｂａｓｅ符号化、Ｐｉｃｔ−Ｌｅｖｅｌ  Ａｄａｐｔｉｖｅフレーム／フィールド符号化（ＰＡＦＦ）及びＭａｃｒｏＢｌｏｃｋ−Ｌｅｖｅｌ  Ａｄａｐｔｉｖｅフレーム／フィールド符号化（ＭＢＡＦＦ）の４通りの方法を選択できるように規格で定められている。ＰＡＦＦ、ＭＢＡＦＦは、Ｆｒａｍｅ−Ｂａｓｅ符号化やＦｉｅｌｄ−Ｂａｓｅ符号化より高い符号化効率を実現することが可能であるが、それぞれ、フレーム構造、フィールド構造の両方で符号化を行って、結果として符号化効率の高いモードを選択する処理を行うため、膨大な演算量を必要とする。
【００３９】
そこで、第２の適応的符号化方式では、符号化設定制御手段１１５が映像符号化部１０３に対して設定を行い、前述のＦＲＲが２未満のときには、符号化処理負荷軽減のためフィールド構造あるいはフレーム構造のいずれかで１回だけ符号化を行い、前述のＦＲＲが２以上のときには、１フレームの映像データに対してフレーム構造とフィールド構造での２回の符号化を施して符号化効率のよい方の符号化データを採用するＰＡＦＦ方式にて符号化を行う。例えば、１回目の符号化時はフレーム構造で符号化を行い、２回目の符号化時はフィールド構造で符号化を行う。すなわち、図５において、１ａ、２ａ、３ａはフレーム構造で符号化を行い、１ｂ、２ｂ、３ｂはフィールド構造で符号化を行う。２回の符号化結果は符号化メモリ２１１に一時的に蓄積される。出力制御部２１２は、これらの結果からより符号化効率のよいほうの符号化データを採用し、出力する。図６に前述した符号化構造の適応的制御方法のフローチャートを示す。Ｓ００１にて前述したＦＲＲのチェックを行い、ＦＲＲが２以上の場合はＳ００２のＰＡＦＦ設定を行う。ＦＲＲが２より小さい場合には、Ｓ００３にて入力のビデオ撮像方法に従って設定を変える。撮像方法がインターレース方式の場合には、Ｓ００４にてＦｉｅｌｄ−Ｂａｓｅ設定を行い、プログレッシブ方式の場合には、Ｓ００５にてＦｒａｍｅ−Ｂａｓｅ設定を行う。
【００４０】
なお、図６では、ＦＲＲが２以上のとき、実現が容易なように、単純なＦｒａｍｅ−Ｂａｓｅ符号化とＦｉｅｌｄ−Ｂａｓｅ符号化の組み合わせで実現できるＰＡＦＦを行うような制御を行っているが、ＭＢＡＦＦを行ってもよい。また、図６のフローチャートは一例であり、例えば、ＦＲＲ≧３の場合にＭＢＡＦＦを行い、ＦＲＲ≧２の場合はＰＡＦＦを行ってもよい。
【００４１】
次に、第２の適応的符号化方式の第２の例として、映像前処理設定制御手段１１４において、映像前処理部１０２のフィルタ処理を適応的に制御する方法を説明する。基本的な制御のフローチャートの例を図７に示す。Ｓ１０１にて、符号化設定制御手段１１５は、前述したＦＲＲのチェックを行い、ＦＲＲが２以上の場合はＳ１０２，Ｓ１０３にて複数の符号化設定で同一の映像データを符号化するように映像前処理部１０２を設定する。さらに、Ｓ１０４，Ｓ１０５，Ｓ１０６において、出力制御部２１２は、Ｓ１０２，Ｓ１０３にて符号化されて符号化メモリ２１１に蓄積された符号化データｎの中で最も効率の良い（例えば、符号化データのサイズの小さい、あるいは、３２ｋｂｙｔｅ等のファイルシステムの記録時のアライメントに対して空き記録領域が少なくなる等で決定する）符号化データを記録媒体に記録する。例えば、符号化設定制御手段１１５は、Ｓ１０２では符号化設定１として、帯域制限する特性を備えたフィルタ係数１を映像前処理部１０２に設定し、映像符号化部１０３がその設定で符号化を行う。その後、Ｓ１０３では符号化設定２として、ノイズ除去の特性を備えたフィルタ係数２を設定して符号化を行う。そして、Ｓ１０４では符号化データのサイズが小さい方を記録データとして採用する。このように、異なった特性のフィルタ係数で同一の映像データに対して符号化を行うことで、効率的な符号化を行うための映像前処理が行える。なお、Ｓ１０１にてＦＲＲが２未満の場合はＳ１１１、Ｓ１１２にて一種類の符号化設定で一度だけ符号化を行って出力する。
【００４２】
ここで、Ｓ１０４、Ｓ１０５、Ｓ１０６における符号化メモリ２１１の制御方法と、出力制御部２１２が、最終的に記録媒体に記録される符号化データを出力するときの制御方法に関して説明する。異なる符号化パラメータで複数回符号化された符号化データは、すべて符号化メモリ２１１に蓄積され、符号化設定制御手段１１５により効率がよいと選択された、記録媒体１２０に記録すべき符号化データのみが出力制御部２１２から出力される。この出力された符号化データは、記録部１０４に供給され、記録部１０４では、供給されたすべての符号化データをファイル化して記録媒体に記録する構成とする。この際、記録制御手段１１６によりファイル化の処理が行われ、ファイルとして記録媒体に記録される。
【００４３】
図８は図７における出力制御部と符号化メモリの制御方法の一例を模式的に示した図である。図８において、各フレームを符号化した結果は、データの先頭ポインタが指し示すアドレスから書き込まれる。例えば符号化データ１が書き込まれる領域の先頭は、データ１先頭ポインタが示している。また、書き込みポインタが現在の書き込み先を示し、読み出しポインタが現在の読み出し先を示している。図８（Ａ）は通常設定、すなわち図７のＳ１０１においてＦＲＲが２未満の場合での符号化時のある時点での符号化メモリの内容を表している。図のように、１フレーム毎にエントロピー符号化部２０２から供給される符号化データが書き込まれる。すなわち、一つ目のフレームが符号化され、データ１先頭ポインタが先頭を示す領域に符号化データ１として書き込まれた後、二つ目のフレームが符号化され、データ２先頭ポインタが先頭を示す領域に符号化データ２として書き込まれる。出力制御部２１２は、符号化設定制御手段１１５により指定される先頭ポインタから１フレームに相当する符号化データを順に読み出し、映像符号化部１０３から出力する。図８（Ａ）の例では符号化メモリにて符号化データ２が書き込まれている間に、直前に書き込まれた符号化データ１が読み出される。
【００４４】
図８（Ｂ）は異なった符号化パラメータで複数回圧縮符号化を行う場合、すなわち図７のＳ１０１においてＦＲＲが２以上の場合の符号化メモリの内容を表している。エントロピー符号化部２０２が１フレーム分の映像データを複数の符号化パラメータにて符号化した符号化データ（符号化データ１ａ，符号化データ１ｂ）が、順に書き込まれる。
【００４５】
図８（Ｃ）は、エントロピー符号化部２０２が次のフレームの符号化データ（符号化データ２ａ、符号化データ２ｂ）を符号化メモリ２１１に書き込んでいる途中に、図８（Ｂ）で書き込まれた符号化データ（符号化データ１ａ，符号化データ１ｂ）が、出力制御部２１２により読み出され、映像符号化部１０３から出力され、記録部１０４にて記録媒体に記録されることを表している。出力制御部２１２によって符号化メモリ２１１から読み出されて出力される符号化データは、記録部１０４が記録媒体１２０に記録する符号化データのみとする。すなわち、符号化メモリに符号化データ１ａ及び符号化データ２ｂが書き込まれた後で、出力制御部２１２はいずれの符号化データが効率がよいかを判断してその符号化データ（図では１ｂ）を読み出すようにする。これは、符号化設定制御手段１１５が、効率がよいと判断した符号化データの先頭ポインタを出力制御部２１２に指定して、出力制御部２１２が、そのポインタから該当する１フレーム分の符号化データを読み出すことで実現する。
【００４６】
上記のように、映像符号化部１０３においては、出力制御部２１２以外はすべてのデータに対して一般的なＨ．２６４の符号化処理を行えばよく、出力制御部２１２以外に特別な装置や手段は必要ないため実現が容易である。
【００４７】
なお、図７，図８では１フレームの同一の映像データを２回符号化する方法を説明したが、同一の映像データを３回以上符号化してもよい。例えば、ＦＲＲ≧３の場合に１フレームの同一の映像データを３回符号化し、ＦＲＲ≧２の場合に１フレームの同一の映像データを２回符号化してもよい。
【００４８】
次に、第２の適応的符号化方式の第３の例として、符号化設定制御手段１１５における、ＤＣＴ／量子化部２０１の量子化パラメータの適応的制御に関して説明する。量子化は、圧縮符号化の効率及び画質を左右する重要な処理で、様々な量子化パラメータによって量子化が行われている。Ｈ．２６４符号化方式では、量子化マトリックスとして量子化する際のパラメータ表が定義されているが、このパラメータ表を複数切り替え可能な構成にすることで量子化パラメータの適応的制御を実現する。すなわち、符号化設定制御手段１１５が映像符号化部１０３に対して、複数のパラメータ表を使用して量子化処理を行うように設定する。このとき、どのパラメータ表を利用したかは、エントロピー符号化部２０２が符号化データ中にメタデータ（Ｑ＿ＴＡＢＬＥ）として含めるようにし、最終的に記録ファイル中に記録されるようにする。復号化時には、記録されたＱ＿ＴＡＢＬＥに従ったパラメータ表で逆量子化を行う。基本的な処理の流れは図７と同様であり、符号化設定１を量子化パラメータ１、符号化設定２を量子化パラメータ２と読み替えて実現すればよい。
【００４９】
以上のように、本実施の形態の映像記録装置１によれば、少ないハードウエア資源（例えば、メモリ容量やメモリバススペックや演算器）を用いて、リアルタイムで符号化処理を行うことを目的として、第１、第２の適応的符号化方式によって、常にハードウエアの最大処理能力を発揮することで、高画質で、高効率な符号化を行うことができる。
【００５０】
なお、ＦＲＲを撮影時フレームレートと最大符号化フレームレートの比として説明したが、撮影時フレームレートと再生時フレームレートが等しい場合にも同様の効果を発揮する。この場合、カメラ部１００や映像前処理部１０２、記録処理部１０４は再生時フレームレートにて動作するため実装が容易である特徴がある。また、再生装置や、再生時フレームレートにて機能を制限する（例えば、動きベクトルの探索範囲の制限）規格に対して高画質の符号化が行える利点がある。これは、一般的に、再生時の復号装置の性能や回路規模上の制約のために、再生装置及び復号化処理の実現を容易にする規格を設けることが多く、本発明は、任意の再生時フレームレート（撮影時フレームレートに等しい）に対して、常にハードウエアの最大処理能力を発揮して、高効率な圧縮符号化を行うものであり、前述した規格に制限された中で高画質な圧縮符号化を行うのに適している。
【００５１】
なお、本実施の形態では、圧縮符号化方式にＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４方式を用いることとして説明したが、ＭＰＥＧ−２方式を用いた場合にも同様の効果があることは明確である。また、ＳＭＰＴＥ−３１４Ｍ（ＤＶ−Ｂａｓｅｄ  ２５Ｍ）等のフレーム内圧縮符号化方式においては、フレーム間の相関を利用して符号化する方法は用いられないが、この方法以外の符号化パラメータの制御は同様の効果があり、さらに、映像前処理部１０２での適応処理は符号化方式に関係なく同様の効果を発揮する。
【００５２】
また、本実施の形態においては、有効フレームフラグを映像データとは別に出力する構成として説明したが、たとえば、映像信号の垂直ブランキング期間に有効フレームフラグを多重する等映像信号に多重した形で出力する構成としてもよい。また、有効フレームフラグによって識別されるフレームは連続する同じフレームの先頭フレームでなくてもよく、連続する同じフレームの中から有効な１フレームを抜き出す構成であればよい。
【００５３】
また、本実施の形態において、カメラ部１００から一定のフレームレートで映像データの出力が行われる方法を説明したが、カメラ部１００は記録時フレームレートで出力した映像データをフレームメモリ等に一旦記憶させ、これを再生時フレームレート等、設定されたフレームレートになるように読み出す等、実質的に設定されたフレームレートで映像信号を出力する構成としてもよい。
【００５４】
また、映像符号化部１０３（出力制御部２１２）から符号化データをフレーム毎に出力する方法を説明したが、フレーム間圧縮符号化方式を用いる符号化の場合には、フレーム毎に出力する意味はなく、映像符号化部１０３からの出力は、フレーム毎の出力に限定するものではない。
【００５５】
（実施の形態２）
本発明の実施の形態２における映像記録装置について説明する。本実施の形態の映像記録装置の概略構成は、実施の形態１における映像記録装置１とほぼ同じであるので、同一部分については説明を省略する。実施の形態１と異なる点は、主に前記ＦＲＲが１以上２未満となる撮影時フレームレートを適応的制御の対象とすることと、そのことによる映像処理設定制御部１１３（映像前処理設定制御手段１１４、及び、符号化設定制御手段１１５）の制御の追加や変更である。すなわち、本実施の形態の適応的符号化方式は、実施の形態１の第２の適応的符号化方式を、ＦＲＲが１以上２未満の場合に適用したものに相当する。ここでは、撮影時フレームレートを毎秒２４フレーム、再生時フレームレートを毎秒３０フレームに設定したものとして、以下の説明を行う。また、最大符号化フレームレートも毎秒３０フレームとする。
【００５６】
本実施の形態における適応的符号化方式を用いた映像処理設定制御部１１３の制御方法を説明する。図９に本方法によって符号化を行ったときの概念図を示す。ａ）に示すような、撮影時フレームレートを毎秒２４フレームとして撮影された映像データを、ｂ）に示すように最大符号化フレームレートの毎秒３０フレームで処理を行う。その際、撮影時フレームレートと最大符号化フレームレートの差によって生じる余裕時間に、あるフレームの映像データを異なったパラメータを用いて複数回符号化を行う。すなわち、図９  ｂ）の１ａ、１ｂ（５ａ、５ｂ）は、同じ映像データ１（５）に対して２回符号化したものである。
【００５７】
ＭＰＥＧ−２やＨ．２６４方式のようなフレーム間での相関を利用した圧縮符号化を行う場合には、参照フレームの参照方法の違いによって分類されるＩピクチャ、Ｂピクチャ、Ｐピクチャを効果的に当てはめることによって高画質化を実現できる。Ｉピクチャ、Ｂピクチャ、Ｐピクチャの中で画質及び符号化データサイズに対する影響が大きいのは一般的にはフレーム内符号化方式のみで符号化したＩピクチャである。したがって、このＩピクチャの符号化処理を、符号化処理を行う上で時間的に余裕のある部分に行う。すなわち、図９  ｂ）の１ａ、１ｂ（５ａ、５ｂ）に相当するフレームをＩピクチャとして符号化することで、Ｉピクチャの高画質化を図れる。一般的にＩピクチャは他のピクチャから参照されるので、Ｉピクチャの高画質化により、ストリーム全体の画質を向上することができる。また、符号化データ量が一番多いのはＩピクチャであるので、Ｉピクチャを複数回符号化し、符号化データのサイズが少ない方を採用することで符号化レートを抑えることもできる。
【００５８】
図９に示す例では、撮影時フレームレートと最大符号化フレームレートの比は４：５であるので、撮影時フレームで４フレームに対して、最大符号化フレームで１フレーム分の時間、処理に余裕ができる（図９ｂの１ｂ，５ｂに相当）。この時間を２回目の符号化に割り当て、撮影時フレームの４フレーム周期で、Ｉピクチャの符号化を異なった符号化パラメータで２回（図９ｂの１ａ，１ｂに相当）行えば、Ｉピクチャの符号化効率が向上する。
【００５９】
したがって、Ｉピクチャの周期は好ましくは以下のＦｉで表される周期となる。また、ＭＰＥＧ−２等におけるＧＯＰ構成、すなわち１ＧＯＰに含まれるフレーム数は以下の式で表されるＦｇｏｐにするのが望ましい。
【００６０】
Ｆｉ＝｛Ｘ／ＧＣＤ（Ｘ，Ｚ）｝×ｍ
Ｆｇｏｐ＝Ｆｉ×ｎ
ただし、ｎ、ｍは自然数、Ｘは撮影時フレームレート、Ｚは最大符号化フレームレートとし、ＧＣＤ（Ｘ，Ｚ）は、ＸとＺの最大公約数を表す。例えば図９の場合はＸ＝２４、Ｚ＝３０であるので、ｍ＝１、ｎ＝１とすれば、Ｆｉ＝４、Ｆｇｏｐ＝４となる。
【００６１】
以上のように、本実施の形態の映像記録装置によれば、符号化部の処理能力を最大限に発揮して、撮影された映像データに対して高効率、高画質の圧縮符号化を行うことができる。
【００６２】
なお、本実施の形態では、撮影時フレームレートを毎秒２４フレーム、最大符号化フレームレートを毎秒３０フレームについて説明を行ったが、撮影時フレームレートと最大符号化フレームレートの比に従ってＦｇｏｐ，Ｆｉを決定すれば同様の効果を発揮することは明らかである。
【００６３】
また、本実施の形態では、実施の形態１における第２の適応的符号化方式に相当する方式に関して説明したが、図９の１ａ，１ｂ（５ａ，５ｂ）の部分を１フレーム分の同じ映像データに対して異なった符号化パラメータで２回符号化を行うのではなく、実施の形態１における第１の適応的符号化方式で説明したように、最大符号化フレームレートで２フレーム分の処理時間をかけて、処理負荷の高い符号化パラメータを設定して１回の符号化で高効率な符号化を行っても同様の効果を発揮することができる。
【００６４】
また、本実施の形態では、すべてのＩピクチャを複数回符号化する方法を説明したが、すべてのＩピクチャに限定するものではなく、ＧＯＰ先頭のＩピクチャのみの場合や、Ｉピクチャに限定しない場合も一定の効果がある。
【産業上の利用可能性】
【００６５】
本発明にかかる映像記録装置は、カメラレコーダなど撮影時フレームレートと最大符号化フレームレートが異なる場合に高画質、高効率な圧縮符号化を行うもので、半導体メモリ、光ディスク等のランダムアクセス可能な記録媒体に記録する映像記録装置や、映像符号化方法、映像符号化装置等に広く適用可能である。
【図面の簡単な説明】
【００６６】
【図１】カメラレコーダの構成を示す図
【図２】撮影時フレームレートと再生時フレームレートの関係を示す図
【図３】Ｈ．２６４の適応的な符号化方法の構成図
【図４】適応的な動きベクトルの探索範囲の設定図
【図５】第２の適応的符号化方式を示す概念図
【図６】符号化構造の適応的制御方法のフローチャート
【図７】第２の適応的符号化方式における制御フローを示す図
【図８】最適な符号化データの出力制御時の符号化メモリの概念図
【図９】Ｉピクチャの適応的符号化方法の概念図
【符号の説明】
【００６７】
１００  カメラ部
１０１  有効フレーム抽出部
１０２  映像前処理部
１０３  映像符号化部
１０４  記録部
１１０  システム制御部
１１１  フレームレート設定手段
１１２  入力映像情報設定手段
１１３  映像処理設定制御部
１１４  映像前処理設定制御手段
１１５  符号化設定制御手段
１１６  記録制御手段
１２０  記録媒体
１２１  入力手段
１３０  ホストインターフェイス
２０１  ＤＣＴ／量子化部
２０２  エントロピー符号化部
２０３  逆量子化／ＩＤＣＴ部
２０４  フィルタ部
２０５  フレームメモリ
２０６  フレーム内予測処理部
２０７  フレーム間予測処理部
２０８  動きベクトル検出部
２１０  切り替えスイッチ
２１１  符号化メモリ
２１２  出力制御部
２２０  前処理フィルタ部
【図１】
2007142809.tif 000003
【図３】
2007142809.tif 000004
【図４】
2007142809.tif 000005
【図５】
2007142809.tif 000006
【図６】
2007142809.tif 000007
【図７】
2007142809.tif 000008
【図８】
2007142809.tif 000009
【図９】
2007142809.tif 000010
【図２】
2007142809.tif 000011