(57)【特許請求の範囲】
【請求項１】
複数のフレームより構成される動画像を撮影し、圧縮符号化した後、所定の記録媒体に記録する画像記録装置において、
撮影開始後の所定数の第１のフレームを圧縮符号化したときの情報量を計測する計測手段と、
前記第１のフレームを構成する各マクロブロック毎に動きベクトルを検出する検出手段と、
前記動きベクトルに基づいて前記各マクロブロックに対して動き補償を行い、動き補償する前後の対応するマクロブロック同士の残差を演算する第１の演算手段と、
前記動画像を構成する各フレーム毎にフレーム内複雑度を演算する第２の演算手段と、
前記動画像に含まれる画像の解像度を変換する第１の変換手段と、
前記動画像に含まれる画像の画素数を変換する第２の変換手段と、
前記計測手段によって計測された前記情報量に応じて、前記第１のフレームの後に続く所定数の第２のフレームの圧縮符号化方法を決定する決定手段と、
前記決定手段により決定された圧縮符号化方法に従って、前記第１の変換手段により解像度が変換されるとともに、前記第２の変換手段により画素数が変換された前記第２のフレームを圧縮符号化する圧縮符号化手段と、
前記圧縮符号化手段によって圧縮符号化された前記第２のフレームを前記記録媒体に記録する記録手段とを備え、
前記決定手段は、前記圧縮符号化方法において、前記フレーム内複雑度に基づいて、対象のフレームの後に続くフレームを入力するときの解像度を各フレーム毎に決定し、前記第１の変換手段により変換される解像度である変換解像度を設定するとともに、前記動きベクトルおよび前記残差に基づいて、前記第２のフレームを入力するときの画素数を決定し、前記第２の変換手段により変換される画素数である変換画素数を設定する
ことを特徴とする画像記録装置。
【請求項２】
前記決定手段は、前記動きベクトルおよび前記残差に基づいて、前記第２のフレームを圧縮符号化するとき、前記第２のフレームを構成する各ピクチャおよびマクロブロック毎の符号量の割り振りを決定する
ことを特徴とする請求項１に記載の画像記録装置。
【請求項３】
前記計測手段は、所定数の前記第１のフレームを量子化係数を固定にして圧縮符号化したときの情報量を計測する
ことを特徴とする請求項１に記載の画像記録装置。
【請求項４】
複数のフレームより構成される動画像を撮影し、圧縮符号化した後、所定の記録媒体に記録する画像記録方法において、
撮影開始後の所定数の第１のフレームを圧縮符号化したときの情報量を計測する計測ステップと、
前記第１のフレームを構成する各マクロブロック毎に動きベクトルを検出する検出ステップと、
前記動きベクトルに基づいて前記各マクロブロックに対して動き補償を行い、動き補償する前後の対応するマクロブロック同士の残差を演算する第１の演算ステップと、
前記動画像を構成する各フレーム毎にフレーム内複雑度を演算する第２の演算ステップと、
前記動画像に含まれる画像の解像度を変換する第１の変換ステップと、
前記動画像に含まれる画像の画素数を変換する第２の変換ステップと、
前記計測ステップによって計測された前記情報量に応じて、前記第１のフレームの後に続く所定数の第２のフレームの圧縮符号化方法を決定する決定ステップと、
前記決定ステップにより決定された圧縮符号化方法に従って、前記第１の変換ステップにより解像度が変換されるとともに、前記第２の変換ステップにより画素数が変換された前記第２のフレームを圧縮符号化する圧縮符号化ステップと、
前記圧縮符号化ステップによって圧縮符号化された前記第２のフレームを前記記録媒体に記録する記録ステップとを含み、
前記決定ステップは、前記圧縮符号化方法において、前記フレーム内複雑度に基づいて、対象のフレームの後に続くフレームを入力するときの解像度を各フレーム毎に決定し、前記第１の変換ステップにより変換される解像度である変換解像度を設定するとともに、前記動きベクトルおよび前記残差に基づいて、前記第２のフレームを入力するときの画素数を決定し、前記第２の変換ステップにより変換される画素数である変換画素数を設定する
ことを特徴とする画像記録方法。
【請求項５】
複数のフレームより構成される動画像を圧縮符号化する画像処理装置において、
撮影開始後の所定数の第１のフレームを圧縮符号化したときの情報量を計測する計測手段と、
前記第１のフレームを構成する各マクロブロック毎に動きベクトルを検出する検出手段と、
前記動きベクトルに基づいて前記各マクロブロックに対して動き補償を行い、動き補償する前後の対応するマクロブロック同士の残差を演算する第１の演算手段と、
前記動画像を構成する各フレーム毎にフレーム内複雑度を演算する第２の演算手段と、
前記動画像に含まれる画像の解像度を変換する第１の変換手段と、
前記動画像に含まれる画像の画素数を変換する第２の変換手段と、
前記計測手段によって計測された前記情報量に応じて、前記第１のフレームの後に続く所定数の第２のフレームの圧縮符号化方法を決定する決定手段と、
前記決定手段により決定された圧縮符号化方法に従って、前記第１の変換手段により解像度が変換されるとともに、前記第２の変換手段により画素数が変換された前記第２のフレームを圧縮符号化する圧縮符号化手段とを備え、
前記決定手段は、前記圧縮符号化方法において、前記フレーム内複雑度に基づいて、対象のフレームの後に続くフレームを入力するときの解像度を各フレーム毎に決定し、前記第１の変換手段により変換される解像度である変換解像度を設定するとともに、前記動きベクトルおよび前記残差に基づいて、前記第２のフレームを入力するときの画素数を決定し、前記第２の変換手段により変換される画素数である変換画素数を設定する
ことを特徴とする画像処理装置。
【請求項６】
前記決定手段は、前記動きベクトルおよび前記残差に基づいて、前記第２のフレームを圧縮符号化するとき、前記第２のフレームを構成する各ピクチャおよびマクロブロック毎の符号量の割り振りを決定する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記計測手段は、所定数の前記第１のフレームを量子化係数を固定にして圧縮符号化したときの情報量を計測する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
複数のフレームより構成される動画像を圧縮符号化する画像処理方法において、
撮影開始後の所定数の第１のフレームを圧縮符号化したときの情報量を計測する計測ステップと、
前記第１のフレームを構成する各マクロブロック毎に動きベクトルを検出する検出ステップと、
前記動きベクトルに基づいて前記各マクロブロックに対して動き補償を行い、動き補償する前後の対応するマクロブロック同士の残差を演算する第１の演算ステップと、
前記動画像を構成する各フレーム毎にフレーム内複雑度を演算する第２の演算ステップと、
前記動画像に含まれる画像の解像度を変換する第１の変換ステップと、
前記動画像に含まれる画像の画素数を変換する第２の変換ステップと、
前記計測ステップによって計測された前記情報量に応じて、前記第１のフレームの後に続く所定数の第２のフレームの圧縮符号化方法を決定する決定ステップと、
前記決定ステップにより決定された圧縮符号化方法に従って、前記第１の変換ステップにより解像度が変換されるとともに、前記第２の変換ステップにより画素数が変換された前記第２のフレームを圧縮符号化する圧縮符号化ステップとを含み、
前記決定ステップは、前記圧縮符号化方法において、前記フレーム内複雑度に基づいて、対象のフレームの後に続くフレームを入力するときの解像度を各フレーム毎に決定し、前記第１の変換ステップにより変換される解像度である変換解像度を設定するとともに、前記動きベクトルおよび前記残差に基づいて、前記第２のフレームを入力するときの画素数を決定し、前記第２の変換ステップにより変換される画素数である変換画素数を設定する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像記録装置および方法、並びに画像処理装置および方法に関し、例えば、撮像した画像に応じた圧縮符号化を行い、所定の記録媒体に記録する画像記録装置および方法、並びに画像処理装置および方法に関する。
【０００２】
【従来の技術】
従来より、入力された画像を一旦符号化し、符号化によって発生した情報量を全シーケンスに渡って測定し、入力画像系列の特徴を割り出してから、入力画像に対してその特徴に合わせた符号化制御を行うことにより、圧縮伸張後の画質を向上させる手法が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記手法は、符号化処理のリアルタイム性が必須とされるシステムでは全く意味をなさない。なぜなら、動画を撮像するデジタルビデオカメラ等のように、随時入力される画像を圧縮符号化しながら記録媒体上で書き換えを行うような場合には、処理の負荷が大きすぎて実行不可能である課題があった。
【０００４】
また、対象とする動画像に対してやみくもにエンコード設定し、圧縮符号化処理を行っても、その画像系列の特徴に合わせた符号化処理には及ばない。例えば、圧縮するときの各ピクチャへの情報量の割り振りを、何のデータもなく決定し、圧縮符号化処理を実行したとしても、その撮影対象の画像系列の特徴に合致するとは限らない課題があった。
【０００５】
従って、１回の実時間符号化処理で、少しでも圧縮符号化対象となる動画像の系列の特徴に応じた符号化処理を行うことが求められる。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、画像系列の変化に対して、適応的にエンコード制御を行い、効率の良い符号化を行うことができるようにするものである。
【０００７】
【課題を解決するための手段】
請求項１に記載の画像記録装置は、撮影開始後の所定数の第１のフレームを圧縮符号化したときの情報量を計測する計測手段と、第１のフレームを構成する各マクロブロック毎に動きベクトルを検出する検出手段と、動きベクトルに基づいて各マクロブロックに対して動き補償を行い、動き補償する前後の対応するマクロブロック同士の残差を演算する第１の演算手段と、動画像を構成する各フレーム毎にフレーム内複雑度を演算する第２の演算手段と、動画像に含まれる画像の解像度を変換する第１の変換手段と、動画像に含まれる画像の画素数を変換する第２の変換手段と、計測手段によって計測された情報量に応じて、第１のフレームの後に続く所定数の第２のフレームの圧縮符号化方法を決定する決定手段と、決定手段により決定された圧縮符号化方法に従って、第１の変換手段により解像度が変換されるとともに、第２の変換手段により画素数が変換された第２のフレームを圧縮符号化する圧縮符号化手段と、圧縮符号化手段によって圧縮符号化された第２のフレームを記録媒体に記録する記録手段とを備え、決定手段は、圧縮符号化方法において、フレーム内複雑度に基づいて、対象のフレームの後に続くフレームを入力するときの解像度を各フレーム毎に決定し、第１の変換手段により変換される解像度である変換解像度を設定するとともに、動きベクトルおよび残差に基づいて、第２のフレームを入力するときの画素数を決定し、第２の変換手段により変換される画素数である変換画素数を設定することを特徴とする。
【０００８】
請求項４に記載の画像記録方法は、撮影開始後の所定数の第１のフレームを圧縮符号化したときの情報量を計測する計測ステップと、第１のフレームを構成する各マクロブロック毎に動きベクトルを検出する検出ステップと、動きベクトルに基づいて各マクロブロックに対して動き補償を行い、動き補償する前後の対応するマクロブロック同士の残差を演算する第１の演算ステップと、動画像を構成する各フレーム毎にフレーム内複雑度を演算する第２の演算ステップと、動画像に含まれる画像の解像度を変換する第１の変換ステップと、動画像に含まれる画像の画素数を変換する第２の変換ステップと、計測ステップによって計測された情報量に応じて、第１のフレームの後に続く所定数の第２のフレームの圧縮符号化方法を決定する決定ステップと、決定ステップにより決定された圧縮符号化方法に従って、第１の変換ステップにより解像度が変換されるとともに、第２の変換ステップにより画素数が変換された第２のフレームを圧縮符号化する圧縮符号化ステップと、圧縮符号化ステップによって圧縮符号化された第２のフレームを記録媒体に記録する記録ステップとを含み、決定ステップは、圧縮符号化方法において、フレーム内複雑度に基づいて、対象のフレームの後に続くフレームを入力するときの解像度を各フレーム毎に決定し、第１の変換ステップにより変換される解像度である変換解像度を設定するとともに、動きベクトルおよび残差に基づいて、第２のフレームを入力するときの画素数を決定し、第２の変換ステップにより変換される画素数である変換画素数を設定することを特徴とする。
【０００９】
請求項５に記載の画像処理装置は、撮影開始後の所定数の第１のフレームを圧縮符号化したときの情報量を計測する計測手段と、第１のフレームを構成する各マクロブロック毎に動きベクトルを検出する検出手段と、動きベクトルに基づいて各マクロブロックに対して動き補償を行い、動き補償する前後の対応するマクロブロック同士の残差を演算する第１の演算手段と、動画像を構成する各フレーム毎にフレーム内複雑度を演算する第２の演算手段と、動画像に含まれる画像の解像度を変換する第１の変換手段と、動画像に含まれる画像の画素数を変換する第２の変換手段と、計測手段によって計測された情報量に応じて、第１のフレームの後に続く所定数の第２のフレームの圧縮符号化方法を決定する決定手段と、決定手段により決定された圧縮符号化方法に従って、第１の変換手段により解像度が変換されるとともに、第２の変換手段により画素数が変換された第２のフレームを圧縮符号化する圧縮符号化手段とを備え、決定手段は、圧縮符号化方法において、フレーム内複雑度に基づいて、対象のフレームの後に続くフレームを入力するときの解像度を各フレーム毎に決定し、第１の変換手段により変換される解像度である変換解像度を設定するとともに、動きベクトルおよび残差に基づいて、第２のフレームを入力するときの画素数を決定し、第２の変換手段により変換される画素数である変換画素数を設定することを特徴とする。
【００１０】
請求項８に記載の画像処理方法は、撮影開始後の所定数の第１のフレームを圧縮符号化したときの情報量を計測する計測ステップと、第１のフレームを構成する各マクロブロック毎に動きベクトルを検出する検出ステップと、動きベクトルに基づいて各マクロブロックに対して動き補償を行い、動き補償する前後の対応するマクロブロック同士の残差を演算する第１の演算ステップと、動画像を構成する各フレーム毎にフレーム内複雑度を演算する第２の演算ステップと、動画像に含まれる画像の解像度を変換する第１の変換ステップと、動画像に含まれる画像の画素数を変換する第２の変換ステップと、計測ステップによって計測された情報量に応じて、第１のフレームの後に続く所定数の第２のフレームの圧縮符号化方法を決定する決定ステップと、決定ステップにより決定された圧縮符号化方法に従って、第１の変換ステップにより解像度が変換されるとともに、第２の変換ステップにより画素数が変換された第２のフレームを圧縮符号化する圧縮符号化ステップとを含み、決定ステップは、圧縮符号化方法において、フレーム内複雑度に基づいて、対象のフレームの後に続くフレームを入力するときの解像度を各フレーム毎に決定し、第１の変換ステップにより変換される解像度である変換解像度を設定するとともに、動きベクトルおよび残差に基づいて、第２のフレームを入力するときの画素数を決定し、第２の変換ステップにより変換される画素数である変換画素数を設定することを特徴とする。
【００１１】
請求項１に記載の画像記録装置および請求項４に記載の画像記録方法においては、撮影開始後の所定数の第１のフレームを圧縮符号化したときの情報量が計測され、第１のフレームを構成する各マクロブロック毎に動きベクトルが検出され、動きベクトルに基づいて各マクロブロックに対して動き補償を行い、動き補償する前後の対応するマクロブロック同士の残差が演算され、動画像を構成する各フレーム毎にフレーム内複雑度が演算され、動画像に含まれる画像の解像度が変換され、動画像に含まれる画像の画素数が変換され、計測された情報量に応じて、第１のフレームの後に続く所定数の第２のフレームの圧縮符号化方法が決定され、決定された圧縮符号化方法に従って、解像度が変換されるとともに、画素数が変換された第２のフレームが圧縮符号化され、圧縮符号化された第２のフレームが記録媒体に記録され、圧縮符号化方法において、フレーム内複雑度に基づいて、対象のフレームの後に続くフレームを入力するときの解像度を各フレーム毎に決定し、変換される解像度である変換解像度が設定されるとともに、動きベクトルおよび残差に基づいて、第２のフレームを入力するときの画素数を決定し、変換される画素数である変換画素数が設定される。
【００１２】
請求項５に記載の画像処理装置および請求項８に記載の画像処理方法においては、撮影開始後の所定数の第１のフレームを圧縮符号化したときの情報量が計測され、第１のフレームを構成する各マクロブロック毎に動きベクトルが検出され、動きベクトルに基づいて各マクロブロックに対して動き補償を行い、動き補償する前後の対応するマクロブロック同士の残差が演算され、動画像を構成する各フレーム毎にフレーム内複雑度が演算され、動画像に含まれる画像の解像度が変換され、動画像に含まれる画像の画素数が変換され、計測された情報量に応じて、第１のフレームの後に続く所定数の第２のフレームの圧縮符号化方法が決定され、決定された圧縮符号化方法に従って、解像度が変換されるとともに、画素数が変換された第２のフレームが圧縮符号化され、圧縮符号化方法において、フレーム内複雑度に基づいて、対象のフレームの後に続くフレームを入力するときの解像度を各フレーム毎に決定し、変換される解像度である変換解像度が設定されるとともに、動きベクトルおよび残差に基づいて、第２のフレームを入力するときの画素数を決定し、変換される画素数である変換画素数が設定される。
【００１３】
【発明の実施の形態】
図１は、本発明の画像記録装置を応用したデジタルビデオカメラ等の動画像圧縮記録装置の一実施の形態の構成例を示すブロック図である。撮像装置１は、所定の被写体の画像を撮像し、対応する画像信号を出力するようになされている。Ａ／Ｄ変換器２は、撮像装置１からの画像信号をデジタルの画像データに変換し、圧縮装置３（圧縮符号化手段）およびカメラ圧縮制御装置６（計測手段）に供給するようになされている。圧縮装置３は、Ａ／Ｄ変換器２からの画像データに対して符号化処理を施し、符号化されたビットストリームを書き込み装置４（記録手段）に供給するとともに、動きベクトル等の情報をカメラ圧縮制御装置６に供給するようになされている。
【００１４】
カメラ圧縮制御装置６は、圧縮装置３からの情報に基づいて、Ａ／Ｄ変換器２より供給される画像データに応じた適切な符号化のためのパラメータ（例えば、後述するフィルタ係数や画素数）等を決定し、圧縮制御信号として圧縮装置３に供給したり、後述する書き込み装置４に対して、記録の開始や停止等を指示する記録制御信号を供給するようになされている。書き込み装置４は、カメラ圧縮制御装置６からの記録制御信号に基づいて、圧縮装置３より供給される符号化された画像データを光ディスク等の記録媒体５に書き込むようになされている。
【００１５】
図２は、図１の圧縮装置３の詳細な構成例を示すブロック図である。前処理装置１１は、フィルタ演算器１２および間引き処理器１３により構成され、図１のカメラ圧縮制御装置６より供給される圧縮制御信号（符号化のためのパラメータ）に基づいて、入力画像を適切な解像度および画素数の画像に変換し、出力するようになされている。動きベクトル検出装置１４（検出手段）は、画像データを一時的に蓄えるフレームメモリ１５と、順方向および逆方向のフレーム間の動きベクトルを検出する動き検出器１６により構成され、前処理装置１１からの画像データから、動きベクトル、即ち、フレーム間の動き量を検出し、符号化装置１７（演算手段）に供給するようになされている。
【００１６】
符号化装置１７は、動きベクトル検出装置１４より供給される動きベクトルに基づいて、前処理装置１１からの画像データに対して符号化処理を施し、図１の書き込み装置４に供給するようになされている。即ち、符号化装置１７を構成する離散コサイン変換（ＤＣＴ）器２０は、加算器１８を介して供給される画像データに対して離散コサイン変換処理を行い、量子化器２１に供給するようになされいている。量子化器２１は、ＤＣＴ器２０からの画像データに対して量子化処理を施し、可変長符号化器２７および逆量子化器２２に供給するようになされている。
【００１７】
逆量子化器２２は、量子化器２１より供給される量子化された画像データに対して、逆量子化処理を施し、逆ＤＣＴ器２３に供給するようになされている。逆ＤＣＴ器２３は、逆量子化器２２からの逆量子化された画像データに対して逆ＤＣＴ変換を施した後、加算器２４に供給するようになされている。加算器２４は、逆ＤＣＴ器２３からの画像データと、後述する動き補償器２６からの動き補償された画像データとを加算し、フレームメモリ２５に供給するようになされている。
【００１８】
フレームメモリ２５は、加算器２４からの画像データを記憶し、動き補償器２６に供給する。動き補償器２６は、フレームメモリ２５からの画像データに対して動き補償を行い、加算器２４に供給するとともに、スイッチ１９を介して加算器１８にも供給するようになされている。
【００１９】
可変長符号化器２７は、量子化器２１からの画像データに対して、可変長符号化処理を行い、バッファ２８に供給するようになされている。バッファ２８は、可変長符号化器２７からの画像データを一旦記憶し、量子化制御器２９に供給するようになされている。量子化制御器２９は、バッファ２８より供給された可変長符号化された画像データをカメラ圧縮制御装置６に供給するようになされている。また、カメラ圧縮制御装置６からの圧縮制御信号に基づいて、量子化器２１に対して量子化のレートを制御するためのレート制御信号を供給するようになされている。
【００２０】
次に、その動作について説明する。撮像装置１により撮像された被写体の画像に対応する画像信号は、Ａ／Ｄ変換器２においてデジタルの画像データに変換され、圧縮装置３およびカメラ圧縮制御装置６に供給される。
【００２１】
圧縮装置３に供給された画像データは、圧縮装置３を構成する前処理装置１１に入力される。そして、前処理装置１１を構成するフィルタ演算器１２において、カメラ圧縮制御装置６からの圧縮制御信号に基づいて、入力された画像データに適した解像度変換、即ち周波数特性を変換する処理が施され、間引き処理器１３に供給される。間引き処理器１３に供給された画像データは、間引き処理器１３により圧縮制御信号に基づいて、入力された画像データに適した画素数変換、即ち標本化数を変換する処理が施され、符号化装置１７および動きベクトル検出装置１４に供給される。
【００２２】
前処理装置１１の間引き処理器１３より動きベクトル検出装置１４に供給された前処理装置１１からの画像データは、動きベクトル検出装置１４を構成するフレームメモリ１５に一旦記憶される。そして、動きベクトル検出器１６により、フレームメモリ１５に記憶された画像データが読み出され、順方向および逆方向のフレーム間の動きベクトルが検出される。動きベクトル検出装置１４において検出された動きベクトルは、符号化装置１７を構成する動き補償器２６に供給される。
【００２３】
また、前処理装置１１の間引き処理器１３より符号化装置１７に供給された画像データは、加算器１８において、後述するように、スイッチ１９を介して供給される動き補償器２６からの動き補償された画像データによって減算され、ＤＣＴ器２０に供給される。ＤＣＴ器２０に供給された画像データは、離散コサイン変換が施され、量子化器２１に供給される。量子化器２１に供給された画像データは、量子化された後、可変長符号化器２７および逆量子化器２２に供給される。
【００２４】
逆量子化器２２に供給された画像データは逆量子化処理が施され、次に、逆ＤＣＴ器２３において逆ＤＣＴ処理が施され、画像データが再構築される。この再構築された画像データは、加算器２４において、動き補償器２６より供給される既に再構築した参照フレームの画像データと加算され、フレームメモリ２５に供給され、記憶される。フレームメモリ２５に記憶された画像データは、動き補償器２６により読み出され、動きベクトル検出装置１４において検出された動きベクトルに基づいて動き補償が行われる。
【００２５】
動き補償された画像データは、再構築された画像データがフレーム間で符号化されるモードの場合においては、スイッチ１９が端子ａ側に接続が切り替えられ、加算器１８に供給される。そして、加算器１８において、前処理装置１１より供給される画像データから動き補償器２６よりスイッチ１９を介して供給される画像データが引き算される。また、フレーム内で符号化されるモードの場合においては、スイッチ１９は端子ｂ側に接続が切り替えられ、加算器１８には値０のデータが供給される。
【００２６】
可変長符号化器２７より出力されるビットストリームは、バッファ２８を介して図１の書き込み装置４に供給される。また、バッファ２８でのバッファ量や、図１のカメラ圧縮制御装置６からの量子化に関する指令に基づいて、量子化制御器２９において量子化器２１の量子化パラメータが制御されることにより、量子化器２１において行われる量子化のビットレートが制御される。
【００２７】
上記デジタルビデオカメラにおいて、１フレーム分の入力画像信号は、例えば、ＤＶＤ(digital versatile disc)等の場合のように水平方向に７０４画素、垂直方向に４８０画素からなり、水平・垂直両方向に１６画素ずつ分割して得られる１６画素×１６画素の大きさのマクロブロックは、水平方向に４４個、垂直方向に３０個存在する。従って、１フレームは、１３２０個のマクロブロックで構成される。また、入力される動画像系列は、１秒間に３０フレームとする。
【００２８】
上記実施の形態においては、デジタルビデオカメラの記録開始を指示するスイッチが操作されると同時に、圧縮符号化されたビットストリームの記録媒体５への記録は開始されない。即ち、図３に示すように、例えば、最初の１５フレーム分の入力画像に対して試験的な意味での圧縮符号化が行われ、発生した符号量（ビットストリームのビット量）等を用いて、その１５フレームの直後（例えば、０．５秒後）からの実際に撮影対象とする画像に対する圧縮符号化のパラメータが設定され、このパラメータに基づいて圧縮符号化され、生成されたビットストリームの記録媒体５への記録が開始される。
【００２９】
具体的には、試験的に行う圧縮符号化では、通常行われるフレームやマクロブロック単位の量子化制御を動的には実施せずに、例えば量子化係数を一定にしたままで圧縮符号化を行い、そのときに発生する符号量を計測する。その結果から見積もられる例えば動画像系列の圧縮における難易度といったような特徴を利用して、実撮影対象となる動画像系列を符号化するときの符号化パラメータの設定が行われる。
【００３０】
上記実施の形態においては、実時間処理による仮想的な２パスエンコードを実現することができる。即ち、入力された動画像系列の特徴抽出を、実際に撮影記録する直前の画像系列で行った結果から、直後の実際の撮影対象画像に対してより精緻な符号化割り当てを実現することができる。これにより、圧縮伸張による劣化を軽減することができる。
【００３１】
また、動画デジタルカメラに適用する場合においては、通常の映画やＴＶで見られるようなシーンチェンジと呼ばれる映像の切れ目が、１回の記録動作において撮影対象の動画像系列には存在しない。即ち、記録開始時ごとに、撮影する対象画像に見合った圧縮符号化のための諸設定を最適化することにより、シーン毎により効果的な圧縮符号化処理を行うことができる。逆に、動画カメラで撮影中の急激なパン、チルト、ズーム、手振れといったカメラ特有の操作によって、１つのショットの中で起きる入力画像の大きな変化に対しても、実時間処理で対応することができる。
【００３２】
図３に示したように、試験的に符号化する画像系列１５フレームに対しては、図１の記録媒体５には書き込まずに圧縮符号化のみを行う。そのとき、カメラ圧縮制御装置６からは、書き込み装置４に対して書き込み開始の指示は出ていない。また、圧縮装置３に対しては、量子化制御に関わる処理を学習モードとし、１フレームおよび１マクロブロックあたりの制御目標ビット量の設定を符号化装置１７に行わず、さらに１フレームを構成する画素数や、その周波数特性も入力画像のままで固定の設定を前処理装置１１に指示するようにし、ビットストリームを測定し、そのフレームが潜在的に持つ情報量を推し量る。
【００３３】
そして、実際に撮影が行われるときには、試験的に符号化した結果を図１のカメラ圧縮制御装置６で解析し、決定した指針に従って、前処理装置１１での解像度の設定および画素数変換の設定が行われる。その変換例としては、図４に示すように、例えば、デジタルフィルタを用いてそのフィルタ係数を変えることにより、周波数成分の通過域特性を制御し、解像度変換を行ったり、図５に示すように、水平方向および垂直方向の少なくともいずれか一方の画素を間引くことにより、画素数変換を行うものがある。
【００３４】
図４は、解像度変換用フィルタの周波数特性の例を示すグラフである。横軸が周波数、縦軸が利得を表しており、図４（Ａ）は、かなり高い周波数帯域まで通す例を示している。また、図４（Ｂ）は、高域成分の多い画像から高域の周波数成分を取り除く例を示している。
【００３５】
このように前処理された結果の画像信号が、動きベクトル検出装置１４および符号化装置１７に供給される。
【００３６】
動きベクトル検出装置１４においては、各フレームの時間的な並びにおいて順方向および逆方向に対応するフレーム間の各マクロブロック毎の動き量が求められる。即ち、ブロックマッチング法を用いて最適な動きベクトル値を求める演算が行われ、その値が蓄えられる。
【００３７】
図６（Ａ）に示すように、一般的に、動きベクトルを求めるときのフレーム間の動き量の予測方向によって、フレーム間符号化するフレームは、順方向のみの予測によるＰピクチャと、順方向および逆方向の両方向予測によるＢピクチャに分けられ、フレーム内符号化するフレームは、Ｉピクチャと呼ばれる。図６（Ａ）および後述する図６（Ｂ）においては、ＩピクチャおよびＰピクチャの周期Ｍを３とし、ＧＯＰ(Group of Pictures)ピクチャの数Ｎを１５としている。
【００３８】
また、図６（Ｂ）に示すように、前処理装置１１で行われる画素数変換処理において、最低でも１ＧＯＰ毎に異なる画素数を有する画像系列への変換を行ったときには、ＧＯＰの切れ目と最初のＩピクチャの間にあるＢピクチャに関してのみ、順方向予測を用いず、逆方向予測のみのフレーム間予測符号化を行う構造として、一般的にｃｌｏｓｅｄ  ＧＯＰと呼ばれる構造を取るようにする。
【００３９】
符号化装置１７においては、動きベクトル検出装置１４より供給された動きベクトル値を用いて動き補償が行われ、時間軸方向のデータの冗長度が削減され、かつＤＣＴによる空間軸方向からの周波数軸方向への変換により冗長度が削減されたデータに対して、周波数軸に対して重み付けを施した量子化が行われる。
【００４０】
その時、カメラ圧縮制御装置６からの指令も反映しながら、量子化制御器２９が動作する。それと同時に、動き補償のための逆量子化および逆変換の処理が行われる。そして、可変長符号化器２７において、最終的なビットストリームを得るための可変長符号化処理が行われる。
【００４１】
以上の圧縮符号化は、学習モード時に発生するビット量、動きベクトル、動き補償後のブロック内差分値を、カメラ圧縮制御装置６で計測し、解析することにより、撮影する対象画像系列の特徴を予測する過程を有する。また、事前の学習だけではなく、撮影中も常にカメラ圧縮制御装置６で画像系列の特徴を観測することにより、次のＧＯＰあるいはフレームを逐次予測していくようにすることができる。
【００４２】
次に、上記実施の形態の学習過程におけるカメラ圧縮制御装置６の動作について説明する。図３に示すように、記録を行わずに、学習のために試験的な圧縮符号化のみを行う最初の１５ピクチャに対して、各々のピクチャタイプを図６に示すように、Ｉピクチャ、Ｐピクチャ、Ｂピクチャに割り振る。即ち、図６での動き予測方向の分類によって定義された各Ｉピクチャ、Ｐピクチャ、Ｂピクチャがそれぞれ１，４，１０枚ずつ計１５枚で構成されるピクチャの集合をＧＯＰと呼び、その割り振りを学習区間の１５ピクチャに先頭からそのまま当てはめる。それ以降の実撮影対象の動画像系列に対しても、同様に、１５ピクチャ毎に１ＧＯＰに当てはめる。
【００４３】
一般的にこのようなＧＯＰ構造を有する動画像系列の圧縮符号化においては、各ピクチャタイプ毎に、１枚あたりの符号化によって発生するビット量に大きな差が生じる。例えば、フレーム内だけで符号化するＩピクチャに比べて、時間軸方向の画像の並びに対して順方向のみのフレームの動き予測を用いてフレーム間の冗長度を削減したＰピクチャや、順方向だけでなく逆方向のピクチャ間の動き予測も用いるＢピクチャで発生するビット量は明かに少ない。さらに、ＰピクチャとＢピクチャを比べると、その発生ビット量は、両方向からのフレーム間の動きに関する情報で冗長度を削減することができるＢピクチャの方が一般的に少ない。即ち、圧縮符号化するフレームに割り振られるピクチャタイプに応じた１ピクチャタイプあたりの符号量割り当てが重要となる。
【００４４】
また、入力される動画像系列の内容によっても、その各ピクチャタイプ毎の発生ビット量にばらつきが生じる。即ち、圧縮符号化する対象となる動画像系列の並びが非常に激しい動きを持つものであるときと、比較的動きが少なく静止画に近いものであるときとでは、大きな差が生じる。例えば、動きベクトルを算出するときに、その検索範囲に収まりきらないくらいに動き量が大きい、あるいは、完全に動きがフレームの外にはみ出してしまう程であったりし、最適な値を求めることができないような場合が想定される。あるいは、カメラ操作による速いパンニング映像やズームイン、ズームアウト映像などでも、同様に動きベクトルをうまく求めることができなくなる。
【００４５】
このような場合の傾向として、激しく動く映像であるようなとき、Ｉピクチャでの発生ビット量に対して、Ｐ，Ｂピクチャでの発生ビット量の比率が通常の場合に比べて大きくなることがある。これは、本来、Ｐ，Ｂピクチャの動き予測によるフレーム間差分値が小さくならないため、結果的にＰ，Ｂピクチャの符号量が増加する。
【００４６】
一方、画面にあまり動きのない静止画に近いような映像の場合には、Ｉピクチャでの発生ビット量に対して、Ｐ，Ｂピクチャでの発生ビット量が小さくなる。これは、動きがほとんどなければ動きベクトルの値のための符号量も小さくて済み、うまく検索できた動きベクトルによって、Ｐ，Ｂピクチャの動き予測によるフレーム間差分値が十分に小さくなり、結果的にＰ，Ｂピクチャの符号量も減少するからである。
【００４７】
即ち、圧縮符号化するフレームの動きや動き予測によるフレーム間差分値から、その画像系列が持つ動きに対する特徴を捉え、その特徴に応じたピクチャタイプ毎の符号量の割り当てが重要となる。
【００４８】
さらに、入力画像の動きの性質によって引き起こされるピクチャタイプ間のばらつきに拘らず、入力される動画像系列の絵柄によっても、発生するビット量には大きな差が生じる。即ち、入力動画像系列の動きの激しさとは別に、どのピクチャタイプであろうと、本質的に持っているフレーム内の画像データの圧縮符号化における複雑さの要因がある。言い換えれば、異なる入力動画像系列に対して、動きに関する特徴が似通ったものをお互いに持っていた場合でも、１フレームに含まれる潜在的な情報量が多いときと少ないときとでは、結果として発生するビット量には大きな隔たりが生じる。
【００４９】
このフレーム内の符号化の複雑さの特徴は、Ｉピクチャでの発生ビット量から読み取ることができる。あるいは、ＤＣＴ係数の符号量を左右するフレーム内に含まれる画像信号の高域成分を推し量る指標として、例えば隣接する画素の差分値の累積のような、フレーム内の変動量に対応するものや、その分布から見積もることも可能である。また、逆に、フレーム内の画像信号の平坦さからも見積もることができる。
【００５０】
即ち、圧縮符号化するフレームが本来持つ符号化の複雑さから、目標ビットレートに対して、どれだけ入力動画像系列が複雑であるかを判断することが重要となる。
【００５１】
以上のことから、入力される動画像系列の圧縮符号化に関する各種の特徴に応じた処理を実現することにより、より効率的な圧縮符号化が可能となり、圧縮伸張後の画質を向上させることができる。さらには、上記フレームおよびＧＯＰ単位の特徴に加え、マクロブロック単位の特徴もフレーム内の位置的情報を加えることにより、利用することができる。即ち、画面の中のマクロブロック毎の動きや符号量の情報を用いて、より効率のよい圧縮符号化が可能となる。
【００５２】
実際には、実時間処理での与えられた目標ビットレート内で、効率よく圧縮符号化を実行することが求められる。そのために、上記実施の形態においては、カメラを想定して実際に記録を開始する直前の入力動画像系列を利用して、目標ビットレートに対する圧縮のための各種パラメータを学習させ、直後の実際に記録が行われる実撮影動画像系列に対して、より適した圧縮符号化のためのレートコントロールを実現するようにしている。即ち、ビデオカメラでの入力画像系列は、撮影者が撮影開始の操作を行った瞬間と、その直後の入力画像系列にはそれほど差異がないと仮定することができるので、そのことを利用して入力動画像系列の特徴を割り出し、直後の実際に記録が行われる入力動画像系列の圧縮符号化に役立てるための処理を行う。この処理は、カメラ圧縮制御装置６によって行われる。
【００５３】
また、カメラ圧縮制御装置６は、撮影開始後も一連の画像系列には連続的な特徴があることを利用して、撮影開始時の場合と同様に、入力画像の特徴量を常に観測し、それによって得られる結果を例えばＧＯＰおよびフレーム単位で逐次圧縮符号化に反映させていく処理を行う。逆に、撮影中に速いパンニングやズームなどのカメラ操作、あるいは、撮影対象の大きな動きなどによって引き起こされる急激な入力画像系列の変化があった場合にも、その変化を各種の特徴量の観測結果を用いて検出し、それに対応する処理を行う。
【００５４】
次に、図７のフローチャートを参照して、カメラ圧縮制御装置６の動作の詳細について説明する。最初に、ステップＳ１において、カメラの撮影開始釦が押されたか否かが判定される。撮影開始釦が押された瞬間であった場合、書き込み装置４は動作させずに、その瞬間から１５フレーム（１ＧＯＰ）の期間だけ、学習モードに入る。学習モードでは、入力画像が有する情報量がどの程度のものなのかを定量的に測定するため、ステップＳ２において、通常のレートコントロールは行われず、量子化係数をある一定値に設定して圧縮符号化のみが実行される。
【００５５】
次に、ステップＳ３において、そのとき発生した総ビット量、ピクチャタイプ毎の発生ビット量、マクロブロック毎の発生ビット量、動きベクトル値、動き補償後のブロック差分値、フレーム内複雑度の各種特徴量が求められる。また、このとき、発生した総ビット量の２（＝３０フレーム／１５フレーム）倍の値が、１秒あたりの発生情報量、即ちレートコントロールを行わない場合のビットレートとされる。
【００５６】
次に、ステップＳ４において、実撮影記録期間であるか否かが判定される。いまの場合、実撮影記録期間ではないと判定され、ステップＳ７に進む。ステップＳ７においては、上記ビットレートと目標ビットレートとの大小関係から、即ち、入力動画像系列が本来必要とする大まかなビットレートと目標ビットレートとの差異の度合いや、動きによる直接的な発生情報量への反映として、動き補償後のブロック差分値の大きさや分布などから、記録撮影モード時の前処理装置１１での解像度、画素数の初期設定が行われる。
【００５７】
例えば、極端に発生情報量が大きくなる結果が得られた場合、また、画面全体として動きの激しさや動き補償のマッチング具合を示すブロック差分値が同様に大きくなるような場合、撮影対象である画像系列が目標ビットレートに比べて非常に符号化が難しいと判断され、解像度や画素数変換において情報量が少なくなるように、フィルタ特性を高域成分を減少させるように設定したり、水平方向の画素数を減らすような画素数変換の設定が行われる。
【００５８】
また、ピクチャタイプ毎の発生ビット量から、１ピクチャタイプあたりの割り振りビット量を目標ビットレートから逆算して、効率よく１ＧＯＰで消費できるような制御と初期設定が行われる。例えば、動きが少なく、ＰピクチャやＢピクチャでの発生ビット量が少ないような場合、Ｉピクチャに対する目標ビット量が他のピクチャタイプに比べて多く割り振られる。逆に、動きに伴う情報が大きくて、ＰピクチャやＢピクチャの発生ビット量が多い場合、Ｉピクチャに対する割り振りが減らされ、ＰピクチャやＢピクチャに多く割り振られる。また、マクロブロック毎の発生ビット量から画面内に存在するマクロブロックに必要なビット量が割り出され、１ピクチャ内で消費されるビット量の各マクロブロック単位での効率のよい割り振りビット量の設定が行われる。
【００５９】
例えば、マクロブロック毎の動きベクトルや動き補償後のブロック差分値から、画面の中の動きが激しい、あるいは、穏やかなマクロブロックが観測される。その結果から、１ピクチャに割り当てられた目標ビット量を画面内の位置レベルで効率よく割り振るための設定が行われる。
【００６０】
一方、ステップＳ４において、実撮影記録期間であると判定された場合、ステップＳ５に進み、レート制御を行いながら、入力画像列に対する符号化と記録媒体への記録が行われ。また、その間、ステップＳ３において得られた各種特徴量に基づいて、次のＧＯＰやフレーム、マクロブロック等に対して、上記設定が行われる。
【００６１】
次に、ステップＳ６において、カメラ撮影が停止したか否かが判定され、カメラ撮影が停止していないと判定された場合、ステップＳ７に戻り、ステップＳ３乃至Ｓ７の処理が繰り返し実行される。一方、カメラ撮影が停止されたと判定された場合、処理を終了する。
【００６２】
次に、上記各種設定のうち、入力シーケンスに対するＧＯＰの単位での動的な解像度・画素数変換を伴った制御の特徴的な例について説明する。以降、上述したｃｌｏｓｅｄ  ＧＯＰ構成を持つことを条件とする。
【００６３】
図８は、解像度や画素数を変換する制御装置の構成例を示すブロック図である。この制御装置は、動き補償後のブロック差分値とフレーム内変動量を示すフレーム内複雑度といったマクロブロックやフレームの持つ特徴量を用いて、解像度や画素数の変換を行うようになされている。
【００６４】
前処理装置１１を構成するフィルタ演算器１２では、適宜フレーム単位で一般的に低域通過特性を有する間引き用のデジタルフィルタが用いられるが、この例では、そのタップ数やフィルタ係数を変更して、カットオフ周波数等のフィルタ特性を変化させることにより、図４（Ａ）、図４（Ｂ）に示すような２種類の周波数特性の解像度変換を選択する。そのとき、デジタルフィルタの一例して、図９に示すような構造の９タップの１次元ＦＩＲ(finite impulse response)型デジタルフィルタを用いて処理を行う。図９において、Ｃ０乃至Ｃ８は、デジタルフィルタのフィルタ係数を表し、遅延素子（Ｚ-1）４１乃至４８は、それぞれ１画素サイクル分の遅延素子を表している。これらの係数値と水平方向に並ぶ画像信号のレベル値が乗算器５１乃至５９においてそれぞれ乗算され、各乗算結果が加算器６０において加算され、フィルタ出力が得られる。
【００６５】
間引き処理器１３においては、適宜ＧＯＰ単位で水平方向の画素数の変換が行われる。この例では、例えば、図５の（Ａ）に示すような７０４画素（１×１変換）と、図５（Ｃ）に示すような３５２画素（１×２変換）の２種類の間引き処理による画素数変換が選択される。図１３を参照して後述するように、符号化して生成したビットストリームを復号化し、画像信号に戻す場合には、間引き処理で選択された画素数変換の逆変換として、水平方向に元の７０４画素に戻すことを前提とする。
【００６６】
以上の動作選択は、フィルタ演算器１２で実現する周波数特性を与えるためのフィルタ係数設定を行うフィルタ係数設定器３３（決定手段）と、間引き処理器１３で実現する画素数を決める画素数設定器３４（決定手段）の２つで実行される。即ち、フィルタ係数設定器３３と画素数設定器３４が図１のカメラ圧縮制御装置６の構成要素となっている。
【００６７】
ここで利用する特徴量の１つとしての上述したフレーム内複雑度に、入力画像の水平方向の画素の持つレベル差の１フレームに渡る絶対値和（以下では、フレーム・コンプレキシティ（ＦＣ）と呼ぶことにする）が用いられる。この例では、任意の画素の水平方向座標ｉ番目、垂直方向座標ｊ番目について、画素の持つレベル値をｄ（ｉ，ｊ）と表すと、フレーム・コンプレキシティ（ＦＣ）は次式（１）から求められる。
【００６８】
【数１】
0003829312.tif 000002
【００６９】
ここで、ｍは１ラインの画素数を表し、ｎは１フレームのライン数を表している。
【００７０】
即ち、入力された画像を画像の左上から右下に順次走査するように１次元系列化し、そのときの隣合う画素同士について上記式（１）に従った演算が行われ、ＦＣが算出される。この演算は、図８の演算部３２において行われる。図１０は、演算部３２を構成する回路の例を示している。入力された画素値は、演算回路７２および遅延素子７１に供給され、演算回路７２においては、いま入力された画素値と、遅延素子７１を介して供給される１つ前の画素の画素値との間の差分の絶対値が求められる。そして、上記式（１）に示すように、全ての画素についてこの演算が行われ、順次加算されていく。
【００７１】
また、図１１に示すように、動き補償後のブロック差分値には、Ｐピクチャの水平方向および垂直方向の両方向に１６画素ずつ分割したマクロブロック毎に求められた動きベクトルを用いて、動き補償を行ったときのマクロブロック毎の差分値の絶対値和（以下では、ブロック・ディファレンス（ＢＤ）と呼ぶ）が用いられる。１フレーム中の水平方向にｋ番目、垂直方向にｌ番目のマクロブロックＭＢ（ｋ，ｌ）でのブロック・ディファレンスＢＤ（ｋ，ｌ）は次式（２）のように表される。
【００７２】
【数２】
0003829312.tif 000003
【００７３】
ここで、ｍｖｘ（ｋ，ｌ）はマクロブロックＭＢ（ｋ，ｌ）での水平方向の動きベクトル値を表し、ｍｖｙ（ｋ，ｌ）はマクロブロックＭＢ（ｋ，ｌ）での垂直方向の動きベクトル値を表している。また、時間軸方向で前に位置するフレーム、即ち、動きベクトルを探索するフレーム中の任意の画素の水平方向座標ｉ番目、垂直方向座標ｊ番目について、画素の持つレベル値をｄｔ（ｉ，ｊ）と表し、逆に動き補償し、予測符号化するフレーム中での同様のレベル値をｄｃ（ｉ，ｊ）と表す。
【００７４】
従って、フレーム全体でのブロック・ディファレンス値ＢＤは、ＢＤ（ｋ，ｌ）を１フレームに渡って足し込んだものとなり、次式（３）で表される。
【００７５】
【数３】
0003829312.tif 000004
【００７６】
ブロック・ディファレンス値ＢＤは、演算部３１により算出される。
【００７７】
以上のフレーム・コンプレキシティ値ＦＣとブロック・ディファレンス値ＢＤのフレームおよびＧＯＰ中での値を解析し、次のフレームおよびＧＯＰに対するフィルタ係数と画素数の設定を行う。このとき得られたＧＯＰ中のＰピクチャでのブロック・ディファレンス値ＢＤが基準となる値よりも大きいか小さいかを判定し、次のＧＯＰに対して行う画素数変換の画素数設定を多段階的に選択する。さらに、ＧＯＰ中の１フレーム毎のフレーム・コンプレキシティ値ＦＣについても、基準となる値よりも大きいかあるいは小さいかを判定し、次のフレームに対して行う解像度変換のフィルタ係数を多段階的に選択する。
【００７８】
この例の場合、ブロック・ディファレンス値ＢＤが、所定の基準値よりも大きければ、画素数をより少なくするように変換し、それと同時に、フレーム・コンプレキシティ値ＦＣが所定の基準値よりも大きければ、フィルタ特性をより高周波成分を減衰させるようにするフィルタ係数による解像度変換を施す。
【００７９】
次に、図１２のフローチャートを参照して、解像度および画素数を選択する処理手順の例について説明する。最初に、ＧＯＰ単位の処理では、ステップＳ１１において、現在処理するフレームが、図６（Ｂ）に示すように、ｃｌｏｓｅｄ  ＧＯＰ毎の時間的に１２フレーム目のＰピクチャであるか否かが判定される。１２フレーム目のＰピクチャであると判定された場合、ステップＳ１２に進み、演算部３１によりブロック・ディファレンス値ＢＤが演算される。
【００８０】
次に、ステップＳ１３において、現在のＧＯＰでの水平画素数が７０４画素であるかあるいは３５２画素であるかが判定される。現在のＧＯＰでの水平画素数が７０４画素であると判定された場合、ステップＳ１４に進み、ブロック・ディファレンス値ＢＤが、次のＧＯＰでの画素数変換を規定する基準ブロック・ディファレンス値ＶBD1より小さいか否かが判定される。ブロック・ディファレンス値ＢＤが基準ブロック・ディファレンス値ＶBD1より小さいと判定された場合、ステップＳ１６に進み、画素数設定器３４は、次のＧＯＰに対する画素数の設定を、現在のＧＯＰの場合と同様に７０４画素（１／１変換）にする。
【００８１】
ステップＳ１４において、ブロック・ディファレンス値ＢＤが基準ブロック・ディファレンス値ＶBD1より大きいかまたは等しいと判定された場合、ステップＳ１７に進み、次のＧＯＰに対する画素数の設定を、現在のＧＯＰの場合の１／２の３５２画素（１／２変換）にする。
【００８２】
一方、ステップＳ１３において、現在のＧＯＰの水平方向の画素数が７０４画素ではない、即ち、３５２画素であると判定された場合、ステップＳ１５に進み、ブロック・ディファレンス値ＢＤが基準ブロック・ディファレンス値ＶBD2より小さいか否かが判定される。ブロック・ディファレンス値ＢＤが基準ブロック・ディファレンス値ＶBD2より小さいと判定された場合、ステップＳ１６に進み、次のＧＯＰの画素数を７０４画素（１／１変換）に設定する。ブロック・ディファレンス値ＢＤが基準ブロック・ディファレンス値ＶBD2より大きいかまたは等しいと判定された場合、ステップＳ１７に進み、次のＧＯＰの画素数を現在のＧＯＰの場合と同様に３５２画素（１／２変換）に設定する。
【００８３】
ステップＳ１６またはステップＳ１７における処理が終了すると、ＧＯＰ単位での全ての処理を終了する。
【００８４】
また、フレーム単位での処理では、ステップＳ１８において、フレーム毎に上記フレーム・コンプレキシティ演算を行う。次に、ステップＳ１９において、ステップＳ１８において得られたフレーム・コンプレキシティ値ＦＣが、次のフレームでの解像度変換のためのフィルタ係数を規定する基準フレーム・コンプレキシティ値ＶFCより小さいか否かが判定される。フレーム・コンプレキシティ値ＦＣが、基準フレーム・コンプレキシティ値ＶFCより小さいと判定された場合、ステップＳ２０に進み、フィルタ係数設定器３３により、次のフレームに対してフィルタ係数Ｃf1が選択される。一方、フレーム・コンプレキシティ値ＦＣが、基準フレーム・コンプレキシティ値ＶFCより大きいかまたは等しいと判定された場合、ステップＳ２１に進み、フィルタ係数Ｃf2が選択される。
【００８５】
本実施の形態の場合、フィルタ特性Ｃf2によって実現されるディジタルフィルタ（例えば、図４（Ｂ））は、フィルタ特性Ｃf1によって実現されるディジタルフィルタ（例えば、図４（Ａ））よりもカットオフ周波数が低い特性を有している。
【００８６】
ステップＳ２０またはステップＳ２１の処理が終了すると、フレーム単位での全ての処理を終了する。
【００８７】
以上の過程を経て、入力画像に対するＧＯＰ単位での画素数変換のための設定が、ブロック・ディファレンスを評価規範として、また、入力画像に対するフレーム単位での解像度変換のための設定が、フレーム・コンプレキシティを評価規範として、図８に示したカメラ圧縮制御装置６により行われる。
【００８８】
図１３は、図１に示した動画像圧縮記録装置によって記録媒体５に記録された動画像を再生する再生装置の一実施の形態の構成例を示すブロック図である。読み取り装置８１は、記録媒体５に記録された圧縮された動画像データを読み出すようになされている。伸張装置８２は、読み取り装置８１によって読み出された動画像データに対して伸張処理を施すようになされている。Ｄ／Ａ変換器８３は、伸張装置８２により伸張された動画像データをアナログのビデオ信号に変換するようになされている。表示装置８４は、Ｄ／Ａ変換器８３より供給されるアナログのビデオ信号に対応する動画を表示するようになされている。
【００８９】
図１４は、図１３の伸張装置８２の詳細な構成例を示すブロック図である。伸張装置８２は、復号化装置９１と後処理装置９９より構成されている。復号化装置９１を構成するバッファ９２は、読み取り装置８１より供給された符号化データを一時的に記憶するようになされている。可変長復号化器９３は、バッファ９２より供給される符号化データに対して可変長復号化処理を施し、逆量子化器９４に供給するとともに、動きベクトルを動き補償器９７に供給するようになされている。
【００９０】
逆量子化器９４は、可変長復号化器９３より供給されたデータに対して、逆量子化処理を行うようになされている。逆ＤＣＴ器９５は、逆量子化器９４において逆量子化されたデータに対して、逆ＤＣＴ演算を施すようになされている。加算器９６は、逆ＤＣＴ器９５により逆ＤＣＴ処理が施されたデータと、動き補償器９７からの動き補償されたデータとを加算し、後処理装置９９の補間処理器１００に供給するとともに、動き補償器９７およびフレームメモリ９８にも供給するようになされている。
【００９１】
動き補償器９７は、可変長復号化器９３より供給される動きベクトルと、加算器９６を介して供給されるデータおよびフレームメモリ９８より供給されるデータに基づいて、動き補償したデータを生成し、出力するようになされている。
【００９２】
後処理装置９９は、図２の前処理装置１１の間引き処理器１３における画素数変換の結果に従って、元の画素数に変換するための補間処理を行うようになされている。フィルタ演算器１０１は、補間処理器１００からの補間処理が施されたデータに対して、所定のフィルタ演算を施した後、出力するようになされている。
【００９３】
次に、その動作について説明する。まず、読み取り装置８１によって記録媒体５に記録されている画像データが読み出され、伸張装置８２に供給される。この画像データは、伸張装置８２を構成する復号化装置９１のバッファ９２に入力され、一旦記憶される。その後、可変長復号化器９３に供給され、可変長復号化処理が施される。可変長復号化処理が施されたデータは、逆量子化器９４に供給される。また、動きベクトルが動き補償器９７に供給される。
【００９４】
逆量子化器９４に供給されたデータは、逆量子化処理が施された後、逆ＤＣＴ処理器９５に供給され、逆ＤＣＴ処理が施される。逆ＤＣＴ処理が施されたデータは、加算器９６に供給される。加算器９６においては、後述するように、動き補償器９７において生成された動き補償のための信号と逆ＤＣＴ処理が施されたデータとが加算され、後処理装置９９に供給されるとともに、動き補償器９７およびフレームメモリ９８に供給される。
【００９５】
動き補償器９７においては、可変長復号化器９３より供給された動きベクトルと、加算器９６を介して供給されたデータ、およびフレームメモリ９８より供給されるデータに基づいて、動き補償したデータが生成され、加算器９６に供給される。
【００９６】
後処理装置９９に供給されたデータは、補間処理器１００により補間処理が施された後、フィルタ演算器１０１に供給され、所定のフィルタ演算処理が施される。これにより、元の画素数のフレームのデータに変換される。フィルタ演算器１０１においてフィルタ処理が施されたデータは、Ｄ／Ａ変換器８３に供給され、アナログのビデオ信号に変換された後、表示装置８４に供給され、対応する動画が表示される。
【００９７】
以上のように、上記実施の形態においては、特に動画をディジタルビデオカメラ等で撮影するとき、撮影対象の動画像系列の特徴を、直前の入力画像から推測することにより、効率の良い圧縮符号化が可能となり、伸張後の画像の画質を向上させることができる。また、撮影開始時に学習することで初期設定を行うだけでなく、撮影中においても圧縮符号化を行いながら、入力画像の特徴量を検出し、逐次圧縮符号化のパラメータの設定を行うことにより、撮影中の入力画像の変化にも追従させることが可能となり、画質を向上させることができる。
【００９８】
なお、上記実施の形態の場合、カメラの撮影を開始させる操作が行われた時点を起点として、入力画像の特徴を学習させるようにしたが、撮影を開始させる操作ではなく、ポーズ状態のときから、常に学習を行わせるようにしてもよい。
【００９９】
また、上記実施の形態においては、ブロック・ディファレンス演算による判定において、ＧＯＰ内の１２フレーム目のＰピクチャのみを参照するようにしたが、ＧＯＰ内の他の予測符号化フレーム（Ｐピクチャ、Ｂピクチャ）であってもよい。また、ＧＯＰ内でのこれらの予測符号化フレームのブロック・ディファレンスの値の変動を観測することにより、上記判定を行うようにすることも可能である。
【０１００】
また、上記実施の形態においては、１５フレームで１ＧＯＰを構成するようにしたが、その他の任意の数のフレームで１ＧＯＰを構成するようにしてもよい。
【０１０１】
さらに、上記実施の形態においては、本発明をデジタルビデオカメラに適用した場合について説明したが、静止画を記録再生するデジタルスチルカメラにも本発明を適用することができる。
【０１０２】
【発明の効果】
請求項１に記載の画像記録装置および請求項４に記載の画像記録方法によれば、画像の特徴に応じて、効率的に圧縮符号化を行うことができる。
【０１０３】
請求項５に記載の画像処理装置および請求項８に記載の画像処理方法によれば、画像の特徴に応じて、効率的に圧縮符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の画像記録装置を応用した動画像圧縮記録装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の圧縮装置３の構成例を示すブロック図である。
【図３】ピクチャ処理のタイミングを説明する図である。
【図４】解像度変換用のフィルタの周波数特性の例を示す図である。
【図５】画素数変換の例を示す図である。
【図６】動き予測方向とＧＯＰ構造の例を示す図である。
【図７】図１のカメラ圧縮制御装置６の動作を説明するフローチャートである。
【図８】解像度・画素数変換のための制御装置の構成例を示すブロック図である。
【図９】フィルタ演算器１２を構成するデジタルフィルタの構成例を示すブロック図である。
【図１０】フレーム・コンプレキシティ演算の方法を説明する図である。
【図１１】動きベクトルとフレーム関係を示す図である。
【図１２】解像度および画素数を選択する処理手順を説明するフローチャートである。
【図１３】再生装置の構成例を示すブロック図である。
【図１４】伸張装置８２の構成例を示すブロック図である。
【符号の説明】
１  撮像装置，  ２  Ａ／Ｄ変換器，  ３  圧縮装置，  ４  書き込み装置，５  記録媒体，  ６  カメラ圧縮制御装置，  １１  前処理装置，  １２  フィルタ演算器，  １３  間引き処理器，  １４  動きベクトル検出装置，  １５フレームメモリ，  １６  動き検出器，  １７  符号化装置，  １８  加算器，  ２０  ＤＣＴ器，  ２１  量子化器，  ２２  逆量子化器，  ２３  逆ＤＣＴ器，  ２４  加算器，  ２５  フレームメモリ，  ２６  動き補償器，  ２７可変長符号化器，  ２８  バッファ，  ２９  量子化制御器，  ３１，３２  演算部，  ３３  フィルタ係数設定器，  ３４  画素数設定器，  ４１乃至４８，７１  遅延素子，  ５１乃至５９  乗算器，  ６０  加算器，  ８１  読み取り装置，  ８２  伸張装置，  ８３  Ｄ／Ａ変換器，  ８４  表示装置，  ９１復号化装置，  ９２  バッファ，  ９３  可変長復号化器，  ９４  逆量子化器，  ９５  逆ＤＣＴ器，  ９６  加算器，  ９７  動き補償器，  ９８  フレームメモリ，  ９９  後処理装置，  １００  補間処理器，  １０１  フィルタ演算器
【図１】
0003829312.tif 000005
【図２】
0003829312.tif 000006
【図３】
0003829312.tif 000007
【図４】
0003829312.tif 000008
【図５】
0003829312.tif 000009
【図６】
0003829312.tif 000010
【図７】
0003829312.tif 000011
【図８】
0003829312.tif 000012
【図９】
0003829312.tif 000013
【図１０】
0003829312.tif 000014
【図１１】
0003829312.tif 000015
【図１２】
0003829312.tif 000016
【図１３】
0003829312.tif 000017
【図１４】
0003829312.tif 000018