(57)【要約】【課題】フレーム信号とフィールド信号のいずれかを適応的に選択して符号化する場合でも、メモリの容量を増大させないこと。【解決手段】ブロック抽出部１０２はフレームメモリ１０１からマクロブロック・ペア単位で画像データを抽出し、第１のバッファ１０３へ出力する。フレーム／フィールド変換部１０４はマクロブロック・ペアの画像データをフレーム構造の並びからフィールド構造に変換して第２のバッファ１０５へ出力する。フィールド間相関判定部１０６は、各フィールドごとの特徴量を算出しフィールド間の相関を判定する。フレーム／フィールド選択部１０７はフィールド間相関判定フラグに従って、フィールド間相関ありの場合、第１のバッファ１０３のフレーム画像データを選択する一方、フィールド間相関なしの場合、第２のバッファ１０５のフィールド画像を選択して符号化部１０８へ出力する。【選択図】図１
2009278410.tif 000002
【特許請求の範囲】
【請求項１】
インターレース走査されたフィールド画像信号を入力し、画像データとして記憶するフレームメモリと、
前記フレームメモリに記憶された前記画像データから符号化単位ブロック毎に前記画像データを抽出するブロック抽出手段と、
前記ブロック抽出手段によって符号化単位ブロック毎に抽出された前記画像データを一時記憶する第１のバッファと、
前記第１のバッファに一時記憶された符号化単位ブロック毎の前記画像データをフィールド別に並び替えて、符号化単位ブロック毎の前記画像データを、符号化単位ブロック毎の前記フィールド画像信号に変換するフレーム／フィールド変換手段と、
前記フレーム／フィールド変換手段によって変換された符号化単位ブロック毎の前記フィールド画像信号を一時記憶する第２のバッファと、
前記第２のバッファに一時記憶された符号化単位ブロック毎の前記フィールド画像信号を読み出してフィールド間の相関を判定し、フィールド間相関判定結果として出力するフィールド間相関判定手段と、
前記フィールド間相関判定手段から出力された前記フィールド間相関判定結果に基づいて、前記第１のバッファに一時記憶された符号化単位ブロック毎の前記画像データか、または前記第２のバッファに一時記憶された符号化単位ブロック毎の前記フィールド画像信号のいずれかを選択するフレーム／フィールド画像選択手段と、
前記フレーム／フィールド画像選択手段によって選択された符号化単位ブロック毎の前記フィールド画像信号または前記画像データのいずれかを入力して、前記フィールド間相関判定結果に基づいて前記符号化単位ブロック毎に符号化する符号化手段と、
を有する動画像符号化装置。
【請求項２】
インターレース走査されたフィールド画像信号を入力し、画像データとして記憶するフレームメモリと、
前記フレームメモリに記憶された前記画像データから符号化単位ブロック毎に前記画像データを抽出するブロック抽出手段と、
前記ブロック抽出手段によって符号化単位ブロック毎に抽出された前記画像データを一時記憶する第１のバッファと、
前記第１のバッファに一時記憶された符号化単位ブロック毎の前記画像データをフィールド別に並び替えて、符号化単位ブロック毎の前記画像データを、符号化単位ブロック毎の前記フィールド画像信号に変換するフレーム／フィールド変換手段と、
前記フレーム／フィールド変換手段によって変換された符号化単位ブロック毎の前記フィールド画像信号を一時記憶する第２のバッファと、
前記第１のバッファに一時記憶された符号化単位ブロック毎の前記画像データを読み出してフィールド間の相関を判定し、フィールド間相関判定結果として出力するフィールド間相関判定手段と、
前記フィールド間相関判定手段から出力された前記フィールド間相関判定結果に基づいて、前記第１のバッファに一時記憶された符号化単位ブロック毎の前記画像データか、または前記第２のバッファに一時記憶された符号化単位ブロック毎の前記フィールド画像信号のいずれかを選択するフレーム／フィールド画像選択手段と、
前記フレーム／フィールド画像選択手段によって選択された符号化単位ブロック毎の前記フィールド画像信号または前記画像データのいずれかを入力して、前記フィールド間相関判定結果に基づいて前記符号化単位ブロック毎に符号化する符号化手段と、
を有する動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレース走査された画像データを符号化する動画像符号化装置に関するものである。
【背景技術】
【０００２】
フレーム信号を記憶するフレームメモリと、フィールド信号を記憶するフィールド信号を記憶するフィールドメモリとを備え、どちらか一方の信号を選択して符号化するようにした動画像符号化装置がある（例えば、特許文献１を参照。）
【特許文献１】特開平１１−２２０７３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上述の従来の動画像符号化装置では、フィールドメモリに偶数ライン信号のみからなるＴｏｐフィールド、奇数ライン信号のみからなるＢｏｔｔｏｍフィールドの動画像データを２フィールド分蓄えて、そこからマクロブロック単位で画像データを切り出し符号化するようにしていため、フィールドメモリの容量をフィールドサイズ分用意する必要があり、メモリの容量が大きくなると共に、ピクチャ全体をいったんフィールド構造に直してバッファリングする必要があるので、その処理時間もかかる、という問題がある。
【０００４】
そこで、本発明では、フレーム信号とフィールド信号のいずれかを適応的に選択して符号化する場合でも、メモリの容量を増大させないようにした動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の動画像符号化装置では、インターレース走査されたフィールド画像信号を入力し、画像データとして記憶するフレームメモリと、前記フレームメモリに記憶された前記画像データから符号化単位ブロック毎に前記画像データを抽出するブロック抽出手段と、前記ブロック抽出手段によって符号化単位ブロック毎に抽出された前記画像データを一時記憶する第１のバッファと、前記第１のバッファに一時記憶された符号化単位ブロック毎の前記画像データをフィールド別に並び替えて、符号化単位ブロック毎の前記画像データを、符号化単位ブロック毎の前記フィールド画像信号に変換するフレーム／フィールド変換手段と、前記フレーム／フィールド変換手段によって変換された符号化単位ブロック毎の前記フィールド画像信号を一時記憶する第２のバッファと、前記第２のバッファに一時記憶された符号化単位ブロック毎の前記フィールド画像信号を読み出してフィールド間の相関を判定し、フィールド間相関判定結果として出力するフィールド間相関判定手段と、前記フィールド間相関判定手段から出力された前記フィールド間相関判定結果に基づいて、前記第１のバッファに一時記憶された符号化単位ブロック毎の前記画像データか、または前記第２のバッファに一時記憶された符号化単位ブロック毎の前記フィールド画像信号のいずれかを選択するフレーム／フィールド画像選択手段と、前記フレーム／フィールド画像選択手段によって選択された符号化単位ブロック毎の前記フィールド画像信号または前記画像データのいずれかを入力して、前記フィールド間相関判定結果に基づいて前記符号化単位ブロック毎に符号化する符号化手段と、を有する。
また、本発明の別の動画像符号化装置では、インターレース走査されたフィールド画像信号を入力し、画像データとして記憶するフレームメモリと、前記フレームメモリに記憶された前記画像データから符号化単位ブロック毎に前記画像データを抽出するブロック抽出手段と、前記ブロック抽出手段によって符号化単位ブロック毎に抽出された前記画像データを一時記憶する第１のバッファと、前記第１のバッファに一時記憶された符号化単位ブロック毎の前記画像データをフィールド別に並び替えて、符号化単位ブロック毎の前記画像データを、符号化単位ブロック毎の前記フィールド画像信号に変換するフレーム／フィールド変換手段と、前記フレーム／フィールド変換手段によって変換された符号化単位ブロック毎の前記フィールド画像信号を一時記憶する第２のバッファと、前記第１のバッファに一時記憶された符号化単位ブロック毎の前記画像データを読み出してフィールド間の相関を判定し、フィールド間相関判定結果として出力するフィールド間相関判定手段と、前記フィールド間相関判定手段から出力された前記フィールド間相関判定結果に基づいて、前記第１のバッファに一時記憶された符号化単位ブロック毎の前記画像データか、または前記第２のバッファに一時記憶された符号化単位ブロック毎の前記フィールド画像信号のいずれかを選択するフレーム／フィールド画像選択手段と、前記フレーム／フィールド画像選択手段によって選択された符号化単位ブロック毎の前記フィールド画像信号または前記画像データのいずれかを入力して、前記フィールド間相関判定結果に基づいて前記符号化単位ブロック毎に符号化する符号化手段と、を有する。
【発明の効果】
【０００６】
本発明の動画像符号化装置によれば、フレーム信号から符号化単位ブロック毎に符号化対象データを切出した後、符号化単位ブロック毎にフレーム信号とフィールド信号とをバッファに一次記憶してフィールド間の相関に応じ、符号化単位ブロック毎にフレーム信号またはフィールド信号を符号化するようにしたので、一画面分のフィールド信号を記憶するフィールドメモリが不要となり、メモリの容量を削減することができる。
【０００７】
また、第１のバッファに一時記憶された符号化単位ブロック毎の画像データを読み出して、符号化単位ブロック毎にフィールド間の相関を判定して、フィールド間相関判定結果として出力するようにすれば、符号化単位ブロック毎にフレーム信号からフィールド信号への変換と、フィールド間の相関の判断を同時に行えるので、迅速に符号化することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施の形態について説明する。
【０００９】
図１は、本発明に係る実施の形態１の構成例を示すブロック図である。
図１において、本実施の形１態の動画像符号化装置は、フレームメモリ１０１と、ブロック抽出手段１０２と、第１のバッファ１０３と、フレーム／フィールド変換部１０４と、第２のバッファ１０５と、フィールド間相関判定部１０６と、フレーム／フィールド選択部１０７と、符号化部１０８とを有している。なお、符号化部１０８の符号化出力は、記録媒体（図示せず）や、送信部（図示せず）を介し動画像復号装置へ送信される。
【００１０】
次に、フローチャートを参照して本装置の動作を説明する。
【００１１】
図２は、本装置の動作手順を示すフローチャートである。
【００１２】
フレームメモリ１０１は、ディジタル変調された画像データを入力し格納する。例えば、図３（ａ）に示すように、水平画素数１９２０、走査線数１０８０、画像フォーマットＹ,Ｃｂ,Ｃｒ＝４：２：０の画像データを格納する場合、輝度成分Ｙを水平方向１９２０画素ずつ１０８０ラインを１フレームごとに格納する。また、色差成分Ｃｂであれば、図３（ｂ）に示すように水平方向９６０画素ずつ５４０ライン、さらに色差成分Ｃｒであれば、図３（ｃ）に示すように水平方向９６０画素ずつ５４０ラインのように画像１フレームごとに格納する。画像データは、偶数ラインのＴＯＰフィールドと、奇数ラインのＢｏｔｔｏｍフィールドの２つのフィールドによるインターレース信号によって構成されている。
【００１３】
ブロック抽出部１０２は、フレームメモリ１０１に画像データが格納されたか否かを判断し（Ｓ２００）、画像データが格納されたと判断した場合（Ｓ２００“ＹＥＳ”）、その画像データに対し、符号化単位であるマクロブロックのペアであるマクロブロック・ペアがあるか否かを判断する（Ｓ２１０）。
【００１４】
ここで、ブロック抽出部１０２は、図３(ａ）に示すように、輝度１６画素×１６ラインのマクロブロック単位に切り出し、その後、図４（ａ）に示すように上下に隣接する２つのマクロブロックをペアリング（以下、マクロブロック・ペアと呼ぶ。）する。なお、最初から上下に隣接する２つのマクロブロックをペアリングしたマクロブロック・ペアで切り出すようにしてもよい。
【００１５】
図４（ａ）は、マクロブロック・ペアの構造を示している。図４（ａ）では、上下に隣接する２つのマクロブロック、すなわち０，１の２つのマクロブロック、２，３の２つのマクロブロック、４，５の２つのマクロブロックでマクロブロック・ペアを構成している。以降、本発明の実施形態１では、抽出するブロックをマクロブロック・ペアに適用して説明する。
【００１６】
ブロック抽出部１０２は、フレームメモリ１０１にマクロブロック・ペアが抽出するだけ画像データが格納されたと判断した場合（Ｓ２１０“ＹＥＳ”）、マクロブロック・ペア単位で画像データを抽出し（Ｓ２２０）、第１のバッファ１０３へ出力する。なお、ここでは、ブロック抽出部１０２は、フレームメモリ１０１にマクロブロック・ペア分だけ画像データが格納された場合に、マクロブロック・ペア単位で画像データを抽出しているが、１フレーム分の画像データが格納されてからマクロブロック・ペア単位で画像データを抽出するようにしても勿論よい。第１のバッファ１０３は、ブロック抽出部１０２によって抽出された画像データを一時記憶する。
【００１７】
第１のバッファ１０３にバッファリングされたブロック画像データは、フレーム／フィールド変換部１０４ならびにフレーム／フィールド選択部１０７へ出力される。
【００１８】
フレーム／フィールド変換部１０４では、第１のバッファ１０３に格納されたマクロブロック・ペアの画像データを、図４（ｂ）に示すフレーム構造の並びから、図４（ｃ）に示すＴｏｐフィールド、Ｂｏｔｔｏｍフィールドそれぞれのフィールド構造に変換して（Ｓ２３０）、第２のバッファ１０５へ出力して記憶させる。
【００１９】
つまり、例えば、マクロブロック・ペアを抽出してバッファリングし、これをフィールド構造へと並び替える場合、図４（ｂ）に示す例のようにフレーム構造ではＴＯＰフィールドの画素、Ｂｏｔｔｏｍフィールドの画素が１ラインごとに交互に並んだ状態から、図４（ｃ）に示すように、ＴＯＰフィールドの画素のみ、Ｂｏｔｔｏｍフィールドの画素のみに分離したフィールドごとの並びに変換する。この並び替えによって第２のバッファ１０５上では、図４（ｃ）に示すように、フィールドごとに分離されて保持される。なお、図４（ｃ）に示すように、フィールド構造に変換された画像データの場合も、マクロブロック・ペアの先頭は、必ずＴＯＰフィールドとしている。
【００２０】
図５（ａ），（ｂ）は、１マクロブロック分のフレーム構造の画像データからフィールド構造の画像データへの変換を詳細に示す図である。
【００２１】
つまり、図５（ａ）に示すように、フレーム構造の画像データでは、輝度成分（Ｙ）は、１６画素ごとにＴＯＰフィールド、Ｂｏｔｔｏｍフィールドが切り替わる。また、色差成分（Ｃｂ,Ｃｒ）は、８画素ごとにＴＯＰフィールド、Ｂｏｔｔｏｍフィールドが切り替わる。その結果、画像データは、マクロブロック・ペアとして、輝度成分（Ｙ）は３６回切り替わり、色差成分（Ｃｂ,Ｃｒ）はそれぞれ１６回切り替わることになる。またマクロブロック・ペアの先頭は、必ずＴＯＰフィールドとしている。
【００２２】
そして、フレーム／フィールド変換部１０４は、図５（ａ）に示すようなフレーム構造の１マクロブロック分の画像データであるフレーム画像信号を、図５（ｂ）に示すようなフィールド構造の１マクロブロック分の画像データであるフィールド画像信号に並び替える。
【００２３】
つまり、フレーム／フィールド変換部１０４は、図５（ｂ）に示すように、フィールド構造の画像データでは、輝度成分（Ｙ）は、２５６（１６×１６）画素ごとに、色差成分（Ｃｂ,Ｃｒ）は、６４（８×８）画素ごとにＴＯＰフィールド、Ｂｏｔｔｏｍフィールドが切り替わることになる。なお、マクロブロック・ペアの先頭は、必ずＴＯＰフィールドである。
【００２４】
次に、フィールド間相関判定部１０６は、第２のバッファ１０５から画像データを入力し、Ｔｏｐフィールド、Ｂｏｔｔｏｍフィールドごとの特徴量を算出し、算出した双方の特徴量を使用してＴｏｐフィールド／Ｂｏｔｔｏｍフィールド間の相関を判定する（Ｓ２４０）。
【００２５】
ここで、各々のフィールドごとの特徴量とは、画像の複雑さを数値化により表す手法である。例えば、ブロック内の隣接画素について垂直方向のペア同士によるアクティビティの差分絶対値を求め、この差分絶対値のブロック内の総和で求める方法が挙げられる。また、各々のフィールドごとの特徴量として、他に、(1)ブロック内の画素の値の平均値と各画素の値の差分の絶対値和、(2)ブロック内の画素の値の平均値と各画素の値の差分の２乗和、(3)隣接画素との差分値の絶対値和、あるいは(4)ＤＣＴ変換係数の直流成分を除く係数の絶対値和、といった方法が存在する。本実施の形態では、以上のいずれかの方法を、マクロブロック・ペアをフィールドごとに２分したブロックに適応し、ブロックごとに特徴量を算出する。
【００２６】
フィールド間相関判定部１０６は、算出したＴＯＰフィールドの特徴量と、Ｂｏｔｔｏｍフィールドの特徴量との絶対差分をとり、これをフィールド間相関値として予め設定した閾値と比較し、フィールド間の相関を判定し、相関判定の結果を相関あり／相関なしに２値化して、フィールド間相関判定フラグとしてフレーム／フィールド選択部１０７、および符号化部１０８へ出力する。
【００２７】
フレーム／フィールド選択部１０７では、フィールド間相関判定部１０６から出力されたフィールド間相関判定フラグに従って、マクロブロック・ペアのフィールド間相関の有無を判断し（Ｓ２５０）、フィールド間相関ありと判断した場合は（Ｓ２５０“ＹＥＳ”）、フレーム構造で符号化した方が符号化効率が向上するので、第１のバッファ１０３に格納された、図４（ｂ）に示すようなフレーム構造の画像データを選択して符号化部１０８へ出力する（Ｓ２６０）。
【００２８】
これに対し、フレーム／フィールド選択部１０７は、フィールド間相関なしと判断した場合（Ｓ２５０“Ｎo”）、第２のバッファ１０５に格納された、図４（ｃ）に示すようなフィールド構造の画像データを選択して符号化部１０８へ出力する（Ｓ２８０）。
【００２９】
符号化部１０８では、フレーム／フィールド選択部１０７から入力された画像データを、フィールド間相関判定部１０６から入力されたフィールド間相関判定フラグに基づいて符号化を行う。
【００３０】
つまり、符号化部１０８は、フィールド間相関判定フラグがフィールド間相関ありの場合は（Ｓ２５０“ＹＥＳ”）、図４（ｂ）に示すようなフレーム構造のブロック画像データが入力されているので、フレーム符号化を行う一方（Ｓ２７０）、フィールド間相関判定フラグがフィールド間相関なしの場合（Ｓ２５０“ＹＥＳ”）、図４（ｃ）に示すようなフィールド構造のブロック画像データが入力されているので、フィールド符号化を行う（Ｓ２９０）。
【００３１】
すなわち、符号化部１０８に入力される画像データは、図４（ｂ）に示すようにフレーム構造の場合には、マクロブロック・ペアのそれぞれの画素データがフレーム構造として連なった画素データの並びに、一方、図４（ｃ）のようにフィールド構造の場合には、マクロブロック・ペアのそれぞれの画素データがフィールド構造としてフィールドに分割され、連なったデータとして入力される。これは、符号化部１０８にデータ転送する際に、一度の転送命令で符号化生成に必要なデータを転送されるからである。つまり、データ転送の際にデータ並び替えを組み合わせて行う必要がなく、データ転送時に生じるオーバヘッドを低減する。
【００３２】
このため、従来技術では、フレームメモリとは別のフィールドメモリに動画像データを２フィールド分蓄えて、フィールド符号化を行う際には、そこからマクロブロック単位で画像データを切り出し符号化するようにしていたが、本実施の形態１の動画像符号化装置によれば、フレーム構造の動画像データをマクロブロック単位で切り出して、第１のバッファ１０３にフレーム構造のマクロブロック単位の画像データを記憶し、切り出したマクロブロック単位の画像データをフィールドデータ化しながら第２のバッファ１０５にフィールド構造の画像データとして記憶するようにしたので、フィールド符号化を行う際は、第２のバッファ１０５に保存したフィールド構造の画像データに対して符号化することになる。
【００３３】
つまり、本実施の形態１の動画像符号化装置では、適応的にフレーム符号化／フィールド符号化を行う場合でも、フレームメモリとは別に、フィールドメモリを設ける必要がなくなり、メモリの容量を削減することができる。
【００３４】
従って、本実施の形態１の動画像符号化装置によれば、フィールド構造の画像データ記憶用のフィールドメモリをフィールドサイズ分用意する必要がなくなり、また、ブロック単位に切り出したフレーム構造の画像データもしくはフィールド構造の画像データをそのまま符号化に用いることが可能となるので、ピクチャ全体をいったんフィールド構造に直してバッファリングする処理時間を省いて時間を稼ぐことにより、符号化処理の時間を多くとることができる。
【００３５】
実施の形態２．
次に、本発明の実施形態２の動画像符号化装置について説明する。
【００３６】
図６は、本発明の実施形態２の動画像符号化装置の構成例を示すブロック図である。
【００３７】
図１に示す実施形態１の動画像符号化装置では、第２のバッファ１０５の出力をフィールド間相関判定部１０６の入力としていたが、図６に示す実施形態２の動画像符号化装置では、第１のバッファ１０３の出力をフィールド間相関判定部２０６の入力としており、それ以外の構成は、図１に示す実施形態１の動画像符号化装置と同じである。そのため、図１に示す実施形態１の動画像符号化装置と同一機能を有する構成要素には、同一符号を付して説明する。
【００３８】
つまり、本実施形態２の場合、フィールド間相関判定部２０６は、第２のバッファ１０５の出力であるフィールド構造のブロック画像を用いてフィールド間相関判定を行わず、第１のバッファ１０３の出力、すなわちフレーム構造のブロック画像データを用いてフィールド間相関判定を行う。
【００３９】
そのため、図１に示す実施形態１の動画像符号化装置では、第２のバッファ１０５を介してフィールド間相関判定部１０６をフレーム／フィールド変換部１０４の後段に設ける構成になるため、フレーム／フィールド変換処理の後にしかフィールド間相関判定を行えないでいたが、本実施形態２では、図６に示すように、フレーム／フィールド変換部１０４をフィールド間相関判定部１０６と並列に接続しているので、フレーム／フィールド変換処理と、フィールド間相関判定とを並列に実施することができる。これにより、例えばハードウェアでフレーム／フィールド変換処理と、フィールド間相関判定とを並列に実施する場合、両者の処理を順番に行わずに済むので処理時間の面で有利となる。
【００４０】
従って、本実施の形態２の動画像符号化装置によれば、実施形態１と同様に、フィールド構造の画像データ記憶用の第２のメモリ１０５をフィールドサイズ分用意する必要がなくなり、また、ブロック単位に切り出したフレーム構造の画像データもしくはフィールド構造の画像データをそのまま符号化に用いることが可能となるので、ピクチャ全体をいったんフィールド構造に直してバッファリングする処理時間を省いて時間を稼ぐことにより、符号化処理の時間を多くとることができる。
【００４１】
特に、本実施形態２では、フレーム／フィールド変換部１０４をフィールド間相関判定部１０６と並列に接続し、フレーム／フィールド変換処理とフィールド間相関判定とを並列に実施することができるので、両者の処理を順番に行わずに済み、実施形態１の場合よりも処理時間の面で高速化することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の動画像符号化装置の実施の形態２の構成例を示すブロック図である。
【図２】本装置の動作手順の一例を示すフローチャートである。
【図３】入力する画像データの一例を示す図である。
【図４】（ａ）〜（ｃ）、それぞれ、マクロブロック・ペアの並びの概念、フレーム構造、フィールド構造の画像信号を示す説明図である。
【図５】（ａ），（ｂ）、１マクロブロック分のフレーム構造の画像データと、フィールド構造の画像データへの変換を詳細に示す図である。
【図６】本発明の動画像符号化装置の実施の形態２の構成例を示すブロック図である。
【符号の説明】
【００４３】
１０１  フレームメモリ
１０２  ブロック抽出部
１０３  第１のバッファ
１０４  フレーム／フィールド変換部
１０５  第２のバッファ
１０６,２０６  フィールド間相関判定部
１０７  フレーム／フィールド選択部
１０８  符号化部
【図１】
2009278410.tif 000003
【図２】
2009278410.tif 000004
【図３】
2009278410.tif 000005
【図４】
2009278410.tif 000006
【図５】
2009278410.tif 000007
【図６】
2009278410.tif 000008