(57)【特許請求の範囲】
【請求項１】
画像データを符号化する符号化装置であって、
上記画像データのフレームを構成する奇数フィールドの画素値の自乗累積値と偶数フィールドの画素値の自乗累積値との差分の絶対値が第１の閾値より小さいブロックの数が第２の閾値より小さい場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが異なるシーンの画像であると判定する分散値判定手段と、
上記奇数フィールドの画素値の直流成分と上記偶数フィールドの画素値の直流成分との差分の絶対値が第３の閾値より小さいブロックの数が第４の閾値より小さい場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが異なるシーンの画像であると判定する直流成分判定手段と、
上記分散値判定手段又は上記直流成分判定手段のうち少なくとも一方で異なるシーンの画像であると判定された場合に符号化モードとしてフィールドモードを選択して、上記画像データを符号化する符号化手段と
を有することを特徴とする、符号化装置。
【請求項２】
上記符号化手段は、選択した符号化モードを示すフラグを上記符号化手段により生成された符号化データに付加する、
請求項１に記載の符号化装置。
【請求項３】
上記画像データは、２−３プルダウン処理が施された画像データである、
請求項１に記載の符号化装置。
【請求項４】
画像データを符号化する符号化方法であって、
上記画像データのフレームを構成する奇数フィールドの画素値の自乗累積値と偶数フィールドの画素値の自乗累積値との差分の絶対値が第１の閾値より小さいブロックの数が第２の閾値より小さい場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが異なるシーンの画像であると判定する分散値判定工程と、
上記奇数フィールドの画素値の直流成分と上記偶数フィールドの画素値の直流成分との差分の絶対値が第３の閾値より小さいブロックの数が第４の閾値より小さい場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが異なるシーンの画像であると判定する直流成分判定工程と、
上記分散値判定工程又は上記直流成分判定工程のうち少なくとも一方で異なるシーンの画像であると判定された場合に符号化モードとしてフィールドモードを選択して、上記画像データを符号化する符号化工程と
を有することを特徴とする、符号化方法。
【請求項５】
画像データを符号化する符号化装置であって、
上記画像データのフレームを構成する奇数フィールドの画素値の自乗累積値と偶数フィールドの画素値の自乗累積値との差分の絶対値が第１の閾値より小さいブロックの数が第２の閾値以上である場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが同じシーンの画像であると判定する分散値判定手段と、
上記奇数フィールドの画素値の直流成分と上記偶数フィールドの画素値の直流成分との差分絶対値が第３の閾値より小さいブロックの数が第４の閾値以上である場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが同じシーンの画像であると判定する直流成分判定手段と、
上記分散値判定手段及び上記直流成分判定手段の双方で同じシーンの画像であると判定された場合に符号化モードとしてフレームモードを選択して、上記画像データを符号化する符号化手段と
を有することを特徴とする、符号化装置。
【請求項６】
画像データを符号化する符号化方法であって、
上記画像データのフレームを構成する奇数フィールドの画素値の自乗累積値と偶数フィールドの画素値の自乗累積値との差分の絶対値が第１の閾値より小さいブロックの数が第２の閾値以上である場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが同じシーンの画像であると判定する分散値判定工程と、
上記奇数フィールドの画素値の直流成分と上記偶数フィールドの画素値の直流成分との差分絶対値が第３の閾値より小さいブロックの数が第４の閾値以上である場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが同じシーンの画像であると判定する直流成分判定工程と、
上記分散値判定工程及び上記直流成分判定工程の双方で同じシーンの画像であると判定された場合に符号化モードとしてフレームモードを選択して、上記画像データを符号化する符号化工程と
を有することを特徴とする、符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオ信号を効率良く符号化できる符号化装置及びその方法に関する。
【０００２】
【従来の技術】
動画像の走査方式であるインタレース方式では、各画像は、奇数フィールドと偶数フィールドとで１フレームを構成している。各フィールドは、異なった時間にサンプリングされたもので、フィールドを効率良く符号化するには、画像をフレームとしてのみ符号化するのではなく、フィールドとしても符号化する必要がある。
ＭＰＥＧ(Moving Picture Experts Group)では、画像をピクチャ（１枚の画面）という単位で扱うが、ＭＰＥＧ２では、このピクチャにフレームを割り当てることもフィールドを割り当てることもできる。前者をフレームモードと呼び、後者をフィールドモードと呼ぶ。
また、一つの画像シーケンスの中で、フレームモードとフィールドモードとが混在しても構わないし、どちらか一方のモードだけで符号化しても良い。
【０００３】
さらに、従来の符号化（画像圧縮）技術では、１フレーム内に、フレームモードのブロックとフィールドモードのブロックとが共存できるようになっている。そのため、図７に示すように、各ブロック（マクロブロック）毎に、そのモードを示すためのフラグが付されている。但し、実際には、フレームモードの方が画像に存在する相関関係を効率的に利用して高い圧縮率を得ることができるため、画像圧縮の殆どがフレームモードで行われ、シーンチェンジを伴う２−３プルダウンなどごく限られた場合にのみフィールドモードが採用される。尚、図７示す各マクロブロックは、ＶＬＣ(Variable Length Code:可変長符号）化されている。
【０００４】
ここで、２−３プルダウンについて簡単に述べる。図８に示すように、２−３プルダウンは、毎秒２４コマの映画素材を毎秒３０フレーム（＝６０フィールド）に変換する技術である。映画の１コマ、１コマを２フィールド、３フィールド、２フィールド、３フィールド…とすることによりＴＶ信号に変換する。
【０００５】
【発明が解決しようとする課題】
ところで、図８に示すようなパターンで２−３プルダウンを行った場合、★印が付されたフレームは異なるコマから構成されており、映画の編集においてこのコマの間でシーンチェンジがあった場合には異なるシーンのフィールドからなるフレームが構成されてしまう。このような場合には、前述したフィールドモードの圧縮を行うべきである。
しかしながら、従来では、図７に示すように、各ブロック毎に、そのモードを示すためのフラグが付されており、図８に示す★印の付されたフレーム内に、フレームモードを示すブロックが存在する可能性が高い。このようなフレームのブロックをフレームモードで圧縮（符号化）すると、フィールド間に相関性が無いことから、適切な圧縮処理を行うことができないという問題がある。
【０００６】
本発明は上述した従来技術に鑑みてなされ、ビデオ信号を効率良く適切に符号化（圧縮）できる符号化装置及びその方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明によれば、画像データを符号化する符号化装置であって、
上記画像データのフレームを構成する奇数フィールドの画素値の自乗累積値と偶数フィールドの画素値の自乗累積値との差分の絶対値が第１の閾値より小さいブロックの数が第２の閾値より小さい場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが異なるシーンの画像であると判定する分散値判定手段と、上記奇数フィールドの画素値の直流成分と上記偶数フィールドの画素値の直流成分との差分の絶対値が第３の閾値より小さいブロックの数が第４の閾値より小さい場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが異なるシーンの画像であると判定する直流成分判定手段と、上記分散値判定手段又は上記直流成分判定手段のうち少なくとも一方で異なるシーンの画像であると判定された場合に符号化モードとしてフィールドモードを選択して、上記画像データを符号化する符号化手段とを有することを特徴とする、符号化装置が提供される。
また本発明によれば、画像データを符号化する符号化方法であって、
上記画像データのフレームを構成する奇数フィールドの画素値の自乗累積値と偶数フィールドの画素値の自乗累積値との差分の絶対値が第１の閾値より小さいブロックの数が第２の閾値より小さい場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが異なるシーンの画像であると判定する分散値判定工程と、上記奇数フィールドの画素値の直流成分と上記偶数フィールドの画素値の直流成分との差分の絶対値が第３の閾値より小さいブロックの数が第４の閾値より小さい場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが異なるシーンの画像であると判定する直流成分判定工程と、上記分散値判定工程又は上記直流成分判定工程のうち少なくとも一方で異なるシーンの画像であると判定された場合に符号化モードとしてフィールドモードを選択して、上記画像データを符号化する符号化工程とを有することを特徴とする、符号化方法が提供される。
【０００８】
本発明によれば、画像データを符号化する符号化装置であって、
上記画像データのフレームを構成する奇数フィールドの画素値の自乗累積値と偶数フィールドの画素値の自乗累積値との差分の絶対値が第１の閾値より小さいブロックの数が第２の閾値以上である場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが同じシーンの画像であると判定する分散値判定手段と、上記奇数フィールドの画素値の直流成分と上記偶数フィールドの画素値の直流成分との差分絶対値が第３の閾値より小さいブロックの数が第４の閾値以上である場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが同じシーンの画像であると判定する直流成分判定手段と、上記分散値判定手段及び上記直流成分判定手段の双方で同じシーンの画像であると判定された場合に符号化モードとしてフレームモードを選択して、上記画像データを符号化する符号化手段とを有することを特徴とする、符号化装置が提供される。
また本発明によれば、画像データを符号化する符号化方法であって、
上記画像データのフレームを構成する奇数フィールドの画素値の自乗累積値と偶数フィールドの画素値の自乗累積値との差分の絶対値が第１の閾値より小さいブロックの数が第２の閾値以上である場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが同じシーンの画像であると判定する分散値判定工程と、上記奇数フィールドの画素値の直流成分と上記偶数フィールドの画素値の直流成分との差分絶対値が第３の閾値より小さいブロックの数が第４の閾値以上である場合に、上記奇数フィールドの画像と上記偶数フィールドの画像とが同じシーンの画像であると判定する直流成分判定工程と、上記分散値判定工程及び上記直流成分判定工程の双方で同じシーンの画像であると判定された場合に符号化モードとしてフレームモードを選択して、上記画像データを符号化する符号化工程とを有することを特徴とする、符号化方法が提供される。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態に係わる画像データ符号化装置およびその方法について説明する。
本実施形態では、画像圧縮（符号化）を行う際に、フレーム毎にフィールドモードとフレームモードとを切り替える。これにより、モードを示すフラグもフレームごとに１ビット付される。
すなわち、本実施形態では、フレーム全体でフィールドモードおよびフレームモードのいずれであるかを決定することにより、フレームに含まれる全てのマクロブロックを同じモードで処理し、そのモードを示すフラグを１ビットだけ伝送する。
【００１０】
図１は、本実施形態に係わる画像データ符号化装置１００の構成図である。
図１に示すように、画像データ符号化装置１００は、判定回路１０１および画像圧縮符号化回路１０２を有する。
【００１１】
図２は、図１に示す画像データ符号化装置１００における処理を示すフローチャートである。
図２に示すように、図１に示す判定回路１０１に画像データＳ９９が入力されると、判定回路１０１において、画像データＳ９９が、図３に示すようなＭ×ＬのＮ個のブロックデータに分割される（Ｓ１）。
次に、この分割されたブロックデータ内の奇数フィールドと偶数フィールドとについて、それぞれ直流（ＤＣ）成分および分散が求められ、この求めた値が閾値以下であるかが判断される。そして、この求めた値が閾値以下であると判断された場合にはカウントアップされ、この処理が１フレーム内に含まれる全てのブロックデータについて行われる（Ｓ２）。
【００１２】
次に、判定回路１０１において、この１フレーム分のカウント値が閾値以上である場合にはフレームモードと判定され、そうでない場合にはフィールドモードと判定される（Ｓ３）。
【００１３】
次に、判定回路１０１から、この決定したモードＳ１０１が画像圧縮符号化回路１０２に出力される（Ｓ４）。
そして、画像圧縮符号化回路１０２において、入力された画像データＳ９９の各ブロックデータが、入力したモードＳ１０１に応じたモードで符号化され、その符号化されたデータにモードフラグが付加され、フレームデータが作成される（Ｓ５）。
画像圧縮符号化回路１０２から出力されるフレームデータは、図４に示すように、１フレームデータの先頭に例えば１ビットのモードフラグ領域が備えてある。
【００１４】
以下、図１に示す判定回路１０１について詳細に説明する。
図５は判定回路１０１の構成図、図６は判定回路１０１における処理のタイミングチャートである。
図５に示すように、判定回路１０１は、分散処理部３０、直流成分処理部３１およびＡＮＤ回路２６を有する。
先ず、分散処理部３０について説明する。
分散処理部３０は、乗算回路１、加算回路２、レジスタ３−１〜３−ｎ、レジスタ４−１〜４−ｎ、スイッチ５，６，７、減算回路８、絶対値回路９、比較回路１０、加算回路１１、レジスタ１２および比較回路１３を有する。
【００１５】
また、図６において、（Ａ）は画像データＳ９９、（Ｂ）はＣＬＲ信号、（Ｃ）はＥＮ１−１信号、（Ｄ）はＥＮ１−２信号、（Ｅ）はＥＮ１−ｋ信号、（Ｆ）はＥＮ１−ｋ＋１信号、（Ｇ）はＥＮ１−ｋ×２信号、（Ｈ）はＥＮ１−ｎ信号、（Ｉ）はＥＮ２−１信号、（Ｊ）はＥＮ２−２信号、（Ｋ）はＥＮ２−ｋ信号、（Ｌ）はＥＮ２−ｋ＋１信号、（Ｍ）はＥＮ２−ｋ×２信号、（Ｎ）はＥＮ２−ｎ信号、（Ｏ）はＢＳＥＬ信号、（Ｐ）はＦＬＤ信号、（Ｑ）はＥＮ３信号の波形図である。尚、ｋは所定の整数である。
【００１６】
レジスタ３−１〜３−ｎは、ＣＬＲ信号がハイレベルになると記憶内容をクリアし、それぞれＥＮ１−１〜ＥＮ１−ｎ信号を入力すると乗算回路１からの乗算結果または加算回路２からの加算結果Ｓ２を記憶する。
レジスタ４−１〜４−ｎは、ＣＬＲ信号がハイレベルになると記憶内容をクリアし、それぞれＥＮ２−１〜ＥＮ２−ｎ信号を入力すると乗算回路１からの乗算結果または加算回路２からの加算結果Ｓ２を記憶する。
【００１７】
以下、図５および図６を参照しながら、判定回路１０１の分散処理部３０における処理を説明する。
画像データ９９が分散処理部３０に入力されると、先ず、乗算回路１において、画像データＳ９９の画素値の自乗が求められる。。
また、図６（Ｂ）に示すＣＬＲ信号によって、レジスタ３−１〜３−ｎおよびレジスタ４−１〜４−ｎに記憶されたデータが初期化（クリア）される。
次に、図６（Ｃ）〜（Ｎ）に示されるＥＮ１−１〜１−ｎ信号およびＥＮ２−１〜２−ｎ信号に応じたタイミングで、レジスタ３−１〜３−ｎおよびレジスタ４−１〜４−ｎのそれぞれに、１フレームに含まれるブロックデータの画素値の自乗値が順次に記憶される。
このとき、図６（Ｃ）〜（Ｈ）に示すように、ＥＮ１−１〜１−ｎ信号は、画像データＳ９９に含まれる奇数フィールドを構成する各ブロックデータが入力されるタイミングで、順次に、それぞれ一定期間だけハイレベルになる信号である。
【００１８】
また、図６（Ｉ）〜（Ｎ）に示すように、ＥＮ２−１〜２−ｎ信号は、画像データＳ９９に含まれる偶数フィールドを構成する各ブロックデータが入力されるタイミングで、順次に、それぞれ一定期間だけハイレベルになる信号である。
ＥＮ１−１〜１−ｎ信号によって、画像データ９９に含まれる１フレームの奇数フィールドを構成するｎ個のブロックの画素値の自乗値が、それぞれｎ個のレジスタ３−１〜３−ｎに順次に記憶される。
【００１９】
また、ＥＮ２−１〜２−ｎ信号によって、画像データ９９に含まれる１フレームの偶数フィールドを構成するｎ個のブロックの画素値の自乗値が、それぞれｎ個のレジスタ４−１〜４−ｎに順次に記憶される。
このとき、図６（Ｏ）に示されるＢＳＥＬ信号に基づいて、ブロックの切り換わりのタイミングで、スイッチ５がレジスタ３−１〜３−ｎに順次に切り換わって接続される。また、スイッチ７は、ＦＬＤ信号に基づいて、偶数フィールドのデータが入力されているときにはスイッチ５側に接続し、奇数フィールドのデータが入力されているときには、スイッチ６側に接続する。
【００２０】
具体的には、図６（Ａ）に示す奇数フィールドのブロックｋ（ｋは１〜ｎの整数）を入力しているときには、スイッチ５はレジスタ３−ｋと接続され、スイッチ７はスイッチ５側に接続される。これによって、加算回路２、レジスタ３−ｋ、スイッチ５およびスイッチ７によって、累算回路が構成される。
すなわち、有効画枠データである１フレーム分のブロックデータが入力された後には、レジスタ３−１〜３−ｎおよびレジスタ４−１〜４−ｎには、それぞれ対応するブロックデータについての画素値の自乗の累積値が記憶される。
【００２１】
次に、スイッチ５およびスイッチ６が、連動してそれぞれレジスタ３−１〜３−ｎおよびレジスタ４−１〜４−ｎに順次に切り換わる。これによって、奇数フィールドおよび偶数フィールドの相互に対応したブロックデータの画素値の自乗の累積値が、減算回路８に出力される。そして、減算回路８において、これらの累積値の差分が算出され、その差分結果Ｓ８が絶対値回路９に出力される。
【００２２】
次に、この差分結果Ｓ８が絶対値回路９に出力され、その絶対値Ｓ９が比較回路１０に出力される。そして、比較回路１０において、絶対値Ｓ９と所定の閾値Ｔｈ１とが比較され、絶対値Ｓ９の方が小さければ「１」を示し、そうでなければ「０」を示す比較結果Ｓ１０が加算回路１１に出力される。
【００２３】
この比較結果Ｓ１０は、レジスタ１２の記憶結果と加算されてレジスタ１２に記憶され、レジスタ１２には、最終的に、１フレームに含まれる全てのブロックデータについての比較結果の累積値が記憶される。尚、レジスタ１２の累積結果も、ＣＬＲ信号によって初期化される。
【００２４】
１フレームの全てのブロックデータについての比較結果の累積値がレジスタ１２に記憶されると、その累積値Ｓ１２が比較回路１３に出力される。そして、比較回路１３において、この累積値Ｓ１３と所定の閾値Ｔｈ２とが比較され、累積値Ｓ１３が閾値Ｔｈ２より大きければ「１」を示し、そうでなければ「０」を示す比較結果Ｓ１３がＡＮＤ回路２６に出力される。
ここで、累積値Ｓ１３が閾値Ｔｈ２より大きいことは、奇数フィールドと偶数フィールドとの画像が略等しいことを意味し、これらのフィールド間ではシーンチェンジが無いと判断される。
すなわち、分散処理部３０では、奇数フィールドと偶数フィールドとが異なるシーンである場合には「０」を示し、同一のシーンである場合には「１」を示す比較結果Ｓ１３がＡＮＤ回路２６に出力される。
以上説明したように、分散処理部３０では、奇数フィールドと偶数フィールドとの画素値の分散値の大きさを基準にして、奇数フィールドと偶数フィールドとが異なるシーンの画像であるか否かを判断する。
【００２５】
次に、直流成分処理部３１における処理について説明する。
直流成分処理部３１は、乗算回路１に対応する乗算回路が存在しないことを除いて、分散処理部３０と同じ構成をしている。
すなわち、直流成分処理部３１では、奇数フィールドと偶数フィールドとの画素値の直流成分を基準として、奇数フィールドと偶数フィールドとが異なるシーンの画像であるか否かを判断する。
直流成分処理部３１においても、奇数フィールドと偶数フィールドとが異なるシーンである場合には「０」を示し、同一のシーンである場合には「１」を示す比較結果Ｓ２５がＡＮＤ回路２６に出力される。
【００２６】
次に、ＡＮＤ回路２６について説明する。
ＡＮＤ回路２６では、比較結果Ｓ１３と比較結果Ｓ２５とのＡＮＤ演算が行われ、その演算結果がモードＳ１０１として画像圧縮符号化回路１０２に出力される。すなわち、判定回路１０１では、分散処理部３０および直流成分処理部３１の双方において、奇数フィールドと偶数フィールドとが同一のシーンであると判断された場合のみ、フレームモードと判定する。
【００２７】
以上説明したように、本実施形態の画像データ符号化装置１００およびその方法によれば、１フレームを構成する奇数フィールドと偶数フィールドとが同一のシーンであるかを判定回路１０１を用いて判定することから、異なるシーンのフィールドをフレームモードで符号化することを回避でき、ビデオ信号を効率良く適切に符号化（圧縮）できる。
その結果、例えば、２−３プルダウンなどの処理を行った結果、１フレームを構成するフィールド画像が異なるシーンに関するものとなった場合には、フィールドモードによって、画像を効率的に適切に符号化できる。
【００２８】
本発明は上述した実施形態には限定されない。例えば、前述した実施形態では、図５に示す閾値Ｔｈ１〜Ｔｈ３を固定値のように扱っていたが、これらの閾値は外部から任意に設定できるようにしてもよい。
【００２９】
また、判定回路１０１において、分散値の代わりに、１次のノルムである絶対値総和を用いてもよい。
また、上述した実施形態では、画像データＳ９９を水平垂直方向に分割したブロックを単位として分散値および直流成分の算出処理を行う場合について例示したが、本発明は、画像データＳ９９を水平方向のみに分割したブロックや、垂直方向のみに分割したブロックを処理単位としてもよいし、画像データＳ９９の１フレーム分のデータ全体を処理単位としてもよい。
【００３０】
【発明の効果】
以上説明したように、本発明の符号化装置及びその方法によれば、ビデオ信号を効率良く適切に符号化（圧縮）できる。
例えば、２−３プルダウンなどの処理を行った結果、１フレームを構成するフィールド画像が異なるシーンに関するものとなった場合でも、画像を効率的に適切に符号化できる。
【図面の簡単な説明】
【図１】図１は、本発明の実施形態に係わる画像データ符号化装置の構成図である。
【図２】図２は、図１に示す画像データ符号化装置における処理を示すフローチャートである。
【図３】図３は、図１に示す判定回路におけるブロック分割処理を説明するための図である。
【図４】図４は、図１に示す画像データ符号化装置において生成される符号化データを説明するための図である。
【図５】図５は、図１に示す判定回路の構成図である。
【図６】図６は、図５に示す判定回路における処理のタイミングチャートである。
【図７】従来の画像データ符号化装置において生成される符号化データを説明するための図である。
【図８】２−３プルダウン処理を説明するための図である。
【符号の説明】
１００…画像データ符号化装置、１０１…判定回路、１０２…画像圧縮符号化回路、２６…ＡＮＤ回路、３０…分散処理部、３１…直流成分処理部
【図１】
0003867323.tif 000002
【図２】
0003867323.tif 000003
【図３】
0003867323.tif 000004
【図４】
0003867323.tif 000005
【図５】
0003867323.tif 000006
【図６】
0003867323.tif 000007
【図７】
0003867323.tif 000008
【図８】
0003867323.tif 000009