(57)【要約】【課題】フレームタイプとフィールドタイプを適応的に選択することにより、符号化の性能を改善することができる動画像符号化装置を提供する。【解決手段】遅延部１は、前処理部２の処理に要する時間だけ、入力画像ａを遅延する。前処理部２は、入力画像ａをフレーム単位で蓄積し、フィールドタイプとフレームタイプのいずれのタイプの符号化処理が性能改善を期待できるかを予測し、その予測結果をＪＰＥＧ２０００符号化部３へ通知する。スイッチング部３０は、前処理部２からフィールド信号が選択された時にはフィールド信号入力部３１を選択し、フレーム信号が選択された時にはフレーム信号入力部３２を選択する。前記前処理部２は、符号化効率の大小の比較を前記フレーム符号化およびフィールド符号化時の符号化対象データの特徴量、例えば画像信号の垂直相関係数および分散値の少なくとも一方を用いて行う。【選択図】        図１
2004266489.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内、フィールド内適応符号化処理を行う動画像符号化装置において、
入力画像をフレーム符号化またはフィールド符号化する符号化処理部と、
該符号化処理部に、フレーム符号化およびフィールド符号化のいずれの符号化方法を選択するかの指示を行う前処理部とを具備し、
該前処理部は、入力画像をフレーム単位で蓄積し、入力画像の符号化方法を、前記フレーム符号化およびフィールド符号化で符号化した場合の符号化効率の大小を比較し、その大きい方の符号化タイプに決定することを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置において、
前記符号化効率の大小の比較を前記フレーム符号化およびフィールド符号化時の符号化対象データの特徴量で行い、該特徴量として、画像信号の垂直相関係数および分散値の少なくとも一方を用いることを特徴とする動画像符号化装置。
【請求項３】
請求項２に記載の動画像符号化装置において、
前記画像信号の垂直相関係数および分散値は、画像信号の輝度信号の垂直相関係数および分散値であることを特徴とする動画像符号化装置。
【請求項４】
請求項２または３に記載の動画像符号化装置において、
前記フレーム符号化時とフィールド符号化時に発生するサイド情報の符号化ビット数を考慮に入れて前記符号化効率の大小の比較を行うことを特徴とする動画像符号化装置。
【請求項５】
請求項２に記載の動画像符号化装置において、
前記決定された符号化タイプの符号化のレート制御において、前記特徴量を基に、周波数成分毎のビット配分を行うことを特徴とする動画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は動画像符号化装置に関し、特に高精細静止画符号化方式の国際標準であるＪＰＥＧ２０００をテレビジョン信号系の動画像に適用する場合の動画像符号化装置に関する。
【０００２】
【従来の技術】
インタレース信号をＪＰＥＧ２０００で扱う場合、符号化タイプとしてフレームタイプとフィールドタイプのいずれかが選択可能である。一般に、符号化効率の高さから、フレームタイプが固定的に割り当てられている。
【０００３】
なお、本発明に関連する従来技術として、例えば２００１年画像符号化シンポジウム（ＰＣＳＪ２００１）、２００１年１１月発行、第７５〜７６頁「Ｐ−５．０２  Ｍｏｔｉｏｎ  ＪＰＥＧ２０００  におけるＶｉｓｕａｌ  ｗｅｉｇｈｔｉｎｇ  を用いた画質改善の検討」、および同第８３〜８４頁「Ｐ−５．０６  ＱＣＩＦ動画像符号化へのＪＰＥＧ２０００の効果的適用法」がある。
【０００４】
前者の論文は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００のデコード画像中に発生する符号化歪みの特徴を分析し、その歪みを低減するためのエンコード手法が提案され、また、ウェーブレット係数分布を分析し、Ｖｉｓｕａｌ  ｗｅｉｇｈｔｉｎｇの技術を用いることで、インタレース画像に対しても画質の改善を行うことが開示されている。
【０００５】
一方、後者の論文には、ＱＣＩＦ動画像をＪＰＥＧ２０００に基づいて効果的に符号化するための手法が開示され、また複数のフレームを１つの大きな画像とし、動画像の時間的相関を空間に適応することで、符号化効率を向上することが開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記フレームタイプでは、再生時刻が１フィールド間隔離れた２つのフィールドをマージし、一括して符号化処理を行うため、高速な動きを伴う素材に対しては、性能でフィールドタイプを下回る場合があるという問題があった。
【０００７】
本発明は前記した従来技術に鑑みてなされたものであり、その目的は、フレームタイプとフィールドタイプを適応的に選択することにより、符号化の性能を改善することができる動画像符号化装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、フレーム内、フィールド内適応符号化処理を行う動画像符号化装置において、入力画像をフレーム符号化またはフィールド符号化する符号化処理部と、該符号化処理部に、フレーム符号化およびフィールド符号化のいずれの符号化方法を選択するかの指示を行う前処理部とを具備し、該前処理部は、入力画像をフレーム単位で蓄積し、入力画像の符号化方法を、前記フレーム符号化およびフィールド符号化で符号化した場合の符号化効率の大小を比較し、その大きい方の符号化タイプに決定するようにした点に特徴がある。
【０００９】
この特徴によれば、符号化効率が大きくなるように、フレームタイプとフィールドタイプを適応的に選択できるようになる。
【００１０】
また、本発明は、前記決定された符号化タイプの符号化のレート制御において、前記特徴量を基に、周波数成分毎のビット配分を行うようにした点に他の特徴がある。
【００１１】
この特徴によれば、符号化タイプの適応的選択による符号化効率の向上に加えて、レート制御による符号化効率の向上をも図ることができるようになる。
【００１２】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は本発明の一実施形態の構成を示すブロック図である。
【００１３】
入力画像ａは、遅延部１と前処理部２に入力する。該遅延部１は、該前処理部２の処理に要する時間だけ、入力画像ａを遅延する。一方、前処理部２は、入力画像をフレーム単位で蓄積し、図２に関して後述するように、フィールドタイプとフレームタイプのいずれのタイプの符号化処理が性能改善を期待できるかを予測し、その予測結果をＪＰＥＧ２０００符号化部３へ通知する。
【００１４】
該ＪＰＥＧ２０００符号化部３は、スイッチング部３０、遅延部１からフィールド信号を読み込むフィールド信号入力部３１、遅延部１からフレーム信号を読み込むフレーム信号入力部３２、ウェーブレット変換部３３，３４、２値算術符号化部３５、およびレート制御部３６から構成されている。該ＪＰＥＧ２０００符号化部３は、前記前処理部２からの指示に従ってスイッチング部３０を切り替え、フィールド信号入力部３１の系列またはフレーム信号入力部３２の系列を選択する。なお、ウェーブレット変換部３３，３４、２値算術符号化部３５、およびレート制御部３６は、ＪＰＥＧ２０００符号化装置が有する周知の構成であるので、詳細な説明は省略する。
【００１５】
次に、前記前処理部２の動作を図２のフローチャートを参照して説明する。ステップＳ１では、１フレーム分の入力画像ａを取得する。ステップＳ２では、該１フレーム分の入力画像ａから、フレーム処理の場合の特徴量Ｃｖｒとフィールド処理の場合の特徴量Ｃｖｉを、例えば下記の（１）式、（２）式から算出する。
【００１６】
【数１】
2004266489.tif 000003
【００１７】
ここに、Ｉ（ｘ，ｙ）は（ｘ，ｙ）位置における画素の輝度信号、Ｎｘ、Ｎｙはそれぞれｘ、ｙ方向の画素数を示す。したがって、Ｃｖｒはフレーム信号の輝度信号の垂直相関、Ｃｖｉはフィールド信号の輝度信号の垂直相関を示す。
【００１８】
ステップＳ３では、下記の（３）式の条件が満たされるか否かを判断する。
Ｃｖｉ＞Ｗｒ×Ｃｖｒ  ・・・（３）
ここに、Ｗｒは重み係数であり、Ｗｒ＞１である。これは、符号化データの伝送には、フィールドおよびフレームのそれぞれにサイド情報すなわちヘッダが付けられ、フィールドタイプの符号化データの伝送にはフレームタイプの符号化データの伝送に比べて、ほぼ２倍のヘッダ情報符号化ビット量を必要とするからである。
【００１９】
図２のステップＳ３の判断が肯定の場合には、フィールドタイプの特徴量がフレームタイプのそれよりも大きい、すなわち垂直相関が大きく符号化時の符号量が少ないと考えられるから、ステップＳ４に進んで、フィールドタイプの通知が行われる。一方、ステップＳ３の判断が否定の時には、ステップＳ５に進んで、フレームタイプの通知がなされる。
【００２０】
フィールドタイプの通知がなされると、図１のスイッチング部３０はフィールド信号入力部３１を選択し、一方フレームタイプの通知がなされると、スイッチング部３０はフレーム信号入力部３２を選択する。
【００２１】
フィールドタイプが選択された場合には、入力画像のフィールド信号がウェーブレット変換部３３で変換され、２値算術符号化部３５，レート制御部３６を経て、出力される。遅延部１には、フィールド信号が２フィールド分蓄積されているため、以上の処理を第１フィールド、第２フィールドに対して順次行う。一方、フレームタイプが選択された場合には、入力画像のフレーム信号がウェーブレット変換部３４で変換され、２値算術符号化部３５，レート制御部３６を経て、符号化データとして出力される。
【００２２】
なお、該実施形態では、ステップＳ２の特徴量を画像信号の垂直相関係数としたが、本発明はこれに限定されず、画像信号の分散値を用いてもよい。この場合、分散値の小さい方の符号化タイプを選択する。
【００２３】
図３は、本実施形態の性能評価の結果、すなわちテスト画像“Ｗｈａｌｅ  ｓｈｏｗ”に対して取得したＰＳＮＲを示す。横軸はフレーム番号である。図３から、本実施形態によれば、フレームタイプおよびフィールドタイプを固定的に割り当てた場合に比べて、高いＰＳＮＲゲインが得られることが確認された。
【００２４】
次に、本発明の第２実施形態を、図４に示す。この実施形態は、前処理部２で選択した符号化タイプの特徴量、例えば垂直相関をレート制御部３６に送り、周波数成分毎のビット配分に反映させるようにしたものである。例えば、垂直相関が大きければ垂直成分のビット配分を小さく、逆に垂直相関が小さければ垂直成分のビット配分を大きくする。１枚の画像に割り当てられている符号化ビット量は一定であるので、上記のようにビット配分を適応的に行うことにより、符号化効率の向上を図ることができる。
【００２５】
【発明の効果】
以上の説明から明らかなように、請求項１〜４の発明によれば、符号化効率が大きくなるように、フレームタイプとフィールドタイプを適応的に選択できるので、符号化効率の向上を図ることができる。
【００２６】
また、請求項５の発明によれば、前記請求項１〜４の発明の効果に加えて、レート制御による符号化効率の向上をも図ることができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１の前処理部の動作を示すフローチャートである。
【図３】本発明の効果の説明図である。
【図４】本発明の第２実施形態の構成を示すブロック図である。
【符号の説明】
１・・・遅延部、２・・・前処理部、３・・・ＪＰＥＧ２０００符号化部、３０・・・スイッチング部、３１・・・フィールド信号入力部、３２・・・フレーム信号入力部、３３，３４・・・ウェーブレット変換部、３５・・・２値算術符号化部、３６・・・レート制御部。
【図１】
2004266489.tif 000004
【図２】
2004266489.tif 000005
【図３】
2004266489.tif 000006
【図４】
2004266489.tif 000007