(57)【要約】【課題】１つの符号化装置のみを用いた２パス符号化方式において、実時間（リアルタイム）での符号化処理を実現可能とすること。【解決手段】入力される非圧縮画像データを一時記憶する画像メモリから、同一の非圧縮画像データを２回に分けて出力させて、これらを単一の圧縮符号化手段によってそれぞれ圧縮符号化するようにし、１回目の出力を用いた圧縮符号化手段による圧縮符号化処理の際には、圧縮符号化手段からの出力に基づいて最適符号化パラメータを算出すると共に、圧縮符号化手段で生成した符号化データを廃棄し、２回目の出力を用いた圧縮符号化手段による圧縮符号化処理の際には、圧縮符号化手段において、１回目の圧縮符号化処理により求めた最適符号化パラメータを用いた圧縮符号化処理を実行させると共に、この圧縮符号化処理により得られた符号化データを出力させる。【選択図】      図１
2004165903.tif 000002
【特許請求の範囲】
【請求項１】
入力される非圧縮画像データを一時記憶する画像メモリと、
この画像メモリの出力を圧縮符号化する圧縮符号化手段と、
この圧縮符号化手段の出力から単位時間当りの発生符号量を測定する発生符号量測定手段と、
この発生符号量測定手段の出力から最適符号化パラメータを算出して、これを前記圧縮符号化手段に出力する符号量割り当て手段と、
前記圧縮符号化手段からの符号化データをスルーさせるか廃棄するかを選択するセレクタ手段と、
装置内の各部を制御する制御手段とを、
具備し、
前記制御手段は、前記画像メモリから同一の非圧縮画像データを２回に分けて出力させ、前記画像メモリからの１回目の出力を用いた前記圧縮符号化手段による圧縮符号化処理の際には、前記セレクタ手段を廃棄側に切り換えて、前記圧縮符号化手段の出力より測定される発生符号量に基づき前記符号量割り当て手段において最適符号化パラメータを算出させ、前記画像メモリからの２回目の出力を用いた前記圧縮符号化手段による圧縮符号化処理の際には、前記セレクタ手段を出力スルー側に切り換えて、前記符号量割り当て手段から指示される最適符号化パラメータを用いて、前記圧縮符号化手段による圧縮符号化処理を実行させることを特徴とする画像データ符号化装置。
【請求項２】
請求項１記載において、
前記画像データ符号化装置は、自身のもつ実時間符号化可能な能力の１／２以下の低解像度で、１回の圧縮符号化処理を行うことを特徴とする画像データ符号化装置。
【請求項３】
入力される非圧縮画像データを一時記憶する画像メモリから、同一の非圧縮画像データを２回に分けて出力させて、これらを単一の圧縮符号化手段によってそれぞれ圧縮符号化するようにした画像データ符号化方法であって、
前記画像メモリからの１回目の出力を用いた前記圧縮符号化手段による圧縮符号化処理の際には、圧縮符号化手段からの出力に基づいて最適符号化パラメータを算出すると共に、圧縮符号化手段で生成した符号化データを廃棄し、
前記画像メモリからの２回目の出力を用いた前記圧縮符号化手段による圧縮符号化処理の際には、前記圧縮符号化手段において、前記１回目の圧縮符号化処理により求めた最適符号化パラメータを用いた圧縮符号化処理を実行させると共に、この圧縮符号化処理により得られた符号化データを出力させるようにしたことを特徴とする画像データ符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、非圧縮のデジタル画像データを符号化データに圧縮符号化する画像データ符号化装置および画像データ符号化方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ（Ｍｏｖｉｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）符号化方式を用いる画像データの符号化技術の分野においては、入力されてくる非圧縮の画像データ（非圧縮のデジタル画像データ）を第１のパスと第２のパスとに分けて、それぞれ画像データを量子化後に可変長符号化し、第１のパスでは第２のパスでの圧縮符号化に必要な情報を出力するようにした、２パス符号化方式が知られている（例えば、特許文献１参照）。
【０００３】
図２は、従来の２パス符号化方式をとる画像データ符号化装置の構成を示すブロック図である。図２において、５１は第１の符号化器、５２は発生符号量測定器、５３は遅延器、５４は第２の符号化器である。
【０００４】
図２に示す構成において、入力画像データは第１の符号化器５１と遅延器５３に入力される。第１の符号化器５１では、量子化ステップ幅を小さめに固定して、入力画像データの符号化（仮符号化）を行う。このように量子化ステップ幅を固定にして可変長符号化を行うと、符号化画像の複雑さや補償残差成分に応じて発生符号量が変化する。そこで、第１の符号化器５１で生成される符号化データの単位時間当たりの発生符号量を、発生符号量測定器５２で計測して、得られた発生符号量情報を第２の符号化器５４に入力する。なお、第１の符号化器５１で生成された符号化データは廃棄される。
【０００５】
遅延器５３では、第１の符号化器５１に入力される画像データを一定時間だけ遅延させて、第２の符号化器５４に出力する。第２の符号化器５４では、発生符号量測定器５２から入力される単位時間当りの発生符号量を基に、符号量の割り当てを行って、遅延器５３から入力される画像データの符号化（本符号化）を行う。
【０００６】
このような２パス符号化方式を採用すると、画像データの複雑さや補償残差成分に応じた好適な圧縮符号化処理を実現できる。
【０００７】
【特許文献１】
特開平１０−６６０６８号公報
【０００８】
【発明が解決しようとする課題】
１つの符号化器で２パス方式の符号化を行うと、同じ入力画像データに対して同様な圧縮符号化処理を２回施す必要があるため、実時間（リアルタイム）処理が困難になる。このため、従来の２パス符号化方式では、例えば図２に示すように、２個の符号化器を使用する構成をとるのが一般的であるが、このように２個の符号化器を用いると、回路規模が増大してコストアップにつながる。
【０００９】
また、図２の第１の符号化器５１の代わりに、入力画像の複雑度等の特徴量を抽出する画像特徴量抽出器を置き、得られた特徴量に従い、符号化時の符号量割り当てを行う手法も知られているが、この場合にも、やはり符号化器の他に統計量抽出器が必要となり、回路規模が増大してコストアップにつながる。
【００１０】
本発明は上記の点に鑑みなされたもので、その目的とするところは、１つの符号化器（符号化装置）のみを用いた２パス符号化方式において、実時間（リアルタイム）での符号化処理を、実現可能とすることにある。
【００１１】
【課題を解決するための手段】
本発明は上記した目的を達成するために、入力されてくる非圧縮画像データを一時記憶する画像メモリから、同一の非圧縮画像データを２回に分けて出力させて、これらを単一の圧縮符号化手段によってそれぞれ圧縮符号化するようにし、
画像メモリからの１回目の出力を用いた圧縮符号化手段による圧縮符号化処理の際には、圧縮符号化手段からの出力に基づいて最適符号化パラメータを算出すると共に、圧縮符号化手段で生成した符号化データを廃棄し、
画像メモリからの２回目の出力を用いた圧縮符号化手段による圧縮符号化処理の際には、圧縮符号化手段において、１回目の圧縮符号化処理により求めた最適符号化パラメータを用いた圧縮符号化処理を実行させると共に、この圧縮符号化処理により得られた符号化データを出力させるようにする。
【００１２】
このようにすることにより、画像データ符号化装置を構成する符号化器が、例えば画像サイズ７０４×４８０（フルＤ１サイズ）等の高解像度の符号化処理を実時間（リアルタイム）に行うことができる能力を持つものであるならば、前記高解像度時に要する画像１枚当たりの処理時間で、画像サイズ３５２×４８０（１／２Ｄ１サイズ）程度の低解像度の符号化（圧縮符号化）処理を、２回行わせることが可能になる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を用いて説明する。図１は、本発明の一実施形態に係る画像データ符号化装置の構成を示すブロック図である。
【００１４】
図１において、１はコントローラ、２はスイッチ、３は並び替え画像メモリ、４は減算器、５は離散コサイン変換器、６は量子化器、７は可変長符号化器、８は発生符号量測定器、９は符号量割り当て部、１０はセレクタ、１１はセレクタ、１２は逆量子化器、１３は逆離散コサイン変換器、１４は加算器、１５は予測画像メモリ、１６は動き補償回路、１７はスイッチ、１８は画像メモリである。
【００１５】
図１に示す構成において、コントローラ１は装置全体の制御を司り、スイッチ２、１７のオン／オフ制御や、セレクタ１０、１１の出力切り換え制御や、メモリの出力制御や、その他の各部の動作制御などを行う。
【００１６】
符号化順に並び替えられた１枚分の入力画像データ（非圧縮の入力デジタル画像データ）は、コントローラ１によってスイッチ２がオンされている間に、並び替え画像メモリ３に取り込まれて、一時記憶される。この並び替え画像メモリ３に保持された入力画像データは、同一の入力画像データが２回連続して圧縮符号化処理されるように、コントローラ１によって制御される。この２回分の圧縮符号化処理が完了するまでは、コントローラ１によってスイッチ２はオフされる。
【００１７】
並び替え画像メモリ３から１回目に出力される入力画像データを圧縮符号化する際（仮符号化する際）には、コントローラ１は、セレクタ１０およびセレクタ１１をデータ廃棄側に切り換え、スイッチ１７をオン（データスルー状態）に切り換え、また、量子化器６の量子化ステップ幅を所定の固定値に設定する。そして、減算器４により並び替え画像メモリ３から出力される入力画像データと、動き補償回路１６の出力を保持した画像メモリ１８からの出力との差分をとり、減算器４の出力する差分値を離散コサイン変換器５で離散コサイン変換し、量子化器６で量子化した後、可変長符号化器７で可変長符号化処理して、符号化データ（圧縮符号化データ）を生成する。生成された符号化データは発生符号量測定器８に出力され、発生符号量測定器８において、可変長符号化器７で生成された発生符号化量が測定されて、この測定結果が符号量割り当て部９に出力される。符号量割り当て部９では、仮符号化で得た入力画像データの符号化量から、入力画像データの難易度を判断し、ターゲットの入力画像データの符号発生量を考慮しつつ、２回目の圧縮符号化（本符号化）に必要な量子化ステップ幅を算出する。
【００１８】
なお、この仮符号化の際には、可変長符号化器７で生成された符号化データ（圧縮符号化データ）はセレクタ１０によって廃棄され、また、量子化器６で量子化された量子化データは、公知の動き補償ループに出力されないように、セレクタ１１によって廃棄される。
【００１９】
また、この仮符号化の際には、動き補償回路１６は、予測画像メモリ１５からの出力データに対して、図示せぬ動き検出器から出力される動きベクトルに基づく動き補償処理を行って処理結果を、スイッチ１７を経由して画像メモリ１８、減算器４に出力する。画像メモリ１８はスイッチ１７がオンされている間に、前記、処理結果を取り込み、一時記憶する。
【００２０】
並び替え画像メモリ３から２回目に出力される入力画像データを圧縮符号化する際（本符号化する際）には、コントローラ１は、セレクタ１０およびセレクタ１１を出力スルー側に切り換え、スイッチ１７をオフ（データ非スルー状態）に切り換え、また、量子化器６の量子化ステップ幅を、先の仮符号化の際に符号量割り当て部９で算出した適応値に設定する。
【００２１】
この本符号化の際には、画像メモリ１８からの出力データ、即ち、仮符号化する際に保持した動き補償回路１６の出力データと、並び替え画像メモリ３から出力される入力画像データとの差分をとって、離散コサイン変換器５に出力する。離散コサイン変換器５では、減算器４からの出力データを離散コサイン変換し、量子化器６に出力する。量子化器６では、前記のように算出された量子化ステップ幅で、離散コサイン変換器５からの出力データを量子化した後、この量子化データを可変長符号化器７および逆量子化器１２に出力する。可変長符号化器７は、量子化データを可変長符号化し、この可変長符号化処理の結果として得られた符号化データ（圧縮符号化データ）は、セレクタ１０から出力される。
【００２２】
逆量子化器１２は量子化データを逆量子化し、この逆量子化データは逆離散コサイン変換器１３で逆離散コサイン変換されて、加算器１４に出力される。加算器１４は、動き補償回路１６からの出力データと逆離散コサイン変換器１３の出力データとを加算して、予測画像メモリ１５に出力し、動き補償回路１６は、予測画像メモリ１５からの出力データに対して、図示せぬ動き検出器から出力される動きベクトルに基づく動き補償処理を行い処理結果を、加算器１４に出力する。本符号化時においては、スイッチ１７がオフ（データ非スルー状態）であるため、前記、動き補償回路１６からの出力データは画像メモリ１８へ出力されない。
【００２３】
上述したような仮符号化、本符号化を１枚の入力画像データ毎に繰り返すことで、動画像の符号化が行われることになる。
【００２４】
ここで、本実施形態では、画像データ符号化装置が、例えば画像サイズ７０４×４８０（フルＤ１サイズ）を実時間符号化できる能力をもつものであると想定すると、仮符号化および本符号化を、それぞれ画像サイズ３５２×４８０（１／２Ｄ１サイズ）程度以下の低解像度で行うようにしており、これにより、１つの符号化装置（符号化器）で同一の画像データに対して２回エンコード（符号化）を行う２パス方式を採用しても、実時間（リアルタイム）処理が可能なようにしている。つまり、符号化装置（符号化器）で符号化処理にかかる時間は画像サイズにほぼ比例するので、例えばフルＤ１サイズで実時間符号化できる能力があれば、ハーフＤ１サイズで符号化を行うと、単位時間当りにフルＤ１サイズで符号化できる画素数に対して、２倍の画素数を処理できることとなり、これにより、実時間での２パス方式の符号化処理を実現するようにしている。
【００２５】
【発明の効果】
以上のように本発明によれば、符号化装置の持つ能力の半分程度の低解像度での符号化ではあるが、１つの符号化装置のみを用いた２パス方式の符号化処理において、実時間（リアルタイム）での処理が可能となり、以って、回路規模を増大させることがない、コストパフォーマンスに優れた２パス符号化方式を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像データ符号化装置の構成を示すブロック図である。
【図２】従来２パス符号化方式をとる画像データ符号化装置の構成を示すブロック図である。
【符号の説明】
１  コントローラ
２  スイッチ
３  並び替え画像メモリ
４  減算器
５  離散コサイン変換器
６  量子化器
７  可変長符号化器
８  発生符号量測定器
９  符号量割り当て部
１０  セレクタ
１１  セレクタ
１２  逆量子化器
１３  逆離散コサイン変換器
１４  加算器
１５  予測画像メモリ
１６  動き補償回路
１７  スイッチ
１８  画像メモリ
【図１】
2004165903.tif 000003
【図２】
2004165903.tif 000004