(57)【要約】【課題】画質の劣化を抑えつつ映像信号を圧縮符号化可能な画像処理装置および方法を提供する。【解決手段】画像処理装置は、画像復号部１と、符号化難易度算出部２と、符号化難易度補正部３と、発生符号量制御部４と、画像符号化部５とを備えている。画像処理装置内に符号化難易度補正部３を設け、入力映像信号を復号した信号を圧縮符号化する際の第１の符号化難易度を補正して第２の符号化難易度を生成する。符号化難易度補正部３は、出力映像信号の画像特性情報に基づいて第２の符号化難易度を生成するため、入力映像信号と出力映像信号とで、圧縮処理が異なる場合でも画質の劣化を抑えつつ、高い圧縮率で画像をリアルタイムに再圧縮符号化できる。【選択図】図１
2011087001.tif 000002
【特許請求の範囲】
【請求項１】
複数のピクチャのフレーム間予測を用いて圧縮符号化された入力映像信号を復号するとともに、前記復号された信号の画像特性値を算出する画像復号部と、
前記画像復号部で復号された信号を圧縮符号化する難易度を示す第１の符号化難易度を前記画像特性値により算出する符号化難易度算出部と、
前記第１の符号化難易度と前記画像復号部で復号された信号を再圧縮符号化して得られる出力映像信号の画像特性情報とに基づいて前記第１の符号化難易度を補正して第２の符号化難易度を生成する符号化難易度補正部と、
前記第２の符号化難易度に基づいて、前記出力映像信号を生成する際の割当符号量を設定する発生符号量制御部と、
前記画像復号部で復号された信号を前記割当符号量にて再圧縮符号化して前記出力映像信号を生成する画像符号化部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記画像復号部は、前記第１の符号化難易度を算出する対象となる対象ピクチャが参照する参照ピクチャとの参照関係を考慮に入れて前記画像特性値を算出し、
前記符号化難易度補正部は、前記第１の符号化難易度が前記参照ピクチャの符号化難易度より小さく、かつ、前記対象ピクチャの符号化順が前記参照ピクチャの符号化順より前の場合、前記第１の符号化難易度より大きい前記第２の符号化難易度を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記符号化難易度補正部は、前記第１の符号化難易度が前記参照ピクチャの符号化難易度より小さく、かつ、前記対象ピクチャの符号化順が前記参照ピクチャの符号化順より前の場合、前記参照ピクチャの符号化難易度を小さくする補正を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像復号部は、前記対象ピクチャが前記参照ピクチャを参照しているブロックの割合を算出し、
前記符号化難易度補正部は、前記割合が高いほど、前記第２の符号化難易度の補正量をより大きくすることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記符号化難易度補正部は、
前記参照ピクチャの符号化難易度から前記対象ピクチャの符号化難易度を減じた差分値と、前記対象ピクチャが前記参照ピクチャを参照しているブロックの割合とを乗じた調整値を算出する調整値算出部と、
前記第１の符号化難易度に前記調整値を加えた値を前記第２の符号化難易度とする第１の難易度補正部と、
前記参照ピクチャの符号化難易度から前記調整値を減じた値を、前記参照ピクチャの補正後の符号化難易度とする第２の難易度補正部と、を備え、
前記符号化難易度補正部は、前記第１の符号化難易度が前記参照ピクチャの符号化難易度より小さく、かつ前記対象ピクチャの符号化順が前記参照ピクチャの符号化順より前の場合にのみ、前記調整値算出部、前記第１および前記第２の難易度補正部の各処理を行うことを特徴とする請求項２乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記符号化難易度補正部は、
前記第１の符号化難易度が前記参照ピクチャの符号化難易度より小さいか否かを判定する第１の比較部と、
前記対象ピクチャの符号化順が前記参照ピクチャの符号化順より前か否かを判定する第２の比較部と、
前記参照ピクチャの符号化難易度から前記対象ピクチャの符号化難易度を減じた差分値を算出する第１の減算部と、
前記差分値と、前記対象ピクチャが前記参照ピクチャを参照しているブロックの割合とを乗じた調整値を算出する乗算部と、
前記第１の符号化難易度に前記調整値を加えた第１の補正値を算出する加算部と、
前記参照ピクチャの符号化難易度から前記調整値を減じた第２の補正値を算出する第２の減算部と、
前記第１および第２の比較部の判定結果に応じて、前記第１の補正値を前記第２の符号化難易度とし、かつ、前記第２の補正値を前記参照ピクチャの補正後の符号化難易度とするか、前記第１の符号化難易度を前記第２の符号化難易度とし、かつ、前記参照ピクチャの符号化難易度を前記参照ピクチャの補正後の符号化難易度とするか、を切り替える選択部と、を有することを特徴とする請求項２乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記画像復号部は、前記対象ピクチャのピクチャタイプ、量子化ステップ幅の平均値および復号前の前記入力映像信号の符号量の少なくとも一つに基づいて前記画像特性値を算出し、
前記画像特性情報は、前記対象ピクチャのピクチャタイプ、符号化順および前記参照ピクチャとの参照関係の少なくとも一つを含むことを特徴とする請求項２乃至５のいずれかに記載の画像処理装置。
【請求項８】
複数のピクチャのフレーム間予測を用いて圧縮符号化された入力映像信号を復号するとともに、前記復号された信号の画像特性値を算出するステップと、
前記復号された信号を圧縮符号化する難易度を示す第１の符号化難易度を前記画像特性値により算出するステップと、
前記第１の符号化難易度と前記復号された信号を再圧縮符号化して得られる出力映像信号の画像特性情報とに基づいて前記第１の符号化難易度を補正して第２の符号化難易度を生成するステップと、
前記第２の符号化難易度に基づいて、前記出力映像信号を生成する際の割当符号量を設定するステップと、
前記復号された信号を前記割当符号量にて再圧縮符号化して前記出力映像信号を生成するステップと、を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化された映像信号を復号し、再圧縮符号化して映像信号を生成する画像処理装置および方法に関する。
【背景技術】
【０００２】
現在、ＤＶＤおよびデジタル放送などさまざまな分野で、映像信号を圧縮符号化する方式としてＭＰＥＧ−２が用いられている。また、より圧縮率が高い圧縮符号化方式として、Ｈ．２６４が開発され、ワンセグ放送などに用いられている。近年、デジタル放送をＤＶＤレコーダおよび携帯電話などに記録する際、ＭＰＥＧ−２方式で圧縮符号化されたデジタル放送の映像信号を、ビットレートを下げたりＨ．２６４方式に変換したりして、より高い圧縮率で圧縮符号化して長時間の映像信号を記録することが検討されている。この場合、画質の劣化を抑えつつ圧縮率を上げる必要があり、しかも、リアルタイムに圧縮符号化処理を行わなければならない。
【０００３】
画質を劣化させずに高い圧縮率で符号化する手法としては、２パスエンコードと呼ばれる圧縮符号化手法が知られている。しかしながら、２パスエンコードではリアルタイムで圧縮符号化を行えないという問題がある。
【０００４】
また、特許文献１には、リアルタイムで圧縮符号化する手法として、圧縮符号化された入力映像信号を復号して非圧縮信号を生成し、非圧縮信号を再圧縮符号化して出力映像信号を生成するトランスコーダが開示されている。このトランスコーダでは、入力映像信号を復号する際に符号化難易度を算出し、その符号化難易度に基づいて再圧縮符号化する際のピクチャ毎の割当符号量が設定される。そのため、入力映像信号と出力映像信号で、ピクチャタイプ、符号化順およびピクチャの参照関係が同一である場合は、圧縮符号化が難しいピクチャに多くの符号量を割り当てることができ、画質の劣化を抑えつつ圧縮率を高くできる。
【０００５】
しかしながら、入力および出力映像信号では、必ずしもピクチャタイプなどが同一であるとは限らない。同一でない場合、入力映像信号の符号化難易度と出力映像信号の符号化難易度との相関は小さいため、符号化難易度に基づいて再圧縮符号化を行っても、画質の劣化を招くおそれがある。そのため、特許文献１では、ピクチャタイプなどが同一の場合のみ、符号化難易度に基づいて割当符号量を設定して、再圧縮符号化を行う。その結果、あまり圧縮率を高くできないという問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−６７０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、画質の劣化を抑えつつ映像信号を圧縮符号化可能な画像処理装置および方法を提供するものである。
【課題を解決するための手段】
【０００８】
本発明の一態様によれば、複数のピクチャのフレーム間予測を用いて圧縮符号化された入力映像信号を復号するとともに、前記復号された信号の画像特性値を算出する画像復号部と、前記画像復号部で復号された信号を圧縮符号化する難易度を示す第１の符号化難易度を前記画像特性値により算出する符号化難易度算出部と、前記第１の符号化難易度と前記画像復号部で復号された信号を再圧縮符号化して得られる出力映像信号の画像特性情報とに基づいて前記第１の符号化難易度を補正して第２の符号化難易度を生成する符号化難易度補正部と、前記第２の符号化難易度に基づいて、前記出力映像信号を生成する際の割当符号量を設定する発生符号量制御部と、前記画像復号部で復号された信号を前記割当符号量にて再圧縮符号化して前記出力映像信号を生成する画像符号化部と、を備えることを特徴とする画像処理装置が提供される。
【０００９】
また、本発明の一態様によれば、複数のピクチャのフレーム間予測を用いて圧縮符号化された入力映像信号を復号するとともに、前記復号された信号の画像特性値を算出するステップと、前記復号された信号を圧縮符号化する難易度を示す第１の符号化難易度を前記画像特性値により算出するステップと、前記第１の符号化難易度と前記復号された信号を再圧縮符号化して得られる出力映像信号の画像特性情報とに基づいて前記第１の符号化難易度を補正して第２の符号化難易度を生成するステップと、前記第２の符号化難易度に基づいて、前記出力映像信号を生成する際の割当符号量を設定するステップと、前記復号された信号を前記割当符号量にて再圧縮符号化して前記出力映像信号を生成するステップと、を備えることを特徴とする画像処理方法が提供される。
【発明の効果】
【００１０】
本発明によれば、画質の劣化を抑えつつ映像信号を圧縮符号化できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図。
【図２】入力および出力映像信号の一例を示す図。
【図３】符号化難易度補正部３の処理動作の一例を示すフローチャート。
【図４】符号化難易度補正部３の処理動作をより詳細に示すフローチャート。
【図５】図４の処理動作をハードウェアで実現する場合の符号化難易度補正部３の内部構成の一例を示す図。
【図６】図２に示す入力映像信号が入力された場合の、画像処理装置内の各部の処理対象を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明に係る画像処理装置および方法の実施形態について、図面を参照しながら具体的に説明する。
【００１３】
図１は、本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。図１の画像処理装置は、画像復号部１と、符号化難易度算出部２と、符号化難易度補正部３と、発生符号量制御部４と、画像符号化部５とを備えている。図１の画像処理装置は、圧縮符号化された入力映像信号を復号し、圧縮処理、すなわち、圧縮方式と、圧縮符号化する際のピクチャタイプ、符号化順およびピクチャの参照関係と、の少なくとも一方を変更して、復号された映像信号を再圧縮符号化することにより、入力映像信号より高い圧縮率で圧縮符号化された出力映像信号を生成するトランスコーダである。図１の各部は例えば同一の半導体チップに内蔵される。
【００１４】
画像復号部１には圧縮符号化された入力映像信号が入力される。入力映像信号は、例えば、ＭＰＥＧ−２方式、ＭＰＥＧ−４方式およびＨ．２６４方式などフレーム間予測を用いて圧縮符号化された信号であり、フレーム内で符号化して得られるＩピクチャ、フレーム間の片方向予測符号化で得られるＰピクチャ、および、フレーム間の双予測符号化で得られるＢピクチャから構成される。
【００１５】
画像復号部１は入力映像信号をピクチャ毎に復号して、非圧縮映像信号を生成する。非圧縮信号とは復号されたピクチャの列であり、画像復号部１から表示順に出力される。また、画像復号部１は、復号されるピクチャ（以下、対象ピクチャ）の統計量（画像特性値）を符号化難易度算出部２に供給する。統計量とは、後述する符号化難易度を算出するため値であり、例えば、対象ピクチャのピクチャタイプｔ、量子化ステップ幅の平均値ｑ、および復号前の符号量ｂである。
【００１６】
さらに、画像復号部１は対象ピクチャが参照しているピクチャ（以下、参照ピクチャ）を列挙し、対象ピクチャ内のブロックのうち、参照ピクチャを参照しているブロックの割合を算出して符号化難易度補正部３に供給する。
【００１７】
例えば、対象ピクチャがＰピクチャであり、参照ピクチャＸを参照しているとする。そして、対象ピクチャ内のブロックのうち、フレーム内で符号化されているブロックの割合Ｒｉｎｔｒａが２０％であるとすると、残りのブロックは参照ピクチャＸを参照している。よって、参照ピクチャＸを参照しているブロックの割合は、１００−Ｒｉｎｔｒａ＝１００−２０＝８０％である。
【００１８】
また、対象ピクチャがＢピクチャであり、対象ピクチャより前の参照ピクチャＹおよび参照ピクチャより後の参照ピクチャＺを参照しているとする。そして、対象ピクチャ内のブロックのうち、フレーム内で符号化されているブロックの割合Ｒｉｎｔｒａが２０％、参照ピクチャＹのみを参照しているブロックの割合Ｒｆｗｄが４０％、参照ピクチャＺのみを参照しているブロックの割合がＲｂｗｄ＝１０％、参照ピクチャＹおよびＺの両方を参照しているブロックの割合Ｒｂｉｐｒｅｄが３０％である場合、参照ピクチャＹを参照している割合はＲｆｗｄ＋Ｒｂｉｐｒｅｄ／２＝４０＋３０／２＝５５％であり、参照ピクチャＺを参照しているブロックの割合はＲｂｗｄ＋Ｒｂｉｐｒｅｄ／２＝１０＋３０／２＝２５％である。
【００１９】
このようにして計算された割合は、符号化難易度補正部３にて、符号化難易度を補正するために用いられる。その詳細については後述する。
【００２０】
符号化難易度算出部２は画像復号部１から供給される統計量に基づいて対象ピクチャの符号化難易度（第１の符号化難易度）を算出し、符号化難易度補正部３に供給する。符号化難易度算出部２は、例えば下記（１）式に基づいて、符号化難易度Ｃを算出する。
Ｃ＝Ｋ（ｔ）＊ｑ＊ｂ  ・・・（１）
ここで、Ｋ（ｔ）はピクチャタイプｔ（ｔ＝Ｉ，ＰまたはＢ）ごとに予め定めた定数である。ここで、同一ピクチャを同一の量子化ステップ幅で符号化した場合の符号量は、大きい順にＩピクチャ、Ｐピクチャ、Ｂピクチャであるが、同一のピクチャであれば符号化難易度が一定となるよう、Ｋ（Ｉ）＜Ｋ（Ｐ）＜Ｋ（Ｂ）とするのが望ましい。対象ピクチャが参照ピクチャと似ている場合は、ｑ＊ｂが小さくなるし、両ピクチャが似ていない場合は、ｑ＊ｂが大きくなる。すなわち、統計量は入力映像信号における対象ピクチャと参照ピクチャとの参照関係を考慮して定まる値である。
【００２１】
符号化難易度Ｃは、画像復号部１で復号された対象ピクチャを圧縮符号化する際の難易度を示す値であり、画質を一定で圧縮符号化する場合、符号化難易度Ｃが小さいピクチャほど、少ない符号量で圧縮符号化できる。
【００２２】
上記（１）は、画像復号部１に入力される入力映像信号の符号化難易度を推定することに相当する。上述したように、（１）式で表される統計量は、対象ピクチャと参照ピクチャとの参照関係に応じて変化する値であり、符号化難易度Ｃも参照関係に応じて変化することから、符号化難易度算出部２では、上述した統計量に基づいて符号化難易度Ｃを算出する。これにより、符号化難易度を精度よく算出できる。
【００２３】
なお、符号化難易度算出部２は、統計量、すなわち対象ピクチャのピクチャタイプｔ、量子化ステップ幅の平均値ｑおよび復号前の符号量ｂの少なくとも１つに基づいて符号化難易度Ｃを算出すればよく、上記（１）式以外の手法で算出してもよい。
【００２４】
符号化難易度補正部３には、出力映像信号の画像特性情報、すなわちピクチャタイプ、符号化順および参照関係が外部から設定される。そして、符号化難易度補正部３は、この画像特性情報に基づいて、符号化難易度算出部２で算出される符号化難易度を、非圧縮信号を再圧縮符号化する際の難易度を示す符号化難易度に補正する。符号化難易度補正部３は補正後の符号化難易度（第２の符号化難易度）を発生符号量制御部４に供給する。このように、符号化難易度補正部は、第１の符号化難易度が入力され、第２の符号化難易度を出力する。
【００２５】
発生符号量制御部４は、外部から設定されるビットレートと、ピクチャタイプ、符号化順および参照関係と、符号化難易度補正部３で補正された符号化難易度とに基づいて、ピクチャごとに割当符号量を設定する。より具体的には、発生符号量制御部４は、補正された符号化難易度が小さいほど、割当符号量を少なく設定する。画像符号化部５は、設定された割当符号量が少ないほど圧縮率が高くなるよう、非圧縮映像信号を割当符号量にて再圧縮符号化し、出力映像信号を生成する。
【００２６】
本実施形態は、画像処理装置内に符号化難易度補正部３を設けるため、入力側のピクチャと出力側のピクチャとで、符号化順、ピクチャタイプおよび参照関係の少なくとも一つが異なっていても、出力側のピクチャに適切な符号量を割り当てることができる。例えば、出力側のピクチャの符号化難易度が高いほど割当符号量を多く設定でき、画質の劣化を抑えつつ再圧縮符号化を行うことができる。また、出力側のピクチャの符号化難易度が低いほど割当符号量を少なく設定できるため、圧縮率を高くすることができる。
【００２７】
図２は、入力および出力映像信号の一例を示す図である。同図（ａ）は、入力映像信号における符号化難易度、表示順、参照関係、ピクチャタイプ、および、復号順を示している。同図では、例えば表示順１のＢピクチャは表示順０および３のピクチャを参照しており、表示順３のＩピクチャは表示順０のピクチャを参照していることを表す。また、図２（ｂ）は出力映像信号における（補正された）符号化難易度、表示順、参照関係、ピクチャタイプ、および、符号化順をそれぞれ示している。以下では、表示順ｎのピクチャをピクチャｎ、ピクチャｎの符号化難易度をＣ（ｎ）と表記する。
【００２８】
図２（ａ）の符号化難易度Ｃは図１の符号化難易度算出部２で上記（１）式により算出される。また、表示順、参照関係、ピクチャタイプおよび復号順は入力映像信号で規定されている。一方、図２（ｂ）の符号化難易度Ｃは、符号化難易度算出部２で算出した符号化難易度Ｃを図１の符号化難易度補正部３で補正して得られる。また、表示順は入力映像信号で規定されており、参照関係、ピクチャタイプおよび符号化順は外部から設定される。
【００２９】
図２では説明の簡略化のために以下のように仮定している。ピクチャ３とピクチャ４との間にシーンＡから別シーンＢへのシーンチェンジがあるとする。入力映像信号の圧縮符号化方式はＭＰＥＧ−２であり、ピクチャタイプは、表示順にＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐであるとする。これは通常のデジタル放送で用いられる圧縮処理である。一方、出力映像信号の圧縮方式はＨ．２６４（ベースラインプロファイル）であり、ピクチャタイプは、表示順にＩ，Ｐ，Ｐ，Ｐ，Ｐ，Ｐ，Ｐであるとする。これは例えば携帯電話に映像信号を記録する際に用いられる。図２は、圧縮方式をＭＰＥＧ−２からＨ．２６４に変換することで、圧縮率を高くする例を示している。
【００３０】
図２（ａ）では、上記（１）式により符号化難易度Ｃを算出した結果として、符号化難易度Ｃ（０）〜Ｃ（５）が全て等しく、符号化難易度Ｃ（６）はこれらより大きくなった例を示している。符号化難易度Ｃ（６）が大きくなるのは、ピクチャ６はシーンＢ内のピクチャであるが、別シーンＡ内のピクチャであるピクチャ３のみを参照しており、上記（１）式のｑ＊ｂが大きくなるためである。ピクチャ４と５も別シーンＡ内のピクチャを参照しているが、すでに符号化処理の終わった同一シーンＢ内のピクチャ６を参照するため、符号化難易度Ｃ（４）とＣ（５）は大きくはならない。
【００３１】
次に、符号化難易度Ｃの補正について、図２を例に取って説明する。
【００３２】
上述したように、図２（ａ）の入力映像信号に含まれるピクチャ４は同一シーンＢ内のピクチャ６を参照するため、符号化難易度Ｃ（４）はそれほど大きくはなく、ピクチャ６の符号化難易度Ｃ（６）は大きな値である。
【００３３】
これに対し、出力映像信号に含まれるピクチャ４は別シーンＡ内のピクチャであるピクチャ３のみを参照しているため、多くの符号量を割り当てなければ画質が劣化してしまう。一方、ピクチャ６は同一シーンＢ内のピクチャ５を参照するため、それほど多くの符号量を割り当てなくても画質は劣化しない。逆に、ピクチャ６に多くの符号量を割り当ててしまうと、圧縮率を高くできない。
【００３４】
そのため、図２（ｂ）に示すように、符号化難易度補正部３は、符号化難易度Ｃ（４）を大きくする補正を行い、符号化難易度Ｃ（６）を小さくする補正を行うとよい。
【００３５】
より一般的には、以下のとおりである。シーンチェンジの有無に関わらず、対象ピクチャ（以下、ピクチャＡと呼ぶ）の符号化難易度が参照ピクチャ（以下、ピクチャＢと呼ぶ）の符号化難易度と比べて小さくなっているのは、ピクチャＡとピクチャＢとが似ているためと考えられる。このとき、ピクチャＡの符号化順がピクチャＢの符号化順より前であると、再圧縮符号化する際に、ピクチャＡはピクチャＢを参照できなくなるため、画質を劣化させずに圧縮符号化するのが困難になる。
【００３６】
よって、符号化難易度補正部３はピクチャＡの符号化難易度を大きくする補正を行う必要がある。このとき、出力映像信号の圧縮符号化処理では、ピクチャＢよりピクチャＡが先に再圧縮符号化されるため、ピクチャＢを圧縮符号化する際に、ピクチャＢに似たピクチャＡを参照できる。したがって、出力映像信号での圧縮処理においては、ピクチャＢの符号化難易度はそれほど大きくなくても画質を劣化させずに圧縮符号化できる。よって、符号化難易度補正部３はピクチャＢの符号化難易度を小さくする補正をさらに行ってもよい。
【００３７】
図３は、符号化難易度補正部３の処理動作の一例を示すフローチャートである。上述のように、符号化難易度補正部３は、対象ピクチャの符号化難易度が参照ピクチャの符号化難易度より小さく（ステップＳ１のＹｅｓ）、かつ、対象ピクチャの符号化順が参照ピクチャの符号化順より前である（ステップＳ２のＹｅｓ）場合、対象ピクチャの符号化難易度を大きくする補正を行う（ステップＳ３）。さらに、参照ピクチャの符号化難易度を小さくする補正を行ってもよい（ステップＳ４）。なお、対象ピクチャが他のピクチャを参照しないＩピクチャの場合、符号化難易度補正部３は符号化難易度の補正を行わず、符号化難易度は変化しない。
【００３８】
このように、図２（ａ）に示す、入力映像信号に含まれる各ピクチャの符号化難易度は、符号化難易度算出部２により上記（１）式に基づいて算出されるのに対し、図２（ｂ）に示す、出力映像信号に含まれる各ピクチャの符号化難易度は、符号化難易度算出部２が算出した符号化難易度を、符号化難易度補正部３により図３の処理動作に基づいて補正して得られる。
【００３９】
図４は、符号化難易度補正部３の処理動作をより詳細に示すフローチャートであり、図３のステップＳ３とＳ４の処理動作をより詳細に示している。対象ピクチャの符号化難易度が参照ピクチャの符号化難易度より小さく（ステップＳ１のＹｅｓ）、かつ、対象ピクチャの符号化順が参照ピクチャの符号化順より前である（ステップＳ２のＹｅｓ）場合、符号化難易度補正部３は以下の処理動作により符号化難易度の補正を行う。
【００４０】
まず、符号化難易度補正部３は参照ピクチャの符号化難易度から対象ピクチャの符号化難易度を減じた差分値を算出する（ステップＳ１１）。次に、符号化難易度補正部３は、この差分値と、対象ピクチャが参照ピクチャを参照しているブロックの割合を乗じた調整値を算出する（ステップＳ１２）。この割合は画像復号部１から入力される。 
入力映像信号において、対象ピクチャが参照ピクチャを参照しているブロックの割合が大きいほど、出力映像信号の圧縮処理で、対象ピクチャが同じ参照ピクチャを参照できなくなった場合に、対象ピクチャの圧縮符号化がより困難になる。よって、この場合、符号化難易度補正部３は符号化難易度をより大きく補正するのが望ましい。したがって、符号化難易度の補正量に対応する調整値をこの割合に応じた値とするために、符号化難易度補正部３はステップＳ１２の処理を行う。
【００４１】
さらに、符号化難易度補正部３は補正前の対象ピクチャの符号化難易度に上記調整値を加算する補正を行い、対象ピクチャの符号化難易度とし（ステップＳ１３）、補正前の参照ピクチャの符号化難易度から上記調整値を減算する補正を行い、参照ピクチャの符号化難易度とする（ステップＳ１４）。
【００４２】
このように、対象ピクチャが参照ピクチャを参照する割合が大きいほど、対象ピクチャの符号化難易度はより大きくなり、かつ、参照ピクチャの符号化難易度はより小さくなる。
【００４３】
図４において、ステップＳ１２は調整値算出部に対応し、ステップＳ１３は第１の難易度補正部に対応し、ステップＳ１４は第２の難易度補正部に対応する。
【００４４】
なお、図４は、符号化難易度補正部３が、対象ピクチャタイプ、符号化順および参照関係を考慮して補正を行う例を示しているが、これらの少なくとも１つを考慮して補正を行ってもよい。
【００４５】
図５は、図４の処理動作をハードウェアで実現する場合の符号化難易度補正部３の内部構成の一例を示す図である。符号化難易度補正部３は、第１および第２の比較部１１，１２（ＣＭＰ）と、第１および第２の減算部１３，１６と、乗算部１４と、加算部１５と、論理積算出部１７（ＡＮＤ）と、第１および第２の選択部１８，２０（ＳＥＬ）と、メモリ１９とを有する。
【００４６】
第１の比較部１１は対象ピクチャの符号化難易度と参照ピクチャの符号化難易度とを比較し、前者が小さい場合はハイ、そうでない場合はロウを出力する（図４のステップＳ１に対応）。第２の比較部１２は、対象ピクチャの符号化順と参照ピクチャの符号化順とを比較し、前者が前の場合はハイ、そうでない場合はロウを出力する（ステップＳ２に対応）。論理積算出部１７は、第１および第２の比較部１２の出力がともにハイの場合はハイ、それ以外の場合はロウを出力する。
【００４７】
第１の減算部１３は参照ピクチャの符号化難易度から対象ピクチャの符号化難易度を減じた差分値を算出する（ステップＳ１１に対応）。乗算部１４は、この差分値と、対象ピクチャが参照ブロックを参照しているブロックの割合を乗じた調整値を算出する（ステップＳ１２に対応）。加算部１５は対象ピクチャの符号化難易度と調整値を加えた第１の補正値を算出する（ステップＳ１３に対応）。第２の減算部１６は参照ピクチャの符号化難易度から調整値を減じた第２の補正値を算出する（ステップＳ１４に対応）。
【００４８】
第１の選択部１８は、論理積算出部１７の出力がハイである場合は、第１の補正値を補正された対象ピクチャの符号化難易度とし、第２の補正値を補正された参照ピクチャの符号化難易度として出力する。また、第１の選択部１８は、論理積算出部１７の出力がロウである場合は、対象ピクチャおよび参照ピクチャの符号化難易度をそのまま補正後の対象ピクチャおよび参照ピクチャの符号化難易度として出力する。
【００４９】
すなわち、図５の符号化難易度補正部３は、第１および第２の比較部１２の出力がともにハイである場合のみ、符号化難易度の補正を行い、少なくとも１つがロウである場合は補正を行わない。
【００５０】
メモリ１９は補正された符号化難易度を記憶する。記憶された符号化難易度は、必要に応じて、後に復号されるピクチャの符号化難易度を補正するため、および、後に再圧縮符号化されるピクチャの割当符号量を設定するために用いられる。
【００５１】
第２の選択部２０は、画像符号化部５で再圧縮符号化されるピクチャの符号化難易度を、メモリ１９に記憶された符号化難易度、または、第１の選択部１８より出力される符号化難易度から選択して、補正後の符号化難易度を出力し、発生符号量制御部４へ供給する。
【００５２】
図６は、図２に示す入力映像信号が入力された場合の、画像処理装置内の各部の処理対象を示す図である。図６の列方向は時間の経過を示しており、１行目は画像復号部１が復号するピクチャ（すなわち対象ピクチャ）を、２行目は符号化難易度補正部３が行う補正対象の符号化難易度を、３行目は符号化難易度補正部３内のメモリ１９に記憶される符号化難易度を、４行目は画像符号化部５が再圧縮符号化するピクチャをそれぞれ示している。
【００５３】
図４〜図６を用いて、図２に示す入力映像信号が入力された場合の、画像処理装置の処理動作を具体的に説明する。
【００５４】
まず、復号順０のピクチャ０が対象ピクチャとして入力されると、画像復号部１はピクチャ０を復号し、画像復号部１内のメモリ（不図示）に記憶する。また、符号化難易度算出部２は上記（１）式により符号化難易度Ｃ（０）を算出する。ピクチャ０はＩピクチャであり、他のピクチャを参照しないため、符号化難易度補正部３は符号化難易度Ｃ（０）を補正せず、メモリ１９は符号化難易度Ｃ（０）を記憶する。
【００５５】
次に、復号順１のピクチャ３が対象ピクチャとして入力されると、画像復号部１はピクチャ３を復号し、画像復号部１内のメモリに記憶する。また、符号化難易度算出部２は上記（１）式により符号化難易度Ｃ（３）を算出する。ピクチャ３はピクチャ０を参照しているが、ピクチャ３の符号化順はピクチャ０の符号化順より後である（図４のステップＳ２がＮｏ）。よって、符号化難易度補正部３は符号化難易度Ｃ（３）を補正せず、メモリ１９は符号化難易度Ｃ（３）を記憶する。
【００５６】
ピクチャ３の復号処理と並行して、画像復号部１は内部のメモリに記憶されていた符号化順０の復号されたピクチャ０を画像符号化部５に供給し、符号化難易度補正部３はメモリ１９に記憶されていた符号化難易度Ｃ（０）を発生符号量制御部４に供給する。発生符号量制御部４は符号化難易度Ｃ（０）に応じたピクチャ０の割当符号量を設定し、画像符号化部５はこの割当符号量に応じてピクチャ０を再圧縮符号化する。
【００５７】
次に、復号順２のピクチャ１が対象ピクチャとして入力されると、画像復号部１はピクチャ１を復号する。ピクチャ１の符号化順は１であり、図６に示すように、ピクチャ１は画像復号部１で復号された後、引き続いて画像符号化部５で符号化されるため、画像復号部１は復号されたピクチャ１を内部のメモリに記憶することなく、画像符号化部５に供給する。また、符号化難易度算出部２は上記（１）式により符号化難易度Ｃ（１）を算出する。ピクチャ１はピクチャ０およびピクチャ３を参照している。しかし、ピクチャ１の符号化順はピクチャ０の符号化順より後である（図４のステップＳ２がＮｏ）ので、符号化難易度Ｃ（１）はピクチャ０との関係では補正されない。また、図２（ａ）に示すように、符号化難易度Ｃ（１）はメモリ１９に記憶された符号化難易度Ｃ（３）と等しい（図３のステップＳ１がＮｏ）ので、符号化難易度Ｃ（１）はピクチャ３との関係でも補正されない。従って、符号化難易度補正部３は符号化難易度Ｃ（１）を補正しない。
【００５８】
ここで、上述のようにピクチャ１の符号化順は１であるため、符号化難易度補正部３は符号化難易度Ｃ（１）をメモリ１９に記憶することなく、発生符号量制御部４に供給する。発生符号量制御部４は符号化難易度Ｃ（１）に応じたピクチャ１の割当符号量を設定し、画像符号化部５はこの割当符号量に応じてピクチャ１を再圧縮符号化する。
【００５９】
次に、復号順３のピクチャ２が対象ピクチャとして入力される。このとき、ピクチャ１が対象ピクチャとして入力された場合と同様に、符号化難易度補正部３は符号化難易度Ｃ（２）を補正せずに、発生符号量制御部４に供給し、画像符号化部５は、発生符号量制御部４で設定される割当符号量に応じて、符号化順２のピクチャ２を再圧縮符号化する。
【００６０】
次に、復号順４のピクチャ６が対象ピクチャとして入力されると、画像復号部１はピクチャ６を復号し、画像復号部１内のメモリに記憶する。また、符号化難易度算出部２は上記（１）より符号化難易度Ｃ（６）を算出する。ここで、ピクチャ６はピクチャ３を参照しているが、ピクチャ６とピクチャ３とは別シーンに属するため、両ピクチャは似ていない。よって、上記（１）式のｑ＊ｂが大きくなり、符号化難易度Ｃ（６）は大きな値となる。ピクチャ６は、ピクチャ３を参照しているが、符号化難易度Ｃ（６）は符号化難易度Ｃ（３）より大きい（図４のステップＳ１がＮｏ）。よって、符号化難易度補正部３は符号化難易度Ｃ（６）を補正しない。ピクチャ６の符号化順は６であるため、メモリ１９は符号化難易度Ｃ（６）を記憶する。
【００６１】
ピクチャ６の復号処理と並行して、画像復号部１は内部のメモリに記憶されていた符号化順３の復号されたピクチャ３を画像符号化部５に供給し、符号化難易度補正部３はメモリ１９に記憶されていた符号化難易度Ｃ（３）を発生符号量制御部４に供給する。発生符号量制御部４は符号化難易度Ｃ（３）に応じたピクチャ３の割当符号量を設定し、画像符号化部５はこの割当符号量に応じてピクチャ３を再圧縮符号化する。
【００６２】
次に、復号順５のピクチャ４が対象ピクチャとして入力されると、画像復号部１はピクチャ４を復号する。ピクチャ４の符号化順は４であり、図６に示すように、ピクチャ４は画像復号部１で復号された後、引き続いて画像符号化部５で符号化されるため、画像復号部１は復号されたピクチャ４を内部のメモリに記憶することなく、画像符号化部５に供給する。また、符号化難易度算出部２は上記（１）より符号化難易度Ｃ（４）を算出する。ピクチャ４は、ピクチャ３およびピクチャ６を参照している。しかし、ピクチャ４の符号化順はピクチャ３の符号化順より後である（図４のステップＳ２がＮｏ）ので、符号化難易度Ｃ（４）はピクチャ３との関係では補正されない。一方、符号化難易度Ｃ（４）はメモリ１９に記憶された符号化難易度Ｃ（６）より小さく（ステップＳ１がＹｅｓ）、かつ、ピクチャ４の符号化順はピクチャ６の符号化順より前である（ステップＳ２がＹｅｓ）。よって、符号化難易度補正部３は符号化難易度の差分値Ｃ（６）−Ｃ（４）を算出（ステップＳ１１）し、この差分値にピクチャ４がピクチャ６を参照しているブロックの割合を乗じた調整量を算出する（ステップＳ１２）。さらに、符号化難易度補正部３は符号化難易度Ｃ（４）に調整量を加えて符号化難易度Ｃ（４）を大きくする補正を行い（ステップＳ１３）、符号化難易度Ｃ（６）から調整量を減じて符号化難易度Ｃ（６）を小さくする補正を行う（ステップＳ１４）。図５のメモリ１９は補正された符号化難易度Ｃ（６）を記憶する。
【００６３】
ここで、上述のようにピクチャ４の符号化順は４であるため、符号化難易度補正部３は補正された符号化難易度Ｃ（４）をメモリ１９に記憶することなく、発生符号量制御部４に供給する。発生符号量制御部４は補正された符号化難易度Ｃ（４）に応じたピクチャ４の割当符号量を設定し、画像符号化部５はこの割当符号量に応じてピクチャ４を再圧縮符号化する。
【００６４】
ピクチャ４は別シーンＡ内のピクチャ３のみを参照して再圧縮符号化されるため、仮に符号化難易度Ｃ（４）を大きくする補正を行わずにピクチャ４の再圧縮符号化を行うと、画質が劣化してしまう。これに対し、本実施形態では、符号化難易度Ｃ（４）を大きくする補正を行うため、発生符号量制御部４で設定される割当符号量を多くすることができる。その結果、画質が劣化することなくピクチャ４を再圧縮符号化できる。
【００６５】
次に、復号順６のピクチャ５が対象ピクチャとして入力されると、画像復号部１はピクチャ５を復号する。ピクチャ５の符号化順は５であり、図６に示すように、ピクチャ５は画像復号部１で復号された後、引き続いて画像符号化部５で符号化されるため、画像復号部１は復号されたピクチャ５を内部のメモリに記憶することなく、画像符号化部５に供給する。また、符号化難易度算出部２は上記（１）より符号化難易度Ｃ（５）を算出する。ピクチャ５は、ピクチャ３およびピクチャ６を参照している。ピクチャ５の符号化順はピクチャ３の符号化順より後である（図４のステップＳ２がＮｏ）ので、符号化難易度Ｃ（５）はピクチャ３との関係では補正されない。一方、符号化難易度Ｃ（５）が、補正されてメモリ１９に記憶された符号化難易度Ｃ（６）より小さい（ステップＳ１がＹｅｓ）場合、ピクチャ５の符号化順はピクチャ６の符号化順より前である（ステップＳ２がＹｅｓ）ので、符号化難易度補正部３は、符号化難易度Ｃ（５）を大きくする補正を行い（ステップＳ１３）、メモリ１９に記憶された符号化難易度Ｃ（６）を小さくする補正を行う（ステップＳ１４）。しかし、符号化難易度Ｃ（５）がメモリ１９に記憶された符号化難易度Ｃ（６）より小さくない（ステップＳ１がＮｏ）場合、符号化難易度補正部３は、符号化難易度Ｃ（５）と、メモリ１９に記憶された符号化難易度Ｃ（６）は補正されない。
【００６６】
ここで、上述のようにピクチャ５の符号化順は５であるため、符号化難易度補正部３は符号化難易度Ｃ（５）をメモリ１９に記憶することなく、発生符号量制御部４に供給する。発生符号量制御部４は符号化難易度Ｃ（５）に応じたピクチャ５の割当符号量を設定し、画像符号化部５はこの割当符号量に応じてピクチャ５を再圧縮符号化する。
【００６７】
その後、画像復号部１はメモリに記憶されていた符号化順６の復号されたピクチャ６を画像符号化部に供給し、符号化難易度補正部３はメモリ１９に記憶されていた符号化難易度Ｃ（６）を発生符号量制御部４に供給する。発生符号量制御部４は符号化難易度Ｃ（６）に応じたピクチャ６の割当符号量を設定し、画像符号化部５はこの割当符号量に応じてピクチャ６を再圧縮符号化する。
【００６８】
入力映像信号において、ピクチャ６は別シーンＡ内のピクチャ３を参照しているため、補正前の符号化難易度Ｃ（６）は大きな値である。しかし、出力映像信号においては、同一シーンＢ内のピクチャ５を参照するため、符号割当量がそれほど多くなくても、画質の劣化を抑えて再圧縮符号化できる。仮に符号化難易度Ｃ（６）を小さくする補正を行わずにピクチャ６の再圧縮符号化を行うと、割当符号量が多くなってしまい圧縮率を高くできない。これに対し、本実施形態では、符号化難易度Ｃ（６）を小さくする補正を行うため、発生符号量制御部４で設定される割当符号量は相対的に少なくなる。その結果、圧縮率を高くしてピクチャ６を再圧縮符号化できる。
【００６９】
なお、図６には示していないが、画像符号化部５がピクチャ６を再圧縮符号化するのと並行して、画像復号部１はピクチャ６の次に入力されるピクチャの復号を行っている。
【００７０】
以上のようにして、画質の劣化を抑えつつ、ピクチャ０〜６から構成される入力映像信号を高い圧縮率で再圧縮符号化した出力映像信号をリアルタイムに生成できる。
【００７１】
図２（ａ）に示す圧縮処理で圧縮符号化された入力映像信号が入力され、図２（ｂ）に示す圧縮処理で再圧縮符号化することを念頭に置いている場合、図６に示すように、メモリ１９は１つの符号化難易度を記憶できる容量があれば足りる。また、図１の画像処理装置が、図２とは異なる圧縮処理で圧縮符号化された入力映像信号が入力される場合、および、異なる圧縮処理で出力映像信号を生成する場合、想定される入出力映像信号に応じて符号化難易度を記憶可能なメモリ１９を設ければよい。例えば、Ｈ．２６４方式においては、任意のピクチャより復号順が前かつ表示順が後となる参照ピクチャの最大枚数は１６枚なので、Ｈ．２６４方式で圧縮符号化された入力映像信号が入力される場合、メモリ１９は１６個の符号化難易度を記憶できればよい。
【００７２】
このように、本実施形態では、画像処理装置内に符号化難易度補正部３を設け、入力映像信号を復号した信号を圧縮符号化する際の第１の符号化難易度を補正して第２の符号化難易度を生成する。符号化難易度補正部３は、出力映像信号の画像特性情報に基づいて第２の符号化難易度を生成するため、入力映像信号と出力映像信号とで、圧縮処理が異なる場合でも画質の劣化を抑えつつ、高い圧縮率で画像をリアルタイムに再圧縮符号化できる。
【００７３】
なお、入力映像信号はフレーム間予測を用いて圧縮符号化された信号であればよく、圧縮符号化方式はＭＰＥＧ−２およびＨ．２６４方式などには限られない。また、必ずしも入力映像信号より出力映像信号の圧縮率を高くすることを目的とせず、単に、圧縮方式と、圧縮符号化する際のピクチャタイプ、符号化順およびピクチャの参照関係と、の少なくとも一方を変換した出力映像信号を生成する場合にも適用でき、この場合も画質の劣化を抑えつつ出力映像信号を生成できる。
【００７４】
上述した実施形態で説明した画像処理システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００７５】
また、画像処理システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００７６】
上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００７７】
１  画像復号部
２  符号化難易度算出部
３  符号化難易度補正部
４  発生符号量制御部
５  画像符号化部
１１  第１の比較部
１２  第２の比較部
１３  第１の減算部
１４  乗算部
１５  加算部
１６  第２の減算部
１７  論理積算出部
１８  第１の選択部
１９  メモリ
２０  第２の選択部
【図１】
2011087001.tif 000003
【図２】
2011087001.tif 000004
【図３】
2011087001.tif 000005
【図４】
2011087001.tif 000006
【図５】
2011087001.tif 000007
【図６】
2011087001.tif 000008