(57)【要約】【課題】  入力された動画像信号に応じて、複雑度の情報を用いて符号化したり、複雑度の情報を用いることなく符号化したりできるようにする。【解決手段】  入力された動画像信号を符号化する符号化手段と、前記入力された動画像信号に係る動画像の複雑度を算出する複雑度算出手段と、前記複雑度算出手段により算出された複雑度の情報を用いて前記符号化手段が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化手段が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え手段とを設け、複雑度を用いないで生成された画像と比較して、ブロックノイズが目立ってしまって画質が悪化してしまう不都合が発生するのを防止できるようにする。【選択図】  図１
2006324807.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像信号を符号化する符号化手段と、
前記入力された動画像信号に係る動画像の複雑度を算出する複雑度算出手段と、
前記複雑度算出手段により算出された複雑度の情報を用いて前記符号化手段が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化手段が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え手段とを有することを特徴とする画像処理装置。
【請求項２】
前記符号化手段から出力される符号化動画像信号の目標データレートを任意に設定するレート設定手段を備え、
前記符号化モード切り替え手段は、前記レート設定手段により設定された目標データレートに応じて前記第１の符号化モードと第２の符号化モードとを切り替えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記レート設定手段は、第１のデータレートと、前記第１のデータレートよりも低い第２のデータレートとの間で前記目標データレートを設定可能であり、
前記符号化モード切り替え手段は、前記第１のデータレートが設定された場合には前記第１の符号化モードを選択し、前記第２のデータレートが選択された場合には前記第２の符号化モードを選択することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記符号化モード切り替え手段は、前記符号化手段から出力される符号化動画像信号のデータレートが前記レート設定手段により設定されたデータレートとなるように前記第１の符号化モードまたは第２の符号化モードを選択することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記符号化モード切り替え手段は、前記設定された目標データレートが所定のレートよりも低い場合には前記第２の符号化モードを選択することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記符号化手段より出力された符号化動画像信号の符号量を算出する符号量算出手段を備え、
前記符号化モード切り替え手段は、前記符号量算出手段により算出された符号量に基づいて前記第１の符号化モードと第２の符号化モードとを切り替えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記符号量算出手段は、前記符号化手段より出力された符号化動画像信号の符号量を、所定数の画素からなるブロック単位、所定数の前記ブロックからなるマクロブロック単位、所定数の前記マクロブロックからなるスライス単位、またはフレーム単位で算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記符号化手段は、前記入力された動画像信号の各フレームを複数のブロックに分割し、ブロック毎に参照フレームの画像信号との間の予測誤差を求める予測手段と、前記予測手段の出力を直交変換して直交変換係数を求める直交変換手段と、量子化コードを設定する量子化コード設定手段と、前記直交変換手段により求めた直交変換係数を前記量子化コード設定手段で設定された量子化スケール値で量子化して量子化係数を出力する量子化手段と、前記量子化係数を可変長符号化する可変長符号化手段とを有し、
前記量子化コード設定手段は、前記フレーム内におけるブロック毎に前記量子化スケール値を変更することにより各ブロックの符号量を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記複雑度算出手段は、前記動画像信号における空間的な周波数成分情報、ノイズ成分情報、フレーム間変化情報、またはフレーム間動きベクトル情報のうち、少なくとも一つを用いて前記複雑度を算出することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
前記符号化手段から出力された符号化動画像信号を記録媒体に記録する記録手段を備えたことを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
【請求項１１】
入力された動画像信号における各画面に対する割り当て符号量を動的に変化させながら前記動画像信号を符号化する符号化手段と、
前記動画像信号に係る動画像の複雑度を算出する複雑度算出手段と、
前記符号化手段から出力された符号化動画像信号の発生符号量を算出する符号量算出手段と、
前記複雑度算出手段により算出された複雑度の情報を用いて前記符号化手段が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化手段が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え手段とを有し、
前記符号化モード切り替え手段は、前記符号量算出手段の出力に基づいて前記第１の符号化モードと第２の符号化モードとを切り替えることを特徴とする画像処理装置。
【請求項１２】
前記符号化モード切り替え手段は、前記符号量算出手段により算出された符号量が所定値以上の場合前記第１の符号化モードを選択し、前記所定値よりも小さい場合には前記第２の符号化モードを選択することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
入力された動画像信号を符号化する符号化手段と、
前記符号化手段から出力される符号化動画像信号の目標データレートを複数のレートの間で設定するレート設定手段と、
前記動画像信号に係る動画像の複雑度を算出する複雑度算出手段と、
前記符号化手段から出力された符号化動画像信号の発生符号量を算出する符号量算出手段と、
前記複雑度算出手段により算出された複雑度の情報を用いて前記符号化手段が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化手段が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え手段とを有し、
前記符号化モード切り替え手段は、前記レート設定手段により設定された目標データレート、前記複雑度算出手段により算出された複雑度の情報及び前記符号量算出手段により算出された発生符号量に基づいて前記第１の符号化モードと第２の符号化モードとを切り替えることを特徴とする画像処理装置。
【請求項１４】
入力された動画像信号を符号化する符号化工程と、
前記入力された動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、
前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有することを特徴とする画像処理方法。
【請求項１５】
入力された動画像信号における各画面に対する割り当て符号量を動的に変化させながら前記動画像信号を符号化する符号化工程と、
前記動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、
前記符号化工程から出力された符号化動画像信号の発生符号量を算出する符号量算出工程と、
前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有し、
前記符号化モード切り替え工程は、前記符号量算出工程の出力に基づいて前記第１の符号化モードと第２の符号化モードとを切り替えることを特徴とする画像処理方法。
【請求項１６】
入力された動画像信号を符号化する符号化工程と、
前記符号化工程から出力される符号化動画像信号の目標データレートを複数のレートの間で設定するレート設定工程と、
前記動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、
前記符号化工程から出力された符号化動画像信号の発生符号量を算出する符号量算出工程と、
前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有し、
前記符号化モード切り替え工程は、前記レート設定工程により設定された目標データレート、前記複雑度算出工程により算出された複雑度の情報及び前記符号量算出工程により算出された発生符号量に基づいて前記第１の符号化モードと第２の符号化モードとを切り替えることを特徴とする画像処理方法。
【請求項１７】
入力された動画像信号を符号化する符号化工程と、
前記入力された動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、
前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有する画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１８】
入力された動画像信号における各画面に対する割り当て符号量を動的に変化させながら前記動画像信号を符号化する符号化工程と、
前記動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、
前記符号化工程から出力された符号化動画像信号の発生符号量を算出する符号量算出工程と、
前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有し、
前記符号化モード切り替え工程は、前記符号量算出工程の出力に基づいて前記第１の符号化モードと第２の符号化モードとを切り替える画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１９】
入力された動画像信号を符号化する符号化工程と、
前記符号化工程から出力される符号化動画像信号の目標データレートを複数のレートの間で設定するレート設定工程と、
前記動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、
前記符号化工程から出力された符号化動画像信号の発生符号量を算出する符号量算出工程と、
前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有し、
前記符号化モード切り替え工程は、前記レート設定工程により設定された目標データレート、前記複雑度算出工程により算出された複雑度の情報及び前記符号量算出工程により算出された発生符号量に基づいて前記第１の符号化モードと第２の符号化モードとを切り替える画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項２０】
前記請求項１７〜１９の何れか１項に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特に、動画像信号を符号化処理するために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、記録媒体にディスク媒体を用いたビデオカメラが製品化され始めた。ディスク媒体を使用したビデオカメラは、小型で持ち運びも容易であり、今後ますます普及していくと思われる。
【０００３】
このような機器では、動画像信号をＭＰＥＧ方式などにより圧縮符号化して記録媒体に記録する。圧縮符号化方式のうち、ＭＰＥＧ２においては、動画像を構成する各フレーム画像をマクロブロックと呼ばれる「16×16画素」のブロックに分割し、各マクロブロック単位に時間的に前または後に所定のフレーム分だけ離れた参照画像において、符号化対象ブロックとの間で最も差分が少なくなるブロックを算出して動きベクトルを求める。次に、この動きベクトルによって示されるブロックの画像信号と符号化対象ブロックの画像信号との差分（予測誤差）を求めるようにしている（動き補償予測技術）。
【０００４】
そして、予測誤差信号または符号化画素そのものに対して、直交変換の一種であるDCT（離散コサイン変換）、量子化、可変長符号化等の技術を用いて、情報量を圧縮する（変換符号化技術）ようにしている（例えば、特許文献１参照）。前記特許文献１においては、符号化を行う際に、ブロック毎に画像の複雑度という要素を利用して、画面内の各ブロックに対して割り当てる符号量を調整している。
【０００５】
【特許文献１】特開２００３−０３７８４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記従来技術の構成では、各マクロブロックの複雑度を求めるのに、マクロブロック中の原画像の画素値を利用しているため、実際に記録媒体に記録される符号化データのデータレートに関係なく、各マクロブロックの複雑度が決まってしまっていた。
【０００７】
そのため、目標データレートを低く設定した場合には、１フレームに割り当てられる符号量が少ない中で視覚特性に基づいた画面内の符号量の割り当てを行うので、複雑度を用いないで生成された画像と比較して、ブロックノイズが目立ってしまうなど、かえって画質が悪化してしまうという問題があった。
【０００８】
本発明は上述の問題点にかんがみ、入力された動画像信号を符号化する際に、前記入力された動画像信号に応じて、複雑度の情報を用いて符号化したり、複雑度の情報を用いることなく符号化したりできるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、入力された動画像信号を符号化する符号化手段と、前記入力された動画像信号に係る動画像の複雑度を算出する複雑度算出手段と、前記複雑度算出手段により算出された複雑度の情報を用いて前記符号化手段が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化手段が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え手段とを有することを特徴とする。
また、本発明の画像処理装置の他の特徴とするところは、入力された動画像信号における各画面に対する割り当て符号量を動的に変化させながら前記動画像信号を符号化する符号化手段と、前記動画像信号に係る動画像の複雑度を算出する複雑度算出手段と、前記符号化手段から出力された符号化動画像信号の発生符号量を算出する符号量算出手段と、前記複雑度算出手段により算出された複雑度の情報を用いて前記符号化手段が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化手段が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え手段とを有し、前記符号化モード切り替え手段は、前記符号量算出手段の出力に基づいて前記第１の符号化モードと第２の符号化モードとを切り替えることを特徴とする。
また、本発明のその他の特徴とするところは、入力された動画像信号を符号化する符号化手段と、前記符号化手段から出力される符号化動画像信号の目標データレートを複数のレートの間で設定するレート設定手段と、前記動画像信号に係る動画像の複雑度を算出する複雑度算出手段と、前記符号化手段から出力された符号化動画像信号の発生符号量を算出する符号量算出手段と、前記複雑度算出手段により算出された複雑度の情報を用いて前記符号化手段が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化手段が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え手段とを有し、前記符号化モード切り替え手段は、前記レート設定手段により設定された目標データレート、前記複雑度算出手段により算出された複雑度の情報及び前記符号量算出手段により算出された発生符号量に基づいて前記第１の符号化モードと第２の符号化モードとを切り替えることを特徴とする。
【００１０】
本発明の画像処理方法は、入力された動画像信号を符号化する符号化工程と、前記入力された動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有することを特徴とする。
また、本発明の画像処理方法の他の特徴とするところは、入力された動画像信号における各画面に対する割り当て符号量を動的に変化させながら前記動画像信号を符号化する符号化工程と、前記動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、前記符号化工程から出力された符号化動画像信号の発生符号量を算出する符号量算出工程と、前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有し、前記符号化モード切り替え工程は、前記符号量算出工程の出力に基づいて前記第１の符号化モードと第２の符号化モードとを切り替えることを特徴とする。
また、本発明の画像処理方法のその他の特徴とするところは、入力された動画像信号を符号化する符号化工程と、前記符号化工程から出力される符号化動画像信号の目標データレートを複数のレートの間で設定するレート設定工程と、前記動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、前記符号化工程から出力された符号化動画像信号の発生符号量を算出する符号量算出工程と、前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有し、前記符号化モード切り替え工程は、前記レート設定工程により設定された目標データレート、前記複雑度算出工程により算出された複雑度の情報及び前記符号量算出工程により算出された発生符号量に基づいて前記第１の符号化モードと第２の符号化モードとを切り替えることを特徴とする。
【００１１】
本発明のコンピュータプログラムは、  入力された動画像信号を符号化する符号化工程と、前記入力された動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有する画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のコンピュータプログラムの他の特徴とするところは、入力された動画像信号における各画面に対する割り当て符号量を動的に変化させながら前記動画像信号を符号化する符号化工程と、前記動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、前記符号化工程から出力された符号化動画像信号の発生符号量を算出する符号量算出工程と、前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有し、前記符号化モード切り替え工程は、前記符号量算出工程の出力に基づいて前記第１の符号化モードと第２の符号化モードとを切り替える画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のコンピュータプログラムのその他の特徴とするところは、入力された動画像信号を符号化する符号化工程と、前記符号化工程から出力される符号化動画像信号の目標データレートを複数のレートの間で設定するレート設定工程と、前記動画像信号に係る動画像の複雑度を算出する複雑度算出工程と、前記符号化工程から出力された符号化動画像信号の発生符号量を算出する符号量算出工程と、前記複雑度算出工程により算出された複雑度の情報を用いて前記符号化工程が符号化を行う第１の符号化モードと、前記複雑度の情報を用いることなく前記符号化工程が符号化を行う第２の符号化モードとを切り替える符号化モード切り替え工程とを有し、前記符号化モード切り替え工程は、前記レート設定工程により設定された目標データレート、前記複雑度算出工程により算出された複雑度の情報及び前記符号量算出工程により算出された発生符号量に基づいて前記第１の符号化モードと第２の符号化モードとを切り替える画像処理方法をコンピュータに実行させることを特徴とする。
【００１２】
本発明の記録媒体は、前記に記載のコンピュータプログラムを記録したことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、入力された動画像信号を符号化する際に、複雑度の情報を用いて符号化したり、複雑度の情報を用いることなく符号化したりすることを前記入力された動画像信号に応じて実行することができる。これにより、複雑度を用いないで生成された画像と比較して、ブロックノイズが目立ってしまって画質が悪化してしまう不都合が発生するのを防止することができ、使用者が好適な再生画像を楽しむことができるように記録媒体に画像を記録することができる。
【発明を実施するための最良の形態】
【００１４】
（第１の実施の形態）
以下、本発明の画像処理装置の第１の実施の形態を説明する。
図１は、本実施の形態の画像処理装置の構成例を示すブロック図である。図１を参照しながら本実施の形態における複雑度による符号化制御について説明する。本実施の形態では、ユーザが設定した画質（データレート）に応じて符号化画像データのデータレートを制御するようにしている。
【００１５】
図１において、１１は原画像データＳ１を入力する画像入力端子、１２は画像入力端子から入力された原画像データＳ１をマクロブロック単位に符号化する符号化部である。符号化部１２は、原画像データＳ１と局部復号データとに基づいて画像の変化を動きベクトル情報とし、この動きベクトル情報によってフレームメモリの読み出しを制御する動き補償部１５、原画像データＳ１を周波数領域の情報に変換する直交変換部１６、直交変換されたデータを量子化する量子化部１７、量子化部１７に量子化コードを設定する量子化コード設定部１９、量子化されたデータの冗長度を取り除く可変長符号化部（VLC）１８等により構成されている。
【００１６】
１３は入力された原画像データＳ１に対する複雑度情報を算出する複雑度算出部、１４は符号化部１２の符号化レートを設定する符号化レート設定部である。２０は可変長符号化部１８より発生した可変長符号の符号量を算出する発生符号量算出部、２１は符号化レート設定部１４より設定される符号化レートに従って、複雑度算出部１３より算出された複雑度情報の出力をオン、オフするスイッチ回路、２２は符号化部１２により符号化された画像データを記録媒体２３に記録する記録部である。
【００１７】
図２は、本実施の形態の画像処理装置における複雑度算出部１３の、量子化コード設定部１９に対する複雑度の設定の動作を示すフローチャートである。以下に、図２を用いて上記複雑度算出部１３の、複雑度の量子化コード設定部１９に対する複雑度の設定の動作について説明する。
【００１８】
まず、フレーム処理が開始すると、最初のステップＳ２１では各マクロブロックの複雑度を求める。前述したTest Model 5におけるステップ３では、複雑度の大きな部分、すなわち複雑な絵柄の部分では、量子化コードを大きくして粗く量子化し、逆に複雑度の小さな部分、すなわち平坦部では、量子化コードを小さくして細かく量子化するようにしている。各マクロブロックの複雑度は次の式のように求められる。
【００１９】
式(１)：actj = 1 + min(var_sblk)
なお、式（１）において、actjはマクロブロックjの複雑度、var_sblkは、サブブロックにおける原画における輝度信号の画素値の分散であり、式（２）のように表される。
式（２）：var_sblk = Σ(Pk − P)2 / 64
【００２０】
マクロブロック中の原画像の画素値（フレームDCTモードの４個の輝度信号ブロックとフィールドDCTモードの４個の輝度ブロック）を利用し、これらの画素値の分散のうちの最小値を取ることを意味する。
【００２１】
次に、ステップＳ２２では、ステップＳ２１で求めた複雑度から、正規化複雑度を求める。正規化複雑度は０．５〜２の範囲を取り、次の式（３）のように求められる。
式（３）：Nact(j) = (2 * actj + avg_act) / (actj + 2 * avg_act)
なお、式（３）において、avg_actは直前に符号化したピクチャにおける複雑度の平均値である。
【００２２】
次に、ステップＳ２３に進み、符号化レート設定部１４から符号化レートを取得する。次に、ステップＳ２４に進み、ステップＳ２３で取得した符号化レートが所定のレートＲ１より低いかどうかを判定する。所定のレートＲ１は、例えば画像処理装置の、高画質モードや長時間モードなどの各記録モードにおける符号化レートのうち、長時間モードなど、低画質の記録モードかどうかを判定するレートとする。
【００２３】
ステップＳ２４の判定の結果、ステップＳ２３で受け取った符号化レートが前記所定のレートＲ１より低ければ、ステップＳ２５へと分岐する。また、ステップＳ２３で受け取った符号化レートが所定のレートＲ１より高ければ、ステップＳ２５に分岐せずにステップＳ２６に進む。
【００２４】
ステップＳ２５では、複雑度算出部１３で算出した複雑度情報を量子化コード設定部１９に出力するか否かを切り替えるスイッチ回路２１をオフする。その後、ステップＳ２６に進んで、ステップＳ２２で求めた正規化複雑度を量子化コード設定部１９へと出力する。次に、ステップＳ２７において、全ての処理が終了したか否かを判断し、終了していない場合にはステップＳ２１に戻って前述した処理を繰り返し行う。
【００２５】
上記記録処理では、符号化レートが所定のレートＲ１より高い場合は、量子化コード設定部１９にてステップＳ２２で求めた正規化複雑度と、レート設定部１４より設定される符号化レート、発生符号量算出部２０より算出される発生符号量を用いて量子化部１７にて量子化を行うようにするため、視覚特性を利用した量子化コードを求めることができる（第１の符号化モード）。
【００２６】
また、符号化レートが所定のレートＲ１よりも低い場合には、ステップＳ２５においてスイッチ回路２１をオフにすることにより複雑度算出部１３の制御無しで、直交変換部１６で変換されたデータを量子化部１７にて量子化を行い、視覚特性を用いない量子化コードを求めることができる（第２の符号化モード）。
【００２７】
したがって、本実施の形態の画像処理装置においては、低い符号化レートでの記録処理の際に、視覚特性を用いないので、例えば、長時間モードなど低符号化レートの記録モードにおける記録処理において、視覚特性を用いるために生じてしまう、ブロックノイズが強調されるなどの画質の悪化を防止することが可能となり、使用者は好適な映像を楽しむことができる。
【００２８】
（第２の実施の形態）
次に、図３の本発明における画像処理装置の構成において、ＶＢＲ（可変ビットレート）で記録する場合の記録処理について説明する。ここで、可変ビットレートモードとは、符号化対象の画像の複雑度に応じて各画面に割り当てる符号量をダイナミックに変化させる方法である。
【００２９】
具体的には、複雑な絵柄の画面に対しては符号量を多く割り当て、比較的平坦な絵柄の画像に対しては符号量をより少なく割り当てる方法である。本実施の形態では、具体的な可変ビットレート方式については公知の技術を使用するが、直前に発生した符号化画像データの符号量を所定値と比較し、所定値よりも低くなった場合に複雑度情報を使用せずに符号化する。
【００３０】
図３において、３１は原画像データＳ１を入力する画像入力端子、３２は入力された原画像をマクロブロック単位に符号化する符号化部である。原画像データＳ１と局部復号データとに基づいて画像の変化を動きベクトル情報とし、この動きベクトルによってフレームメモリの読み出しを制御する動き補償部３５、原画像データＳ１を周波数領域の情報に変換する直交変換部３６、直交変換されたデータを量子化する量子化部３７、量子化部３７に量子化コードを設定する量子化コード設定部３９、量子化されたデータの冗長度を取り除く可変長符号化部（VLC）３８等により構成されている。
【００３１】
３３は入力された原画像データＳ１に対する複雑度情報を算出する複雑度算出部、３４は符号化部の符号化レートを設定する符号化レート設定部である。４０は、可変長符号化部３８より発生した可変長符号の符号量を算出する発生符号量算出部、４１は、発生符号量算出部４０によって求められる発生符号量に従って、複雑度算出部３３より算出された複雑度情報の出力をオン、オフするスイッチ回路である。
【００３２】
図４は、実施の形態における複雑度算出部３３の、量子化コード設定部３９に対する複雑度の設定の動作を示すフローチャートである。
以下、図４を用いて、可変ビットレートで記録する場合、上記複雑度算出部３３が量子化コード設定部３９に対して行う複雑度の設定の動作について説明する。
【００３３】
フレーム処理が開始されると、ステップＳ４１ではフレーム全体の各マクロブロックにおける複雑度を算出する。マクロブロック中の原画像の画素値（フレームDCTモードの４個の輝度信号ブロックとフィールドDCTモードの４個の輝度ブロック）を利用し、これらの画素値の分散のうちの最小値を取り、例えば前記式（１）のように定義されるマクロブロック毎の複雑度を求める。
【００３４】
次に、ステップＳ４２に進み、正規化複雑度を算出する。本実施の形態においては、ステップＳ４１で算出した各マクロブロックの複雑度と、直前に符号化したピクチャでの複雑度の平均から、前記式(３)のように定義される正規化複雑度を求める。次に、ステップＳ４３に進み、符号化レート設定部３４から符号化レートを取得する。本実施の形態では、例えばＧＯＰ(Group Of Picture)単位で各フレームに対する符号量を配分しているとする。
【００３５】
次に、ステップＳ４４に進み、符号化レート設定部３４から受け取る符号化レートと所定の符号量Ｎ２よりも小さいか否かを判定する。この判定は、符号化レート設定部３４から受け取る符号化レートがＧＯＰ単位で変化するので、記録モードによらず、ＧＯＰ単位に発生する符号量が所定の符号量Ｎ２より小さいかどうかを知るためである。
【００３６】
ステップＳ４４の判定の結果、ＧＯＰ単位に発生する符号量が所定の符号量Ｎ２よりも小さいならばステップＳ４５へと分岐する。また、ＧＯＰ単位に発生する符号量が所定の符号量Ｎ２よりも大きいならば、ステップＳ４５へ分岐せずにステップＳ４６に進む。
【００３７】
ステップＳ４５では、複雑度算出部３３で算出した複雑度情報を量子化コード設定部３９に出力するか否かを切り替えるスイッチ回路４１をオフする。その後、ステップＳ４６に進んで、ステップＳ４２で求めた正規化複雑度を量子化コード設定部３９へと出力する。次に、ステップＳ４７において全ての処理が終了したか否かを判断し、終了していない場合には、ステップＳ４１に戻って前述した処理を繰り返し行う。
【００３８】
上記の記録処理では、可変ビットレートでの記録処理において、GOP単位の発生符号量が大きい場合には、量子化コード設定部３９にて、ステップＳ４２で求めた正規化複雑度とレート設定部３４より設定される符号化レート、発生符号量算出部４０より算出される発生符号量を用いて量子化コードを算出し、量子化部３７にて量子化を行うため、視覚特性を利用した量子化コードを求めることができる。
【００３９】
一方、GOP単位の発生符号量が小さい場合は複雑度算出部３３の制御無しで、直交変換部３６で変換されたデータを量子化部３７にて量子化を行うようにしたので、視覚特性を用いないようにすることができる。このため、可変ビットレートでの記録処理においても、視覚特性を用いるために生じてしまう、ブロックノイズが強調されるなどの画質の悪化を防ぐことができ、使用者は好適な映像を楽しむことができる。
【００４０】
（本発明に係る他の実施の形態）
上述した本発明の実施の形態における画像処理装置を構成する各手段、並びに画像処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００４１】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００４２】
なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では図２、図４に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００４３】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００４４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００４５】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００４６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００４７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００４８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００４９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。
【００５０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施の形態における画像処理装置の構成を示すブロック図である。
【図２】本発明の実施の形態における複雑度設定処理のフローチャートである。
【図３】本発明の実施の形態における画像処理装置の構成を示すブロック図である。
【図４】本発明の実施の形態における複雑度設定処理のフローチャートである。
【符号の説明】
【００５２】
１１  画像入力端子
１２  符号化部
１３  複雑度算出部
１４  符号化レート設定部
１５  動き補償部
１６  直交変換部
１７  量子化部
１８  可変長符号化部
１９  量子化コード設定部
２１  スイッチ回路
２２  記録部
２３  記録媒体
Ｓ１  原画像データ
【図１】
2006324807.tif 000003
【図２】
2006324807.tif 000004
【図３】
2006324807.tif 000005
【図４】
2006324807.tif 000006