(57)【要約】【課題】容易に符号化効率や画質を向上できるようにする。【解決手段】動き検出部３２は、符号化順とされた入力画像を用いて動き検出を行い動きベクトルを算出する。符号化処理部３５は、符号化順とされたノイズ除去処理部２５からのノイズ除去画像を符号化処理してビットストリームを生成する。符号化処理では、動き検出部３２で算出した動きベクトルを用いる。ノイズ除去処理部２５は、表示順の入力画像のノイズ除去処理を行いノイズ除去画像を生成する。ノイズ除去処理では、動き検出部３２で算出した動きベクトルを、入力画像が表示順とされた場合の動きベクトルに変換して用いる。動き検出をノイズ除去と符号化でそれぞれ行う必要がなく、容易に符号化効率や画質を向上できる。【選択図】        図１
2013223007.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を用いて動き検出を行い動きベクトルを算出する動き検出部と、
前記動き検出部で算出された動きベクトルを用いて前記入力画像のノイズ除去処理を行いノイズ除去画像を生成するノイズ除去処理部と、
前記動き検出部で算出された動きベクトルを用いて、前記ノイズ除去処理部で生成されたノイズ除去画像の符号化処理を行う符号化処理部と
を備える画像処理装置。
【請求項２】
表示順である前記入力画像を用いて算出した動きベクトルを、前記入力画像が符号化順とされた場合の動きベクトルに変換し、または符号化順である前記入力画像を用いて算出した動きベクトルを、前記入力画像が表示順とされた場合の動きベクトルに変換する変換部をさらに備える
請求項１記載の画像処理装置。
【請求項３】
前記ノイズ除去処理部は、ノイズ除去処理を行う画像が表示順であるか符号化順であるかに応じて、対応する動きベクトルを用いてノイズ除去処理を行い、
前記符号化処理部は、符号化順における動きベクトルを用いて前記ノイズ除去画像の符号化処理を行う
請求項２記載の画像処理装置。
【請求項４】
前記変換部は、前記符号化順である入力画像のピクチャタイプに応じて生成された変換情報に基づき、前記動きベクトルの変換を行う
請求項３記載の画像処理装置。
【請求項５】
前記変換部は、前記変換情報は、変換前と変換後でのフレーム間距離および参照画像の時間方向の違いを示す情報である
請求項４記載の画像処理装置。
【請求項６】
前記変換部は、変換後の動きベクトル検出対象画像が変換前の動きベクトル検出対象画像または参照画像として用いられている動きベクトルを用いて、前記フレーム間距離および参照画像の時間方向の違いに基づき、前記変換後の動きベクトル検出対象画像の動きベクトルを算出する
請求項５記載の画像処理装置。
【請求項７】
前記変換部は、前記表示順である入力画像を用いて算出した動きベクトルを、入力画像が符号化順とされた場合の動きベクトルに変換する場合、符号化順におけるフレーム間に含まれる表示順の入力画像の動きベクトルを用いる
請求項４記載の画像処理装置。
【請求項８】
前記ノイズ除去処理部は、前記動き検出部から供給された動きベクトルまたは前記変換部から供給された変換後の動きベクトルを順次用いてノイズ除去処理を行う
請求項３記載の画像処理装置。
【請求項９】
前記ノイズ除去処理部は、前記動き検出部から供給された動きベクトルまたは前記変換部から供給された変換後の動きベクトルを用いて、該動きベクトルを算出した画像のノイズ除去処理を行う
請求項３記載の画像処理装置。
【請求項１０】
前記ノイズ除去処理部を前記符号化処理部に設け、符号化順の入力画像のノイズ除去処理を行う
請求項３記載の画像処理装置。
【請求項１１】
前記符号化処理部は、前記動き検出部で算出された動きベクトルを用いてグローバル動き補償画像を生成して、該グローバル動き補償画像を用いて前記ノイズ除去処理を行う
請求項１０記載の画像処理装置。
【請求項１２】
前記動き検出部は、前記入力画像を縮小した縮小画像を用いて動きベクトルを算出して、
前記符号化処理部は、前記縮小画像を用いて算出された動きベクトルを用いて前記グローバル動き補償画像を生成する
請求項１１記載の画像処理装置。
【請求項１３】
前記動き検出部は、入力画像とローカルデコード画像を用いてインター予測で用いる動きベクトルの算出を行い、該動きベクトルの算出では、前記縮小画像を用いて算出された動きベクトルに基づいて探索範囲を設定する
請求項１２記載の画像処理装置。
【請求項１４】
前記符号化処理部は、インター予測画像を用いて前記ノイズ除去処理を行う
請求項１０記載の画像処理装置。
【請求項１５】
入力画像を用いて動き検出を行い動きベクトルを算出する工程と、
算出された前記動きベクトルを用いて前記入力画像のノイズ除去処理を行いノイズ除去画像を生成する工程と、
算出された前記動きベクトルを用いて、前記ノイズ除去画像の符号化処理を行う工程とを
含む画像処理方法。
【請求項１６】
入力画像の画像処理をコンピュータで実行させるプログラムであって、
前記入力画像を用いて動き検出を行い動きベクトルを算出する手順と、
算出された前記動きベクトルを用いて前記入力画像のノイズ除去処理を行いノイズ除去画像を生成する手順と、
算出された前記動きベクトルを用いて、前記ノイズ除去画像の符号化処理を行う手順と
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関し、容易に符号化効率や画質を向上できるようにする。
【背景技術】
【０００２】
従来、動画像の画質を向上させるため、画像信号に対して時間軸でノイズを低減させる３次元のノイズ除去処理（３ＤＮＲ）が行われている。例えば特許文献１は、入力映像信号と１フレーム遅延映像信号との差分絶対値を閾値と比較して、差分絶対値が閾値より小さい時に遅延映像信号、それ以外の時に入力映像信号を選択する。この選択した映像信号と入力映像信号を平均化して入力映像信号の時間的な低周波数成分を算出する。また、算出した低周波成分と入力映像信号との差分である入力映像信号の時間的な高周波数成分が所定の振幅より小さな振幅の信号であるときノイズ信号とみなして除去あるいは抑制する。さらに、入力映像信号の時間的な低周波数成分とノイズの除去あるいは抑制が行われた高周波成分とを加算して出力映像信号を生成する。このような処理を行うことで、尾引きやボケを生ずることなくノイズ除去を行い、且つ必要なフレームメモリの数および容量が最小限に抑えている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３１８２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動画像の伝送や記録を行う場合、画像信号は符号化されて伝送または記録される。符号化では、ノイズが除去された画像信号を用いることで、ノイズによって符号量が増加してしまうことを防ぐことができる。しかし、３次元のノイズ除去処理を行うノイズ除去処理部と、ノイズ除去後であるノイズ除去画像の符号化処理を行う符号化処理部を個々に設けただけでは回路規模が大きくなってしまい、画像信号の処理も効率よく行うことができない。
【０００５】
そこで、本技術では、容易に符号化効率や画質を向上できる画像処理装置と画像処理方法およびプログラムを提供する。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、入力画像を用いて動き検出を行い動きベクトルを算出する動き検出部と、前記動き検出部で算出された動きベクトルを用いて前記入力画像のノイズ除去処理を行いノイズ除去画像を生成するノイズ除去処理部と、前記動き検出部で算出された動きベクトルを用いて、前記ノイズ除去処理部で生成されたノイズ除去画像の符号化処理を行う符号化処理部とを備える画像処理装置にある。
【０００７】
この技術では、動き検出部によって、表示順または符号化順の入力画像を用いて動き検出を行い動きベクトルが算出される。ノイズ除去処理部は、ノイズ除去処理を行う画像が表示順であるか符号化順であるかに応じて、対応する動きベクトルを用いてノイズ除去処理を行う。また、符号化処理部は、符号化順における動きベクトルを用いてノイズ除去処理後であるノイズ除去画像の符号化処理を行う。動きベクトルの算出に用いた入力画像とノイズ除去処理や符号化処理が行われる画像の順が異なる場合、例えば表示順である入力画像を用いて算出した動きベクトルを、入力画像が符号化順とされた場合の動きベクトルに変換し、または符号化順である入力画像を用いて算出した動きベクトルを、入力画像が表示順とされた場合の動きベクトルに変換して用いる。
【０００８】
動きベクトルの変換は、符号化順である入力画像のピクチャタイプに応じて生成された変換情報に基づいて行う。変換情報は、変換前と変換後でのフレーム間距離および参照画像の時間方向の違を示す情報を用いる。例えば、変換後の動きベクトル検出対象画像が変換前の動きベクトル検出対象画像または参照画像として用いられている動きベクトルを用いて、フレーム間距離および参照画像の時間方向の違いに基づき、変換後の動きベクトル検出対象画像の動きベクトルが算出される。また、表示順である入力画像を用いて算出した動きベクトルを、入力画像が符号化順とされた場合の動きベクトルに変換する場合、符号化順におけるフレーム間に含まれる表示順の入力画像の動きベクトルが用いられる。
【０００９】
ノイズ除去処理は、算出された動きベクトルまたは変換後の動きベクトルを順次用いて行われる。または、ノイズ除去処理は、算出された動きベクトルまたは変換後の動きベクトルを、この動きベクトルを算出した画像のノイズ除去処理に用いて行われる。
【００１０】
さらに、ノイズ除去処理部を符号化処理部が設けられて、符号化処理部は、動き検出部で算出された動きベクトルを用いてグローバル動き補償画像を生成して、該グローバル動き補償画像を用いてノイズ除去処理が行われる。また、動き検出部は、入力画像を縮小した縮小画像を用いて動きベクトルを算出して、符号化処理部は、縮小画像を用いて算出された動きベクトルを用いてグローバル動き補償画像が生成される。また、動き検出部は、入力画像とローカルデコード画像を用いてインター予測で用いる動きベクトルの算出を行い、該動きベクトルの算出では、縮小画像を用いて算出された動きベクトルに基づいて探索範囲の設定が行われる。また、符号化処理部は、インター予測画像を用いてノイズ除去処理が行われる。
【００１１】
この技術の第２の側面は、入力画像を用いて動き検出を行い動きベクトルを算出する工程と、算出された前記動きベクトルを用いて前記入力画像のノイズ除去処理を行いノイズ除去画像を生成する工程と、算出された前記動きベクトルを用いて、前記ノイズ除去画像の符号化処理を行う工程とを含む画像処理方法にある。
【００１２】
この技術の第３の側面は、入力画像の画像処理をコンピュータで実行させるプログラムであって、前記入力画像を用いて動き検出を行い動きベクトルを算出する手順と、算出された前記動きベクトルを用いて前記入力画像のノイズ除去処理を行いノイズ除去画像を生成する手順と、算出された前記動きベクトルを用いて、前記ノイズ除去画像の符号化処理を行う手順とを前記コンピュータで実行させるプログラムにある。
【００１３】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１４】
この技術によれば、入力画像を用いて動き検出を行い動きベクトルが算出されて、この算出された動きベクトルを用いて入力画像のノイズ除去処理や、ノイズ除去処理後のノイズ除去画像の符号化処理が行われる。このため、容易に符号化効率や画質を向上できる。また、３次元のノイズ除去処理を行うノイズ除去処理部とノイズ除去画像の符号化処理を行う符号化処理部にそれぞれ動き検出部を設ける必要がないことから回路規模を小さくできる。
【図面の簡単な説明】
【００１５】
【図１】第１実施例を示した図である。
【図２】第２実施例を示した図である。
【図３】第３実施例を示した図である。
【図４】第４実施例を示した図である。
【図５】第５実施例を示した図である。
【図６】第５実施例の動作を例示したフローチャートである。
【図７】第５実施例の他の構成を示した図である。
【図８】第６実施例を示した図である。
【図９】第６実施例の動作を例示したフローチャートである。
【図１０】第６実施例の他の構成を示した図である。
【図１１】ノイズ除去処理部の構成を例示した図である。
【図１２】ノイズ除去動作と符号化動作（符号化処理が「Ｍ３」の場合）を示している。
【図１３】ノイズ除去動作と符号化動作（符号化処理が「Ｍ２」の場合）を示している。
【図１４】ノイズ除去動作と符号化動作（符号化処理が「Ｍ１」の場合）を示している。
【図１５】ノイズ除去処理部の他の構成を例示した図である。
【図１６】ノイズ除去動作と符号化動作（符号化処理が「Ｍ３」で動きベクトルの遅延を許容した場合）を示している。ノイズ除去動作と符号化動作（符号化処理が「Ｍ３」の場合）を示している。
【図１７】ノイズ除去動作と符号化動作（符号化処理が「Ｍ２」で動きベクトルの遅延を許容した場合）を示している。
【図１８】ノイズ除去動作と符号化動作（符号化処理が「Ｍ１」で動きベクトルの遅延を許容した場合）を示している。
【図１９】表示順のフレーム画像を用いて算出した動きベクトルと、符号化処理を「Ｍ３」として符号化を行う場合の符号化順の動きベクトルを示した図である。
【図２０】スケーリングを用いて動きベクトルの変換を行う場合のノイズ除去動作と符号化動作を示している（処理対象画像のフレームを含む時間方向の動きベクトルを用いる場合）。
【図２１】スケーリングを用いて動きベクトルの変換を行う場合のノイズ除去動作と符号化動作を示している（参照画像のフレームを含む時間方向の動きベクトルを用いる場合）。
【図２２】動きベクトルの加算によって動きベクトルの変換を行う場合のノイズ除去動作と符号化動作を示している。
【図２３】第７実施例を示した図である。
【図２４】第７実施例の動作を例示したフローチャートである。
【図２５】第８実施例を示した図である。
【図２６】第８実施例の動作を例示したフローチャートである。
【図２７】第９実施例を示した図である。
【図２８】第９実施例の動作を例示したフローチャートである。
【図２９】第１０実施例を示した図である。
【図３０】ＳＡＤ補間を説明するための図である。
【図３１】第１０実施例の動作を例示したフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態について説明する。本技術では、ノイズ除去処理を行うノイズ除去処理部と符号化処理を行う符号化処理部において、動き検出部を共有することにより回路規模を削減する。また、３次元のノイズ除去処理が行われた画像信号を用いて符号化を行うことにより、符号化効率や画質を向上させる。なお、説明は以下の順で行う。
１．第１の実施の形態
１−１．第１実施例
１−２．第２実施例
１−３．第３実施例
１−４．第４実施例
２．第２の実施の形態
２−１．第５実施例
２−２．第６実施例
２−３．ノイズ除去処理部について
２−４．ノイズ除去動作と符号化動作
２−５．ノイズ除去処理部の他の構成について
３．第３の実施の形態
３−１．第７実施例
３−２．第８実施例
３−３．第９実施例
３−４．第１０実施例
【００１７】
＜１．第１の実施の形態＞
第１の実施の形態では、画像処理装置の基本構成について説明する。
【００１８】
［１−１．第１実施例］
図１は、第１実施例を示している。第１実施例において、画像処理装置１０は、ノイズ除去モジュール２０と符号化モジュール３０を備えており、符号化モジュール３０に動き検出部が設けられている。
【００１９】
入力画像は、ノイズ除去モジュール２０と符号化モジュール３０に入力される。ノイズ除去モジュール２０は、動きベクトル変換部２１とノイズ除去処理部２５を備えている。動きベクトル変換部２１は、符号化モジュール３０で算出された動きベクトルをノイズ除去処理に対応した動きベクトルに変換する。符号化モジュール３０では、表示順の入力画像を符号化順に並べ替えたのち動きベクトルを検出して、検出した動きベクトルを利用して符号化処理が行われる。したがって、動きベクトル変換部２１は、符号化順に並べ替えられた入力画像を用いて算出されている動きベクトルを、入力画像が表示順である場合の動きベクトルに変換する。ノイズ除去処理部２５は、動きベクトル変換部２１で変換された動きベクトルを用いて入力画像の３次元ノイズ除去処理を行い、ノイズ除去画像の画像信号を符号化モジュール３０に出力する。
【００２０】
符号化モジュール３０は、フレーム並べ替え部３１と動き検出部３２および符号化処理部３５を備えている。フレーム並べ替え部３１は、表示順の入力画像とノイズ除去画像を符号化順に並べ替える。動き検出部３２は、符号化順とされた入力画像、または符号化順とされた入力画像とノイズ除去画像を用いて動き検出を行い動きベクトルを算出する。符号化処理部３５は、符号化順とされたノイズ除去画像の画像信号を用いて符号化処理を行い、ビットストリームを生成して出力する。また、符号化処理部３５は、動き検出部３２で算出された動きベクトルを用いて符号化処理を行う。さらに、符号化モジュール３０は、算出した動きベクトルをノイズ除去モジュール２０に出力する。
【００２１】
このように、第１実施例において、ノイズ除去モジュール２０では３次元のノイズ除去処理が行われて、符号化モジュール３０ではノイズ除去画像を用いて符号化処理が行われる。また、符号化モジュール３０に設けられている動き検出部３２で算出された動きベクトルがノイズ除去モジュール２０で利用されて、ノイズ除去モジュール２０と符号化モジュール３０のそれぞれに動き検出部を設ける必要がない。したがって、３次元ノイズ除去処理を行うために動き検出部が設けられている従来のノイズ除去モジュールと、符号化処理を行うために動き検出部が設けられている従来の符号化モジュールとを個々に設けた場合に比べて、回路規模を小さくできる。特に、動き検出部の回路規模は大きいことから、ノイズ除去モジュール２０と符号化モジュール３０のそれぞれに動き検出部を設ける必要がないため回路規模が押さえられる効果が高い。したがって、ノイズ除去モジュール２０と符号化モジュール３０をハードウェア実装する際にその効果が顕著である。また、小さい回路規模でノイズ除去およびノイズが除去された画像の符号化が可能となることから、容易に符号化効率や画質を向上できる。
【００２２】
［１−２．第２実施例］
図２は、第２実施例を示している。第２の実施例において、画像処理装置１０は、ノイズ除去モジュール２０と符号化モジュール３０を備えており、ノイズ除去モジュール２０に動き検出部が設けられている。
【００２３】
入力画像は、ノイズ除去モジュール２０と符号化モジュール３０に入力される。ノイズ除去モジュール２０は、動き検出部２２とノイズ除去処理部２５を備えている。動き検出部２２は、表示順の入力画像を用いて動き検出を行い動きベクトルを算出する。ノイズ除去処理部２５は、動き検出部２２で算出された動きベクトルを用いて入力画像の３次元ノイズ除去処理を行い、ノイズ除去画像の画像信号を符号化モジュール３０に出力する。
【００２４】
符号化モジュール３０は、フレーム並べ替え部３１と動きベクトル変換部３３および符号化処理部３５を備えている。フレーム並べ替え部３１は、表示順のノイズ除去画像を符号化順に並べ替える。動きベクトル変換部３３は、ノイズ除去モジュール２０において表示順の入力画像を用いて算出されている動きベクトルを、入力画像が符号化順である場合の動きベクトルに変換する。符号化処理部３５は、符号化順とされたノイズ除去画像の画像信号を用いて符号化処理を行い、ビットストリームを生成して出力する。また、符号化処理部３５は、動きベクトル変換部３３で変換された動きベクトルを用いて符号化処理を行う。
【００２５】
このように、第２実施例において、ノイズ除去モジュール２０では３次元のノイズ除去処理が行われて、符号化モジュール３０ではノイズ除去画像を用いて符号化処理が行われる。また、ノイズ除去モジュール２０に設けられている動き検出部２２で算出された動きベクトルが符号化モジュール３０で利用されて、ノイズ除去モジュール２０と符号化モジュール３０のそれぞれに動き検出部を設ける必要がない。したがって、第１実施例と同様に、画像処理装置の回路規模を小さくできる。また、容易に符号化効率や画質を向上できる。
【００２６】
［１−３．第３実施例］
図３は、第３の実施例を示している。第３実施例において、画像処理装置１０は、ノイズ除去モジュール２０と符号化モジュール３０および動き検出モジュール４０を備えている。
【００２７】
入力画像は、ノイズ除去モジュール２０と動き検出モジュール４０に入力される。ノイズ除去モジュール２０は、動きベクトル変換部２１とノイズ除去処理部２５を備えている。動きベクトル変換部２１は、動き検出モジュール４０で生成された動きベクトルをノイズ除去処理に対応した動きベクトルに変換する。動きベクトル変換部２１は、動き検出モジュール４０において例えば符号化順に並べ替えられた入力画像を用いて動き検出を行い動きベクトルが算出されている場合、入力画像が表示順である場合の動きベクトルに変換する。ノイズ除去処理部２５は、動きベクトル変換部２１からの変換後の動きベクトルを用いて入力画像の３次元のノイズ除去処理を行い、ノイズ除去画像の画像信号を符号化モジュール３０に出力する。
【００２８】
符号化モジュール３０は、フレーム並べ替え部３１と符号化処理部３５を備えている。フレーム並べ替え部３１は、表示順のノイズ除去画像を符号化順に並べ替えを行う。符号化処理部３５は、符号化順とされたノイズ除去画像の画像信号の符号化処理を行い、ビットストリームを生成して出力する。また、符号化処理部３５は、動き検出モジュール４０で算出された動きベクトルを用いて符号化処理を行う。
【００２９】
動き検出モジュール４０は、フレーム並べ替え部４１と動き検出部４２を備えている。フレーム並べ替え部４１は、表示順の入力画像を符号化順に並べ替える。動き検出部４２は、符号化順とされた入力画像の画像信号を用いて動き検出を行い、動きベクトルを算出して、ノイズ除去モジュール２０と符号化モジュール３０に出力する。
【００３０】
このように、第３実施例において、ノイズ除去モジュール２０では３次元のノイズ除去処理が行われて、符号化モジュール３０ではノイズ除去画像を用いて符号化処理が行われる。また、動き検出モジュール４０に設けられている動き検出部４２で算出された動きベクトルがノイズ除去モジュール２０と符号化モジュール３０で利用されて、ノイズ除去モジュール２０と符号化モジュール３０のそれぞれに動き検出部を設ける必要がない。したがって、第１実施例や第２実施例と同様に、画像処理装置の回路規模を小さくできる。また、容易に符号化効率や画質を向上できる。
【００３１】
［１−４．第４実施例］
第３実施例では、表示順の入力画像を符号化順に並べ替えから動きベクトルの算出が行われているが、表示順の入力画像を用いて動きベクトルを算出してもよい。図４に示す第４実施例では、表示順の入力画像を用いて動きベクトルを算出する場合を示している。
【００３２】
入力画像は、ノイズ除去モジュール２０と動き検出モジュール４０に入力される。ノイズ除去モジュール２０は、ノイズ除去処理部２５を備えている。ノイズ除去処理部２５は、動き検出モジュール４０から供給された動きベクトルを用いて入力画像の３次元のノイズ除去処理を行い、ノイズ除去画像の画像信号を符号化モジュール３０に出力する。
【００３３】
符号化モジュール３０は、フレーム並べ替え部３１と動きベクトル変換部３３および符号化処理部３５を備えている。フレーム並べ替え部３１は、表示順のノイズ除去画像を符号化順に並べ替えを行う。動きベクトル変換部３３は、動き検出モジュール４０で算出された動きベクトルを符号化順の入力画像に対応した動きベクトルに変換する。動きベクトル変換部３３は、動き検出モジュール４０において例えば表示順の入力画像を用いて動き検出を行い動きベクトルが算出されている場合、入力画像が符号化順である場合の動きベクトルに変換する。符号化処理部３５は、符号化順とされたノイズ除去画像の画像信号の符号化処理を行い、ビットストリームを生成して出力する。また、符号化処理部３５は、動きベクトル変換部３３で符号化順序に変換した動きベクトルを用いて符号化処理を行う。
【００３４】
動き検出モジュール４０は、動き検出部４２を備えている。動き検出部４２は、入力画像を用いて動き検出を行い動きベクトルを算出する。動き検出部４２は、算出した動きベクトルをノイズ除去モジュール２０と符号化モジュール３０に出力する。
【００３５】
このように、第４実施例において、ノイズ除去モジュール２０では３次元のノイズ除去処理が行われて、符号化モジュール３０ではノイズ除去画像を用いて符号化処理が行われる。また、動き検出モジュール４０に設けられている動き検出部４２で算出された動きベクトルがノイズ除去モジュール２０と符号化モジュール３０で利用されて、ノイズ除去モジュール２０と符号化モジュール３０のそれぞれに動き検出部を設ける必要がない。したがって、第３実施例と同様に、画像処理装置の回路規模を小さくすることができる。また、容易に符号化効率や画質を向上できる。
【００３６】
＜２．第２の実施の形態＞
第２の実施の形態では、アルゴリズムについて説明する。
【００３７】
［２−１．第５実施例］
図５は、第５実施例を示している。なお、第５実施例は符号化順とされた画像を用いて動きベクトルを算出する場合である。
【００３８】
画像処理装置５０は、フレーム並べ替え部５１とフレームバッファ５２、動き検出部５４を備えている。また、画像処理装置５０は、フレームタイプ判別部５５、動きベクトル変換部５６、遅延調整部６１、ノイズ除去処理部６２を備えている。さらに、画像処理装置５０は、フレーム並べ替え部７１、遅延調整部７４、符号化処理部７５を備えている。
【００３９】
入力画像は、フレーム並べ替え部５１とフレームタイプ判別部５５および遅延調整部６１に供給される。また、符号化タイプ情報は、フレームタイプ判別部５５と符号化処理部７５に供給される。符号化タイプ情報は、フレーム画像をいずれのピクチャタイプとして符号化するか指示する情報である。
【００４０】
フレーム並べ替え部５１は、入力画像を表示順から符号化順に並べ替えて、フレームバッファ５２と動き検出部５４に出力する。動き検出部５４は、フレーム並べ替え部５１から供給されたフレーム画像とフレームバッファ５２に記憶されているフレーム画像を用いて、すなわち符号化順でフレーム画像を用いて動き検出を行い動きベクトルを算出する。動き検出部５４は、算出した動きベクトルを動きベクトル変換部５６と遅延調整部７４に出力する。
【００４１】
フレームタイプ判別部５５は、符号化タイプ情報に基づき、符号化順における動きベクトルを、表示順における動きベクトルに変換するための変換情報を、符号化順である入力画像のピクチャタイプに応じて生成する。例えば、フレームタイプ判別部５５は、符号化タイプ情報に基づき、表示順における画像のフレーム間隔が符号化順の画像では何フレームに相当するかフレーム間距離を算出する。また、フレームタイプ判別部５５は、符号化タイプ情報に基づき、符号化処理において参照画像（リファレンス画像）が符号化処理の対象画像（カレント画像）に対していずれの時間方向であるかに応じて反転フラグの設定を行う。フレームタイプ判別部５５は、フレーム間距離と反転フラグを変換情報として動きベクトル変換部５６に出力する。
【００４２】
動きベクトル変換部５６は、変換情報に基づき、動き検出部５４から供給された符号化順における動きベクトルを、表示順における動きベクトルに変換する処理を行う。すなわち、動きベクトル変換部２１は、符号化順に並べ替えられた入力画像を用いて算出されている動きベクトルを、入力画像が表示順である場合の動きベクトルに変換する。動きベクトル変換部５６は、変換後の動きベクトルをノイズ除去処理部６２に出力する。
【００４３】
遅延調整部６１は、動きベクトル変換部５６からノイズ除去処理部６２に供給される動きベクトルと同期するように、入力画像を遅延させてノイズ除去処理部６２に供給する。例えば、遅延調整部６１は、入力画像を符号化順に並べ替える処理、符号化順の画像を用いて動きベクトルを算出する処理、および符号化順における動きベクトルを表示順の動きベクトルに変換する処理の各処理時間の合計時間分だけ入力画像を遅延させる。
【００４４】
ノイズ除去処理部６２は、動きベクトルを用いて入力画像の３次元ノイズ除去処理を行い、ノイズ除去画像をフレーム並べ替え部７１に出力する。なお、ノイズ除去処理部６２については後述する。
【００４５】
フレーム並べ替え部７１は、ノイズ除去画像を符号化順に並べ替えて符号化処理部７５に出力する。
【００４６】
遅延調整部７４は、フレーム並べ替え部７１から符号化処理部７５に供給される符号化順のノイズ除去画像と、動き検出部５４で算出した動きベクトルが同期するように、動きベクトルを遅延させて符号化処理部７５に出力する。例えば、遅延調整部７４は、符号化順における動きベクトルを表示順の動きベクトルに変換する処理、ノイズ除去処理、フレーム並べ替えの各処理時間の合計時間分だけ動きベクトルを遅延させる。
【００４７】
符号化処理部７５は、ノイズ除去画像の符号化処理を、動き検出部５４で算出された動きベクトルを利用して行い、ビットストリームを生成して出力する。
【００４８】
図６は、第５実施例の動作を例示したフローチャートである。ステップＳＴ１で画像処理装置５０は、入力画像を符号化順に並べ替える。画像処理装置５０は、入力画像を表示順から符号化順に並べ替えてステップＳＴ２に進む。
【００４９】
ステップＳＴ２で画像処理装置５０は、動き検出を行う。画像処理装置５０は、符号化順に並べ替えられた画像を用いて動き検出を行いステップＳＴ３に進む。
【００５０】
ステップＳＴ３で画像処理装置５０は、変換情報の生成を行う。画像処理装置５０は、フレーム画像をいずれのピクチャタイプで符号化するかに応じて、フレーム間距離の算出と反転フラグの設定を行う。画像処理装置５０は、算出されたフレーム間距離と設定された反転フラグを変換情報としてステップＳＴ４に進む。
【００５１】
ステップＳＴ４で画像処理装置５０は、動きベクトル変換処理を行う。画像処理装置５０は、変換情報に基づき、符号化順の画像を用いて算出した動きベクトルを、画像が表示順である場合の動きベクトルに変換してステップＳＴ５に進む。
【００５２】
ステップＳＴ５で画像処理装置５０は、ノイズ除去処理を行う。画像処理装置５０は、変換後の動きベクトルを用いて３次元ノイズ除去処理を行いステップＳＴ６に進む。
【００５３】
ステップＳＴ６で画像処理装置５０は、ノイズ除去画像を符号化順に並べ替える。画像処理装置５０は、ノイズ除去画像を表示順から符号化順に並べ替えてステップＳＴ７に進む。
【００５４】
ステップＳＴ７で画像処理装置５０は、符号化処理を行う。画像処理装置５０は、符号化順とされたノイズ除去画像の符号化処理をステップＳＴ２で算出された動きベクトルを用いて行い、ビットストリームを生成する。
【００５５】
このように、第５実施例において、ノイズ除去処理部６２では３次元のノイズ除去処理が行われて、符号化処理部７５ではノイズ除去画像を用いて符号化処理が行われる。また、動き検出部５４で算出された動きベクトルがノイズ除去処理部６２と符号化処理部７５で利用されて、ノイズ除去および符号化のそれぞれで動き検出を行う必要がない。したがって、３次元ノイズ除去処理を行うための動き検出部と符号化処理を行うための動き検出部を個々に設ける従来の装置に比べて、画像処理装置の回路規模を小さくすることが可能となり、容易に符号化効率や画質を向上できる。
【００５６】
また、図５に示す一点鎖線の位置で処理を区分してそれぞれモジュール化すれば、上述の第１実施例と同様な構成となる。さらに、二点鎖線で示す処理をモジュール化すれば、上述の第３実施例と同様な構成となる。
【００５７】
ところで、図５に示す第５実施例では、入力画像を動き検出における参照画像として用いる場合を示しているが、ノイズ除去画像を参照画像として用いれば、動きベクトルの算出においてノイズの影響を少なくできる。
【００５８】
図７は、第５実施例の他の構成として、ノイズ除去画像を参照画像として用いる場合を示している。画像処理装置５０は、フレーム並べ替え部５１、遅延調整部５３、動き検出部５４を備えている。また、画像処理装置５０は、フレームタイプ判別部５５、動きベクトル変換部５６、遅延調整部６１、ノイズ除去処理部６２を備えている。さらに、画像処理装置５０は、フレーム並べ替え部７１、遅延調整部７４、符号化処理部７５を備えている。
【００５９】
入力画像は、フレーム並べ替え部５１とフレームタイプ判別部５５および遅延調整部６１に供給される。また、符号化タイプ情報は、フレームタイプ判別部５５と符号化処理部７５に供給される。なお、符号化タイプ情報は、フレーム画像をいずれのピクチャタイプとして符号化するか指示する情報である。
【００６０】
フレーム並べ替え部５１は、入力画像を表示順から符号化順に並べ替えて、動き検出部５４に出力する。遅延調整部５３は、ノイズ除去処理部６２から出力されたノイズ除去画像を、このノイズ除去画像が動きベクトルの算出における参照画像となるタイミング（符号化順における前フレームのタイミング）で動き検出部５４に出力する。
【００６１】
動き検出部５４は、フレーム並べ替え部５１と遅延調整部５３から供給されたフレーム画像を用いて、すなわち符号化順でフレーム画像を用いて動き検出を行い動きベクトルを算出する。動き検出部５４は、算出した動きベクトルを動きベクトル変換部５６と遅延調整部７４に出力する。
【００６２】
フレームタイプ判別部５５は、符号化タイプ情報に基づき、符号化順における動きベクトルを、表示順における動きベクトルに変換するための変換情報を、符号化順である入力画像のピクチャタイプに応じて生成する。例えば、フレームタイプ判別部５５は、符号化タイプ情報に基づき、表示順における画像のフレーム間隔が符号化順の画像では何フレームに相当するかフレーム間距離を算出する。また、フレームタイプ判別部５５は、符号化タイプ情報に基づき、符号化処理において参照画像が符号化処理の対象画像に対していずれの時間方向であるかに応じて反転フラグの設定を行う。フレームタイプ判別部５５は、フレーム間距離と反転フラグを変換情報として動きベクトル変換部５６に出力する。
【００６３】
動きベクトル変換部５６は、変換情報に基づき、動き検出部５４から供給された符号化順における動きベクトルを、表示順における動きベクトルに変換する処理を行う。すなわち、動きベクトル変換部２１は、符号化順に並べ替えられた入力画像を用いて算出されている動きベクトルを、入力画像が表示順である場合の動きベクトルに変換する。動きベクトル変換部５６は、変換後の動きベクトルをノイズ除去処理部６２に出力する。
【００６４】
遅延調整部６１は、動きベクトル変換部５６からノイズ除去処理部６２に供給される動きベクトルと同期するように、入力画像を遅延させてノイズ除去処理部６２に供給する。例えば、遅延調整部６１は、入力画像を符号化順に並べ替える処理、符号化順で画像を用いて動きベクトルを算出する処理、および符号化順における動きベクトルを表示順の動きベクトルに変換する処理の各処理時間の合計時間分だけ入力画像を遅延させる。
【００６５】
ノイズ除去処理部６２は、動きベクトルを用いて入力画像の３次元ノイズ除去処理を行い、ノイズ除去画像をフレーム並べ替え部７１と遅延調整部５３に出力する。
【００６６】
フレーム並べ替え部７１は、ノイズ除去画像を符号化順に並べ替えて符号化処理部７５に出力する。
【００６７】
遅延調整部７４は、フレーム並べ替え部７１から符号化処理部７５に供給される符号化順のノイズ除去画像と、動き検出部５４で算出した動きベクトルが同期するように、動きベクトルを遅延させて符号化処理部７５に出力する。例えば、遅延調整部７４は、符号化順における動きベクトルを表示順の動きベクトルに変換する処理、ノイズ除去処理、フレーム並べ替えの各処理時間の合計時間分だけ動きベクトルを遅延させる。
【００６８】
符号化処理部７５は、ノイズ除去画像の符号化処理を、動き検出部５４で算出された動きベクトルを利用して行い、ビットストリームを生成して出力する。
【００６９】
［２−２．第６実施例］
図８は、第６実施例を示している。なお、第６実施例は表示順とされた画像を用いて動きベクトルを算出する場合である。
【００７０】
画像処理装置５０は、フレームバッファ５２、動き検出部５４を備えている。また、画像処理装置５０は、遅延調整部６１、ノイズ除去処理部６２を備えている。さらに、画像処理装置５０は、フレーム並べ替え部７１、フレームタイプ判別部７２、動きベクトル変換部７３、遅延調整部７４、符号化処理部７５を備えている。
【００７１】
入力画像は、フレームバッファ５２と動き検出部５４および遅延調整部６１に供給される。また、符号化タイプ情報は、フレームタイプ判別部７２と符号化処理部７５に供給される。なお、符号化タイプ情報は、フレーム画像をいずれのピクチャタイプとして符号化するか指示する情報である。
【００７２】
フレームバッファ５２は、供給された入力画像を記憶する。また、フレームバッファ５２は、記憶している入力画像を読み出して動き検出部５４に出力する。動き検出部５４は、入力画像とフレームバッファ５２に記憶されている画像を用いて、すなわち表示順に画像を用いて動き検出を行い動きベクトルを算出する。動き検出部５４は、算出した動きベクトルをノイズ除去処理部６２と動きベクトル変換部７３に出力する。
【００７３】
遅延調整部６１は、動きベクトル変換部５６からノイズ除去処理部６２に供給される動きベクトルと同期するように、入力画像を遅延させてノイズ除去処理部６２に供給する。例えば、遅延調整部６１は、表示順の入力画像を用いて動きベクトルを算出する処理に要する時間だけ入力画像を遅延させる。
【００７４】
ノイズ除去処理部６２は、動き検出部５４で算出された動きベクトルを用いて入力画像の３次元ノイズ除去処理を行い、ノイズ除去画像をフレーム並べ替え部７１に出力する。
【００７５】
フレーム並べ替え部７１は、ノイズ除去画像を符号化順に並べ替えて符号化処理部７５に出力する。
【００７６】
フレームタイプ判別部７２は、符号化タイプ情報に基づき、表示順における動きベクトルを、符号化順における動きベクトルに変換するための変換情報を、符号化順である入力画像のピクチャタイプに応じて生成する。例えば、フレームタイプ判別部７２は、符号化タイプ情報に基づき、符号化順におけるフレーム画像の間隔が表示順の画像では何フレームに相当するかフレーム間距離を算出する。また、フレームタイプ判別部７２は、符号化タイプ情報に基づき、いずれの時間方向の画像を参照して符号化を行うかに応じて反転フラグの設定を行う。フレームタイプ判別部７２は、フレーム間距離と反転フラグを変換情報として動きベクトル変換部７３に出力する。
【００７７】
動きベクトル変換部７３は、変換情報に基づき、動き検出部５４から供給された表示順における動きベクトルを、符号化順における動きベクトルに変換する処理を行う。すなわち、動きベクトル変換部７３は、表示順の入力画像を用いて算出されている動きベクトルを、入力画像が符号化順である場合の動きベクトルに変換する。動きベクトル変換部７３は、変換後の動きベクトルを遅延調整部７４に出力する。
【００７８】
遅延調整部７４は、フレーム並べ替え部７１から符号化処理部７５に供給される符号化順のノイズ除去画像と、動きベクトル変換部７３で得られた動きベクトルが同期するように、動きベクトルを遅延させて符号化処理部７５に出力する。例えば、遅延調整部７４は、ノイズ除去処理やノイズ除去画像を符号化順に並べ替える処理等に要する時間分だけ動きベクトルを遅延させる。
【００７９】
符号化処理部７５は、ノイズ除去画像の符号化処理を、動きベクトル変換部７３で得られた動きベクトルを利用して行い、ビットストリームを生成して出力する。
【００８０】
図９は、第６実施例の動作を例示したフローチャートである。ステップＳＴ１１で画像処理装置５０は、動き検出を行う。画像処理装置５０は、表示順の入力画像を用いて動き検出を行いステップＳＴ１２に進む。
【００８１】
ステップＳＴ１２で画像処理装置５０は、変換情報の生成を行う。画像処理装置５０は、符号化順におけるフレーム画像の間隔が表示順の画像では何フレームに相当するかフレーム間距離を算出する。また、画像処理装置５０は、いずれの時間方向の画像を参照して符号化を行うかに応じて反転フラグの設定を行う。画像処理装置５０は、算出されたフレーム間距離と設定された反転フラグを変換情報としてステップＳＴ１３に進む。
【００８２】
ステップＳＴ１３で画像処理装置５０は、ノイズ除去処理を行う。画像処理装置５０は、変換後の動きベクトルを用いて３次元ノイズ除去処理を行いステップＳＴ１４に進む。
【００８３】
ステップＳＴ１４で画像処理装置５０は、ノイズ除去画像を符号化順に並べ替える。画像処理装置５０は、ノイズ除去画像を表示順から符号化順に並べ替えてステップＳＴ１５に進む。
【００８４】
ステップＳＴ１５で画像処理装置５０は、動きベクトル変換処理を行う。画像処理装置５０は、変換情報に基づき、表示順の画像を用いて算出した動きベクトルを、画像が符号化順である場合の動きベクトルに変換してステップＳＴ１６に進む。
【００８５】
ステップＳＴ１６で画像処理装置５０は、符号化処理を行う。画像処理装置５０は、ステップＳＴ１５で算出された動きベクトルを用いて符号化順とされたノイズ除去画像の符号化処理を行い、ビットストリームを生成する。
【００８６】
このように、第６実施例において、ノイズ除去処理部６２では３次元のノイズ除去処理が行われて、符号化処理部７５ではノイズ除去画像を用いて符号化処理が行われる。また、動き検出部５４で算出された動きベクトルがノイズ除去処理部６２と符号化処理部７５で利用されて、ノイズ除去および符号化のそれぞれで動き検出を行う必要がない。したがって、第５実施例と同様に、３次元ノイズ除去処理を行うための動き検出部と符号化処理を行うための動き検出部を個々に設ける従来の装置に比べて、画像処理装置の回路規模を小さくすることが可能となり、容易に符号化効率や画質を向上できる。
【００８７】
また、図８に示す一点鎖線の位置で処理を区分してそれぞれモジュール化すれば、上述の第２実施例と同様な構成となる。さらに、二点鎖線で示す処理をモジュール化すれば、上述の第４実施例と同様な構成となる。
【００８８】
ところで、図８に示す第６実施例では、入力画像を動き検出における参照画像として用いる場合を示しているが、ノイズ除去画像を参照画像として用いれば、動きベクトルの算出においてノイズの影響を少なくできる。
【００８９】
図１０は、第６実施例の他の構成として、ノイズ除去画像を参照画像として用いる場合を示している。画像処理装置５０は、遅延調整部５３、動き検出部５４を備えている。また、画像処理装置５０は、遅延調整部６１、ノイズ除去処理部６２を備えている。さらに、画像処理装置５０は、フレーム並べ替え部７１、フレームタイプ判別部７２、動きベクトル変換部７３、遅延調整部７４、符号化処理部７５を備えている。
【００９０】
入力画像は、動き検出部５４と遅延調整部６１に供給される。また、符号化タイプ情報は、フレームタイプ判別部７２と符号化処理部７５に供給される。なお、符号化タイプ情報は、フレーム画像をいずれのピクチャタイプとして符号化するか指示する情報である。
【００９１】
遅延調整部５３は、ノイズ除去処理部６２から出力されたノイズ除去画像を、このノイズ除去画像が動きベクトルの算出における参照画像となるタイミング（符号化順における前フレームのタイミング）で動き検出部５４に出力する。動き検出部５４は、入力画像と遅延調整部５３から供給された画像を用いて、すなわち表示順で画像を用いて動き検出を行い動きベクトルを算出する。動き検出部５４は、算出した動きベクトルをノイズ除去処理部６２と動きベクトル変換部７３に出力する。
【００９２】
遅延調整部６１は、動き検出部５４からノイズ除去処理部６２に供給される動きベクトルと同期するように、入力画像を遅延させてノイズ除去処理部６２に供給する。例えば、遅延調整部６１は、表示順で画像を用いて動きベクトルを算出する処理に要する時間だけ入力画像を遅延させる。
【００９３】
ノイズ除去処理部６２は、動きベクトルを用いて入力画像の３次元ノイズ除去処理を行い、ノイズ除去画像をフレーム並べ替え部７１と遅延調整部５３に出力する。
【００９４】
フレーム並べ替え部７１は、ノイズ除去画像を符号化順に並べ替えて符号化処理部７５に出力する。
【００９５】
フレームタイプ判別部７２は、符号化タイプ情報に基づき、表示順における動きベクトルを、符号化順における動きベクトルに変換するための変換情報を、符号化順である入力画像のピクチャタイプに応じて生成する。例えば、フレームタイプ判別部７２は、符号化タイプ情報に基づき、符号化順におけるフレーム画像の間隔が表示順の画像では何フレームに相当するかフレーム間距離を算出する。また、フレームタイプ判別部７２は、符号化タイプ情報に基づき、いずれの時間方向の画像を参照して符号化を行うかに応じて反転フラグの設定を行う。フレームタイプ判別部７２は、フレーム間距離と反転フラグを変換情報として動きベクトル変換部７３に出力する。
【００９６】
動きベクトル変換部７３は、変換情報に基づき、動き検出部５４から供給された表示順における動きベクトルを、符号化順における動きベクトルに変換する処理を行う。すなわち、動きベクトル変換部７３は、表示順の入力画像を用いて算出されている動きベクトルを、入力画像が符号化順である場合の動きベクトルに変換する。動きベクトル変換部７３は、変換後の動きベクトルを遅延調整部７４に出力する。
【００９７】
遅延調整部７４は、フレーム並べ替え部７１から符号化処理部７５に供給される符号化順のノイズ除去画像と、動きベクトル変換部７３で得られた動きベクトルが同期するように、動きベクトルを遅延させて符号化処理部７５に出力する。例えば、遅延調整部７４は、ノイズ除去処理やノイズ除去画像を符号化順に並べ替える処理等に要する時間分だけ動きベクトルを遅延させる。
【００９８】
符号化処理部７５は、ノイズ除去画像の符号化処理を、動きベクトル変換部７３で得られた動きベクトルを利用して行い、ビットストリームを生成して出力する。
【００９９】
［２−３．ノイズ除去処理部について］
図１１はノイズ除去処理部６２の構成を例示している。ノイズ除去処理部６２は、フレームバッファ６２１，６２７、グローバル動き検出部６２２、グローバル動き補償部６２４、ノイズ検出部６２５、ノイズ除去画像生成部６２６を備えている。
【０１００】
フレームバッファ６２１は、入力画像を記憶して、記憶した入力画像を、グローバル動き補償部６２４で生成されるグローバル動き補償画像と同期させてノイズ検出部６２５とノイズ除去画像生成部６２６に出力する。
【０１０１】
グローバル動き検出部６２２は、動き検出部５４または動きベクトル変換部５６から供給された動きベクトルから、フレーム画像全体の動きを示すグローバル動きベクトルを算出してグローバル動き補償部６２４に出力する。
【０１０２】
グローバル動き補償部６２４は、グローバル動きベクトルに基づき、フレームバッファ６２７に記憶されているノイズ除去画像に対して動き補償を行い、グローバル動き補償画像を生成する。グローバル動き補償部６２４は、生成したグローバル動き補償画像をノイズ検出部６２５とノイズ除去画像生成部６２６に出力する。
【０１０３】
ノイズ検出部６２５は、入力画像とグローバル動き補償画像を用いて、画素毎にノイズを生じた画素を検出する。また、ノイズ検出部６２５は、ノイズ除去強度調整パラメータに応じてノイズ除去強度を調整する。例えば、ノイズ検出部６２５は、ノイズ除去強度調整パラメータに応じて、ノイズを生じた画素であるか否かの判定基準を調整する。また、ノイズ検出部６２５は、入力画像とグローバル動き補償画像との画素差分値を算出して、画素差分値と判定基準に基づきノイズを生じた画素を検出する。ノイズ検出部６２５はノイズ検出結果をノイズ除去画像生成部６２６に供給する。また、ノイズ検出部６２５は、画素差分値等に基づきノイズレベルを判別してノイズ検出結果に含めるようにしてもよい。
【０１０４】
ノイズ除去画像生成部６２６は、ノイズ検出結果に基づき入力画像とグローバル動き補償画像のいずれかを画素毎に選択して、またはノイズ検出結果に基づき入力画像とグローバル動き補償画像の混合比を画素毎に調整してノイズ除去画像を生成する。ノイズ除去画像生成部６２６は生成したノイズ除去画像をフレームバッファ６２７とフレーム並べ替え部７１等に出力する。
【０１０５】
［２−４．ノイズ除去動作と符号化動作］
図１２は、ノイズ除去動作と符号化動作（符号化処理が「Ｍ３」の場合）を示している。なお、「Ｍ３」とは、表示順の入力画像を符号化順に並べ替えて符号化処理を行う際に、符号化処理の対象画像と参照画像とのフレーム間隔が表示順の入力画像における最大３フレーム間隔までとした符号化処理である。
【０１０６】
図１２の（Ａ）は入力画像を示している。なお、入力画像において、数字はフレーム番号（表示順）、「Ｉ，Ｐ，Ｂ」は符号化タイプを示している。図１２の（Ｂ）は、符号化順で算出された動きベクトルを示している。矢印は動きベクトルの算出に用いるフレームを示しており、矢印の始点が対象画像のフレーム、矢印の終点が参照画像のフレームを示している。また、数字は対象画像のフレーム番号、ダッシュ「’，’’」は動きベクトルの方向を示している。例えば「１’’」はフレーム番号が「１」の画像（以下「フレーム画像１」という）についての動きベクトルであり、参照画像が後方（対象画像に対して表示順で時間的に後方）のフレームであることを示している。同様、「２’’」はフレーム番号が「２」の画像（以下「フレーム画像２」という）についての動きベクトルであり、参照画像が後方のフレームであることを示している。「４’」はフレーム番号が「４」の画像（以下「フレーム画像４」という）についての動きベクトルであり、参照画像が前方のフレームであることを示しており、以下同様である。
【０１０７】
図１２の（Ｃ）は、変換後の動きベクトル（表示順の動きベクトル）を示している。画像処理装置は、変換情報に基づき、符号化順の画像を用いて算出されている動きベクトルを、画像が表示順である場合の動きベクトルに変換する。具体的には、符号化順における動きベクトル「ＭＶａ」を算出したときのフレーム間距離「ＦＬａ」、表示順における動きベクトルのフレーム間距離「ＦＬｂ」を用いて、変換後の動きベクトルＭＶｂを「（反転フラグの符号）（ＦＬｂ／ＦＬａ）×ＭＶａ」とする。なお、反転フラグは、動きベクトル「ＭＶａ」の算出と動きベクトル「ＭＶｂ」の算出において参照画像の時間方向が等しい場合には「０（符号を＋）」、異なる場合には「１（符号を−）」とする。
【０１０８】
最初のフレーム画像１は、動きベクトルを「０」とする。次のフレーム画像２の動きベクトルは、フレーム画像１とフレーム画像３を用いて算出された符号化順の動きベクトル「１’’」を利用する。ここで、フレーム画像２は、フレーム画像１とフレーム画像３の中間であり、フレーム画像１とフレーム画像２のフレーム間距離ＦＬｂは、フレーム画像１とフレーム画像３のフレーム間距離ＦＬａの半分である。したがって、フレーム画像２の動きベクトルは、動きベクトル「１’’」を（１／２）倍とする。また、動きベクトル「１’’」は参照画像が後方であり、表示順におけるフレーム画像２の参照画像は前方であることから、反転フラグを「１」に設定する。すなわち、表示順におけるフレーム画像２の動きベクトルは、動きベクトル「−（１／２）×１’’」とする。
【０１０９】
表示順におけるフレーム画像３の動きベクトルは、フレーム画像２とフレーム画像３を用いて算出された符号化順の動きベクトル「２’’」とフレーム間距離が等しい。また、動きベクトル「２’’」は参照画像が後方であり、表示順におけるフレーム画像３の参照画像は前方であることから、反転フラグを「１」に設定する。すなわち、表示順におけるフレーム画像３の動きベクトルは、動きベクトル「−２’’」とする。
【０１１０】
表示順におけるフレーム画像４の動きベクトルは、フレーム画像３とフレーム画像４を用いて算出された符号化順の動きベクトル「４’」とフレーム間距離が等しい。また、動きベクトル「４’」は参照画像が前方であり、表示順におけるフレーム画像４の参照画像も前方であることから、反転フラグを「０」に設定する。すなわち、表示順におけるフレーム画像４の動きベクトルは、動きベクトル「４’」とする。
【０１１１】
以下同様にして、変換情報に基づき、符号化順における動きベクトルを、表示順における動きベクトルに変換できる。
【０１１２】
図１２の（Ｄ）はノイズ除去画像のフレーム番号を示している。フレーム画像１は、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像１を用いてノイズ除去処理を行い、フレーム画像１のノイズ除去画像を生成する。
【０１１３】
次に、フレーム画像２に対する変換後の動きベクトル「（−１／２）×１’’」とノイズ除去後のフレーム画像１からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像２を用いてノイズ除去処理を行い、フレーム画像２のノイズ除去画像を生成する。
【０１１４】
また、フレーム画像３に対する変換後の動きベクトル「−２’’」とノイズ除去後のフレーム画像２からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像３を用いてノイズ除去処理を行い、フレーム画像３のノイズ除去画像を生成する。
【０１１５】
以下同様に、ノイズ除去を行うフレーム画像に対する変換後の動きベクトルと、ノイズが除去された前フレーム画像を用いてグローバル動き補償画像を生成して、この生成したグローバル動き補償画像を用いてノイズ除去処理を行う。
【０１１６】
図１２の（Ｅ）は、符号化順とされたノイズ除去画像を示しており、符号化処理では、表示順のノイズ除去画像を符号化順に並べ替えて処理を行う。例えば「Ｉ」ピクチャであるフレーム画像３が最初に符号化されて、その後フレーム画像１、フレーム画像２、フレーム画像６・・・の順に符号化処理が行われる。
【０１１７】
以上のような処理を行うことで、動き検出部を共用してノイズ除去と符号化処理を行うことができる。
【０１１８】
図１３は、ノイズ除去動作と符号化動作（符号化処理が「Ｍ２」の場合）を示している。なお、「Ｍ２」とは、表示順の入力画像を符号化順に並べ替えて符号化処理を行う際に、符号化処理の対象画像と参照画像とのフレーム間隔が表示順の入力画像における最大２フレーム間隔までとした符号化処理である。
【０１１９】
図１３の（Ａ）は入力画像を示している。なお、入力画像において、数字はフレーム番号（表示順）、「Ｉ，Ｐ，Ｂ」は符号化タイプを示している。図１３の（Ｂ）は、符号化順で算出された動きベクトルを示している。矢印は動きベクトルの算出に用いるフレームを示しており、矢印の始点が対象画像のフレーム、矢印の終点が参照画像のフレームを示している。また、数字は対象画像のフレーム番号、ダッシュ「’，’’」は動きベクトルの方向を示している。
【０１２０】
図１３の（Ｃ）は、変換後の動きベクトル（表示順の動きベクトル）を示している。画像処理装置は、上述のように変換情報に基づき、符号化順の画像を用いて算出されている動きベクトルを、画像が表示順である場合の動きベクトルに変換する。
【０１２１】
最初のフレーム画像１は、動きベクトルを「０」とする。次のフレーム画像２の動きベクトルは、フレーム画像１とフレーム画像２を用いて算出された符号化順の動きベクトル「１’’」とフレーム間距離が等しい。また、動きベクトル「１’’」は参照画像が後方であり、表示順におけるフレーム画像２の参照画像は前方であることから、反転フラグを「１」に設定する。すなわち、表示順におけるフレーム画像２の動きベクトルは、動きベクトル「−１’’」とする。
【０１２２】
表示順におけるフレーム画像３の動きベクトルは、フレーム画像２とフレーム画像３を用いて算出された符号化順の動きベクトル「３’」とフレーム間距離が等しい。また、動きベクトル「３’」は参照画像が前方であり、表示順におけるフレーム画像３の参照画像は前方であることから、反転フラグを「０」に設定する。すなわち、表示順におけるフレーム画像３の動きベクトルは、動きベクトル「３’」とする。
【０１２３】
表示順におけるフレーム画像４の動きベクトルは、フレーム画像３とフレーム画像４を用いて算出された符号化順の動きベクトル「３’’」とフレーム間距離が等しい。また、動きベクトル「３’’」は参照画像が後方であり、表示順におけるフレーム画像４の参照画像は前方であることから、反転フラグを「１」に設定する。すなわち、表示順におけるフレーム画像４の動きベクトルは、動きベクトル「−３’’」とする。
【０１２４】
以下同様にして、変換情報に基づき、符号化順における動きベクトルを、表示順における動きベクトルに変換できる。
【０１２５】
図１３の（Ｄ）はノイズ除去画像のフレーム番号を示している。フレーム画像１は、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像１を用いてノイズ除去処理を行い、フレーム画像１のノイズ除去画像を生成する。
【０１２６】
次に、フレーム画像２に対する変換後の動きベクトル「−１’’」とノイズ除去後のフレーム画像１からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像２を用いてノイズ除去処理を行い、フレーム画像２のノイズ除去画像を生成する。
【０１２７】
また、フレーム画像３に対する変換後の動きベクトル「３’」とノイズ除去後のフレーム画像２からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像３を用いてノイズ除去処理を行い、フレーム画像３のノイズ除去画像を生成する。
【０１２８】
以下同様に、ノイズ除去を行うフレーム画像に対する変換後の動きベクトルと、ノイズが除去された前フレーム画像を用いてグローバル動き補償画像を生成して、この生成したグローバル動き補償画像を用いてノイズ除去処理を行う。
【０１２９】
図１３の（Ｅ）は、符号化順とされたノイズ除去画像を示しており、符号化処理では、表示順のノイズ除去画像を符号化順に並べ替えて処理を行う。例えば「Ｉ」ピクチャであるフレーム画像２が最初に符号化されて、その後フレーム画像１、フレーム画像４、フレーム画像３・・・の順に符号化処理が行われる。
【０１３０】
以上のような処理を行うことで、動き検出部を共用してノイズ除去と符号化処理を行うことができる。
【０１３１】
図１４は、ノイズ除去動作と符号化動作（符号化処理が「Ｍ１」の場合）を示している。なお、「Ｍ１」とは、表示順の入力画像を符号化順に並べ替えて符号化処理を行う際に、符号化処理の対象画像と参照画像とのフレーム間隔が表示順の入力画像における１フレーム間隔とする符号化処理である。
【０１３２】
図１４の（Ａ）は入力画像を示している。なお、入力画像において、数字はフレーム番号（表示順）を示している。図１４の（Ｂ）は、符号化順で算出された動きベクトルを示している。矢印は動きベクトルの算出に用いるフレームを示しており、矢印の始点が対象画像のフレーム、矢印の終点が参照画像のフレームを示している。また、数字は対象画像のフレーム番号、ダッシュ「’，’’」は動きベクトルの方向を示している。
【０１３３】
図１４の（Ｃ）は、変換後の動きベクトル（表示順の動きベクトル）を示している。画像処理装置は、上述のように変換情報に基づき、符号化順の画像を用いて算出されている動きベクトルを、画像が表示順である場合の動きベクトルに変換する。
【０１３４】
最初のフレーム画像１は、動きベクトルを「０」とする。次のフレーム画像２の動きベクトルは、フレーム画像１とフレーム画像２を用いて算出された符号化順の動きベクトル「２’」とフレーム間距離が等しい。また、動きベクトル「２’」は参照画像が前方であり、表示順におけるフレーム画像２の参照画像も前方であることから、反転フラグを「０」に設定する。すなわち、表示順におけるフレーム画像２の動きベクトルは、動きベクトル「２’」とする。
【０１３５】
表示順におけるフレーム画像３の動きベクトルは、フレーム画像２とフレーム画像３を用いて算出された符号化順の動きベクトル「３’」とフレーム間距離が等しい。また、動きベクトル「３’」は参照画像が前方であり、表示順におけるフレーム画像３の参照画像も前方であることから、反転フラグを「０」に設定する。すなわち、表示順におけるフレーム画像３の動きベクトルは、動きベクトル「３’」とする。
【０１３６】
表示順におけるフレーム画像４の動きベクトルは、フレーム画像３とフレーム画像４を用いて算出された符号化順の動きベクトル「４’」とフレーム間距離が等しい。また、動きベクトル「４’」は参照画像が前方であり、表示順におけるフレーム画像４の参照画像も前方であることから、反転フラグを「０」に設定する。すなわち、表示順におけるフレーム画像４の動きベクトルは、動きベクトル「４’」とする。
【０１３７】
以下同様にして、変換情報に基づき、符号化順における動きベクトルを、表示順における動きベクトルに変換できる。
【０１３８】
図１４の（Ｄ）はノイズ除去画像のフレーム番号を示している。フレーム画像１は、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像１を用いてノイズ除去処理を行い、フレーム画像１のノイズ除去画像を生成する。
【０１３９】
次に、フレーム画像２に対する変換後の動きベクトル「２’」とノイズ除去後のフレーム画像１からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像２を用いてノイズ除去処理を行い、フレーム画像２のノイズ除去画像を生成する。
【０１４０】
また、フレーム画像３に対する変換後の動きベクトル「３’」とノイズ除去後のフレーム画像２からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像３を用いてノイズ除去処理を行い、フレーム画像３のノイズ除去画像を生成する。
【０１４１】
以下同様に、ノイズ除去を行うフレーム画像に対する変換後の動きベクトルと、ノイズが除去された前フレーム画像を用いてグローバル動き補償画像を生成して、この生成したグローバル動き補償画像を用いてノイズ除去処理を行う。
【０１４２】
図１４の（Ｅ）は、符号化順とされたノイズ除去画像を示している。ここで、符号化は「Ｍ１」とされていることから、表示順と等しい符号化順で、フレーム画像１、フレーム画像２、フレーム画像３・・・の順に符号化処理が行われる。
【０１４３】
以上のような処理を行うことで、動き検出部を共用してノイズ除去と符号化処理を行うことができる。
【０１４４】
［２−５．ノイズ除去処理部の他の構成について］
ところで、図１１〜図１４で示す処理を行う場合、３次元のノイズ除去処理は、対象画像に対応した変換後の動きベクトルが用いられている。このため、フレームバッファ６２１を使用して、ノイズ除去処理の対象画像に対応した変換後の動きベクトルが得られるまで入力画像が遅延される。したがって、画像処理装置５０は、容量の大きなメモリが必要となってしまう。さらに、フレームバッファ６２１，６２７でメモリを共用すると、広い帯域が必要となる。
【０１４５】
そこで、ノイズ除去処理部の他の構成では、ノイズ除去処理に用いる動きベクトルの遅延を許容することによりフレームバッファ６２１を削除して、メモリ容量および帯域の削減を行う場合について説明する。
【０１４６】
図１５はノイズ除去処理部の他の構成を例示している。ノイズ除去処理部６２は、フレームバッファ６２７、グローバル動き検出部６２２、グローバル動き補償部６２４、ノイズ検出部６２５、ノイズ除去画像生成部６２６を備えている。
【０１４７】
入力画像は、ノイズ検出部６２５とノイズ除去画像生成部６２６に供給される。
【０１４８】
グローバル動き検出部６２２は、動き検出部５４または動きベクトル変換部５６から供給された動きベクトルから、フレーム画像全体の動きを示すグローバル動きベクトルを算出してグローバル動き補償部６２４に出力する。
【０１４９】
グローバル動き補償部６２４は、グローバル動きベクトルに基づき、フレームバッファ６２７に記憶されているノイズ除去画像に対して動き補償を行い、グローバル動き補償画像を生成する。グローバル動き補償部６２４は、生成したグローバル動き補償画像をノイズ検出部６２５とノイズ除去画像生成部６２６に出力する。
【０１５０】
ノイズ検出部６２５は、入力画像とグローバル動き補償画像を用いて、画素毎にノイズを生じた画素を検出する。また、ノイズ検出部６２５は、ノイズ除去強度調整パラメータに応じてノイズ除去強度を調整する。ノイズ検出部６２５はノイズ検出結果をノイズ除去画像生成部６２６に供給する。また、ノイズ検出部６２５は、ノイズレベルを判別してノイズ検出結果に含めるようにしてもよい。
【０１５１】
ノイズ除去画像生成部６２６は、ノイズ検出結果に基づき入力画像とグローバル動き補償画像のいずれかを画素毎に選択して、またはノイズ検出結果に基づき入力画像とグローバル動き補償画像の混合比を画素毎に調整してノイズ除去画像を生成する。ノイズ除去画像生成部６２６は生成したノイズ除去画像をフレームバッファ６２７とフレーム並べ替え部７１等に出力する。
【０１５２】
［２−６．動きベクトルの遅延を許容した場合のノイズ除去動作と符号化動作］
図１６は、ノイズ除去動作と符号化動作（符号化処理が「Ｍ３」で動きベクトルの遅延を許容した場合）を示している。
【０１５３】
図１６の（Ａ）は入力画像を示している。なお、入力画像において、数字はフレーム番号（表示順）、「Ｉ，Ｐ，Ｂ」は符号化タイプを示している。図１６の（Ｂ）は、符号化順で算出された動きベクトルを示している。矢印は動きベクトルの算出に用いるフレームを示しており、矢印の始点が対象画像のフレーム、矢印の終点が参照画像のフレームを示している。また、数字は対象画像のフレーム番号、ダッシュ「’，’’」は動きベクトルの方向を示している。
【０１５４】
図１６の（Ｃ）は、変換後の動きベクトル（表示順の動きベクトル）を示している。画像処理装置は、変換情報に基づき、符号化順の画像を用いて算出されている動きベクトルを、画像が表示順である場合の動きベクトルに変換する。
【０１５５】
最初のフレーム画像１は、動きベクトルを「０」とする。また、フレーム画像２〜フレーム画像４においても、変換後の動きベクトルが得られていないことから動きベクトルを「０」とする。フレーム画像５では、変換後の動きベクトルが算出される。すなわち、フレーム画像１とフレーム画像３を用いて算出された符号化順の動きベクトル「１’’」を利用して、上述のように、表示順におけるフレーム画像２の動きベクトル「（−１／２）×１’’」を算出する。
【０１５６】
また、表示順におけるフレーム画像３の動きベクトルは、フレーム画像２とフレーム画像３を用いて算出された符号化順の動きベクトル「２’’」とフレーム間距離が等しい。また、動きベクトル「２’’」は参照画像が後方であり、表示順におけるフレーム画像３の参照画像は前方であることから、反転フラグを「１」に設定する。すなわち、表示順におけるフレーム画像３の動きベクトルは、動きベクトル「−２’’」とする。
【０１５７】
以下同様にして、変換情報に基づき、符号化順における動きベクトルを、表示順における動きベクトルに変換する。
【０１５８】
ノイズ除去処理は、動きベクトルの遅延を許容して行う。図１６の（Ｄ）はノイズ除去画像のフレーム番号を示している。フレーム画像１は、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像１を用いてノイズ除去処理を行い、フレーム画像１のノイズ除去画像を生成する。
【０１５９】
同様に、変換後の動きベクトルが得られていないフレーム画像２〜４についても、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像を用いたノイズ除去処理をフレーム画像毎に行い、各フレーム画像のノイズ除去画像を生成する。
【０１６０】
次に、フレーム画像５のノイズ除去処理では、フレーム画像３に対する変換後の動きベクトル「（−１／２）×１’’」が算出されている。したがって、この動きベクトルとノイズ除去後のフレーム画像４からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像５を用いてノイズ除去処理を行い、フレーム画像５のノイズ除去画像を生成する。
【０１６１】
また、フレーム画像６のノイズ除去処理では、フレーム画像３に対する変換後の動きベクトル「−２’’」が算出されている。したがって、この動きベクトルとノイズ除去後のフレーム画像５からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像６を用いてノイズ除去処理を行い、フレーム画像６のノイズ除去画像を生成する。
【０１６２】
以下同様に、ノイズ除去処理部は、動きベクトルの遅延を許容してノイズ除去処理を行う。
【０１６３】
図１６の（Ｅ）は、符号化順とされたノイズ除去画像を示しており、符号化処理では、表示順のノイズ除去画像を符号化順に並べ替えて処理を行う。例えば「Ｉ」ピクチャであるフレーム画像３が最初に符号化されて、その後フレーム画像１、フレーム画像２、フレーム画像６・・・の順に符号化処理が行われる。
【０１６４】
以上のような処理を行うことで、動き検出部を共用してノイズ除去と符号化処理を行うことができる。さらに、ノイズ除去処理で動きベクトルの遅延を許容することにより、メモリ容量および帯域の削減が可能となる。
【０１６５】
図１７は、ノイズ除去動作と符号化動作（符号化処理が「Ｍ２」で動きベクトルの遅延を許容した場合）を示している。
【０１６６】
図１７の（Ａ）は入力画像を示している。なお、入力画像において、数字はフレーム番号（表示順）、「Ｉ，Ｐ，Ｂ」は符号化タイプを示している。図１７の（Ｂ）は、符号化順で算出された動きベクトルを示している。矢印は動きベクトルの算出に用いるフレームを示しており、矢印の始点が符号化対象画像のフレーム、矢印の終点が参照画像のフレームを示している。また、数字は符号化対象画像のフレーム番号、ダッシュ「’，’’」は動きベクトルの方向を示している。
【０１６７】
図１７の（Ｃ）は、変換後の動きベクトル（表示順の動きベクトル）を示している。画像処理装置は、上述のように変換情報に基づき、符号化順の画像を用いて算出されている動きベクトルを、画像が表示順である場合の動きベクトルに変換する。
【０１６８】
最初のフレーム画像１は、動きベクトルを「０」とする。また、フレーム画像２〜フレーム画像３においても、変換後の動きベクトルが得られていないことから動きベクトルを「０」とする。フレーム画像４では、変換後の動きベクトルが算出される。すなわち、フレーム画像１とフレーム画像２を用いて算出された符号化順の動きベクトル「１’’」を利用して、上述のように、表示順におけるフレーム画像２の動きベクトル「−１’’」を算出する。
【０１６９】
また、表示順におけるフレーム画像５の動きベクトルは、フレーム画像２とフレーム画像３を用いて算出された符号化順の動きベクトル「３’」とフレーム間距離が等しい。また、動きベクトル「３’」は参照画像が前方であり、表示順におけるフレーム画像３の参照画像は前方であることから、反転フラグを「０」に設定する。すなわち、表示順におけるフレーム画像５の動きベクトルは、動きベクトル「３’」とする。
【０１７０】
以下同様にして、変換情報に基づき、符号化順における動きベクトルを、表示順における動きベクトルに変換する。
【０１７１】
ノイズ除去処理は、動きベクトルの遅延を許容して行う。図１７の（Ｄ）はノイズ除去画像のフレーム番号を示している。フレーム画像１は、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像１を用いてノイズ除去処理を行い、フレーム画像１のノイズ除去画像を生成する。
【０１７２】
同様に、変換後の動きベクトルが得られていないフレーム画像２〜３についても、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像を用いたノイズ除去処理をフレーム画像毎に行い、各フレーム画像のノイズ除去画像を生成する。
【０１７３】
次に、フレーム画像４のノイズ除去処理では、フレーム画像１に対する変換後の動きベクトル「−１’’」が算出されている。したがって、この動きベクトルとノイズ除去後のフレーム画像３からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像４を用いてノイズ除去処理を行い、フレーム画像４のノイズ除去画像を生成する。
【０１７４】
また、フレーム画像５のノイズ除去処理では、フレーム画像３に対する変換後の動きベクトル「３’」が算出されている。したがって、この動きベクトルとノイズ除去後のフレーム画像４からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像５を用いてノイズ除去処理を行い、フレーム画像５のノイズ除去画像を生成する。
【０１７５】
以下同様に、ノイズ除去処理部は、動きベクトルの遅延を許容してノイズ除去処理を行う。
【０１７６】
図１７の（Ｅ）は、符号化順とされたノイズ除去画像を示しており、符号化処理では、表示順のノイズ除去画像符号化順に並べ替えて処理を行う。例えば「Ｉ」ピクチャであるフレーム画像２が最初に符号化されて、その後フレーム画像１、フレーム画像４、フレーム画像３・・・の順に符号化処理が行われる。
【０１７７】
以上のような処理を行うことで、動き検出部を共用してノイズ除去と符号化処理を行うことができる。さらに、ノイズ除去処理で動きベクトルの遅延を許容することにより、メモリ容量および帯域の削減が可能となる。
【０１７８】
図１８は、ノイズ除去動作と符号化動作（符号化処理が「Ｍ１」で動きベクトルの遅延を許容した場合）を示している。
【０１７９】
図１８の（Ａ）は入力画像を示している。なお、入力画像において、数字はフレーム番号（表示順）を示している。図１８の（Ｂ）は、符号化順で算出された動きベクトルを示している。矢印は動きベクトルの算出に用いるフレームを示しており、矢印の始点が符号化対象画像のフレーム、矢印の終点が参照画像のフレームを示している。また、数字は符号化対象画像のフレーム番号、ダッシュ「’，’’」は動きベクトルの方向を示している。
【０１８０】
図１８の（Ｃ）は、変換後の動きベクトル（表示順の動きベクトル）を示している。画像処理装置は、上述のように、変換情報に基づき符号化順における動きベクトルを表示順における動きベクトルに変換する。
【０１８１】
最初のフレーム画像１は、動きベクトルを「０」とする。また、フレーム画像２〜フレーム画像３においても、変換後の動きベクトルを算出できていないことから動きベクトルを「０」とする。フレーム画像４では、変換後の動きベクトルが算出される。すなわち、フレーム画像１とフレーム画像２を用いて算出された符号化順の動きベクトル「２’」を利用して、上述のように、表示順におけるフレーム画像２の動きベクトル「２’」を算出する。
【０１８２】
また、表示順におけるフレーム画像３の動きベクトルは、フレーム画像２とフレーム画像３を用いて算出された符号化順の動きベクトル「３’」とフレーム間距離が等しい。また、動きベクトル「３’」は参照画像が前方であり、表示順におけるフレーム画像３の参照画像は前方であることから、反転フラグを「０」に設定する。すなわち、表示順におけるフレーム画像３の動きベクトルは、動きベクトル「３’」とする。
【０１８３】
以下同様にして、変換情報に基づき、符号化順における動きベクトルを、表示順における動きベクトルに変換する。
【０１８４】
ノイズ除去処理は、動きベクトルの遅延を許容して行う。図１８の（Ｄ）はノイズ除去画像のフレーム番号を示している。フレーム画像１は、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像１を用いてノイズ除去処理を行い、フレーム画像１のノイズ除去画像を生成する。
【０１８５】
同様に、変換後の動きベクトルが得られていないフレーム画像２〜３についても、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像を用いたノイズ除去処理をフレーム画像毎に行い、各フレーム画像のノイズ除去画像を生成する。
【０１８６】
次に、フレーム画像４のノイズ除去処理では、フレーム画像２に対する変換後の動きベクトル「２’」が算出されている。したがって、この動きベクトルとノイズ除去後のフレーム画像３からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像４を用いてノイズ除去処理を行い、フレーム画像４のノイズ除去画像を生成する。
【０１８７】
また、フレーム画像５のノイズ除去処理では、フレーム画像３に対する変換後の動きベクトル「３’」が算出されている。したがって、この動きベクトルとノイズ除去後のフレーム画像４からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像５を用いてノイズ除去処理を行い、フレーム画像５のノイズ除去画像を生成する。
【０１８８】
以下同様に、ノイズ除去処理部は、動きベクトルの遅延を許容してノイズ除去処理を行う。
【０１８９】
図１８の（Ｅ）は、符号化順とされたノイズ除去画像を示しており、符号化処理では、表示順のノイズ除去画像を符号化順に並べ替えて処理を行う。例えばフレーム画像１が最初に符号化されて、その後フレーム画像２、フレーム画像３、フレーム画像４・・・の順に符号化処理が行われる。
【０１９０】
以上のような処理を行うことで、動き検出部を共用してノイズ除去と符号化処理を行うことができる。さらに、ノイズ除去処理で動きベクトルの遅延を許容することにより、メモリ容量および帯域の削減が可能となる。
【０１９１】
［２−４．表示順から符号化順の動きベクトル変換について］
表示順のフレーム画像を用いて算出した動きベクトルを符号化順の動きベクトルに変換する場合、「Ｍ１」では図１４，図１８に示すように、フレーム間距離が等しくフレーム順序も等しいことから、符号化順で必要な動きベクトルを容易に得ることができる。しかし、「Ｍ２」以上となると、フレーム順序やフレーム間距離が異なる。したがって、例えばスケーリングまたは動きベクトルの加算を利用して動きベクトルの変換を行う。図１９は、表示順の画像を用いて算出されている動きベクトルと、符号化処理を「Ｍ３」として符号化を行う符号化順の画像の動きベクトルを示した図である。なお、算出される動きベクトルにおいて、矢印の始点は対象画像のフレーム、矢印の終点は参照画像のフレームを示している。
【０１９２】
画像処理装置５０は、スケーリングまたは動きベクトルの加算を利用して、表示順の画像を用いて算出されている動きベクトルを、画像が符号化順である場合の動きベクトルに変換する。
【０１９３】
図２０は、スケーリングを用いて動きベクトルの変換を行う場合のノイズ除去動作と符号化動作を示している。
【０１９４】
図２０の（Ａ）は入力画像を示している。なお、入力画像において、数字はフレーム番号（表示順）を示している。図２０の（Ｂ）は、表示順のフレーム画像を用いて算出された動きベクトルを示している。矢印は動きベクトルの算出に用いるフレームを示しており、矢印の始点が対象画像のフレーム、矢印の終点が参照画像のフレームを示している。また、数字は対象画像のフレーム番号、ダッシュ「’」は、参照画像のフレームが時間的に前方であることを示している。
【０１９５】
図２０の（Ｃ）は、ノイズ除去処理に用いる動きベクトルを示している。最初のフレーム画像１は、動きベクトルを「０」とする。また、フレーム画像２の動きベクトルは「２’」、フレーム画像３の動きベクトルは「３’」、フレーム画像４の動きベクトルは「４’」、・・・である。
【０１９６】
図２０の（Ｄ）はノイズ除去画像のフレーム番号を示している。フレーム画像１は、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像１を用いてノイズ除去処理を行い、フレーム画像１のノイズ除去画像を生成する。
【０１９７】
次に、フレーム画像２のノイズ除去処理では、動きベクトル「２’」とノイズ除去後のフレーム画像１からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像２を用いてノイズ除去処理を行い、フレーム画像２のノイズ除去画像を生成する。
【０１９８】
また、フレーム画像３のノイズ除去処理では、動きベクトル「３’」とノイズ除去後のフレーム画像２からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像３を用いてノイズ除去処理を行い、フレーム画像３のノイズ除去画像を生成する。以下同様にノイズ除去処理を行う。
【０１９９】
図２０の（Ｅ）（Ｆ）は、画像が符号化順とされた場合に対応する変換後の動きベクトルを示している。なお、図２０の（Ｅ）は「Ｐ，Ｂ」ピクチャの動きベクトル、図２０の（Ｆ）は「Ｂ」ピクチャにおいて複数の動きベクトルに変換される場合の動きベクトルを示している。なお、Ｉピクチャについては動きベクトルが不要（ＭＶ不要）である。
【０２００】
スケールリングを用いて動きベクトルの変換を行う場合、符号化順における動きベクトルのフレーム間距離を「ＦＬｄ」、表示順における動きベクトルのフレーム間距離を「ＦＬｃ」としたとき、フレーム間距離の比率に応じて動きベクトルの変換を行う。例えば変換後（符号化順）の動きベクトルＭＶｄは「（反転フラグに応じた符号）（ＦＬｄ／ＦＬｃ）×ＭＶｃ」とする。なお、動きベクトルＭＶｃは表示順の動きベクトルである符号化順の動きベクトルである。
【０２０１】
例えば符号化順におけるフレーム画像１の動きベクトルは、フレーム画像３を参照画像として算出される。また、表示順におけるフレーム画像２の動きベクトルは、フレーム画像１を参照画像として算出される。ここで、フレーム画像１とフレーム画像３のフレーム間距離ＦＬｄは、フレーム画像１とフレーム画像２のフレーム間距離ＦＬｃの２倍である。また、動きベクトル「２’」は参照画像が前方であり、符号化順におけるフレーム画像１の参照画像は後方であることから、反転フラグを「１」に設定する。すなわち、符号化順におけるフレーム画像１の動きベクトルは、動きベクトル「−２×２’」とする。
【０２０２】
符号化順におけるフレーム画像２の動きベクトルは、フレーム画像３を参照画像として算出される。また、表示順におけるフレーム画像３の動きベクトルは、フレーム画像２を参照画像として算出される。ここで、フレーム画像２とフレーム画像３のフレーム間距離ＦＬｄは、フレーム画像２とフレーム画像３のフレーム間距離ＦＬｃと等しい。また、動きベクトル「３’」は参照画像が前方であり、符号化順におけるフレーム画像２の参照画像は後方であることから、反転フラグを「１」に設定する。すなわち、符号化順におけるフレーム画像１の動きベクトルは、動きベクトル「−３’」とする。
【０２０３】
符号化順におけるフレーム画像３は、Ｉピクチャであることから動きベクトルを用いない。
【０２０４】
符号化順におけるフレーム画像４の動きベクトルは、フレーム画像３とフレーム画像６を参照画像として算出される。また、表示順におけるフレーム画像４の動きベクトルは、フレーム画像３を参照画像として算出される。また、表示順におけるフレーム画像５の動きベクトルは、フレーム画像４を参照画像として算出される。ここで、符号化順においてフレーム画像３を参照画像とすると、フレーム画像３とフレーム画像４のフレーム間距離ＦＬｄは、フレーム画像３とフレーム画像４のフレーム間距離ＦＬｃと等しい。また、動きベクトル「４’」は参照画像が前方であり、符号化順におけるフレーム画像４の参照画像がフレーム画像３であると参照画像は前方である。したがって、反転フラグを「０」に設定する。すなわち、符号化順におけるフレーム画像４の動きベクトルは、動きベクトル「４’」とする。また、符号化順においてフレーム画像６を参照画像とすると、フレーム画像４とフレーム画像６のフレーム間距離ＦＬｄは、フレーム画像４とフレーム画像５のフレーム間距離ＦＬｃに対して２倍である。また、動きベクトル「５’」は参照画像が前方であり、符号化順におけるフレーム画像４の参照画像がフレーム画像６であると参照画像は後方である。したがって、反転フラグを「１」に設定する。すなわち、符号化順におけるフレーム画像４の動きベクトルは、動きベクトル「−２×５’」とする。
【０２０５】
以下同様にして、変換情報に基づき、表示順の画像を用いて算出されている動きベクトルを、画像が符号化順である場合の動きベクトルに変換する。
【０２０６】
図２０の（Ｇ）は、符号化順とされたノイズ除去画像を示しており、符号化処理では、表示順のノイズ除去画像を符号化順に並べ替えて処理する。例えば「Ｉ」ピクチャであるフレーム画像３が最初に符号化されて、その後フレーム画像１、フレーム画像２、フレーム画像６・・・の順に符号化処理が行われる。また、符号化では、符号化順に変換された動きベクトルが用いられる。
【０２０７】
ところで、図２０では、対象画像のフレームを含む時間方向の動きベクトルを用いて、符号化順の動きベクトルに変換する場合に説明したが、参照画像のフレームを含む時間方向の動きベクトルを用いて、符号化順の動きベクトルに変換することも可能である。図２１は、スケーリングを用いて動きベクトルの変換を行う場合のノイズ除去動作と符号化動作（参照画像のフレームを含む時間方向の動きベクトルを用いる場合）を示している。
【０２０８】
図２１の（Ａ）は入力画像を示している。なお、入力画像において、数字はフレーム番号（表示順）を示している。図２１の（Ｂ）は、表示順のフレーム画像を用いて算出された動きベクトルを示している。矢印は動きベクトルの算出に用いるフレームを示しており、矢印の始点が対象画像のフレーム、矢印の終点が参照画像のフレームを示している。また、数字は対象画像のフレーム番号、ダッシュ「’」は、参照画像のフレームが時間的に前方であることを示している。
【０２０９】
図２１の（Ｃ）は、ノイズ除去処理に用いる動きベクトルを示している。最初のフレーム画像１は、動きベクトルを「０」とする。また、フレーム画像２の動きベクトルは「２’」、フレーム画像３の動きベクトルは「３’」、フレーム画像４の動きベクトルは「４’」、・・・である。
【０２１０】
図２１の（Ｄ）はノイズ除去画像のフレーム番号を示している。フレーム画像１は、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像１を用いてノイズ除去処理を行い、フレーム画像１のノイズ除去画像を生成する。
【０２１１】
次に、フレーム画像２のノイズ除去処理では、動きベクトル「２’」とノイズ除去後のフレーム画像１からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像２を用いてノイズ除去処理を行い、フレーム画像２のノイズ除去画像を生成する。
【０２１２】
また、フレーム画像３のノイズ除去処理では、動きベクトル「３’」とノイズ除去後のフレーム画像２からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像３を用いてノイズ除去処理を行い、フレーム画像３のノイズ除去画像を生成する。以下同様にノイズ除去処理を行う。
【０２１３】
図２１の（Ｅ）（Ｆ）は、画像が符号化順とされた場合に対応する変換後の動きベクトルを示している。なお、図２１の（Ｅ）は「Ｐ，Ｂ」ピクチャの動きベクトル、図２１の（Ｆ）は「Ｂ」ピクチャにおいて複数の動きベクトルに変換される場合の動きベクトルを示している。なお、Ｉピクチャについては動きベクトルが不要（ＭＶ不要）である。
【０２１４】
スケールリングを用いて動きベクトルの変換を行う場合、符号化順における動きベクトルのフレーム間距離を「ＦＬｄ」、表示順における動きベクトルのフレーム間距離を「ＦＬｃ」としたとき、フレーム間距離の比率に応じた動きベクトルの変換を行う。例えば変換後（符号化順）の動きベクトルＭＶｄは「（反転フラグに応じた符号）（ＦＬｄ／ＦＬｃ）×ＭＶｃ」とする。なお、動きベクトルＭＶｃは表示順の動きベクトルである。
【０２１５】
例えば符号化順におけるフレーム画像１の動きベクトルは、フレーム画像３を参照画像として算出される。また、表示順におけるフレーム画像３の動きベクトルは、フレーム画像２を参照画像として算出される。ここで、フレーム画像１とフレーム画像３のフレーム間距離ＦＬｄは、フレーム画像２とフレーム画像３のフレーム間距離ＦＬｃの２倍である。また、動きベクトル「３’」は参照画像が前方であり、符号化順におけるフレーム画像１の参照画像は後方であることから、反転フラグを「１」に設定する。すなわち、符号化順におけるフレーム画像１の動きベクトルは、動きベクトル「−２×３’」とする。
【０２１６】
符号化順におけるフレーム画像２の動きベクトルは、フレーム画像３を参照画像として算出される。また、表示順におけるフレーム画像３の動きベクトルは、フレーム画像２を参照画像として算出される。ここで、フレーム画像２とフレーム画像３のフレーム間距離ＦＬｄは、フレーム画像２とフレーム画像３のフレーム間距離ＦＬｃと等しい。また、動きベクトル「３’」は参照画像が前方であり、符号化順におけるフレーム画像２の参照画像は後方であることから、反転フラグを「１」に設定する。すなわち、符号化順におけるフレーム画像１の動きベクトルは、動きベクトル「−３’」とする。
【０２１７】
符号化順におけるフレーム画像３は、Ｉピクチャであることから動きベクトルは用いない。
【０２１８】
符号化順におけるフレーム画像４の動きベクトルは、フレーム画像３とフレーム画像６を参照画像として算出される。また、表示順におけるフレーム画像４の動きベクトルは、フレーム画像３を参照画像として算出される。また、表示順におけるフレーム画像５の動きベクトルは、フレーム画像４を参照画像として算出される。ここで、符号化順においてフレーム画像３を参照画像とすると、フレーム画像３とフレーム画像４のフレーム間距離ＦＬｄは、フレーム画像３とフレーム画像４のフレーム間距離ＦＬｃと等しい。また、動きベクトル「４’」は参照画像が前方であり、符号化順におけるフレーム画像４の参照画像がフレーム画像３であると参照画像は前方である。したがって、反転フラグを「０」に設定する。すなわち、符号化順におけるフレーム画像４の動きベクトルは、動きベクトル「４’」とする。また、符号化順においてフレーム画像６を参照画像とすると、フレーム画像４とフレーム画像６のフレーム間距離ＦＬｄは、フレーム画像５とフレーム画像６のフレーム間距離ＦＬｃに対して２倍である。また、動きベクトル「６’」は参照画像が前方であり、符号化順におけるフレーム画像４の参照画像がフレーム画像６であると参照画像は後方である。したがって、反転フラグを「１」に設定する。すなわち、符号化順におけるフレーム画像４の動きベクトルは、動きベクトル「−２×６’」とする。
【０２１９】
以下同様にして、変換情報に基づき、表示順の画像を用いて算出されている動きベクトルを、画像が符号化順である場合の動きベクトルに変換する。
【０２２０】
図２１の（Ｇ）は、符号化順とされたノイズ除去画像を示しており、符号化処理では、表示順のノイズ除去画像符号化順に並べ替えて処理する。例えば「Ｉ」ピクチャであるフレーム画像３が最初に符号化されて、その後フレーム画像１、フレーム画像２、フレーム画像６・・・の順に符号化処理が行われる。また、符号化では、符号化順に変換された動きベクトルが用いられる。
【０２２１】
次に、図２２は、動きベクトルの加算によって動きベクトルの変換を行う場合のノイズ除去動作と符号化動作を示している。
【０２２２】
図２２の（Ａ）は入力画像を示している。なお、入力画像において、数字はフレーム番号（表示順）を示している。図２２の（Ｂ）は、表示順のフレーム画像を用いて算出された動きベクトルを示している。矢印は動きベクトルの算出に用いるフレームを示しており、矢印の始点が対象画像のフレーム、矢印の終点が参照画像のフレームを示している。また、数字は対象画像のフレーム番号、ダッシュ「’」は、参照画像のフレームが時間的に前方であることを示している。
【０２２３】
図２２の（Ｃ）は、ノイズ除去処理に用いる動きベクトルを示している。最初のフレーム画像１は、動きベクトルを「０」とする。また、フレーム画像２の動きベクトルは「２’」、フレーム画像３の動きベクトルは「３’」、フレーム画像４の動きベクトルは「４’」、・・・である。
【０２２４】
図２２の（Ｄ）はノイズ除去画像のフレーム番号を示している。フレーム画像１は、動きベクトルを「０」としてグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像１を用いてノイズ除去処理を行い、フレーム画像１のノイズ除去画像を生成する。
【０２２５】
次に、フレーム画像２のノイズ除去処理では、動きベクトル「２’」とノイズ除去後のフレーム画像１からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像２を用いてノイズ除去処理を行い、フレーム画像２のノイズ除去画像を生成する。
【０２２６】
また、フレーム画像３のノイズ除去処理では、動きベクトル「３’」とノイズ除去後のフレーム画像２からグローバル動き補償画像を生成する。この生成したグローバル動き補償画像とフレーム画像３を用いてノイズ除去処理を行い、フレーム画像３のノイズ除去画像を生成する。以下同様にノイズ除去処理を行う。
【０２２７】
図２２の（Ｅ）（Ｆ）は、画像が符号化順とされた場合に対応する変換後の動きベクトルを示している。なお、図２２の（Ｅ）は「Ｐ，Ｂ」ピクチャの動きベクトル、図２２の（Ｆ）は「Ｂ」ピクチャにおいて複数の動きベクトルに変換される場合の動きベクトルを示している。なお、Ｉピクチャについては動きベクトルが不要（ＭＶ不要）である。
【０２２８】
動きベクトルの加算を用いて動きベクトルの変換を行う場合、符号化順における動きベクトルのフレーム間で算出されている表示順の動きベクトルを加算する。また、参照画像の時間方向に応じて反転フラグを設定する。
【０２２９】
例えば符号化順におけるフレーム画像１の動きベクトルは、フレーム画像３を参照画像として算出される。また、表示順においてフレーム画像１とフレーム画像３との間にはフレーム画像２がある。また、動きベクトル「２’」「３’」は参照画像が前方であり、符号化順におけるフレーム画像１の参照画像は後方であることから、反転フラグを「１」に設定する。すなわち、符号化順におけるフレーム画像１の動きベクトルは、動きベクトル「−（２’＋３’）」とする。
【０２３０】
符号化順におけるフレーム画像２の動きベクトルは、フレーム画像３を参照画像として算出される。また、表示順におけるフレーム画像３の動きベクトルは、フレーム画像２を参照画像として算出される。また、動きベクトル「３’」は参照画像が前方であり、符号化順におけるフレーム画像２の参照画像は後方であることから、反転フラグを「１」に設定する。すなわち、符号化順におけるフレーム画像２の動きベクトルは、動きベクトル「−３’」とする。
【０２３１】
符号化順におけるフレーム画像３は、Ｉピクチャであることから動きベクトルは用いない。
【０２３２】
符号化順におけるフレーム画像４の動きベクトルは、フレーム画像３とフレーム画像６を参照画像として算出される。ここで、表示順におけるフレーム画像４の動きベクトルは、フレーム画像３を参照画像として算出されて、動きベクトル「４’」である。したがって、符号化順においてフレーム画像３を参照画像とする場合、変換後のフレーム画像４の動きベクトルは、表示順の動きベクトル「４’」とする。また、表示順における動きベクトル「４’」は参照画像が前方であり、符号化順におけるフレーム画像４の参照画像も参照画像は前方である。したがって、反転フラグを「０」に設定する。すなわち、符号化順におけるフレーム画像４の動きベクトルは、動きベクトル「４’」とする。また、符号化順においてフレーム画像６を参照画像とする場合、表示順においてフレーム画像４とフレーム画像６との間にはフレーム画像５がある。また、動きベクトル「５’」「６’」は参照画像が前方であり、符号化順におけるフレーム画像４の参照画像は後方であることから、反転フラグを「１」に設定する。すなわち、符号化順におけるフレーム画像４の動きベクトルは、動きベクトル「−（５’＋６’）」とする。
【０２３３】
以下同様にして、符号化順における処理対象画像のフレームと参照画像のフレーム間に、表示順において位置するフレーム画像で算出されている動きベクトルと反転フラグに基づき、表示順における動きベクトルを、符号化順における動きベクトルに変換できる。
【０２３４】
図２２の（Ｇ）は、符号化順とされたノイズ除去画像を示しており、符号化処理では、表示順のノイズ除去画像符号化順に並べ替えて処理する。例えば「Ｉ」ピクチャであるフレーム画像３が最初に符号化されて、その後フレーム画像１、フレーム画像２、フレーム画像６・・・の順に符号化処理が行われる。また、符号化では、符号化順に変換された動きベクトルが用いられる。
【０２３５】
なお、表示順の画像を用いて算出されている動きベクトルを、画像が符号化順である場合の動きベクトルに変換する処理は、上述の例えば図４の動きベクトル変換部３３および図８，１０の動きベクトル変換部７３に適用される。
【０２３６】
＜３．第３の実施の形態＞
次に、符号化処理部に３次元ノイズ除去処理の機能を設けた場合を第３の実施の形態として説明する。なお、第３の実施の形態では、符号化処理として、例えばＨ．２６４／ＡＶＣ方式またはＨＥＶＣ方式を用いる場合について説明する。
【０２３７】
［３−１．第７実施例］
図２３は、第７実施例を示している。第７実施例では、符号化処理部に３次元ノイズ除去処理の機能を設けた場合について説明する。
【０２３８】
画像処理装置１００は、フレーム並べ替え部１０１、フレームバッファ１０２、動き検出部１０６、グローバル動き検出部１０８、グローバル動き補償部１０９、ブレンディング部１１０を備えている。また、画像処理装置１００は、遅延調整部１１１、ノイズ検出／画像生成部１１２、減算部１１３、直交変換／量子化部１１４、可変長符号化部１１５を備えている。さらに、画像処理装置１００は、逆量子化／逆直交変換部１２１、加算部１２２、ループフィルタ部１２３、フレームバッファ１２４、イントラ予測部１３１、動き補償部１３２、予測画像選択部１３３を備えている。
【０２３９】
フレーム並べ替え部１０１は、表示順の入力画像を符号化順に並べ替える。フレーム並べ替え部１０１は、並べ替え後の画像信号をフレームバッファ１０２と動き検出部１０６、ブレンディング部１１０、遅延調整部１１１に出力する。
【０２４０】
フレームバッファ１０２は、フレーム並べ替え部１０１から供給された画像信号を記憶する。また、フレームバッファ１０２は、記憶している画像信号を動き検出部１０６に出力する。
【０２４１】
動き検出部１０６は、フレーム並べ替え部１０１から供給された画像信号とフレームバッファ１０２から読み出した画像信号を用いて、符号化単位で動き検出を行い、動きベクトルを算出する。動き検出部１０６は、算出した動きベクトルをグローバル動き検出部１０８と、可変長符号化部１１５および動き補償部１３２に出力する。
【０２４２】
グローバル動き検出部１０８は、符号化単位で算出されている動きベクトルに基づき画面全体の動きを示すグローバル動きベクトルを算出する。グローバル動き検出部１０８は、算出したグローバル動きベクトルをグローバル動き補償部１０９に出力する。
【０２４３】
グローバル動き補償部１０９は、グローバル動き検出部１０８から供給されたグローバル動きベクトルに基づき、後述するフレームバッファ１２４に記憶されているローカルデコード画像の動き補償を行い、グローバル動き補償画像の画像信号を生成する。グローバル動き補償部１０９は、生成したグローバル動き補償画像の画像信号をブレンディング部１１０に出力する。
【０２４４】
ブレンディング部１１０は、グローバル動き補償部１０９で生成されたグローバル動き補償画像の画像信号と後述する動き補償部１３２で生成されたインター予測画像（ローカル動き補償画像）の画像信号を用いてブレンディング処理を行う。ブレンディング部１１０は、例えば入力画像に基づき局所的な動きがある部分ではインター予測画像で、局所的な動きがない部分ではグローバル動き補償画像で構成されるブレンディング動き補償画像を生成する。ブレンディング部１１０は、ブレンディング処理でブレンディング動き補償画像の画像信号を遅延調整部１１１に出力する。
【０２４５】
遅延調整部１１１は、動き補償やブレンディング処理に要する時間に応じて入力画像を遅延させて、入力画像と入力画像に対応するブレンディング動き補償画像の画像信号をノイズ検出／画像生成部１１２に出力する。
【０２４６】
ノイズ検出／画像生成部１１２は、上述のノイズ除去処理部６２におけるノイズ検出部６２５とノイズ除去画像生成部６２６に相当する。ノイズ検出／画像生成部１１２は、入力画像とブレンディング動き補償画像を用いてノイズ検出およびノイズ検出結果に基づきノイズ除去画像の生成を行う。ノイズ検出／画像生成部１１２は、生成したノイズ除去画像の画像信号を減算部１１３に出力する。
【０２４７】
減算部１１３は、ノイズ検出／画像生成部１１２から出力されたノイズ除去画像の画像信号と予測画像選択部１３３から供給された予測画像の画像信号との差分である予測誤差信号を算出して、直交変換／量子化部１１４に出力する。
【０２４８】
直交変換／量子化部１１４は、減算部１１３から供給された予測誤差信号に対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。また、直交変換／量子化部１１４は、直交変換処理で得られた変換係数の量子化を行い、量子化信号を生成して可変長符号化部１１５と逆量子化／逆直交変換部１２１に出力する。
【０２４９】
可変長符号化部１１５は、直交変換／量子化部１１４から供給された量子化信号に対して可逆符号化処理を行い、ビットストリームを生成して出力する。また、可変長符号化部１１５は、動き検出部１０６で算出された動きベクトルを可逆符号化してビットストリームに含める。
【０２５０】
逆量子化／逆直交変換部１２１は、直交変換／量子化部１１４から供給された量子化信号の逆量子化処理を行い変換係数を生成する。また、逆量子化／逆直交変換部１２１は、変換係数の逆直交変換処理を行い、得られた信号を加算部１２２に出力する。
【０２５１】
加算部１２２は、逆量子化／逆直交変換部１２１から供給された信号と後述する予測画像選択部１３３から供給された予測画像の画像信号を加算してローカルデコード画像の画像信号を生成して、ループフィルタ部１２３に出力する。
【０２５２】
ループフィルタ部１２３は、例えばＨ．２６４／ＡＶＣ方式の場合、ローカルデコード画像の画像信号に対してデブロッキングフィルタ処理を行い、フィルタ処理後の画像信号をフレームバッファ１２４に出力する。また、ループフィルタ部１２３は、例えばＨＥＶＣ（High-Efficiency Video Coding）方式の場合、ローカルデコード画像の画像信号に対してデブロッキングフィルタ処理やＳＡＯ（Sample Adaptive Offset）処理、適応ループフィルタ処理を行い、フィルタ処理後の画像信号をフレームバッファ１２４に出力する。なお後述する第８実施例乃至第１０実施例も同様である。
【０２５３】
フレームバッファ１２４は、ループフィルタ部１２３から供給されたフィルタ処理後の画像信号を記憶する。
【０２５４】
イントラ予測部１３１は、フレームバッファ１２４に記憶されているローカルデコード画像の画像信号を用いて、イントラ予測モード毎にイントラ予測処理を行う。さらに、イントラ予測部１３１は、イントラ予測モード毎にコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部１３１は、最適イントラ予測モードで生成されたインター予測画像の画像信号および最適イントラ予測モードでのコスト関数値を予測画像選択部１３３に出力する。
【０２５５】
動き補償部１３２は、動き検出部１０６で算出された動きベクトルとフレームバッファ１２４に記憶されているローカルデコード画像の画像信号を用いて、インター予測画像の画像信号の生成およびコスト関数値の算出を行う。動き補償部１３２は、生成した画像信号および算出したコスト関数値を予測画像選択部１３３に出力する。また、動き補償部１３２は、生成したインター予測画像の画像信号をブレンディング部１１０に出力する。
【０２５６】
予測画像選択部１３３は、イントラ予測部１３１から供給されたコスト関数値と動き補償部１３２から供給されたコスト関数値を符号化単位毎に比較して、符号化効率が良好となる予測画像の画像信号を選択する。予測画像選択部１３３は、選択した予測画像の画像信号を減算部１１３と加算部１２２に出力する。
【０２５７】
図２４は、第７実施例の動作を例示したフローチャートである。ステップＳＴ２１で画像処理装置１００は、入力画像の並べ替えを行う。画像処理装置１００は、表示順の入力画像を符号化順に並べ替えてステップＳＴ２２に進む。
【０２５８】
ステップＳＴ２２で画像処理装置１００は、動き検出を行う。画像処理装置１００は、符号化順の画像を用いて動き検出を行い符号化単位毎に動きベクトルを算出してステップＳＴ２３，２４，２６に進む。
【０２５９】
ステップＳＴ２３で画像処理装置１００は、イントラ予測画像生成処理を行う。画像処理装置１００は、ローカルデコード画像等を用いてイントラ予測処理を行い、最も符号化効率のよいイントラ予測モードのイントラ予測画像を生成する。また、画像処理装置１００は、最も符号化効率のよいイントラ予測モードでのコスト関数値を算出してステップＳＴ２５に進む。
【０２６０】
ステップＳＴ２４で画像処理装置１００は、インター予測画像生成処理を行う。画像処理装置１００は、ローカルデコード画像とステップＳＴ２２の動き検出で算出された動きベクトル等を用いてインター予測処理を行い、インター予測画像を生成する。また、画像処理装置１００は、コスト関数値を算出してステップＳＴ２５に進む。
【０２６１】
ステップＳＴ２５で画像処理装置１００は、予測画像の選択を行う。画像処理装置１００は、イントラ予測画像生成処理で算出されたコスト関数値とインター予測画像生成処理で算出されたコスト関数値を比較して、符号化効率の高い予測画像を選択してステップＳＴ３０に進む。
【０２６２】
ステップＳＴ２６で画像処理装置１００は、グローバル動き検出を行う。画像処理装置１００は、ステップＳＴ２２の動き検出で算出された動きベクトルを利用して、グローバル動きベクトルの算出を行いステップＳＴ２７に進む。
【０２６３】
ステップＳＴ２７で画像処理装置１００は、グローバル動き補償画像生成処理を行う。画像処理装置１００は、グローバル動きベクトルを用いてローカルデコード画像に対する動き補償を行い、グローバル動き補償画像を生成してステップＳＴ２８に進む。
【０２６４】
ステップＳＴ２８で画像処理装置１００は、ブレンディング動き補償画像生成処理を行う。画像処理装置１００は、インター予測画像とグローバル動き補償画像のブレンディング処理を行い、ブレンディング動き補償画像を生成してステップＳＴ２９に進む。
【０２６５】
ステップＳＴ２９で画像処理装置１００は、ノイズ除去処理を行う。画像処理装置１００は、並べ替え後の入力画像とブレンディング動き補償画像を用いて入力画像のノイズを検出する。また、画像処理装置１００は、ノイズ検出結果に応じてブレンディング動き補償画像を用いて入力画像のノイズ除去を行いステップＳＴ３０に進む。
【０２６６】
ステップＳＴ３０で画像処理装置１００は、差分を算出する。画像処理装置１００は、ノイズ除去後の入力画像とステップＳＴ２５で選択した予測画像との差分（予測誤差信号）を算出してステップＳＴ３１に進む。
【０２６７】
ステップＳＴ３１で画像処理装置１００は、直交変換／量子化を行う。画像処理装置１００は、ステップＳＴ３０で算出した差分に対して直交変換処理を行う。また、画像処理装置１００は、直交変換処理で得られた変換係数の量子化を行いステップＳＴ３２とステップＳＴ３３に進む。
【０２６８】
ステップＳＴ３２で画像処理装置１００は、可変長符号化を行う。画像処理装置１００は、ステップＳＴ３１で算出した量子化信号の可変長符号化を行い、ビットストリームを生成する。
【０２６９】
ステップＳＴ３３で画像処理装置１００は、ローカルデコード画像生成処理を行う。画像処理装置１００は、ステップＳＴ３１で算出した量子化信号の逆量子化処理を行い変換係数を生成する。また、画像処理装置１００は、変換係数の逆直交変換処理を行い、得られた信号にステップＳＴ２５で選択した予測画像を加算して、ローカルデコード画像の画像信号を生成する。
【０２７０】
このような第７実施例によれば、入力画像に対して３次元のノイズ除去処理が行われて、ノイズ除去画像を用いて符号化処理が行われる。また、動き検出部１０６で算出された動きベクトルを利用して、ノイズ除去処理と符号化処理が行われる。したがって、３次元ノイズ除去処理を行うための動き検出部と符号化処理を行うための動き検出部を個々に設ける従来の装置に比べて、画像処理装置の回路規模を小さくすることが可能となり、容易に符号化効率や画質を向上できる。また、符号化処理部に３次元ノイズ除去処理の機能を設けることで、さらなる回路規模の縮小化が可能となる。
【０２７１】
［３−２．第８実施例］
第８実施例は、ノイズ検出除去処理に用いる画像を入力画像とグローバル動き補償画像とすることで、第７実施例よりも構成を簡略化した場合を示している。
【０２７２】
図２５は、第８実施例を示している。なお、第８実施例において、第７実施例と対応する部分については同一符号を付している。
【０２７３】
画像処理装置１００は、フレーム並べ替え部１０１、フレームバッファ１０２、動き検出部１０６、グローバル動き検出部１０８、グローバル動き補償部１０９を備えている。また、画像処理装置１００は、遅延調整部１１１、ノイズ検出／画像生成部１１２、減算部１１３、直交変換／量子化部１１４、可変長符号化部１１５を備えている。さらに、画像処理装置１００は、逆量子化／逆直交変換部１２１、加算部１２２、ループフィルタ部１２３、フレームバッファ１２４、イントラ予測部１３１、動き補償部１３２、予測画像選択部１３３を備えている。
【０２７４】
フレーム並べ替え部１０１は、表示順の入力画像を符号化順に並べ替える。フレーム並べ替え部１０１は、並べ替え後の画像信号をフレームバッファ１０２と動き検出部１０６、遅延調整部１１１に出力する。
【０２７５】
フレームバッファ１０２は、フレーム並べ替え部１０１から供給された画像信号を記憶する。また、フレームバッファ１０２は、記憶している画像信号を動き検出部１０６に出力する。
【０２７６】
動き検出部１０６は、フレーム並べ替え部１０１から供給された画像信号とフレームバッファ１０２から読み出した画像信号を用いて、符号化単位で動き検出を行い、動きベクトルを算出する。動き検出部１０６は、算出した動きベクトルをグローバル動き検出部１０８と、可変長符号化部１１５および動き補償部１３２に出力する。
【０２７７】
グローバル動き検出部１０８は、符号化単位で算出されている動きベクトルに基づき画面全体の動きを示すグローバル動きベクトルを算出する。グローバル動き検出部１０８は、算出したグローバル動きベクトルをグローバル動き補償部１０９に出力する。
【０２７８】
グローバル動き補償部１０９は、グローバル動き検出部１０８から供給されたグローバル動きベクトルに基づき、フレームバッファ１２４に記憶されているローカルデコード画像の動き補償を行い、グローバル動き補償画像の画像信号を遅延調整部１１１に出力する。
【０２７９】
遅延調整部１１１は、動き検出やグローバル動き補償画像の生成に要する時間に応じて入力画像を遅延させて、入力画像と入力画像に対応するグローバル動き補償画像の画像信号をノイズ検出／画像生成部１１２に出力する。
【０２８０】
ノイズ検出／画像生成部１１２は、上述のノイズ除去処理部６２におけるノイズ検出部６２５とノイズ除去画像生成部６２６に相当する。ノイズ検出／画像生成部１１２は、入力画像とグローバル動き補償画像を用いてノイズ検出およびノイズ検出結果に基づきノイズ除去画像の生成を行う。ノイズ検出／画像生成部１１２は、生成したノイズ除去画像の画像信号を減算部１１３に出力する。
【０２８１】
減算部１１３は、ノイズ検出／画像生成部１１２から供給されたノイズ除去画像の画像信号と予測画像選択部１３３から供給された予測画像の画像信号との差分である予測誤差信号を算出して、直交変換／量子化部１１４に出力する。
【０２８２】
直交変換／量子化部１１４は、減算部１１３から出力された予測誤差信号に対して、直交変換処理を行う。また、直交変換／量子化部１１４は、直交変換処理で得られた変換係数の量子化を行い、量子化信号を生成して可変長符号化部１１５と逆量子化／逆直交変換部１２１に出力する。
【０２８３】
可変長符号化部１１５は、直交変換／量子化部１１４から供給された量子化信号に対して可逆符号化処理を行い、ビットストリームを生成して出力する。また、可変長符号化部１１５は、動き検出部１０６で算出された動きベクトルを可逆符号化してビットストリームに含める。
【０２８４】
逆量子化／逆直交変換部１２１は、直交変換／量子化部１１４から供給された量子化信号の逆量子化処理を行い変換係数を生成する。また、逆量子化／逆直交変換部１２１は、変換係数の逆直交変換処理を行い、得られた信号を加算部１２２に出力する。
【０２８５】
加算部１２２は、逆量子化／逆直交変換部１２１から供給された信号と予測画像選択部１３３から供給された予測画像の画像信号を加算してローカルデコード画像の画像信号を生成して、ループフィルタ部１２３に出力する。
【０２８６】
ループフィルタ部１２３は、ローカルデコード画像の画像信号に対して上述のようにフィルタ処理を行い、フィルタ処理後の画像信号をフレームバッファ１２４に出力する。
【０２８７】
フレームバッファ１２４は、ループフィルタ部１２３から供給されたフィルタ処理後の画像信号を記憶する。
【０２８８】
イントラ予測部１３１は、フレームバッファ１２４に記憶されているローカルデコード画像の画像信号を用いてイントラ予測処理を行う。イントラ予測部１３１は、最適イントラ予測モードで生成されたインター予測画像の画像信号および最適イントラ予測モードでのコスト関数値を予測画像選択部１３３に出力する。
【０２８９】
動き補償部１３２は、動き検出部１０６で算出された動きベクトルとフレームバッファ１２４に記憶されているローカルデコード画像の画像信号を用いて、インター予測画像の画像信号の生成およびコスト関数値の算出を行う。動き補償部１３２は、生成した画像信号および算出したコスト関数値を予測画像選択部１３３に出力する。
【０２９０】
予測画像選択部１３３は、イントラ予測部１３１から供給されたコスト関数値と動き補償部１３２から供給されたコスト関数値を、符号化単位毎に比較して、符号化効率が良好となる予測画像の画像信号を選択する。予測画像選択部１３３は、選択した予測画像の画像信号を減算部１１３と加算部１２２に出力する。
【０２９１】
図２６は第８実施例の動作を例示したフローチャートである。なお、図２６において、図２４と対応する処理については同一ステップ番号を付している。
【０２９２】
ステップＳＴ２１で画像処理装置１００は、入力画像の並べ替えを行う。画像処理装置１００は、表示順の入力画像を符号化順に並べ替えてステップＳＴ２２に進む。
【０２９３】
ステップＳＴ２２で画像処理装置１００は、動き検出を行う。画像処理装置１００は、符号化順の画像を用いて動き検出を行い符号化単位毎に動きベクトルを算出してステップＳＴ２３，２４，２６に進む。
【０２９４】
ステップＳＴ２３で画像処理装置１００は、イントラ予測画像生成処理を行う。画像処理装置１００は、ローカルデコード画像等を用いてイントラ予測処理を行い、最も符号化効率のよいイントラ予測モードのイントラ予測画像を生成する。また、画像処理装置１００は、最も符号化効率のよいイントラ予測モードでのコスト関数値を算出してステップＳＴ２５に進む。
【０２９５】
ステップＳＴ２４で画像処理装置１００は、インター予測画像生成処理を行う。画像処理装置１００は、ローカルデコード画像とステップＳＴ２２の動き検出で算出された動きベクトル等を用いてインター予測処理を行い、インター予測画像を生成する。また、画像処理装置１００は、コスト関数値を算出してステップＳＴ２５に進む。
【０２９６】
ステップＳＴ２５で画像処理装置１００は、予測画像の選択を行う。画像処理装置１００は、イントラ予測画像生成処理で算出されたコスト関数値とインター予測画像生成処理で算出されたコスト関数値を比較して、符号化効率の高い予測画像を選択してステップＳＴ３０に進む。
【０２９７】
ステップＳＴ２６で画像処理装置１００は、グローバル動き検出を行う。画像処理装置１００は、ステップＳＴ２２の動き検出で算出された動きベクトルを利用して、グローバル動きベクトルの算出を行いステップＳＴ２７に進む。
【０２９８】
ステップＳＴ２７で画像処理装置１００は、グローバル動き補償画像生成処理を行う。画像処理装置１００は、グローバル動きベクトルを用いてローカルデコード画像に対する動き補償を行い、グローバル動き補償画像を生成してステップＳＴ２９に進む。
【０２９９】
ステップＳＴ２９で画像処理装置１００は、ノイズ除去処理を行う。画像処理装置１００は、並べ替え後の入力画像とグローバル動き補償画像を用いて入力画像のノイズを検出する。また、画像処理装置１００は、ノイズ検出結果に応じてグローバル動き補償画像を用いて入力画像のノイズ除去を行いステップＳＴ３０に進む。
【０３００】
ステップＳＴ３０で画像処理装置１００は、差分を算出する。画像処理装置１００は、ノイズ除去後の入力画像とステップＳＴ２５で選択した予測画像との差分（予測誤差信号）を算出してステップＳＴ３１に進む。
【０３０１】
ステップＳＴ３１で画像処理装置１００は、直交変換／量子化を行う。画像処理装置１００は、ステップＳＴ３０で算出した差分に対して直交変換処理を行う。また、画像処理装置１００は、直交変換処理で得られた変換係数の量子化を行いステップＳＴ３２とステップＳＴ３３に進む。
【０３０２】
ステップＳＴ３２で画像処理装置１００は、可変長符号化を行う。画像処理装置１００は、ステップＳＴ３１で算出した量子化信号の可変長符号化を行い、ビットストリームを生成する。
ステップＳＴ３３で画像処理装置１００は、ローカルデコード画像生成処理を行う。画像処理装置１００は、ステップＳＴ３１で算出した量子化信号の逆量子化処理を行い変換係数を生成する。また、画像処理装置１００は、変換係数の逆直交変換処理を行い、得られた信号にステップＳＴ２５で選択した予測画像を加算して、ローカルデコード画像の画像信号を生成する。
【０３０３】
このような第８実施例によれば、第７実施例と同様に、入力画像に対して３次元のノイズ除去処理が行われて、ノイズ除去画像を用いて符号化処理が行われる。また、動き検出部１０６で算出された動きベクトルを利用して、ノイズ除去処理と符号化処理が行われる。したがって、３次元ノイズ除去処理を行うための動き検出部と符号化処理を行うための動き検出部を個々に設ける従来の装置に比べて、画像処理装置の回路規模を小さくすることが可能となり、容易に符号化効率や画質を向上できる。また、グローバル動き補償画像を用いてノイズ除去処理を行うことから、第７実施例に比べて、さらなる回路規模の縮小化が可能となる。
【０３０４】
［３−３．第９実施例］
第９実施例は、ノイズ検出除去処理に用いる画像を入力画像とインター予測画像とすることで、第８実施例よりも構成を簡略化した場合を示している。
【０３０５】
図２７は、第９実施例を示している。なお、第９実施例において、第８実施例と対応する部分については同一符号を付している。
【０３０６】
画像処理装置１００は、フレーム並べ替え部１０１、フレームバッファ１０２、動き検出部１０６を備えている。また、画像処理装置１００は、遅延調整部１１１、ノイズ検出／画像生成部１１２、減算部１１３、直交変換／量子化部１１４、可変長符号化部１１５を備えている。さらに、画像処理装置１００は、逆量子化／逆直交変換部１２１、加算部１２２、ループフィルタ部１２３、フレームバッファ１２４、イントラ予測部１３１、動き補償部１３２、予測画像選択部１３３を備えている。
【０３０７】
フレーム並べ替え部１０１は、表示順の入力画像を符号化順に並べ替える。フレーム並べ替え部１０１は、並べ替え後の画像信号をフレームバッファ１０２と動き検出部１０６、遅延調整部１１１に出力する。
【０３０８】
フレームバッファ１０２は、フレーム並べ替え部１０１から供給された画像信号を記憶する。また、フレームバッファ１０２は、記憶している画像信号を動き検出部１０６に出力する。
【０３０９】
動き検出部１０６は、フレーム並べ替え部１０１から供給された画像信号とフレームバッファ１０２から読み出した画像信号を用いて、符号化単位で動き検出を行い、動きベクトルを算出する。動き検出部１０６は、算出した動きベクトルを可変長符号化部１１５と動き補償部１３２に出力する。
【０３１０】
遅延調整部１１１は、動き検出や動き補償を行ってインター予測画像が生成されるまでに要する時間に応じて入力画像を遅延させて、入力画像と入力画像に対応するインター予測画像の画像信号をノイズ検出／画像生成部１１２に出力する。
【０３１１】
ノイズ検出／画像生成部１１２は、上述のノイズ除去処理部６２におけるノイズ検出部６２５とノイズ除去画像生成部６２６に相当する。ノイズ検出／画像生成部１１２は、入力画像とインター予測画像を用いてノイズ検出およびノイズ検出結果に基づきノイズ除去画像の生成を行う。ノイズ検出／画像生成部１１２は、生成したノイズ除去画像の画像信号を減算部１１３に出力する。
【０３１２】
減算部１１３は、ノイズ検出／画像生成部１１２から供給されたノイズ除去画像の画像信号と予測画像選択部１３３から供給された予測画像の画像信号との差分である予測誤差信号を算出して、直交変換／量子化部１１４に出力する。
【０３１３】
直交変換／量子化部１１４は、減算部１１３から出力された予測誤差信号に対して直交変換処理を行う。また、直交変換／量子化部１１４は、直交変換処理で得られた変換係数の量子化を行い、量子化信号を生成して可変長符号化部１１５と逆量子化／逆直交変換部１２１に出力する。
【０３１４】
可変長符号化部１１５は、直交変換／量子化部１１４から供給された量子化信号に対して可逆符号化処理を行い、ビットストリームを生成して出力する。また、可変長符号化部１１５は、動き検出部１０６で算出された動きベクトルを可逆符号化してビットストリームに含める。
【０３１５】
逆量子化／逆直交変換部１２１は、直交変換／量子化部１１４から供給された量子化信号の逆量子化処理を行い変換係数を生成する。また、逆量子化／逆直交変換部１２１は、変換係数の逆直交変換処理を行い、得られた信号を加算部１２２に出力する。
【０３１６】
加算部１２２は、逆量子化／逆直交変換部１２１から供給された信号と予測画像選択部１３３から供給された予測画像の画像信号を加算してローカルデコード画像の画像信号を生成して、ループフィルタ部１２３に出力する。
【０３１７】
ループフィルタ部１２３は、ローカルデコード画像の画像信号に対して上述のようにフィルタ処理を行い、フィルタ処理後の画像信号をフレームバッファ１２４に出力する。
【０３１８】
フレームバッファ１２４は、ループフィルタ部１２３から供給されたフィルタ処理後の画像信号を記憶する。
【０３１９】
イントラ予測部１３１は、フレームバッファ１２４に記憶されているローカルデコード画像の画像信号を用いてイントラ予測処理を行う。イントラ予測部１３１は、最適イントラ予測モードで生成されたインター予測画像の画像信号および最適イントラ予測モードでのコスト関数値を予測画像選択部１３３に出力する。
【０３２０】
動き補償部１３２は、動き検出部１０６で算出された動きベクトルとフレームバッファ１２４に記憶されているローカルデコード画像の画像信号を用いて、インター予測画像の画像信号の生成およびコスト関数値の算出を行う。動き補償部１３２は、生成した画像信号および算出したコスト関数値を予測画像選択部１３３に出力する。また、動き補償部１３２は、生成したインター予測画像の画像信号を遅延調整部１１１に出力する。
【０３２１】
予測画像選択部１３３は、イントラ予測部１３１から供給されたコスト関数値と動き補償部１３２から供給されたコスト関数値を、符号化単位毎に比較して、符号化効率が良好となる予測画像の画像信号を選択する。予測画像選択部１３３は、選択した予測画像の画像信号を減算部１１３と加算部１２２に出力する。
【０３２２】
図２８は第９実施例の動作を例示したフローチャートである。なお、図２８において、図２６と対応する処理については同一ステップ番号を付している。
【０３２３】
ステップＳＴ２１で画像処理装置１００は、入力画像の並べ替えを行う。画像処理装置１００は、表示順の入力画像を符号化順に並べ替えてステップＳＴ２２に進む。
【０３２４】
ステップＳＴ２２で画像処理装置１００は、動き検出を行う。画像処理装置１００は、符号化順の画像を用いて動き検出を行い符号化単位毎に動きベクトルを算出してステップＳＴ２３，２４に進む。
【０３２５】
ステップＳＴ２３で画像処理装置１００は、イントラ予測画像生成処理を行う。画像処理装置１００は、ローカルデコード画像等を用いてイントラ予測処理を行い、最も符号化効率のよいイントラ予測モードのイントラ予測画像を生成する。また、画像処理装置１００は、最も符号化効率のよいイントラ予測モードでのコスト関数値を算出してステップＳＴ２５に進む。
【０３２６】
ステップＳＴ２４で画像処理装置１００は、インター予測画像生成処理を行う。画像処理装置１００は、ローカルデコード画像とステップＳＴ２２の動き検出で算出された動きベクトル等を用いてインター予測処理を行い、インター予測画像を生成する。また、画像処理装置１００は、コスト関数値を算出してステップＳＴ２５とステップＳＴ２９に進む。
【０３２７】
ステップＳＴ２５で画像処理装置１００は、予測画像の選択を行う。画像処理装置１００は、イントラ予測画像生成処理で算出されたコスト関数値とインター予測画像生成処理で算出されたコスト関数値を比較して、符号化効率の高い予測画像を選択してステップＳＴ３０に進む。
【０３２８】
ステップＳＴ２９で画像処理装置１００は、ノイズ除去処理を行う。画像処理装置１００は、並べ替え後の入力画像とインター予測画像を用いて入力画像のノイズを検出する。また、画像処理装置１００は、ノイズ検出結果に応じてインター予測画像を用いて入力画像のノイズ除去を行いステップＳＴ３０に進む。
【０３２９】
ステップＳＴ３０で画像処理装置１００は、差分を算出する。画像処理装置１００は、ノイズ除去後の入力画像とステップＳＴ２５で選択した予測画像との差分（予測誤差信号）を算出してステップＳＴ３１に進む。
【０３３０】
ステップＳＴ３１で画像処理装置１００は、直交変換／量子化を行う。画像処理装置１００は、ステップＳＴ３０で算出した差分に対して直交変換処理を行う。また、画像処理装置１００は、直交変換処理で得られた変換係数の量子化を行いステップＳＴ３２とステップＳＴ３３に進む。
【０３３１】
ステップＳＴ３２で画像処理装置１００は、可変長符号化を行う。画像処理装置１００は、ステップＳＴ３１で算出した量子化信号の可変長符号化を行い、ビットストリームを生成する。
ステップＳＴ３３で画像処理装置１００は、ローカルデコード画像生成処理を行う。画像処理装置１００は、ステップＳＴ３１で算出した量子化信号の逆量子化処理を行い変換係数を生成する。また、画像処理装置１００は、変換係数の逆直交変換処理を行い、得られた信号にステップＳＴ２５で選択した予測画像を加算して、ローカルデコード画像の画像信号を生成する。
【０３３２】
このような第９実施例によれば、第７実施例および第８実施例と同様に、入力画像に対して３次元のノイズ除去処理が行われて、ノイズ除去画像を用いて符号化処理が行われる。また、動き検出部１０６で算出された動きベクトルを利用して、ノイズ除去処理と符号化処理が行われる。したがって、３次元ノイズ除去処理を行うための動き検出部と符号化処理を行うための動き検出部を個々に設ける従来の装置に比べて、画像処理装置の回路規模を小さくすることが可能となり、容易に符号化効率や画質を向上できる。また、インター予測画像を用いてノイズ除去処理を行うことから、第８実施例に比べて、さらなる回路規模の縮小化が可能となる。
【０３３３】
［３−４．第１０実施例］
第１０実施例は、ノイズ検出除去処理に用いるグローバル動き補償画像の生成において、縮小画像から算出した動きベクトルを用いる場合について例示している。
【０３３４】
図２９は、第１０実施例を示している。画像処理装置１００は、フレーム並べ替え部１０１、フレームバッファ１０２、画像縮小部１０３，１０４、動き検出部１０６、アップスケーリング部１０７、グローバル動き検出部１０８、グローバル動き補償部１０９、ブレンディング部１１０を備えている。また、画像処理装置１００は、遅延調整部１１１、ノイズ検出／画像生成部１１２、減算部１１３、直交変換／量子化部１１４、可変長符号化部１１５を備えている。さらに、画像処理装置１００は、逆量子化／逆直交変換部１２１、加算部１２２、ループフィルタ部１２３、フレームバッファ１２４、イントラ予測部１３１、動き補償部１３２、予測画像選択部１３３、動き検出部１３５を備えている。
【０３３５】
フレーム並べ替え部１０１は、表示順の入力画像を符号化順に並べ替える。フレーム並べ替え部１０１は、並べ替え後の画像信号をフレームバッファ１０２と画像縮小部１０４、ブレンディング部１１０、遅延調整部１１１および動き検出部１３５に出力する。
【０３３６】
フレームバッファ１０２は、フレーム並べ替え部１０１から供給された画像信号を記憶する。また、フレームバッファ１０２は、記憶している画像信号を画像縮小部１０３に出力する。
【０３３７】
画像縮小部１０３は、フレームバッファ１０２に記憶している画像を縮小して、縮小画像の画像信号を縮小画動き検出部１０５に出力する。なお、画像縮小部１０３は、フレームバッファ１０２の前段に設けて、縮小画像をフレームバッファ１０２に記憶し、フレームバッファ１０２に記憶している縮小画像の画像信号を縮小画動き検出部１０５に出力する構成としてもよい。この場合、フレーム並べ替え部１０１から供給された画像信号を記憶する場合に比べてフレームバッファ１０２のメモリ容量を削減できる。
【０３３８】
画像縮小部１０４は、入力画像を縮小して、縮小画像の画像信号を縮小画像動き検出部１０５に出力する。
【０３３９】
縮小画像動き検出部１０５は、符号化順である縮小入力画像の画像信号とフレームバッファ１０２から画像縮小部１０３を介して供給された画像信号を用いて、符号化単位で動き検出を行い、動きベクトルを算出する。縮小画像動き検出部１０５は、算出した動きベクトルをアップスケーリング部１０７と動き検出部１３５に出力する。
【０３４０】
アップスケーリング部１０７は、縮小画像に基づいて算出した動きベクトルを縮小前の画像サイズにおける動きベクトルに変換する。アップスケーリング部１０７は、例えば縮小画像に基づいて算出した動きベクトルに対して、画像の縮小率の逆数を乗算して、縮小前の画像サイズにおける動きベクトルを算出する。また、縮小前の画像サイズにおける動きベクトルへの変換では、ＳＡＤ（Sum of Absolute difference：差分絶対値和）補間を用いるようにしてもよい。図３０は、ＳＡＤ補間を説明するための図である。例えば縮小画像において、ｘ方向についてＳＡＤ値が最小となる画素位置を「Ｐ」とする。また、このときのＳＡＤ値を「ｓ１（最小値）」とする。さらに、縮小画像において位置「Ｐ」と隣接する画素位置「Ｐ−１」のＳＡＤ値を「ｓ０」、隣接する画素位置「Ｐ＋１」のＳＡＤ値を「ｓ２」として、式（１）の演算を行い距離ｑを求める。さらに画素位置「Ｐ」に対して距離ｑを加算した位置を縮小前の画像におけるＳＡＤ値が最小となる位置とする。さらにｙ方向についても同様な処理を行えば、縮小前の画像サイズにおける動きベクトルを算出できる。
【０３４１】
【数１】
2013223007.tif 000003
【０３４２】
グローバル動き検出部１０８は、アップスケーリング部１０７から供給された動きベクトルに基づき画面全体の動きを示すグローバル動きベクトルを算出する。グローバル動き検出部１０８は、算出したグローバル動きベクトルをグローバル動き補償部１０９に出力する。
【０３４３】
グローバル動き補償部１０９は、グローバル動き検出部１０８から供給されたグローバル動きベクトルに基づき、後述するフレームバッファ１２４に記憶されているローカルデコード画像の動き補償を行い、グローバル動き補償画像の画像信号を生成する。グローバル動き補償部１０９は、生成したグローバル動き補償画像の画像信号をブレンディング部１１０に出力する。
【０３４４】
ブレンディング部１１０は、グローバル動き補償部１０９で生成されたグローバル動き補償画像の画像信号と後述する動き補償部１３２で生成されたインター予測画像（ローカル動き補償画像）の画像信号を用いてブレンディング処理を行う。ブレンディング部１１０は、例えば入力画像に基づき局所的な動きがある部分ではインター予測画像で、局所的な動きがない部分ではグローバル動き補償画像で構成されるブレンディング動き補償画像を生成する。ブレンディング部１１０は、ブレンディング処理でブレンディング動き補償画像の画像信号を遅延調整部１１１に出力する。
【０３４５】
遅延調整部１１１は、動き補償やブレンディング処理に要する時間に応じて入力画像を遅延させて、入力画像と入力画像に対応するブレンディング動き補償画像の画像信号をノイズ検出／画像生成部１１２に出力する。
【０３４６】
ノイズ検出／画像生成部１１２は、上述のノイズ除去処理部６２におけるノイズ検出部６２５とノイズ除去画像生成部６２６に相当する。ノイズ検出／画像生成部１１２は、入力画像とブレンディング動き補償画像を用いてノイズ検出およびノイズ検出結果に基づきノイズ除去画像の生成を行う。ノイズ検出／画像生成部１１２は、生成したノイズ除去画像の画像信号を減算部１１３に出力する。
【０３４７】
減算部１１３は、ノイズ検出／画像生成部１１２から出力されたノイズ除去画像の画像信号と予測画像選択部１３３から供給された予測画像の画像信号との差分である予測誤差信号を算出して、直交変換／量子化部１１４に出力する。
【０３４８】
直交変換／量子化部１１４は、減算部１１３から出力された予測誤差信号に対して、直交変換処理を行う。また、直交変換／量子化部１１４は、直交変換処理で得られた変換係数の量子化を行い、量子化信号を生成して可変長符号化部１１５と逆量子化／逆直交変換部１２１に出力する。
【０３４９】
可変長符号化部１１５は、直交変換／量子化部１１４から供給された量子化信号に対して可逆符号化処理を行い、ビットストリームを生成して出力する。また、可変長符号化部１１５は、動き検出部１３５で算出された動きベクトルを可逆符号化してビットストリームに含める。
【０３５０】
逆量子化／逆直交変換部１２１は、直交変換／量子化部１１４から供給された量子化信号の逆量子化処理を行い変換係数を生成する。また、逆量子化／逆直交変換部１２１は、変換係数の逆直交変換処理を行い、得られた信号を加算部１２２に出力する。
【０３５１】
加算部１２２は、逆量子化／逆直交変換部１２１から供給された信号と予測画像選択部１３３から供給された予測画像の画像信号を加算してローカルデコード画像の画像信号を生成して、ループフィルタ部１２３に出力する。
【０３５２】
ループフィルタ部１２３は、ローカルデコード画像の画像信号に対して上述のようにフィルタ処理を行い、フィルタ処理後の画像信号をフレームバッファ１２４に出力する。
【０３５３】
フレームバッファ１２４は、ループフィルタ部１２３から供給されたフィルタ処理後の画像信号を記憶する。
【０３５４】
イントラ予測部１３１は、フレームバッファ１２４に記憶されているローカルデコード画像の画像信号を用いてイントラ予測処理を行う。イントラ予測部１３１は、最適イントラ予測モードで生成されたインター予測画像の画像信号および最適イントラ予測モードでのコスト関数値を予測画像選択部１３３に出力する。
【０３５５】
動き補償部１３２は、動き検出部１３５で算出された動きベクトルとフレームバッファ１２４に記憶されているローカルデコード画像の画像信号を用いて、インター予測画像の画像信号の生成およびコスト関数値の算出を行う。動き補償部１３２は、生成した画像信号および算出したコスト関数値を予測画像選択部１３３に出力する。また、動き補償部１３２は、生成したインター予測画像の画像信号をブレンディング部１１０に出力する。
【０３５６】
予測画像選択部１３３は、イントラ予測部１３１から供給されたコスト関数値と動き補償部１３２から供給されたコスト関数値を、符号化単位毎に比較して、符号化効率が良好となる予測画像の画像信号を選択する。予測画像選択部１３３は、選択した予測画像の画像信号を減算部１１３と加算部１２２に出力する。
【０３５７】
動き検出部１３５は、フレーム並べ替え部１０１から供給された入力画像の画像信号とフレームバッファ１２４から読み出したローカルデコード画像の画像信号を用いて、符号化単位毎に動きベクトルを検出する。また、動き検出部１３５は、縮小画像動き検出部１０５で算出された動きベクトルに基づき探索範囲を設定して、動きベクトルの詳細検出を行う。動き検出部１３５は、動き検出を行い算出した動きベクトルを可変長符号化部１１５と動き補償部１３２に出力する。
【０３５８】
図３１は第１０実施例の動作を例示したフローチャートである。ステップＳＴ４１で画像処理装置１００は、入力画像の並べ替えを行う。画像処理装置１００は、表示順の入力画像を符号化順に並べ替えてステップＳＴ４２に進む。
【０３５９】
ステップＳＴ４２で画像処理装置１００は、縮小画像を生成する。画像処理装置１００は、入力画像および動き検出に用いる参照画像の画像サイズを縮小してステップＳＴ４３に進む。
【０３６０】
ステップＳＴ４３で画像処理装置１００は、動き検出を行う。画像処理装置１００は、縮小された入力画像および参照画像を用いて動き検出を行い、符号化単位毎に動きベクトルを算出してステップＳＴ４４，４５，４８に進む。
【０３６１】
ステップＳＴ４４で画像処理装置１００は、イントラ予測画像生成処理を行う。画像処理装置１００は、ローカルデコード画像等を用いてイントラ予測処理を行い、最も符号化効率のよいイントラ予測モードのイントラ予測画像を生成する。また、画像処理装置１００は、最も符号化効率のよいイントラ予測モードでのコスト関数値を算出してステップＳＴ４７に進む。
【０３６２】
ステップＳＴ４５で画像処理装置１００は、基底面で動き検出を行う。画像処理装置１００は、基底面すなわち縮小前の画像サイズである入力画像とローカルデコード画像を用いて動き検出を行い、符号化単位毎に動きベクトルを算出してステップＳＴ４６に進む。なお、画像処理装置１００は、ステップＳＴ４３で算出した動きベクトルに基づき探索範囲を設定すれば、効率よく動き検出を行うことができる。
【０３６３】
ステップＳＴ４６で画像処理装置１００は、インター予測画像生成処理を行う。画像処理装置１００は、ローカルデコード画像とステップＳＴ４５の動き検出で算出された動きベクトル等を用いてインター予測処理を行い、インター予測画像を生成する。また、画像処理装置１００は、コスト関数値を算出してステップＳＴ４７に進む。
【０３６４】
ステップＳＴ４７で画像処理装置１００は、予測画像の選択を行う。画像処理装置１００は、イントラ予測画像生成処理で算出されたコスト関数値とインター予測画像生成処理で算出されたコスト関数値を比較して、符号化効率の高い予測画像を選択してステップＳＴ５３に進む。
【０３６５】
ステップＳＴ４８で画像処理装置１００は、動きベクトルアップスケーリングを行う。画像処理装置１００は、ステップＳＴ４３の動き検出において算出された動きベクトルを縮小前の画像サイズにおける動きベクトルに変換してステップＳＴ４９に進む。
【０３６６】
ステップＳＴ４９で画像処理装置１００は、グローバル動き検出を行う。画像処理装置１００は、アップスケーリング後の動きベクトルを利用して、グローバル動きベクトルの算出を行いステップＳＴ５０に進む。
【０３６７】
ステップＳＴ５０で画像処理装置１００は、グローバル動き補償画像生成処理を行う。画像処理装置１００は、グローバル動きベクトルを用いてローカルデコード画像に対する動き補償を行い、グローバル動き補償画像を生成してステップＳＴ５１に進む。
【０３６８】
ステップＳＴ５１で画像処理装置１００は、ブレンディング動き補償画像生成処理を行う。画像処理装置１００は、インター予測画像とグローバル動き補償画像のブレンディング処理を行い、ブレンディング動き補償画像を生成してステップＳＴ５２に進む。
【０３６９】
ステップＳＴ５２で画像処理装置１００は、ノイズ除去処理を行う。画像処理装置１００は、並べ替え後の入力画像とブレンディング動き補償画像を用いて入力画像のノイズを検出する。また、画像処理装置１００は、ノイズ検出結果に応じてブレンディング動き補償画像を用いることで、入力画像のノイズを除去してステップＳＴ５３に進む。
【０３７０】
ステップＳＴ５３で画像処理装置１００は、差分を算出する。画像処理装置１００は、ノイズ除去後の入力画像とステップＳＴ４７で選択した予測画像との差分（予測誤差信号）を算出してステップＳＴ５４に進む。
【０３７１】
ステップＳＴ５４で画像処理装置１００は、直交変換／量子化を行う。画像処理装置１００は、ステップＳＴ５３で算出した差分に対して直交変換処理を行う。また、画像処理装置１００は、直交変換処理で得られた変換係数の量子化を行いステップＳＴ５５とステップＳＴ５６に進む。
【０３７２】
ステップＳＴ５５で画像処理装置１００は、可変長符号化を行う。画像処理装置１００は、ステップＳＴ５４で算出した量子化信号の可変長符号化を行い、ビットストリームを生成する。
【０３７３】
ステップＳＴ５６で画像処理装置１００は、ローカルデコード画像生成処理を行う。画像処理装置１００は、ステップＳＴ５４で算出した量子化信号の逆量子化処理を行い変換係数を生成する。また、画像処理装置１００は、変換係数の逆直交変換処理を行い、得られた信号にステップＳＴ４７で選択した予測画像を加算して、ローカルデコード画像の画像信号を生成する。
【０３７４】
このような第１０実施例によれば、第７実施例と同様に、入力画像に対して３次元のノイズ除去処理が行われて、ノイズ除去画像を用いて符号化処理が行われる。また、縮小画像動き検出部１０５で算出された動きベクトルを利用して、ノイズ除去処理と符号化処理が行われる。したがって、３次元ノイズ除去処理を行うための動き検出部と符号化処理を行うための動き検出部を個々に設ける従来の装置に比べて、画像処理装置の回路規模を小さくすることが可能となり、容易に符号化効率や画質を向上できる。また、縮小画像動き検出部１０５は縮小画像を用いて動きベクトルを算出することから、第７実施例に比べて、動きベクトルを容易に算出できる。また、動き検出部１３５は、縮小画像動き検出部１０５で算出された動きベクトルに基づき探索範囲を設定することで、インター予測処理に用いる動きベクトルを容易に精度よく算出できる。
【０３７５】
また、画像処理装置において、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０３７６】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０３７７】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０３７８】
なお、本技術は、上述した実施の形態に限定して解釈されるべきではない。この実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０３７９】
なお、本技術の  装置は以下のような構成も取ることができる。
（１）  入力画像を用いて動き検出を行い動きベクトルを算出する動き検出部と、
前記動き検出部で算出された動きベクトルを用いて前記入力画像のノイズ除去処理を行いノイズ除去画像を生成するノイズ除去処理部と、
前記動き検出部で算出された動きベクトルを用いて、前記ノイズ除去処理部で生成されたノイズ除去画像の符号化処理を行う符号化処理部と
を備える画像処理装置。
（２）  表示順である前記入力画像を用いて算出した動きベクトルを、前記入力画像が符号化順とされた場合の動きベクトルに変換し、または符号化順である前記入力画像を用いて算出した動きベクトルを、前記入力画像が表示順とされた場合の動きベクトルに変換する変換部をさらに備える（１）に記載の画像処理装置。
（３）  前記ノイズ除去処理部は、ノイズ除去処理を行う画像が表示順であるか符号化順であるかに応じて、対応する動きベクトルを用いてノイズ除去処理を行い、
前記符号化処理部は、符号化順における動きベクトルを用いて前記ノイズ除去画像の符号化処理を行う（１）または（２）に記載の画像処理装置。
（４）  前記変換部は、前記符号化順である入力画像のピクチャタイプに応じて生成された変換情報に基づき、前記動きベクトルの変換を行う（２）または（３）に記載の画像処理装置。
（５）  前記変換部は、前記変換情報は、変換前と変換後でのフレーム間距離および参照画像の時間方向の違いを示す情報である（４）に記載の画像処理装置。
（６）  前記変換部は、変換後の動きベクトル検出対象画像が変換前の動きベクトル検出対象画像または参照画像として用いられている動きベクトルを用いて、前記フレーム間距離および参照画像の時間方向の違いに基づき、前記変換後の動きベクトル検出対象画像の動きベクトルを算出する（５）に記載の画像処理装置。
（７）  前記変換部は、前記表示順である入力画像を用いて算出した動きベクトルを、入力画像が符号化順とされた場合の動きベクトルに変換する場合、符号化順におけるフレーム間に含まれる表示順の入力画像の動きベクトルを用いる（４）に記載の画像処理装置。
（８）  前記ノイズ除去処理部は、前記動き検出部から供給された動きベクトルまたは前記変換部から供給された変換後の動きベクトルを順次用いてノイズ除去処理を行う（３）乃至（７）のいずれかに記載の画像処理装置。
（９）  前記ノイズ除去処理部は、前記動き検出部から供給された動きベクトルまたは前記変換部から供給された変換後の動きベクトルを用いて、該動きベクトルを算出した画像のノイズ除去処理を行う（３）乃至（７）のいずれかに記載の画像処理装置。
（１０）  前記ノイズ除去処理部を前記符号化処理部に設け、符号化順の入力画像のノイズ除去処理を行う（３）乃至（９）のいずれかに記載の画像処理装置。
（１１）  前記符号化処理部は、前記動き検出部で算出された動きベクトルを用いてグローバル動き補償画像を生成して、該グローバル動き補償画像を用いて前記ノイズ除去処理を行う（１０）に記載の画像処理装置。
（１２）  前記動き検出部は、前記入力画像を縮小した縮小画像を用いて動きベクトルを算出して、
前記符号化処理部は、前記縮小画像を用いて算出された動きベクトルを用いて前記グローバル動き補償画像を生成する（１１）に記載の画像処理装置。
（１３）  前記動き検出部は、入力画像とローカルデコード画像を用いてインター予測で用いる動きベクトルの算出を行い、該動きベクトルの算出では、前記縮小画像を用いて算出された動きベクトルに基づいて探索範囲を設定する（１２）に記載の画像処理装置。
（１４）  前記符号化処理部は、インター予測画像を用いて前記ノイズ除去処理を行う（１０）に記載の画像処理装置。
【産業上の利用可能性】
【０３８０】
この技術の画像処理装置と画像処理方法およびプログラムでは、入力画像を用いて動き検出を行い動きベクトルが算出されて、この算出された動きベクトルを用いて入力画像のノイズ除去処理や、ノイズ除去処理後のノイズ除去画像の符号化処理が行われる。このため、容易に符号化効率や画質を向上できる。また、ノイズ除去処理を行うノイズ除去処理部と符号化処理を行う符号化処理部にそれぞれ動き検出部を設ける必要がないことから回路規模を小さくできる。したがって、画像の記録や伝送等を行う電子機器に利用できる。
【符号の説明】
【０３８１】
１０，５０，１００・・・画像処理装置、２０・・・ノイズ除去モジュール、２１，３３，５６，７３・・・動きベクトル変換部、２２，３２，４２，５４，１０６，１３５・・・動き検出部、２５・・・ノイズ除去処理部、３０・・・符号化モジュール、３１，４１，５１，７１，１０１・・・フレーム並べ替え部、３５・・・符号化処理部、４０・・・動き検出モジュール、５２，１０２，１２４、６２１，６２７・・・フレームバッファ、５３，６１，７４，１１１・・・遅延調整部、５５，７２・・・フレームタイプ判別部、６２・・・ノイズ除去処理部、７５・・・符号化処理部、１０３，１０４・・・画像縮小部、１０５・・・縮小画像動き検出部、１０７・・・アップスケーリング部、１０８，６２２・・・グローバル動き検出部、１０９、６２４・・・グローバル動き補償部、１１０・・・ブレンディング部、１１２・・・ノイズ検出／画像生成部、１１３・・・減算部、１１４・・・直交変換／量子化部、１１５・・・可変長符号化部、１２１・・・逆量子化／逆直交変換部、１２２・・・加算部、１２３・・・ループフィルタ部、１３１・・・イントラ予測部、１３２・・・動き補償部、１３３・・・予測画像選択部、６２５・・・ノイズ検出部、６２６・・・ノイズ除去画像生成部
【図１】
2013223007.tif 000004
【図２】
2013223007.tif 000005
【図３】
2013223007.tif 000006
【図４】
2013223007.tif 000007
【図５】
2013223007.tif 000008
【図６】
2013223007.tif 000009
【図７】
2013223007.tif 000010
【図８】
2013223007.tif 000011
【図９】
2013223007.tif 000012
【図１０】
2013223007.tif 000013
【図１１】
2013223007.tif 000014
【図１２】
2013223007.tif 000015
【図１３】
2013223007.tif 000016
【図１４】
2013223007.tif 000017
【図１５】
2013223007.tif 000018
【図１６】
2013223007.tif 000019
【図１７】
2013223007.tif 000020
【図１８】
2013223007.tif 000021
【図１９】
2013223007.tif 000022
【図２０】
2013223007.tif 000023
【図２１】
2013223007.tif 000024
【図２２】
2013223007.tif 000025
【図２３】
2013223007.tif 000026
【図２４】
2013223007.tif 000027
【図２５】
2013223007.tif 000028
【図２６】
2013223007.tif 000029
【図２７】
2013223007.tif 000030
【図２８】
2013223007.tif 000031
【図２９】
2013223007.tif 000032
【図３０】
2013223007.tif 000033
【図３１】
2013223007.tif 000034