(57)【要約】  映像を構成する処理対象の画像を複数の分割領域に分割し、前記分割領域に対して適用する帯域幅を決定し、その帯域幅で帯域制限する場合の周波数特性を実現するフィルタ係数配列を算出し、前記分割領域毎に、前記フィルタ係数配列を用いて画像データをフィルタ処理し、得られたデータと元の画像データとの誤差情報の値を導出し、それに基づいて最適帯域幅の決定に用いる振り分け係数を算出し、前記分割領域毎に、前記振り分け係数に対応した最適帯域幅を決定し、該最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出し、これを用いて前記分割領域の画像データをフィルタ処理し、得られた各分割領域のデータを統合する映像処理方法。
2008081813.tif 000002
【特許請求の範囲】
【請求項１】
映像を構成する処理対象の画像を複数の分割領域に分割する段階と、
前記分割領域に対して適用する第一帯域幅を決定する段階と、
前記第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する段階と、
前記分割領域毎に、前記第一フィルタ係数配列を用いて前記分割領域の画像データをフィルタ処理してフィルタ分割画像データを生成する段階と、
前記分割領域毎に、前記分割領域の画像データと前記フィルタ分割画像データとの誤差情報の値を導出し、それに基づいて最適帯域幅の決定に用いる振り分け係数を算出する段階と、
前記分割領域毎に、前記振り分け係数に対応した最適帯域幅を決定する段階と、
前記分割領域毎に、前記決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する段階と、
前記分割領域毎に、前記最適フィルタ係数配列を用いて前記分割領域の画像データをフィルタ処理して最適フィルタ分割画像データを生成する段階と、
前記分割領域毎の前記最適フィルタ分割画像データを統合する段階とを備えることを、
特徴とする映像処理方法。
【請求項２】
映像を構成する処理対象の画像上に設定される該画像を区画する分割領域に対して適用する第一帯域幅を決定する段階と、
前記第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する段階と、
前記第一フィルタ係数配列を用いて処理対象の画像の画像データをフィルタ処理してフィルタ画像データを生成する段階と、
前記分割領域毎に、処理対象の画像の画像データと前記フィルタ画像データとの誤差情報の値を導出し、それに基づいて最適帯域幅の決定に用いる振り分け係数を算出する段階と、
前記分割領域毎に、前記振り分け係数に対応した最適帯域幅を決定する段階と、
前記分割領域毎に、前記決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する段階と、
前記分割領域毎に、前記最適フィルタ係数配列を用いて前記分割領域の画像データをフィルタ処理して最適フィルタ分割画像データを生成する段階と、
前記分割領域毎の前記最適フィルタ分割画像データを統合する段階とを備えることを、
特徴とする映像処理方法。
【請求項３】
請求項１又は２に記載の映像処理方法において、
前記第一帯域幅を決定する段階では、前記分割領域の大きさに基づいて前記第一帯域幅を決定することを、
特徴とする映像処理方法。
【請求項４】
請求項１又は２に記載の映像処理方法において、
前記分割領域毎に、前記決定した最適帯域幅について、周辺に位置する分割領域の最適帯域幅と比較する段階と、
前記比較の結果に基づいて、前記決定した最適帯域幅を修正する段階とを備えることを、
特徴とする映像処理方法。
【請求項５】
請求項１又は２に記載の映像処理方法において、
前記分割領域毎に、前あるいは後あるいは前後のフレームの画像データを用いて、前記分割領域の画像データが動きのある画像データであるのか否かを判断する段階と、
前記動きのある画像データであることを判断した分割領域について、その分割領域について決定した最適帯域幅を修正する段階とを備えることを、
特徴とする映像処理方法。
【請求項６】
請求項５に記載の映像処理方法において、
前記判断する段階では、使用したフレームと自フレームとの画素値の変動量を評価することで、前記分割領域の画像データが動きのある画像データであるのか否かを判断することを、
特徴とする映像処理方法。
【請求項７】
請求項５に記載の映像処理方法において、
前記判断する段階では、前記分割領域の画像データが動きのある高周波成分の画像データであるのか否かを判断し、
前記最適帯域幅を修正する段階では、前記動きのある高周波成分の画像データであることを判断した分割領域について、その分割領域について決定した最適帯域幅を修正することを、
特徴とする映像処理方法。
【請求項８】
請求項７に記載の映像処理方法において、
前記判断する段階では、前記分割領域の画像データの属性を示す値が高周波成分の画像データであることを示しているのか否かということを判断するとともに、使用したフレームと自フレームとにおける、高周波成分の画像データであることを示す前記分割領域の個数の変動量を評価することで、前記分割領域の画像データが動きのある高周波成分の画像データであるのか否かを判断することを、
特徴とする映像処理方法。
【請求項９】
請求項１又は２に記載の映像処理方法において、
前記最適帯域幅を決定する段階では、前記振り分け係数と前記最適帯域幅との対応関係について記述する最適帯域幅決定表を参照することで、前記振り分け係数に対応した最適帯域幅を決定することを、
特徴とする映像処理方法。
【請求項１０】
請求項９に記載の映像処理方法において、
前記最適帯域幅を決定する段階では、前記最適帯域幅決定表が画像の大きさ及び前記誤差情報の目標値に対応付けて用意される場合には、それらの中から、前記分割領域の大きさと指定される前記誤差情報の目標値とに対応した最適帯域幅決定表を選択して、その選択した最適帯域幅決定表を参照することで、前記振り分け係数に対応した最適帯域幅を決定することを、
特徴とする映像処理方法。
【請求項１１】
請求項１又は２に記載の映像処理方法において、
前記振り分け係数を算出する段階では、帯域制限しない状態に極限的に近づけたときに得られる前記誤差情報の値を前記導出した誤差情報の値で割り算することで、前記振り分け係数を算出することを、
特徴とする映像処理方法。
【請求項１２】
映像を構成する処理対象の画像を複数の分割領域に分割する手段と、
前記分割領域の大きさに基づいて第一帯域幅を決定する手段と、
前記第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する手段と、
前記分割領域毎に、前記第一フィルタ係数配列を用いて前記分割領域の画像データをフィルタ処理してフィルタ分割画像データを生成する手段と、
前記分割領域毎に、前記分割領域の画像データと前記フィルタ分割画像データとの誤差情報の値を導出し、それに基づいて最適帯域幅の決定に用いる振り分け係数を算出する手段と、
前記分割領域毎に、前記振り分け係数に対応した最適帯域幅を決定する手段と、
前記分割領域毎に、前記決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する手段と、
前記分割領域毎に、前記最適フィルタ係数配列を用いて前記分割領域の画像データをフィルタ処理して最適フィルタ分割画像データを生成する手段と、
前記分割領域毎の前記最適フィルタ分割画像データを統合する手段とを備えることを、
特徴とする映像処理装置。
【請求項１３】
映像を構成する処理対象の画像上に設定される該画像を区画する分割領域の大きさに基づいて第一帯域幅を決定する手段と、
前記第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する手段と、
前記第一フィルタ係数配列を用いて処理対象の画像の画像データをフィルタ処理してフィルタ画像データを生成する手段と、
前記分割領域毎に、処理対象の画像の画像データと前記フィルタ画像データとの誤差情報の値を導出し、それに基づいて最適帯域幅の決定に用いる振り分け係数を算出する手段と、
前記分割領域毎に、前記振り分け係数に対応した最適帯域幅を決定する手段と、
前記分割領域毎に、前記決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する手段と、
前記分割領域毎に、前記最適フィルタ係数配列を用いて前記分割領域の画像データをフィルタ処理して最適フィルタ分割画像データを生成する手段と、
前記分割領域毎の前記最適フィルタ分割画像データを統合する手段とを備えることを、
特徴とする映像処理装置。
【請求項１４】
請求項１２又は１３に記載の映像処理装置において、
前記分割領域毎に、前記決定した最適帯域幅について、周辺に位置する分割領域の最適帯域幅と比較する手段と、
前記比較の結果に基づいて、前記決定した最適帯域幅を修正する手段とを備えることを、
特徴とする映像処理装置。
【請求項１５】
請求項１２又は１３に記載の映像処理装置において、
前記分割領域毎に、前あるいは後あるいは前後のフレームの画像データを用いて、前記分割領域の画像データが動きのある画像データであるのか否かを判断する手段と、
前記動きのある画像データであることを判断した分割領域について、その分割領域について決定した最適帯域幅を修正する手段とを備えることを、
特徴とする映像処理装置。
【請求項１６】
請求項１５に記載の映像処理装置において、
前記判断する手段は、前記分割領域の画像データが動きのある高周波成分の画像データであるのか否かを判断し、
前記最適帯域幅を修正する手段は、前記動きのある高周波成分の画像データであることを判断した分割領域について、その分割領域について決定した最適帯域幅を修正することを、
特徴とする映像処理装置。
【請求項１７】
請求項１に記載の映像処理方法の実現に用いられる処理をコンピュータに実行させるための映像処理プログラム。
【請求項１８】
請求項１に記載の映像処理方法の実現に用いられる処理をコンピュータに実行させるための映像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を構成する画像に対しての適応的なフィルタ処理を簡素化された処理で実現できるようにする映像処理方法及びその装置と、その映像処理方法の実現に用いられる映像処理プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００６年１２月２８日に出願された特願２００６−３５３６１０号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
映像符号化の前処理としてしばしば使用されるプレフィルタは、符号化に伴うブロック歪みやモスキートノイズなどを緩和し主観的な画像品質を高める効果のあることが知られている。適用するプレフィルタの通過帯域幅（以下、帯域幅と称する）を制限することにより、原画像に含まれるノイズを除去し符号化効率を向上させるものであるが、帯域幅を狭く制限しすぎると画質を著しく低下させてしまう。【０００３】
図２３に、帯域制限をする画像処理方法を示す。【０００４】
帯域制限をする画像処理方法では、この図に示すように、まず最初に、原画像データＢ（１）を入力し、これを周波数成分Ｉ（１）に変換する（ステップＳ１０００）。続いて、この周波数成分Ｉ（１）に対し、帯域幅ｒ１（０＜ｒ１＜１）で帯域制限を行い周波数成分Ｉ（ｒ１）を得る（ステップＳ１１００）。続いて、この周波数成分Ｉ（ｒ１）を画像変換することにより、フィルタ処理した画像データＢ（ｒ１）を生成する（ステップＳ１２００）。【０００５】
このような画像処理を、ある映像の全フレームに対して同じ帯域幅で適用した場合、フレーム毎に画像の周波数特性は異なるため、フィルタ適用後のフレーム毎の画像品質は異なり、低周波成分を多く含む画像では原画像との差分が小さく、主観的及び客観的画質低下も小さいが、高周波成分を多く含む画像ではエッジなどが平滑化されぼけてしまい、主観的及び客観的画質が著しく低下してしまうといった問題がある。【０００６】
なお、客観的画質評価値としてはＰＳＮＲ（Peak Signal to Noise Ratio）などがよく用いられる。ここで、ＰＳＮＲは、Ｓを信号レベル、Ｎを雑音レベルで表すならば、一般には
ＰＳＮＲ＝２０×ｌｏｇ10（Ｓ／Ｎ）
という式で表される。
実際の処理においては，原画像の輝度値を8bit(=0〜255)とした場合、ＰＳＮＲは次式により得られる。
2008081813.tif 000003
ここで、Nは原画像及びフィルタ適用後画像のピクセル数、f(x, y)は原画像のピクセル値、f’(x, y)はフィルタ適用後画像のピクセル値を表している。「２５５」は両画像のピクセルの最大振幅（輝度値）となる。
即ち、実際の処理においては、原画像とフィルタ適用後の画像を比較し(具体的には上式により）、ＰＳＮＲを算出する。【０００７】
上記の問題に対して、主観的、客観的画質制御を、全ての画像に対する総当り的な帯域制限により行う方法が考えられる。【０００８】
図２４に、総当り的な帯域制限を行うことにより最適フィルタ画像データを生成する最適フィルタ画像生成装置１０００の装置構成を図示する。【０００９】
この図に示すように、最適フィルタ画像生成装置１０００は、原画像データ入力部１１００と、周波数成分解析部１２００と、帯域幅手動選択部１３００と、帯域制限部１４００と、画像データ生成部１５００と、ＰＳＮＲ算出部１６００と、画質判定部１７００と、最適帯域制限画像データ出力部１８００とから構成される。【００１０】
図２５に、このように構成される最適フィルタ画像生成装置１０００で実行される総当り的な帯域制限を行うことにより最適フィルタ画像データを生成する画像処理方法を示す。【００１１】
このように構成される最適フィルタ画像生成装置１０００では、まず最初に、原画像データ入力部１１００にて、原画像データＢ（１）を入力し、周波数成分解析部１２００にて、これを周波数成分Ｉ（１）に変換する（ステップＳ２０００）。【００１２】
続いて、帯域幅手動選択部１３００にて、暫定的な帯域幅ｒ１を手動選択する（ステップＳ２１００）。続いて、帯域制限部１４００にて、変換した周波数成分Ｉ（１）に対し、選択した帯域幅ｒ１で帯域制限を行い周波数成分Ｉ（ｒ１）を得る（ステップＳ２２００）。【００１３】
続いて、画像データ生成部１５００にて、この周波数成分Ｉ（ｒ１）を画像変換することにより画像データＢ（ｒ１）を生成する（ステップＳ２３００）。続いて、ＰＳＮＲ算出部１６００にて、原画像データＢ（１）とこの画像データＢ（ｒ１）とを比較して、ＰＳＮＲ（Ｐ（ｒ１）とする）を算出する（ステップＳ２４００）。【００１４】
続いて、画質判定部１７００にて、算出したＰ（ｒ１）が所望の画質かどうかを判定する（ステップＳ２５００）。そして、所望の画質であれば、最適帯域制限画像データ出力部１８００にて、画像データＢ（ｒ１）を最適帯域制限画像データ（最適フィルタ画像データ）として出力する（ステップＳ２６００）。【００１５】
しかし、１度目の処理で得られたＰ（ｒ１）が所望の画質となることは稀であり、所望の画質でない場合には帯域幅手動選択部１３００の処理（ステップＳ２１００の処理）に戻り、帯域制限処理後の画像が所望の画質に近づくよう再度帯域幅ｒ２を選択し、同様に帯域制限、画像生成及びＰＳＮＲ算出処理を繰り返す。【００１６】
そして、本処理を所望の画質が得られるまでＮ回繰り返し、最終的に得られた帯域幅ｒＮを最適帯域幅として、最適帯域制限画像データ出力部１８００にて、この帯域幅ｒＮを用いて作成された画像データＢ（ｒＮ）を最適帯域制限画像データ（最適フィルタ画像データ）として出力する（ステップＳ２６００）。【００１７】
しかしながら、様々な映像及びそれらを構成する全フレームに対しフィルタ処理を行い、その都度得られた画像信号の主観的又は客観的画質を評価し、映像の全フレームに対し同等の画質を得るまで本処理を総当り的に繰り返し行うというこの手法は、多数の画像を処理するような状況には時間的、コスト的に不適であり、現実的でないという問題がある。【００１８】
この問題に対し、画像及び映像の符号化情報より最適帯域幅を求めて画像処理を行う技術が知られている（例えば、特許文献１参照）。【００１９】
図２６に、符号化情報を用いることにより最適フィルタ画像データを生成する最適フィルタ画像生成装置２０００の装置構成を図示する。【００２０】
この図に示すように、最適フィルタ画像生成装置２０００は、原画像データ入力部２１００と、周波数成分解析部２２００と、画像データ符号化部２３００と、最適帯域制限幅決定部２４００と、帯域制限部２５００と、画像データ生成部２６００と、最適帯域制限画像データ出力部２７００とから構成される。【００２１】
図２７に、このように構成される最適フィルタ画像生成装置２０００で実行される符号化情報を用いることにより最適フィルタ画像データを生成する画像処理方法を示す。【００２２】
このように構成される最適フィルタ画像生成装置２０００では、まず最初に、原画像データ入力部２１００にて、原画像データＢ（１）を入力し、周波数成分解析部２２００にて、これを周波数成分Ｉ（１）へ変換する（ステップＳ３０００）。【００２３】
続いて、画像データ符号化部２３００にて、入力した原画像データＢ（１）を符号化する（ステップＳ３１００）。続いて、最適帯域制限幅決定部２４００にて、符号化により得られた符号量情報に基づいて、最適帯域幅ｒ１を決定する（ステップＳ３２００）。【００２４】
続いて、帯域制限部２５００にて、変換した周波数成分Ｉ（１）に対し、決定した最適帯域幅ｒ１で帯域制限を行い周波数成分Ｉ（ｒ１）を得る（ステップＳ３３００）。続いて、画像データ生成部２６００にて、この周波数成分Ｉ（ｒ１）を画像変換することにより画像データＢ（ｒ１）を生成する（ステップＳ３４００）。【００２５】
最後に、最適帯域制限画像データ出力部２７００にて、画像データＢ（ｒ１）を最適帯域制限画像データ（最適フィルタ画像データ）として出力する（ステップＳ３５００）。【００２６】
このようにして、図２６のように構成される従来の最適フィルタ画像生成装置２０００では、一度符号化を行って、その符号化により得られる符号化情報に基づいて最適帯域幅を決定することで、図２４のように構成される最適フィルタ画像生成装置１０００で必要とされるような繰り返し処理を行うことなく、最適フィルタ画像データを生成するようにしている。
【特許文献１】特開平６−２２５２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【００２７】
確かに、図２６のように構成される従来の最適フィルタ画像生成装置２０００によれば、図２４のように構成される最適フィルタ画像生成装置１０００で必要とされるような繰り返し処理を行うことなく、最適フィルタ画像データを生成できるようになる。【００２８】
しかしながら、図２６のように構成される従来の最適フィルタ画像生成装置２０００では、一度符号化を行って、その符号化により得られる符号化情報に基づいて最適帯域幅を決定するようにしている。【００２９】
こうした符号化情報を利用した手法では、帯域制限処理と符号化処理とが不可分となっており、最適帯域幅を用いたプレフィルタ処理のみをしたい場合であっても、符号化処理が必要となり、プレフィルタ処理後に符号化処理を行う場合には、２回の符号化処理が必要となり、画像サイズが大きい場合などは特に処理時間を要するという問題がある。【００３０】
これらの点からプレフィルタとして用いる帯域幅の最適化は、符号量などの符号化情報を用いる手法よりも、処理を簡素化でき、かつ、主観的や客観的な画質評価基準による任意制御可能な手法が望ましい。【００３１】
本発明はかかる事情に鑑みてなされたものであり、映像を構成する画像に対しての適応的なフィルタ処理を符号化処理なしで、かつ繰り返し処理なしで実現し、さらに、この実現にあたって、映像のフレーム内及びフレーム間での周波数分布を考慮した適応的なフィルタ処理を実現することで、所定の画質評価値を持つフィルタ画像を効率的に生成できるようにする新たな映像処理技術の提供を目的とする。
【課題を解決するための手段】
【００３２】
〔Ａ〕第１の構成
前述の目的を達成するために、本発明の映像処理装置は、（１）映像を構成する処理対象の画像を複数の分割領域に分割する分割手段と、（２）分割手段の分割した分割領域に対して適用する第一帯域幅を決定する第一帯域幅決定手段と、（３）第一帯域幅決定手段の決定した第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する第一フィルタ係数配列算出手段と、（４）分割手段の分割した分割領域毎に、第一フィルタ係数配列算出手段の算出した第一フィルタ係数配列を用いて分割領域の画像データをフィルタ処理してフィルタ分割画像データを生成するフィルタ分割画像データ生成手段と、（５）分割手段の分割した分割領域毎に、分割領域の画像データとフィルタ分割画像データ生成手段の生成したフィルタ分割画像データとの誤差情報の値を導出し、それに基づいて最適帯域幅の決定に用いる振り分け係数を算出する振り分け係数算出手段と、（６）分割手段の分割した分割領域毎に、振り分け係数算出手段の算出した振り分け係数に対応した最適帯域幅を決定する最適帯域幅決定手段と、（７）分割手段の分割した分割領域毎に、最適帯域幅決定手段の決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する最適フィルタ係数配列算出手段と、（８）分割手段の分割した分割領域毎に、最適フィルタ係数配列算出手段の算出した最適フィルタ係数配列を用いて分割領域の画像データをフィルタ処理して最適フィルタ分割画像データを生成する最適フィルタ分割画像データ生成手段と、（９）最適フィルタ分割画像データ生成手段の生成した分割領域毎の最適フィルタ分割画像データを統合する統合手段とを備えるように構成する。【００３３】
この構成を採るときに、分割領域毎に、最適帯域幅決定手段の決定した最適帯域幅について、周辺に位置する分割領域の最適帯域幅と比較する比較手段と、比較手段の比較結果に基づいて、最適帯域幅決定手段の決定した最適帯域幅を修正する修正手段とを備えることがある。【００３４】
また、この構成を採るときに、分割領域毎に、前あるいは後あるいは前後のフレームの画像データを用いて、分割領域の画像データが動きのある画像データであるのか否かを判断する判断手段と、判断手段が動きのある画像データであることを判断した分割領域について、最適帯域幅決定手段が決定した最適帯域幅を修正する修正手段とを備えることがある。【００３５】
この場合、前記判断する手段は、前記分割領域の画像データが動きのある高周波成分の画像データであるのか否かを判断し、
前記最適帯域幅を修正する手段は、前記動きのある高周波成分の画像データであることを判断した分割領域について、その分割領域について決定した最適帯域幅を修正する
ようにしても良い。【００３６】
以上の各処理手段が動作することで実現される本発明の映像処理方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。【００３７】
〔Ｂ〕第２の構成
前述の目的を達成するために、本発明の映像処理装置は、（１）映像を構成する処理対象の画像上に設定されるその画像を区画する分割領域に対して適用する第一帯域幅を決定する第一帯域幅決定手段と、（２）第一帯域幅決定手段の決定した第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する第一フィルタ係数配列算出手段と、（３）第一フィルタ係数配列算出手段の算出した第一フィルタ係数配列を用いて処理対象の画像の画像データをフィルタ処理してフィルタ画像データを生成するフィルタ画像データ生成手段と、（４）分割領域毎に、処理対象の画像の画像データとフィルタ画像データ生成手段の生成したフィルタ画像データとの誤差情報の値を導出し、それに基づいて最適帯域幅の決定に用いる振り分け係数を算出する振り分け係数算出手段と、（５）分割領域毎に、振り分け係数算出手段の算出した振り分け係数に対応した最適帯域幅を決定する最適帯域幅決定手段と、（６）分割領域毎に、最適帯域幅決定手段の決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する最適フィルタ係数配列算出手段と、（７）分割領域毎に、最適フィルタ係数配列算出手段の算出した最適フィルタ係数配列を用いて分割領域の画像データをフィルタ処理して最適フィルタ分割画像データを生成する最適フィルタ分割画像データ生成手段と、（８）最適フィルタ分割画像データ生成手段の生成した分割領域毎の最適フィルタ分割画像データを統合する統合手段とを備えるように構成する。【００３８】
この構成を採るときに、分割領域毎に、最適帯域幅決定手段の決定した最適帯域幅について、周辺に位置する分割領域の最適帯域幅と比較する比較手段と、比較手段の比較結果に基づいて、最適帯域幅決定手段の決定した最適帯域幅を修正する修正手段とを備えることがある。【００３９】
また、この構成を採るときに、分割領域毎に、前あるいは後あるいは前後のフレームの画像データを用いて、分割領域の画像データが動きのある画像データであるのか否かを判断する判断手段と、判断手段が動きのある画像データであることを判断した分割領域について、最適帯域幅決定手段が決定した最適帯域幅を修正する修正手段とを備えることがある。【００４０】
この場合、前記判断する手段は、前記分割領域の画像データが動きのある高周波成分の画像データであるのか否かを判断し、
前記最適帯域幅を修正する手段は、前記動きのある高周波成分の画像データであることを判断した分割領域について、その分割領域について決定した最適帯域幅を修正する
ようにしても良い。【００４１】
以上の各処理手段が動作することで実現される本発明の映像処理方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。【００４２】
〔Ｃ〕本発明の処理
このように構成される第１の構成に従う本発明の映像処理装置では、映像を構成する処理対象の画像を入力すると、処理対象の画像を複数の分割領域に分割して、例えば、その分割領域の大きさに基づいて第一帯域幅を決定することで、その分割領域に対して適用する第一帯域幅を決定する。【００４３】
続いて、決定した第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出して、分割領域毎に、その算出した第一フィルタ係数配列を用いて分割領域の画像データをフィルタ処理することでフィルタ分割画像データを生成する。【００４４】
続いて、分割領域毎に、分割領域の画像データと生成したフィルタ分割画像データとの誤差情報の値（例えばＰＳＮＲ値）を導出し、それに基づいて最適帯域幅の決定に用いる振り分け係数を算出する。
例えば、帯域制限しない状態に極限的に近づけたときに得られる誤差情報の値を導出した誤差情報の値で割り算することで、振り分け係数を算出することになる。【００４５】
一方、このように構成される第２の構成に従う本発明の映像処理装置では、映像を構成する処理対象の画像を入力すると、例えば、処理対象の画像上に設定されるその画像を区画する分割領域の大きさに基づいて第一帯域幅を決定することで、その分割領域に対して適用する第一帯域幅を決定する。【００４６】
続いて、決定した第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出して、その算出した第一フィルタ係数配列を用いて処理対象の画像の画像データをフィルタ処理することでフィルタ画像データを生成する。【００４７】
続いて、分割領域毎に、処理対象の画像の画像データと生成したフィルタ画像データとの誤差情報の値（例えばＰＳＮＲ値）を導出し、それに基づいて最適帯域幅の決定に用いる振り分け係数を算出する。
例えば、帯域制限しない状態に極限的に近づけたときに得られる誤差情報の値を導出した誤差情報の値で割り算することで、振り分け係数を算出することになる。【００４８】
このようにして、分割領域毎に振り分け係数を算出した後の処理については、第１及び第２の構成で変わることはない。【００４９】
すなわち、続いて、分割領域毎に、例えば、振り分け係数と最適帯域幅との対応関係について記述する最適帯域幅決定表を参照することで、算出した振り分け係数に対応した最適帯域幅を決定する。【００５０】
このとき、最適帯域幅決定表が画像の大きさ及び誤差情報の目標値に対応付けて用意される場合には、それらの中から、分割領域の大きさと指定される誤差情報の目標値とに対応した最適帯域幅決定表を選択して、その選択した最適帯域幅決定表を参照することで、振り分け係数に対応した最適帯域幅を決定することになる。【００５１】
続いて、分割領域毎に、決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出して、分割領域毎に、その算出した最適フィルタ係数配列を用いて分割領域の画像データをフィルタ処理して最適フィルタ分割画像データを生成する。【００５２】
そして、最後に、生成した最適フィルタ分割画像データを統合することで、処理対象の画像についてのフィルタ画像を生成する。【００５３】
このようにして、本発明では、処理対象の画像を所定の画質評価値を持つ画像に変換するフィルタ処理を、符号化処理なしで、さらに繰り返し処理なしで、自動的に行うことを実現する。【００５４】
このように構成される本発明では、分割領域毎に、その分割領域について算出した最適フィルタ係数配列を用いてフィルタ処理を実行することから、最終的に生成した処理対象の画像についてのフィルタ画像に、分割領域の境界部分に基づくノイズが発生することがある。【００５５】
そこで、各分割領域について決定した最適帯域幅と、その分割領域の周辺に位置する分割領域の最適帯域幅とを比較して、その決定した最適帯域幅が周辺の最適帯域幅と大きな段差を持つ場合に、その段差が小さくなるように、その決定した最適帯域幅を修正するように処理するようにできる。【００５６】
また、このように構成される本発明で決定することになる各分割領域の最適帯域幅については、その分割領域が動いている映像部分である場合には、最適帯域幅を小さくしても（符号量を削減できる）、その分割領域の画像データの客観的画質が他の分割領域の画像データのものと異なるものにはなるものの、主観的画質としては同等のものを維持できることになる。【００５７】
そこで、分割領域毎に、前あるいは後あるいは前後のフレームの画像データを用いて、例えば、そのフレームと自フレームとの画素値の変動量を評価することで、その分割領域の画像データが動きのある画像データであるのか否かを判断して、動きのある画像データであることを判断した分割領域については、その分割領域について決定した最適帯域幅を小さくするように修正することが可能である。【００５８】
また、このように構成される本発明で決定することになる各分割領域の最適帯域幅については、その分割領域が動いている映像部分でかつ高周波成分の映像部分である場合には、最適帯域幅をかなり小さくしても（符号量をかなり削減できる）、その分割領域の画像データの客観的画質が他の分割領域の画像データのものと異なるものにはなるものの、主観的画質としては同等のものを維持できることになる。【００５９】
そこで、分割領域毎に、前あるいは後あるいは前後のフレームの画像データを用いて、例えば、その分割領域の画像データの属性を示す値が高周波成分の画像データであることを示しているのか否かということを判断するとともに、上記用いたフレームと自フレームとにおける高周波成分の画像データであることを示す分割領域の個数の変動量を評価することで、その分割領域の画像データが動きのある高周波成分の画像データであるのか否かを判断して、動きのある高周波成分の画像データであることを判断した分割領域については、その分割領域について決定した最適帯域幅を小さくするように修正することになる。【００６０】
これから、映像を構成する１枚の画像の中に、高周波成分を多く含む画像部分と、高周波成分をあまり含まない画像部分とが混在する場合にも、それぞれの画像部分について、誤差情報の目標値（目標ＰＳＮＲなど）を実現する最適フィルタ画像データを生成することができるようになる。
【発明の効果】
【００６１】
本発明によれば、映像を構成する画像に対しての適応的なフィルタ処理を符号化処理なしで、かつ繰り返し処理なしで実現し、さらに、この実現にあたって、映像のフレーム内及びフレーム間での周波数分布を考慮した適応的なフィルタ処理を実現することで、所定の画質評価値を持つフィルタ画像を効率的に生成できるようになる。
【図面の簡単な説明】
【００６２】
【図１】帯域幅とＰＳＮＲとの対応関係を示す実験結果の説明図である。
【図２】最適帯域幅決定表の説明図である。
【図３】同様に、最適帯域幅決定表の説明図である。
【図４】本発明の第１実施形態の最適フィルタ画像生成装置の装置構成図である。
【図５Ａ】第一帯域幅決定表の説明図である。
【図５Ｂ】同様に、第一帯域幅決定表の説明図である。
【図６】第１実施形態の最適フィルタ画像生成装置の実行するフローチャートである。
【図７】本発明の第２実施形態の最適フィルタ画像生成装置の装置構成図である。
【図８】第２実施形態の最適フィルタ画像生成装置の実行するフローチャートである。
【図９】本発明の第３実施形態の最適フィルタ画像生成装置の装置構成図である。
【図１０】第３実施形態の最適フィルタ画像生成装置の実行するフローチャートである。
【図１１】同様に、第３実施形態の最適フィルタ画像生成装置の実行するフローチャートである。
【図１２】最適帯域幅再調整部の実行する最適帯域幅再調整処理の説明図である。
【図１３】同様に、最適帯域幅再調整部の実行する最適帯域幅再調整処理の説明図である。
【図１４】同様に、最適帯域幅再調整部の実行する最適帯域幅再調整処理の説明図である。
【図１５】同様に、最適帯域幅再調整部の実行する最適帯域幅再調整処理の説明図である。
【図１６】本発明の第４実施形態の最適フィルタ画像生成装置の装置構成図である。
【図１７】第４実施形態の最適フィルタ画像生成装置の実行するフローチャートである。
【図１８】同様に、第４実施形態の最適フィルタ画像生成装置の実行するフローチャートである。
【図１９】本発明の第５実施形態の最適フィルタ画像生成装置の装置構成図である。
【図２０】第５実施形態の最適フィルタ画像生成装置の実行するフローチャートである。
【図２１】フレーム内画像の説明図である。
【図２２】本発明の有効性を検証するために行った実験結果の説明図である。
【図２３】帯域制限する画像処理方法の説明図である。
【図２４】総当たり的な帯域制限を行うことにより最適フィルタ画像データを生成する最適フィルタ画像生成装置の装置構成図である。
【図２５】総当たり的な帯域制限を行うことにより最適フィルタ画像データを生成する最適フィルタ画像生成装置の実行するフローチャートである。
【図２６】従来の最適フィルタ画像生成装置の装置構成図である。
【図２７】上記従来の最適フィルタ画像生成装置の実行するフローチャートである。
【符号の説明】
【００６３】
１      最適フィルタ画像生成装置
１００  原画像データ入力部
１０１  画像分割部
１０２  第一帯域幅決定部
１０３  第一帯域幅決定表
１０４  第一フィルタ係数配列算出部
１０５  フィルタ画像データ生成部
１０６  振り分け係数算出部
１０７  最適帯域幅決定表選択部
１０８  最適帯域幅決定表
１０９  最適帯域幅決定部
１１０  最適フィルタ係数配列算出部
１１１  フィルタ画像データ生成部
１１２  データ蓄積部
１１３  フィルタ画像データ統合部
２００  反復部
【発明を実施するための最良の形態】
【００６４】
本発明者は、前述した従来技術の問題を解決するために、まず最初に、処理対象の画像データの画像サイズに従って仮の帯域幅を決定し、それに基づいて仮のフィルタ画像データを生成して客観的画質評価値を測定し、続いて、その測定した客観的画質評価値から振り分け係数という無次元のパラメータを算出して、その算出した振り分け係数をキーにして、振り分け係数が大きい画像データほど最適帯域幅の値が大きなものとして決定されるデータ変換構造を持つ最適帯域幅決定表を参照することで、目標の客観的画質評価値を実現することになる最適な帯域幅を決定して、それに基づいて処理対象の画像データの最適なフィルタ画像データを生成するという発明を想到した。【００６５】
この発明によれば、原画像を所定の客観的画質評価値を持つ画像に変換するフィルタ処理を、符号化処理なしで、かつ繰り返し処理なしで自動的に行うことができるようになることで、従来技術の問題を解決できるようになる。【００６６】
この発明では、１枚の画像全体を一つのフィルタ処理の対象としている。
しかしながら、１枚の画像内にも高周波成分を多く含む部分と、高周波成分をあまり含まない部分とが存在し、これから、画像全体で同じフィルタ係数配列を用いたフィルタ処理を適用した場合に、高周波成分を多く含む部分では画質の劣化が目立ち、高周波成分をあまり含まない部分では画質の劣化が目立たないということが起こる。【００６７】
また、この発明では、客観的画質指標による帯域制限について考慮しており、主観的画質指標による帯域制限については考慮していない。しかしながら、符号化効率の点を考えると、客観的画質指標のみでなく、主観的画質指標による帯域制限を用いることが考えられる。【００６８】
すなわち、動きのある領域での高周波成分、例えば放水や火花のような高周波成分や、カメラパンが早い際の高周波成分は、動きのない領域での高周波成分に比べ視覚的劣化が目立ちにくい。
これから、より一層の高効率符号化を考えた場合、動きのある高周波部分の客観的画質指標を動きのない高周波部分と比べて異ならせて（ＰＳＮＲであれば低くなるように）フィルタ処理を行うことが望ましい。つまり高周波成分の動きの有無を判別し、それらに適応的に重み付けをして帯域幅を決定し、フィルタ処理することが望ましい。【００６９】
本発明者は、これらの点を考慮し、本発明者が想到した上記発明をさらに進めることで本発明を想到したものである。【００７０】
次に、処理対象の画像を所定の画質評価値を持つ画像に変換するフィルタ処理を、符号化処理なしで、さらに繰り返し処理なしで、自動的に実行できるようになる理由について具体的に説明する。
なお、この説明にあたっては、説明の一般性を失わないので、説明の便宜上、画像分割については考えないことにするとともに、誤差情報としてはＰＳＮＲを用いることにする。【００７１】
図１に、５つの画像１〜５を実験画像として用いて、それらの画像データ（輝度成分）に対して、水平、垂直の両方向に等しく帯域幅ｒ（０．３＜ｒ＜１）の周波数特性を実現するフィルタ係数配列でフィルタ処理を行うことで得た画像のＰＳＮＲ（図中ではＰ（ｒ）と記載）と帯域幅ｒとの関係を図示する。ここで、この実験に用いた画像のサイズは1920×1080画素である。【００７２】
前述したように、本発明では、まず最初に、第一帯域幅ｒ１を決定する。例えば、第一帯域幅ｒ１として０．５という値を決定したとする。【００７３】
本発明では、続いて、ｒ１＝０．５で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を用いてフィルタ画像データを生成して、そのフィルタ画像データのＰＳＮＲを導出することになるので、図１に示す特性を持つ画像１〜５を処理する場合には、それらの画像１〜５についてのフィルタ画像データを生成して、それらの第一フィルタ画像データのＰＳＮＲであるＰ（０．５）を導出することになる。【００７４】
この導出処理に従って、図１から分かるように、画像１についてはＰ（０．５）＝３４．５を導出し、画像２についてはＰ（０．５）＝４２．３を導出し、画像３についてはＰ（０．５）＝４０．６を導出し、画像４についてはＰ（０．５）＝４２．７を導出し、画像５についてはＰ（０．５）＝４５．３を導出することになる。【００７５】
本発明では、続いて、例えば、帯域制限しない状態に極限的に近づけたときに得られるＰＳＮＲの値（図１に示す５１．２）を、上記の導出したＰＳＮＲの値で割り算することで、振り分け係数Ｘを算出する。【００７６】
この算出処理に従って、「Ｘ＝５１．２／Ｐ（ｒ１）」という算出式を用いて、画像１については振り分け係数Ｘ＝１．４８を算出し、画像２については振り分け係数Ｘ＝１．２１を算出し、画像３については振り分け係数Ｘ＝１．２６を算出し、画像４については振り分け係数Ｘ＝１．２０を算出し、画像５については振り分け係数Ｘ＝１．１３を算出することになる。【００７７】
本発明では、続いて、算出した振り分け係数に対応した最適帯域幅を決定する処理を行う。この決定処理については、プログラムの判断機能を使うことでプログラムにより実行可能であるが、振り分け係数と最適帯域幅との対応関係について記述する最適帯域幅決定表を参照することでも実行可能である。【００７８】
このとき参照する最適帯域幅決定表は、例えば、図２に示すように、画像サイズ及び目標ＰＳＮＲに対応付けて用意されて、図３に示すように、ある画像サイズのある目標ＰＳＮＲに対して用意された表において、振り分け係数Ｘの値の範囲に対応付けて、各範囲にある振り分け係数Ｘの値に対応付けて定義される最適帯域幅ｒ２（目標ＰＳＮＲを実現するための帯域幅）の値がどういう値であるのかという情報を管理する。【００７９】
例えば、「Ｘ＜Ａ1 」という範囲にある振り分け係数Ｘについては最適帯域幅ｒ２の値がＢ1 になり、「Ａ1 ≦Ｘ＜Ａ2 」という範囲にある振り分け係数Ｘについては最適帯域幅ｒ２の値がＢ2 になり、「Ａ2 ≦Ｘ＜Ａ3 」という範囲にある振り分け係数Ｘについては最適帯域幅ｒ２の値がＢ3 になるというように、振り分け係数Ｘの範囲と目標ＰＳＮＲを実現するための帯域幅である最適帯域幅ｒ２との対応関係を管理するのである。【００８０】
ここで、Ａi （ｉ＝１〜ｎ−１）には、
０＜Ａ1 ＜Ａ2 ＜Ａ3 ＜・・・・・・＜Ａn-2 ＜Ａn-1 
という関係がある。【００８１】
また、振り分け係数Ｘが大きくなるにしたがって、最適帯域幅ｒ２の値が大きくなるように設定されているので、
０＜Ｂ1 ＜Ｂ2 ＜Ｂ3 ＜・・・・・・＜Ｂn-2 ＜Ｂn-1 ＜Ｂn ＜１
という関係がある。【００８２】
これから、本発明では、続いて、算出した振り分け係数Ｘをキーにして、図３に示すようなテーブル構造を持つ最適帯域幅決定表を参照することで、最適帯域幅ｒ２の値として、振り分け係数Ｘの大きさに応じた値Ｂi を決定することになる。【００８３】
このとき、最適帯域幅決定表は、上述のように、
０＜Ａ1 ＜Ａ2 ＜Ａ3 ＜・・・・・・＜Ａn-2 ＜Ａn-1 
０＜Ｂ1 ＜Ｂ2 ＜Ｂ3 ＜・・・・・・＜Ｂn-2 ＜Ｂn-1 ＜Ｂn ＜１
というテーブル構造を有していることから、振り分け係数Ｘが大きい画像データほど最適帯域幅ｒ２の値が大きなものとして決定され、振り分け係数Ｘが小さい画像データほど最適帯域幅ｒ２の値が小さなものとして決定されることになる。【００８４】
すなわち、振り分け係数Ｘが大きい画像データは、
Ｘ＝５１．２／Ｐ（ｒ１）
という算出式から分かるように、Ｐ（０．５）の値が小さいことを意味し、これから、目標ＰＳＮＲを実現するには最適帯域幅ｒ２の値を大きくする必要があり、一方、振り分け係数Ｘが小さい原画像データは、Ｐ（０．５）の値が大きいことを意味し、これから、目標ＰＳＮＲを実現するには最適帯域幅ｒ２の値を小さくする必要がある。【００８５】
このことを考慮して、最適帯域幅決定表は、振り分け係数Ｘが大きい画像データほど最適帯域幅ｒ２の値が大きなものとして決定され、振り分け係数Ｘが小さい画像データほど最適帯域幅ｒ２の値が小さなものとして決定されることを実現すべく、
０＜Ａ1 ＜Ａ2 ＜Ａ3 ＜・・・・・・＜Ａn-2 ＜Ａn-1 
０＜Ｂ1 ＜Ｂ2 ＜Ｂ3 ＜・・・・・・＜Ｂn-2 ＜Ｂn-1 ＜Ｂn ＜１
というテーブル構造を持つのである。【００８６】
このようにして決定される最適帯域幅ｒ２は、目標ＰＳＮＲを実現する最適フィルタ画像データを生成することになる帯域幅となっている。【００８７】
これから、本発明では、続いて、最適帯域幅ｒ２で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出して、それを用いて画像データに対してフィルタ処理を行うことで、高周波成分を多く含む画像データに対しては帯域幅を広くし、高周波成分をあまり含まない画像データに対しては帯域幅を狭くするという適応的なフィルタ処理を実行して、目標ＰＳＮＲを実現する最適フィルタ画像データを生成する。【００８８】
このようにして、本発明によれば、画像データに対してフィルタ処理を２回行うだけで、目標ＰＳＮＲを実現する最適なフィルタ画像データを生成することができるようになるのである。【００８９】
以上の説明では、画像分割のことを考えていないが、本発明では、処理対象の画像を分割して、分割領域毎に、以上に説明した本発明に特徴的なフィルタ処理を実行するようにしている。【００９０】
以下、実施の形態に従って本発明を詳細に説明する。【００９１】
〔１〕第１の実施の形態
図４に、本発明の第１の実施の形態としての最適フィルタ画像生成装置１の装置構成の一例を図示する。【００９２】
この図に示すように、第１の実施の形態に従う本発明の最適フィルタ画像生成装置１は、原画像データ入力部１００と、画像分割部１０１と、第一帯域幅決定部１０２と、第一帯域幅決定表１０３と、第一フィルタ係数配列算出部１０４と、フィルタ画像データ生成部１０５と、振り分け係数算出部１０６と、最適帯域幅決定表選択部１０７と、最適帯域幅決定表１０８と、最適帯域幅決定部１０９と、最適フィルタ係数配列算出部１１０と、フィルタ画像データ生成部１１１と、データ蓄積部１１２と、フィルタ画像データ統合部１１３とを備える。【００９３】
ここで、フィルタ画像データ生成部１０５と振り分け係数算出部１０６と最適帯域幅決定部１０９と最適フィルタ係数配列算出部１１０とフィルタ画像データ生成部１１１とは、画像分割部１０１の生成した各ブロック画像データＢ（１）のそれぞれに対して処理を行うので、反復部２００を構成することになる。【００９４】
原画像データ入力部１００は、映像を構成する処理対象となる原画像データＢ（１）＿ａｌｌを入力する。【００９５】
画像分割部１０１は、予め指定されるブロックサイズＤ又は予め指定される分割数Ｅに基づいて、原画像データ入力部１００の入力した画像データを分割して原画像のブロック画像データＢ（１）を生成する。ここで、ブロックの形状は任意のものであってよいが、以下では説明の便宜上、長方形を想定している。【００９６】
第一帯域幅決定部１０２は、画像分割部１０１の生成したブロック画像データＢ（１）のブロックサイズＤをキーにして、ブロックサイズＤと第一帯域幅ｒ１との対応関係について記述する図５Ａや５Ｂに示すようなテーブル構造を持つ第一帯域幅決定表１０３を参照することで、ブロックサイズＤに応じて定義される第一帯域幅ｒ１（第一パス用）を決定する。【００９７】
第一フィルタ係数配列算出部１０４は、第一帯域幅決定部１０２の決定した第一帯域幅ｒ１で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する。【００９８】
フィルタ画像データ生成部１０５は、第一フィルタ係数配列算出部１０４の算出した第一フィルタ係数配列を用いて、画像分割部１０１の生成した各ブロック画像データＢ（１）に対してフィルタ処理を行い、第一フィルタブロック画像データＢ（ｒ１）を生成する。【００９９】
振り分け係数算出部１０６は、第一フィルタブロック画像データＢ（ｒ１）とブロック画像データＢ（１）とを比較し、誤差情報として、第一フィルタブロック画像データＢ（ｒ１）のＰＳＮＲであるＰ（ｒ１）を測定して、それに基づいて、
Ｘ＝Ｇ／Ｐ（ｒ１）
という算出式に従って、振り分け係数Ｘを算出する。ここで、Ｇは定数であり、例えば、図１で示した５１．２という値が用いられる。【０１００】
最適帯域幅決定表選択部１０７は、ブロックサイズＤ及び目標ＰＳＮＲに対応付けて用意される複数の最適帯域幅決定表１０８の中から、画像分割部１０１の生成したブロック画像データＢ（１）のブロックサイズＤとユーザから与えられた目標ＰＳＮＲとに対応付けられる図３に示すようなテーブル構造を持つ最適帯域幅決定表１０８を選択し、その表を示すＩＤ番号を出力する。【０１０１】
ここで、最適帯域幅決定表１０８に記述されるＡi,Ｂi には、
０＜Ａ1 ＜Ａ2 ＜Ａ3 ＜・・・・・・＜Ａn-2 ＜Ａn-1 
０＜Ｂ1 ＜Ｂ2 ＜Ｂ3 ＜・・・・・・＜Ｂn-2 ＜Ｂn-1 ＜Ｂn ＜１
という関係がある。【０１０２】
最適帯域幅決定部１０９は、振り分け係数算出部１０６の算出した振り分け係数Ｘをキーにして、最適帯域幅決定表選択部１０７の選択した最適帯域幅決定表１０８を参照することで、最適帯域幅ｒ２（第二パス用）を決定する。【０１０３】
最適フィルタ係数配列算出部１１０は、最適帯域幅決定部１０９の決定した最適帯域幅ｒ２で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する。【０１０４】
フィルタ画像データ生成部１１１は、最適フィルタ係数配列算出部１１０の算出した最適フィルタ係数配列を用いて、画像分割部１０１の生成した各ブロック画像データＢ（１）に対してフィルタ処理を行い、最適フィルタブロック画像データＢ（ｒ２）を生成して、データ蓄積部１１２に格納する。【０１０５】
画像分割部１０１の生成した全てのブロック画像データＢ（１）に対して処理が行われることで、データ蓄積部１１２に対して、全ての最適フィルタブロック画像データＢ（ｒ２）が格納されると、フィルタ画像データ統合部１１３がそれらを統合し、原画像データ入力部１００の入力した原画像データについての最適フィルタ画像データＢ（ｒ２）＿ａｌｌを生成して、出力する。【０１０６】
図６に、このように構成される本実施形態の最適フィルタ画像生成装置１の実行するフローチャートの一例を図示する。【０１０７】
次に、このフローチャートに従って、最適フィルタ画像生成装置１の実行する処理について詳細に説明する。【０１０８】
本実施形態の最適フィルタ画像生成装置１は、映像を構成する処理対象の画像についての最適フィルタ画像データの生成要求があると、図６のフローチャートに示すように、まず最初に、ステップＳ１００で、最適フィルタ画像データの生成対象となる原画像データＢ（１）＿ａｌｌを入力する。【０１０９】
続いて、ステップＳ１０１で、予め与えられる所望のブロックサイズＤ又は分割数Ｅに基づいて、入力した原画像データＢ（１）＿ａｌｌを分割することで、原画像のブロック画像データＢ（１）を生成する。【０１１０】
続いて、ステップＳ１０２で、原画像のブロック画像データＢ（１）のブロックサイズＤをキーにして、ブロックサイズＤと第一帯域幅ｒ１との対応関係について記述する図５Ａや５Ｂに示すようなテーブル構造を持つ第一帯域幅決定表１０３を参照することで、ブロックサイズＤに応じて定義される第一帯域幅ｒ１（第一パス用）を決定する。【０１１１】
ここで、本実施形態の最適フィルタ画像生成装置１の取り扱うブロック画像データＢ（１）のブロックサイズＤが予め定められた固定サイズのものに限られている場合には、第一帯域幅決定表１０３を用意する必要はなく、その固定のサイズに応じて予め定義された第一帯域幅ｒ１を決定することになる。【０１１２】
続いて、ステップＳ１０３で、決定した第一帯域幅ｒ１で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する。【０１１３】
続いて、ステップＳ１０４で、未処理のブロック画像データＢ（１）を１つ選択し、続くステップＳ１０５で、算出した第一フィルタ係数配列を用いて、選択したブロック画像データＢ（１）に対してフィルタ処理を行い、第一フィルタブロック画像データＢ（ｒ１）を生成する。【０１１４】
続いて、ステップＳ１０６で、選択したブロック画像データＢ（１）と生成した第一フィルタブロック画像データＢ（ｒ１）とを比較して、誤差情報として、生成した第一フィルタブロック画像データＢ（ｒ１）のＰＳＮＲであるＰ（ｒ１）を測定して、それに基づいて、
Ｘ＝Ｇ／Ｐ（ｒ１）  ・・・・  式（１）
という算出式に従って、振り分け係数Ｘを算出する。ここで、Ｇは定数であり、例えば、図１で示した５１．２という値が用いられる。【０１１５】
続いて、ステップＳ１０７で、ブロックサイズＤ及び目標ＰＳＮＲに対応付けて用意される複数の最適帯域幅決定表１０８の中から、ブロック画像データＢ（１）のブロックサイズＤとユーザから与えられた目標ＰＳＮＲとに対応付けられる図３に示すようなテーブル構造を持つ最適帯域幅決定表１０８を選択する。【０１１６】
ここで、この最適帯域幅決定表１０８の選択処理については、前もって実行しておくことも可能である。
また、本実施形態の最適フィルタ画像生成装置１の取り扱うブロック画像データＢ（１）のブロックサイズＤが予め定められた固定サイズのものに限られている場合には、最適帯域幅決定表１０８をブロックサイズＤ及び目標ＰＳＮＲに対応付けて用意する必要はなく、目標ＰＳＮＲに対応付けられる複数の最適帯域幅決定表１０８を用意することになる。
また、本実施形態の最適フィルタ画像生成装置１の取り扱うブロック画像データＢ（１）のブロックサイズＤが予め定められた固定サイズのものに限られているとともに、最適フィルタ画像生成装置１の取り扱う目標ＰＳＮＲが予め定められた固定の値に限られている場合には、最適帯域幅決定表１０８をブロックサイズＤ及び目標ＰＳＮＲに対応付けて用意する必要はなく、１つの最適帯域幅決定表１０８を用意することになる。【０１１７】
続いて、ステップＳ１０８で、算出した振り分け係数Ｘをキーにして、選択した最適帯域幅決定表１０８を参照することで、最適帯域幅ｒ２（第二パス用）を決定する。【０１１８】
続いて、ステップＳ１０９で、決定した最適帯域幅ｒ２で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する。【０１１９】
続いて、ステップＳ１１０で、算出した最適フィルタ係数配列を用いて、再度、選択したブロック画像データＢ（１）に対してフィルタ処理を行い、最適フィルタブロック画像データＢ（ｒ２）を生成して、データ蓄積部１１２に格納する。【０１２０】
続いて、ステップＳ１１１で、全てのブロック画像データＢ（１）を選択したのか否かを判断して、全てのブロック画像データＢ（１）を選択していないことを判断するときには、ステップＳ１０４の処理に戻る。【０１２１】
一方、ステップＳ１１１の判断処理に従って、全てのブロック画像データＢ（１）を選択したことを判断するときには、ステップＳ１１２に進んで、データ蓄積部１１２に格納した最適フィルタブロック画像データＢ（ｒ２）を統合することで、原画像データと同一サイズを持つ最適フィルタ画像データＢ（ｒ２）＿ａｌｌを生成して出力し、処理を終了する。【０１２２】
次に、以上に説明した処理を具体的に説明する。【０１２３】
原画像の画像サイズを１９２０×１０８０、ブロックサイズＤを３２×１８、分割数Ｅを水平、垂直方向とも６０、ＰＳＮＲのＰtgt（目標ＰＳＮＲ）を３６ｄＢ、式（１）におけるＧを５１．２とする。【０１２４】
まず、第一帯域幅決定手順について説明する。
ブロックサイズＤが第一帯域幅決定部１０２に入力され、第一帯域幅決定部１０２に対して前もって与えられた１つの第一帯域幅決定表１０３から、ブロックサイズＤに対応する例えば０．７という第一帯域幅ｒ１を決定する。
そして、ｒ１＝０．７で帯域制限をする場合の周波数特性を実現する第一フィルタ係数配列を用いて第一フィルタブロック画像データＢ（０．７）を生成して、その第一フィルタブロック画像データＢ（０．７）のＰＳＮＲであるＰ（０．７）を測定し、式（１）を適用して、振り分け係数Ｘを求める。【０１２５】
次に、最適帯域幅決定手順について説明する。
Ｄ＝３２×１８、Ｐtgt ＝３６をそれぞれ最適帯域幅決定表選択部１０７に入力し、最適帯域幅決定表選択部１０７に対して前もって与えられた最適帯域幅決定表１０８の中から、入力値に対応した図３に示すようなテーブル構造を持つ最適帯域幅決定表１０８を選択する。
続いて、この選択した最適帯域幅決定表１０８を参照することで、先に求めた振り分け係数Ｘに対応する最適帯域幅ｒ２を決定する。【０１２６】
例えば、Ｐ（０．７）＝４５となる場合、式（１）に従って、Ｘ＝１．１４と求まり、Ａn-2 ≦１．１４＜Ａn-1 であるとすると、最適帯域幅ｒ２はＢn-1 と求まる。ここで、Ａi 及びＢi はそれぞれ以下の条件を満たす。【０１２７】
０＜Ａ1 ＜Ａ2 ＜Ａ3 ＜・・・・・・＜Ａn-2 ＜Ａn-1 
０＜Ｂ1 ＜Ｂ2 ＜Ｂ3 ＜・・・・・・＜Ｂn-2 ＜Ｂn-1 ＜Ｂn ＜１
そして、この最適帯域幅ｒ２で帯域制限をする場合の周波数特性を実現する最適フィルタ係数配列を用いて最適フィルタブロック画像データＢ（ｒ２）を生成する。
この処理を分割数分、ここでは６０×６０＝３６００ブロック分行い、それらの最適フィルタブロック画像データＢ（ｒ２）を最後に統合することで最終的な出力データである最適フィルタ画像データを得る。【０１２８】
なお、様々なＰtgt に対応した最適帯域幅決定表１０８を前もって作成しておくことにより、本発明を用いて任意の画質制御が可能なフィルタ処理を行うことができる。【０１２９】
このようにして、第１の実施の形態を用いることにより、全ての画像に対し、同程度のＰＳＮＲとなるブロックを得ることが可能となり、フレーム内で画質にばらつきがなく、フレーム内全ての領域に対し同程度の画質となるフィルタ画像を作成することができるようになる。【０１３０】
〔２〕第２の実施の形態
図７に、本発明の第２の実施の形態としての最適フィルタ画像生成装置１１の装置構成の一例を図示する。【０１３１】
第２の実施の形態の最適フィルタ画像生成装置１１と、図４に示した第１の実施の形態の最適フィルタ画像生成装置１との違いは、第２の実施の形態の最適フィルタ画像生成装置１１が画像分割部１０１を備えないとともに、新たに分割ブロック設定部１２０を備え、さらに、第一帯域幅決定部１０２α、フィルタ画像データ生成部１０５α、振り分け係数算出部１０６αが、それぞれ、第１の実施の形態の最適フィルタ画像生成装置１の備える第一帯域幅決定部１０２、フィルタ画像データ生成部１０５、振り分け係数算出部１０６と異なる処理を実行する点にある。【０１３２】
この分割ブロック設定部１２０は、予め指定されるブロックサイズＤ又は予め指定される分割数Ｅに基づいて、原画像データ入力部１００の入力した原画像データＢ（１）＿ａｌｌ上に仮想的な分割ブロックを設定する。このときに仮想的に設定される分割ブロックの画像データが、第１の実施の形態で説明した原画像のブロック画像データＢ（１）に相当することになる。【０１３３】
第一帯域幅決定部１０２αは、分割ブロック設定部１２０の設定した仮想的な分割ブロックのブロックサイズＤをキーにして、ブロックサイズＤと第一帯域幅ｒ１との対応関係について記述する図５Ａや５Ｂに示すようなテーブル構造を持つ第一帯域幅決定表１０３を参照することで、ブロックサイズＤに応じて定義される第一帯域幅ｒ１（第一パス用）を決定する。【０１３４】
フィルタ画像データ生成部１０５αは、第一フィルタ係数配列算出部１０４の算出した第一フィルタ係数配列を用いて、原画像データ入力部１００の入力した原画像データＢ（１）＿ａｌｌに対してフィルタ処理を行うことで、第一フィルタ画像データＢ（１）＿ａｌｌ（ｒ１）を生成する処理を行う。【０１３５】
振り分け係数算出部１０６αは、分割ブロック設定部１２０の設定した仮想的な分割ブロック毎に、その分割ブロック上に位置する第一フィルタ画像データＢ（１）＿ａｌｌ（ｒ１）の画像データ部分と、その分割ブロック上に位置する原画像データＢ（１）＿ａｌｌの画像データ部分とを比較し、誤差情報として、その分割ブロック上に位置する第一フィルタ画像データＢ（１）＿ａｌｌ（ｒ１）の画像データ部分のＰＳＮＲであるＰ（ｒ１）を測定して、それに基づいて、
Ｘ＝Ｇ／Ｐ（ｒ１）
という算出式に従って、振り分け係数Ｘを算出する。【０１３６】
図８に、このように構成される本実施形態の最適フィルタ画像生成装置１１の実行するフローチャートの一例を図示する。【０１３７】
次に、このフローチャートに従って、最適フィルタ画像生成装置１１の実行する処理について詳細に説明する。【０１３８】
本実施形態の最適フィルタ画像生成装置１１は、映像を構成する処理対象の画像についての最適フィルタ画像データの生成要求があると、図８のフローチャートに示すように、まず最初に、ステップＳ２００で、最適フィルタ画像データの生成対象となる原画像データＢ（１）＿ａｌｌを入力する。【０１３９】
続いて、ステップＳ２０１で、仮想的に設定した分割ブロックのブロックサイズＤをキーにして、ブロックサイズＤと第一帯域幅ｒ１との対応関係について記述する図５Ａや５Ｂに示すようなテーブル構造を持つ第一帯域幅決定表１０３を参照することで、ブロックサイズＤに応じて定義される第一帯域幅ｒ１（第一パス用）を決定する。【０１４０】
続いて、ステップＳ２０２で、決定した第一帯域幅ｒ１で帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する。【０１４１】
続いて、ステップＳ２０３で、算出した第一フィルタ係数配列を用いて、入力した原画像データＢ（１）＿ａｌｌに対してフィルタ処理を行い、第一フィルタ画像データＢ（１）＿ａｌｌ（ｒ１）を生成する。【０１４２】
続いて、ステップＳ２０４で、仮想的に設定した分割ブロックの中から未処理の分割ブロックを１つ選択する。【０１４３】
続いて、ステップＳ２０５で、選択した分割ブロック上の第一フィルタ画像データＢ（１）＿ａｌｌ（ｒ１）の画像データ部分と、その分割ブロック上の原画像データＢ（１）＿ａｌｌの画像データ部分とを比較して、その第一フィルタ画像データＢ（１）＿ａｌｌ（ｒ１）の画像データ部分のＰＳＮＲであるＰ（ｒ１）を測定して、それに基づいて、
Ｘ＝Ｇ／Ｐ（ｒ１）  ・・・・  式（１）
という算出式に従って、振り分け係数Ｘを算出する。ここで、Ｇは定数であり、例えば、図１で示した５１．２という値が用いられる。【０１４４】
続いて、ステップＳ２０６で、ブロックサイズＤ及び目標ＰＳＮＲに対応付けて用意される複数の最適帯域幅決定表１０８の中から、仮想的に設定した分割ブロックのブロックサイズＤとユーザから与えられた目標ＰＳＮＲとに対応付けられる図３に示すようなテーブル構造を持つ最適帯域幅決定表１０８を選択する。【０１４５】
続いて、ステップＳ２０７で、算出した振り分け係数Ｘをキーにして、選択した最適帯域幅決定表１０８を参照することで、最適帯域幅ｒ２（第二パス用）を決定する。【０１４６】
続いて、ステップＳ２０８で、決定した最適帯域幅ｒ２で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する。【０１４７】
続いて、ステップＳ２０９で、算出した最適フィルタ係数配列を用いて、再度、選択した分割ブロック上の原画像データＢ（１）＿ａｌｌの画像データ部分に対してフィルタ処理を行い、最適フィルタブロック画像データＢ（ｒ２）を生成して、データ蓄積部１１２に格納する。【０１４８】
続いて、ステップＳ２１０で、全ての分割ブロック選択したのか否かを判断して、全ての分割ブロックを選択していないことを判断するときには、ステップＳ２０４の処理に戻る。【０１４９】
一方、ステップＳ２１０の判断処理に従って、全ての分割ブロックを選択したことを判断するときには、ステップＳ２１１に進んで、データ蓄積部１１２に格納した最適フィルタブロック画像データＢ（ｒ２）を統合することで、原画像データと同一サイズを持つ最適フィルタ画像データＢ（ｒ２）＿ａｌｌを生成して出力し、処理を終了する。【０１５０】
ここで、図７に示す構成では、フィルタ画像データ生成部１０５αの生成した第一フィルタ画像データＢ（１）＿ａｌｌ（ｒ１）を仮想的に分割するという構成を示したが、実際に分割するようにしてもよい。【０１５１】
このようにして、第２の実施の形態を用いることにより、第１の実施の形態を用いる場合と同様に、全ての画像に対し、同程度のＰＳＮＲとなるブロックを得ることが可能となり、フレーム内で画質にばらつきがなく、フレーム内全ての領域に対し同程度の画質となるフィルタ画像を作成することができるようになる。【０１５２】
〔３〕第３の実施の形態
図９に、本発明の第３の実施の形態としての最適フィルタ画像生成装置１２の装置構成の一例を図示する。【０１５３】
第３の実施の形態の最適フィルタ画像生成装置１２と、図４に示した第１の実施の形態の最適フィルタ画像生成装置１との違いは、第３の実施の形態の最適フィルタ画像生成装置１２が新たに最適帯域幅比較部１３０と最適帯域幅再調整部１３１とを備える点にある。【０１５４】
この最適帯域幅比較部１３０は、最適帯域幅決定部１０９の決定した処理対象ブロックのブロック画像データＢ（１）についての最適帯域幅ｒ２と、その周辺に位置するブロックのブロック画像データＢ（１）についての最適帯域幅とを比較し、その差分をとって、その差分値が予め設定されている閾値Ｓth１以上であるかどうかを判断する。【０１５５】
最適帯域幅再調整部１３１は、最適帯域幅比較部１３０により差分値が閾値Ｓth１以上であることが判断される場合には、その差分値を小さくするように、最適帯域幅決定部１０９の決定した最適帯域幅ｒ２をｒ３へと再度調整を行い、一方、閾値Ｓth１よりも小さいことが判断される場合には、最適帯域幅決定部１０９の決定した最適帯域幅ｒ２をそのまま用いることを決定する。【０１５６】
図１０及び図１１に、このように構成される本実施形態の最適フィルタ画像生成装置１２の実行するフローチャートの一例を図示する。【０１５７】
次に、このフローチャートに従って、最適フィルタ画像生成装置１２の実行する処理について詳細に説明する。【０１５８】
本実施形態の最適フィルタ画像生成装置１２は、映像を構成する処理対象の画像についての最適フィルタ画像データの生成要求があると、ステップＳ３００〜ステップＳ３０８で、図６のフローチャートのステップＳ１００〜ステップＳ１０８と同一の処理を実行することで、選択したブロック画像データＢ（１）についての最適帯域幅ｒ２（第二パス用）を決定する。【０１５９】
続いて、ステップＳ３０９で、ステップＳ３０８で決定した処理対象のブロックの最適帯域幅ｒ２と、その周辺に位置する既に求められているブロックの最適帯域幅とを比較し、その差分をとって、その差分値が予め設定されている閾値Ｓth１以上であるかどうかを判断する。【０１６０】
この判断処理に従って、処理対象のブロックの最適帯域幅ｒ２と周辺ブロックの最適帯域幅との差分値が閾値Ｓth１以上であることを判断するときには、ステップＳ３１０に進んで、その差分値を小さくするように、ステップＳ３０８で決定した最適帯域幅ｒ２をｒ３へと再度調整を行う。【０１６１】
一方、この判断処理に従って、処理対象のブロックの最適帯域幅ｒ２と周辺ブロックの最適帯域幅との差分値が閾値Ｓth１よりも小さいことを判断するときには、ステップＳ３１０の処理を行わずに、ステップＳ３０８で決定した最適帯域幅ｒ２をそのまま用いることを決定する。【０１６２】
そして、このあと、ステップＳ３１１〜ステップＳ３１４で、図６のフローチャートのステップＳ１０９〜ステップＳ１１２と同一の処理を実行することで、原画像データと同一サイズを持つ最適フィルタ画像データＢ（ｒ２）＿ａｌｌを生成して出力する。【０１６３】
図１２〜図１５に、最適帯域幅再調整部１３１の実行する最適帯域幅の再調整処理の一例を示す。【０１６４】
最適帯域幅再調整部１３１は、例えば、最適帯域幅決定部１０９により最適帯幅の決定された９つのブロックの内の中央のブロックを調整対象とする場合には、図１２〜図１４に示すような形で最適帯域幅決定部１０９で決定された最適帯域幅を再調整する。【０１６５】
すなわち、図１２に示すように、処理対象のブロックの上下ブロックの最適帯域幅と同一のものに再調整したり、あるいは、その平均値に再調整したり、あるいは、その同一値や平均値に±β（０＜β＜１）を加算したものに再調整する。【０１６６】
また、図１３に示すように、処理対象のブロックの左右ブロックの最適帯域幅と同一のものに再調整したり、あるいは、その平均値に再調整したり、あるいは、その同一値や平均値に±β（０＜β＜１）を加算したものに再調整する。【０１６７】
また、図１４に示すように、処理対象のブロックの斜めブロックの最適帯域幅と同一のものに再調整したり、あるいは、その平均値に再調整したり、あるいは、その同一値や平均値に±β（０＜β＜１）を加算したものに再調整する。【０１６８】
また、図１５に示すように、処理対象のブロックの周辺の８ブロックの平均値に再調整したり、あるいは、その平均値に±β（０＜β＜１）を加算したものに再調整する。ここで、どの方法を用いても同様の効果を奏することになる。【０１６９】
この調整を行うことにより、ブロックでのフィルタ処理で生じるブロック境界を低減し、境界が視覚的に不可視なものとなるようにする。【０１７０】
ここで、この調整について、インターレース映像でトップフィールドとボトムフィールドとに分けて適用する場合には、処理対象ブロックに対して同じフィールド、別フィールドのどちらの周辺ブロックを用いて比較しても同様の効果を奏する。【０１７１】
また、この再調整については、図３に示すようなテーブル構造を持つ最適帯域幅決定表１０８の振り分け係数の範囲を広めにとることでも行える。
例えば、図３において、１．５≦Ｘ＜１．６で最適帯域幅が０．８で、１．６≦Ｘ＜１．７で最適帯域幅が０．９などの場合に、これを、１．５≦Ｘ＜１．７で最適帯域幅が０．８５などとすることでも行えるのである。【０１７２】
このようにして、第３の実施の形態を用いることにより、客観的画質を同程度にしつつ、ブロック歪などの主観的画質の劣化を低減することができるようになる。【０１７３】
〔４〕第４の実施の形態
図１６に、本発明の第４の実施の形態としての最適フィルタ画像生成装置１３の装置構成の一例を図示する。【０１７４】
第４の実施の形態の最適フィルタ画像生成装置１３と、図９に示した第３の実施の形態の最適フィルタ画像生成装置１２との違いは、第４の実施の形態の最適フィルタ画像生成装置１３が、新たに動きブロック判別部１４０と最適帯域幅再々調整部１４１とを備える点にある。【０１７５】
この動きブロック判別部１４０は、処理対象となる原画像のブロック画像データＢ（１）を持つブロックが動きのあるブロックであるのか否かを判別して、動きのあるブロックでないことを判別する場合には、最適帯域幅再調整部１３１の処理結果をそのまま最適フィルタ係数配列算出部１１０に渡す。【０１７６】
最適帯域幅再々調整部１４１は、動きブロック判別部１４０により処理対象のブロックが動きのあるブロックであることが判別される場合に、最適帯域幅再調整部１３１の再調整した最適帯域幅（再調整されないこともある）を再度調整する。【０１７７】
ここで、フィルタ画像データ生成部１０５と振り分け係数算出部１０６と最適帯域幅決定部１０９と最適帯域幅比較部１３０と最適帯域幅再調整部１３１とがフレーム内画像処理部を構成し、最適フィルタ係数配列算出部１１０と動きブロック判別部１４０と最適帯域幅再々調整部１４１とがフレーム間画像処理部を構成することになる。【０１７８】
図１７及び図１８に、このように構成される本実施形態の最適フィルタ画像生成装置１３の実行するフローチャートの一例を図示する。【０１７９】
次に、このフローチャートに従って、最適フィルタ画像生成装置１３の実行する処理について詳細に説明する。【０１８０】
本実施形態の最適フィルタ画像生成装置１３は、映像を構成する処理対象の画像についての最適フィルタ画像データの生成要求があると、図１７のフローチャートに示すように、ステップＳ４００〜ステップＳ４０８で、図１０のフローチャートのステップＳ３００〜ステップＳ３０８と同一の処理を実行することで、選択したブロック画像データＢ（１）についての最適帯域幅ｒ２（第二パス用）を決定する。【０１８１】
続いて、ステップＳ４０９で、フレーム内画像処理に基づいて、決定した最適帯域幅ｒ２を調整する。このフレーム内画像処理に基づく最適帯域幅ｒ２の調整処理については、図１０のフローチャートのステップＳ３０９，ステップＳ３１０の処理と同様に実行する。【０１８２】
すなわち、ステップＳ４０８で決定した処理対象ブロックのブロック画像データＢ（１）についての最適帯域幅ｒ２と、その周辺に位置するブロックのブロック画像データＢ（１）についての最適帯域幅とを比較し、その差分をとって、その差分値が予め設定されている閾値Ｓth１以上であるかどうかを判断して、閾値Ｓth１以上であることを判断するときには、その差分値を小さくするように、ステップＳ４０８で決定した最適帯域幅ｒ２をｒ３へと再度調整を行い、閾値Ｓth１よりも小さいことを判断するときには、ステップＳ４０８で決定した最適帯域幅ｒ２をそのまま用いることを決定することで行う。【０１８３】
続いて、ステップＳ４１０で、図１８のフローチャートで説明するフレーム間画像処理に基づいて、ステップＳ４０９で調整した最適帯域幅ｒ３（ｒ２）を再度調整する。【０１８４】
そして、このあと、ステップＳ４１１〜ステップＳ４１４で、図１０及び図１１のフローチャートのステップＳ３１１〜ステップＳ３１４と同一の処理を実行することで、原画像データと同一サイズを持つ最適フィルタ画像データＢ（ｒ２）＿ａｌｌを生成して出力する。【０１８５】
次に、図１８のフローチャートに従って、ステップＳ４１０で実行するフレーム間画像処理に基づく最適帯域幅の再調整処理について説明する。【０１８６】
図１７のフローチャートのステップＳ４０９で、フレーム内画像処理に基づいてステップＳ４０８で決定した最適帯域幅ｒ２を調整すると、図１８のフローチャートの処理に入って、まず最初に、ステップＳ５００で、フレーム内画像処理を行った処理対象のブロックの画素値の総和を算出し、続くステップＳ５０１で、その処理対象のブロックと空間的に同一な前フレーム（即ち、時間的に前のフレーム）のブロックの画素値の総和を算出する。【０１８７】
ここで、総和をとる画素値は、原画像の画像データであるブロック画像データＢ（１）でもよいし、フィルタ画像データである第一フィルタブロック画像データＢ（ｒ１）でもよい。【０１８８】
続いて、ステップＳ５０２で、ステップＳ５００で算出した総和とステップＳ５０１で算出した総和との差分値を算出し、続くステップＳ５０３で、その差分値が予め設定されている閾値Ｓth２以上であるかどうかを判断する。【０１８９】
この判断処理に従って、処理対象のブロックの画素値の総和と処理対象のブロックと空間的に同一な前フレームのブロックの画素値の総和との差分値が閾値Ｓth２以上であることを判断するときには、処理対象のブロックが動きのあるブロックであることを判断して、ステップＳ５０４に進んで、ステップＳ４０９で調整した最適帯域幅ｒ３（ｒ２）を小さくするように、これをｒ４へと再度調整してから、図１７のフローチャートのステップＳ４１１の処理に進む。【０１９０】
例えば、１より小さな重みＷ（０＜Ｗ＜１）を用いて、ステップＳ４０９で調整した最適帯域幅ｒ３（ｒ２）とこの重みＷとを乗算することで、ステップＳ４０９で調整した最適帯域幅ｒ３（ｒ２）をｒ４へと再度調整してから、図１７のフローチャートのステップＳ４１１の処理に進むのである。【０１９１】
この調整を行うことにより、動きのあるブロックでの高周波成分を大きく制限することができるようになる。【０１９２】
一方、この判断処理に従って、処理対象のブロックの画素値の総和と処理対象のブロックと空間的に同一な前フレームのブロックの画素値の総和との差分値が閾値Ｓth２よりも小さいことを判断するときには、ステップＳ５０４の処理を行わずに、ステップＳ４０９で調整した最適帯域幅ｒ３（ｒ２）をそのまま用いることを決定して、図１７のフローチャートのステップＳ４１１の処理に進む。【０１９３】
ここで、図１８のフローチャートでは、ブロック内画素値の総和を用いるという構成を示したが、ブロック内画素値の平均値を用いるようにしてもよい。【０１９４】
このようにして、第４の実施の形態を用いることにより、第１の実施の形態や第２の実施の形態や第３の実施の形態と異なって、客観的画質については異なるようになるものの、主観的画質を同等なものとして、主観的画質の劣化を生ずることなく符号化効率を高めることができるようになる。【０１９５】
〔５〕第５の実施の形態
図１９に、本発明の第５の実施の形態としての最適フィルタ画像生成装置１４の装置構成の一例を図示する。【０１９６】
第５の実施の形態の最適フィルタ画像生成装置１４と、図９に示した第３の実施の形態の最適フィルタ画像生成装置１２との違いは、第５の実施の形態の最適フィルタ画像生成装置１４が、新たに高周波ブロック判別部１５０と動き高周波ブロック測定部１５１と最適帯域幅再々調整部１５２とを備える点にある。【０１９７】
この高周波ブロック判別部１５０は、処理対象となる原画像のブロック画像データＢ（１）を持つブロックが高周波成分のブロックであるのか否かを判別して、高周波成分のブロックでないことを判別する場合には、最適帯域幅再調整部１３１の処理結果をそのまま最適フィルタ係数配列算出部１１０に渡す。【０１９８】
動き高周波ブロック測定部１５１は、高周波ブロック判別部１５０により処理対象のブロックが高周波成分のブロックであることが判別される場合に、処理対象のブロックの属するフレームとその前フレーム（即ち、時間的に前のフレーム）とについて高周波成分のブロックの数を測定して、その測定結果に基づいて、処理対象のブロックが動きのあるブロックであるのか否かを判別して、動きのあるブロックでないことを判別する場合には、最適帯域幅再調整部１３１の処理結果をそのまま最適フィルタ係数配列算出部１１０に渡す。【０１９９】
最適帯域幅再々調整部１５２は、動き高周波ブロック測定部１５１により処理対象のブロックが動きのあるブロックであることが判別される場合、すなわち、処理対象のブロックが最終的に動きのある高周波成分のブロックであることが判別される場合に、最適帯域幅再調整部１３１の再調整した最適帯域幅（再調整されないこともある）を再度調整する。【０２００】
ここで、フィルタ画像データ生成部１０５と振り分け係数算出部１０６と最適帯域幅決定部１０９と最適帯域幅比較部１３０と最適帯域幅再調整部１３１とがフレーム内画像処理部を構成し、最適フィルタ係数配列算出部１１０と高周波ブロック判別部１５０と動き高周波ブロック測定部１５１と最適帯域幅再々調整部１５２とがフレーム間画像処理部を構成することになる。【０２０１】
このように構成される第５の実施の形態の最適フィルタ画像生成装置１４は、第４の実施の形態の最適フィルタ画像生成装置１３と同様に図１７のフローチャートを実行することになるが、最適フィルタ画像生成装置１３と異なって、図２０のフローチャートに従って、ステップＳ４１０で実行するフレーム間画像処理に基づく最適帯域幅の調整処理を実行することになる。【０２０２】
次に、図２０のフローチャートに従って、本実施形態の最適フィルタ画像生成装置１４が実行するフレーム間画像処理に基づく最適帯域幅の調整処理について説明する。【０２０３】
最適フィルタ画像生成装置１４は、図１７のフローチャートのステップＳ４０９で、フレーム内画像処理に基づいてステップＳ４０８で決定した最適帯域幅ｒ２を調整すると、図２０のフローチャートの処理に入って、まず最初に、ステップＳ６００で、フレーム内画像処理を行った処理対象のブロックの振り分け係数Ｘ（ｎ，ｍ）を取り出す。
ここで、この振り分け係数Ｘ（ｎ，ｍ）は図１７のフローチャートのステップＳ４０６で算出したものであり、ｎは処理対象のブロックの属するフレームの番号、ｍは処理対象のブロックの番号を示している。【０２０４】
続いて、ステップＳ６０１で、取り出した振り分け係数Ｘ（ｎ，ｍ）が予め設定されている閾値Ｘthより大きいかどうかを判断して、振り分け係数Ｘ（ｎ，ｍ）が閾値Ｘth以下であることを判断するときには、処理対象のブロックが高周波成分のブロックではないと判断して、以下の処理を行わずに、図１７のフローチャートのステップＳ４０９で調整した最適帯域幅ｒ３（ｒ２）をそのまま用いることを
決定して、図１７のフローチャートのステップＳ４１１の処理に進む。【０２０５】
一方、ステップＳ６０１の判断処理で、取り出した振り分け係数Ｘ（ｎ，ｍ）が閾値Ｘthより大きいことを判断するときには、処理対象のブロックが高周波成分のブロックであると判断して、ステップＳ６０２に進んで、処理対象のブロックの属するフレームの持つブロックについての振り分け係数Ｘの大きさに基づいて、そのフレームの持つ高周波成分のブロックの個数Ｍ（ｎ）を計数する。【０２０６】
続いて、ステップＳ６０３で、処理対象のブロックの属するフレームより１つ前のフレームの持つブロックについての振り分け係数Ｘの大きさに基づいて、その前フレームの持つ高周波成分のブロックの個数Ｍ（ｎ−１）を計数する。【０２０７】
続いて、ステップＳ６０４で、ステップＳ６０２で計数したブロック数Ｍ（ｎ）とステップＳ６０３で計数したブロック数Ｍ（ｎ−１）との差分値｜Ｍ（ｎ）−Ｍ（ｎ−１）｜を算出して、その差分値が予め設定されている閾値Ｍthより大きいかどうかを判断して、その差分値が閾値Ｍth以下であることを判断するときには、処理対象のブロックの属するフレームが動きのないことを示していることで、処理対象のブロックが動きのあるブロックではないと判断して、以下の処理を行わずに、図１７のフローチャートのステップＳ４０９で調整した最適帯域幅ｒ３（ｒ２）をそのまま用いることを決定して、図１７のフローチャートのステップＳ４１１の処理に進む。【０２０８】
一方、ステップＳ６０４の判断処理に従って、ステップＳ６０２で計数したブロック数Ｍ（ｎ）とステップＳ６０３で計数したブロック数Ｍ（ｎ−１）との差分値が閾値Ｍthよりも大きいことを判断するときには、処理対象のブロックの属するフレームが動きのあることを示していることで、処理対象のブロックが動きのある高周波成分のブロックであると判断して、ステップＳ６０５に進んで、ステップＳ４０９で調整した最適帯域幅ｒ３（ｒ２）を小さくするように、ステップＳ４０９で調整した最適帯域幅ｒ３（ｒ２）をｒ４へと再度調整してから、図１７のフローチャートのステップＳ４１１の処理に進む。【０２０９】
例えば、１より小さな重みＷ（０＜Ｗ＜１）を用いて、ステップＳ４０９で調整した最適帯域幅ｒ３（ｒ２）とこの重みＷとを乗算することで、ステップＳ４０９で調整した最適帯域幅ｒ３（ｒ２）をｒ４へと再度調整してから、図１７のフローチャートのステップＳ４１１の処理に進むのである。【０２１０】
この調整を行うことにより、動きのある高周波成分のブロックでの高周波成分を大きく制限することができるようになる。【０２１１】
次に、以上に説明した処理を具体的に説明する。【０２１２】
最適帯域幅再調整部１３１の処理までで得られている最適帯域幅ｒ２（またはｒ３）を０．９、処理対象のブロックの属するフレームのフレーム番号ｎを５、そのブロックのブロック番号ｍを１０００とし、振り分け係数Ｘ（5,1000）として１．９よりも大きな値が算出され、高周波ブロック判別部１５０には閾値Ｘth＝１．９が与えられ、動き高周波ブロック測定部１５１にはＭth＝１５が与えられ、最適帯域幅再々調整部１５２には重み付け係数Ｗ＝０．７が与えられているとする。【０２１３】
まず、高周波ブロック判別部１５０において、振り分け係数算出部１０６で算出された振り分け係数Ｘ（5,1000）が“Ｘ（5,1000）＞Ｘth（＝１.9）”となることで、処理対象のブロックが高周波成分のブロックであることが判別される。【０２１４】
次に、動き高周波ブロック測定部１５１において、振り分け係数算出部１０６で算出された振り分け係数Ｘ（５）の内、“Ｘ（５）＞Ｘth（＝１．９）”となるブロックの数をカウントするとともに、１つ前のフレームである４番目のフレームについて振り分け係数算出部１０６で算出された振り分け係数Ｘ（４）の内、“Ｘ（４）＞Ｘth（＝１．９）”となるブロックの数をカウントする。ここでは、この数がＭ（５）＝１１、Ｍ（４）＝３５であったとする。【０２１５】
続いて、動き高周波ブロック測定部１５１において、カウントしたＭ（５）とＭ（４）との差分｜Ｍ（５）−Ｍ（４）｜を求めると、｜１１−３５｜＝２４となる。この場合、２４＞Ｍth（＝１５）となるため、処理対象のブロックは最終的に動きのある高周波成分のブロックであると判別される。【０２１６】
これから、最適帯域幅再々調整部１５２において、処理対象のブロックの最適帯域幅ｒ２に対して重み付けを行い、ｒ４＝ｒ２×Ｗ（＝０．７）とし、最適帯域幅ｒ４は０．６３となる。これを新たな最適帯域幅としてフィルタ処理を行い、最終的な最適フィルタ画像データを得ることとなる。【０２１７】
この処理から分かるように、Ｍ（５）＝１１にカウントされることになるブロックについては、それが処理対象のブロックとなるときに、同様にして、最適帯域幅ｒ２に対して重み付けが行われて、ｒ４＝ｒ２×Ｗ（＝０．７）となり、これを新たな最適帯域幅としてフィルタ処理を行い、最終的な最適フィルタ画像データを得ることとなる。【０２１８】
この処理に従って、動きのある高周波ブロックのＰＳＮＲは３０［ｄＢ］、動きのない高周波ブロックのＰＳＮＲは４０［ｄＢ］といった形になるが、視覚的には目立たないものとなりうる。【０２１９】
一方、Ｍ（５）＝１１、Ｍ（４）＝２１といった場合には、“｜Ｍ（５）−Ｍ（４）｜＞Ｍth”という条件が満たされないため、処理対象のブロックは動きのない高周波成分のブロックと判別され、最適帯域幅再々調整部１５２における調整は不要となり、最適帯域幅ｒ２がそのままｒ４として最適帯域幅となり、フィルタ処理を経て最適フィルタ画像データを得ることとなる。【０２２０】
ここで、Ｘthの与え方によってＭ（ｎ）も異なり、さらに、Ｍthの与え方によって動き有無の判別基準が異なるため、ブロックサイズなどを考慮してＸthとＭthを決める必要がある。【０２２１】
なお、Ｍthの与え方としては、固定の数値を与えるのではなくて、フレーム分割数Ｅに対する割合としてＭth＝Ｅ×０．１のように与えてもよい。
Ｍth＝Ｅ×０．１のように与えると、前フレームと比較して全高周波成分のブロック数の１０％が高周波成分のブロックから低周波成分のブロックへと変化したり、または低周波成分のブロックから高周波成分のブロックへと変化することになるが、このような与え方をしても、固定の数値を与える場合と同様の効果を奏する。
また、高周波成分のブロック数を比較する際の参照フレームを１つ前のものとしているが、１つ前のものに限らず前後のものであっても同様の効果を奏する。【０２２２】
この第５の実施の形態を用いることにより、動きのある領域での高周波成分を大きく制限することが可能であるため、第１の実施の形態や第２の実施の形態や第３の実施の形態とは異なり客観的画質は異なるものとなるが、第４の実施の形態と同様に主観的画質を同等とし、主観的画質劣化を生じることなく符号化効率を高めることが可能となる。【０２２３】
そして、第５の実施の形態を用いることにより、動きのある高周波成分を大きく制限することから、第４の実施の形態よりも主観的画質の劣化を生ずることなく符号化効率を高めることができるようになる。【０２２４】
〔６〕本発明について
本発明では、第１の実施の形態や第２の実施の形態で説明したように、映像のフレーム全体に共通となる最適帯域幅ｒ２を用いて最適フィルタ画像データＢ（ｒ２）＿ａｌｌを生成するのではなくて、フレーム内の画像データを区画するブロック毎に導出した最適帯域幅ｒ２を用いて最適フィルタブロック画像データＢ（ｒ２）を生成して、それらを統合することで最適フィルタ画像データＢ（ｒ２）＿ａｌｌを生成するようにしている。【０２２５】
これから、図２１のフレームＮに示すように、フレーム内に低周波成分の領域しか存在しない場合には、低周波成分に応じたフィルタ強度を使って最適フィルタ画像データを生成することになる。
一方、図２１のフレームＮ＋１に示すように、フレーム内に低周波成分の領域と高周波成分の領域とが存在する場合には、低周波成分の領域に対しては低周波成分に応じたフィルタ強度を使って最適フィルタ画像データ部分を生成するとともに、高周波成分の領域に対しては高周波成分に応じたフィルタ強度を使って最適フィルタ画像データ部分を生成することになる。【０２２６】
これから、本発明によれば、フレーム毎の画質も一定とすることができるようになることで、フレーム毎の見た目も一定とすることができるようになるとともに、フレーム内での画質も一定とすることができるようになることで、フレーム内の見た目も一定とすることができるようになる。【０２２７】
そして、本発明によれば、この実現にあたって、第３の実施の形態で説明したように、領域毎に行うフィルタ処理で生じる領域境界部分のノイズを低減することで、主観的画質の劣化を低減することができるようになる。【０２２８】
そして、本発明によれば、この実現にあたって、第４の実施の形態で説明したように、動きのある領域での高周波成分を大きく制限したり、第５の実施の形態で説明したように、動きのある高周波成分の領域での高周波成分を大きく制限することで、主観的画質の劣化を生ずることなく符号化効率を高めることができるようになる。【０２２９】
図２２に、本発明の有効性を検証するために行った実験結果を図示する。【０２３０】
この実験は、本発明との比較のために、フレーム全体に共通となる最適帯域幅を用いて最適フィルタ画像データを生成し、さらに、第３の実施の形態に従って、それと主観的に同程度となる最適フィルタ画像データを生成するとともに、第４の実施の形態に従って、同様に主観的に同程度となる最適フィルタ画像データを生成して、これらの３つの最適フィルタ画像データに対して同条件下で符号化を行い符号量を求めて、原画像データを符号化した際に得られる符号量との削減率を求めることで行った。
ここで、図２２中、横軸は符号化に用いる量子化パラメータ（ＱＰ）であり、縦軸は符号量の削減率である。【０２３１】
図２２において、図中に示す“フレーム単位”の実験データが、フレーム全体に共通となる最適帯域幅を用いて最適フィルタ画像データを生成した場合の実験データであり、図中に示す“ブロック単位＿動き無視”の実験データが、第３の実施の形態に従って最適フィルタ画像データを生成した場合の実験データであり、図中に示す“ブロック単位＿動き考慮”の実験データが、第４の実施の形態に従って最適フィルタ画像データを生成した場合の実験データである。【０２３２】
この実験結果から、本発明を用いることで、主観的画質を同程度としつつ発生符号量を大幅に削減できるようになることが検証できた。これにより本発明の有効性を検証できた。【０２３３】
図示実施の形態に従って本発明について説明したが、本発明はこれに限定されるものではない。【０２３４】
例えば、実施の形態では、誤差情報の一例としてＰＳＮＲを用いることを想定して説明を行ったが、平均二乗誤差、分散値など、画素の誤差情報を含むものを用いることにより、同様の効果を奏する。【０２３５】
また、実施の形態では、一例として１９２０×１０８０の原画像サイズで、３２×１８のブロックサイズを想定して説明を行ったが、図５Ａや５Ｂに示すように様々な原画像データサイズ及びブロックサイズに対応した第一帯域幅ｒ１を第一帯域幅決定表１０３として前もって作成し、第一帯域幅決定部１０２に具備させることにより、任意サイズの画像に対して適用することができる。【０２３６】
また、実施の形態では、ブロックの形状として長方形を用いることを想定して説明を行ったが、ブロックの形状も任意であり、長方形以外の形状（十字、三角、丸など）であって同様の効果を奏する。【０２３７】
また、実施の形態では、画像の分割数を水平、垂直方向で同じ数とすることを想定して説明を行ったが、異なる場合（水平方向にはＥ1 、垂直方向にはＥ5 など）であっても同様の効果を奏する。【０２３８】
また、第４及び第５の実施の形態で用いる重み付け係数について、水平、垂直方向で同じ値とすることを想定して説明を行ったが、異なる値を用いる場合であっても同様の効果を奏する。【０２３９】
また、実施の形態では、第一帯域幅及び最適帯域幅について、水平、垂直方向で同じ幅とすることを想定して説明を行ったが、異なる値を用いる場合（水平方向にはＢ1 、垂直方向にはＢ5 などで帯域制限）であっても、同様の効果を奏する。これは、鉛直方向に対して引力があるため、自然遠景映像やトラック映像などにおいて、輝度変化は水平方向より垂直方向に対して大きいことを積極的に利用するものである。【０２４０】
また、実施の形態では、どのようなフィルタを用いるのかについて説明しなかったが、例えば、フィルタとしてタップ数７のディジタルフィルタを用いることが可能であり、また、このタップ数が異なる場合であっても同様の効果を奏する。
また、指定した帯域制限を実現するディジタルフィルタの設計方法には特に制約はなく、例えば希望する周波数特性の形を逆ｚ変換することで、この周波数特性をもつディジタルフィルタの係数配列を求め、設計してもよい。【０２４１】
また、実施の形態では、振り分け係数Ｘを算出する式で、Ｇの値として５１．２を用いることで説明を行ったが、このＧの値については使用するディジタルフィルタの特性に依存するものであり、異なるフィルタの場合は適宜変更することになる。そして、誤差情報としてＰＳＮＲ以外を用いる場合にそれに適した値を用いることになる。【０２４２】
また、実施の形態では、特に説明をしなかったが、輝度成分のみでなく、色差成分にも帯域処理を施すことは可能であり、この場合、符号化時の符号化効率を一層高めることが可能となる。【０２４３】
また、実施の形態では、“Ｘ（ｎ，ｍ）＞Ｘth”などのように、下限閾値のみを示しているが、上限閾値を設定する場合も同様の効果を奏する。【０２４４】
また、第４及び第５の実施の形態において、フレーム内画像処理とフレーム間画像処理とを実行することで説明を行ったが、フレーム内画像処理、フレーム間画像処理のどちらか一方を用いる場合も同様の効果を奏する。【０２４５】
また、実施の形態を組み合わせることについて説明をしなかったが、前述した実施の形態を任意に組み合わせることは可能であり、各処理順序を組み変える場合も同様の効果を奏する。
【産業上の利用可能性】
【０２４６】
本発明によれば、映像を構成する画像に対しての適応的なフィルタ処理を符号化処理なしで、かつ繰り返し処理なしで実現し、さらに、この実現にあたって、映像のフレーム内及びフレーム間での周波数分布を考慮した適応的なフィルタ処理を実現することで、所定の画質評価値を持つフィルタ画像を効率的に生成できるようになる。
【図１】
2008081813.tif 000004
【図２】
2008081813.tif 000005
【図３】
2008081813.tif 000006
【図４】
2008081813.tif 000007
【図５Ａ】
2008081813.tif 000008
【図５Ｂ】
2008081813.tif 000009
【図６】
2008081813.tif 000010
【図７】
2008081813.tif 000011
【図８】
2008081813.tif 000012
【図９】
2008081813.tif 000013
【図１０】
2008081813.tif 000014
【図１１】
2008081813.tif 000015
【図１２】
2008081813.tif 000016
【図１３】
2008081813.tif 000017
【図１４】
2008081813.tif 000018
【図１５】
2008081813.tif 000019
【図１６】
2008081813.tif 000020
【図１７】
2008081813.tif 000021
【図１８】
2008081813.tif 000022
【図１９】
2008081813.tif 000023
【図２０】
2008081813.tif 000024
【図２１】
2008081813.tif 000025
【図２２】
2008081813.tif 000026
【図２３】
2008081813.tif 000027
【図２４】
2008081813.tif 000028
【図２５】
2008081813.tif 000029
【図２６】
2008081813.tif 000030
【図２７】
2008081813.tif 000031
【国際調査報告】
2008081813.tif 000032
2008081813.tif 000033
2008081813.tif 000034
2008081813.tif 000035