(57)【要約】【課題】動画像の観察者にとって自然な画質を提示と符号化効率の向上【解決手段】符号化前の動画像データに対して、符号化の前処理として動きぼけ付加を行う。これによって符号化効率の向上を行い、またジャーキネス劣化の低減を可能とする。また動きぼけ付加された復号画像データに動きぼけ削減処理を実行することで画質向上を図る。これらにより、符号化効率の向上や、ジャーキネス劣化・ブラー劣化の双方が低減されるようにしたり、復号後に動きぼけ付加前の画像データを得ること等を可能とする。【選択図】図３
2010268526.tif 000002
【特許請求の範囲】
【請求項１】
動きぼけ付加処理が施された上で符号化された動画像データが、復号化されて入力され、
入力された動画像データに対して、該動画像データを構成する単位画像間での画像の動きを示す動き情報に応じたフィルタ処理を施すことにより、動きぼけの削減処理を実行する動きぼけ削減手段を備える画像処理装置。
【請求項２】
上記復号化されて入力された動画像データから、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、
上記動きぼけ削減手段は、上記動きベクトル生成手段により生成された動きベクトルを用いて、上記画像データにフィルタ処理を施すことにより、動きぼけの削減処理を実行する請求項１に記載の画像処理装置。
【請求項３】
上記動きぼけ削減手段は、前段の復号化処理において動画像データを復号化するために用いた動き情報を用いて動きぼけを削減するフィルタ処理を行う請求項１に記載の画像処理装置。
【請求項４】
動きぼけ付加処理が施された上で符号化された動画像データを復号化する復号化手段をさらに備える請求項１に記載の画像処理装置。
【請求項５】
上記動きぼけ削減手段は、上記動きぼけ付加処理が施された際に用いられた動きぼけ付加パラメータをもとに、動きぼけの削減処理の実行の可否を選択するか、又は動きぼけ削減処理の度合いを調整する請求項４に記載の画像処理装置。
【請求項６】
上記動きぼけ付加パラメータは、動画像データの単位画像の領域毎について動きぼけを付加したか否を示すフラグ情報、又は動きぼけの付加処理に用いた動きベクトル情報、又は上記動きベクトルの補正情報である請求項５に記載の画像処理装置。
【請求項７】
動きぼけ付加処理が施された上で符号化された動画像データを復号化する復号化ステップと、
上記復号化ステップによって得られた復号化された動画像データに対して、該動画像データを構成する単位画像間での画像の動きを示す動き情報に応じたフィルタ処理を施すことにより、動きぼけの削減処理を実行する動きぼけ削減ステップと、
を有する画像処理方法。
【請求項８】
動きぼけ付加処理が施された上で符号化された動画像データを復号化する復号化ステップと、
上記復号化ステップによって得られた復号化された動画像データに対して、該動画像データを構成する単位画像間での画像の動きを示す動き情報に応じたフィルタ処理を施すことにより、動きぼけの削減処理を実行する動きぼけ削減ステップと、
を情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、プログラムに関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００１−３５２５４６号公報
【背景技術】
【０００３】
動画像のデータ量は非常に膨大であるため、従来、動画像を保存／送信等する際には、動画像のデータ量を圧縮することが一般的となっている。
動画像のデータ量の圧縮方法としては、ＭＰＥＧ（Moving Picture Experts Group）などのインターフレーム符号化とイントラフレーム符号化を組み合わせた動画像符号化が代表的である。
ところで、ＭＰＥＧ方式による動画像符号化の符号化効率を向上するために、動画像に対して前処理を行う手法が数多く提案されている。
例えば上記特許文献１では前処理としてローパスフィルタを画像に適用することで、符号化後のブロック歪みの発生を抑制している。
但し、特許文献１に記載された方式は、符号化した際に発生するブロック歪みの抑制を意図したものであり、ローパスフィルタの適用によるディテールの欠損は免れない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明では、動画像中の動き情報を用いて適応的に、撮像時の露光期間に起因する動きぼけを模擬したローパスフィルタを画像に適用する、画像処理による動きぼけ付加、を実行し、これにより、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うことを前提とする。
そしてこれに対応して、復号化側の処理として、上記動きぼけの付加の影響による画質劣化の抑制を図ることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、動きぼけ付加処理が施された上で符号化された動画像データが、復号化されて入力されるとともに、入力された動画像データに対して、該動画像データを構成する単位画像間での画像の動きを示す動き情報に応じたフィルタ処理を施すことにより、動きぼけの削減処理を実行する動きぼけ削減手段を備える。
また、上記復号化されて入力された動画像データから、上記動き情報として動きベクトルを生成する動きベクトル生成手段を更に備え、上記動きぼけ削減手段は、上記動きベクトル生成手段により生成された動きベクトルを用いて、上記画像データにフィルタ処理を施すことにより、動きぼけの削減処理を実行する。
また上記動きぼけ削減手段は、前段の復号化処理において動画像データを復号化するために用いた動き情報を用いて動きぼけを削減するフィルタ処理を行う。
また、これらの構成に加えて、動きぼけ付加処理が施された上で符号化された動画像データを復号化する復号化手段を備えるようにし、動きぼけ削減手段は、上記復号化手段から入力される、復号化された動画像データに対して、動きぼけの削減処理を実行する。
また上記動きぼけ削減手段は、上記動きぼけ付加処理が施された際に用いられた動きぼけ付加パラメータをもとに、動きぼけの削減処理の実行の可否を選択、又は動きぼけ削減処理の度合いを調整する。上記動きぼけ付加パラメータは、動画像データの単位画像の領域毎について動きぼけを付加したか否を示すフラグ情報、又は動きぼけの付加処理に用いた動きベクトル情報、又は上記動きベクトルの補正情報である。
【０００６】
本発明の画像処理方法は、動きぼけ付加処理が施された上で符号化された動画像データを復号化する復号化ステップと、上記復号化ステップによって得られた復号化された動画像データに対して、該動画像データを構成する単位画像間での画像の動きを示す動き情報に応じたフィルタ処理を施すことにより、動きぼけの削減処理を実行する動きぼけ削減ステップとを有する。
本発明のプログラムは、上記の画像処理方法の各ステップを情報処理装置に実行させるプログラムである。
【０００７】
即ちこれらの本発明では、符号化側において、動画像中の動き情報を用いて適応的に、撮像時の露光期間に起因する動きぼけを模擬したローパスフィルタを画像に適用する「画像処理による動きぼけ付加」を実行することを前提としている。つまり、空間的に一様なローパスフィルタを実行した場合と比較して、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うことを前提とするものである。
この前提の下で本発明では、動き情報を参照し、領域ごとに適応的なフィルタリング（動きぼけの削減処理：ハイパスフィルタ処理）を行うものとしている。このため、符号化時に空間的に一様なローパスフィルタ（つまり復号化時に空間的に一様なハイパスフィルタ）を実行するとした場合と比較して、動きの大きさに応じた、領域ごとに適応的な動きぼけの削減が、必要であれば後処理としての動きぼけ量の調整も含めて、実行可能であり、動画像の観察者にとって自然な画質が提示できる。
また、符号化前の処理における動きぼけ付加処理のパラメータを伝送しなかった（あるいはできない）場合でも、動き情報のみを用いて、動きぼけの削減処理が可能である。
すなわち、符号化・復号化に用いるために伝送された動きベクトル、もしくは、復号化後に求めた動き情報のみによって、実行が可能である。これは、符号化時に空間的に一様なローパスフィルタ（つまり復号化時に空間的に一様なハイパスフィルタ）を実行する、とした場合、ローパスフィルタ時における、何かしらのフィルタ情報を伝送しなければ、処理できないはずであることに対する利点となる。
【０００８】
また、一般に高速シャッタで撮像された動画像やアニメーションなどを、プロジェクタやディスプレイなどの表示デバイスを用いて表示すると、画像中に含まれる移動物体の動きが不連続に表示され、画像を観察する観察者が多重像を知覚してしまう。これはモーションジャーキネス（Motion Jerkiness）と呼ばれる（参考文献：ANSI T1.801.02-1996）画像劣化であり、これが頻繁に発生する。
一方、オープンシャッタなど低速のシャッタスピードで撮像された動画像を表示すると、動きぼけの影響により、被写体のディテールの欠損やエッジが不鮮明になることがよくある。この現象は、ブラー（動きぼけ）と呼ばれる画質劣化の現象である。
本発明が前提とする符号化側では、動きぼけを付加して符号化の圧縮効率を向上させる。これによって符号化効率の向上を行いつつ上記ジャーキネス劣化の低減を可能とする。
そして本発明では、動きぼけ付加された復号画像データに動きぼけ削減処理を実行することで画質向上を図る。このことで、上記ジャーキネス劣化・ブラー劣化の双方が低減されるようにしたり、復号後に動きぼけ付加前の画像データを得ること等が可能となる。
【発明の効果】
【０００９】
本発明により、符号化側で動画像中の動き情報を用いて適応的に動きぼけ付加処理としてのフィルタ処理を行って符号化効率の向上・ジャーキネス劣化の低減が図られた場合に対応して、復号化された動画像データに対して、動き情報を参照し、領域ごとに適応的に動きぼけ削減処理としてのフィルタ処理を行うようにしたことで、動画像データに発生するジャーキネス劣化、ブラー劣化を抑制した自然な画質提示を実現することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態の第１の画像処理装置のブロック図である。
【図２】実施の形態において動きぼけ付加による符号化効率向上の説明図である。
【図３】実施の形態の第１の画像処理装置の他の構成例のブロック図である。
【図４】実施の形態の第１の画像処理装置のさらに他の構成例のブロック図である。
【図５】実施の形態の動きベクトル生成処理部のブロック図である。
【図６】実施の形態の動きベクトル生成処理部の処理のフローチャートである。
【図７】実施の形態の動きぼけ付加処理部のブロック図である。
【図８】実施の形態の動きベクトルマスク処理部の処理のフローチャートである。
【図９】実施の形態の最適シャッタ速度算出／判別部と動きベクトル補正部の処理のフローチャートである。
【図１０】実施の形態の最適シャッタ速度に関する説明図である。
【図１１】実施の形態のフィルタパラメータ算出部の処理の説明図である。
【図１２】実施の形態の動きぼけ付加処理部の他のブロック図である。
【図１３】実施の形態の第２の画像処理装置のブロック図である。
【図１４】実施の形態の第２の画像処理装置の他の構成例のブロック図である。
【図１５】実施の形態の第２の画像処理装置のさらに他の構成例のブロック図である。
【図１６】実施の形態の動きぼけ削減処理部のブロック図である。
【図１７】移動平均フィルタの説明図である。
【図１８】実施の形態の動きぼけ削減処理部の他のブロック図である。
【図１９】実施の形態のフィルタパラメータの伝送の説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を次の順序で説明する。なお、第１の画像処理装置とは、符号化の前段で動きぼけ付加処理を行う画像処理装置であり、第２の画像処理装置とは、第１の画像処理装置から伝送されてきた動画像データに対して、復号化及び動きぼけ削減処理を行う画像処理装置である。
［１．第１の画像処理装置］
［１−１：画像処理装置の構成例］
［１−２：動きベクトル生成処理部］
［１−３：動きぼけ付加処理部］
［２．第２の画像処理装置］
［２−１：画像処理装置の構成例］
［２−２：動きぼけ削減処理部］
［３．第１，第２の画像処理装置間の情報伝送］
［４．プログラム］
【００１２】
［１．第１の画像処理装置］
［１−１：画像処理装置の構成例］
図１，図３，図４により、第１の画像処理装置、即ち符号化の前段で動きぼけ付加処理を行う画像処理装置についての構成例を説明する。
なお各図における処理ブロックは、論理的な構成要素として示しており、各処理ブロックは同一筐体内にある場合も考えられるし、別の筐体内にある場合も考えられる。そして、各図において、破線で囲った画像処理装置１、又は同じく破線で囲った画像処理装置１００が、本発明の第１の画像処理装置の実施の形態の構成と考えることができる。
【００１３】
図１は、画像処理装置１として動きぼけ付加処理部１１を備える構成を示している。或いは画像処理装置１００として動きぼけ付加処理部１１と符号化処理部２を備える構成を示している。
【００１４】
動きぼけ付加処理部１１は、入力された動画像データＩＤに動きぼけを付加し、後段の符号化処理部２へと出力する。
動きぼけ付加処理部１１は、動画像データＩＤと、当該動画像データＩＤの各フレームの各領域（領域とは、画素単位又は複数画素による画素ブロック単位）の動き情報ＭＩが入力される。そして動き情報ＭＩを用いて、動画像データＩＤ（の各フレーム、各分割領域）に対し適応的にフィルタ処理を行い、動きぼけの付加を実行する。
【００１５】
動きぼけ付加処理された動きぼけ画像データＢＤは、符号化処理部２へと入力し、符号化処理される。
符号化処理部２では、例えばＭＰＥＧ（Moving Picture Experts Group）規格などに準じた符号化などの圧縮処理が実行される。
動きぼけ画像データＢＤを圧縮処理した符号化データＥＤは、上記動画像データＩＤを直接、符号化処理部２へと入力し符号化したデータに比較して圧縮効率が向上しているものとなる。
【００１６】
図２により、動画像データに対して動きぼけを付加することにより、圧縮効率が向上する理由について説明する。
ここでは特に、ローパスフィルタを施すことにより圧縮効率が向上することについて説明するが、撮像時の露光期間によって発生する動きぼけを、模擬的に付加することは、ローパスフィルタを実行することの一種であるといえる。
【００１７】
一般に、画像データが圧縮できるのは、近傍画素間相関が高いという性質を持つからであり、より圧縮率を高くするには近傍画素相関をより高くすればよい。
ここで画像を１次元信号とみなし、共分散を導入する。
【数１】
2010268526.tif 000003
ここで、共分散はＣｆｇ、画像信号はｆ（ｘ），ｇ（ｘ）、μｆ，μｇはμｆ＝Ｅｘ［ｆ（ｘ）］，μｇ＝Ｅｘ［ｇ（ｘ）］によって与えられる画素値の空間平均値である。
【００１８】
この（数１）は、ｆ（ｘ），ｇ（ｘ）が近くなれば、ｆ（ｘ）またはｇ（ｘ）の分散値に近くなり、離れれば０に近づくという性質を持ち、この共分散Ｃｆｇにより２つの波形の近さの定量化を行う。
【００１９】
画像を圧縮する場合は、画像信号はｆ（ｘ）のみであり、近傍画素の近さを定量化する必要がある。
そこで画像信号ｆ（ｘ）を変位ｕ（整数）だけずらした信号をｇ（ｘ）＝ｆ（ｘ＋ｕ）とおき（数１）を適用する。
このとき、Ｅｘ［ｆ（ｘ）］とＥｘ［ｇ（ｘ）］＝Ｅｘ［ｆ（ｘ＋ｕ）］は等しくなりμとおくと、（数２）となる。
【数２】
2010268526.tif 000004
このＣｆｆ（ｕ）を自己共分関数と呼ぶ。
【００２０】
（数２）を元に、実際の画像信号ｆ（ｘ）における自己共分散をプロットしてみる。
なおＣｆｆ（ｕ）に対して注目すべきは、値の大小ではなく、原点ｕ＝０から離れるに従って、どの程度速く減衰するか、という点である。
まず、図２（ａ）にまったく変化の無い信号を加えた場合を示す。この場合（数２）の定義からＣｆｆ（ｕ）は０になることは容易にわかる。
続いて、激しく変化のある画像信号ｆ（ｘ）における自己共分散を図２（ｂ）に示す。
信号に激しく変化のある場合、変位ｕでずらすと正負が打ち消しあうために自己共分散はｕ＝０からすぐに０に収束する。
続いて、なだらかに変化する画像信号ｆ（ｘ）における自己共分散を図２（ｃ）に示す。
信号はなだらかであるから、変位ｕでずらしても画素間に相関があるため自己共分散はｕ＝０からならだかに減衰していく。
つまり自己共分散は画素間の相関が低ければｕ＝０から０への収束が早まる離散デルタ関数に近くなる。
【００２１】
ローパスフィルタをかけた場合、画素間はなだらかになることは明らかであり、なだらかになるということはより画素間の相関が高まるということである。
画素間の相関が高まるということは図２（ｂ）（ｃ）で例示したように，図２（ｂ）の画素間の相関が少ない自己共分散から、図２（ｃ）で示した画素間の相関が多くなる画素信号に変換されるということであり、より圧縮率が高まると言える。
以上は、動画像データにローパスフィルタ処理を行うと、圧縮効率が向上することの説明であるが、動きぼけ付加処理についてもこれと同様のことが言える。
【００２２】
続いて図３は、画像処理装置１として動きぼけ付加処理部１１と動きベクトル生成処理部１２を備える構成を示している。或いは画像処理装置１００として動きぼけ付加処理部１１、動きベクトル生成処理部１２、符号化処理部２を備える構成を示している。
この図３は、図１における動き情報ＭＩの例として、動きベクトルＶＤを用いる構成例となる。
【００２３】
動きベクトル生成処理部１２は、入力された動画像データＩＤの各フレームの各領域（領域とは、画素単位又は複数画素による画素ブロック単位）の動きベクトルＶＤを生成する。
動きぼけ付加処理部１１は、入力された動画像データＩＤについて、動きベクトルＶＤを用いて、動画像データＩＤ（の各フレーム、各分割領域）に対し適応的にフィルタ処理を行い、動きぼけの付加を実行する。
動きぼけ付加処理された動きぼけ画像データＢＤは、符号化処理部２へと入力し、例えばＭＰＥＧ圧縮等の符号化処理される。
この場合も、動きぼけ画像データＢＤを圧縮処理した符号化データＥＤは、上記動画像データＩＤを直接、符号化処理部２へと入力し符号化したデータに比較して圧縮効率が向上しているものとなる。
【００２４】
次に図４は、符号化処理部２内で用いる動きベクトルを動きぼけ付加処理に利用する構成例である。
図４には、符号化処理部２内の構成として基本的なＭＰＥＧ符号化の処理ブロックを示している。
【００２５】
動きぼけ付加処理部１１に入力される動画像データＩＤは、符号化処理部２内の動きベクトル生成処理部２１０にも入力される。
動きベクトル生成処理部２１０は、隣接する２つのピクチャー間の動きを検出し、動きベクトルを生成して動き補償部２０９及びエントロピー符号化部２０４に出力する。
減算部２０１は、動きぼけ付加処理部１１から入力される動画像データから、動き補償部２０９が動き補償した画像データを減算し、ＤＣＴ処理部２０２に対して出力する。
ＤＣＴ部２０２は、減算部２０１から入力された動画像データに対してＤＣＴ処理を行い、ＤＣＴ係数を生成して量子化部２０３に対して出力する。
【００２６】
量子化部２０３は、ＤＣＴ部２０２から入力されたＤＣＴ係数を量子化して量子化データを生成し、エントロピー符号化部２０４および逆量子化部２０５に対して出力する。
逆量子化部２０５は、量子化部２０３から入力された量子化データを逆量子化してＤＣＴ係数を生成し、逆ＤＣＴ部２０６に対して出力する。
逆ＤＣＴ部２０６は、逆量子化部２０５から入力されたＤＣＴ係数を逆ＤＣＴ処理して画像データを生成し、加算部２０７に対して出力する。
加算部２０７は、動き補償部２０９が動き補償した画像データと、逆ＤＣＴ部２０６から入力された画像データを加算して、フレームメモリ２０８に出力する。フレームメモリ２０８に一時的に格納された画像データは、動き補償部２０９に出力され、また動きベクトル生成処理部２１０に対し、動きベクトル生成に用いる過去フレームの画像データとして供給される。
【００２７】
動き補償部２０９は、動きベクトル生成処理部２１０から入力された動きベクトルに基づいて、加算部２０７からフレームメモリ２０８を介して入力された画像データを動き補償処理し、加算部２０７および減算部２０１に対して出力する。
エントロピー符号化部２０４は、量子化部２０３から入力された量子化データを可変長符号化処理し、圧縮画像データ（符号化データＥＤ）を生成し、出力する。
【００２８】
この図４の構成では、動きベクトル生成処理部２１０で生成される動きベクトル、つまりＭＰＥＧ圧縮処理に用いる動きベクトルを動きぼけ付加処理部１１に供給する。そして動きぼけ付加処理部１１では、この供給された動きベクトルを用いて動きぼけ付加処理を行う。
この例のように、ＭＰＥＧ方式のような画像の動き情報に基づいた予測符号化において、その符号化処理過程で生成される動きベクトルを利用することも考えられる。
なお、図示は省略するが、例えば図３のように動きぼけ付加処理のために動きぼけ付加処理部１１によって生成される動きベクトルＶＤを、符号化処理部２に供給して、符号化処理部２で動きベクトルＶＤを用いた予測符号化処理が行われるようにしてもよい。
【００２９】
これらの第１の画像処理装置１（又は１００）では、動画像中の動き情報を用いて適応的に、撮像時の露光期間に起因する動きぼけを模擬したローパスフィルタを画像に適用する、画像処理による動きぼけ付加を実行することになる。これにより、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うことを可能とする。
そして動きぼけを模擬したローパスフィルタを適用することにより、空間的に一様なローパスフィルタを実行した場合と比較して、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うことを可能とする。
また、動き情報を参照し、領域ごとに適用的なフィルタリングを行うものであるため、特に高速に被写体が移動する領域においては、広範囲に渡る高強度なローパスフィルタを採用しても、画質を維持しつつ、空間的に一様なローパスフィルタを実行した場合と比較して、符号化効率の向上が期待できる。
そしてその上で第１の画像処理装置１（又は１００）では、ジャーキネス劣化の低減を可能とするものである。
【００３０】
［１−２：動きベクトル生成処理部］
以上のように第１の画像処理装置１（又は１００）の構成例は各種考えられる。以下では、図３に示した構成例を基本とし、動きベクトル生成処理部１２及び動きぼけ付加処理部１１について、詳細な構成例を説明する。
【００３１】
ここではまず、動きベクトル生成処理部１２の構成と動作について図５，図６を用いて説明する。
動きベクトル生成処理部１２は、画素又は画素ブロック単位としての領域毎で動きベクトルを精度良く生成する部位である。具体的には図５に示すように、動きベクトル検出部１２１、画素ブロック特定処理部１２２、動きベクトル推定処理部１２３、動きベクトル平滑化処理部１２４、及び遅延部１２１ａ，１２２ａを有する。
【００３２】
動きベクトル検出部１２１は、処理対象フレームと直前フレームとから動きベクトルを検出する。
画素ブロック特定処理部１２２は、処理対象フレームの動きベクトルと直前フレームの動きベクトルとを画素ブロック毎に比較して、相関の高い画素ブロックを特定する。
動きベクトル推定処理部１２３は、画素ブロック特定処理部１２２により特定された画素ブロックの動きベクトルから、それ以外の画素ブロックの動きベクトルを推定する。
動きベクトル平滑化処理部１２４は、動きベクトルに対して平滑化処理を施す。
【００３３】
図３のように入力される動画像データＩＤは、動きベクトル検出部１２１と、動画像データＩＤを１フレーム分遅延させる遅延部１２１ａに供給される。
動きベクトル検出部１２１は、供給された動画像データＩＤを処理対象フレームとする。そして当該処理対象フレームと、遅延部１２１ａにより１フレーム分遅延された直前フレームとから、処理対象フレームの動きベクトルを、例えば画素ブロック単位で検出する。
なお、動きベクトル検出部１２１に係る処理をソフトウェアによって実装する場合には、一般的なブロックマッチング法を用いて画素ブロック単位で動きベクトルを検出すればよい。
【００３４】
動きベクトル検出部１２１で検出された動きベクトルは、画素ブロック特定処理部１２２と遅延部１２２ａに供給される。遅延部１２２ａは入力された動きベクトルを１フレーム分遅延させる。
画素ブロック特定処理部１２２は、動きベクトル検出部１２１から供給される処理対象フレームの動きベクトルと、遅延部１２２ａにより遅延された直前フレームの動きベクトルとを、次に示すように画素ブロック単位で比較して、この比較結果から相関の高い画素ブロックを特定する。
【００３５】
具体的に、画素ブロック特定処理部１２２は、処理対象フレームの一の画素ブロックの動きベクトルを（ｘ，ｙ）とし、これに対応する直前フレームの画素ブロックの動きベクトルを（ｘ’，ｙ’）とし、任意に決定される相関判定係数をαとして、次の（数３）により、この画素ブロックのベクトル相関係数σを算出する。
【００３６】
【数３】
2010268526.tif 000005
なお、相関判定係数αは、その定義域を０＜α＜１とし、αの値が大きいほど、ベクトル相関係数σの値が１として算出される係数である。
【００３７】
そして画素ブロック特定処理部１２２は、上述した（数３）から各画素ブロックのベクトル相関係数σを算出して、ベクトル相関係数σが１である画素ブロックを相関の高い動きベクトルを有するものとして特定する。
【００３８】
動きベクトル推定処理部１２３は、画素ブロック特定処理部１２２でベクトル相関係数σの値が１として特定された画素ブロックの動きベクトルから、このベクトル相関係数σの値が０である画素ブロックの動きベクトルを推定する。
即ち動きベクトル推定処理部１２３は、前段の画素ブロック特定処理部１２２で、ベクトル相関係数σの値が１とされた画素ブロックが有効な動きベクトルを有しているものとして、それ以外の画素ブロック、つまりベクトル相関係数σの値が０とされ有効ではない動きベクトルを有している画素ブロックの動きベクトルを更新する。
【００３９】
具体的な動きベクトル推定処理部１２３の処理工程について、図６を参照して詳細に説明する。
ステップＳ１において、動きベクトル推定処理部１２３は、処理対象フレームにおける現在の処理対象の画素ブロック（以下、注目画素ブロックという。）のベクトル相関係数σが１か０であるかを判断する。すなわち、動きベクトル推定処理部１２３は、この画素ブロックの動きベクトルが有効であるか否かを判断する。そして、動きベクトル推定処理部１２３は、この画素ブロックの動きベクトルが有効であるとき動きベクトルの値を更新せずに本処理工程を終了し、この画素ブロックの動きベクトルが有効でないときステップＳ２に進む。
【００４０】
ステップＳ２において、動きベクトル推定処理部１２３は、注目画素ブロックに対して、その注目画素ブロックの周辺に有効なベクトルを有する周辺画素ブロックが存在するか否かを判断する。具体的には、動きベクトル推定処理部１２３は、周辺画素ブロックとして、この注目画素ブロックに隣接する合計８つの画素ブロックに対して有効な動きベクトルが存在するか否かを判断し、有効な動きベクトルが存在するとき、ステップＳ３に進み、有効な動きベクトルが存在しないとき、この注目画素ブロックの動きベクトルを更新せずに本処理工程を終了する。
【００４１】
ここで、有効な動きベクトルが存在しない注目画素ブロックに対して、より広範囲に位置する周辺画素ブロックを用いて推定処理を行わない理由は、次の通りである。
第１の理由としては、より広範囲に位置する画素ブロックを用いて推定処理を行うことは可能であるが、仮に実現したとしても、固定時間処理で本処理工程を終了するためには、周辺画素ブロックとして扱われる画像データを一時的に記憶するための記憶領域が増大してしまうからである。
第２の理由としては、本処理工程の後段で、上述した隣接する合計８つの画素ブロックよりも広範囲の周辺画素ブロックを用いて注目画素ブロックの動きベクトルに対して平滑化処理を施すことにより、有効ではない動きベクトルを適切に補正することができるからである。
【００４２】
ステップＳ３において、動きベクトル推定処理部１２３は、有効な動きベクトルを有する周辺画素ブロックの動きベクトルのみから、この注目画素ブロックの動きベクトルを推定して更新して、本処理を終了する。動きベクトル推定処理部１２３では、推定処理の一例として、有効な動きベクトルを有する周辺画素ブロックの動きベクトルのみを入力としたメディアンフィルタにより注目画素ブロックの動きベクトルを出力して平滑化する。
【００４３】
動きベクトル推定処理部１２３は、以上のようにして、処理対象フレームの動きベクトルを画素ブロック単位で推定する。そして、動きベクトル推定処理部１２３は、画素ブロック特定処理部１２２で特定された動きベクトルを含めた動きベクトルを、動きベクトル平滑化処理部１２４に供給する。
【００４４】
動きベクトル平滑化処理部１２４は、処理対象画像を構成する各画素ブロックの動きベクトルに対して平滑化処理を施す。具体的に、動きベクトル平滑化処理部１２４は、平滑化処理前の注目画素ブロックの動きベクトルと上述した隣接画素ブロックよりも広範囲の周辺画素ブロックの動きベクトルとを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）として、下記に示す（数４）に示すようなガウス型関数により、平滑化処理後の注目画素ブロックの動きベクトルＪ（ｘ，ｙ）を出力する。
【００４５】
【数４】
2010268526.tif 000006
ここで、ｒは注目画素ブロックと各周辺画素ブロックとの２次元空間上の距離を示し、σ２はこの距離ｒについての分散を示し、ｔ２は動きベクトルについての分散を示している。すなわち、σ２及びｔ２は、平滑化の度合いを表す値として任意に設定されるパラメータとなっている。
【００４６】
動きベクトル平滑化処理部１２４は、処理対象フレームを構成する各画素ブロックに対して上述した平滑化処理を施して、動きベクトルＶＤを動きぼけ付加処理部１１に供給する。
【００４７】
このように、動きベクトル平滑化処理部１２４は、処理対象フレームを構成する各画素ブロックから、有効な動きベクトルを有する画素ブロックを特定し、この有効な動きベクトルからそれ以外の動きベクトルを推定する。このため精度良く実際の動体の動きに応じた動きベクトルを生成することができる。
なお、動きベクトル生成処理部１２では、動きベクトル検出部１２１により検出した動きベクトルを、画素ブロック特定処理部１２２及び動きベクトル推定処理部１２３を介さずに、直接動きベクトル平滑化処理部１２４に供給して平滑化処理を施してもよい。このような処理を行った場合にも、上述した符号化情報として動きベクトルに比べて、実際の動体の動きに応じた精度の良い動きベクトルを生成することができる。
【００４８】
［１−３：動きぼけ付加処理部］
続いて動きぼけ付加処理部１１の構成例を説明する。
なお、動きぼけ付加処理部１１としては、図７の構成例と図１２の構成例の２つの例を説明する。
【００４９】
まず図７の例としての動きぼけ付加処理部１１について説明する。
動きぼけ付加処理部１１は、図７に示すように、動きぼけを付加する画像領域を特定する動きベクトルマスク情報を生成する動きベクトルマスク処理部１１３を備える。
また動きぼけ付加処理部１１は、動きベクトルに応じて適したシャッタ速度（以下、最適シャッタ速度情報という）を算出するとともに、この最適シャッタ速度情報と実際に動画像が撮像されたときのシャッタ速度情報とを比較して後述する判別処理を行う最適シャッタ速度算出／判別部１１４を備える。
また動きぼけ付加処理部１１は、最適シャッタ速度算出／判別部１１４の判別結果に基づいて動きベクトルを補正する動きベクトル補正部１１５を備える。
また動きぼけ付加処理部１１は、処理対象フレームの各画素に応じた動きぼけ付加のためのフィルタパラメータを算出するフィルタパラメータ算出部１１１を備える。
また動きぼけ付加処理部１１は、処理対象フレームの各画素の画素値に対して動きぼけフィルタ処理を施す動きぼけ付加フィルタ１１２を備える。
【００５０】
ここで、画素単位で全ての処理を行うことも可能であるが、演算処理の負担を軽減するため、動きぼけ付加処理部１１では、動きベクトルマスク処理部１１３、最適シャッタ速度算出／判別部１１４、及び動きベクトル補正部１１５に係る処理を、画素ブロック単位で行うものとする。
また、フィルタパラメータ算出部１１１、及び、動きぼけ付加フィルタ１１２は、動画像データＩＤに動きぼけを付加するフィルタ処理に当たるため、画素ブロックではなく、画素単位で行う。
動きベクトルマスク処理部１１３は、処理対象フレームのうち、動きぼけを付加する画像領域を特定するため、動きベクトル生成処理部１２から供給される画素ブロック単位の動きベクトルＶＤに対して、図８に示すようなマスク処理を施す。そして、マスク処理後の画素ブロック単位の動きベクトルを最適シャッタ速度算出／判別部１１４及び動きベクトル補正部１１５に供給する。
【００５１】
動きぼけを付加する必要がある、ジャーキネス劣化が発生しやすい画像領域は、特に画面内の動体画像領域及びエッジ周辺の画像領域に集中する。
よって、動きベクトルマスク処理部１１３では、図８に示す処理により、ジャーキネスが発生しやすい、空間コントラストの高いエッジ周辺の画素ブロックの動きベクトルだけ有効な値として出力する。
すなわち、ステップＳ１１において、動きベクトルマスク処理部１１３は、入力される動画像データＩＤに対し、画素ブロック単位で、処理対象フレーム内の空間コントラストの高い領域を特定するための処理として画像のエッジを検出する。
またステップＳ１１の処理と並列して、ステップＳ１２において、動きベクトルマスク処理部１１３は、処理対象フレーム内の動体領域を特定するための処理を行う。即ちフレーム間での差分を画素ブロック単位で算出することによって動体画像領域を検出する。
【００５２】
ステップＳ１３において、動きベクトルマスク処理部１１３は、上述したステップＳ１１及びステップＳ１２の何れか一方又は両方に係る処理で、ジャーキネス劣化が発生しやすい領域として検出されたか否かを、画素ブロック単位で判断する。そして、ジャーキネス劣化が発生しやすい領域と判断した画素ブロックに対して、動きベクトルマスク処理部１１３は、マスク処理用のフラグを「１」に設定する。また、ジャーキネスが発生しやすい領域と判断されなかった画素ブロックに対して、動きベクトルマスク処理部１１３は、マスク処理用のフラグを「０」に設定する。
【００５３】
ステップＳ１４において、動きベクトルマスク処理部１１３は、動きベクトル生成処理部１２から供給される動きベクトルＶＤに対して、上述したフラグが「１」に設定されている画素ブロックの動きベクトルＶＤであるか否かを判断する。
動きベクトルマスク処理部１１３は、フラグが「１」に設定されている画素ブロックの動きベクトルに対しては、その値を変えずに、後段の最適シャッタ速度算出／判別部１１４及び動きベクトル補正部１１５に出力する。
また、動きベクトルマスク処理部１１３は、フラグが「０」に設定されている画素ブロックの動きベクトルに対しては、ステップＳ１５において、動きベクトルの値を０又は無効にするマスク処理を施して、後段の最適シャッタ速度算出／判別部１１４及び動きベクトル補正部１１５に出力する。
【００５４】
次に最適シャッタ速度算出／判別部１１４、及び動きベクトル補正部１１５に係る処理工程について図９を用いて説明する。
ステップＳ３１として、最適シャッタ速度算出／判別部１１４は、例えば図１０に示すような評価指標に基づいて処理対象フレームの各画素ブロックの動きベクトルに応じた最適シャッタ速度を算出する。
【００５５】
ここで、図１０は、動きベクトルとして検出される動体の移動速度を示す被写体速度と、この被写体速度に応じた最適シャッタ速度曲線を表した図である。また、最適シャッタ速度とは、被写体の移動速度に応じた、視覚特性上、ジャーキネス劣化が知覚されにくく、且つ、動きぼけが過度に付加されることによって被写体のディテールが欠損したり不鮮明になるぼけ劣化も知覚されにくいシャッタ速度である。すなわち、この最適シャッタ速度よりも速いシャッタ速度で被写体を撮像すると、撮像画像には、ジャーキネス劣化が生じていると判断できる。一方、この最適シャッタ速度よりも遅いシャッタ速度で被写体を撮像すると、撮像画像には、ぼけ劣化が生じていると判断することができる。
そこで、最適シャッタ速度算出／判別部１１４は、各画素ブロックの動きベクトルを図１０中の被写体速度に対応させることにより、各画素の動きベクトルに応じた最適シャッタ速度を算出する。
【００５６】
なお、図１０の実線で示されている最適シャッタ速度曲線ＳＳ０は、任意の被写体速度と最適なシャッタ速度との対応関係を示した一例であって、具体的には心理実験に基づいて得られた実験結果値を結んだ曲線である。
ここで、図１０に示す動きぼけ領域Ａ１は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが過度に含まれると判別される領域である。同様にして、ジャーキネス領域Ａ２は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが含まれず、視覚特性上ジャーキネス劣化が生じていると判別される領域である。
この実線で示されている最適シャッタ速度曲線ＳＳ０を直接用いて、動きベクトルに応じた最適シャッタ速度を求める場合には、任意の刻み幅で動きベクトルに応じた最適シャッタ速度情報をテーブルとして記憶媒体に予め記憶して、この記録媒体を参照すればよい。
【００５７】
また、本実施の形態では、この実線で示された最適シャッタ速度曲線に近似する関数を用いることにより、動きベクトルに応じた最適シャッタ速度を算出するようにしてもよい。
この場合、最適シャッタ速度算出／判別部１１４は、ある画素ブロックでの動きベクトルをｖとして、下記の（数５）に示す最適シャッタ速度曲線の近似関数により最適シャッタ速度ＳＳＤ’を算出する。
【数５】
2010268526.tif 000007
なお、この（数５）における各パラメータＡ、Ｂ、γは、図１０中に示す最適シャッタ速度曲線の曲線形状に応じて適当な値を選択して用いるようにすればよい。シャッタ速度曲線の具体例として、図１０では、（数５）中の各パラメータのうち、Ａ、Ｂの値を固定にして、γを３段階に変化させたときの曲線形状ＳＳ１〜ＳＳ３を示している。
【００５８】
動きベクトルに応じた最適シャッタ速度ＳＳＤ’が算出されると、図９のステップＳ３２において、最適シャッタ速度算出／判別部１１４は、この最適シャッタ速度ＳＳＤ’と、実際に撮像されたシャッタ速度ＳＳＤとを比較して、画素ブロック単位で図１０に示すジャーキネス領域Ａ２に該当しているかを判別する。
なお、実際に撮像されたシャッタ速度ＳＳＤとは、例えば動画像データＩＤにおいてメタデータとして付加されているものであればよい。また本例の画像処理装置１（１００）が撮像装置内に搭載されるものである場合、自機による撮像時のシャッタ速度情報として取得できる。
【００５９】
このステップＳ３２の判別結果から、現在の処理対象の画素ブロックにおいて、シャッタ速度ＳＳＤが最適シャッタ速度ＳＳＤ’よりも速く、ジャーキネス領域Ａ２に該当しているとき、動きベクトル補正部１１５は、ステップＳ３３に進む。
また、現在の処理対象の画素ブロックにおいて、シャッタ速度ＳＳＤが最適シャッタ速度ＳＳＤ’よりも遅くジャーキネス領域Ａ２に該当してないとき、動きベクトル補正部１１５は、ステップＳ３４に進む。
【００６０】
ステップＳ３３において、動きベクトル補正部１１５は、処理対象の画素ブロックにおいてジャーキネス劣化が生じているので、例えば、シャッタ速度ＳＳＤが速くなるのに伴って増加して値が１に収束する関数ｆｓ（ＳＳＤ）を動きベクトルの値に乗じる処理を行う。
なお、動きベクトル補正部１５３は、関数ｆｓ（ＳＳＤ）に代えて、動きベクトルＶＤを変数としたｆｓ（ＶＤ）又は、シャッタ速度ＳＳＤと動きベクトルＶＤとを２変数としたｆｓ（ＳＳＤ，ＶＤ）を用いて乗算処理を行うようにしてもよい。
ステップＳ３４において、動きベクトル補正部１５３は、処理対象の画素ブロックにおいてジャーキネス劣化が生じていないので、例えばこの動きベクトルの値に０を乗じて無効にするマスク処理を施す。
【００６１】
このようにして、最適シャッタ速度算出／判別部１１４は、処理対象となっている動画像が実際に撮像された時のシャッタ速度ＳＳＤを考慮して、ジャーキネス劣化が生じているか否かを判別する。そして、動きベクトル補正部１１５は、ジャーキネス劣化が生じていると判別された画素ブロックの動きベクトルに対して、適切な動きぼけを付加するための補正処理を施す。これは、動きぼけ付加フィルタ１１２で行われる動きぼけ付加処理が、視覚特性上、より自然な動画像となることに寄与する。
【００６２】
フィルタパラメータ算出部１１１は、処理対象フレームを構成する各画素に対して動きぼけを付加するため、次に示すようなフィルタパラメータを画素単位で算出する。
まず、フィルタパラメータ算出部１１１は、有効な動きベクトル情報を有する画素を注目画素として、各注目画素の動きベクトル上に位置する画素（以下、パラメータ算出対象画素という。）を特定する。そして、フィルタパラメータ算出部１１１は、この注目画素に対する特定されたパラメータ算出対象画素の相対位置に応じたフィルタパラメータを、次に示すようにして算出する。
【００６３】
すなわち、フィルタパラメータ算出部１１１は、図１１に示すように、動きベクトルの始点Ｓと終点Ｅとの中点を注目画素Ｐ０の位置としたベクトル上に位置する画素の全てをパラメータ算出対象画素として特定する。なお、図１１に示すように、絶対値ｖは注目画素の動きベクトルの絶対値である。
続いて、フィルタパラメータ算出部１１１は、動きベクトルの絶対値ｖと、注目画素Ｐ０の画素位置と上述した処理により特定したパラメータ算出対象画素Ｐ１の画素位置との間の距離ｄとに応じて、動きぼけ付加の強度σを下記の（数６）により算出する。
【数６】
2010268526.tif 000008
ここで、式中の強度σを二乗した値が後段の動きぼけ付加フィルタ１１２におけるガウス型関数の分散となるように、（数６）は設定されている。
【００６４】
また、フィルタパラメータ算出部１１１は、注目画素Ｐ０を原点としたときの各パラメータ算出対象画素Ｐ１の直交座標平面ｘ−ｙの座標点を（ｘ1，ｙ1）として、動きぼけを付加する角度方向θを下記の（数７）より算出する。
【数７】
2010268526.tif 000009
【００６５】
このようにして、フィルタパラメータ算出部１１１は、注目画素の動きベクトルからパラメータ算出対象画素を特定して、特定した各パラメータ算出対象画素に対してパラメータ情報（σ，θ）を設定し、処理対象フレーム単位で動きぼけ付加フィルタ１１２に供給する。
【００６６】
なお、フィルタパラメータ算出部１１１に係る処理では、ある画素に対して重複してパラメータ算出対象画素が特定される場合がある。この場合には、処理を単純化するため、例えば、重複して特定されたパラメータ情報のうち、σの大きい値の情報を、その画素のパラメータ情報として設定すればよい。また、フィルタパラメータ算出部１１１では、各パラメータ算出対象画素のパラメータ情報（σ，θ）に対して、ガウス関数型フィルタ処理やメディアンフィルタ処理などの平滑化処理を施すことにより、後段の動きぼけ付加フィルタ１１２から出力される動画像の画質を高めることができる。
【００６７】
動きぼけ付加フィルタ１１２は、フィルタパラメータ算出部１１１から供給されるパラメータ情報に応じて、入力される動画像データＩＤの処理対象フレームの各画素の画素値に対して、次に示すような処理対象フレーム内での空間的なフィルタ処理を施す。
本実施の形態において、動きぼけ付加フィルタ１１２は、以下に示す第１のフィルタ処理、又は第２のフィルタ処理の一方又は両方を実行することにより、動きぼけを付加した画像を出力する。
【００６８】
まず、第１のフィルタ処理について説明する。第１のフィルタ処理において、動きぼけ付加フィルタ１１２は、動きぼけ付加フィルタ処理前の動きぼけ付加対象画素の画素値とこの画素の周辺に位置する周辺画素の画素値とを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）として、下記の（数８）に示すようなガウス型関数により、フィルタ処理後の注目画像の画素値Ｊ（ｘ，ｙ）を出力する。
【数８】
2010268526.tif 000010
なお、入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）となる周辺画素は、動きベクトルを付加する角度方向に応じて設定される。また、ｒは、動きぼけ付加対象画素と周辺画素との間の距離を示す。
【００６９】
動きぼけ付加フィルタ１１２は、処理対象フレームを構成する全画素のうち、パラメータ情報（σ，θ）が設定されている画素毎に、上述したフィルタ処理を施して画素値を更新する。このようにして動きぼけ付加フィルタ１１２は、ジャーキネス劣化が低減された動画像データＢＤを、後段の符号化処理部２に供給することができる。
【００７０】
ところで、注目画素の周辺に位置する周辺画素には、元々動きのない領域、すなわち背景領域となっているものがある。このような背景領域に位置する周辺画素は、本来注目画素に対して動きぼけを付加するのに考慮する必要がない。このような点に注目した処理方法が次に示す第２のフィルタ処理である。
【００７１】
すなわち、第２のフィルタ処理において、動きぼけ付加フィルタ１１２は、注目画素の動きベクトルの値が０又は無効であるときに、その注目画素の周辺に位置する周辺画素のうち動きベクトルの値が０又は無効である画素の画素値Ｉ（ｘ＋ｉ0，ｙ＋ｊ0）を注目画素の画素値Ｉ（ｘ，ｙ）に代えて、上記の（数８）により注目画素の画素値Ｊ（ｘ，ｙ）を算出する。このようにして、動きぼけ付加フィルタ１１２は、第１のフィルタ処理よりも、視覚特性上自然にジャーキネス劣化を低減した画像を出力する。
【００７２】
動きぼけ付加処理部１１では、以上の例のようにして動きぼけ付加処理を施した動画像データＢＤを出力することができる、
特にこの例の場合、最適シャッタ速度算出／判別部１１４が動画像の撮像時のシャッタ速度情報に応じて動きベクトルを補正することにより、後段のフィルタパラメータ算出部１１１で算出される動きぼけ付加強度σの値を制御するので、動きぼけ付加フィルタ１１２により撮像時のシャッタ速度情報に応じて適切な動きぼけを付加することができ、人間の視覚特性上、より自然にジャーキネス劣化を低減した動画像データＢＤを出力することができる。
【００７３】
次に、動きぼけ付加処理部１１の構成例として図１２の構成例を説明する。図１２に示すように、動きぼけ付加処理部１１は、フィルタパラメータ算出部１１１と動きぼけ付加フィルタ１１２によって構成してもよい。即ち図７の構成から、動きベクトルの補正に関する処理ブロックを削除した構成である。
【００７４】
先に述べたように本実施の形態は、符号化処理部２の前段において、動画像データＩＤに対して動きぼけ付加処理部を行うものであるが、その目的の１つは、符号化効率の向上である。
そして、上記図７の構成例のようにすることで、知覚特性に応じてぼけ付加具合を最適なものにすることができるが、符号化効率の観点を重視すれば、それは必須ではない。その場合、図１２の構成でもよいことになる。
【００７５】
この図１２の構成例では、動きベクトル生成処理部１２から供給される動きベクトルＶＤが直接フィルタパラメータ算出部１１１に入力される。
フィルタパラメータ算出部１１１は、補正されていない動きベクトルＶＤを用いて、上記同様の処理を行ってフィルタパラメータ算出を行う。そして動きぼけ付加フィルタ１１２は、フィルタパラメータに基づいて、上述した動きぼけ付加処理を行う。
【００７６】
この構成例によれば、動きベクトル生成処理部１２で検出された動きベクトルの大きさに忠実に動きぼけが付加されることになる。
後述する第２の画像処理装置４（４００）に関することとなるが、このようにすることで、より容易に忠実な動きぼけ削減処理を行うことができる。
【００７７】
以上、図７，図１２として動きぼけ付加処理部１１の構成及び動作を説明したが、これら以外の構成例、動作例も各種考えられる。
上記の動きぼけ付加処理部１１では、動きベクトルを用いて各単位画像に動きぼけを付加する空間的なフィルタ処理に代えて、他の動き情報を用いて画像データに動きぼけを付加するようにしてもよい。
例えば、１フレームに対して複数のフレームを重ね合わせる時間的なフィルタ処理を行うことにより、動画像データＩＤに動きぼけを付加する処理を行うようにしても良い。この場合、動きぼけ付加処理部１１は、動きベクトルの代わりに、動き情報としてフレーム間の差分により動体画像領域を検出する。そして、この検出した動体画像領域を示す情報を撮像情報に基づいて補正してから、この動き情報を用いて時間的なフィルタ処理を施すことによって、撮像時のシャッタ速度情報等に応じて適切な動きぼけを付加することができる。
【００７８】
［２．第２の画像処理装置］
［２−１：画像処理装置の構成例］
続いて、本発明の実施の形態としての第２の画像処理装置について説明する。第２の画像処理装置とは、上述してきた第１の画像処理装置から伝送されてきた動画像データ、即ち動きぼけ付加処理及び符号化処理が施された動画像データＥＤ（以下「符号化状態の動画像データＥＤ」という）に対して、復号化及び動きぼけ削減処理を行う画像処理装置である。
【００７９】
図１３，図１４，図１５により、第２の画像処理装置についての構成例を説明する。
なお各図における処理ブロックは、論理的な構成要素として示しており、各処理ブロックは同一筐体内にある場合も考えられるし、別の筐体内にある場合も考えられる。そして、各図において、破線で囲った画像処理装置４、又は同じく破線で囲った画像処理装置４００が、本発明の第２の画像処理装置の実施の形態の構成と考えることができる。
【００８０】
図１３は、画像処理装置４として動きぼけ削減処理部４１を備える構成を示している。或いは画像処理装置４００として復号化処理部３と動きぼけ削減処理部４１を備える構成を示している。
【００８１】
復号化処理部３には符号化状態の動画像データＥＤが入力される。復号化処理部３は、符号化状態の動画像データＥＤに対して復号化処理を行って復号された動画像データＤＤを出力する。例えば上述した第１の画像処理装置１００における符号化処理部２が実行した符号化に対する復号処理を実行する。
従って出力される動画像データＤＤは、第１の画像処理装置１００の動きぼけ付加処理部１１によって動きぼけが付加された状態の動画像データと考えることができる。
【００８２】
動きぼけ削減処理部４１は、前段の復号化処理部３によって復号化された画像データＤＤに、動きぼけの削減処理を実行し、処理後の動画像データＯＤを出力する。
この動きぼけ削減処理部４１は、復号後の動画像データＤＤの各フレーム、各分割領域に対し、同様に入力している、動画像データＤＤの各フレーム、各分割領域に対応した動き情報ＭＩに応じたフィルタ処理を、動画像データＤＤに対し適応的に行って、動きぼけの削減を実行する。
動きぼけ削減処理された動画像データＯＤは、図示しない表示装置などへと出力される。
なお、図示しているように、復号化処理部３で復号化された動画像データＤＤを、表示装置等へ出力することも考えられる。
【００８３】
ここで、本例の第２の画像処理装置４（４００）による機能・効果としては、次の（i）（ii）（iii）の３つが考えられる。
【００８４】
（i）伝送されてきた動画像データのブラー劣化の低減による高画質化。
動きぼけ削減処理部４１で動きぼけ削減処理されて表示装置等に出力される動画像データＯＤは、復号画像データＤＤを直接表示装置で表示した場合と比較し、画像のディテールを損なうブラー劣化が解消され、高画質に表示されることになる。
即ち特に動画像データの伝送元を特定しないという前提のもとで、動きぼけ削減処理によるブラー劣化低減効果が得られる。
【００８５】
（ii）第１の画像処理装置１００から伝送されてきた動画像データについて、ジャーキネス劣化及びブラー劣化の低減による高画質化。
上述の第１の画像処理装置１００側で動きぼけ付加処理部１１によってジャーキネス劣化が解消されている符号化状態の動画像データＥＤが、この第２の画像処理装置４００に入力されることを考慮すれば、動きぼけ削減処理された動画像データＯＤは、ジャーキネス劣化とブラー劣化が共に低減された高画質な動画像データとなる。
つまりこの意味で言えば、動画像データＤＤは、ジャーキネス劣化が低減された動画像データであり、動画像データＯＤは、ジャーキネス劣化及びブラー劣化が共に低減された動画像データとなる。
【００８６】
（iii）第１の画像処理装置１００の処理前の動画像データの復元。
さらに本例では、動画像データＯＤは、第１の画像処理装置１００に入力された元の動画像データＩＤと同等の画像とすることも可能である。つまり、動きぼけ付加処理部１１で付加した動きぼけを、動きぼけ削減処理部４１で忠実に削減するという考え方である。これは、第１の画像処理装置１００における符号化処理部２での符号化効率の向上という観点を重視するために動きぼけを付加し、伝送先となる第２の画像処理装置４００側では、元の動画像データを復元したいという場合に適したものとなる。
例えば先に説明したとおり、図１２に構成例を示す動きぼけ付加処理部１１を用いて動きぼけを付加したデータが符号・復号処理された画像データの入力を想定すると、動画像データＤＤには、動きベクトルＶＤの大きさに忠実に、補正することなく、動きぼけが付加されている。
そのため、動きぼけ削減処理部４１にて、動きベクトルＶＤのみをパラメータとして動きぼけ削減処理を行った場合、原理的には第１の画像処理装置１（１００）にて動きぼけが付加される以前と同等の動画像データが得られるはずである。
【００８７】
続いて図１４は、画像処理装置４として動きぼけ削減処理部４１と動きベクトル生成処理部４２を備える構成を示している。或いは画像処理装置４００として復号化処理部３と、動きぼけ削減処理部４１と、動きベクトル生成処理部４２を備える構成を示している。
この図１４は、図１３における動き情報ＭＩの例として、動きベクトルＶＤを用いる構成例となる。
【００８８】
動きベクトル生成処理部４２は、復号化された動画像データＤＤの各フレームの各領域（画素単位又は複数画素による画素ブロック単位）の動きベクトルＶＤを生成する。
動きぼけ削減処理部４１は、復号化された動画像データＤＤについて、動きベクトルＶＤを用いて、動画像データＤＤ（の各フレーム、各分割領域）に対し適応的にフィルタ処
理を行い、動きぼけの削減を実行する。動きぼけ削減処理された動画像データＯＤは、図示しない表示装置などへと出力される。
この場合も、上記（i）（ii）（iii）のいずれかの機能・効果が想定される。
【００８９】
次に図１５は、復号化処理部３内で用いる動きベクトルを動きぼけ削減処理に利用する構成例である。
動きぼけ推定処理は、ＭＰＥＧのような画像の動き情報に基づいた予測符号化において、その符号化処理過程で行われており、その動きぼけ推定結果は符号化データとともに復号化処理部３へと伝送されている。
復号化処理部３では、上記伝送された動きベクトルを用いて復号化処理を実行するが、図１５に示す構成例では、この動きベクトルを用いて、動きぼけの削減処理を実行する。
【００９０】
図１５中には、簡易なＭＰＥＧ復号化の処理ブロックを示している。
符号化状態の動画像データＥＤは、復号化処理部３において、エントロピー復号化部３０１に入力される。エントロピー復号化部３０１は、入力された符号化状態の動画像データＥＤに対する復号処理を行い、量子化データを得るとともに、動きベクトルＶＤを抽出する。即ちこれは、例えば図４の動きベクトル生成処理部２１０で生成され、エントロピー符号化部２０４での符号化において符号化動画像データに重畳された動きベクトルＶＤである。
エントロピー復号化部３０１は、量子化データを逆量子化部３０２に出力し、また動きベクトルＶＤを動き補償部３０６及び動きぼけ削減処理部４１に出力する。
【００９１】
逆量子化部３０２は、入力された量子化データを逆量子化してＤＣＴ係数を生成し、逆ＤＣＴ部３０３に対して出力する。
逆ＤＣＴ部３０３は、逆量子化部３０２から入力されたＤＣＴ係数を逆ＤＣＴ処理して画像データを生成し、加算部３０４に対して出力する。
加算部３０４は、動き補償部３０６が動き補償した画像データと、逆ＤＣＴ部３０３から入力された画像データを加算して、これを復号化された動画像データＤＤとして出力するとともに、フレームメモリ３０５に出力する。フレームメモリ３０５に一時的に格納された画像データは、動き補償部３０６に出力される。
動き補償部３０６は、エントロピー復号化部３０１から入力された動きベクトルに基づいて、加算部３０４からフレームメモリ３０５を介して入力された画像データを動き補償処理し、加算部３０４に対して出力する。
このような復号化処理部３によって復号化された動画像データＤＤは、動きぼけ削減処理部４１に供給される。また動きぼけ削減処理部４１には動きベクトルＶＤも供給される。動きぼけ削減処理部４１は、動きベクトルＶＤを用いて動画像データＤＤに対し、動きぼけ削減処理を行う。動きぼけ削減処理された動画像データＯＤは、図示しない表示装置などへと出力される。
この例のように、ＭＰＥＧ復号化過程で抽出される動きベクトルを利用して、動きぼけ削減処理を行うことも考えられる。
この場合も、上記（i）（ii）（iii）のいずれかの機能・効果が想定される。
【００９２】
また、以上の各例の画像処理装置４（４００）では、動き情報を参照し、領域ごとに適用的なフィルタリングを行うものである。このため、符号化時に空間的に一様なローパスフィルタ（つまり復号化時に空間的に一様なハイパスフィルタ）を実行するとした場合と比較して、動きの大きさに応じた、領域ごとに適応的な動きぼけの削減が、必要であれば後処理としての動きぼけ量の調整も含めて、実行可能であり、動画像の観察者にとって自然な画質が提示できる。
また、符号化前の処理における動きぼけ付加処理のパラメータを伝送しなかった（あるいはできない）場合でも、動き情報のみを用いて、動きぼけの削減処理が可能である。
すなわち、符号化・復号化に用いるために伝送された動きベクトル、もしくは、復号化後に求めた動き情報のみによって、実行が可能である。これは、符号化時に空間的に一様なローパスフィルタ（つまり復号化時に空間的に一様なハイパスフィルタ）を実行する、とした場合、ローパスフィルタ時における、何かしらのフィルタ情報を伝送しなければ、処理できないはずであることに対する利点となる。
【００９３】
［２−２：動きぼけ削減処理部］
上記図１３，図１４，図１５の構成例における動きぼけ削減処理部４１について説明する。ここでは動きぼけ削減処理部４１の構成として図１６の例と図１８の例をそれぞれ述べる。
まず、図１６の動きぼけ削減処理部４１の構成例を説明する。
図１６の動きぼけ削減処理部４１は、移動平均フィルタ特性変換部４１１、移動平均フィルタ部４１２、減算部４１３、加算部４１４から構成されており、入力された動画像データＤＤに対して、動きぼけ量の削減を実現する。
【００９４】
なお移動平均フィルタ部４１２として用いる移動平均フィルタとは、最も簡易なローパスフィルタの一種であり、処理対象画素が１画素移動する毎に、周辺画素との平均値を算出して出力するフィルタである。例えばある時点では、図１７（ａ）のように現在のサンプル値を含めてｎ個（図では４個）のサンプルで平均をとる。次の時点でも図１７（ｂ）のように現在のサンプル値を含めてｎ個（図では４個）のサンプルで平均をとる。ここでいうサンプル値が画素値となり、処理対象画素が１画素移動する毎に、処理対象画素を含む周辺画素のｎサンプルの平均を出力するものとする。
【００９５】
移動平均フィルタ特性変換部４１１には、動きベクトルＶＤが入力している。移動平均フィルタ特性変換部４１１では、動画像データＤＤ中の当該分割領域に位置的に対応する動きベクトルＶＤを、入力された動きベクトルＶＤからフィルタパラメータとして抽出し、これに基づいて移動平均フィルタ部４１２にて行われる処理のフィルタ特性を決定する。
例えば、複数の動きベクトルＶＤに対して、移動平均フィルタを１つずつ予め用意しておき、注目画素において用いるべきフィルタを決定すればよい。具体的には、以下のように行う。
【００９６】
移動平均フィルタの特性を、注目画素周辺の何画素について平均処理を実行するか、と置き換えて考え、フィルタパラメータの一例として動きベクトルＶＤを用いることとする。このとき、動きベクトルＶＤに対して、移動平均フィルタに用いる画素数を１つ決定するテーブルを用意しておき、各領域の動きベクトルＶＤが入力するたびに、移動平均フィルタに用いる画素数を出力する。
決定された移動平均フィルタに用いる画素数は、移動平均フィルタ部４１２へと出力される。
【００９７】
移動平均フィルタ部４１２（ローパスフィルタ）は、処理対象の当該フレーム内の注目画素を含む所定のブロックに対して、移動平均フィルタ特性変換部４１１により特性が決定された移動平均フィルタをかけることで、注目画素の画素値を変換する。移動平均フィルタ部４１２により変換された注目画素の画素値は、減算部４１３へと出力される。
すなわち、減算部４１３には、移動平均フィルタ部４１２により変換された注目画素の画素値が極性反転されて入力される。減算部４１３にはまた、入力された動画像データＤＤ中の処理対象のフレームのうちの注目画素が入力されている。
減算部４１３は、動画像データＤＤ中の当該画素の画素値と、移動平均フィルタ部４１２により変換された注目画素の画素値との差分を求め、その差分値を加算部４１４へと出力する。
このようにして、加算部４１４には、移動平均フィルタ前後の差分が入力される。加算部４１４にはまた、動画像データＤＤ中の処理対象のフレームのうちの注目画素が入力されている。加算部４１４は、注目画素の補正前の画素値に対して、移動平均フィルタ前後の差分値を加算し、その加算結果を出力画像（その一部）として出力する。
【００９８】
以上が、動きぼけ削減処理部４１の処理内容であるが、この処理の意味を理解するためには、周波数領域で考えるとわかりやすい。
減算部４１３の出力信号である移動平均フィルタ前後の差分を周波数領域で考えた場合、着目された周波数において、入力された画像信号のゲインと、移動平均フィルタがかけられた後の画像信号のゲインとの差分が、減算部４１３の出力信号のゲインとなる。さらに、加算部４１４の出力画像信号のゲインは、入力された画像信号のゲインに対して、移動平均フィルタ前後の差分ゲインが加算された値となる。すなわち、各周波数のそれぞれにおいて、出力画像信号のゲインは、入力画像のゲインに比較して、移動平均フィルタ前後の差分ゲイン分だけ持ち上げられてことになる。
移動平均フィルタがローパスフィルタであることを踏まえ、上記の内容を換言すると、図１６の構成例に示す動きぼけ削減処理部４１全体では、ハイパスフィルタをかける処理と基本的に等価な処理を実行していることになる。
【００９９】
次に動きぼけ削減処理部４１として図１８の構成例を説明する。
図１８の構成例が上記図１６と異なるのは、付加する動きぼけ量をジャーキネス劣化が最も低減される動きぼけ量に調整するために必要な、動きベクトル補正処理の要素が加わっている点である。
【０１００】
具体的には、最適シャッタ速度算出／判別部４１５、および、動きベクトル補正部４１６が加わっており、図７で示した動きぼけ付加処理部１１における最適シャッタ速度算出／判別部１１４、および、動きベクトル補正部１１５と同様の動きベクトルのスケーリング処理が行われる。異なるのは、撮像シャッタ速度ＳＳＤの入力はない点である。
【０１０１】
しかしながら先に説明した図１２の動きぼけ付加処理部１１によって動きぼけ付加処理がされた動画像データが入力されることを想定すると、動きベクトルＶＤの大きさに忠実に、補正することなく、動きぼけが付加されていると考えればよい。
すると、復号化された動画像データＤＤは一様に、ほぼオープンシャッタ相当の動きぼけが付加されていると見なしてよく、例えば図１０におけるところの、最も長いシャッタ速度の状態で撮像されている動画像データが常に入力しているものとして処理を行えばよい。
具体的には、動きベクトル補正部４１６において、例えば図１０の最適シャッタ速度曲線ＳＳ０に応じて、入力した動きベクトルを補正（縮小）して、後段の移動平均フィルタ特性変換部４１１へと出力すればよい。移動平均フィルタ特性変換部４１１、移動平均フィルタ部４１２、減算器４１３、加算器４１４の処理は上記と同様である。
【０１０２】
以上、図１６，図１８に示した構成例などを用いて、動きぼけ削減処理の実現が可能である。当然ながら、動きぼけ削減処理部４１の構成及び動作は上記に限られるものではない。
【０１０３】
［３．第１，第２の画像処理装置間の情報伝送］
続いて、符号化の前処理装置となる第１の画像処理装置１と、復号化の後処理装置となる第２の画像処理装置４の間における、動きぼけ付加情報の共有について説明する。
上記までに、復号化処理の後処理を行う画像処理装置４について説明した。ここでは、符号化の前処理として画像処理装置１が動きぼけを付加した際に用いたパラメータなどを、復号化処理側へと伝送し、復号化の後処理として画像処理装置４が、受信した動きぼけ付加情報を用いて、動きぼけ削減処理の実行可否や、削減する動きぼけ量の度合いを決定する形態を示す。
【０１０４】
図１９は、図３の画像処理装置１（１００）と、図１３の画像処理装置４（４００）を示している。
そして特に、動きぼけ付加処理部１１は、処理後の動画像データＢＤに加えて、動きぼけを付加した際に用いた動きぼけ付加パラメータＰＭを、符号化処理部２に伝送することを示している。
符号化処理部２は、動きぼけ付加パラメータＰＭを符号化状態の動画像データＥＤのメタデータとして追加して伝送出力する。
【０１０５】
画像処理装置４（４００）側では、復号化処理部３は、復号処理を行って動画像データＤＤを動きぼけ削減処理部４１に出力するとともに、メタデータから動きぼけ付加パラメータＰＭを抽出して動きぼけ削減処理部４１に供給する。
動きぼけ削減処理部４１は、動きぼけ付加パラメータＰＭを基に動きぼけ削減処理の内容を決める。
【０１０６】
なお、動きぼけ付加パラメータＰＭの伝送方式として、符号化信号のメタデータとして用いる方法を示しているが、伝送の方法はこれに限らない。別のストリームとして伝送しても構わない。
【０１０７】
上記図１３等のおける動きぼけ削減処理部４１では、動きベクトルに対して忠実に（例えば図１２のようにベクトルの補正処理を行うことなく）動きぼけが付加された信号の入力を想定した場合、動きぼけ付加パラメータＰＭを必要とすることなく、図１６や図１８の構成例によって、動きぼけを削減する処理を実行していた。
しかし、図７のように、ジャーキネス劣化が発生しやすい領域のみを選択して動きぼけを付加したり、人間によるジャーキネス劣化の知覚を考慮し、動きぼけ量を調整して付加する、などの処理を実行された信号の場合には、動きぼけを付加した際に用いた動きぼけ付加パラメータＰＭを後段へと伝送することが効果的である。
【０１０８】
動きぼけ付加パラメータＰＭの具体的な例としては、まず、最も簡単なものとして、画像中の当該画素（または当該領域）に動きぼけを付加したかどうかを示す「０」「１」のフラグ信号が考えられる。
動きぼけ削減処理部４１においては、これを参照し、動きぼけ削減処理を行うか、否か、を判別する。
【０１０９】
また動きぼけ付加パラメータＰＭの具体的な例として、図７の構成で補正されたベクトルそのものを伝送することも考えられる。即ち図７の動きベクトル補正部１１５の出力を伝送することである。
動きぼけ削減処理部４１においては、この補正ベクトルを用いて、動きぼけ削減処理を実行する。
【０１１０】
またベクトルそのものの伝送には、多大なデータ量の追加を必要としてしまうため、動きぼけ付加パラメータＰＭとして、ベクトルに補正を施した補正値のみを送ることや、補正時に施したベクトル変換のルールのみを伝送して、動きぼけ削減処理部４１側でベクトル逆変換を行うことも考えられる。
例えば各画素または各ブロックにおいて、上記の動きぼけ付加時に行ったベクトル補正値を各画素または各ブロックに追加して伝送する。最も単純には、０〜１の間の実数αを伝送することであり、動きぼけ削減処理部４１においては、当該ベクトルＶを、Ｖ’＝α×Ｖの式で縮小してから、動きぼけの削減処理を行うことになる。動きぼけを付加していない場合は、「０」を伝送する。
実数の場合には、データ量が増大するため、例えば、０〜Ｎまでの値の量子化した補正値を伝送するのが現実的である。
【０１１１】
また、動きぼけ付加パラメータＰＭとして、例えば図７のフィルタパラメータ算出部１１１の出力である動きぼけ付加フィルタパラメータ、即ち各画素に与えられたθ値とσ値を伝送することも考えられる。
【０１１２】
さらに、動きぼけ付加パラメータＰＭを伝送することにより、以下の利点が考えられる。
符号化の前処理として動きぼけ付加処理部１１で動きぼけを過剰に付加しても（そのまま表示した場合にブラー劣化が発生するほどに）、動きぼけ削減処理部４１により、動きぼけを削減することでブラー劣化の低減ができる。
すなわち、圧縮効率の改善のために有効な動きぼけ量を付加することで、画質の劣化を招いたとしても、動きぼけを付加した際のパラメータを既知として後段の動きぼけの削減処理を行うことにより、画質の回復が可能である、ことである。
【０１１３】
［４．プログラム］
以上の実施の形態は、画像処理装置１（１００）、４（４００）について説明したが、本発明は画像処理を行う各種機器に適用できる。例えば画像再生装置、撮像装置、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
さらに、汎用のパーソナルコンピュータその他の情報処理装置において、画像処理装置１（１００）、４（４００）を実現することも当然想定される。
例えば図１，図３，図４、図１３，図１４，図１５の各処理ブロックの動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
【０１１４】
即ち画像処理装置１００の画像処理を実現するプログラムとは、動画像データＩＤに対し、動画像データＩＤを構成する単位画像間での画像の動きを示す動き情報ＭＩ（例えば動きベクトルＶＤ）に応じたフィルタ処理を施すことにより、動きぼけの付加処理を実行する動きぼけ付加ステップと、動きぼけ付加ステップで動きぼけの付加処理が施された動画像データＢＤを符号化して出力する符号化ステップとを情報処理装置に実行させるプログラムである。
なお、上記動きぼけ付加ステップのみであれば、画像処理装置１の画像処理を実現させるプログラムとなる。
【０１１５】
また画像処理装置４００の画像処理を実現するプログラムとは、動きぼけ付加処理が施された上で符号化状態の動画像データＥＤを復号化する復号化ステップと、復号化ステップによって得られた復号化された動画像データＤＤに対して、該動画像データを構成する単位画像間での画像の動きを示す動き情報ＭＩ（例えば動きベクトルＶＤ）に応じたフィルタ処理を施すことにより、動きぼけの削減処理を実行する動きぼけ削減ステップとを情報処理装置に実行させるプログラムである。
なお、上記動きぼけ削減ステップのみであれば、画像処理装置４の画像処理を実現させるプログラムとなる。
【０１１６】
このようなプログラムにより、本発明をパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、その他画像データを用いる多様な情報処理装置においても同様の画像処理を実行できるようにすることができる。
【０１１７】
なお、このようなプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【符号の説明】
【０１１８】
１，１００，４，４００  画像処理装置、２  符号化処理部、３  復号化処理部、１１  動きぼけ付加処理部、１２，４２  動きベクトル生成処理部、４１  動きぼけ削減処理部
【図１】
2010268526.tif 000011
【図２】
2010268526.tif 000012
【図３】
2010268526.tif 000013
【図４】
2010268526.tif 000014
【図５】
2010268526.tif 000015
【図６】
2010268526.tif 000016
【図７】
2010268526.tif 000017
【図８】
2010268526.tif 000018
【図９】
2010268526.tif 000019
【図１０】
2010268526.tif 000020
【図１１】
2010268526.tif 000021
【図１２】
2010268526.tif 000022
【図１３】
2010268526.tif 000023
【図１４】
2010268526.tif 000024
【図１５】
2010268526.tif 000025
【図１６】
2010268526.tif 000026
【図１７】
2010268526.tif 000027
【図１８】
2010268526.tif 000028
【図１９】
2010268526.tif 000029