(57)【特許請求の範囲】
【請求項１】
動画像を表す動画像データに対してシャープネス処理を施すシャープネス処理方法であって、
前記動画像における少なくとも一部のフレームを表す少なくとも１つのフレームデータについて、該フレームデータおよび該フレームデータの時間軸方向に並ぶ前後所定数の他のフレームデータに基づいて、時間軸方向についての時間軸ボケ画像データを算出し、
前記フレームデータと前記時間軸ボケ画像データとの差分値を算出し、
該差分値に強調係数を乗算して前記フレームデータに加算することにより、該フレームデータのシャープネスを調整してシャープネス調整処理済み動画像データを得、
該シャープネス調整処理済み動画像データにより表される処理済み動画像における少なくとも一部のフレームを表す少なくとも１つの処理済みフレームデータについて、該処理済みフレームデータの各画素の画素値および該各画素を中心とした所定範囲に含まれる複数の画素の画素値に基づいて、空間軸方向についての空間軸ボケ画像データを算出し、
前記処理済みフレームデータと前記空間軸ボケ画像データとの差分値を算出し、
該差分値に他の強調係数を乗算して前記処理済みフレームデータに加算することにより、該処理済みフレームデータの空間軸方向におけるシャープネスを強調してシャープネス強調処理済み動画像データを得ることを特徴とするシャープネス処理方法。
【請求項２】
前記時間軸ボケ画像データは、前記フレームデータおよび該フレームデータの時間軸方向に並ぶ前後所定数の他のフレームデータの平均値であり、前記空間軸ボケ画像データは、前記処理済みフレームデータの各画素の画素値および該各画素を中心とした所定範囲に含まれる複数の画素の画素値の平均値であることを特徴とする請求項１記載のシャープネス処理方法。
【請求項３】
動画像を表す動画像データに対してシャープネス処理を施すシャープネス処理装置であって、
前記動画像における少なくとも一部のフレームを表す少なくとも１つのフレームデータについて、該フレームデータおよび該フレームデータの時間軸方向に並ぶ前後所定数の他のフレームデータに基づいて、時間軸方向についての時間軸ボケ画像データを算出するボケ画像データ算出手段と、
前記フレームデータと前記時間軸ボケ画像データとの差分値を算出する差分手段と、
該差分値に強調係数を乗算して前記フレームデータに加算することにより、該フレームデータのシャープネスを調整してシャープネス調整処理済み動画像データを得る処理手段と、
該シャープネス調整処理済み動画像データにより表される処理済み動画像における少なくとも一部のフレームを表す少なくとも１つの処理済みフレームデータについて、該処理済みフレームデータの各画素の画素値および該各画素を中心とした所定範囲に含まれる複数の画素の画素値に基づいて、空間軸方向についての空間軸ボケ画像データを算出する他のボケ画像データ算出手段と、
前記処理済みフレームデータと前記空間軸ボケ画像データとの差分値を算出する他の差分手段と、
該差分値に他の強調係数を乗算して前記処理済みフレームデータに加算することにより、該処理済みフレームデータの空間軸方向におけるシャープネスを強調してシャープネス強調処理済み動画像データを得る他の処理手段とを備えたことを特徴とするシャープネス処理装置。
【請求項４】
前記時間軸ボケ画像データは、前記フレームデータおよび該フレームデータの時間軸方向に並ぶ前後所定数の他のフレームデータの平均値であり、前記空間軸ボケ画像データは、前記処理済みフレームデータの各画素の画素値および該各画素を中心とした所定範囲に含まれる複数の画素の画素値の平均値であることを特徴とする請求項３記載のシャープネス処理装置。
【請求項５】
動画像を表す動画像データに対してシャープネス処理を施すシャープネス処理方法をコンピュータに実行させるためのプログラムであって、
前記動画像における少なくとも一部のフレームを表す少なくとも１つのフレームデータについて、該フレームデータおよび該フレームデータの時間軸方向に並ぶ前後所定数の他のフレームデータに基づいて、時間軸方向についての時間軸ボケ画像データを算出する手順と、
前記フレームデータと前記時間軸ボケ画像データとの差分値を算出する手順と、
該差分値に強調係数を乗算して前記フレームデータに加算することにより、該フレームデータのシャープネスを調整してシャープネス調整処理済み動画像データを得る手順と、
該シャープネス調整処理済み動画像データにより表される処理済み動画像における少なくとも一部のフレームを表す少なくとも１つの処理済みフレームデータについて、該処理済みフレームデータの各画素の画素値および該各画素を中心とした所定範囲に含まれる複数の画素の画素値に基づいて、空間軸方向についての空間軸ボケ画像データを算出する手順と、
前記処理済みフレームデータと前記空間軸ボケ画像データとの差分値を算出する手順と、
該差分値に他の強調係数を乗算して前記処理済みフレームデータに加算することにより、該処理済みフレームデータの空間軸方向におけるシャープネスを強調してシャープネス強調処理済み動画像データを得る手順と有することを特徴とするプログラム。
【請求項６】
前記時間軸ボケ画像データは、前記フレームデータおよび該フレームデータの時間軸方向に並ぶ前後所定数の他のフレームデータの平均値であり、前記空間軸ボケ画像データは、前記処理済みフレームデータの各画素の画素値および該各画素を中心とした所定範囲に含まれる複数の画素の画素値の平均値であることを特徴とする請求項５記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データに対してシャープネス処理を施すシャープネス処理方法および装置並びにシャープネス処理方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
本出願人により、非鮮鋭マスク画像データ（以下、ボケ画像データという）を用いてシャープネス処理を行って画像の鮮鋭度を向上させる種々のシャープネス処理方法が提案されている（特開昭５５−１６３４７２号公報、同５５−８７９５３号公報、特開平３−２２２５７７号公報、同１０−７５３９５号公報、同１０−７５３６４号公報、同１０−１７１９８３号公報等）。このシャープネス処理方法は、例えば元の画像データＳorgからボケ画像データＳusを引いたものに強調係数βを乗じたものを、画像データＳorgに加算することにより、画像データの所定の空間周波数成分を強調する処理を行う方法である。これを式で表すと下記の式（１）のようになる。
Ｓproc＝Ｓorg＋β×（Ｓorg−Ｓus）        （１）
但し、Ｓproc：処理済み画像データ
Ｓorg：元の画像データ
Ｓus：ボケ画像データ
β：強調係数
【０００３】
ボケ画像データＳusは、画像データＳorgに対してボケマスクを用いたフィルタリング処理を施すことにより得られる。ここで、ボケマスクとしては、３×３や５×５のように画像データＳorgに対して２次元的にフィルタリング処理を施すフィルタが用いられる。
【０００４】
また、式（１）に示す強調係数βの値を負とするシャープネス処理方法も本出願人により提案されている（特開平１−１０６２７７号公報、同１−２３９６８１号公報）。このように、強調係数βの値を負とすることにより、原画像から高周波のノイズを除去することができる。
【０００５】
一方、動画像に対してシャープネス処理を施す方法も提案されている（特開平６−６８２５２号公報）。この方法は、動画像からサンプリングされた複数のフレームに対して、空間的に上記式（１）に示すシャープネス処理を施すことにより、動画像の鮮鋭度を強調する方法である。この方法によれば、鮮鋭度が向上した高画質の動画像を再生することが可能となる。
【０００６】
【発明が解決しようとする課題】
しかしながら、動画像は静止画像とは異なり、動画像における時間軸上の各フレームに動画像に特有のボケを含むという特性を有する。また、動画像は静止画像と比較してデータ量が大きいことから、高圧縮率にて圧縮する必要があるため、圧縮アーチファクトが生じやすいという特性を有する。さらに、人間の目は動画像に対して特有の視覚特性を有する。したがって、動画像の特性や人間の視覚特性を考慮することなく、個々のフレームについて空間的にシャープネス処理を施すのみでは、動画像の鮮鋭度を十分に強調することができない。
【０００７】
本発明は上記事情に鑑みなされたものであり、動画像の特性等を考慮して動画像のシャープネス処理を行うことを目的とする。
【０００８】
【課題を解決するための手段】
本発明による第１のシャープネス処理方法は、動画像を表す動画像データに対してシャープネス処理を施すシャープネス処理方法であって、
前記動画像における少なくとも一部のフレームを表す少なくとも１つのフレームデータについて、少なくとも時間軸方向についてのボケ画像データを算出し、
前記フレームデータと前記ボケ画像データとの差分値を算出し、
該差分値に強調係数を乗算して前記フレームデータに加算することにより、該フレームデータのシャープネスを調整してシャープネス調整処理済み動画像データを得ることを特徴とするものである。
【０００９】
なお、本発明による第１のシャープネス処理方法においては、前記ボケ画像データを時間軸方向および空間軸方向についてのボケ画像データとしてもよい。
【００１０】
また、本発明による第１のシャープネス処理方法においては、前記ボケ画像データを時間軸方向についてのみのボケ画像データとし、
前記強調係数を負の値を有するものとしてもよい。
【００１１】
なお、強調係数を負の値とするのに変えて、正の強調係数を乗算した差分値をフレームデータから減算してもよい。
【００１２】
この場合、前記シャープネス調整処理済み動画像データにより表される処理済み動画像における少なくとも一部のフレームを表す少なくとも１つの処理済みフレームデータについて、空間軸方向についての空間軸ボケ画像データを算出し、
前記処理済みフレームデータと前記空間軸ボケ画像データとの差分値を算出し、
該差分値に他の強調係数を乗算して前記処理済みフレームデータに加算することにより、該処理済みフレームデータの空間軸方向におけるシャープネスを強調してシャープネス強調処理済み動画像データを得るようにしてもよい。
【００１３】
なお、他の強調係数は、前記フレームデータと前記ボケ画像データとの差分値に乗算する強調係数と同一であっても異なるものであってもよい。
【００１４】
本発明による第２のシャープネス処理方法は、動画像を表す動画像データに対してシャープネス処理を施すシャープネス処理方法であって、
前記動画像における所望とするフレームを表すフレームデータについて、少なくとも時間軸方向についてのボケ画像データを算出し、
前記所望とするフレームデータと前記ボケ画像データとの差分値を算出し、
該差分値に強調係数を乗算して前記所望とするフレームデータに加算することにより、該所望とするフレームデータのシャープネスを調整することを特徴とするものである。
【００１５】
なお、本発明による第２のシャープネス処理方法においては、前記ボケ画像データを時間軸方向および空間軸方向についてのボケ画像データとしてもよい。
【００１６】
本発明による第１のシャープネス処理装置は、動画像を表す動画像データに対してシャープネス処理を施すシャープネス処理装置であって、
前記動画像における少なくとも一部のフレームを表す少なくとも１つのフレームデータについて、少なくとも時間軸方向についてのボケ画像データを算出するボケ画像データ算出手段と、
前記フレームデータと前記ボケ画像データとの差分値を算出する差分手段と、
該差分値に強調係数を乗算して前記フレームデータに加算することにより、該フレームデータのシャープネスを調整してシャープネス調整処理済み動画像データを得る処理手段とを備えたことを特徴とするものである。
【００１７】
なお、本発明による第１のシャープネス処理装置においては、前記ボケ画像データ算出手段を、時間軸方向および空間軸方向についてのボケ画像データを算出する手段としてもよい。
【００１８】
また、本発明による第１のシャープネス処理装置においては、前記ボケ画像データ算出手段を、時間軸方向についてのみのボケ画像データを算出する手段とし、
前記処理手段を、負の強調係数を前記差分値に乗算する手段としてもよい。
【００１９】
この場合、前記シャープネス調整処理済み動画像データにより表される処理済み動画像における少なくとも一部のフレームを表す少なくとも１つの処理済みフレームデータについて、空間軸方向についての空間軸ボケ画像データを算出する他のボケ画像データ算出手段と、
前記処理済みフレームデータと前記空間軸ボケ画像データとの差分値を算出する他の差分手段と、
該差分値に他の強調係数を乗算して前記処理済みフレームデータに加算することにより、該処理済みフレームデータの空間軸方向におけるシャープネスを強調してシャープネス強調処理済み動画像データを得る他の処理手段とを備えるようにしてもよい。
【００２０】
本発明による第２のシャープネス処理装置は、動画像を表す動画像データに対してシャープネス処理を施すシャープネス処理装置であって、
前記動画像における所望とするフレームを表すフレームデータについて、少なくとも時間軸方向についてのボケ画像データを算出するボケ画像データ算出手段と、
前記所望とするフレームデータと前記ボケ画像データとの差分値を算出する差分手段と、
該差分値に強調係数を乗算して前記所望とするフレームデータに加算することにより、該所望とするフレームデータのシャープネスを調整する処理手段とを備えたことを特徴とするものである。
【００２１】
なお、本発明による第２のシャープネス処理装置においては、前記ボケ画像データ算出手段を、時間軸方向および空間軸方向についてのボケ画像データを算出する手段としてもよい。
【００２２】
なお、本発明による第１および第２のシャープネス処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２３】
【発明の効果】
本発明の第１のシャープネス処理方法および装置によれば、動画像における少なくとも一部のフレームを表す少なくとも１つのフレームデータについて、少なくとも時間軸方向についてのボケ画像データが算出され、フレームデータとボケ画像データとの差分値が算出される。そして差分値に強調係数が乗算されて、これがフレームデータに加算されることにより、フレームデータのシャープネスが調整されてシャープネス調整処理済み動画像データが得られる。
【００２４】
ここで、動画像を撮像する撮像デバイスにおいては、１画素当たりに所定の大きさを有する空間的な開口を有しているが、ある１フレームにおける１画素（基準画素とする）の信号値は、そのフレームを基準として時間軸方向に対して前後所定時間範囲に存在するフレームにおける、基準画素に対応する画素の信号値の積分値となっている。このため、動画像においては動画像に含まれる被写体の動きが大きいとその被写体のエッジがぼけてしまうこととなる。
【００２５】
静止画像に対する上記式（１）を用いたシャープネス処理では、空間的に変化が大きいエッジ部分が強調される。本発明による第１のシャープネス処理方法および装置おいては、時間軸方向の変化が大きい、すなわち動きが大きい被写体を含むフレームほどシャープネスが強調されることとなる。したがって、動画像に含まれる被写体の動きによるボケを補償して、適切に動画像のシャープネスを強調することができる。
【００２６】
また、時間軸方向とともに空間軸方向についてボケ画像データを算出することにより、動画像において、空間的に信号値の変化が大きいエッジ部分のシャープネスも調整することができる。
【００２７】
ところで、動画像データは静止画像データと比較してデータ量が大きいため、圧縮されて取り扱われることが多い。動画像データは、通常フレーム間の差分情報を用いて圧縮処理が施されるが、動画像に含まれる被写体の動きが大きいフレーム間の差分値の符号量が多くなることから、圧縮率を高めるためには差分値の情報量を少なくする必要がある。しかしながら、圧縮は周波数変換により高周波の量子化ステップを少なくすることにより行っているため、情報量を少なくするといわゆるモスキートノイズと称される圧縮アーチファクトが発生しやすくなる。
【００２８】
このため、動画像データに対して空間軸方向にのみシャープネス処理を施したのでは、被写体の動きが大きいことに起因する圧縮アーチファクトも強調されてしまうため、シャープネス処理後の動画像の画質が劣化してしまうという問題がある。
【００２９】
したがって、時間軸方向についてシャープネス処理を施すに際し、負の強調係数を差分値に乗算し、これをフレームデータに加算すれば、被写体の動きが大きく、圧縮アーチファクトが多く発生するフレームについても、鮮鋭度を低減して圧縮アーチファクトをぼかすことができる。したがって、これにより得られるシャープネス調整処理済み動画像データに対してさらに空間的にシャープネスを強調する処理を施しても、圧縮アーチファクトが強調されることがなくなるため、シャープネス強調処理済み動画像データの再生時の画質の低下を防止することができる。
【００３０】
本発明の第２のシャープネス処理方法および装置によれば、動画像における所望とするフレームを表すフレームデータについて、少なくとも時間軸方向についてのボケ画像データが算出され、フレームデータとボケ画像データとの差分値が算出される。そして差分値に強調係数が乗算されて、これがフレームデータに加算されてフレームデータのシャープネスが調整される。
【００３１】
ここで、人間の目の動画像に対する視覚特性は、時間軸方向の高周波を強調させるようなバンドパス特性を有することが分かっている（Foundations of Vision, Brian A. Wandell, Stanford University, Sinauer Associates,Inc. Publishers Sunderland, Massachusetts,pp228-239, 1995, 1999,8.19出願人に受け入れ）。したがって、動画像のように時間軸方向に変化する画像を観察する場合には、人間の目はこの特性を持っていることから、動画像中の動いている被写体はエッジが強調されて知覚されることとなる。
【００３２】
しかしながら、動画像中の所望とする１フレームをサンプリングして観察する場合、動画像に対する視覚特性は作用しないことから、同じ動画像からサンプリングしたものであるにもかかわらず、そのフレームに含まれる被写体は動画像を観察した場合と比較してぼけて知覚されてしまう。
【００３３】
本発明による第２のシャープネス処理方法および装置においては、所定係数が正であれば、時間軸方向の変化が大きい、すなわち動きが大きいフレームほどシャープネスが強調されることとなる。したがって、動画像からサンプリングした所望とするフレームについても、動画像を観察する場合と同様にエッジが強調された静止画像を観察することができる。
【００３４】
また、時間軸方向とともに空間軸方向についてボケ画像データを算出することにより、動画像からサンプリングした所望とするフレームについて、空間的に信号値の変化が大きいエッジ部分のシャープネスを調整することができる。
【００３５】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態によるシャープネス処理装置の構成を示す概略ブロック図である。図１に示すように、本発明の第１の実施形態によるシャープネス処理装置は、動画像データＭ０から複数のフレームをサンプリングして複数のフレームデータＳorg（ｘ，ｙ，ｔ）を得るサンプリング手段１と、各フレームデータＳorg（ｘ，ｙ，ｔ）の時間軸方向および空間軸方向についてのボケデータＳusmを算出するボケデータ算出手段２と、各フレームデータＳorg（ｘ，ｙ，ｔ）とボケデータＳusmとの差分値を算出する差分手段３と、差分値に強調係数βを乗算する乗算手段４と、強調係数βが乗算された差分値をフレームデータＳorg（ｘ，ｙ，ｔ）に加算して処理済みフレームデータＳproc（ｘ，ｙ，ｔ）を得て処理済み動画像データＭ１を生成する加算手段５とを備える。
【００３６】
サンプリング手段１は、図２に示すように動画像データＭ０を時間軸方向にサンプリング間隔Δｔにてサンプリングして、複数のフレームデータＳorg（ｘ，ｙ，ｔ）を得る。なお、動画像データＭ０の一部の時間範囲のみをサンプリングすることにより複数のフレームデータＳorg（ｘ，ｙ，ｔ）を得てもよい。
【００３７】
ボケデータ算出手段２は、各フレームデータＳorg（ｘ，ｙ，ｔ）について、時間軸方向に並ぶ前ｄ個および後ｄ個のフレームデータＳorg（ｘ，ｙ，ｔ−ｄ・Δｔ），Ｓorg（ｘ，ｙ，ｔ＋ｄ・Δｔ）の範囲内のフレームデータＳorg（ｘ，ｙ，ｔ）に基づいて、下記の式（２）によりボケデータＳusmを算出する。
【数１】
0004067863.tif 000002
【００３８】
例えば、ｄ＝１である場合、Ｓorg（ｘ，ｙ，ｔ）の前後のフレームデータＳorg（ｘ，ｙ，ｔ−・Δｔ），Ｓorg（ｘ，ｙ，ｔ＋・Δｔ）において、図３に示すようにボケデータＳusmを求める画素（ｘ１，ｙ１，ｔ）（斜線部分）を中心として、ｘ方向、ｙ方向およびｔ方向における３×３×３個の画素の画素値Ｓorg（ｘ，ｙ，ｔ）の平均値を算出することにより、画素（ｘ１，ｙ１，ｔ）についてのボケデータＳusmが算出される。
【００３９】
差分手段３は、フレームデータＳorg（ｘ，ｙ，ｔ）とボケデータＳusmとの差分値（Ｓorg（ｘ，ｙ，ｔ）−Ｓusm）を算出する。なお、この差分値がフレームデータＳorg（ｘ，ｙ，ｔ）の高周波情報を表すものとなる。
【００４０】
乗算手段４は、差分手段３において算出された差分値（Ｓorg（ｘ，ｙ，ｔ）−Ｓusm）に強調係数βを乗算する。ここで、第１の実施形態においては、強調係数βを正の定数とする。
【００４１】
加算手段５は、強調係数βが乗算された差分値β（Ｓorg（ｘ，ｙ，ｔ）−Ｓusm）をフレームデータＳorg（ｘ，ｙ，ｔ）に加算して処理済みフレームデータＳproc（ｘ，ｙ，ｔ）を得る。処理済み動画像データＭ１はこの処理済みフレームデータＳproc（ｘ，ｙ，ｔ）からなるものである。
【００４２】
以上、第１の実施形態において行われる演算は下記の式（３）により表すことができる。
0004067863.tif 000003
【００４３】
次いで、第１の実施形態の動作について説明する。図４は、第１の実施形態において行われる処理を示すフローチャートである。まず、サンプリング手段１において動画像データＭ０が時間軸方向にサンプリング間隔Δｔにてサンプリングされて、複数のフレームデータＳorg（ｘ，ｙ，ｔ）が得られる（ステップＳ１）。次いで、ボケデータ算出手段２において、上記式（２）の演算により各フレームデータＳorg（ｘ，ｙ，ｔ）のボケデータＳusmが算出される（ステップＳ２）。そして、差分手段３において各フレームデータＳorg（ｘ，ｙ，ｔ）とボケデータＳusmとの差分値（Ｓorg（ｘ，ｙ，ｔ）−Ｓusm）が算出され（ステップＳ３）、さらに、乗算手段４において、差分値（Ｓorg（ｘ，ｙ，ｔ）−Ｓusm）に強調係数βが乗算される（ステップＳ４）。そして、強調係数βが乗算された差分値β（Ｓorg（ｘ，ｙ，ｔ）−Ｓusm）がフレームデータＳorg（ｘ，ｙ，ｔ）に加算されて処理済みフレームデータＳproc（ｘ，ｙ，ｔ）が算出され（ステップＳ５）、処理を終了する。
【００４４】
ここで、動画像データＭ０は撮像デバイスにおいて取得されるが、撮像デバイスは、１画素当たりに所定の大きさを有する空間的な開口を有しており、ある１フレームにおける１画素（基準画素とする）の信号値は、そのフレームを基準として時間軸方向に対して前後所定時間範囲に存在するフレームにおける、基準画素に対応する画素の信号値の積分値となっている。このため、動画像においては動画像に含まれる被写体の動きが大きいとその被写体のエッジがぼけてしまうこととなる。
【００４５】
静止画像に対する上記式（１）を用いたシャープネス処理では、空間的に変化が大きいエッジ部分が強調される。第１の実施形態においては、時間軸方向についてもボケデータＳusmを算出しているため、処理済みフレームデータＳproc（ｘ，ｙ，ｔ）においては、時間軸方向の変化が大きい、すなわち動きが大きい被写体を含むフレームほどシャープネスが強調されることとなる。したがって、第１の実施形態においては、動画像データＭ０により表される動画像に含まれる被写体の動きによるボケを補償して、適切に動画像のシャープネスを強調することができる。
【００４６】
また、時間軸方向とともに空間軸方向についてもボケデータＳusmを算出しているため、動画像データＭ０により表される動画像において、空間的に信号値の変化が大きいエッジ部分のシャープネスも強調することができる。
【００４７】
なお、上記第１の実施形態においては、ボケデータ算出手段２において、時間軸方向および空間軸方向の双方についてのボケデータＳusmを算出しているが、時間軸方向についてのみのボケデータＳusmを算出してもよい。
【００４８】
次いで、本発明の第２の実施形態について説明する。図５は本発明の第２の実施形態によるシャープネス処理装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【００４９】
第２の実施形態においては、ボケデータ算出手段２において、各フレームデータＳorgs（ｘ，ｙ，ｔ）の時間軸方向についてのみのボケデータＳustを算出し、差分手段３においてフレームデータＳorg（ｘ，ｙ，ｔ）とボケデータＳustとの差分値（Ｓorg（ｘ，ｙ，ｔ）−Ｓust）を算出し、乗算手段４において差分値（Ｓorg（ｘ，ｙ，ｔ）−Ｓust）に強調係数βを乗算し、加算手段５′において、フレームデータＳorg（ｘ，ｙ，ｔ）から強調係数βが乗算された差分値を減算して、中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）を得、中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）に対して空間軸方向についてのみのシャープネス処理を施して処理済みフレームデータＳproc（ｘ，ｙ，ｔ）を得るようにしたものである。
【００５０】
このため、第２の実施形態においては、中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）の空間軸方向についてのボケデータＳuskを算出するボケデータ算出手段１２と、中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）とボケデータＳuskとの差分値を算出する差分手段１３と、この差分値に強調係数β′を乗算する乗算手段１４と、強調係数β′が乗算された差分値を中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）に加算して処理済みフレームデータＳproc（ｘ，ｙ，ｔ）を得て処理済み動画像データＭ１を生成する加算手段１５とを備える。
【００５１】
ボケデータ算出手段２は、各フレームデータＳorg（ｘ，ｙ，ｔ）について、時間軸方向に並ぶ前ｄ個および後ｄ個のフレームデータＳorg（ｘ，ｙ，ｔ−ｄ・Δｔ），Ｓorg（ｘ，ｙ，ｔ＋ｄ・Δｔ）の範囲内のフレームデータＳorg（ｘ，ｙ，ｔ）に基づいて、下記の式（４）によりボケデータＳustを算出する。
【数２】
0004067863.tif 000004
【００５２】
なお、中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）は、下記の式（５）に示す演算により得られることとなる。
0004067863.tif 000005
【００５３】
ボケデータ算出手段１２は、各中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）について、下記の式（６）により空間的なボケデータＳuskを算出する。
【数３】
0004067863.tif 000006
【００５４】
差分手段１３は、中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）とボケデータＳuskとの差分値（Ｓproc０（ｘ，ｙ，ｔ）−Ｓusk）を算出する。
【００５５】
乗算手段１４は、差分手段１３において算出された差分値（Ｓproc０（ｘ，ｙ，ｔ）−Ｓusk）に強調係数β′を乗算する。
【００５６】
加算手段１５は、強調係数β′が乗算された差分値を中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）に加算して処理済みフレームデータＳproc（ｘ，ｙ，ｔ）を得る。処理済み動画像データＭ１はこの処理済みフレームデータＳproc（ｘ，ｙ，ｔ）からなるものである。
【００５７】
以上、第２の実施形態において、中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）に対して施される演算は下記の式（７）により表すことができる。
Ｓproc（ｘ，ｙ，ｔ）＝Ｓproc０（ｘ，ｙ，ｔ）＋β′（Ｓproc０（ｘ，ｙ，ｔ）−Ｓusk）  （７）
【００５８】
次いで、第２の実施形態の動作について説明する。図６は、第２の実施形態において行われる処理を示すフローチャートである。まず、サンプリング手段１において動画像データＭ０が時間軸方向にサンプリング間隔Δｔにてサンプリングされて、複数のフレームデータＳorg（ｘ，ｙ，ｔ）が得られる（ステップＳ１１）。次いで、ボケデータ算出手段２において、上記式（４）の演算により各フレームデータＳorg（ｘ，ｙ，ｔ）の時間軸方向のボケデータＳustが算出される（ステップＳ１２）。そして、差分手段３において各フレームデータＳorg（ｘ，ｙ，ｔ）とボケデータＳustとの差分値（Ｓorg（ｘ，ｙ，ｔ）−Ｓust）が算出され（ステップＳ１３）、さらに、乗算手段４において、差分値（Ｓorg（ｘ，ｙ，ｔ）−Ｓust）に強調係数βが乗算される（ステップＳ１４）。そして、フレームデータＳorg（ｘ，ｙ，ｔ）から強調係数βが乗算された差分値β（Ｓorg（ｘ，ｙ，ｔ）−Ｓust）が減算されて中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）が算出される（ステップＳ１５）。
【００５９】
なお、負の強調係数（−β）が乗算された差分値（−β（Ｓorg（ｘ，ｙ，ｔ）−Ｓust））をフレームデータＳorg（ｘ，ｙ，ｔ）に加算することによっても中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）を得ることができる。
【００６０】
次いで、ボケデータ算出手段１２において、上記式（６）の演算により中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）の空間軸方向についてのボケデータＳuskが算出される（ステップＳ１６）。そして、差分手段１３において中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）とボケデータＳuskとの差分値（Ｓproc０（ｘ，ｙ，ｔ）−Ｓusk）が算出され（ステップＳ１７）、さらに、乗算手段１４において、差分値（Ｓproc０（ｘ，ｙ，ｔ）−Ｓusk）に強調係数β′が乗算される（ステップＳ１８）。そして、中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）に強調係数β′が乗算された差分値β′（Ｓproc０（ｘ，ｙ，ｔ）−Ｓusk）が加算されて処理済みフレームデータＳproc（ｘ，ｙ，ｔ）が算出され（ステップＳ１９）、処理を終了する。
【００６１】
ここで、動画像データＭ０は静止画像データと比較してデータ量が大きいため、圧縮されて取り扱われることが多い。動画像データＭ０は、通常フレーム間の差分情報を用いて圧縮処理が施されるが、動画像に含まれる被写体の動きが大きいフレーム間では差分値の符号量が多くなることから、圧縮率を高めるためには差分値の情報量を少なくする必要がある。しかしながら、圧縮は周波数変換により高周波の量子化ステップを少なくすることにより行っているため、情報量を少なくするといわゆるモスキートノイズと称される圧縮アーチファクトが発生しやすくなる。
【００６２】
このため、動画像データＭ０に対して空間軸方向にのみシャープネス処理を施したのでは、被写体の動きが大きいことに起因する圧縮アーチファクトも強調されてしまうため、シャープネス処理後の動画像の画質が劣化してしまうという問題がある。
【００６３】
したがって、第２の実施形態のように、時間軸方向についてのみシャープネス処理を施すに際し、強調係数βを乗算した差分値β（Ｓorg（ｘ，ｙ，ｔ）−Ｓust）をフレームデータＳorg（ｘ，ｙ，ｔ）から減算すれば、被写体の動きが大きく、圧縮アーチファクトが多く発生するフレームについても、鮮鋭度を低減して圧縮アーチファクトをぼかした中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）を得ることができる。したがって、中間処理済みフレームデータＳproc０（ｘ，ｙ，ｔ）に対してさらに空間的にシャープネスを強調する処理を施しても、圧縮アーチファクトが強調されることがなくなるため、処理済み動画像データＭ１の再生時の画質の低下を防止することができる。
【００６４】
次いで、本発明の第３の実施形態について説明する。図７は本発明の第３の実施形態によるシャープネス処理装置の構成を示す概略ブロック図である。なお、第３の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【００６５】
第３の実施形態においては、サンプリング手段１において動画像データＭ０からサンプリングされた複数のフレームデータＳorg（ｘ，ｙ，ｔ）のうち、所望とする１フレームについてのフレームデータＳorgs（ｘ，ｙ，ｔ）に対してのみシャープネス処理を施すようにしたものである。なお、第３の実施形態においては、ボケデータ算出手段２においては、フレームデータＳorgs（ｘ，ｙ，ｔ）の時間軸方向および空間軸方向についてのボケデータＳusmsが算出され、このボケデータＳusmsを用いて下記の式（８）に示す演算により、所望とするフレームデータＳorgs（ｘ，ｙ，ｔ）に対してシャープネス処理を施すものである。
0004067863.tif 000007
【００６６】
次いで、第３の実施形態の動作について説明する。図８は、第３の実施形態において行われる処理を示すフローチャートである。まず、サンプリング手段１において動画像データＭ０が時間軸方向にサンプリング間隔Δｔにてサンプリングされて、複数のフレームデータＳorg（ｘ，ｙ，ｔ）が得られ（ステップＳ２１）、複数のフレームデータＳorg（ｘ，ｙ，ｔ）から所望とするフレームについてのフレームデータＳorgs（ｘ，ｙ，ｔ）が選択される（ステップＳ２２）。そして、ボケデータ算出手段２において、フレームデータＳorgs（ｘ，ｙ，ｔ）のボケデータＳusmsが算出される（ステップＳ２３）。次いで、差分手段３においてフレームデータＳorgs（ｘ，ｙ，ｔ）とボケデータＳusmsとの差分値（Ｓorgs（ｘ，ｙ，ｔ）−Ｓusms）が算出され（ステップＳ２４）、さらに、乗算手段４において、差分値（Ｓorgs（ｘ，ｙ，ｔ）−Ｓusms）に強調係数βが乗算される（ステップＳ２５）。そして、フレームデータＳorgs（ｘ，ｙ，ｔ）に強調係数βが乗算された差分値（Ｓorgs（ｘ，ｙ，ｔ）−Ｓusms）が加算されて処理済みフレームデータＳprocs（ｘ，ｙ，ｔ）が算出され（ステップＳ２６）、処理を終了する。
【００６７】
ここで、人間の目の動画像に対する視覚特性は、時間軸方向の高周波を強調させるようなバンドパス特性を有することが分かっている（Foundations of Vision, Brian A. Wandell, Stanford University, Sinauer Associates,Inc. Publishers Sunderland, Massachusetts,pp228-239, 1995, 1999,8.19出願人に受け入れ）。したがって、動画像のように時間軸方向に変化する画像を観察する場合には、人間はこの特性を持っていることから、動画像中の動いている被写体はエッジが強調されて知覚されることとなる。
【００６８】
しかしながら、動画像中の所望とするフレームをサンプリングして観察する場合、動画像に対する視覚特性は作用しないことから、同じ動画像からサンプリングしたものであるにもかかわらず、そのフレームに含まれる被写体は動画像を観察した場合と比較してぼけて知覚されてしまう。
【００６９】
第３の実施形態においては、時間軸方向の変化が大きい、すなわち動きが大きいフレームほどシャープネスが強調されることとなる。したがって、動画像からサンプリングした所望とするフレームについても、動画像を観察する場合と同様にエッジが強調された静止画像を観察することができる。
【００７０】
なお、上記第３の実施形態においては、ボケデータ算出手段２において、時間軸方向および空間軸方向の双方についてのボケデータＳusmsを算出しているが、時間軸方向についてのみのボケデータＳusmsを算出してもよい。
【００７１】
また、上記第１から第３の実施形態においては、強調係数β，β′を定数としているが、フレームデータＳorg（ｘ，ｙ，ｔ），Ｓorgs（ｘ，ｙ，ｔ）等の信号値に依存して強調係数β，β′の値を変更してもよい。例えば、フレームデータＳorg（ｘ，ｙ，ｔ）により表される画像上において信号値が低い部分はノイズが多いため、鮮鋭度を強調しすぎるとノイズが目立ってしまう。このため、信号値が低い領域においてはβの値を小さくすることにより、ノイズが目立ってしまうことを防止することができる。
【００７２】
また、フレームデータＳorg（ｘ，ｙ，ｔ），Ｓorgs（ｘ，ｙ，ｔ）等とボケデータＳusm等の差分値に依存して強調係数β，β′の値を変更してもよい。具体的には差分値が非常に小さい部分においては強調係数β，β′を０にすればよい。ここで、フレームデータにより表される画像においてノイズに対応する部分では差分値が小さくなる。このため、差分値が小さい領域においては強調係数β，β′の値を０とすることにより、ノイズが目立ってしまうことを防止することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態によるシャープネス処理装置の構成を示す概略ブロック図
【図２】サンプリングを説明するための図
【図３】ボケデータの算出を説明するための図
【図４】第１の実施形態において行われる処理を示すフローチャート
【図５】本発明の第２の実施形態によるシャープネス処理装置の構成を示す概略ブロック図
【図６】第２の実施形態において行われる処理を示すフローチャート
【図７】本発明の第３の実施形態によるシャープネス処理装置の構成を示す概略ブロック図
【図８】第３の実施形態において行われる処理を示すフローチャート
【符号の説明】
１    サンプリング手段
２，１２    ボケデータ算出手段
３，１３    差分手段
４，１４    乗算手段
５，５′，１５    加算手段
【図１】
0004067863.tif 000008
【図２】
0004067863.tif 000009
【図３】
0004067863.tif 000010
【図４】
0004067863.tif 000011
【図５】
0004067863.tif 000012
【図６】
0004067863.tif 000013
【図７】
0004067863.tif 000014
【図８】
0004067863.tif 000015