(57)【要約】シャープネスメトリックは、画像及びビデオ捕捉、記憶及び再生システムについてマニュアルシャープネスコントロールシステム４７又はオートマチックシャープネスコントロールシステム４１の制御変数を表す。マニュアルシステムでは、通常１つの制御可能なパラメータは、画像の歪みを回避するために前もって確立された制限内でシャープネスを最大にするのを求めて調整される。非対称にエンハンスされている画像又はピクチャにおいてシャープネスを測定する方法は、画像の予め決定されたブロックに離散コサイン変換からの統計量を使用して、それぞれのブロック１５の１以上の垂直方向のエッジ及び１以上の水平方向のエッジのエッジ画素数及びエネルギーコンテンツに関する情報を使用して非対称性を補正する。１実施の形態は、画像の尖度のシャープネスメトリックを決定し、水平方向及び垂直方向におけるシャープネスエンハンスメントにおける差を考慮して、尖度に基づくシャープネスメトリックを補正する。
2007528137.tif 000002
【特許請求の範囲】
【請求項１】
画像又はピクチャにおけるシャープネスを測定する方法であって、
それぞれのブロックが予め決定されたサイズを有する１以上のブロックに画像又はピクチャを分割し、
前記１以上のブロックのそれぞれについて、画像の尖度に基づくシャープネスメトリックを決定するステップと、水平方向と垂直方向におけるシャープネスのエンハンスメントにおける差を考慮して前記尖度に基づくシャープネスメトリックを補正するステップとを繰り返す、
ことを特徴とする方法。
【請求項２】
前記補正ステップは、ブロック当たりのエッジ画素の平均数に基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項１記載の方法。
【請求項３】
前記補正ステップは、平均の水平方向のエネルギー及び平均の垂直方向のエネルギーに基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項１記載の方法。
【請求項４】
前記補正ステップは、平均の水平方向のエネルギー及び平均の垂直方向のエネルギー並びに平均の対角線方向のエネルギーに基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項１記載の方法。
【請求項５】
前記補正ステップは、前記平均の水平方向のエネルギーと前記平均の垂直方向のエネルギーの幾何学的な平均に基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項１記載の方法。
【請求項６】
前記補正ステップは、前記平均の水平方向のエネルギーと前記平均の垂直方向のエネルギーの算術的な平均に基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項１記載の方法。
【請求項７】
前記補正ステップは、前記平均の水平方向のエネルギーと前記平均の垂直方向のエネルギーの幾何学的な平均と、前記平均の水平方向のエネルギーと前記平均の垂直方向のエネルギーの算術的な平均とに基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項１記載の方法。
【請求項８】
前記補正ステップは、エッジを含むブロック数に基づいて、前記尖度に基づくシャープネスのメトリックに項を追加するステップを含む、
請求項１記載の方法。
【請求項９】
前記補正ステップは、エッジを含まないブロック数に基づいて、前記尖度に基づくシャープネスのメトリックに項を追加するステップを含む、
請求項１記載の方法。
【請求項１０】
前記補正ステップは、エッジを含むブロック数及びエッジを含まないブロック数に基づいて、前記尖度に基づくシャープネスのメトリックに項を追加するステップを含む、
請求項１記載の方法。
【請求項１１】
前記補正ステップは、ブロック当たりの平均のエッジ画素の数に基づいて、前記尖度に基づくシャープネスのメトリックに項を追加するステップを含む、
請求項４記載の方法。
【請求項１２】
前記補正ステップは、ブロック当たりの平均のエッジ画素の数に基づいて、前記尖度に基づくシャープネスのメトリックに項を追加するステップを含む、
請求項７記載の方法。
【請求項１３】
前記補正ステップは、ブロック当たりの平均のエッジ画素の数に基づいて、前記尖度に基づくシャープネスのメトリックに項を追加するステップを含む、
請求項７記載の方法。
【請求項１４】
前記補正ステップは、平均の水平方向のエネルギーと平均の垂直方向のエネルギーと平均の対角線方向のエネルギーに基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項１２記載の方法。
【請求項１５】
前記補正ステップは、エッジを含むブロック数及びエッジを含まないブロック数に基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項１１記載の方法。
【請求項１６】
前記補正ステップは、前記平均の水平方向のエネルギーと前記平均の垂直方向のエネルギーの幾何学的な平均と、前記平均の水平方向のエネルギーと前記平均の垂直方向のエネルギーの算術的な平均とに基づいて、前記尖度に基づくシャープネスのメトリックに項を追加するステップを含み、
２のべき乗に累乗される前記数学的な平均に対する前記幾何学的な平均の割合
（外１）
2007528137.tif 000015
は、結合された補正項である、
請求項４記載の方法。
【請求項１７】
前記補正ステップは、エッジを含むブロック数とエッジを含まないブロック数に基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項１６記載の方法。
【請求項１８】
前記補正ステップは、前記平均の水平方向のエネルギーと前記平均の垂直方向のエネルギーの幾何学的な平均と、前記平均の水平方向のエネルギーと前記平均の垂直方向のエネルギーの算術的な平均とに基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項１３記載の方法。
【請求項１９】
前記補正ステップは、エッジを含むブロック数とエッジを含まないブロック数とに基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項４記載の方法。
【請求項２０】
前記補正ステップは、エッジを含むブロック数とエッジを含まないブロック数とに基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項７記載の方法。
【請求項２１】
前記補正ステップは、エッジを含むブロック数とエッジを含まないブロック数とに基づいて、前記尖度に基づくシャープネスメトリックに項を追加するステップを含む、
請求項１４記載の方法。
【請求項２２】
前記補正ステップは、式
【数１】
2007528137.tif 000016
を計算するステップを含み、前記Ｓｈはシャープネスメトリック、ｆ1は予め決定された関数、Ｃ1，Ｃ2及びＣ3は予め決定された定数、
（外２）
2007528137.tif 000017
は平均の尖度、
（外３）
2007528137.tif 000018
はブロック当たりの平均のエッジ画素数、
（外４）
2007528137.tif 000019
は平均の垂直方向のエネルギー、
（外５）
2007528137.tif 000020
は平均の水平方向のエネルギー、
（外６）
2007528137.tif 000021
は平均の対角線方向のエネルギー、ｎｅｂはエッジを含むブロックの数、ｎｆｂはエッジを含まないブロックの数である、
請求項１記載の方法。
【請求項２３】
前記平均の垂直方向のエネルギー及び前記平均の水平方向のエネルギーは、画像全体にわたって値を計算することで得られる、
請求項７記載の方法。
【請求項２４】
前記平均の垂直方向のエネルギー及び前記平均の水平方向のエネルギーは、画像のサンプルから推定される、
請求項７記載の方法。
【請求項２５】
画像又はピクチャにおけるシャープネスを測定する方法であって、
画像の予め決定されたサイズの複数のブロックのそれぞれに離散コサイン変換を実行するステップと、
前記複数のブロックのそれぞれにおけるエッジ画素の数及び１以上の垂直方向のエッジと１以上の水平方向のエッジのエネルギーコンテンツに関する情報を使用して対称性を補正するステップと、
を含むことを特徴とする方法。
【請求項２６】
画像を電子的なバージョンに変換する画像検出手段と、
前記画像の電子的なバージョンにおけるシャープネスを検出し、前記シャープネスを調整するために前記画像検出器に結合されるシャープネスコントローラとを有し、
前記シャープネスコントローラは、
前記１以上のブロックのそれぞれについて、それぞれのブロックが予め決定されたサイズを有する１以上のブロックに画像又はピクチャを分割し、画像の尖度に基づくシャープネスメトリックを決定するステップと、水平方向と垂直方向におけるシャープネスのエンハンスメントにおける差を考慮して前記尖度に基づくシャープネスメトリックを補正するステップとを繰り返すことで、画像のシャープネスのメトリックを計算する、
【請求項２７】
前記補正は、ブロック当たりの平均のエッジ画素の数に基づいて、前記尖度に基づくシャープネスメトリックに項を追加することを含む、
請求項２５記載の装置。
【請求項２８】
前記補正は、平均の水平方向のエネルギーと平均の垂直方向のエネルギーと平均の対角線方向のエネルギーとに基づいて、前記尖度に基づくシャープネスメトリックに項を追加することを含む、
請求項２５記載の装置。
【請求項２９】
前記補正は、前記平均の水平方向のエネルギーと前記平均の垂直方向のエネルギーとの幾何学的な平均と、前記平均の水平方向のエネルギーと前記平均の垂直方向のエネルギーとの算術的な平均とに基づいて、前記尖度に基づくシャープネスメトリックに項を追加することを含む、
請求項２５記載の装置。
【請求項３０】
前記補正は、エッジを含むブロックの数とエッジを含まないブロックの数とに基づいて、前記尖部に基づくシャープネスメトリックに項を追加することを含む、
請求項２５記載の装置。
【請求項３１】
前記平均の垂直方向のエネルギー及び前記平均の水平方向のエネルギーは、画像全体にわたる値を計算することで得られる、
請求項２８記載の装置。
【請求項３２】
前記平均の垂直方向のエネルギーと前記平均の水平方向のエネルギーは、画像のサンプルから推定される、
請求項２８記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ及び画像データを処理する方法及び装置全般に関し、より詳細には、捕捉、伝送及び記憶システム用のビデオ及び画像データを符号化及び復号化する方法及び装置に関する。
【背景技術】
【０００２】
ビデオ画像のシャープネス（鮮明度）を測定することは、背景に関して詳細のエッジ及び明確さの定義を評価することを含む。画像又はビデオが非対称に強調されるとき、すなわち水平方向の強調の量が垂直方向と異なるとき、既存のメトリクス（metrics）により与えられる値は、視覚試験で知覚される結果に対応しない。たとえば、既存の技術のなかには、水平方向のシャープネス及び垂直方向のシャープネスの相対的な割合が変更されない限り、画像のシャープネスを比較するものがある。この割合が変更されたとき、最後の結果は、比較している異なる画像に類似し、したがって、一貫した結果を提供することにおいてこれらのメトリクスを非効果的にする。
【０００３】
シャープネスメトリックは、シャープネス制御を自動化し、カスタマイズ可能なシャープネス設定を可能にし、適応的なシャープネスのエンハンスメントを提供するため、多くの画像捕捉及び表示システムで使用されている。また、シャープネスメトリックは、高品質のデジタルビデオでシャープネスエンハンスメントアルゴリズムについて可変の制御として、又は品質が十分に高く、他のファクタが一定のままである状況のクオリティインジケータとして使用することもできる。他のメトリクスと組み合わせて、シャープネスは、全体の品質を計算するために使用することができる。
【０００４】
非対称なシャープネスエンハンスメントは、エンハンスメントの範囲を実際のコンテンツに適合するアルゴリズムにより使用される重要なオプションである。非対称のシャープネスのエンハンスメントは、（今日のＴＶセットで発見されることがある）一次元フィルタを使用する二次元のシャープネスエンハンスメントに関する低コストのハードウェア実現のオプションの使用から生じる場合がある。一次元フィルタの適用の柔軟性、コンテンツに適合したエンハンスメント技術は、非対称なシャープネスエンハンスメントとなる場合がある。現在、これらの状況下でシャープネスを測定するための方法が存在しない。
【発明の開示】
【課題を解決するための手段】
【０００５】
以上より、本発明は、画像又はピクチャが非対称に強調されるときに適切に動作するビデオ画像又はピクチャのシャープネスを定量化する方法及び装置を開発するという課題に対処するものである。
【０００６】
本発明は、非対称なシャープネスのエンハンスメントを測定するための方法を提供することで、これら及び他の課題を解決するものであって、当該方法は、８×８ブロック（又は、実現のために別の便利なサイズ、このケースでは、８×８がブロックＤＣＴアルゴリズムの既存の実現と互換性がある）に行われる離散コサイン変換（ＤＣＴ）の統計量を使用し、エッジ画素の数、並びに垂直及び水平エッジのエネルギーに関する情報を試用して非対称性を補正する。
【０００７】
本発明の１態様によれば、１以上のブロックに分割されている画像又はピクチャにおけるシャープネスを測定する方法は、画像に関する尖度に基づいたシャープネスメトリックを利用し、水平方向及び垂直方向におけるシャープネスエンハンスメントにおける違いを考慮するため、尖度に基づいたシャープネスメトリックを補正する。
【０００８】
本発明の別の態様によれば、補正は、全体の画像又はそのサンプルにわたり推定される、ブロック当たりのエッジ画素の平均の数
【０００９】
（外７）
2007528137.tif 000003
に基づいて、尖度に基づいたシャープネスメトリックに項を追加する。
【００１０】
本発明の更に別の態様によれば、補正は、全体の画像を通して推定されるか、画像のサンプルから推定される、平均の水平方向のエネルギー
【００１１】
（外８）
2007528137.tif 000004
及び平均の垂直方向のエネルギー
【００１２】
（外９）
2007528137.tif 000005
に基づいて、尖度に基づいたシャープネスメトリックに項を追加することを含んでいる。
【００１３】
本発明の更に別の態様によれば、補正は、全体の画像にわたり推定されるか、画像のサンプルから推定される、平均の水平方向のエネルギー
【００１４】
（外１０）
2007528137.tif 000006
及び平均の垂直方向のエネルギー
【００１５】
（外１１）
2007528137.tif 000007
並びに平均の対角線のエネルギー
【００１６】
（外１２）
2007528137.tif 000008
に基づいて、尖度に基づいたシャープネスメトリックに項を追加することを含んでいる。
【００１７】
本発明の更に別の態様によれば、補正は、エッジを含むブロック数（ｎｅｂ）、及びエッジを含まないブロック数（ｎｆｂ）に基づいて、尖度に基づいたシャープネスメトリックに項を追加することを含んでいる。このケースでは、全体の画像からの実際の値又は推定を使用することができる。
【発明を実施するための最良の形態】
【００１８】
本明細書において「１実施の形態」又は「実施の形態」への参照は、実施の形態と共に記載される特定の機能、構造、又は特性が本発明の少なくとも１つの実施の形態に含まれることを意味することを述べることは価値のあることである。明細書における様々な位置におけるフレーズ「１実施の形態では」の外観は、同じ実施の形態を必ずしも全て参照するものではない。
【００１９】
画像後処理及びエンハンスメントは、（画像捕捉、記憶及び再生システムを含んだ）高解像度及び高精細度技術についてデジタルテレビジョンシステムにとって重要な要素となっている。医療画像形成、レーダイメージング、光画像形成等の専門的な応用は、本発明の実施の形態を使用することができる。効率を評価してエンハンスメント量を制御するため、唯一のソリューションは、クオリティメトリクス、特にシャープネスメトリクスを使用することである。シャープネスは、画像に見られる詳細及びエッジの明確さの非正式かつ主観的な知覚である。シャープネスはコンテンツに非常に依存し、また空間解像度、コントラスト及び雑音にも依存するといった、画像解析及び認識に関する研究成果が示されている。
【００２０】
最新のエンハンスアルゴリズムは、知覚される品質を向上するため、非対称なエンハンスメントを使用する。たとえば、多くのケースでは、垂直方向のエッジを強調することは、同じ量だけ水平方向のエッジを強調するよりも知覚によるインパクトを有する。既存のシャープネスメトリクスは、このケースを扱うことはできない。本発明は、シャープネスにおける非対称的な変化を生じるそれらシャープネスエンハンスメントアルゴリズム及び他の処理を監視及び制御するのを可能にする。
【００２１】
本発明の実施の形態は、テレビジョン（たとえば、ＳＴＤ，ＨＤＴＶ，ＬＣＤＴＣ，ＰＤＰ，ＬＣｏＳＴＶ）、自動テレビ制御、並びに、記憶及び再生装置（ＤＶＤ，ＤＶＤ−ＲＷ等）用のシャープネスエンハンスメントモジュールで実現される場合がある。シャープネスメトリックは、同じ製品及びビデオクオリティオブサービスに関連する他の製品における使用のための全体的なクオリティメトリクスのコンポーネントでもある。本発明のメトリック計算を採用する装置の実施の形態は、図４に示されている。
【００２２】
周波数スペクトル（ＦＦＴ及びＤＣＴ）の一次元及び二次元の尖度は、シャープネスのメトリクスを判定するときに有効となる。さらに、シャープネスは、基準として固定された原点の使用なしに測定することができる。局所的なエッジの尖度に基づいたシャープネスメトリックは、基準なしに、全体のクオリティメトリックに組み込まれている。
【００２３】
シャープネスメトリックをシャープネスエンハンスメントアルゴリズムの制御に適用するとき、尖度に基づいたメトリックは、非対称なシャープネスエンハンスメント、すなわち異なる水平及び垂直ゲインが使用されるときに、良好に動作しない。残念なことに、人間に視覚システムの感度に関しても同様に、コンテンツに適応するため、非対称なエンハンスメントが頻繁に使用されることがある。
【００２４】
ローカルリサーチャによるコンセンサスオブザベーションは、主観的な試験によっても確認されているが、二次元カーネルを使用することで、一次元カーネルよりも高いシャープネスであるか、又は一次元カーネルに匹敵するシャープネスを生じること、及び一次元水平方向及び一次元垂直方向のエンハンスメントの相対的な作用がコンテンツに依存することを示している。しかし、尖度のメトリックのみを使用して、大部分のケースでは、等しい量の垂直方向及び水平方向のシャープネスを使用する二次元カーネルは、下近くをランク付けし、場合によっては中間をランク付けする。結果は、インタレース及びプログレッシブビデオについて同様である。
【００２５】
したがって、尖度のシャープネスメトリックは、試験されたケースにおいて二次元エンハンスメントの知覚される作用を正確に反映していなかった。
【００２６】
同じカーネルの増加するゲインについて測定されるシャープネスにおける増加は、尖度について良好に挙動されるようにみえ、したがって一次元のケースよりも二次元エンハンスメントの曲線の傾斜を低くするファクタをメトリックが考慮しない場合があることを示す。したがって、二次元エンハンスメントに対して低い感度を補正するために、他の画像パラメータが使用される必要がある。
【００２７】
尖度は、分布の「尖り具合」の速度である。通常の分布は３つの尖値を有しており、ピークが高く、曲線が狭い場合に増加する。８×８離散コサイン変換（ＤＣＴ）のケースでは、表面は正常ではなく、すなわち対称であるが、尖り具合が部分的に認識される対称な表面の４分の１として考慮することができる。対称な（二次元の）シャープネスエンハンスメントにより生じるＤＣＴ表面における変化は、尖度における増加により反映される。
【００２８】
図３は、原画像のエッジ、一次元水平方向にエンハンスされたバージョンの同じ画像、一次元垂直方向にエンハンスされたバージョンの同じ画像、及び二次元のエンハンスされたバージョンの同じ画像を含む全てのブロックについて取られる平均的な８×８ＤＣＴについての表面のプロットを示している。シャープネスエンハンスメントプロダクトは、より高周波に向かって表面のシフトを生じ、（図３における黒矢印により示される）カーネルにより影響される周波数に影響を及ぼす増大が同じ表面に影響を及ぼす。それらの作用は、重力の中心が上方向に移動するかのように尖度を上げる。
【００２９】
所定の試験画像について、垂直方向における一次元エンハンスメントは、水平方向におけるエンハンスメントよりも、二次元の尖りに非常に強い作用を有する。垂直方向における一次元のエンハンスメントは、同じゲインを使用する二次元のエンハンスメントよりも大きな尖りのシフトを生じる。図３における一次元エンハンスメントの作用と比較して、表面プロファイル及びピークの二次元エンハンスメント（二次元カーネル）のより多くの適度であって対称的な作用に注目されたい。
【００３０】
ＤＣＴの二次元の尖りの非対称な処理に対する高い感度により、エッジのシャープネスにおける変化を反映する能力を保持しつつ、他のファクタが非対称性を補正するのを考慮すべきことが指摘される。２方向におけるエッジ範囲及びエッジエネルギーといった、２つの潜在的な補償要素が考慮される。
【００３１】
非対称なエンハンスメントの下でより完全なモデルを発見するため、一度に１つの変数（又は等価）についてグラフを分析することからなる数学的なモデリングで使用されることがある方法論を使用し、モデルへのその影響に関して推論を行う。
【００３２】
エッジを含む８×８ブロックの内側にあるエッジ画素の平均の数で見ることで、エッジの範囲の影響を分析する。研究される画像について、エッジの数がシャープネスにおける観察される増加に良好に従うことに気付いている。二次元のエンハンスメントは、一次元の垂直方向のエンハンスメントのそれよりも大きい、平均のエッジ画素の数における最も高い増加を生じることを確定している。
【００３３】
したがって、エッジ画素の平均の数は、尖度に基づいたシャープネスの補正に関連しているように見える。エンハンスメント方法にわたる知覚される差を反映する。しかし、エッジの範囲は、ピーキング方法を使用するエンハンスメントアルゴリズムについて主要に機能し、他の方法は、エッジ画素の数における増加を引き起こさない場合がある。エンハンスされた解像度から生じるシャープネスエンハンスメントは、スケーラブルコーダ又はフォーマット変換で使用されるものであって、生じることはなく、エッジ画素の数における増加を引き起こすことが期待されない。したがって、別の補正ファクタは、エッジ範囲に加えて必要である。
【００３４】
つぎに、エッジを含む８×８ＤＣＴブロックに含まれる垂直及び水平エッジエネルギー量を見る。図２は、８×８ＤＣＴの水平、垂直及び対角線のエネルギーを計算するために使用される方法を示している。
【００３５】
試験画像のサブセットについて平均の水平方向エネルギーと対角線方向のエネルギー（Ｅx／Ｅy）の間の割合をグラフ化することは、一次元水平方向、一次元垂直方向及び２Ｄ１エンハンスされたシーケンスについて主観的な観察のそれに近い相対的なランク付けを示している。
【００３６】
水平、垂直及び対角線のエネルギーの更なる分析は、水平及び垂直方向のエネルギーの算術的な平均に対する幾何学的な平均の割合のような項を使用して、尖度に基づいたメトリックを使用して得られた誇張されたシャープネスの値につながる非対称性を補正することができることが指摘される。
【００３７】
原理的に、エッジ範囲及びエネルギーの関数により尖度を変調することは、インターカーネルランキングを保持し、正しいイントラカーネルランキングを捕捉するために曲線をシフトする。つぎのセクションは、これがどのように達成される場合があるかを示している。尖度に基づくシャープネスメトリックを補正する機能を提案するため、以下のグローバルな画像特徴に関連される４つの項目の振る舞いを分析している。
【００３８】
１．ブロック当たりのエッジ画素の平均の数
【００３９】
（外１３）
2007528137.tif 000009
先に説明されたように、エッジ範囲を増加する方法について、この値は、カーネルにわたり期待されるランキングを与える。
【００４０】
２．エッジを含むブロックについて、平均の対角線方向のエネルギー
に対する平均の水平方向、平均の垂直方向、及び平均の対角線方向のエネルギーの総和の割合
【００４１】
（外１４）
2007528137.tif 000010
この項は、平均の対角線方向のエネルギーにより正規化される全体的なエネルギーであり、テクスチャの寄与をも含んでいる（テクスチャはシャープネスを評価するためのエッジと同じ位重要ではない）。
【００４２】
３．平均の水平方向及び平均の垂直方向のエネルギーの算術的な平均に対するジオメトリックの割合、２のべき乗に累乗される
【００４３】
（外１５）
2007528137.tif 000011
この割合は、偏心（Ｅｘｃ）又は非対称ファクタであり、対称なスペクトルについて最大１を有する。その値は、非対称性が上昇するにつれて減少する。
【００４４】
４．エッジを含まないブロックの数に対するエッジを含むブロックの数の割合（ｎｅｂ／ｎｆｂ）。これは、多くのエッジブロックが存在する場合に知覚されるシャープネスがより高くなるので、重要な知覚によるファクタである。
【００４５】
エッジブロック
【００４６】
（外１６）
2007528137.tif 000012
に平均の尖度と先の項との組み合わせからなる数学的な式が提案される。多くの組み合わせが可能であり、幾つかを試験し、一般式が導出されてものであって、エネルギー及びエッジ範囲の項により平均の尖度の所望の変調を示している。
【００４７】
【数２】
2007528137.tif 000013
ｆ1は対数関数ｌｎ（ｘ）、並びに定数Ｃ1、Ｃ2及びＣ3は、実験的に決定されており、値Ｃ1＝１、Ｃ2＝０．１及びＣ3＝０．１を使用し、これらは、最適値の近くにあるが、次の実験データに基づいて更に調整される場合がある。
【００４８】
図１に戻り、図１に示されるのは、画像又はピクチャにおけるシャープネスを測定するための方法の例示的な実施の形態１０である。画像又はピクチャが１以上のブロック（たとえば８×８又は他の便利なサイズ（エレメント１１））に分割された後、画像の尖度に基づいたシャープネスメトリックが決定される（エレメント１２）。このメトリックは、次いで、水平方向におけるシャープネスのエンハンスメントと垂直方向におけるシャープネスのエンハンスメントとにおける差を考慮するために補正される（エレメント１３）。１つの補正技術は、項をブロック当たりのエッジ画素の平均の数に基づいた尖度に基づいたシャープネスメトリックに追加することで補正する（エレメント１４）。補正は、平均の水平方向のエネルギー及び平均の垂直方向のエネルギー並びに平均の対角線方向のエネルギーに基づいて、尖度に基づくシャープネスメトリックに項を追加することで行うこともできる（これらのエネルギーは全体の画像にわたり計算することができるか、画像のサンプルから推定することができる）（エレメント１５）。さらに、平均の水平方向エネルギー及び平均の垂直方向エネルギーの幾何学的な平均、及び平均の水平方向エネルギー及び平均の垂直方向エネルギーの数学的な平均に基づいて、尖度に基づくシャープネスメトリックに項を追加することができる（エレメント１６）。さらに、エッジを含むブロック数（ｎｅｂ）とエッジを含まないブロック数（ｎｆｂ）とに基づいて、尖度に基づくシャープネスメトリックに項を追加することができる（エレメント１７）。先の計算は、以下の式で要約される。
【００４９】
【数３】
2007528137.tif 000014
エッジ及びエネルギー補正を組み込んだ先のシャープネスメトリックは、幾つかの画像に関して試験されている。結果は、二次元カーネルが一次元カーネルよりも高いシャープネスを示すことを示している。試験結果は、二次元カーネルは一次元カーネルよりも良好に一貫していることを示している。
【００５０】
尖度に基づくシャープネスメトリックが適切なカーネル内の挙動を示した前の結果は保持されている。興味あるケースは、解像度がエンハンスされたビデオのケースであり、このケースは、知覚された品質のレベルに対応する異なるレベルのシャープネスを示している。フレーム毎にプロットされる補正されたシャープネスメトリック値は、シャープネスのレベルが視覚的な観察と対応する、すなわち、より高いシャープネスがより高い解像度に対応することが示されている。時間窓にわたる平均又はフレーム当たりの値を使用することのいずれかで、シャープネスメトリックは、エンハンスメントによる変化を検出するために効果的である。
【００５１】
試験は、非対称のシャープネスのエンハンスメントの結果を改善しつつ、前の尖度のメトリックの性能が保持されることを示している。エッジ領域の尖度は、非常に有望なシャープネスのインジケータであり、エッジ範囲及びエネルギーの非対称性が補正された場合、かかる尖度もまた非対称なシャープネスのエンハンスメントに対処することができる。この研究で使用された補正の項は、全てグローバルであって、すなわち、エッジを含むブロックにわたりとられる平均値である。局所的な尖度は、グローバルな統計量から導出される確率的なアプローチを使用した、局所的なレベルでシャープネスを測定するために補正することができる。使用される項は、画像の全体的な統計量の観点（global  statistical  aspect）をそれまで反映し、局所的なレベルでの特定の条件は、平均から大きく変動し、たとえば、ブロックにおけるエッジ画素数が１〜２８又は２８を超えて変動し、エネルギー値もまた広く変化する。したがって、局所的なエンハンスメントを予測するため、グローバルデータから導出されたモデルを使用することができる。
【００５２】
図４は、たとえば捕捉、記憶及び再生ビデオ／画像システムで使用される、マニュアルシャープネスコントローラ４７又はオートマチックシャープネスコントローラ４１のいずれかを示している一般的な実施の形態４０のブロック図を示している。オートマチックシャープネスコントローラ４１では、シャープネスメトリックは、画像又はその一部から計算され、ビデオチェインモジュール４２−４５における制御可能なパラメータは、許容可能な範囲でシャープネスを最大にするために作用する。画像ソースは、捕捉モジュール（たとえばカムコーダ４８ｄにおけるＣＣＤ、オプティカルイメージャ４８ａ〜ｃ、若しくはＶＣＲ，ＤＶＤ，ＣＤ又はＨＤのようなストレージユニット４８ｅ）とすることができる。対称なシャープネスコントロールを使用したシステムを誰かが利用していることを検出した場合、非対称にエンハンスされた画像を単に入力することができ、これ以上エンハンスすることなく、たとえば垂直にエンハンスされたときに、システムは、最大のシャープネスで既に画像を扱うことになる。対称に補正されたシステムは、できるだけ両方向で画像をエンハンスする。水平及び垂直エッジからなるテストパターンは、このために使用するのが非常に容易である。
【００５３】
様々な実施の形態が特に例示及び記載されたが、本発明の変形及び変更が先の教示によりカバーされ、本発明の精神及び意図される範囲から逸脱することなしに特許請求の範囲の視野にあることを理解されたい。たとえば、所定の式のフォームは、シャープネスをモデル化するために使用されるが、類似の補正項を利用した他の関数が本発明の範囲から逸脱することなしに使用することができる。さらに、この例は、請求項によりカバーされる本発明の変更及び変形を制限することが解釈されるべきではないが、１つの可能なバリエーションの単なる例示である。
【図面の簡単な説明】
【００５４】
【図１】本発明の１態様に係る、非対称にエンハンスされた画像又はピクチャでシャープネスを測定するための方法に関する例示的な実施の形態を示す図である。
【図２】本発明の別の態様に係る、８×８離散コサイン変換における各種エネルギーを計算するための方法に関する例示的な実施の形態を示す図である。
【図３】シャープネスエンハンスメントの作用を示すエッジブロックの平均の８×８離散コサイン変換のプロットを示す図である。
【図４】画像／ビデオ捕捉、記憶、及び再生装置のための手動によるシャープネス制御及び自動化されたシャープネス制御を含む異なる実施の形態を例示する一般的なアーキテクチャを示す図である。
【図１】
2007528137.tif 000022
【図２】
2007528137.tif 000023
【図３】
2007528137.tif 000024
【図４】
2007528137.tif 000025
【国際調査報告】
2007528137.tif 000026
2007528137.tif 000027