(57)【要約】 【課題】  サブナイキストエイリアジングにより導入される画像におけるアーチファクトを視覚的認識以下に減少させる方法を提供する。【解決方法】  本方法は：サブナイキストエイリアジングアーチファクトを有する入力画像を提供する段階；サブナイキストエイリアジングアーチファクトの位置と特性とを特定するために視覚的認識アルゴリズムを使用することにより、アーチファクトの座標とパラメータを生成する段階；並びに、視認氏絵を減少させるためにアーチファクトの座標とパラメータとを参照することによりサブナイキストエイリアジングアーチファクトを処理することにより、アーチファクト補正画像を生成する段階；から構成される。【選択図】  図１
2004326770.tif 000002
【特許請求の範囲】
【請求項１】
視覚的に認識可能な水準以下の画像においてサブナイキストエイリアジングアーチファクトを減少させるための方法であって：
（ａ）サブナイキストエイリアジングアーチファクトを有する入力画像としてソース画像データを提供する段階；
（ｂ）サブナイキストエイリアジングアーチファクトの位置および特性を特定するために視覚的認識アルゴリズムを用いる段階であって、これによりアーチファクトの座標およびパラメータを生成する、段階；並びに
（ｃ）視認性を減少させるためにアーチファクトの座標およびパラメータを参照することによりサブナイキストエイリアジングアーチファクトを処理する段階であって、これによりアーチファクト補正画像を生成する、段階；
から構成されることを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、前記段階（ｂ）は：
（ｄ）高解像度ソース画像として実質的にアーチファクトのない方法においてソース画像データを生成する手順；
（ｅ）表示解像度に高解像度ソース画像の画素解像度を減少させるために高解像度ソース画像をスケーリングする手順であり、これにより低解像度画像を生成する、手順；並びに
（ｆ）高解像度ソース画像と低解像度画像との間の視覚的認識差を予測する手順であって、これにより低解像度画像におけるアーチファクトを特定する、手順；
から構成される、ことを特徴とする方法。
【請求項３】
請求項２に記載の方法であって、前記手順（ｆ）は：
（ｇ）高解像度ソース画像の解像度に低解像度画像バックアップをスケーリングするステップであって、これによりアップスケーリングされた画像を生成する、ステップ；
（ｈ）高解像度ソース画像とアップスケーリングされた画像との相違を検出し、差成分を生成するステップ；並びに
（ｉ）アーチファクトのパラメータを決定するために、差成分と高解像度ソース画像、スケーリングされた画像およびアップスケールされた画像とを使用するステップであって、前記パラメータは、アーチファクトの種類とアーチファクトの位置とアーチファクト周波数および位相のような他のパラメータとを含む、ステップ；
から構成される、ことを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、前記ステップ（ｉ）は：
（ｊ）差成分の視覚的認識の関数である基準振幅に対比して差成分の大きさを閾値処理する段であって、これにより閾値処理された差成分を生成する、段；
（ｋ）閾値処理された差成分により表されるアーチファクトの周波数および二次元位相を特定する段；
（ｌ）アーチファクトの領域を拡張する段であって、これによりアーチファクトが存在する領域を特定する、段；並びに
（ｍ）アーチファクトのパラメータを出力するために前記段（ｋ）および（ｌ）の出力を使用する段；
から構成される、ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル撮像の分野に関し、特に、デジタル処理方法を使用する動画撮像に関する。
【背景技術】
【０００２】
適切にデザインされるとき、デジタル処理方法は、画像をエンハンスし、記憶し、そして送信するために効果的に使用されることが可能である。しかしながら、デジタル方法は、エイリアジング、ミッシングコード値、等高線の不可逆的導入およびデータ損失を含むアーチファクトを導入する。特に、エイリアジングは、デジタルシステムにおいて使用されるサンプリングアレイのナイキスト（Ｎｙｑｕｉｓｔ）周波数より小さい画像周波数において生じることとなることが示された（論文、Ｒｏｇｅｒ  Ｒ．Ａ．Ｍｏｒｔｏｎ，  Ｍｉｃｈｅｌｌｅ  Ａ．Ｍａｕｒｅｒ  ａｎｄ  Ｃｈｒｉｓｔｏｐｈｅｒ  Ｌ．ＤｕＭｏｎｔ，ＳＭＰＴＥ  Ｃｏｎｆｅｒｅｎｃｅ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ：Ｔｈｅｏｒｙ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｃｅｅｄｉｎｇｓ，Ｄａｌｌａｓ，Ｔｅｘａｓ，Ｆｅｂｒｕａｒｙ  ７−９，２００２（非特許文献１）参照）。これは、好ましくないアーチファクトは、一般的にエイリアジングの影響に関連せず、捕捉パラメータを与えられる空間周波数において画像に導入されることを意味する。これらのアーチファクトの多くは、特に、動画画像の場合に顕著である。そのような理解により、デジタルシステムの画像出力からであって、特にデジタル動きシステムの動き出力からサブナイキストエイリアジングアーチファクトを減少させるために実行可能な技術が必要である。
【非特許文献１】Ｒｏｇｅｒ  Ｒ．Ａ．Ｍｏｒｔｏｎ，  Ｍｉｃｈｅｌｌｅ  Ａ．Ｍａｕｒｅｒ  ａｎｄ  Ｃｈｒｉｓｔｏｐｈｅｒ  Ｌ．ＤｕＭｏｎｔ，ＳＭＰＴＥ  Ｃｏｎｆｅｒｅｎｃｅ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ：Ｔｈｅｏｒｙ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｃｅｅｄｉｎｇｓ，Ｄａｌｌａｓ，Ｔｅｘａｓ，Ｆｅｂｒｕａｒｙ  ７−９，２００２
【発明の開示】
【課題を解決するための手段】
【０００３】
本発明は、上記の問題の１つまたはそれ以上を克服することを目的とする。要約すると、本発明の１つの特徴に従って、本発明は、視覚的に認識可能なレベルより小さい画像におけるエイリアジングアーチファクトを減少させることにより、サブナイキストエイリアジングにより導入されるアーチファクトを克服し、本発明の方法は：サブナイキストエイリアジングアーチファクトを有する入力画像としてソース画像データを提供する段階と；サブナイキストエイリアジングアーチファクトの特性および位置を特定する段階であって、これにより、アーチファクトの座標およびパラメータを生成する段階と；それらの視認性を減少させるためにアーチファクトの座標およびパラメータを参照することによりサブナイキストエイリアジングアーチファクトを処理する段階と；から構成される。
【０００４】
本発明の他の特徴から、本発明は、視覚的に認識可能なレベルより小さい画像におけるサブナイキストエイリアジングアーチファクトを減少させるためのシステムから構成され、そのシステムは：サブナイキストエイリアジングアーチファクトの位置および特性を特定するために視覚的認識アルゴリズムを利用する視覚的認識段階であって、これにより、アーチファクトの座標およびパラメータを生成する段階と；サブナイキストエイリアジングアーチファクトの視認性を減少させるためにアーチファクトの座標およびパラメータを参照することによりサブナイキストエイリアジングアーチファクトを処理するためのアーチファクト除去段階と；を含む。
【０００５】
エイリアジングは必ずしも完全に除去されることはないが、本発明に従った方法の優位性は、最小量の処理を用いる間ずっと、みることが可能である状況下でよりみえないようにエイリアジングがレンダリングされる。これは、特定のエイリアジングアーチファクトを最小化する一方、画像処理システムに重い計算の負荷を掛けることがないフィードフォワード方法を提供する。
【０００６】
本発明の上記のおよび他の側面、目的、特徴および優位性は、以下の好ましい実施形態の詳細な説明および同時提出の請求の範囲を検討することから、および添付図面を参照することにより、さらに明確に理解され、正しく評価されるであろう。
【発明を実施するための最良の形態】
【０００７】
エイリアジングの減少を用いる画像処理システムは周知であるため、本発明の説明は、本発明に従った方法およびシステムに非常に直接的に協働するまたはそれらの一部を形成する部分特性について、特に説明することとする。ここで、特に図示しまたは説明することのない方法およびシステムの特性は、当該技術分野において周知であるものから選択されることが可能である。以下の説明において、本発明の好ましい実施形態は、通常、ソフトウェアプログラムとして実施されるが、当業者は、そのようなソフトウェアに等価なものはまた、ハードウェアにおいて構成されることが可能であることを容易に認識するであろう。以下の内容において本発明に従って説明する方法およびシステムを提供する場合に、本発明の実施のために有用であるが、ここでは特に図示せず、提案せずまたは説明しないソフトウェアは、当該技術分野における従来のものであり、通常の技術の範囲内のものである。本発明がコンピュータプログラムとして実行される場合、そのプログラムは、例えば、磁気ディスク（フロッピー（登録商標）ディスクまたはハードディスクまたはハードドライブ）または磁気テープのような磁気記憶媒体、光ディスク、光テープまたは機械読み取り可能バーコードのような光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）または読み出し専用メモリ（ＲＯＭ）のような固体電子的記憶素子、またはコンピュータプログラムを記憶するために用いられる他のいずれかの物理的素子或いは媒体から構成される、従来のコンピュータ読み取り可能記録媒体に記憶されることが可能である。
【０００８】
本発明について説明する前に、動画フィルムを処理するための後製造設備において使用される種類のパーソナルコンピュータまたはワークステーションのようないずれかの周知のコンピュータシステムにおいて、本発明は好適に利用されることに言及しておくことは、理解を容易にする。従って、そのコンピュータシステムについては、ここでは詳細に説明しない。画像はコンピュータシステムに直接入力される（例えば、デジタルカメラにより）かまたはコンピュータシステムに入力される前にデジタル化される（例えば、ハロゲン化銀フィルムのような元のものにより）かどちらかであることに言及しておくことはまた、有益である。
【０００９】
先ず、図７を参照するに、本発明を実行するためのコンピュータシステム１０を示している。コンピュータシステム１０は好ましい実施形態を示す目的で示されているが、本発明は、示したコンピュータシステム１０に限定されるものではなく、いずれかの電子的処理システムにおいて使用されることが可能である。コンピュータシステム１０は、ソフトウェアプログラムを受信し且つ処理するためおよび他の処理機能を実行するためにマイクロプロセッサベースのユニット１２を含む。表示装置１４は、例えば、グラフィカルユーザインタフェースを用いるソフトウェアに関連するユーザ関連情報を表示するためにマイクロプロセッサベースのユニット１２に電気的に接続される。キーボード１６はまた、ユーザがソフトウェアに情報を入力することを可能にするためにマイクロプロセッサベースのユニット１２に接続される。当該技術分野において周知であるように、入力のためにキーボード１６を使用することの代わりとして、表示装置１４におけるセレクタ２０を動かすためおよびセレクタ２０がオーバーレイするアイテムを選択するために、マウス１８を使用することが可能である。
【００１０】
ＣＤを使った読み出し専用記憶装置（ＣＤ−ＲＯＭ）２２は、ソフトウェアプログラムを受信するため且つ代表的にはソフトウェアプログラムを含むコンパクトディスク２４によりマイクロプロセッサベースのユニット１２にソフトウェアプログラムおよび他の情報を入力する手段を提供するためにマイクロプロセッサベースのユニット１２に接続される。さらに、フロッピー（登録商標）ディスク２６はまた、ソフトウェアプログラムを含み、ソフトウェアプログラムを入力するためにマイクロプロセッサベースのユニット１２に挿入される。さらに、マイクロプロセッサベースのユニット１２は、当該技術分野において周知であるように、内部にソフトウェアプログラムを記憶するためにプログラムされることが可能である。マイクロプロセッサベースのユニット１２はまた、ローカルエリアネットワークまたはインターネットのような外部のネットワークに電話回線のようなネットワーク接続を有することが可能である。プリンタ２８は、コンピュータシステム１０の出力のハードコピーを印刷するためにマイクロプロセッサベースのユニット１２に接続される。
【００１１】
画像はまた、カード３０に電子的に具体化されるデジタル化された画像を含む、かつて周知であったＰＣＭＣＩＡカード（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ  Ｍｅｍｏｒｙ  Ｃａｒｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ａｓｓｏｃｉａｔｉｏｎの仕様に基づく）のようなパーソナルコンピュータカード（ＰＣカード）３０により表示装置１４に表示されることが可能である。ＰＣカード３０は、表示装置１４における画像の視覚的な表示を実行するためにマイクロプロセッサベースのユニット１２に結局挿入される。画像はまた、コンパクトディスク２４、フロッピー（登録商標）ディスク２６またはネットワーク接続２７により入力されることが可能である。ＰＣカード３０、フロッピー（登録商標）ディスク２６またはコンパクトディスク２４に記憶された或いはネットワーク接続２７により入力されたいずれかの画像は、例えばデジタルカメラ（図示せず）またはスキャナ（図示せず）等の種々のソースから得られることが可能である。本発明に従って、画像は、代表的には、例えば、テレシネ装置を用いて動画フィルムを走査することにより得られるデジタル中間形態に記憶される。ここで開示するアンチエイリアジング処理は、それ故、テレシン装置から流れるデータを直接得るハードウェアおよび／またはソフトウェアにより実行され、テレシン装置がそのデータを生成する同じレートで処理することが可能である。それはまた、特別な効果の生成のためにポストプロダクションに使用されるワークステーションにおいて実行されることが可能である。また、デジタル画像は、デジタル動画カメラから直接デジタル的にもたらされ、デジタル中間形態に移されることが可能である。
【００１２】
本発明は、例えば、細部におけるアーチファクトが特に動きのために好ましくない領域において細部のコントラストを減少させるエイリアジング周波数アーチファクトを取り除くためにフィルタの周波数を調節することにより、サブナイキストエイリアジングアーチファクトの視認性を位置付けすることおよびそれを減少させることを含む。この本発明の主目的にも拘わらず、エイリアジングアーチファクトのためにオリジナルのシーンを忠実に表さない、動きストリームにおける静止画像を含む静止画像を用いる場合に本発明は有用であることが推定される。エイリアジングはサンプリングアレイのナイキスト周波数より小さい画像周波数において生じることができることが示されるため、ここで説明する技術はそれらのエイリアジングの存在を特定し且つアドレスすることができる。
【００１３】
エイリアジング、解像度の制限および画像コンテンツの間の相互関係を理解するためには、エイリアジングを引き起こす機構の知識が必要である。先ず、エイリアジングを、“シーンコンテンツと相互作用する画素の結果として画像に入ったアーチファクト”と定義することが可能である。この定義により、エイリアジングはシーン依存性のものであり、それ故、エイリアジングがみえないシーンがある。しかしながら、高精細領域におけるアーチファクト動き、テクスチャにおけるノイズのプール、孤立ラインに沿った動くエッジまたは標準的テクスチャを横切るラインの動く一群を含む動画において、エイリアジングは多くの異なる方法で現れる。
【００１４】
エイリアジングの影響は、ときどき、“かご編み（ｂａｓｋｅｔ  ｗｅａｖｅ）”、“エイリアス等高線（ａｌｉａｓ  ｃｏｎｔｏｕｒ）”、“揺らぎ（ｓｈｉｍｍｅｒｉｎｇ）”、“フィジイング（ｆｉｚｚｉｎｇ）”および“音鳴り（ｂｕｚｚｉｎｇ）”と呼ばれる。インドアおよびアウトドアのシーンにおいて、そのようなアーチファクトが、例えば、テクスチャード素材が腕または肩の周りに巻き付けられているとき、テクスチャが動くまたはテクスチャの角度が変わるときに、まっすぐに見えるテクスチャの上に現れる。さらに、動きエイリアジングは、通常のシーンパターン全体でちらつく意外なラインおよびカラーを生じることとなる。人間の視覚システムが特に動きにより注意を喚起されるとき、これは知覚的に重大な問題となり得る。それ故、小さい領域においてさえ、エイリアジングの影響は人間の視覚システムにより即座に認識される。
【００１５】
視覚的に認識可能な水準以下のエイリアジングアーチファクトを減少させるために、多くの方法を利用することが可能である。最もロバストな方法は、画素の総数を増加させることまたは画像の細部を減少させることを含む。アーチファクトは、その大きさが見ている人に認識可能であるような大きさであるとき、認識されることは周知である。みる人のトレーニングと視覚の鋭さに応じて、種々の人は種々のレベルのアーチファクトの認識の度合いを有する。さらに、表示装置または投影スクリーンについての個々のみている人の位置がアーチファクトの認識に影響を与える。人間の視覚に関する文献はみる人の認識の閾値について論じている（例えば、Ｓ．Ｊ．Ａｎｄｅｒｓｏｎ  ａｎｄ  Ｄ．Ｃ．Ｂｕｒｒ，“Ｓｐａｔｉａｌ  Ｓｕｍｍａｔｉｏｎ  Ｐｒｏｐｅｒｔｉｅｓ  ｏｆ  Ｄｉｒｅｃｔｉｏｎａｌｌｙ  ｓｅｌｅｃｔｉｖｅ  Ｍｅｃｈａｎｉｓｍｓ  ｉｎ  Ｈｕｍａｎ  Ｖｉｓｉｏｎ”，Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ，８，ｐｐ．１３３０−１３３９，  Ａｕｇｕｓｔ  １９９１参照）。
【００１６】
本発明に従ってここで説明する方法は、アーチファクトの認識をモデル化する段階であって、それ故、アーチファクトがみえるモデルにより予測される領域に対して画像を修正する段階を含む。場合によっては、画像の修正する段階は、認識可能なアーチファクトが存在する領域におけるコントラストを減少させる手順を単純に含むことが可能である。換言すれば、さらに複雑な減少手順は、アーチファクト周波数成分を予測するためにソース信号周波数と走査画素パターンを使用してアーチファクトを識別することで、およびアーチファクトの領域における画像からそれらの周波数成分を取り除くことを含むことが可能である。
【００１７】
高解像度においてでアーチファクトのない方法でオリジナルの画像またはシーンを走査することによりアーチファクトの識別を実行することが可能である。次いで、画像の画素解像度は、選択された表示解像度に対応する画素解像度に減少される。高解像度のアーチファクトのない画像は、このとき、減少された解像度の画像と比較され、モアレまたは類似するエイリアジングアーチファクトは、スクリーンから０．５の画像高さと２の画像高さとの間に適する熟練観察者に一般に対応する水準において感知される。
【００１８】
図１を参照するに、本発明に従ったプロセスおよびシステムの全体的なブロック図を示している。アーチファクトが取り除かれるソース画像データは、アーチファクトの位置および性質をセンシングするための視覚的認識アルゴリズムを使用する視覚的認識段階１０２への入力ライン１０１における入力画像として入力する。入力画像は、代表的には、選択された表示により提供されるように、ソース画像データの低解像度バージョンであり、それ故、上記のサブナイキストアーチファクトを含む。視覚的認識段階１０２は、アーチファクトの位置を示すｘ／ｙ座標（および、動画に対するオプションとして、フレーム数）を含むライン１０３において出力を生成する。視覚的認識段階１０２はまた、ライン１０４における出力であるアーチファクト特性を生成する。ライン１０３における座標とライン１０４における特性との両方は、アーチファクトがライン１０１において取り除かれる画像データを受け取るアーチファクト除去段階１０５に適用される。アーチファクト除去段階１０５は出力ライン１０６においてアーチファクト補正画像を提供する。
【００１９】
図２は、スケーリング関数２０２と視覚的認識差予測器２０４を含んで示される視覚的認識段階１０２のさらに詳細について示している。走査され、または、例えば、高解像度スキャナを用いて高解像度において実質的にアーチファクトのない方法において提供される入力ソース画像データは、ライン２０１に入力し、選択された表示解像度に画像の画素解像度を減少させるスケーリング関数２０２に移動する。選択された表示解像度は、一般のみる人により実際にみられる、例えばＣＲＴモニタスクリーンから映画館のスクリーンに至るまでの範囲内とすることが可能であるスクリーンを表す。種々の種類の既知の解像度減少アルゴリズムを使用することが可能であり、それらは、制限を伴わずに、例えば、バイリニア補間、ガウス補間またはバイキュービック補間を含む。低解像度画素画像はライン２０３に出力され、視覚的認識差予測器２０４に移動する。この予測器は、先ず、ライン２０１において存在するソース画像のオリジナルの解像度にライン２０３における画像をスケーリングして戻し、次いで、差の評価を実行することにより２つの画像の間の差を理解する。このとき、これらの差は、視覚的インパクトについての視覚的モデリング関数により評価される。
【００２０】
視覚的認識差予測器２０４のさらなる詳細については図３に示しており、図３において、低解像度画像は、ライン２０１においてソース画像の解像度までスケーラ３０４により初期的にスケールアップされる。ライン３０５における高解像度画像は、アーチファクトがないソース画像２０１とスケーリングされた画像３０５との間の差を取る差モジュール３０６に移動する。差振幅信号は、次いで、ライン３０７上を移動して、ライン２０１からオリジナルのソース画像を、ライン２０３からスケーリングされた画像を、そしてライン３０５からアップスケーリングされた画像を受け取る、種々のアーチファクト検出プロセス３１０、３１１、３１２、３１３、．．．、に達する。アーチファクト検出プロセス３１０、３１１、３１２および３１３は、周波数、位相およびアーチファクト除去のために必要な他の情報のような、アーチファクトの種類、アーチファクトの位置および他のアーチファクトパラメータを示すアーチファクトパラメータを含むアーチファクトに関する情報を提供する。これらのパラメータは、結合器段階３２０において結合され、ライン３２１においてアーチファクト除去段階１０５に出力される。
【００２１】
図４は、アーチファクト検出プロセス３１０、３１１、３１２または３１３の例を示している。ライン３０７における差振幅信号は、アーチファクトのない信号２０１の関数である、振幅生成器４０１ａにより生成される基準振幅に、ライン３０７における差振幅を比較する所定のアーチファクト検出プロセス（例えば、アーチファクト検出プロセス３１０）のための閾値段階４０１に入る。この関数の目的は、視覚的な動的領域に亘る差の視覚的認識を考慮することである。認識可能な差信号は、ライン４０２において差信号により表されるアーチファクトの周波数および二次元位相を特定するライン４０４において信号を出力する局所的二次元フーリエ変換分析器４０３にライン４０２において出力される。
【００２２】
拡張ユニット４０６は、アーチファクトが存在する領域を特定するためにアーチファクト領域を形成するアーチファクト領域を拡張する。アーチファクト領域情報はライン４０５における領域信号として出力される。ライン４０５および４０４における信号は、アーチファクトの種類と共に所定の領域に対してライン４０９において位置周波数および位相特性を出力する結合器段階４０８に入る。この情報はアーチファクト除去段階１０５に移動する。
【００２３】
図５は、結合器段階４０８からライン４０９に提供される位相および領域情報を用いるアーチファクト除去段階１０５の例を示している。その情報は、例えばライン２０１、２０３および３０５からの画像情報とライン３０７からの差情報と共に制御信号生成器５０１に入る。この情報に基づいて、制御信号は、ライン２０３における画像から図４において特定されるエイリアジング周波数アーチファクトを取り除いてフィルタを調整するためにノッチまたはバンドストップフィルタ５０２に送られる。
【００２４】
アーチファクトデータは関数３２０において結合されることが可能であるが、アーチファクト検出器３１０、３１１、３１２および３１３並びにアーチファクト除去関数の間には一対一対応があり、結合関数３２０は、アーチファクトデータが特定のアーチファクト除去段階に直接送られることが可能であるとき、必要とされない、ことに留意されたい。
【００２５】
視覚的差予測器における差が、Ｐｅｔｅｒ  Ｇ．Ｊ．Ｂａｒｔｅｎ，  Ｃｏｎｔｒａｓｔ  Ｓｅｎｓｉｔｉｖｉｔｙ  ｏｆ  ｔｈｅ  Ｈｕｍａｎ  Ｅｙｅ  ａｎｄ  Ｉｔｓ  Ｅｆｆｅｃｔｓ  ｏｎ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ，ＳＰＩＥ  Ｏｐｔｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｐｒｅｓｓ，１９９９，ｐｐ２７−６０であって、具体的には式３．２６により規定される水準より大きい場合、視覚的に検出可能なアーチファクトを検出する他の方法をチェックする。
【００２６】
図６は、アーチファクトを取り除く他の方法を示している。アーチファクトの領域を示すデータは、例えば、ライン４０９または３２１に入り、画像はライン２０３に入る。アーチファクトの位置はライン４０９または３２１から特定され、その領域の画像コントラストは、アーチファクトが存在する領域においてコントラストを減少させるアプリケータ６０１に適用されるコントラスト関数からライン６０２における修正画像を生成するために、コントラスト関数アプリケータ６０１により減少される。
【００２７】
また、そのような領域において、信号のパワースペクトルは測定され、検出可能性関数の視覚的閾値より大きくなる場合、エイリアジングである画像の領域におけるパワースペクトルが検出可能性関数の視覚的閾値より小さくなるように、画像コントラストか周波数応答のどちらかを調整することが可能である。
【００２８】
プロセスが、視覚的認識段階１０２においてアーチファクト認識をモデル化することと、アーチファクトが目に見えるモデルにより予測される領域に対してアーチファクト除去段階１０５において入力画像を修正することとを含む、ことを思い出すことは、本発明を理解することを容易にする。そのような入力画像は、選択された表示システムにおいて実際に表示される画像に対応する。視覚的認識段階１０２において使用されるモデルに従って、アーチファクト表示は、実質的にアーチファクトのない方式でオリジナルの画像またはシーンの高解像度バージョンを得ることにより実行される。代表的には、高解像度バージョンは、送られる動画信号として表示システムに利用可能である。次に、高解像度画像の画素解像度は、選択された表示システムの表示解像度に対応する画素解像度に減少され、それ故、本質的には、入力画像に置き換えられる。高解像度アーチファクトがない画像は、それ故、低解像度画像と比較され、モアレまたは類似するアイリアジングアーチファクトは、例えば、スクリーンからのピクチャの高さ０．５と２との間の特定のみえる距離に適する熟練観察者に一般に対応する水準において検出される。場合によっては、画像の修正は、認識可能なアーチファクトが存在する領域におけるコントラストを減少させることを単純に含むことが可能である。他の場合には、さらに複雑な除去方法は、アーチファクト周波数成分を予測するためにソース信号周波数および走査画素パターンを用いてアーチファクトを特定することと、およびアーチファクトの領域における画像からそれらの周波数成分を取り除くこととを含むことが可能である。いずれにしても、この修正は、図５および６に示されるように、低解像度画像に修正を適用することと等価であるアーチファクト除去段階１０５において入力画像に適用される。
【００２９】
図１乃至６に関連して説明した実施形態に対すル他の実施形態においては、アーチファクトは、動きの際に印象付けられる動きとして検出されることが可能である。例えば、図８に示すように、対象の動きを伴う入力画像（段階６０１における入力）において、動画アーチファクトは、実際のシーンの動きと異なる方向への動きとして現れ得る。この方法に従って、対象の動きベクトルはシーン間で決定される（段階６０２）。動きベクトルを決定するための周知の技術が存在するが、それについては、例えば、Ｍ．Ｋ．Ｏｚｋａｎ，Ｍ．Ｉ．Ｓｅｚａｎ，Ａ．Ｔ．Ｅｒｄｅｍ  ａｎｄ  Ａ．Ｍ．Ｔｅｋａｌｐ，“Ｍｕｌｔｉｆｒａｍｅ  Ｗｉｅｎｅｒ  Ｒｅｓｔｏｒａｔｉｏｎ  ｏｆ  Ｉｍａｇｅ  Ｓｅｑｕｅｎｃｅｓ”ｉｎ  Ｍｏｔｉｏｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｉｍａｇｅ  Ｓｅｑｕｅｎｃｅ  Ｐｒｏｃｅｓｓｉｎｇ，ｅｄ．Ｂｙ  Ｍ．Ｉ．Ｓｅｚａｎ  ａｎｄ  Ｒ．Ｌ．Ｌａｇｅｎｄｊｉｋ，Ｋｌｕｗｅｒ  Ｐｕｂｌｉｓｈｅｒｓ，１９９３を参照されたい。それ故、検出される対象の動き（段階６０３において検出される）と一致し、シーン画素とシーンコンテンツ（アーチファクト周波数は、画像コンテンツ周波数の方への画像コンテンツ周波数と画素周波数の和および差の調和であるような）との間のモアレ関係により予測される（段階６０４において）周波数を有するいずれの動きは動きエイリアジングアーチファクトによるものである。
【００３０】
一旦、シーンの対象の動きと一致する方向への動きを示す信号が検出され、信号の周波数が上記の和または差の調和を満足すると、入力信号をフィルタリングすることであって、例えば、特定されるアーチファクトの周波数のためにバンドストップフィルタとして機能する二次元フィルタを構成することにより、これにより実質的にアーチファクトのない信号を生成する（段階６０６）ことにより、その信号は選択的に取り除かれる（段階６０５）。
【図面の簡単な説明】
【００３１】
【図１】本発明に従ったアーチファクトを取り除くためのプロセスの高水準のブロック図である。
【図２】図１に示す視覚的認識段階についての詳細を示すブロック図である。
【図３】図２に示す視覚的認識差予測器の詳細を示すブロック図である。
【図４】図３に示すアーチファクト検出プロセスの例を示すブロック図である。
【図５】図１に示すアーチファクト除去段階の詳細を示すブロック図である。
【図６】他のアーチファクト除去段階の詳細を示すブロック図である。
【図７】本発明を実行するためのコンピュータシステムの斜視図である。
【図８】本発明に従ってアーチファクトを除去するためのプロセスの他の実施形態を示すフロー図である。
【符号の説明】
【００３２】
１０      コンピュータシステム
１２      マイクロプロセッサベースのユニット
１４      表示装置
１６      キーボード
１８      マウス
２０      セレクタ
２２      ＣＤ−ＲＯＭ
２４      ＣＤ
２６      フロッピー（登録商標）ディスク
２７      ネットワーク接続
２８      プリンタ
３０      ＰＣカード
１０１    入力ライン
１０２    視覚的認識段階
１０３    ｘ、ｙ座標／フレーム数をもつライン
１０４    アーチファクト特性をもつライン
１０５    アーチファクト除去段階
１０６    出力ライン
２０１    アーチファクトのない画像をもつライン
２０２    スケーリング関数
２０３    低解像度画素画像をもつライン
２０４    視覚的認識差予測器
３０４    スケーラ
３０５    スケールアップされた画像をもつライン
３０６    差モジュール
３０７    差をもつライン
３１０    アーチファクト検出プロセス
３１１    アーチファクト検出プロセス
３１２    アーチファクト検出プロセス
３１３    アーチファクト検出プロセス
３２０    結合器段階
３２１    出力ライン
４０１    アーチファクト検出プロセス閾値
４０１ａ  基準振幅生成器
４０２    認識可能差信号をもつライン
４０３    二次元フーリエ変換分析器
４０４    出力ライン
４０５    アーチファクト領域情報をもつライン
４０６    拡張ユニット
４０８    結合器段階
４０９    アーチファクト特性をもつライン
５０１    制御信号生成器
５０２    コントラスト関数アプリケータ
６０１    対象の動きを伴う入力画像
６０２    動きベクトルを決定する段階
６０３    不一致動きを検出する段階
６０４    周波数を比較する段階
６０５    周波数を選択的に取り除く段階
６０６    実質的にアーチファクトのない画像を出力する段階
【図１】
2004326770.tif 000003
【図２】
2004326770.tif 000004
【図３】
2004326770.tif 000005
【図４】
2004326770.tif 000006
【図５】
2004326770.tif 000007
【図６】
2004326770.tif 000008
【図７】
2004326770.tif 000009
【図８】
2004326770.tif 000010