(57)【要約】品質を改善するためのシステム及び方法を説明する。この方法はエッジマップ（７０５）を用いて、画素がエッジにどの位近いか又はエッジの強度の少なくとも一方を基にして、拘束をかけたコンボリューション（７１２）により色をスムージングする。
2007527567.tif 000002
【特許請求の範囲】
【請求項１】
エッジ情報を用いたコンボリューションの過程からなる画像の処理方法。
【請求項２】
前記コンボリューションが、
【数１】
2007527567.tif 000052
で表され、ここでｐｘ，ｙが画像の座標（ｘ，ｙ）の画素を表し、
【数２】
2007527567.tif 000053
が前記画素ｐｘ，ｙにおける結果画像の色を表し、Ｒがコンボリューションマスクの半径を表し、ｐｉ，ｊが前記マスクの座標
【数３】
2007527567.tif 000054
の画素を表し、
【数４】
2007527567.tif 000055
がｐｘ＋ｉ，ｙ＋ｊの画素の元画像の色を表し、ｗＲ（ｐｉ，ｊ）が前記コンボリューションの各参照色の重みを表し、
【数５】
2007527567.tif 000056
がエッジ情報の重みを表し、かつ
【数６】
2007527567.tif 000057
がｗＲ（ｐｉ，ｊ）及び
【数７】
2007527567.tif 000058
のノルムを表す請求項１に記載の方法。
【請求項３】
前記エッジ情報が、その色を計算中である前記画素からエッジの反対側にある各画素に低い重みを与える請求項１に記載の方法。
【請求項４】
前記エッジ情報が、
【数８】
2007527567.tif 000059
で表され、ここで、ｐｘ，ｙが座標（ｘ，ｙ）のコンボリューションにより再生成される画素を表し、ｐｘ＋ｉ，ｙ＋ｊが座標（ｘ＋ｉ，ｙ＋ｊ）の重みを与える画素を表し、
【数９】
2007527567.tif 000060
が画素ｐｘ，ｙから画素ｐｘ＋ｉ，ｙ＋ｊまでの線のセグメント上の全画素を表し、ｅ（ｐ）が画素ｐにおけるエッジ強度を表し、かつｆ（）が中心画素ｐｘ，ｙから画素ｐｘ＋ｉ，ｙ＋ｊまでの単調に増加する距離とｅ（ｐ）を関連させる関数を表し、かつ前記関数が０と１との間の値に帰する請求項１に記載の方法。
【請求項５】
前記エッジ情報の前記重みが、最大エッジ強度を有する画素にノットを有する矩形関数であり、かつ前記重みが
【数１０】
2007527567.tif 000061
で表され、ここで、
【数１１】
2007527567.tif 000062
が画素ｐ０から画素ｐｉ，ｊまでの直線上に位置するあらゆる画素を表し、ｅ（ｐ）が画素ｐにおける０と１間のエッジ強度を表し、
【数１２】
2007527567.tif 000063
が最大エッジ強度を有する画素を表し、かつその０と１との間のエッジ強度をｅ（ｐｅ）が表し、
【数１３】
2007527567.tif 000064
が画素ｐ０と画素ｐｉ，ｊとの間の計量距離を表し、
【数１４】
2007527567.tif 000065
が画素ｐ０と画素ｐｅとの間の計量距離を表し、かつＲが前記コンボリューションマスクの半径を表す請求項１に記載の方法。
【請求項６】
前記エッジ情報が、周囲のエッジ画素に近い各画素に低い重みを与える請求１に記載の方法。
【請求項７】
前記エッジ情報が、
【数１５】
2007527567.tif 000066
で表され、ここで、ｐｘ＋ｉ，ｙ＋ｊが座標（ｘ＋ｉ，ｙ＋ｊ）の重みを与える画素を表し、ｐ（ｒｃ）が画像の画素ｐｘ＋ｉ，ｙ＋ｊからの距離ｒｃであるエッジ画素を表し、ｅ（ｐ（ｒｃ））が画素ｐ（ｒｃ）における０と１との間のエッジ強度を表し、ｆ’（）がｅ（ｐ（ｒｃ））を単調に増加する距離ｒｃに関連させる関数を表し、かつ前記関数が０と１との間に帰する請求項１に記載の方法。
【請求項８】
前記エッジ情報の前記重みが、影響を与えるエッジ画素からの距離である線形関数であり、前記重みが、
【数１６】
2007527567.tif 000067
で表され、
【数１７】
2007527567.tif 000068
が座標（ｘ＋ｉ，ｙ＋ｊ）において重みを与える画素ｐｘ＋ｉ，ｙ＋ｊからエッジ画素ｐ（ｒｃ）までの距離を表し、ｅ（ｐ（ｒｃ））が画素ｐ（ｒｃ）における０と１との間のエッジ強度を表し、かつＲｃがエッジの影響の半径を表す請求項１に記載の方法。
【請求項９】
前記エッジ情報が、その色を計算中である前記画素からエッジの反対側にある各画素に低い重みを与え、かつ周囲のエッジ画素に近い各画素に低い重みを与える請求項１に記載の方法。
【請求項１０】
前記エッジ情報が、
【数１８】
2007527567.tif 000069
で表され、ここで、ｐｘ，ｙが座標（ｘ，ｙ）のコンボリューションにより再生成される画素を表し、ｐｘ＋ｉ，ｙ＋ｊが座標（ｘ，ｙ）の重みが与えられる画素であり、
【数１９】
2007527567.tif 000070
が線ｐｘ，ｙ乃至ｐｘ＋ｉ，ｙ＋ｊのセグメント上の全画素であり、ｅ（ｐ）が画素ｐにおける０と１との間のエッジ強度を表し、ｐｒが画像の画素ｐｘ＋ｉ，ｙ＋ｊから画素ｐｒまでの距離ｒであるエッジ画素を表し、ｆ（）が中心画素ｐｘ，ｙから画素ｐまでの単調に増加する距離にｅ（ｐ）を関連させる関数を表し、かつ前記関数が０と１との間に帰すると共に、ｆ’（）がｅ（ｐｒ）を単調に増加する距離ｒに関連させる関数であり、かつ該関数が０と１との間の値を有する請求項９に記載の方法。
【請求項１１】
エッジ情報の検出の前にスムージング過程に更に有する請求項１に記載の方法。
【請求項１２】
エッジ情報の検出の前にスムージング過程を更に有する請求項９に記載の方法。
【請求項１３】
画像のスケーリングに使用する請求項１に記載の方法。
【請求項１４】
画像のスケーリングに使用する請求項９に記載の方法。
【請求項１５】
前記エッジ情報が、それが反映される前にある増幅レベルで増幅される請求項１乃至８、１１、１３のいずれかに記載の方法。
【請求項１６】
前記エッジ情報が、それが反映される前にある増幅レベルで増幅される請求項９、１０、１２、１４のいずれかに記載の方法。
【請求項１７】
周囲のエッジ画素に近い各画素に低い重みを与える前記エッジ情報が、前記コンボリューションの前にマップデータとして準備される請求項１に記載の方法。
【請求項１８】
エッジ情報を用いたコンボリューションの過程からなり、画像を処理するためのコンピュータ実行可能なプログラムを記憶させた読み取り可能な媒体。
【請求項１９】
前記コンボリューションが、
【数２０】
2007527567.tif 000071
で表され、ここでｐｘ，ｙが画像の座標（ｘ，ｙ）の画素を表し、
【数２１】
2007527567.tif 000072
が前記画素ｐｘ，ｙにおける結果画像の色を表し、Ｒがコンボリューションマスクの半径を表し、ｐｉ，ｊが前記マスクの座標
【数２２】
2007527567.tif 000073
の画素を表し、
【数２３】
2007527567.tif 000074
がｐｘ＋ｉ，ｙ＋ｊの画素の元画像の色を表し、ｗＲ（ｐｉ，ｊ）が前記コンボリューションの各参照色の重みを表し、
【数２４】
2007527567.tif 000075
がエッジ情報の重みを表し、かつ
【数２５】
2007527567.tif 000076
がｗＲ（ｐｉ，ｊ）及び
【数２６】
2007527567.tif 000077
のノルムを表す請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２０】
前記エッジ情報が、その色を計算中である前記画素からエッジの反対側にある各画素に低い重みを与える請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２１】
前記エッジ情報が、
【数２７】
2007527567.tif 000078
で表され、ここで、ｐｘ，ｙが座標（ｘ，ｙ）のコンボリューションにより再生成される画素を表し、ｐｘ＋ｉ，ｙ＋ｊが座標（ｘ＋ｉ，ｙ＋ｊ）の重みを与える画素を表し、
【数２８】
2007527567.tif 000079
が画素ｐｘ，ｙから画素ｐｘ＋ｉ，ｙ＋ｊまでの線のセグメント上の全画素を表し、ｅ（ｐ）が画素ｐにおけるエッジ強度を表し、かつｆ（）が中心画素ｐｘ，ｙから画素ｐｘ＋ｉ，ｙ＋ｊまでの単調に増加する距離とｅ（ｐ）を関連させる関数を表し、かつ前記関数が０と１との間の値に帰する請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２２】
前記エッジ情報の前記重みが、最大エッジ強度を有する画素にノットを有する矩形関数であり、かつ前記重みが
【数２９】
2007527567.tif 000080
で表され、ここで、
【数３０】
2007527567.tif 000081
が画素ｐ０から画素ｐｉ，ｊまでの直線上に位置するあらゆる画素を表し、ｅ（ｐ）が画素ｐにおける０と１間のエッジ強度を表し、
【数３１】
2007527567.tif 000082
が最大エッジ強度を有する画素を表し、かつその０と１との間のエッジ強度をｅ（ｐｅ）が表し、
【数３２】
2007527567.tif 000083
が画素ｐ０と画素ｐｉ，ｊとの間の計量距離を表し、
【数３３】
2007527567.tif 000084
が画素ｐ０と画素ｐｅとの間の計量距離を表し、かつＲが前記コンボリューションマスクの半径を表す請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２３】
前記エッジ情報が周囲のエッジ画素に近い各画素に低い重みを与える請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２４】
前記エッジ情報が、
【数３４】
2007527567.tif 000085
で表され、ここで、ｐｘ＋ｉ，ｙ＋ｊが座標（ｘ＋ｉ，ｙ＋ｊ）の重みを与える画素を表し、ｐ（ｒｃ）が画像の画素ｐｘ＋ｉ，ｙ＋ｊからの距離ｒｃであるエッジ画素を表し、ｅ（ｐ（ｒｃ））が画素ｐ（ｒｃ）における０と１との間のエッジ強度を表し、ｆ’（）がｅ（ｐ（ｒｃ））を単調に増加する距離ｒｃに関連させる関数を表し、かつ前記関数が０と１との間に帰する  請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２５】
前記エッジ情報の前記重みが、影響を与えるエッジ画素からの距離である線形関数であり、前記重みが、
【数３５】
2007527567.tif 000086
で表され、
【数３６】
2007527567.tif 000087
が座標（ｘ＋ｉ，ｙ＋ｊ）において重みを与える画素ｐｘ＋ｉ，ｙ＋ｊからエッジ画素ｐ（ｒｃ）までの距離を表し、ｅ（ｐ（ｒｃ））が画素ｐ（ｒｃ）における０と１との間のエッジ強度を表し、かつＲｃがエッジの影響の半径を表す請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２６】
前記エッジ情報が、その色を計算中である前記画素からエッジの反対側にある各画素に低い重みを与え、かつ周囲のエッジ画素に近い各画素に低い重みを与える請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２７】
前記エッジ情報が、
【数３７】
2007527567.tif 000088
で表され、ここで、ｐｘ，ｙが座標（ｘ，ｙ）のコンボリューションにより再生成される画素を表し、ｐｘ＋ｉ，ｙ＋ｊが座標（ｘ，ｙ）の重みが与えられる画素であり、
【数３８】
2007527567.tif 000089
が線ｐｘ，ｙ乃至ｐｘ＋ｉ，ｙ＋ｊのセグメント上の全画素であり、ｅ（ｐ）が画素ｐにおける０と１との間のエッジ強度を表し、ｐｒが画像の画素ｐｘ＋ｉ，ｙ＋ｊから画素ｐｒまでの距離ｒであるエッジ画素を表し、ｆ（）が中心画素ｐｘ，ｙから画素ｐまでの単調に増加する距離にｅ（ｐ）を関連させる関数を表し、かつ前記関数が０と１との間に帰すると共に、ｆ’（）がｅ（ｐｒ）を単調に増加する距離ｒに関連させる関数であり、かつ該関数が０と１との間の値を有する請求項２６に記載のコンピュータ読み取り可能な媒体。
【請求項２８】
前記プログラムが更に、エッジ情報の検出の前にスムージング過程を有する請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項２９】
前記プログラムが更に、エッジ情報の検出の前にスムージング過程を有する請求項２６に記載のコンピュータ読み取り可能な媒体。
【請求項３０】
前記プログラムが画像のスケーリングに使用される請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項３１】
前記プログラムが画像のスケーリングに用いられる請求項２６に記載のコンピュータ読み取り可能な媒体。
【請求項３２】
前記エッジ情報が、それが反映される前にある増幅値で増幅される請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項３３】
前記エッジ情報が、それが反映される前にある増幅値で増幅される請求項２６に記載のコンピュータ読み取り可能な媒体。
【請求項３４】
周囲のエッジ画素に近い各画素に低い重みを与える前記エッジ情報が、前記コンボリューションの前にマップデータとして準備される請求項１８に記載のコンピュータ読み取り可能な媒体。
【請求項３５】
受け取った画像を処理するプロセッサであって、前記プロセッサが画像を受け取るための入力と、処理した画像を出力するための出力とを有し、前記プロセッサが前記画像からエッジマップの生成、前記エッジマップから拘束されたマスクの生成、前記拘束されたマスクに基づく拘束されたコンボリューション、及び前記拘束されたコンボリューションに基づく前記画像の処理の各過程を実行するプロセッサ。
【請求項３６】
前記エッジマップの生成が、前記画像の少なくとも一部分のスムージング、前記スムージング画像からエッジマップの生成、及び前記拘束されたコンボリューションに基づく前記画像の処理の各過程を実行する請求項３５に記載のプロセッサ。
【請求項３７】
前記拘束されたマスクの生成過程が、その色が計算されている画素からエッジの反対側にある各画素に低い重みを与えて前記画像を処理する請求項３５に記載のプロセッサ。
【請求項３８】
前記拘束されたマスク生成過程が、周囲のエッジ画素に近い各画素に低い重みを与えて前記画像を処理する請求項３５に記載のプロセッサ。
【請求項３９】
受け取った画像を処理するプロセッサであって、前記プロセッサが画像を受け取るための入力と、処理した画像を出力するための出力とを有し、前記プロセッサが前記画像からエッジマップの生成、前記エッジマップから拘束されたマスクの生成、前記拘束されたマスクに基づく拘束されたコンボリューション、及び前記拘束されたコンボリューションに基づく前記画像の処理の各過程を実行し、
前記拘束されたマスクの生成過程が、その色が計算されている画素からエッジの反対側にある各画素に低い重みを与えて前記画像を処理し、
前記拘束されたマスク生成過程が、周囲のエッジ画素に近い各画素に低い重みを与えて前記画像を処理するプロセッサ。
【請求項４０】
画像を受け取るための入力を有する前記プロセッサが、画像をアップサンプルする過程、画像をアップサンプルした画像に置き換える過程、前記拘束されたコンボリューションに基づいて前記画像を処理する過程を実行する請求項３５に記載のプロセッサ。
【請求項４１】
画像を受け取るための入力を有する前記プロセッサが、画像をアップサンプルする過程、画像をアップサンプルした画像に置き換える過程、前記拘束されたコンボリューションに基づいて前記画像を処理する過程を実行する請求項３９に記載のプロセッサ。
【発明の詳細な説明】
【関連出願】
【０００１】
本願は、Mikheev，Domingo，Sukegawa，Kawasakiの７月２日付米国特許出願番号第６０／４８３，９００号、発明の名称「Image Sharpening with Region Edge Sharpness Correction」、及びMikheev，Domingo，Sukegawa，Kawasakiの２００３年７月２日付米国特許出願第６０／４８３，９２５号、発明の名称「Image Sharpening with Region Edge Sharpness Correction」に基づく優先権を主張する。これら両出願の内容は、その全体が本願に明確に組み込まれている。
【技術分野】
【０００２】
本発明の側面は画像の処理に関する。より詳細に言えば、本発明の側面は、領域エッジシャープネス、その認知された幾何学的形状及び領域エッジコントラストの少なくとも１つを補正する画像シャープニング法に関する。更に、これらの画像シャープニング法は、シャープニングすべき画像が従来のスケーリング法を用いて以前に拡大されていた画像であるような用途に適している。
【背景技術】
【０００３】
デジタルイメージ処理は、消費者がフィルムに基づいたカメラをデジタルのものに置き換えるに従って、ますます普及してきている。また、美術家はより伝統的な手による描画や線描によるものよりむしろ、デジタルキャンバスを用いて画面上の作品を創作している。デジタル画像を得るための普及している別の方法は、既存の美術作品をスキャニングしてデジタル表現又はデジタル形式にすることによるものである。デジタル媒体によって、できることにフレキシビリティが得られつつ、画像の解像度（解像度は本願明細書においてデジタル画像の画素の合計数を言うものとする）により制限され、かつこれは一般に画像を生成するのに使用されていた媒体の品質（例えば、使用されるデジタルカメラやスキャナの解像度）に関連づけられる。最も一般的なグラフィカルツールによって、デジタル画像のコントラスト又はブライトネスのような認知された品質を改善しようとするフィルタの組が提供される。デジタル画像の認知された品質を改善するための別の周知の方法は、シャープニングフィルタである。このようなフィルタは、ぼやけた画像のシャープネスを改善するために使用される。画像の解像度を増す別の方法には、新しい画素を生成することにより、より大きなサイズに画像をスケーリングすることによるものがある。
【０００４】
多分、シャープニングフィルタの最も一般的な使い方は、拡大された画像のポストプロセシングフィルタとしてのものである。画像拡大処理は一般に、ユーザが認知した情報の量を維持しようとしつつ、既存の情報から新しい情報を作り出す何らかの人為的な方法に関わるものである。画像を拡大するための一般的な方法には、各画素を多数の同一の画素で置き換えることが含まれる。例えば、倍率が４の場合、各画素を１６個の画素で置き換える。別のより高度な拡大方法が可能であり、通常は隣接する画素の色情報を処理して新しいものを作り出すことに関わる。これらの方法は一般に補間法と呼ばれており、その最も普及しているものがバイリニア即ち双一次及びバイキュービック即ち双三次補間法である。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
補間アルゴリズムの１つの問題は、特に領域エッジの周囲にぼやけが見える画像を生成する傾向があることであり、それは、隣接する画素の組みを混ぜ合わせる傾向があるからである。シャープニングフィルタは一般的に使用される解決策である。最も一般的な画像処理ツールにおいて見ることができる「アンシャープマスク」と呼ばれるような高度なシャープニング方法は、画像の全体的なぼやけを改善し、かつ所定のエッジの周囲のコントラストを増す傾向があるのに対し、エッジジオメトリを改善したり、元の画像に現れるギザギザ即ちジャギーを効果的に取り除くことはない。従って、ぼやけやジャギーを生じたエッジを有する画像に良好に働く画像シャープニングの新しい方法が必要である。
【課題を解決するための手段】
【０００６】
本発明の側面は、上述した１つ又は複数の問題を目的とし、それにより改善された画像シャープニング方法を提供し、それにより、より良い結果画像を作成することにある。本発明の側面は、画像のエッジを決定することである。次に、好適な実施例として、従来得られたエッジ情報を用いて、画像の色の透過性重みマップ及び信頼性重みマップを作ることができる。最後に、エッジ境界に関する制約されたコンボリューションを実行し、結果画像を作成する。本発明のこれらの側面及び他の側面を以下に詳細に記載する。
【発明を実施するための最良の形態】
【０００７】
本発明の側面は、ぼやけ及びジャギーを有する画像のシャープニングに関する。以下の説明は、読みやすくするために複数の部分、即ち画像シャープニングの概説、画像シャープニング処理、各実施例の詳細な説明、用語、エッジ拘束コンボリューション、コンボリューション、基底重み、スムージングによるエッジ検出、透過性重み計算、信頼性マップの生成、透過性及び信頼性との積、及び追加処理に分割されている。
【０００８】
画像シャープニングの概説
ぼやけたりジャギーを生じたエッジを有する画像は、シャープニングフィルタを用いることにより強調することができる。高度なシャープニングアルゴリズムは、画像のぼやけの一部分を取り除くが、画像のギザギザ即ちジャギーを取り除くことはない。これは特に、シャープニングフィルタが、バイキュービック即ち双三次又はバイリニア即ち双一次のような補間法に基づく標準的な画像スケーリングアルゴリズムを用いて先に拡大されている画像について適用する場合に明らかである。図１Ａは、バイリニア補間法で８００％に拡大された線の画像を示している。この線はぼやけているだけでなく、明らかにギザギザのエッジを含んでいる。図１Ｂは、この問題を解決する一般的な方法を示しており、アンシャープマスクフィルタを適用して画像のシャープネスを改善している。画像全体のシャープネスが改善されかつぼやけが部分的に取り除かれているが、エッジは依然としてギザギザになっている。図１Ｃは、画像のぼやけだけでなく、ジャギーを生じたエッジも取り除くシャープネスアルゴリズムの結果の一例を示している。図１Ｃは、図１Ａの画像から本発明の１つ又は複数の側面に従って生成したものである。
【０００９】
本発明の少なくともいくつかの側面は、画像のぼやけを取り除くと共に、ジャギーを生じたエッジを補正することにより、画像全体のシャープネスを強化しようとするものである。本発明の側面は、エッジ検出、信頼性マップ及び透過性重み、並びにエッジ検出からの領域エッジ拘束に基づくコンボリューションの様々な組み合わせを用いて、これを達成することができる。
【００１０】
ぼやけ、ピクセレーション／又はジャギーを生じたエッジを維持しかつ補正する画像シャープネスは、本発明の１つ又は複数の側面を用いて達成することができる。以下は、４つの主な点をまとめたものである。本発明の側面は、以下の点の全部を用いなくても実行できることがわかる。
【００１１】
Ｉ．画像のエッジマップを作成して、該画像のどの領域においていくつかの画素の色を復帰させる必要があるかを決定する。更に、スムージングプロセスをエッジマップの作成前に適用する場合には、前記画像がピクセレーションを有しかつ／又はジャギーを生じたエッジを有する場合でさえ、非常に精細でスムーズなエッジを得ることができる。図２は、ピクセレーションを有するエッジから得られたスムーズなエッジを示している。
【００１２】
II．エッジにぼやけやジャギーを生じた画像の品質を改善するためには、各画素の色が、画像のエッジ情報に関するその位置により決定される所定の重みに関して重み付けされる場合に周囲の画素の色を組み合わせることによりぼやけた画素を再生成できるように、エッジ領域（エッジ又はエッジの付近）になる画素にコンボリューションを適用することができる。図４Ａ及び図４Ｂは、エッジ付近のぼやけた領域における画素の例、及びコンボリューションをどのように適用してその画素の色をそれに隣接する画素にエッジ情報を用いることにより再生するかを示している。
【００１３】
III．エッジ情報の或る実施例では、参照画素の色の再構成画素の色への影響（例えば、コンボリューションにおいて）を決定する場合に、その決定には、前記参照画素が画像の領域エッジの前記再構成画素の反対側に位置するかどうかが含まれる。これは、色が境界で大きく変化するという特徴をエッジが有するからである。この情報をコンボリューションを用いる場合、ぼやけノイズを抑制することができる。
【００１４】
IV．エッジ情報の或る実施例では、画像の領域エッジの参照画素の色の確実性を決定する場合に、その画素のエッジまでの距離が、ジャギーノイズを有する参照色情報の境界の位置がスムージングしたエッジ情報の位置に対応しないことから、別の要素である。エッジ線と同じ側にある参照画素でさえ、エッジに近い場合には、異なる色を有する可能性が高い。参照画素の色の信頼性が低くなると、画像の領域エッジにより近くなる。別言すれば、参照画素の色の正確さの信頼性は、最も近い領域エッジまでの距離の単調に減少する関数である。この情報をコンボリューションに用いた場合、ぼやけ及びジャギーノイズを抑制することができる。
【００１５】
画像シャープニングプロセス
図２は、画像２０１が非常にジャギー及びピクセレーションを生じたエッジ２０３を有する場合の実施例を示している。スムージングプロセスを適用して、前記画像へのピクセレーションノイズを取り除くことができる。次に、一般的なエッジ検出プロセスを適用することができる。図２は、本明細書中に記載する１つ又は複数のプロセスに従うことによって得ることができるスムーズな結果エッジ２０２を示している。
【００１６】
図４Ａ及び図４Ｂは、コンボリューションをどのように適用して、エッジに隣接するぼやけた領域の画素の色を再構成できるかを示している。ここで、図４Ａのエッジ領域４０２に隣接する画像４０１の画素Ａは、周囲の開口４０３からの画素の色値を用いて、図４Ｂに示すように画素Ａの結果色を決定する。
【００１７】
図５は、３つの画素Ａ、Ｂ、Ｃを有する画像５０１を示している。再構成する画素Ａが開口５０２の中心に位置し、画素Ａと参照色を有する画素Ｂとの間にエッジ５０３（直線）が存在する。画素Ａと同じエッジ側にある領域５０４は、高い透過性を有する（画素を画素Ａから遮断するエッジが無い）ということができる。しかしながら、エッジ５０３の画素Ａとは反対側にある領域５０５は、透過性が低いと言うことができる。同様に、透過性の重みは、画素Ａを中心とする開口内の各画素について定義することができる。その場合、画素Ｃの透過性重みは大きくなるのに対し、画素Ｂの透過性重みは低くなる。従って、画素Ａにコンボリューションを適用するとき、画素Ｂの重みは低く、かつその色は、画素Ａについて再生される新しい色への影響が低いことになる。他方、画素Ｃの色は重みが大きく、かつその色は画素Ａの新しい色により大きな影響を与えることになる。
【００１８】
図６Ａは、ジャギーを生じたエッジ６０２と理想的に先鋭な下側のエッジ６０３とを有する画像６０１を示している。同図からわかるように、エッジに近いいくつかの画素は、ギザギザのエッジがエッジ６０３を繰り返し横切っているので、間違った色を有する。従って、ギザギザのエッジ６０２に近い画素の参照色は、実際には高い精度をもって決定することができない。図６Ｂは、再生成する画素Ａを中心とする開口６０４がある画像を示している。参照画素Ｂはエッジに近い領域内にあり、かつ従ってその参照色は高い精度で決定することができない。この場合、その画素Ｂの色は信頼性が低い。他方、参照画素Ｃはエッジ６０３から十分に遠い領域内にあり、かつ従ってその参照色は高い信頼性をもって受け入れることができる。画素Ａにコンボリューションを適用してその色を再構成する場合、参照画素Ｂは、（画素Ｂは信頼性の重みが低くなることから）画素Ａの新しい色に与える影響を、（高い信頼性重みを有することになる）参照画素Ｃよりも少なくすべきである。
【００１９】
図７は、本発明の側面に従って領域エッジを維持しつつ画像をシャープニングするための方法を示している。元画像７０１を処理する。まず、ステップ７０２でエッジマップを作成する。サブステップ７０３及び７０４がステップ７０２内に示されている。スムージングフィルタをステップ７０３で適用する。次に、ステップ７０４で、エッジ検出７０４を実行し、その結果エッジマップ７０５を得る。
【００２０】
次に、拘束されたマスクの生成をステップ７０６で実行する。まず、ステップ７０７で信頼性マップを生成し、その結果信頼性マップ７０８を得る。また、エッジマップ７０５を用いて、ステップ７１０で各画素の透過性のレベルを決定する。透過性決定７１０は、拘束されたマスクの設定７１１において信頼性マップ７０８及びコンボリューションの基底重み７０９と組み合わされる。コンボリューションの基底重みは（以下に記載するように）、所定の画素からの距離に基づく画素に適用される重みである。コンボリューションの基底重みによって、より近い画素は所定の画素の色により大きな影響を与え、より遠い画素は画素の色に与える影響が少ない。
【００２１】
最後に、拘束されたマスクの設定７１１を最初の元画像７０１と組み合わせて、拘束されたコンボリューション７１２での色を引用し、結果画像７１３を生成する。このシステムは、ステップ７１０まで繰り返し戻って、全画素についてコンボリューションを決定する。
【００２２】
各実施例の詳細な説明
用語
エッジ領域：所定のエッジ検出プロセスを用いた後に特定の画像から抽出したエッジ。特に、非常に薄くかつスムーズなエッジを得るエッジ検出プロセスが有用である。これを実行する１つの方法は、エッジ検出アルゴリズムが適用される前にスムージングプロセスを適用することによるものである。図３Ａは、画像のエッジ領域の実施例を示している。図３Ｂ及び図３Ｄは、ぼやけたギザギザのエッジを有する画像と、スムージング及びエッジ検出プロセスを適用した後に得られる結果エッジ領域（ライン画素がエッジ領域内にあるのに対し、黒い画素はそうでない）を示している。
【００２３】
ブロック領域：この領域は、エッジから所定の距離内にある画素の組として定義される。エッジからの距離は、エッジの「影響半径」と称する。ブロック領域内の画素は、以下に記載する拘束されたコンボリューションにより改善される画素である。一般に、「影響半径」は、エッジからジャギーを生じた全ての画素がブロック領域内に含まれるように十分大きく選択すべきである。図３Ａは、画像のブロック領域の実施例を示している。図３Ｅは、画像のエッジ領域及びその対応するブロック領域を示している。
【００２４】
フリー領域：この領域は、エッジ領域及びブロック領域のいずれにも無い全ての画素を含む。図３Ａは、図３Ｅ（フリー領域の画素は画像内でグレーである）と同様にフリー領域の実施例を示している。フリー領域内の画素には拘束されたコンボリューションが適用されていないが、それはこれらの画素が補正を必要としないからである。
【００２５】
画像データ：画像Ｉの寸法をｎ，ｍとする。前記画像の各画素は、０≦ｘ＜ｎ及び０≦ｙ＜ｍとした場合に、ｐｘ，ｙ＝（ｘ，ｙ）で示される（ｐはｐｘ，ｙの省略形である）。
【００２６】
画像の開口：画像Ｉ及び画素
【数３９】
2007527567.tif 000003
【００２７】
としたとき、半径Ｒの円形開口
【数４０】
2007527567.tif 000004
【００２８】
は、中心の画素ｐ０（ＡはＡｐ０，Ｒの省略形である）から最大Ｒのユークリッド距離にある画素の組である。
【００２９】
エッジマップ：特定の画像Ｉについて、エッジマップＥσは、前記画像の各画素の重みの組を有する。パラメータσは、ジャギー及び／又はピクセレーションノイズを取り除くスムージングのレベル（ガウスフィルタの標準偏差）を示す。特定の画素ｐ∈Ｉについて、そのエッジマップＥσの重みはｅσ（ｐ）で表される。（ＥはＥσの省略形であり、かつｅ（ｐ）はｅσ（ｐ）の省略形である。）
【００３０】
【数４１】
2007527567.tif 000005
【００３１】
エッジ拘束コンボリューション
エッジ拘束コンボリューションは、どの新しい色値を各画素に適用すべきかを決定する。
【００３２】
エッジ拘束コンボリューションは、元画像におけるエッジ強度情報の検出及び検出したエッジ情報に基づくコンボリューションの各過程を含んでいる。
【００３３】
ｗＥがエッジ情報を作るとき、コンボリューションは、
【００３４】
【数４２】
2007527567.tif 000006
【００３５】
で表され、ここでｐ０は元の又は／及び結果の画像における座標（ｘ０，ｙ０）の画素を表す。
【数４３】
2007527567.tif 000007
【００３６】
は結果画像の目的画素ｐ０の色値を示し、
【数４４】
2007527567.tif 000008
【００３７】
は元画像の周囲の画素ｐ０の画素ｐｉ，ｊの色値を表し、Ｒはコンボリューションマスクの半径を表し、ｐｉ，ｊはコンボリューションマスク内の座標（ｘ０＋ｉ，ｙ０＋ｊ），
【数４５】
2007527567.tif 000009
【００３８】
を有する画素を表し、ｗＥ（ｐｉ，ｊ）は画像の重みエッジ情報を表し、ｗＲ（ｐｉ，ｊ）はコンボリューションにおける元画像の画素の基底重みを表し、
【数４６】
2007527567.tif 000010
【００３９】
はｗＲ（ｐｉ，ｊ）及びｗＥ（ｐｉ，ｊ）のノルムを表す。
【００４０】
エッジ拘束コンボリューションは、ブロック領域内の画素についてのみ適用することができる。画素がフリー領域に属する場合には、拘束コンボリューションを、考慮されている画素までの距離が増加するにつれて重みが減少する画素の色を平均化する通常のコンボリューションに置き換えることができる。
【００４１】
コンボリューションの基底の重み
コンボリューションに基づいた重みについては、多くの選択をすることができる。使用可能な関数の１つは、あらゆる
【数４７】
2007527567.tif 000011
【００４２】
について次のように定義される基底線形重みｗＲ（ｐ）である。
【００４３】
【数４８】
2007527567.tif 000012
【００４４】
図１０Ａ及び図１０Ｂは、上述したように定義されるコンボリューションに基づいた重みの幾何学的解釈を示している。
【００４５】
コンボリューション基底重みについて使用可能な別の関数は、あらゆる
【数４９】
2007527567.tif 000013
【００４６】
について次のように定義される基底の双線形重みｗＲ（ｐ）である。
【００４７】
【数５０】
2007527567.tif 000014
【００４８】
コンボリューション基底重みについて使用可能な更に別の関数は、あらゆる
【数５１】
2007527567.tif 000015
【００４９】
について次のように定義される基底の半球形重みｗＲ（ｐ）である。
【００５０】
【数５２】
2007527567.tif 000016
【００５１】
コンボリューション基底重みについて使用可能な更に別の関数は、あらゆる
【数５３】
2007527567.tif 000017
【００５２】
について次のように定義される基底ガウス重みｗＲ（ｐ）である。
【００５３】
【数５４】
2007527567.tif 000018
【００５４】
コンボリューション基底重みについて使用可能な別の関数は、あらゆる
【数５５】
2007527567.tif 000019
【００５５】
について次のように定義される基底ジンク重みｗＲ（ｐ）である。
【００５６】
【数５６】
2007527567.tif 000020
【００５７】
コンボリューション基底重みについて使用可能な別の関数は、あらゆる
【数５７】
2007527567.tif 000021
【００５８】
について次のように定義される基底双三次重みｗＲ（ｐ）である。
【００５９】
【数５８】
2007527567.tif 000022
【００６０】
これらの方法のいずれかを単独又は組合せて用いて、コンボリューション基底重みを決定し得ることが分かる。
【００６１】
スムージングを伴うエッジ検出
様々なエッジ検出方法を用いることができる。しかしながら、最高の品質を達成するためには、ぼやけた又はギザギザのエッジを有する画像についてスムージングプロセスを適用すべきである。スムージングは一般にエッジ検出の前に行われるが、その後に実行することもできる。エッジは、そのプロセスを適用した結果として、きちんとした連続的なものとなる。スムージングマスクのサイズは、ピクセレーションのレベルを考慮して決定すべきである。特に、スムージングマスクはジャギーを有するエッジ内に存在する全画素に届くようにすべきである。様々なスムージングプロセスが同業者において知られている。
【００６２】
スムージングを実行した後、エッジ検出プロセスを行う。このプロセスは、スムージングプロセスにより生成された画像を入力として取り入れ、かつ画像の重み付けしたエッジマップを生成する。重み付けしたエッジマップは、入力画像の各画素について０と１との間の重みを含んでおり、１に最も近い場合にはエッジがより強くなり、０は画素がエッジでもそれに近くもないことを意味している。エッジ強度情報を最初に探す。次に、エッジ強度情報から稜線を抽出する。このエッジ線情報はエッジマップと呼ばれる。このステップは、中でも公知のキャニーエッジ検出のようなあらゆるエッジ検出アルゴリズムを用いて実行することができる。
【００６３】
図３Ｂは、エッジがぼやけかつジャギーを生じた画像を示している。図３Ｄは、スムージングステップ及びエッジ検出プロセスを適用した後に生成したエッジマップを示している。
【００６４】
透過性重みの計算
拘束されたコンボリューションを用いて画素の色を復活させる際に、一般に計算されている画素の色からエッジの反対側にある画素の色を考慮に入れることは避けるべきである。従って、その色が計算されている画素からエッジの反対側にある画素には低い重みが与えられるべきである。この考え方は、透過性重みの定義で表現される。拘束されたコンボリューションにおける画素の値の処理は、透過性レベルの重み、即ちそれらがエッジの同じ側又は反対側にあるかどうかということに基づいている。
【００６５】
エッジ情報の或る実施例では、透過性重みτ（ｐｉ，ｊ）が、
【００６６】
【数５９】
2007527567.tif 000023
【００６７】
で表され、ここでｐ０が（ｘ０，ｙ０）を中心とするコンボリューションにより再生成される画素を表し、ｐｉ，ｊがその重みを計算している座標（ｘ０＋ｉ，ｙ０＋ｊ）の画素を表し
【数６０】
2007527567.tif 000024
【００６８】
が画素ｐ０から画素ｐｉ，ｊまでの直線上に位置する全ての画素を表し、ｅ（ｐ）が画素ｐにおけるエッジ強度を表し、ｆ（）がその値を０と１との間としかつあらゆる２つのｐ０及びｐｉ，ｊについて連続的でｐに関して単調に増加する関数を表す。
【００６９】
透過性のレベルは、画素の領域エッジまでの距離、画素の開口の中心までの距離、又はこれらに類似するものを含む別の要素を基にすることができる。
【００７０】
最大エッジ強度を有する画素において最大値を有する、矩形関数として表される透過性重みの関数の一例として、前記重みは、
【００７１】
【数６１】
2007527567.tif 000025
【００７２】
として表すことができ、ここで
【数６２】
2007527567.tif 000026
【００７３】
は画素ｐ０から画素ｐｉ，ｊまでの直線上に位置するすべての画素を表し、ｅ（ｐ）は画素ｐにおける０と１との間のエッジ強度を表し、ｐｅ⊆ｐは最大エッジ強度を有する画素を表し、かつその０と１とのエッジ強度をｅ（ｐｅ）で表し、
【数６３】
2007527567.tif 000027
【００７４】
が画素ｐ０とｐｉ，ｊとの間の計量距離を表し、
【数６４】
2007527567.tif 000028
【００７５】
が画素ｐ０と画素ｐｅとの間の計量距離を表し、かつＲがコンボリューションマスクの半径を表す。
【００７６】
図８Ａ及び図８Ｂは、本発明の側面による上記色の幾何学的解釈を示している。画像８０１において、エッジ８０２の画素ｐ０に近い側には、開口８０３内の画素が１の透過性を有する。反対側では、透過性がエッジ強度（ここでは１−ｅ（ｐｅ）である）により決定される。これが図８Ｂに図示されている。これは、より一般的な形体で交互に１−ｅ（ｐｍｋ）又は１−ｅ（ｐｎｋ）と表すことができる。
【００７７】
別の実施例では、透過性のレベルを、閾値より大きいエッジ強度を有する最も直近の画素に変位点を有する矩形関数に関連させることができる。この重みは、
【００７８】
【数６５】
2007527567.tif 000029
【００７９】
として表すことができる。この式において、
【数６６】
2007527567.tif 000030
【００８０】
は、コンボリューションにより再生成される各中心画素ｐ０からその重みが画像に与えられる画素ｐｉ，ｊまでの閾値より大きいエッジ強度を有する最も直近の画素を表し、ｅ（ｐｅ）が画素ｐｅにおける０と１との間からなるエッジ強度を表し、
【数６７】
2007527567.tif 000031
【００８１】
が画素ｐ０から画素ｐｉ，ｊまでの距離を表し、
【数６８】
2007527567.tif 000032
【００８２】
が画素ｐ０から画素ｐｅまでの距離を表し、かつＲがコンボリューションマスクの半径を表す。
【００８３】
別の実施例では、透過性のレベルを、画素の領域エッジまでの距離、画素の開口の中心までの距離、又はこれに類似するものを含む別の要素を基にすることができる。この重みは、
【００８４】
【数６９】
2007527567.tif 000033
【００８５】
で表すことができる。ここで、
【数７０】
2007527567.tif 000034
【００８６】
は（ｘ，ｙ）の座標でコンボリューションにより再生成される画素ｐ０から重みを与える画素ｐｉ，ｊまでの距離を表し、
【数７１】
2007527567.tif 000035
【００８７】
は各画素ｐ０から、ｐ０からの閾値よりも大きいエッジ強度を有する直近の画素である画素ｐｅ、又は画素ｐ０からｐｉ，ｊまでの直線上の最大エッジ強度を有する画素ｐｅまでの距離を表し、かつＲはコンボリューションマスクの半径を表す。
【００８８】
図１８は、上述したように定義される透過性重みの幾何学的解釈を示している。この方法は、図８Ｂのそれよりも簡単な方法を提供する。透過性重みは、閾値よりも大きいエッジ強度又は最大エッジ強度を有する直近の画素を基にすることができる。
【００８９】
更に別の実施例では、透過性のレベルを、領域エッジまでの画素の距離、開口の中止までの画素の距離、又はこれらに類似するものを含む他の要素を基にすることができる。複数のエッジ線については、それを超えて重みが徐々に減少する場合に、重みを
【００９０】
【数７２】
2007527567.tif 000036
【００９１】
として表すことができる。
【００９２】
図１９は、上述したように定義される透過性重みの幾何学的解釈を示している。図１９は、２つのエッジがある場合の実施例を示している。当然ながら半径Ｒ内に３つ以上のエッジが存在する場合がある。そのような場合には、上記式が異なるエッジ強度を扱い、かつ透過性を低下させる。
【００９３】
更に、これらの透過性重みは単独又は組み合わせて用いることができる。
【００９４】
信頼性マップの生成
生成されたエッジマップを用いて、画像内の有効な色を表す画素の確率を表す信頼性マップを構成することができる。色の変動は、特にピクセレーション、ぼやけ及びジャギーを生じたエッジを有する画像について、色のエッジ近傍で非常に強い。従って、画素の信頼性は一般に、領域エッジに近付くほど減少する。
【００９５】
このため、それらの画素について信頼性の無い色情報が、シャープニングプロセスを適用する際に新しい色の画素の計算に大きく影響する場合がある。このピクセレーションノイズにより影響される虞がある領域を低信頼性領域と言う。低信頼性領域の範囲は、所謂信頼性半径により決定される。コンボリューションを適用して画素の色を再構成する際には、低信頼性領域内の画素に低い重みを与えるべきである。
【００９６】
エッジ情報の或る実施例では、信頼性重みυ（ｐｉ，ｊ）が
【００９７】
【数７３】
2007527567.tif 000037
【００９８】
で表され、ここで、ｐｉ，ｊが重みを計算している座標（ｘ０＋ｉ，ｙ０＋ｊ）の画素を表し、ｐ（ｒｃ）が前記画像の画素ｐｉ，ｊから距離ｒｃにあるエッジ強度ｅ（ｐ（ｒｃ））が０でない画素を表し、かつｆ’（）が、０と１の間の値を有し、特定の画素ｐｉ，ｊについて連続的でｅ（ｐ（ｒｃ））が単調に増加する関数を表す。
【００９９】
上記式は、どのように元画像の各画素の信頼性を計算するかを示している。信頼性重みの計算及び従って信頼性マップの作成が、後で行われて各画素の新しい色を作るコンボリューションから独立していることに気付くことが重要である。
【０１００】
信頼性重みの関数の実施例が、線形関数を用いて定義され、かつその重みが
【０１０１】
【数７４】
2007527567.tif 000038
【０１０２】
で表され、ここで、
【数７５】
2007527567.tif 000039
【０１０３】
がその重みを計算している座標（ｘ０＋ｉ，ｙ０＋ｊ）における画素から０と１との間の０でない重み強度ｅ（ｐ（ｒｃ））を有する画素ｐ（ｒｃ）までの距離を表し、かつＲｃがエッジの影響の半径を表す。
【０１０４】
図９Ａ及び図９Ｂは、上述した信頼性重みの式の幾何学的解釈を示している。図９Ａにおいて各画素Ｐｉ，ｊについて、その信頼性重みがそのエッジ（画素ｐｅにより定義される）までの接近度により決定される。図９Ｂでは、画素の色の信頼性が、それに隣接する領域エッジの強度に反比例している。エッジが無い（エッジ強度＝０）の場合、前記システムは画素の色値に高い信頼性を有する。強いエッジ（エッジ強度＝１）の場合、信頼性は０に低下する。
【０１０５】
信頼性重みυ（ｐｉ，ｊ）は、様々な式を用いることによって係数を変更することができる。信頼性の一般的な式は次のように定義される。
【０１０６】
【数７６】
2007527567.tif 000040
【０１０７】
Ｆｃ（ｐ）の信頼性係数は、単調に減少する。その場合、各部分に見て様々な多項式関数で示すことができる。いくつかの実施例が、式要素が列挙される関数Ｆｃ（ｐ）、ｆｃ（ｐ）及びｐ＝（ｉ，ｊ）に続く。
【０１０８】
信頼性重みの関数の別の実施例では、エッジ強度の増幅が示される。エッジ強度の増幅は、エッジが弱い場合及び／又は画素の色の混合が起こるべきでないところで起こっている場合に用いることができる。エッジ強度の増幅は、エッジに隣接する画素の他の画素への影響を防止するようにエッジの強度を強くする。信頼性重みの基本的な式では、ｅ（ｐｅ）が簡単な用途として係数αにより増幅される。しかしながら、この関数の値は、α×ｅ（ｐｅ）が１を超える場合に０にされる。この重みは、
【０１０９】
【数７７】
2007527567.tif 000041
【０１１０】
で表すことができる。図１４Ａは、点ｐｅにおいて係数αを使用するエッジ強度増幅の幾何学的解釈を示している。
【０１１１】
拘束されたコンボリューションの効果は、エッジに近すぎるこの重みを低くすることによって強調することができる。これは、図１３に示す様々な関数さえ適用することができる。図１３は、上述したように定義される信頼性重みの関数の幾何学的解釈を示している。
【０１１２】
信頼性重みの関数の別の実施例では、バイリニア即ち双一次を使用することができる。バイリニアの利点は、図１４Ａに示すように複雑な関数よりも計算が速いことである。バイリニア関数は、
【０１１３】
【数７８】
2007527567.tif 000042
【０１１４】
で表すことができる。図１４Ｂは、上述したように定義される信頼性重みの関数の幾何学的解釈を示している。
【０１１５】
信頼性重みの関数の別の実施例では、簡単な形での信頼性重みを用いることができる。この場合、前記関数は、
【０１１６】
【数７９】
2007527567.tif 000043
【０１１７】
で表すことができる。例えば、このβは一定の［０，１］又は１−ｅ（ｐｅ）である。
【０１１８】
出力がその結果において幾分厄介になることに注意すべきである。図１５は、上述したように定義される信頼性重みの関数の幾何学的解釈を示している。
【０１１９】
信頼性重みの関数の別の実施例では、半球関数を用いることができる。
【０１２０】
【数８０】
2007527567.tif 000044
【０１２１】
図１６は、上述したように定義される信頼性重みの関数の幾何学的解釈を示している。
【０１２２】
信頼性重みの関数の別の実施例では、上位関数の軸の上の平行移動を用いることができる。現在まで、全ての信頼性関数がｅ（ｐｅ）に比例して低下したにも拘わらず、ｅ（ｐｅ）に対応して上部及び下部においても平行に移動することが効果的である。別言すれば、これは次のように定義される。
【０１２３】
【数８１】
2007527567.tif 000045
【０１２４】
ここで、ｇ（ｐｉ，ｊ）は線形、バイリニア、半球形又はそれ以外である。
【０１２５】
図１７Ａ及び図１７Ｂは、上述したように定義される信頼性重みの関数の幾何学的解釈を示している。
【０１２６】
別の実施例では、エッジの重みが、
【０１２７】
【数８２】
2007527567.tif 000046
【０１２８】
で表すことができる。ここで、
【数８３】
2007527567.tif 000047
【０１２９】
は、（ｘ＋ｉ，ｙ＋ｊ）の座標において重みが与えられる画素ｐｉ，ｊから閾値よりも大きいエッジ強度を有する直近のエッジ画素ｐ（ｒｃ）までの距離を表し、かつＲｃはエッジの影響の半径を表す。
【０１３０】
更に別の実施例では、エッジの重みが、
【０１３１】
【数８４】
2007527567.tif 000048
【０１３２】
で表すことができる。ここで、
【数８５】
2007527567.tif 000049
【０１３３】
は、（ｘ＋ｉ，ｙ＋ｊ）の座標において重みが与えられる画素ｐｉ，ｊからエッジ画素ｐ（ｒｃ）までの距離を表し、ｅ（ｐ（ｒｃ））は、画素ｐ（ｒｃ）における０と１との間からなるエッジ強度を示し、Ｒｃはエッジの影響の半径を示す。
【０１３４】
更に、これらの信頼性重みは単独で又は組み合わせて用いることができる。
【０１３５】
透過性と信頼性との積
エッジ情報の別の用途は、２つの関数の積である。前者は、エッジ情報を用いて、その色が計算されている画素からエッジの反対側にある画素に低い重みを与える重みエッジ情報関数を計算することを特定している。後者は、エッジ情報を用いて、エッジに近い画素に低い重みを与え、かつあらゆるエッジから遠い位置にある画素に高い重みを与える重みエッジ情報関数を計算すべきであることを特定している。
【０１３６】
このステップでは、元画像、信頼性係数マップ及び透過性係数を入力として取り入れ、全ての入力パラメータを組み合わせてエッジシャープネス画像を作り出す各画素へのコンボリューションを実行する。
【０１３７】
上記定義を前提として、元画像の各画素ｐ０について、ConstrainedMaskAを開口Ａｐ０，Ｒ及びＰｉ，ｊ∈Ａに対応するものとして定義する。
【０１３８】
【数８６】
2007527567.tif 000050
【０１３９】
従って、新しい色及び拘束されたコンボリューションは次のように定義することができる。
【０１４０】
【数８７】
2007527567.tif 000051
【０１４１】
画素ｐ０について新しい色が一旦決定されると、このプロセスを画像内の他の画素について繰り返すことができる。
【０１４２】
追加プロセス
上記プロセスを用いて、画像を先鋭化しかつギザギザのエッジを減らすことができる。以下に上述したものと共に又はそれに変えて使用することができる追加のプロセスを示す。
【０１４３】
元画像は、図７における画像７０１として示されるように用いることができる。別の実施例では、図１１に示すように、アップサンプリングプロセス１１０１を図１１に示すように用いることができる。アップサンプリングプロセス１１０１は、拡大プロセスについて用いる場合に効果的である。これは、元の画像のエッジの品質をこのようにして維持する。
【０１４４】
別の方法では、アップサンプリングをエッジ情報及び色情報の処理毎に別個に実行することができる。ここでは、品質をより改善することができる。
【０１４５】
図１２は、更に別の方法を示している。別々にしたアップサンプリングプロセスに従う方法では、アップサンプリングプロセス１１０１及びスムージングプロセス７０３が参照色情報により共有される。アップサンプリング及びスムージングで処理される画像に関し、色情報はその形が良好であるにもかかわらず変えることができる。従って、元の色に戻すプロセスをそれ以上に実行することができる。自然色の画像を２５６色のインデックスカラーのような限定された色の組に従って変更する変換のようなものである。拡大されかつスムージングされた画像の各画素の色は、全ての元の画像が有する色で変更される。元の色に回復することによって、新しい色がアップサンプルした画像に導入されることが防止される。様々な元の色への回復プロセス１２０１を用いることができる。例えば、元の画素から様々な方向（放射状又は基本方位）に色を検討して、画素を他の画素に見られる元の色の１つに制限することができる。各画素について色のヒストグラム及びそれに類似するものを作成しかつ引用することを含む別の方法を用いることができる。
【０１４６】
或る別の方法では、信頼性マップを前もって作らない。むしろ、エッジ拘束コンボリューションにおいて信頼係数を次々に準備する。
【０１４７】
本明細書に記載される様々な関数の作業の大部分は、エッジに沿って行われる。この場合、ギザギザのエッジは、エッジ線から所定の距離の範囲の位置にある画素の色に影響を与える。これが、エッジ拘束コンボリューションの半径及び信頼性関数の半径が加えられる距離である。エッジ線から一定の距離を超えた元画像の部分がフリー領域と呼ばれる。エッジ拘束コンボリューションは、この距離を超えてスムージングフィルタとなる。エッジからこの距離を一旦超えると、エッジ拘束コンボリューションを実行する別のアルゴリズムを抑制して、処理時間を節約することができる。別の実施例では、コンボリューションの半径を縮めて処理を最小にすることができる。
【０１４８】
更に別の方法では、信頼性マップを図２０に示すような信頼性マップ２００２で置き換えることができる。この場合、信頼性係数マップ２００２（エッジ強度反転マップとも称する）をエッジ強度反転マッピングプロセス２００１により作成する。信頼性係数の生成に変えてエッジ強度反転マップを用いた場合には、プロセスの高速化を実現することができる。これは、エッジ強度反転マップがエッジ検出ステップ７０４から決定されるからである。別の効果は、結果画像７１３がより自然になることである。
【０１４９】
これらの様々な信頼性係数の生成を同時に全ての色に適用することができ、又は各色に別個に適用する（例えば、ＲＧＢ系における各コンポーネントに別個に適用し、又はコンポーネントビデオストリームの輝度率に適用する）ことができる。
【０１５０】
図２１Ａ〜図２１Ｂは、通常の信頼性マップ及びエッジ強度反転マップの様々な実施例を示している。図２１Ａは通常の信頼性マップを示している。図２１Ｂは、エッジ検出ステップ７０４に基づいて色の変化を決定することにより作成されるエッジ強度反転マップを示している。
【０１５１】
図２２Ａは元画像を示している。図２２Ｂはエッジ強度マップを示している。図２２Ｃはエッジ強度反転マップを示している。図２２Ａにおいて変化する色の強い領域は、図２２Ｂにおいて参照色の信頼性が低い領域となる。
【０１５２】
図２３は、本発明の側面による様々な位置における画像処理の実施例を示している。元画像が画像２３０１として示されている。元画像のグレースケールバージョンが２３０２として示されている。スムージングしたバージョンが２３０３として示されている。エッジ強度マップから得られた画像が画像２３０４として示されている。エッジ（又はライン）マップ２３０５が次に示されている。これらの結果が信頼性重みマップ２３０６となる。信頼性重みマップ２３０６は、エッジ拘束コンボリューションステップ２３１０において透過性重み２３０７及び基底重み２３０８並びにおそらくは色参照情報２３０９と組み合わされる。その結果が、エッジのギザギザが少なくかつより生きた色を有する画像２３１１である。
【０１５３】
本発明の側面について上述した。別の方法を用いて同じ結果を達成することができる。本発明の技術的範囲は請求項に記載されるとおりである。
【図面の簡単な説明】
【０１５４】
【図１】Ａ図はぼやけ及びジャギーを生じた元画像を示し、Ｂ図は従来のシャープニングの結果画像を示し、Ｃ図は本発明の側面によるフィルタリング後の画像を示している。
【図２】ピクセレーション及びジャギーを持ったエッジ及びスムージング後の実施例を示す図である。
【図３】Ａ〜Ｅ図は、本発明の側面による画像のエッジ領域、ブロック領域及びフリー領域の実施例を示す図である。
【図４】Ａ図及びＢ図は、本発明の側面に従ってエッジ拘束コンボリューションを遮断された画素に適用した実施例を示す図である。
【図５】本発明の側面による透過性の重み概念を説明する図である。
【図６】Ａ図及びＢ図は、本発明の側面に従って画素のエッジに関する相対的な位置による様々な影響の実施例を示す図である。
【図７】本発明の側面によるシャープネスアルゴリズムのフロー図である。
【図８】Ａ図及びＢ図は、本発明の側面による透過性の重み計算を示す図である。
【図９】Ａ図及びＢ図は、本発明の側面による信頼性の重み計算を示す図である。
【図１０】Ａ図及びＢ図は、本発明の側面によるコンボリューションの基底重み関数を示す図である。
【図１１】本発明の側面に従って画像をシャープニングする別の方法を示す図である。
【図１２】本発明の側面に従って画像をシャープニングする別の方法を示す図である。
【図１３】本発明の側面に従って画像をシャープニングする別の方法を示す図である。
【図１４】本発明の側面に従って画像をシャープニングする別の方法を示す図である。
【図１５】本発明の側面に従って画像をシャープニングする別の方法を示す図である。
【図１６】本発明の側面に従って画像をシャープニングする別の方法を示す図である。
【図１７】本発明の側面に従って画像をシャープニングする別の方法を示す図である。
【図１８】本発明の側面に従って画像をシャープニングする別の方法を示す図である。
【図１９】本発明の側面に従って画像をシャープニングする別の方法を示す図である。
【図２０】本発明の側面に従ってエッジ強度反転マップを用いる任意の手法を示す図である。
【図２１】本発明の側面に従ってエッジ強度反転マップを用いる任意の手法を示す図である。
【図２２】Ａ図乃至Ｃ図は本発明の側面に従ってエッジ強度反転マップを用いる任意の手法を示す図である。
【図２３】代表的な画像に関する本発明のある側面を示すフロー図である。
【図１】
2007527567.tif 000090
【図２】
2007527567.tif 000091
【図３】
2007527567.tif 000092
【図４】
2007527567.tif 000093
【図５】
2007527567.tif 000094
【図６】
2007527567.tif 000095
【図７】
2007527567.tif 000096
【図８】
2007527567.tif 000097
【図９】
2007527567.tif 000098
【図１０】
2007527567.tif 000099
【図１１】
2007527567.tif 000100
【図１２】
2007527567.tif 000101
【図１３】
2007527567.tif 000102
【図１４】
2007527567.tif 000103
【図１５】
2007527567.tif 000104
【図１６】
2007527567.tif 000105
【図１７】
2007527567.tif 000106
【図１８】
2007527567.tif 000107
【図１９】
2007527567.tif 000108
【図２０】
2007527567.tif 000109
【図２１】
2007527567.tif 000110
【図２２】
2007527567.tif 000111
【図２３】
2007527567.tif 000112
【国際調査報告】
2007527567.tif 000113
2007527567.tif 000114