(57)【特許請求の範囲】
【請求項１】
エッジ平滑化の前に、ノイズおよび高周波変動を減らすべく初期ローパスフィルタを第１の画像に適用するステップと、
前記第１の画像内のエッジを識別するステップであって、前記エッジが、関連するエッジ特徴の組を有し、前記関連するエッジ特徴の組が前記エッジの勾配強度および前記エッジのエッジ方向を含んでいるステップと、
前記勾配強度を判定するステップと、
前記エッジ方向を判定するステップと、
前記エッジ上に存在する複数のピクセルの各々に信頼度を割り当てるステップであって、前記信頼度が、検出されたエッジ方向の精度に対応するステップと、
前記エッジ方向にビン方向を割り当てるステップと、
前記ビン方向にある前記エッジのピクセルに方向ローパスフィルタを適用して前記第１の画像に基づく第２の画像を生成して、前記第２の画像内で前記第１の画像内の前記エッジが平滑化されるようにするステップと、
前記第２の画像および前記第１の画像に基づいて第３の画像を生成するステップであって、前記第３の画像は、前記平滑化されたエッジを有する第２の画像の一部と前記第１の画像の一部を混合することから生成される当該ステップと、を含む画像処理方法であって、
前記第２の画像と前記第１の画像との混合のために使用される乗数は、エッジ方向に関するピクセル信頼度と、エッジの勾配強度値を閾値と比較した結果値との積であることを特徴とする画像処理方法。
【請求項２】
前記エッジの勾配強度値を前記閾値と比較することは、前記エッジの前記勾配強度が前記閾値を超えるまたは等しいか否かという判定を含み、前記閾値が前記第１の画像の所定の領域内のピクセル値の組に基づいて動的に決定される、請求項１に記載の方法。
【請求項３】
前記関連するエッジ特徴の組に基づいて前記エッジの不規則性の組の存在を判定するステップと、
前記不規則性の組のうち１個以上の不規則性を除去するステップとを更に含む、請求項１に記載の方法。
【請求項４】
関連するエッジ特徴の組を有する第１の画像内のエッジを識別するステップと、
前記関連するエッジ特徴の組を決定することであって、前記エッジの方向を判定することを含む当該ステップと、
前記判定されたエッジ方向にビン方向を割り当てるステップと、
前記関連するエッジ特徴の組に基づいて前記エッジのピクセルに方向ローパスフィルタを適用して前記第１の画像に基づく第２の画像を生成して、前記第２の画像内で前記第１の画像内の前記エッジが平滑化されるようにするステップであって、前記ローパスフィルタは前記エッジを平滑化するためにビン方向に沿って適用される当該ステップと、
前記第２の画像及び前記第１の画像に基づき第３の画像を生成するステップであって、前記平滑化されたエッジを有する第２の画像の一部と前記第１の画像の一部を混合することから前記第３の画像を生成する当該ステップと、を含み、
前記第２の画像と前記第１の画像との混合のために使用される乗数は、エッジ方向に関するピクセル信頼度と、エッジの勾配強度値を閾値と比較した結果値との積であることを特徴とする画像処理方法。
【請求項５】
前記第１の画像内の前記エッジを識別する前に、ノイズおよび高周波変動を減らすべく任意選択的に初期ローパスフィルタを前記第１の画像に適用するステップを更に含む、請求項４に記載の方法。
【請求項６】
前記関連するエッジ特徴の組を決定するステップが、前記エッジの水平勾配および垂直勾配から前記エッジの勾配強度を判定するステップを含む、請求項４に記載の方法。
【請求項７】
前記閾値が前記第１の画像の所定の領域内のピクセル値の組に基づいて動的に決定される、請求項４に記載の方法。
【請求項８】
前記エッジに含まれる複数のピクセルの各々に信頼度、すなわち検出されたエッジの方向の精度に対応する信頼度を割り当てるステップを更に含む、請求項４に記載の方法。
【請求項９】
前記関連するエッジ特徴の組に基づいて前記エッジの不規則性の組の存在を判定するステップと、
前記不規則性の組のうち１個以上の不規則性を除去するステップとを更に含む、請求項４に記載の方法。
【請求項１０】
前記不規則性の組の存在が、前記エッジ上の特定のピクセルの勾配強度と隣接ピクセルとの比較により検出される、請求項９に記載の方法。
【請求項１１】
前記初期ローパスフィルタがガウシアンフィルタである、請求項１に記載の方法。
【請求項１２】
前記初期ローパスフィルタのフィルタパラメータの組が前記第１の画像の画像特徴に基づいて調整可能である、請求項１に記載の方法。
【請求項１３】
メモリに接続されていて、前記メモリへのアクセスを制御するメモリコントローラと、
前記メモリに接続された画像プロセッサと、
を含む画像処理システムであって、
前記画像プロセッサが、
第１の画像内のエッジを識別し、
前記エッジの勾配強度を判定し、
前記エッジのエッジ方向を判定し、
前記エッジに配置される複数のピクセルのそれぞれに対して、検出されるエッジ方向の精度に対応する信頼度を割当て、
前記エッジのために決定された前記エッジ方向に対して、ビン方向を割当て、
前記エッジ方向に基づいて前記エッジのピクセルに方向ローパスフィルタを適用して前記第１の画像に基づく第２の画像を生成して、前記第２の画像内で前記第１の画像内の前記エッジが平滑化されるようにし、
前記第２の画像及び前記第１の画像に基づき第３の画像を生成することであって、前記平滑化されたエッジを有する第２の画像の一部と前記第１の画像の一部を混合することから前記第３の画像を生成する、ためのアルゴリズムを実行し、
前記第２の画像と前記第１の画像との混合のために使用される乗数は、エッジ方向に関するピクセル信頼度と、エッジの勾配強度値を閾値と比較した結果値との積である画像処理システム。
【請求項１４】
前記画像プロセッサがビデオプロセッサを更に含む、請求項１３に記載のシステム。
【請求項１５】
前記メモリコントローラ及び前記画像プロセッサに接続されたホストインターフェースを更に含み、前記ホストインターフェースが前記画像プロセッサからリクエストを受信して前記メモリにアクセスする、請求項１３に記載のシステム。
【請求項１６】
前記画像プロセッサが、前記メモリに接続されたビデオキャプチャモジュールを更に含む、請求項１５に記載のシステム。
【請求項１７】
前記システムがセットアップボックスである、請求項１３に記載のシステム。
【請求項１８】
前記システムがブルーレイプレーヤである、請求項１３に記載のシステム。
【請求項１９】
前記システムがＤＶＤプレーヤである、請求項１３に記載のシステム。
【請求項２０】
前記画像プロセッサが、前記メモリに接続されたビデオディスプレイコントローラを更に含む、請求項１３に記載のシステム。
【請求項２１】
動作時に光ディスクを読む光ディスクリーダーと、
前記光ディスクリーダーに接続されたデコーダと、
前記光ディスクリーダーに接続されたメモリと、
前記メモリに接続された画像プロセッサと、を含む光ディスク装置であって、
前記画像プロセッサが、
第１の画像内のエッジを識別し、
前記エッジの勾配強度を判定し、
前記エッジのエッジ方向を判定し、
前記エッジに配置される複数のピクセルのそれぞれに対して、検出されるエッジ方向の精度に対応する信頼度を割当て、
前記エッジ方向に対してビン方向を割当て、
前記エッジ方向に基づいて前記ビン方向にあるエッジのピクセルにローパスフィルタを適用して前記第１の画像に基づく第２の画像を生成して、前記第２の画像内で前記第１の画像内の前記エッジが平滑化されるようにし、
前記第２の画像及び前記第１の画像に基づき第３の画像を生成することであって、前記平滑化されたエッジを有する第２の画像の一部と前記第１の画像の一部を混合することから前記第３の画像を生成する、
ためのアルゴリズムを実行し、
前記第２の画像と前記第１の画像との混合のために使用される乗数は、エッジ方向に関するピクセル信頼度と、エッジの勾配強度値を閾値と比較した結果値との積である光ディスク装置。
【請求項２２】
前記光ディスクリーダーがブルーレイディスクリーダーである、請求項２１に記載の装置。
【請求項２３】
前記光ディスクリーダーがＤＶＤリーダーである、請求項２１に記載の装置。
【請求項２４】
前記光ディスクリーダーがＨＤ−ＤＶＤリーダーである、請求項２１に記載の装置。
【請求項２５】
エッジ平滑化の前に、ノイズおよび高周波変動を減らすための初期ローパスフィルタを第１の画像に適用する手段と、
前記第１の画像内のエッジを識別する手段であって、関連するエッジ特徴の組を有し、
前記関連するエッジ特徴の組が前記エッジの勾配強度および前記エッジのエッジ方向を含んでいる当該エッジを識別する手段と、
前記勾配強度を判定する手段と、
前記エッジ方向を判定する手段と、
前記エッジ上に存在する複数のピクセルの各々に信頼度、すなわち検出されたエッジ方向の精度に対応する信頼度を割り当てる手段と、
前記エッジ方向にビン方向を割り当てる手段と、
前記ビン方向にある前記エッジのピクセルに方向ローパスフィルタを適用して前記第１の画像に基づく第２の画像を生成して、前記第２の画像内で前記第１の画像内の前記エッジが平滑化されるようにする手段と、
前記第２の画像および前記第１の画像に基づいて第３の画像を生成する手段であって、
前記平滑化されたエッジを有する第２の画像の一部と前記第１の画像の一部を混合することから前記第３の画像を生成する当該手段と、
を備えた画像処理システムであって、
前記第２の画像と前記第１の画像との混合のために使用される乗数は、エッジ方向に関するピクセル信頼度と、エッジの勾配強度値を閾値と比較した結果値との積である画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は２００８年９月４日出願の米国特許出願第１２／２０４，７６０号を優先権主張するものであり、その全文を参照により本明細書に引用している。
【背景技術】
【０００２】
人間の視覚系は、画像（例：デジタル画像、物理画像、デジタル映像、物理映像、またはビデオのフレーム）における物体のエッジに極めて敏感である。従って、物理的または電子的画像に存在する（多くの種類のデジタル的に処理されたコンテンツのように）粗い、ギザギザの、または階段状のエッジ等、エッジ内の不規則性は目立つ傾向があり、不都合であり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
画像にこのような不規則エッジが現れるには多くの理由があり、デジタル圧縮からのアーチファクト、低品質なインターレース解除、および画像のデジタルサンプリングにおける解像度の制約が含まれる。さらに、低解像度の画像をより高い解像度に変換した結果、往々にしてスケーリングされた画像内の不規則エッジとして視認可能な元の画像の解像度の制約が生じる。
【図面の簡単な説明】
【０００４】
【図１】一実施形態による、ビデオソースを備えた家庭用娯楽システムを示すブロック図である。
【図２】一実施形態による、ビデオソースにビデオハブが結合された家庭用娯楽システムを示すブロック図である。
【図３】一実施形態による、エッジ平滑化能力を備えた光ディスク装置のブロック図である。
【図４】一実施形態による、エッジ平滑化能力を備えたシステムのブロック図である。
【図５】一実施形態による、エッジ平滑化能力を備えた画像プロセッサのブロック図である。
【図６Ａ】一実施形態による、勾配強度の閾値を決定する方法のグラフ表現である。
【図６Ｂ】一実施形態による、閾値指定勾配強度を判定する方法のグラフ表現である。
【図６Ｃ】一実施形態による、画像ピクセルおよび検出されたエッジ近傍に位置する多数のビンのダイアグラム表現である。
【図７】一実施形態による、画像内のエッジ平滑化を実行する例示的処理を示すフロー図である。
【図８】一実施形態による、検出されたエッジの不規則性を除去する例示的処理を示すフロー図である。
【図９】一実施形態による、動的に決定された勾配強度の閾値に基づいて、エッジ上にピクセルが存在するか否かを判定する例示的処理を示すフロー図である。
【発明を実施するための形態】
【０００５】
以下の記述および図面は例示的であって本発明を限定するものと解釈すべきではない。本開示を完全に理解いただけるよう、多くの具体的な詳細事項を記述している。しかし、特定の例において、説明が分かり難くなるのを避けるため、公知または従来技術の詳細事項は割愛している。本開示における一実施形態への参照は同一実施形態への参照であってよいが、必ずしもそうではない。そのような参照は、各種実施形態の少なくとも１個を意味する。
【０００６】
本明細書における「一実施形態」または「ある実施形態」への参照は、当該実施形態と関連して記述されている特定の特徴、構造、または特性が本開示の少なくとも１個の実施形態に含まれることを意味する。本明細書の各所に出現する「一実施形態において」という語句は必ずしも全て同一の実施形態、あるいは他の実施形態と互いに排他的な別個または代替的な実施形態を参照する訳ではない。更に、ある実施形態に現れるが他のものには現れない各種の特徴も記述している。同様に、ある実施形態の要件であるが他の実施形態ではそうでない各種の要件を記述している。
【０００７】
本明細書で使用する用語は一般に、本開示の文脈内および各用語が用いられる特定の文脈内で当分野における通常の意味を備えた。本開示の記述に関して実施者に追加的な指針を提供すべく、本開示の記述に用いる特定の用語は本明細書の以下または他の箇所で議論される。便宜上、イタリック体および／または引用符を用いて特定の用語を強調表示する場合がある。強調表示の使用は用語の範囲および意味には何ら影響せず、同一文脈において用語の範囲および意味は強調表示の有無によらず同一である。同じことを複数の言い回しで表現できることは言うまでもない。
【０００８】
従って、本明細書で議論する１個以上の用語に対して代替的な言語および同義語を用いる場合があり、ある用語について本明細書で詳述または議論するか否かには何ら特別な重要性が置かれていない。特定の用語の同義語が提供される。１個以上の同義語への言及は、他の同義語の使用を除外しない。本明細書の任意の箇所における実施例の使用は、本明細書で議論する任意の用語の例を含めて例示目的に過ぎず、本開示または例示した用語の範囲および意味を更に限定することは意図していない。同様に、本開示は本明細書に示す各種実施形態に限定されない。
【０００９】
本開示の範囲を更に限定する意図なしに、計器、装置、方法、および本開示の実施形態に従いそれらに関連する結果の例を以下に示す。読者の便宜のため、これらの例においてタイトルまたはサブタイトルを用いることがあるが、本開示の範囲を一切限定するものではない点に注意されたい。別途定めない限り、本明細書で用いる全ての技術および科学用語は本開示が関係する分野の当業者により一般的に理解されているものと同じ意味を備えた。定義を含めて矛盾がある場合、当該文書が統制するものとする。
【００１０】
本開示の実施形態は、デジタル画像およびデジタルビデオにおけるエッジの検出およびエッジの平滑化を行うシステム、方法、および装置を含んでいる。
【００１１】
画像内の不規則なエッジは、低解像度の圧縮コンテンツ（例：ウェブ利用の画像やビデオコンテンツ、ストリーミングコンテンツ等）ではよく見られる。例えば、デジタル画像および／またはデジタルビデオは、ディスク容量を節約および／または送信時間を短縮すべく圧縮されることが多い。従って、デジタル画像またはビデオのフレームは往々にして、解像度が制約されて肉眼には低画質に見える。
【００１２】
ＤＶＤ、ＶＣＤ、ＶＨＳテープ等の旧世代フォーマットよりかなり高い解像度を備えたＨＤ  ＤＶＤおよびブルーレイ等の高解像度フォーマットの場合、異なるビデオフォーマットは解像度が異なる。高品位ソースの解像度は多くの場合直接今日のデジタルディスプレイ装置と互換性を持つのに対し、低解像度の画像およびフォーマットはより大きいディスプレイ画面に合わせるために拡大する必要がある。これを実行した際に、画像内のエッジが拡大され、これらエッジのより低い解像度が肉眼にはっきり見えるようになる。様々なフォーマットに対応しているディスプレイ、メディアプレーヤ、および光ディスクリーダー間で相互に互換性を持たせるには、多くの場合低解像度のフォーマットを異なる解像度に拡大する必要があり、その結果スケーリングされた画像および／またはビデオに粗いまたは不規則なエッジが出現する。
【００１３】
本開示の実施形態は、画像またはビデオのフレーム内のエッジを検出する方法、特に、粗い、ギザギザな、または他の不規則なエッジを備えた画像および／またはビデオを見る際の視覚的不快感を軽減または除去する方法を含んでいる。エッジは、任意の公知で便利な手段またはその任意の変型を介して検出することができる。（例えば、勾配強度で表された）エッジの強度および方向も任意の公知で便利な手段またはその任意の変型を介して典型的に検出される。例えば、画像勾配を用いてエッジが検出された場合、エッジの強度は勾配強度を計算することにより決定し、エッジの方向は勾配の垂直および水平成分を用いてエッジ角の正接を計算することにより決定できる。
【００１４】
一実施形態において、潜在的に存在するエッジの不規則性は、エッジの方向に方向性ローパスフィルタが適用された場合に除去することができ、従って画像の全体的な見栄えが向上する。いくつかの例において、追加的な処理を実行して、更に最適化された画像を生成できる。この更に最適化された画像は、勾配強度およびエッジ方向の決定に基づいてエッジがどの程度「強い」かを表す、検出されたエッジの「精度」に関して定量化されたデータを追跡することにより生成できる。
【００１５】
例えば、更に最適化された画像またはビデオのフレームは、より決定的なエッジを備えた元のコンテンツの部分を平滑化されたソースから取り、より決定的でないエッジを備えた元のコンテンツの部分を元のソースから取るように、元のソースと平滑化されたソースの知的な組合せであってよい。この更に最適化された画像は、勾配強度に基づいてエッジがどの程度「強い」か、およびエッジ方向の決定に基づいてエッジ角がどの程度「整合」しているかを表す検出されたエッジの「精度」に関して定量化されたデータを追跡することから生成できる。
【００１６】
本開示の実施形態は、再生または処理目的のためにビデオコンテンツを受信、生成、または修正する任意の種類の装置に適用できる。当該装置は任意の種類のメディアプレーヤ、ディスプレイ装置、携帯用ビデオプレーヤ（例：ｉＰＯＤ、ｉＰｈｏｎｅ、ｉＰＯＤドック、携帯ＤＶＤプレーヤ等）、携帯電話、デスクトップコンピュータ、ラップトップコンピュータ、ブラックベリー等であってよい。受信されたビデオまたは画像コンテンツは、本開示の新規の態様から逸脱することなく各種のソースからのもであってよく、インターネットコンテンツ（例：ストリーミングまたはダウンロードされた）、ローカル保存されたコンテンツ、リモート装置に保存されたコンテンツ、および／または読み取り可能媒体（例：磁気、光等）に保存されたコンテンツを含むがこれに限定されない。
【００１７】
図１は、一実施形態による、ビデオソース１０４Ａ〜Ｂに接続されたディスプレイ装置１０２を備えたシステム１００を示すブロック図である。
【００１８】
システム１００は、複数のビデオソース１０４Ａ〜Ｂ（例：Ｘｂｏｘ、プレイステーションを含むがこれに限定されないゲームコンソール等の音声／ビデオソース、ＶＣＲを含むがこれに限定されないメディアリーダー、ＣＤプレーヤ、ＤＶＤプレーヤ、ブルーレイプレーヤ、ＨＤ−ＤＶＤプレーヤおよび同様のＡ／Ｖソースを含むがこれに限定されない光ディスク装置）に接続されたディスプレイ装置１０２（例：テレビ受像機、プラズマディスプレイ、ＣＲＴディスプレイ、液晶ディスプレイ、ＬＥＤディスプレイおよび同様のディスプレイ装置）を含んでいる。一実施形態において、ビデオソース１０４Ａ〜Ｂは、画像および／またはビデオエッジを検出および平滑化して、存在し得る任意の潜在的な不規則性を除去する能力を備えている。エッジが平滑化された画像／ビデオは、ディスプレイ装置１０２に表示されたデジタルマルチメディアの視覚的な見栄えを向上させる。同様に、ディスプレイ装置１０２は、画像またはビデオコンテンツ内のエッジを平滑化する能力を備えていてよい。不規則なエッジは、媒体コンテンツ、光ディスク、ビデオソース１０４Ａ〜Ｂ（例：媒体コンテンツの読み取り／復号化を行うハードウェア）、または上記の組合せに固有の制約に起因する場合がある。
【００１９】
図２は、一実施形態による、ビデオソース２０４Ａ〜Ｂに接続されたビデオハブ２５０を備えたシステム２００を示すブロック図である。
【００２０】
例示的なシステム２００は、ビデオソース２０４Ａ〜Ｂ、ディスプレイ装置２０２、およびビデオハブ２５０を含んでいる。ビデオソース２０４Ａ〜Ｂは、ＨＤＭＩコネクタ、アナログビデオコネクタおよび／またはアナログ音声コネクタを介してビデオハブ２５０に接続できる。ビデオハブ２５０の出力は、ＨＤＭＩポート（例：ビデオＨＤＭＩ）またはアナログコネクタを介してディスプレイ装置２０２に接続できる。
【００２１】
ハブ２５０は、システム２００の音声およびビデオ信号をソース２０４Ａ〜Ｂから宛先装置（例：ディスプレイ装置２０２）へルーティングする。一実施形態において、ハブ２５０は、入力信号およびフォーマットの自動検出により、音声および／またはビデオ信号の切り替えおよびルーティングを制御する。例えば、ハブ２５０は、フォーマットを検出して、アナログビデオ入力および／またはアナログ音声入力をＨＤＭＩ互換なデジタル信号に変換することができる。
【００２２】
本開示の実施形態によれば、ビデオハブ２５０は、ビデオソース２０４Ａ〜Ｂから受信した画像および／またはビデオ内の不規則なエッジを平滑化する能力を備えている。エッジ平滑化能力は、ハードウェア要素、ソフトウェア要素、および／またはその任意の組み合わせ／下位組合せを介して実装できる。図４〜５を更に参照して、ビデオハブ２５０の構成要素の例を示す。
【００２３】
図３は、一実施形態による、エッジを平滑化して潜在的に存在する不規則性を除去する能力を備えた光ディスク装置３００により示すメディアプレーヤのブロック図である。
【００２４】
メディアプレーヤ（例：光ディスク装置３００）は、光ディスクリーダー３０２、処理装置３０４、メモリ３０６、デコーダ３０８、および／または画像プロセッサ３５０を含んでいる。いくつかの実施形態において、上述のモジュール／装置またはそれが表す機能の任意のものの全部または一部がメディアプレーヤ（例：光ディスク装置３００）の外部にあってよい。代替的な実施形態において、光ディスク装置以外のメディアプレーヤの場合、本開示の新規な技術から逸脱することなく光ディスクリーダー３０２を他の任意の適当なメディアリーダーで置き換えてもよい点を理解されよう。他の種類の適当なメディアリーダーは、公知のおよび／または便利な手段で動作させることができる。
【００２５】
光ディスクリーダー３０２は、光ディスクに光を照射して、光ディスクから反射された光を検出し、および／または検出された光を電気信号に変換できるソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。光ディスクリーダー３０２は、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ、およびＨＤＶを含むがこれに限定されない任意の光ディスクを読み取ることができる。互換性な光ディスクはまた、読出し専用メモリ（ＲＯＭ）、１回書き込み−複数回読み出し（ＷＯＲＭ）、対話型（Ｉ）、および／または消去可能（Ｅ）であってもよい。
【００２６】
一実施形態において、光ディスク装置３００は、光ディスクリーダー３０２に接続されたメモリ３０６を含んでいる。メモリ３０６は、光ディスクリーダー３０２用のデータ入力／出力バッファとして機能するソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。一実施形態において、光ディスク装置３００は、光ディスクリーダー３０２およびメモリ３０６に接続されたデコーダ３０８を含んでいる。デコーダ３０８は、ハードウェアデコーダおよびビデオ／音声コンテンツと互換なコーデックを備えたソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。デコーダ３０８は、デジタルビデオおよび／または音声コンテンツを受信して解凍することができる。非限定な一例として、デコーダ３０８は通常、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＳＭＰＴＥ  ＶＣ−１、およびＨ．２６３を含むコーデックに対応している。ドルビーデジタル、ＤＴＳ、線形ＰＣＭ、ドルビーデジタルプラス、ＤＴＳ−ＨＤ高解像度オーディオ、ドルビーＴｒｕｅＨＤ、およびＤＴＳ−ＨＤマスターオーディオもサポートされている。
【００２７】
光ディスク装置３００の一実施形態は、光ディスクリーダー３０２に接続された処理装置３０４を含んでいる。いくつかの例において、処理装置３０４はメモリ３０５および／または画像プロセッサ３５０に接続されている。処理装置３０４は、光ディスク装置３００が使用する命令を実行可能なソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。一実施形態において、処理装置３０４は内部および／または外部リクエストを処理して必要な計算を実行する。処理装置３０４は、いくつかの実施形態において処理装置３０４および／または画像プロセッサ３５０により実行可能な命令のシーケンスを保存しているメモリ４０６と通信することができる。光ディスク装置３００の一実施形態は、画像プロセッサ３５０を含んでいる。一実施形態において、画像プロセッサはメモリ３０６に接続されている。画像プロセッサ３５０は、画像、ビデオ処理、および／またはデジタル音声処理を実行可能なソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。画像プロセッサ３５０の一実施形態はビデオプロセッサを含んでいる。画像は、写真、図面、ビデオフレーム、デジタル画像、アニメーションであってよい。コンテンツは、メモリ３０６から受信または取得されてよい。
【００２８】
一実施形態において、画像プロセッサ３５０は、画像またはビデオのフレーム内のエッジ検出および／またはエッジ不規則性の平滑化に付随するタスクの一部または全部を実行する。図５を更に参照するに、画像プロセッサ３５０の例示的構成要素を示す。検出されたエッジは、エッジ方向において方向ローパスフィルタリングが適用されてエッジの不規則性を除去する。その結果得られた画像を元の画像の代わりに提示することができる。いくつかの実施形態において、画像プロセッサ３５０は平滑化された画像と元の画像を知的にマージして最適化された画像を生成する。例えば、エッジが存在する画像の部分を平滑化された画像から取得し、エッジが存在しないかまたは弱いエッジが存在する部分を元の画像から取得できる。画像プロセッサ３５０により実行されるエッジ検出および／または平滑化の例示的な処理について、図７〜９のフロー図を参照するに、更に詳しく記述する。
【００２９】
上で挙げた例は光ディスクリーダーに関して記述しているが、画像プロセッサにより実行される機能に関する態様等、本開示の新規の態様は、衛星、ケーブル、またはＩＰＴＶ（ＤＳＬ）セットトップボックス（例：ＤＶＲ機能の有無によらず）、携帯メディアプレーヤ（例：ｉＰｏｄ、Ｚｕｎｅ等）、および／または携帯電話（例：ブラックベリー、ｉＰｈｏｎｅ等を含むがこれに限定されない多機能電話）を含むがこれに限定されないメディアプレーヤまたはその他の装置に適用できることが理解されよう。
【００３０】
また、新規の機能は、メディアドッキングステーション（例：ｉＰｏｄ、Ｚｕｎｅ等）、インターネットを介したメディアプレーヤ（例：ビデオオンデマンド式のインターネットコンテンツ、アップルＴＶ、Ｎｅｔｆｌｉｘ、Ｖｕｄｕ、Ｖｅｒｉｓｍｏ等）、ディスプレイ（例：テレビ、モニタ等）、ＤＶＤレコーダ、ビデオ出力を備えたＰＣ（例：Ｈｕｌｕ、ＹｏｕＴｕｂｅ等）、ゲームコンソール（例：Ｘｂｏｘ、ＰＳ３、Ｗｉｉ等）、ＡＶＲ、スイッチャ、デジタルカムコーダおよび／またはデジタルカメラで実装することもできる。
【００３１】
図４は、一実施形態による、エッジを平滑化する能力を備えたシステム４００のブロック図である。
【００３２】
システム４００は、処理装置４０４、メモリ４０６、メモリコントローラ４０８、ホストインターフェース４１０、および／または画像プロセッサ４５０を含んでいる。いくつかの実施形態において、上述のモジュール／装置またはそれが表す機能の任意のものの全部または一部がシステム４００の外部にあってよい。
【００３３】
システム４００は一般に、インターネットコンテンツ（ストリーミングおよび／またはローカルに保存された）、デジタル画像撮影装置（例：ビデオカメラ、カメラ等）、ユーザー生成コンテンツ、記録媒体（例：ＶＨＳ、磁気媒体または光媒体）に保存されたコンテンツ等を含むがこれに限定されない各種のソースから生じたデジタル画像、デジタルビデオ、および／またはデジタル音声の受信および処理を実行することができる。光媒体フォーマットの互換な種類として、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ、およびＨＤＶが含まれるがこれに限定されない。互換な光ディスクはまた、読み出し専用メモリ（ＲＯＭ）、１回書き込み−複数回読み出し（ＷＯＲＭ）、対話型（Ｉ）、および／または消去可能（Ｅ）であってよい。
【００３４】
システム４００の一実施形態は、メモリコントローラ４０８および／またはホストインターフェース４１０を介してメモリ４０６に接続された処理装置４０４を含んでいる。処理装置４０４は、システム４００が使用する命令を実行可能なソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。これらの命令にはメモリ４０６と通信することによりアクセスできる。
【００３５】
一実施形態において、処理装置４０４は内部および／または外部リクエストを処理して必要な計算を実行する。例えば、処理装置４０４は、ディスクドライブを開く／閉じる、ディスクドライブから読み出す（例：ユーザーが再生ボタンを押した場合）、再生を中断する、ディスクドライブからの読み出しを停止する等のリクエストを受信して、実行に適したモジュールへ命令を転送することができる。処理装置４０４は、いくつかの実施形態において処理装置４０４および／または画像プロセッサ４５０により実行可能な命令のシーケンスを保存するメモリ４０６と通信することができる。
【００３６】
一実施形態において、システム４００は、画像プロセッサ４５０および／またはメモリコントローラ４０８に接続されたメモリ４０６を含んでいる。メモリ４０６は、画像プロセッサ４５０のデータ入力／出力バッファとして機能するソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。メモリ４０６内のデータは、システム４００内部および／または外部にある任意のエンティティから受信することができる。
【００３７】
システム４００の一実施形態は、メモリ４０６およびホストインターフェース４１０に接続されたメモリコントローラ４０８を含んでいる。メモリコントローラ４０８は、メモリ４０６との間でデータの読み出しおよび／またはデータの書き込みが可能なソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。メモリコントローラ４０８は、処理装置４０４または他の構成要素から受信した命令に基づいてメモリ処理を実行すべくメモリ４０６にアクセスできる。特に、メモリコントローラ４０８は、外部ビデオ、音声、および／または画像ソース等、各種の内部および／または外部クライアントによるメモリ４０６へのアクセスを調整する。
【００３８】
一実施形態において、システム４００は任意選択的に、メモリコントローラ４０８および／または処理装置４０４に接続されたホストインターフェース４１０を含んでいる。ホストインターフェース４１０は、処理装置４０４によるメモリへのアクセスを管理することが可能なソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。
【００３９】
ホストインターフェース４１０は、処理装置４０４によるメモリ４０６へのアクセス機能を提供することができる。一実施形態において、ホストインターフェース４１０は、処理装置４０４によるメモリ処理にサービスを提供するキャッシュを含んでいる。キャッシュは、最近使用された命令または以前にメモリ４０６から取り出されたデータを保存する小型且つ高速のメモリであってよい。処理装置４０４により実行されるプログラムは通常、命令またはデータのサブセットを繰り返し使用するため、キャッシュは常にメモリ４０６に頼る必要なしに処理装置４０４にサービスを提供する効率的な方法である。
【００４０】
システム４００の一実施形態は、画像プロセッサ４５０を含んでいる。一実施形態において、画像プロセッサはメモリ４０６に接続されている。画像プロセッサ４５０は、画像、ビデオ処理、および／またはデジタル音声処理を実行可能なソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。画像プロセッサ４５０の一実施形態は、ビデオプロセッサ４５２および／またはビデオキャプチャモジュール４５４を含んでいる。画像は、写真、図面、ビデオフレーム、デジタル画像、アニメーションであってよい。コンテンツは、メモリ４０６から受信または取得されてよい。
【００４１】
画像プロセッサ４５０により適用することができる処理は、例えば幾何学的変換（例：拡大、スケーリング、縮小、回転等）、色調整、明度調整、コントラスト調整、量子化、異なる色空間への変換、デジタル合成、光学的合成、補間、エイリアス短縮、フィルタリング、画像編集、画像登録、画像安定化、画像分割等を含むがこれに限定されない。
【００４２】
一実施形態において、画像プロセッサ４５０は、画像またはビデオのフレーム内のエッジ検出および／またはエッジ平滑化に付随するタスクの一部または全部を実行する。図５を更に参照するに、画像プロセッサ４５０の例示的構成要素を示す。検出されたエッジは、エッジ方向において方向ローパスフィルタリングが適用されてエッジの不規則性が全て除去される。その結果得られた画像を元の画像の代わりに提示することができる。いくつかの実施形態において、画像プロセッサ４５０は平滑化された画像と元の画像を知的にマージして最適化された画像を生成する。例えば、エッジが存在する画像の部分を平滑化された画像から取得し、エッジが存在しないかまたは弱いエッジが存在する部分を元の画像から取得することができる。画像プロセッサ４５０により実行されるエッジ検出および／または平滑化の例示的な処理について、図７〜９のフロー図を参照するに、更に詳しく記述する。
【００４３】
図５は、一実施形態による、エッジ平滑化能力を備えた画像プロセッサ５５０のブロック図である。
【００４４】
画像プロセッサ５５０は、エッジ検出器モジュール５５２、フィルタモジュール５５４、エッジ平滑化モジュールを備えた混合モジュール、信頼度モジュール５５８、および／またはビン割り当てモジュール５６０を含んでいる。いくつかの実施形態において、上述のモジュール／装置またはそれが表す機能の任意のものの全部または一部が画像プロセッサ５５０の外部にあってよい。
【００４５】
画像プロセッサ５５０の一実施形態は、エッジ検出器モジュール５５２を含んでいる。エッジ検出器モジュール５５２は、デジタル画像および／またはビデオのフレーム内のオブジェクトエッジを検出可能なソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。エッジは、例えば修正ソーベル技術を介して、画像の垂直および／または水平勾配を計算することにより検出できる。勾配値の計算に使用する勾配フィルタカーネルパラメータは一般に、ケースバイケースに変更可能、適合可能、および調整可能である。一実施形態において、ノイズおよび高周波成分の影響を除去または減らすべく、垂直および／または水平勾配を検出する前に画像にローパスフィルタリングを適用する。当該画像はフィルタモジュール５５４によりローパスフィルタリングされてよい。
【００４６】
一実施形態において、エッジ検出器モジュール５５２は検出されたエッジの勾配強度を判定する。勾配強度は、例えば水平および垂直勾配の二乗和の平方根を計算することにより、垂直勾配および水平勾配から計算できる。一実施形態において、勾配強度の計算は勾配強度モジュールにより実行される。
【００４７】
いくつかの例において、閾値を勾配強度とともに用いてエッジの強度を決定する。閾値は、所定の領域のダイナミックレンジに基づいて所定のピクセル領域（例：３×３、５×５、３×５、１０×１０等）に対して動的に決定することができる。一実施形態において、勾配強度と閾値との比較によりエッジがどの程度強いかを示す０〜１の値が得られる。結果が１に近いほどエッジが強い。閾値の決定および比較アルゴリズムに関する追加的な詳細事項について図６Ａ／Ｂおよび図７を更に参照するに、記述する。
【００４８】
さらに、エッジ検出器モジュール５５２は更にエッジ方向を判定する。エッジ方向は、垂直勾配および水平勾配により形成されたエッジ角の正接を計算することにより決定できる。一実施形態において、エッジ角の正接を計算する前に、エッジ方向計算の不規則性の影響を減らすべく水平および垂直勾配強度にローパスフィルタリングを適用することができる。さらに、角度のエッジが水平または垂直に近い領域におけるノイズを減らすべく、例えばエッジ検出器モジュール５５２により、勾配ベクトルの符号にメジアンフィルタリングを適用してもよい。
【００４９】
画像プロセッサ５５０の一実施形態は、２次元ローパスフィルタモジュール５５４を含んでいる。フィルタモジュール５５４は、画像または画像／ビデオの一部にローパスフィルタを適用可能なソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。
【００５０】
ローパスフィルタは、画像処理を実行する前、例えばエッジ検出および／またはエッジの不規則性を平滑化するプロシージャを実行する前に画像に適用することができる。一実施形態において、高周波構成要素およびノイズ成分を除去または減らすべく画像処理の前にガウス関数形状のフィルタを画像に適用する。
【００５１】
一実施形態において、エッジ方向を用いて、方向フィルタリングに使用するビン方向を判定する。ビン割り当ては、図６Ｃの例のように図形的に示されており、エッジ検出部５５２との通信を介してビン割り当てモジュール５６０により決定することができる。エッジ方向に沿った方向フィルタが特定の位置に置かれたピクセル値を使用するため、各ピクセルのエッジ角は、画像内の物理ピクセルと整列配置するいくつかの所定のビン方向の一つにビニングされる。エッジの不規則性は、一旦方向フィルタリングされてエッジが平滑化されたならば、効果的に除去されるかまたは別途ギザギザ／粗さが減る。一実施形態において、混合モジュール５５６は、平滑化されたエッジを備えた画像と元の画像を混ぜ合わせることにより、視覚的特徴が向上した平滑化されたエッジを備えた別の画像を生成することができる。混合モジュール５５６の平滑化モジュールは、潜在的に存在し得る不規則性を除去すべくエッジの平滑化方向に基づいて検出されたエッジに方向フィルタを適用することができる。
【００５２】
画像プロセッサ５５０の一実施形態は、エッジ平滑化モジュールを備えた混合モジュール５５６を含んでいる。エッジ平滑化モジュールは、エッジの不規則性を平滑化可能なソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。エッジ平滑化モジュールは、エッジ検出部５５２およびビン割り当てモジュール５６０に接続されていて、エッジ検出部５５２およびビン割り当てモジュール５６０と通信してエッジの位置および付随する特徴（例：勾配強度および／またはエッジ方向）を決定する。
【００５３】
画像プロセッサ５５０の一実施形態は、信頼度モジュール５５８を含んでいる。信頼度モジュール５５８は、検出されたエッジの計算されたエッジ方向（例：ビン方向により示す）の精度を決定または推定可能なソフトウェアエージェントおよび／またはハードウェア要素の任意の組合せであってよい。信頼度モジュール５５８は、ビン割り当てモジュール５６０に接続されていて、ビン割り当てモジュール５６０と通信して特定のピクセルのビン値を決定し、当該ビン値と、当該特定ピクセルを囲む所定のピクセル領域（例：３×３、５×５等）内の各ピクセルのビン値を比較する。一実施形態において、所定のピクセル領域におけるビン値の統計的属性を計算することができる。この統計的属性を用いて、当該ピクセルに対し、その個別ビン値、およびそれが統計的属性にどの程度合致するかに基づいて信頼値を割り当てることができる。デジタル画像／ビデオが不完全でありがちなため、エッジ上にピクセルが存在するにもかかわらず、その特徴が損なわれていて当該エッジの同一属性（例：勾配強度および／またはエッジ方向）を反映しない場合がある。
【００５４】
これらの現象は、ピクセルを互いに比較することにより、不規則が生じる位置を識別すべく探索を実行することにより緩和することができる。特に、少数を除く大多数のピクセルが類似または同一の特徴を備えた領域を識別することに利点がある。少数のピクセルは恐らく例外であって、エッジの粗さを平滑化する方向フィルタリング処理の結果に悪影響を及ぼす恐れがある。従って、方向ローパスフィルタを適用する前に、少数のピクセルの特徴（例：勾配強度、エッジ方向、および／またはビン方向）を、近傍領域に存在するより多くのピクセルの特徴に応じ調整または変更できる。
【００５５】
一実施形態において、所定のピクセル領域（例：３×３、５×５、７×７等）内の特定のピクセルのエッジ方向に類似または同一のエッジ方向の数は、例えば信頼度モジュール５５８により決定される。一般に、エッジ方向が類似または同一であるより多くの周囲ピクセルを備えたピクセルにより高い信頼度が割り当てられ、従って計算されたエッジ方向の精度がより高いことを示す。次いで信頼度値および勾配強度比較の結果を用いて元の画像と方向ローパスフィルタリングされた画像を混合する。
【００５６】
混合動作で使用する乗数は、信頼度と、ダイナミックレンジに基づく規模閾値に対する勾配強度の比較の結果との積である。この結果、強いエッジに沿って配置されていて、フィルタリングされた画像から大部分（または全部）取得された信頼度が高いピクセルが得られる。逆に、エッジに沿っていないかまたは信頼度が低いピクセル位置は元の画像から大部分（または全部）取得される。
【００５７】
本開示の実施形態を画像プロセッサにより実行されるものとして説明してきたが、本開示の新規技術から逸脱することなく、本明細書の特徴をビデオプロセッサ／グラフィックプロセッサ内に組み込む、およびまたはこれを介して実装できるものと考える。例えば、類似または同一画像処理機能を、専用のグラフィックプロセッサのような処理ブロックまたは汎用プロセッサ上のソフトウェアにより実行することもできる。
【００５８】
図６Ａは、一実施形態による、勾配強度閾値を決定する方法のグラフ表現である。
【００５９】
プロット図６３０は、結果的に得られたｙ軸上の閾値をｘ軸上の所定のピクセル領域に対するダイナミックレンジの測定値に対してプロットしたものである。所定の領域に対するダイナミックレンジは、ブロック内で最大または最大に近い輝度値から最小または最小に近い輝度値を減算したものである。いくつかの例において、ダイナミックレンジにゲイン値（例えば０．５）を乗算してｘ軸方向に示し、乗算の結果をｙ軸方向にプロットしている。図に示すように、ステップ１の結果が所定の最大閾値より大きいかまたは所定の最小閾値未満である場合、閾値は各々最大または最小値に設定される。さもなければ、閾値はダイナミックレンジにゲイン値を乗算した値である。
【００６０】
図６Ｂは、一実施形態による、閾値指定勾配強度を判定する方法のグラフ表現である。
【００６１】
プロット図６４０は、ｙ軸方向の閾値指定勾配強度対ｘ軸方向の勾配強度の大きさを示す。勾配強度が閾値にウインドウ値を加算した値より大きい場合、閾値指定勾配は１に設定される。閾値は、図６Ａに示すように動的に決定できる。勾配強度が閾値からウインドウ値を減算した値より小さい場合、閾値指定勾配はゼロに設定される。一実施形態において、現在の実装例で使用するウインドウ値は１０／２５５である。一方、閾値指定勾配強度は、二つの境界間で線形に変化し、次式により計算できる。
閾値指定勾配＝（勾配強度−（閾値−ウインドウ））／（２×ウインドウ）
【００６２】
図６Ｃは、一実施形態による、画像ピクセルおよび検出されたエッジの近傍に位置する多数のビンのダイアグラム表現である。
【００６３】
図６Ｃの実施形態において、ビデオフィールド６００は、複数の既知ピクセル６１０、ビン分割線６０２、６０４、および検出されたエッジ６２０を含んでいる。エッジ６２０は、エッジ検出器モジュール（例：図５のエッジ検出器モジュール）に付随するかまたはこれにより実行される処理および／または機能を介して検出されることを含むがこれに限定されない、任意の公知および／または便利な技術を用いて検出することができる。図６Ｃの例に示すように、検出されたエッジはビン分割線６０２と６０４の間に位置する。このように、ビンの上側境界はビン線６０２であり、下側境界はビン線６０４である。ピクセル位置を通る破線の各々がビン方向の例示的な組を形成する。ビン方向は、ビデオフィールド６００における特定のピクセル位置６１０に整列配置させることができる。これらのビンは、任意の公知および／または便利な技術も用いて計算できる。上下の境界間に囲まれる領域がビンを形成する。一実施形態において、ビンの境界は、ピクセル同士を接続する線の間の中心線である。
【００６４】
図７は、一実施形態による、画像内の粗いエッジの平滑化を実行する例示的な処理を示すフロー図である。
【００６５】
処理７０２において、任意選択的に初期ローパスフィルタを画像に適用する。ローパスフィルタを適用して、エッジ検出の前にエッジの近傍でノイズおよび／または高周波を除去することができる。一実施形態において、ガウス関数形状のフィルタを使用し、フィルタのパラメータは通常、画像および付随する画像特徴に基づいて動的に選択される。例えば、スケーリングされた画像は元の解像度の画像より多くのフィルタリングが適用されていてよい。
【００６６】
処理７０４において、画像内のエッジの存在を判定する。エッジは、例えば、修正ソーベル技術を介して垂直および水平勾配の計算から識別されてよい。勾配フィルタカーネルは一般に、勾配値をどのように用いるかに応じて選択可能である。例えば、より大きなフィルタカーネル（例：５×５）を勾配値に用いて画像内のオブジェクトエッジを識別できるのに対し、エッジ方向を判定すべくより小さいフィルタカーネル（例：３×３）を用いて勾配値を生成してもよい。
【００６７】
処理７０６において勾配強度を判定する。図８に描かれた例示的な処理を更に参照するに、検出されたエッジの不規則性を除去または減らすことができる。勾配強度は、例えば垂直および水平勾配値の二乗和の平方根を用いて、垂直および水平勾配値から計算される。一実施形態において、勾配強度を用いて、閾値との比較により画像内におけるオブジェクトエッジの位置を決定する。図９の例を更に参照するに、閾値を用いるエッジ検出の方法を示す。
【００６８】
処理７０８において、水平および垂直勾配強度からエッジ方向を判定する。水平および／または垂直勾配には任意選択的に、エッジの向きを決定する前に勾配強度の不規則性の発生を減らすべくローパスフィルタリングを適用する。例えば、勾配ベクトルの符号は、エッジが水平または垂直に近い領域のノイズを減らすべくメジアンフィルタリングを適用することができる。エッジ角の正接は、エッジ方向を判定すべく水平および垂直勾配またはフィルタリングされた勾配から計算できる。
【００６９】
処理７１０において、エッジ方向に沿ったローパスフィルタリングは特定の方向に置かれたピクセル値を用いるため、エッジ方向にビン方向を割り当てる。図６Ｃの例を更に参照するに、ビン割り当て処理をグラフィック的に示す。離れたピクセル位置を用いるフィルタの必要性を減らすために少数のビンを用いてもよい。一実施形態において、周辺ピクセルの値とは異なり値がまちまちなエッジ角の数を除去または減らすべく、ビニングされた方向の値が任意選択的に処理される。各ピクセルのビン方向を隣接ピクセルのそれと比較することにより、ビン方向の不規則性を除去または減らすことができる。例えば、特定のピクセル位置の左右または上下にあるピクセルが同じビン方向を備えた場合、ピクセルのビン値を隣接ピクセルのそれに一致するように設定できる。
【００７０】
処理７１２において、判定されたエッジ角の精度に対応するエッジ上のピクセルに信頼度を割り当てる。当該信頼度は、同一または類似のエッジ方向を備えた特定のピクセルを囲む所定の領域内のピクセル数に基づいて計算できる。一般に、周辺領域内の類似方向における数が多いほど信頼が高くなり、且つその逆も成り立つ。
【００７１】
処理７１４において、ビン方向のエッジの各ピクセルにローパスフィルタを適用して当該画像に基づいて第２の画像を生成する。この処理は、決定されたビン方向に基づいて当該画像内のエッジ上に存在する各ピクセルに対して実行され、従ってエッジ不規則性が平滑化される。
【００７２】
処理７１６において、第２の画像（例：方向ローパスフィルタリングされた画像）および第１の画像（例：元の画像）に基づいて第３の画像を生成する。一実施形態において、混合動作で使用される乗数は信頼度と、勾配強度値をダイナミックレンジに基づく強度閾値と比較した結果との積である。この結果、強いエッジに沿って位置し、且つ大部分が（または全部が）フィルタリングされた画像から取得された高い信頼度を備えたピクセルが得られる。逆に、エッジに沿っていないか、または信頼度が低いピクセル位置は、大部分が（または全部が）元の画像から取得されている。
【００７３】
画像によっては、最適な結果を得るために平滑化前処理および平滑化後処理を交互にまたは協働的に用いることができる。例えば、より高い品質／解像度のソース画像は一般に、粗いまたはギザギザなエッジを有していないため、ソース画像の元の解像度でエッジを平滑化しても最小限の利点しか得られない。しかし、より低い品質／解像度の画像の場合、後続処理の前に、特に元の画像をより高い解像度にスケーリングする前に、当該画像のエッジ平滑化を行うことに利点がある。
【００７４】
低解像度画像（例：７２０ｘ４８０以下）をより高い解像度の画像にスケーリングする動作に続いて、スケーリングされた画像のエッジを平滑化して元の画像から解像度の制約を見え難くすることができる。多くの場合、平滑化前処理およびエッジ平滑化後処理の両方を用いて画質を最適化することができる。例えば、スケーリング比率が約３倍以上である場合は通常、結果的に得られる拡大画像はエッジ平滑化からの利点が得られる。一般に、拡大が２倍未満の画像はわずかな利点しか得られない。
【００７５】
しかし、一般には、画像の拡大が制約されていても、平滑化前処理は充分な結果を与える場合がある。同様に、高い品質／解像度もソース画像（例：約１０８０ｐ以上）の場合、平滑化後処理だけが必要な場合がある。
【００７６】
図８は、一実施形態による、検出されたエッジの不規則性を除去する例示的な方法を示すフロー図である。
【００７７】
処理８０２において、検出されたエッジ上の特定のピクセルの勾配強度を、隣接または周辺ピクセルの勾配強度と比較する。隣接（例：周辺）ピクセルは特定のピクセルの左、右、上、および／または下に位置していてよい。処理８０４において、特定のピクセル値が隣接ピクセルより小さい場合、エッジ内の不規則性の存在を判定する。処理８０６において不規則性を除去する。一実施形態において、不規則性は隣接または周辺ピクセルとは異なるピクセルの閾値強度値を変更することにより除去される。例えば、閾値強度は、周辺ピクセルの閾値の最大値に変更されてよい。
【００７８】
図９は、一実施形態による、動的に決定された勾配強度閾値に基づいて、エッジにピクセルが存在するか否かを判定する例示的な処理を示すフロー図である。
【００７９】
処理９０２において、勾配強度閾値を動的に決定する。一実施形態において、閾値は、領域、例えば３×５ピクセル領域におけるダイナミックレンジに基づいて画像の所定の領域内のピクセル値の組に基づいて動的に決定される。処理９０４において、ピクセルの勾配強度を閾値と比較する。比較の結果は０〜１の間のスケールに定量化でき、高い値はピクセルが強いエッジの近くに位置し、低い値はピクセルが強いエッジから遠くに位置していることを示す。一般に値ゼロは、ピクセルがオブジェクトエッジ上に存在しないことを示す。
【００８０】
０〜１の間のスケールでの比較の結果を得るため、所定の領域内のダイナミックレンジにゲイン係数（例：値０．５）が乗算される。乗算の結果が所定の最大閾値より大きいか、または所定の最小値より小さい場合、閾値は所定の最大また最小値に各々設定される。さもなければ、閾値はダイナミックレンジとゲイン係数の乗算の結果に設定される。図６Ａの例を更に参照するに、閾値計算処理をグラフィック的に示す。一実施形態において、使用する所定の最大および最小値は５５／２５５および１５／２５５である。
【００８１】
勾配強度を閾値と比較して閾値指定勾配強度を生成する際に、処理９０６のようにピクセルがエッジ上に存在するか否かを判定するための比較を行う目的で閾値周辺においてウインドウを用いる。一実施形態において、勾配強度が閾値にウインドウ値を加算した値より大きい場合、閾値指定勾配強度は１に設定される。勾配強度が閾値からウインドウ値を減算した値より小さい場合、閾値指定勾配強度はゼロに設定される。中間値は、閾値にウインドウ値を加算した値と閾値から当該値を減算した値の間を線形に変化する。図６Ｂの例を更に参照するに、この処理をグラフィック的に示す。一実施形態においてウインドウ値は１０／２５５である。
【００８２】
本明細書の記述および請求項を通じて別途文脈により明確に指定されない限り、「含む（ｃｏｍｐｒｉｓｅ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」等の単語は、排他的または網羅的な意味ではなく、包含的な意味、すなわち「含むがこれに限定されない（ｉｎｃｌｕｄｉｎｇ，  ｂｕｔ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」の意味に解釈するものとする。本明細書で用いる「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」という用語またその任意の変型は、２個以上の要素間の、直接的または間接的の如何によらない任意の接続または結合を意味し、要素間の接続または結合は物理的、論理的、またはその組合せであってよい。また、本出願で用いる場合、「本明細書における（ｈｅｒｅｉｎ）」、「上記（ａｂｏｖｅ）」、「下記（ｂｅｌｏｗ）」という用語および同様の趣旨の用語は本出願全体を指すものであって、本出願の特定の箇所を指すものではない。文脈が許す場合、単数形または複数形を用いた上の詳細記述における用語についても、各々複数または単数を含んでいてよい。２個以上の項目のリストを指す「または（ｏｒ）」という用語は、当該用語の以下の解釈の全てをカバーしている。すなわち、当該リストの項目に任意のもの、当該リストの項目の全部、および当該リストの項目の任意の組合せ。
【００８３】
本開示の実施形態の上の詳細な記述は、網羅的なものではなく、且つ本発明の教示を上で開示した形式に厳密に制限することを意図していない。本開示の具体的な実施形態、および実施例は、例示目的で記述されており  当業者に理解されるように、開示の範囲内で各種の等価な変更が可能である。例えば、所与の順序で処理またはブロックを示しているが、代替的な実施形態は異なる順序のステップを備えたルーチンを実行したり、または異なる順序のブロックを備えたシステムを用いてもよく、いくつかの処理またはブロックを削除、移動、追加、再分割、組み合わせ、および／または変更することにより代替または更なる組み合わせを提供することができる。これらの処理またはブロックは各々、各種の異なる仕方で実装されていてよい。また、処理またはブロックが順次実行されるものとして示す場合があるが、これらの処理またはブロックは代替的に並列に実行しても、あるいは異なる時点で実行してもよい。更に、本明細書に示す任意の特定の数値は例に過ぎず、代替的な実装において異なる値または範囲を使用してもよい。
【００８４】
本明細書で提供する開示内容は他のシステムに適用することができ、必ずしも上述のシステムでなくてもよい。上述の各種実施形態の要素および動作を組み合わせて更なる実施形態を提供することができる。
【００８５】
上で注記した特許および出願、並びに添付の出願書類に掲載したものを含む他の参照文献は全て本明細書で引用している。システム、機能、および上述の各種参照文献の概念を利用するために必要ならば、本開示の態様を修正して、本開示の更なる実施形態を提供することができる。
【００８６】
本開示に対するこれらのおよび他の変更は上の詳細記述の観点から実施することができる。上の記述が本開示の特定の実施形態を記述し、考察した最良の形態を記述しているが、上記が如何に詳細に文書化されていようとも、その教示を様々な仕方で実施することができる。本システムの詳細事項は実装の細部においてかなり異なり得るが、依然として本明細書に開示した主題に包含されている。上で注記したように、本開示の特定の特徴または態様を記述する際に用いて特定の用語は一切、当該用語が関連付けられている本開示の特定の特性、特徴、または態様に限定すべく本明細書において再定義されているものと受け取ってはならない。一般に、以下の請求項で使用する用語は、上の詳細記述セクションが明示的に当該用語を定義しない限り、本明細書に開示する特定の実施形態の開示を限定するものと解釈してはならない。従って、本開示の実際の範囲は、開示された実施形態だけでなく、請求項の下で本開示を実施または実装する全ての等価な方法を含んでいる。
【００８７】
本開示の特定の態様を以下に特定の請求項の形式で提示しているが、発明者らは任意の数の請求項の形式で本開示の各種態様を考えている。例えば、本開示の一態様だけを米国特許法第１１２条第６項（３５Ｕ．Ｓ．Ｃ．§１１２（６））の下で手段および機能（ｍｅａｎｓ−ｐｌｕｓ−ｆｕｎｃｔｉｏｎ）請求項、またはコンピュータ可読媒体への実装等、他の形式でも同様に実装できる。（米国特許法第１１２条第６項の下で扱われる請求項は全て「するための手段（ｍｅａｎｓ  ｆｏｒ）」という語句で始まる）。従って、出願人は、出願後に追加的な請求項を加えて本開示の他の態様のためにそのような追加的な請求項形式を求める権利を保有する。
【図１】
0005597636.tif 000002
【図２】
0005597636.tif 000003
【図３】
0005597636.tif 000004
【図４】
0005597636.tif 000005
【図５】
0005597636.tif 000006
【図６Ａ】
0005597636.tif 000007
【図６Ｂ】
0005597636.tif 000008
【図６Ｃ】
0005597636.tif 000009
【図７】
0005597636.tif 000010
【図８】
0005597636.tif 000011
【図９】
0005597636.tif 000012